JP2007251553A - リアルタイム処理装置及びその方法 - Google Patents

リアルタイム処理装置及びその方法 Download PDF

Info

Publication number
JP2007251553A
JP2007251553A JP2006071623A JP2006071623A JP2007251553A JP 2007251553 A JP2007251553 A JP 2007251553A JP 2006071623 A JP2006071623 A JP 2006071623A JP 2006071623 A JP2006071623 A JP 2006071623A JP 2007251553 A JP2007251553 A JP 2007251553A
Authority
JP
Japan
Prior art keywords
unit
signal
audio
processing
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
JP2006071623A
Other languages
English (en)
Inventor
Noriyuki Harada
紀之 原田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2006071623A priority Critical patent/JP2007251553A/ja
Priority to US11/685,988 priority patent/US20070217623A1/en
Publication of JP2007251553A publication Critical patent/JP2007251553A/ja
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2405—Monitoring of the internal components or processes of the server, e.g. server load
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8106—Monomedia components thereof involving special audio data, e.g. different tracks for different languages

Abstract

【課題】複雑な演算処理をしたり、特別なメモリ資源を必要とすることなく、消費電力を抑制することができるリアルタイム処理装置を提供する。
【解決手段】音声信号に対してリアルタイムで信号処理を施す第１オーディオエンコーダ１０４と、音声信号に対して、より小さい処理量で、かつ、リアルタイムで信号処理を施す第２オーディオエンコーダ１１１と、動作している第１オーディオエンコーダ１０４又は第２オーディオエンコーダ１１１による信号処理における処理量の程度を示すステップ数を計測するオーディオ実行ステップ数通知部１１４と、計測されたステップ数が予め定めたしきい値よりも小さい場合に第１オーディオエンコーダ１０４を動作させ、ステップ数がしきい値以上である場合に第２オーディオエンコーダ１１１を動作させるように制御するＡＶシステム制御部１１７とを備える。
【選択図】図１

Description

本発明は、入力信号をリアルタイムで処理するリアルタイム処理装置に関し、特に、リアルタイム処理装置の消費電力を削減する技術に関する。
従来のリアルタイム処理装置における消費電力を削減する技術として、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）デコーダにおいて、ストリームの特性によって動的に電圧・クロック等の電力制御を行う技術が提案されている（例えば、特許文献１参照。）。
この従来の技術では、デコーダにおいて、ストリームの特性のみによって平均処理時間を算出し、その値によって処理負荷を判断し、動的に電圧・クロックのどちらかを制御し、消費電力を削減している。
特開２００４−１５３５５３号公報
しかしながら、上記従来の技術では、デコーダにおける平均処理時間を用いる電力制御であるために、平均処理時間の算出という複雑な演算処理が必要になること、及び、平均処理時間の算出のために、ピクチャごとの処理時間を蓄積するためのメモリ資源が必要になるという問題がある。そのために、ＣＰＵやメモリ等の資源を無駄に消費してしまうという課題がある。また、上記従来の技術は、ビデオ復号器のみを対象とするという問題もある。
そこで、本発明は、このような状況に鑑みてなされたものであり、複雑な演算処理をしたり、特別なメモリ資源を必要とすることなく、消費電力を抑制することができるリアルタイム処理装置等を提供することを目的とする。
上記目的を達成するために、本発明に係るリアルタイム処理装置は、入力信号をリアルタイムで処理するリアルタイム処理装置であって、前記入力信号に対してリアルタイムで信号処理を施す第１信号処理手段と、前記入力信号に対して、前記第１信号処理手段による信号処理における処理量よりも小さい処理量で、かつ、リアルタイムで、前記信号処理を施す第２信号処理手段と、動作している前記第１信号処理手段又は前記第２信号処理手段による信号処理における処理量の程度を示すステップ数を計測するステップ数計測手段と、前記ステップ数計測手段によって計測されたステップ数が予め定めたしきい値よりも小さい場合に前記第１信号処理手段を動作させ、前記ステップ数が前記しきい値以上である場合に前記第２信号処理手段を動作させるように制御する制御手段とを備えることを特徴とする。これにより、信号処理手段における処理量としきい値との比較結果に基づいて省電力化の制御が行われるので、平均処理時間を算出する等の複雑な演算をすることなく、かつ、平均処理のためのメモリを必要とすることなく、消費電力が抑制される。また、簡易な処理によって省電力化制御が行われるので、音声・動画信号のデコードだけでなく、エンコードにも適用することができる。
ここで、「リアルタイムな信号処理」とは、入力されてくる信号を蓄積したり待機させたりすることなく、実時間で信号処理を施していくことをいい、例えば、入力されてくる音声信号と動画信号に対して、それらの信号を蓄積することなく、それぞれを圧縮符号化し、双方を多重化して記録媒体に記録していく処理をいう。本発明がリアルタイム処理装置として実現されているのは、本発明が、簡易なしくみで省電力化制御を行うので、リアルタイムで信号処理をする装置に好適な技術だからである。
なお、前記制御手段は、前記ステップ数と前記しきい値とを比較するステップ数判断部と、前記ステップ数判断部での比較結果と前記第１信号処理手段及び前記第２信号処理手段の動作モードを示す信号処理モードとが対応づけられた信号処理モード選択テーブルを有し、前記信号処理モード選択テーブルに従って、前記ステップ数判断部での比較結果に対応する信号処理モードを選択する信号処理モード選択部とを有し、前記信号処理モード選択部によって選択された信号処理モードに従って、前記第１信号処理手段及び前記第２信号処理手段の動作を制御する構成としてもよい。これにより、ステップ数としきい値との比較が行われた後は、テーブルを参照するだけで信号処理モードが決定されるので、簡易で高速な省電力化制御が可能となる。
また、前記入力信号は、音声信号と動画信号とを含み、前記第１信号処理手段は、前記音声信号を処理する第１音声処理部と、前記動画信号を処理する第１動画処理部とを含み、前記第２信号処理手段は、前記第１音声処理部での処理量よりも小さい処理量で前記音声信号を処理する第２音声処理部と、前記第１動画処理部での処理量よりも小さい処理量で前記動画信号を処理する第２動画処理部とを含み、前記ステップ数計測手段は、動作している前記第１音声処理部又は前記第２音声処理部でのステップ数を計測する音声処理ステップ数計測部と、動作している前記第１動画処理部又は前記第２動画処理部でのステップ数を計測する動画処理ステップ数計測部とを含み、前記制御手段は、前記音声処理ステップ数計測部によって計測されたステップ数が前記しきい値よりも小さい場合に前記第１音声処理部を動作させ、前記ステップ数が前記しきい値以上である場合に前記第２音声処理部を動作させるとともに、前記動画処理ステップ数計測部によって計測されたステップ数が前記しきい値よりも小さい場合に前記第１動画処理部を動作させ、前記ステップ数が前記しきい値以上である場合に前記第２動画処理部を動作させるように制御する構成としてもよい。これにより、動画像信号のエンコーダやデコーダとして、本発明に係るリアルタイム処理装置が実現される。
ここで、前記リアルタイム処理装置は、さらに、音声及び動画のいずれの品質を優先するかを決定する品質モード決定手段を備え、前記信号処理モード選択部は、前記信号処理モード選択テーブルとして、音声信号の品質を優先して信号処理するための音声優先用選択テーブルと、動画信号の品質を優先して信号処理するための動画優先用選択テーブルとを有し、前記品質モード決定手段が音声の品質を優先すると決定した場合には音声優先用選択テーブルに従って信号処理モードを選択し、前記品質モード決定手段が動画の品質を優先すると決定した場合には動画優先用選択テーブルに従って信号処理モードを選択する構成としてもよい。これにより、音声及び動画のいずれの品質を優先するかというユーザの嗜好を反映させた低消費電力のエンコーダやデコーダが実現される。
また、前記動画処理ステップ数計測部は、前記ステップ数として、動作している前記第１動画処理部又は前記第２動画処理部で検出される動画の動きベクトルの大きさを計測してもよいし、音声信号と動画信号とを多重化した後の信号のスループットを計測してもよいし、前記リアルタイム処理装置における消費電流を計測してもよい。いずれも簡易な計測であり、複雑な演算処理をしたり、メモリ等の資源を必要とすることなく、消費電力を削減することができる。
また、前記制御手段は、さらに、前記ステップ数計測手段によって計測されたステップ数が予め定めたしきい値以上である場合に前記第１信号処理手段及び前記第２信号処理手段に供給されるクロック信号の周波数を下げるクロック制御部を有する構成としてもよい。これにより、各構成要素のＯＮ／ＯＦＦ制御だけでなく、各構成要素に供給されるクロック信号の周波数の調整による省電力化制御が行われ、消費電力がより削減される。
また、前記リアルタイム処理装置は、さらに、前記ステップ数計測手段によって計測されたステップ数を保持するステップ数保持手段を備えてもよい。これにより、前記リアルタイム処理装置がさらに、符号化された音声信号と動画信号を復号化する復号化手段を備え、前記制御手段がさらに、前記ステップ数保持手段に保持されたステップ数が予め定めたしきい値以上である場合に前記復号化手段に供給されるクロック信号の周波数を下げるクロック制御部を有することで、音声・動画信号のエンコード時におけるステップ数をデコード時の省電力化制御に利用することができる。
また、前記リアルタイム処理装置は、さらに、前記第１音声処理部又は前記第２音声処理部で得られた音声信号と、前記第１動画処理部又は前記第２動画処理部で得られた動画信号とを多重化する多重化手段と、前記ステップ数保持手段に保持されたステップ数をユーザ情報として前記多重化手段で得られる多重化信号に付加するユーザ情報付加手段とを備えてもよい。これにより、前記リアルタイム処理装置がさらに、前記ユーザ情報付加手段によって前記ステップ数が付加された多重化信号を多重分離して復号化する復号化手段を備え、前記制御手段がさらに、前記多重化信号に付加されたステップ数が予め定めたしきい値以上である場合に前記復号化手段に供給されるクロック信号の周波数を下げるクロック制御部を有することで、音声・動画信号のエンコード時におけるステップ数をデコード時の省電力化制御に利用することができる。
また、前記リアルタイム処理装置は、さらに、前記ユーザ情報付加手段によって前記ステップ数が付加された多重化信号を通信網を介して送信する第１通信手段と、通信網を介して送信されてくる、前記ステップ数が付加された多重化信号を受信する第２通信手段とを備え、前記復号化手段は、前記第２通信手段によって受信された多重化信号を多重分離して復号化する構成としてもよい。これにより、送信装置と受信装置とからなる通信システムにおいて、音声・動画信号のエンコード時におけるステップ数をデコード時の省電力化制御に利用することができる。
なお、本発明は、リアルタイム処理装置として実現できるだけでなく、リアルタイム処理装置が備える処理手段をステップとするリアルタイム処理方法として実現したり、そのリアルタイム処理方法に含まれるステップをコンピュータに実行させるプログラムとして実現したり、そのプログラムが記録されたコンピュータ読み取り可能な記録媒体として実現することもできる。
本発明により、複雑な演算処理をしたり、特別なメモリ資源を必要とすることなく、処理量としきい値との比較という簡易な処理だけで、消費電力が抑制されたリアルタイム処理装置が実現される。また、そのようなリアルタイム処理装置は、音声・動画信号のデコードだけでなく、エンコードにも適用することができる。
よって、本発明により、省電力化が図られたリアルタイム処理装置が実現され、特に、音声・動画信号のエンコードやデコード時における消費電力が削減され、ＡＶ機器の小型化が進む今日における本発明の実用的価値は極めて高い。
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
（実施の形態１）
図１は、本発明の実施の形態１に係るリアルタイム処理装置の構成を示すブロック図である。このリアルタイム処理装置は、入力されたオーディオ信号とビデオ信号とをリアルタイムで符号化及び多重化して記録媒体１０８に記録するレコーダであり、オーディオ入力端子１００、選択的に使用可能な２つのオーディオフィルタ（第１オーディオフィルタ１０２、第２オーディオフィルタ１０９）、選択的に使用可能な２つのオーディオエンコーダ（第１オーディオエンコーダ１０４、第２オーディオエンコーダ１１１）、オーディオ実行ステップ数通知部１１４、ビデオ入力端子１０１、選択的に使用可能な２つのビデオフィルタ（第１ビデオフィルタ１０３、第２ビデオフィルタ１１０）、選択的に使用可能な２つのビデオエンコーダ（第１ビデオエンコーダ１０５、第２ビデオエンコーダ１１２）、ビデオ実行ステップ数通知部１１５、選択的に使用可能な２つの画質調整用パラメータ記憶部（第１画質調整用パラメータ記憶部１０６、第２画質調整用パラメータ記憶部１１３）、ＡＶシステム制御部１１７、多重化部１０７及び記録媒体１０８を備える。
第１オーディオフィルタ１０２及び第２オーディオフィルタ１０９は、オーディオ信号用のデジタルフィルタである。第２オーディオフィルタ１０９は、第１オーディオフィルタ１０２よりも処理量が小さいフィルタ演算、例えば、次数（係数の個数）の少ない特性式に従ったフィルタ演算を実行する。
第１オーディオエンコーダ１０４及び第２オーディオエンコーダ１１１は、オーディオ信号用のエンコーダであり、それぞれ、例えば、ＡＣ３（Ａｕｄｉｏ Ｃｏｄｅ Ｎｕｍｂｅｒ ３）及びＭＰＥＧ１Ｌａｙｅｒ２による圧縮・符号化をする。つまり、第２オーディオエンコーダ１１１は、第１オーディオエンコーダ１０４よりも処理量が小さい圧縮・符号化をするエンコーダである。
なお、第１オーディオフィルタ１０２及び第２オーディオフィルタ１０９は、それぞれ、対応する第１オーディオエンコーダ１０４及び第２オーディオエンコーダ１１１とともにセットとして使用される。つまり、第１オーディオフィルタ１０２と第１オーディオエンコーダ１０４との第１セットと、第２オーディオフィルタ１０９と第２オーディオエンコーダ１１１との第２セットのいずれかが択一的に使用される。
オーディオ実行ステップ数通知部１１４は、動作しているオーディオエンコーダ（第１オーディオエンコーダ１０４又は第２オーディオエンコーダ１１１）のフレームあたりの処理量（実行ステップ数／フレーム）を計測し、ＡＶシステム制御部１１７に通知することをフレーム毎に繰り返す処理部である。ここで、フレームとは、オーディオエンコーダに入力される音声信号のフレームであってもよいし、動画のフレーム（ピクチャ）であってもよい。
第１ビデオフィルタ１０３及び第２ビデオフィルタ１１０は、ビデオ信号用のデジタルフィルタである。第２ビデオフィルタ１１０は、第１ビデオフィルタ１０３よりも処理量が小さいフィルタ演算、例えば、次数（係数の個数）の少ない特性式に従ったフィルタ演算を実行する。
第１ビデオエンコーダ１０５及び第２ビデオエンコーダ１１２は、ビデオ信号用のエンコーダであり、それぞれ、例えば、ＭＰＥＧ２及びＭＰＥＧ４による圧縮・符号化をする。つまり、第２ビデオエンコーダ１１２は、第１ビデオエンコーダ１０５よりも処理量が小さい圧縮・符号化をするエンコーダである。
ビデオ実行ステップ数通知部１１５は、動作しているビデオエンコーダ（第１ビデオエンコーダ１０５又は第２ビデオエンコーダ１１２）のフレームあたりの処理量（実行ステップ数／フレーム）を計測し、ＡＶシステム制御部１１７に通知することをフレーム毎に繰り返す処理部である。ここで、フレームとは、ビデオエンコーダに入力される動画信号のフレーム（ピクチャ）である。
なお、第１ビデオフィルタ１０３及び第２ビデオフィルタ１１０は、それぞれ、第１ビデオエンコーダ１０５及び第２ビデオエンコーダ１１２とともにセットとして使用される。つまり、第１ビデオフィルタ１０３と第１ビデオエンコーダ１０５との第１セットと、第２ビデオフィルタ１１０と第２ビデオエンコーダ１１２との第２セットのいずれかが択一的に使用される。
第１画質調整用パラメータ記憶部１０６及び第２画質調整用パラメータ記憶部１１３は、第１ビデオエンコーダ１０５及び第２ビデオエンコーダ１１２で使用される画質調整用のパラメータを記憶しているメモリ等であり、それぞれ、高画質の圧縮・符号化を実現する画質調整用パラメータ及び低画質の圧縮・符号化を実現する画質調整用パラメータを保持している。つまり、第２画質調整用パラメータ記憶部１１３は、第１画質調整用パラメータ記憶部１０６よりも処理量が小さくて済む圧縮・符号化のためのパラメータを保持している。
ＡＶシステム制御部１１７は、オーディオ実行ステップ数通知部１１４とビデオ実行ステップ数通知部１１５とから通知される実行ステップ数に基づいて、それぞれの通知（例えば、オーディオフレーム及びビデオフレーム毎に）、電力削減を達成するための信号処理モードを決定し、決定した信号処理モードに従って各構成要素１０２〜１０７及び１０９〜１１３が動作する／動作しないように各構成要素を制御するプロセッサ等であり、実行ステップ数判断部１１８と信号処理モード選択部１１９とを有する。
実行ステップ数判断部１１８は、オーディオ実行ステップ数通知部１１４及びビデオ実行ステップ数通知部１１５から通知される各実行ステップ数とあらかじめ設定されたしきい値とを比較する。ここでは、図２に示される電力しきい値テーブルに示されるように、実行ステップ数判断部１１８は、オーディオ実行ステップ数通知部１１４から通知されるオーディオ実行ステップ数２００とオーディオ実行ステップ数しきい値Ａｔ１（２０４）とを比較し、その結果を信号処理モード選択部１１９に通知する。なお、以下では、オーディオ実行ステップ数２００がオーディオ実行ステップ数しきい値Ａｔ１（２０４）よりも小さい場合を「Ａ１（２０２）」と呼び、オーディオ実行ステップ数２００がオーディオ実行ステップ数しきい値Ａｔ１（２０４）以上の場合を「Ａ２（２０６）」と呼ぶ。
同様に、実行ステップ数判断部１１８は、ビデオ実行ステップ数通知部１１５から通知されるビデオ実行ステップ数２０１とデオ実行ステップ数しきい値Ｖｔ１（２０５）とを比較し、その結果を信号処理モード選択部１１９に通知する。なお、以下では、ビデオ実行ステップ数２０１がビデオ実行ステップ数しきい値Ｖｔ１（２０５）よりも小さい場合を「Ｖ１（２０３）」と呼び、ビデオ実行ステップ数２０１がビデオ実行ステップ数しきい値Ｖｔ１（２０５）以上の場合を「Ｖ２（２０７）」と呼ぶ。
信号処理モード選択部１１９は、実行ステップ数判断部１１８での比較結果に基づいて、信号処理モードを選択する処理部であり、そのための決定テーブルとして、図３〜図５に示される信号処理モード選択テーブルを有している。
図３は、フィルタ制御のための信号処理モード選択テーブルを示す図である。この信号処理モード選択テーブルは、実行ステップ数が一定のしきい値以上の場合にその実行ステップ数を減少させるようにフィルタ制御をするための決定テーブルであり、以下のことを示している。つまり、オーディオ実行ステップ数がＡ１（２０２）かつビデオ実行ステップ数がＶ１（２０３）のときには、図３の領域３００に示されるように、オーディオ及びビデオのフィルタをＯＮにする。また、オーディオ実行ステップ数がＡ２（２０６）かつビデオ実行ステップ数がＶ１（２０３）のときには、図３の領域３０１に示されるように、オーディオフィルタをＯＦＦ、ビデオフィルタをＯＮにする。また、オーディオ実行ステップ数がＡ１（２０２）かつビデオ実行ステップ数がＶ２（２０７）のときには、図３の領域３０２に示されるように、オーディオフィルタをＯＮ、ビデオフィルタをＯＦＦにする。また、オーディオ実行ステップ数がＡ２（２０６）かつビデオ実行ステップ数がＶ２（２０７）のときには、図３の領域３０３に示されるように、オーディオフィルタをＯＦＦ、ビデオフィルタをＯＦＦにする。
信号処理モード選択部１１９は、図３に示される信号処理モード選択テーブルに従って、第１オーディオフィルタ１０２及び第２オーディオフィルタ１０９のうち選択されているオーディオフィルタをＯＮ又はＯＦＦに、第１ビデオフィルタ１０３及び第２ビデオフィルタ１１０のうち選択されているビデオフィルタをＯＮ又はＯＦＦにする信号処理モードを選択する。
図４は、ＣＯＤＥＣ（ここでは、エンコーダ）切替のための信号処理モード選択テーブルを示す図である。この信号処理モード選択テーブルは、実行ステップ数が一定のしきい値以上の場合にその実行ステップ数を減少させるようにエンコーダを切り替えるための決定テーブルであり、以下のことを示している。つまり、オーディオ実行ステップ数がＡ１（２０２）かつビデオ実行ステップ数がＶ１（２０３）のときには、図４の領域４００に示されるように、動作させるオーディオエンコーダ及びビデオエンコーダの組み合わせとして、第１オーディオエンコーダ１０４及び第１ビデオエンコーダ１０５を選択する。また、オーディオ実行ステップ数がＡ２（２０６）かつビデオ実行ステップ数がＶ１（２０３）のときには、図４の領域４０１に示されるように、動作させるオーディオエンコーダ及びビデオエンコーダの組み合わせとして、第２オーディオエンコーダ１１１及び第１ビデオエンコーダ１０５を選択する。また、オーディオ実行ステップ数がＡ１（２０２）かつビデオ実行ステップ数がＶ２（２０７）のときには、図４の領域４０２に示されるように、動作させるオーディオエンコーダ及びビデオエンコーダの組み合わせとして、第１オーディオエンコーダ１０４及び第２ビデオエンコーダ１１２を選択する。また、オーディオ実行ステップ数がＡ２（２０６）かつビデオ実行ステップ数がＶ２（２０７）のときには、図４の領域４０３に示されるように、動作させるオーディオエンコーダ及びビデオエンコーダの組み合わせとして、第２オーディオエンコーダ１１１及び第２ビデオエンコーダ１１２を選択する。
信号処理モード選択部１１９は、図４に示される信号処理モード選択テーブルに従って、第１オーディオエンコーダ１０４及び第２オーディオエンコーダ１１１のいずれかを動作させ、かつ、第１ビデオエンコーダ１０５及び第２ビデオエンコーダ１１２のいずれかを動作させる信号処理モードを選択する。
図５は、画質調整用パラメータ切替のための信号処理モード選択テーブルを示す図である。この信号処理モード選択テーブルは、実行ステップ数が一定のしきい値以上の場合にその実行ステップ数を減少させるように画質調整用パラメータを切り替えるための決定テーブルであり、以下のことを示している。つまり、オーディオ実行ステップ数がＡ１（２０２）かつビデオ実行ステップ数がＶ１（２０３）のときには、図５の領域５００に示されるように、動作させるオーディオエンコーダとビデオエンコーダが使用する画質調整用パラメータの読み出し先との組み合わせとして、第１オーディオエンコーダ１０４及び第１画質調整用パラメータ記憶部１０６を選択する。また、オーディオ実行ステップ数がＡ２（２０６）かつビデオ実行ステップ数がＶ１（２０３）のときには、図５の領域５０１に示されるように、動作させるオーディオエンコーダとビデオエンコーダが使用する画質調整用パラメータの読み出し先との組み合わせとして、第２オーディオエンコーダ１１１及び第１画質調整用パラメータ記憶部１０６を選択する。また、オーディオ実行ステップ数がＡ１（２０２）かつビデオ実行ステップ数がＶ２（２０７）のときには、図５の領域５０２に示されるように、動作させるオーディオエンコーダとビデオエンコーダが使用する画質調整用パラメータの読み出し先との組み合わせとして、第１オーディオエンコーダ１０４及び第２画質調整用パラメータ記憶部１１３を選択する。また、オーディオ実行ステップ数がＡ２（２０６）かつビデオ実行ステップ数がＶ２（２０７）のときには、図５の領域５０３に示されるように、動作させるオーディオエンコーダとビデオエンコーダが使用する画質調整用パラメータの読み出し先との組み合わせとして、第２オーディオエンコーダ１１１及び第２画質調整用パラメータ記憶部１１３を選択する。
信号処理モード選択部１１９は、図５に示される信号処理モード選択テーブルに従って、第１オーディオエンコーダ１０４及び第２オーディオエンコーダ１１１のいずれかを動作させ、かつ、画質調整用パラメータの読み出し先として第１画質調整用パラメータ記憶部１０６及び第２画質調整用パラメータ記憶部１１３のいずれかを有効にする信号処理モードを選択する。
多重化部１０７は、オーディオエンコーダ（第１オーディオエンコーダ１０４又は第２オーディオエンコーダ１１１）で生成されたオーディオストリームと、ビデオエンコーダ（第１ビデオエンコーダ１０５又は第２ビデオエンコーダ１１２）で生成されたビデオストリームとを多重化することで多重化ストリーム（ＡＶストリーム）を生成し、記録媒体１０８に記録する。
記録媒体１０８は、ＤＶＤ−ＲＡＭ等の書き込み可能な記録媒体である。
次に、以上のように構成された本実施の形態におけるリアルタイム処理装置の動作について説明する。
図６は、本実施の形態におけるリアルタイム処理装置の動作を示すフローチャートである。ここでは、例えば、オーディオフレーム及びビデオフレーム毎に繰り返される１サイクル分の処理が示されている。
オーディオ実行ステップ数通知部１１４（又はビデオ実行ステップ数通知部１１５）は、動作しているオーディオエンコーダ（又はビデオエンコーダ）のフレームあたりの処理量（実行ステップ数／フレーム）を計測し、ＡＶシステム制御部１１７に通知する（ステップＳ１０）。
ＡＶシステム制御部１１７の実行ステップ数判断部１１８は、図２に示される電力しきい値テーブルに従って、オーディオ実行ステップ数通知部１１４及びビデオ実行ステップ数通知部１１５から通知される各実行ステップ数とあらかじめ設定されたしきい値とを比較し、その結果を信号処理モード選択部１１９に通知する（ステップＳ１１）。
信号処理モード選択部１１９は、図３〜図５に示される信号処理モード選択テーブルに従って、実行ステップ数判断部１１８での比較結果に対応する信号処理モードを選択する（ステップＳ１２）。
ＡＶシステム制御部１１７は、信号処理モード選択部１１９で選択された信号処理モードに従って各構成要素１０２〜１０７及び１０９〜１１３が動作する／動作しないように各構成要素を制御する（ステップＳ１３）。これによって、次のオーディオフレーム（又はビデオフレーム）において、新たに選択された信号処理モードによる信号処理が行われる。
以上のように、本実施の形態のリアルタイム処理装置によれば、オーディオエンコーダ及びビデオエンコーダでの実行ステップ数（処理量）が計測され、その実行ステップ数が一定のしきい値以上の場合に、その実行ステップ数が減少するように信号処理モードが変更されるという制御がフレームごとに繰り返される。よって、従来のように複雑な演算処理をしたり、特別なメモリ資源を必要とすることなく、実行ステップ数の比較という単純な判断処理の追加だけで、消費電力が抑制される。
なお、本実施の形態では、音声・動画信号のエンコーダの例が示されたが、本発明は、デコーダにも適用することもできる。そのときには、デコーダにおける実行ステップ数を計測し、その実行ステップ数としきい値とを比較し、その比較結果に基づいて信号処理モード選択テーブルを参照して信号処理モードを選択し、選択した信号処理モードに対応する省電力化制御を行えばよい。
また、本実施の形態では、フィルタやエンコーダ等の信号処理部として、処理量の大きい信号処理部と処理量の小さい信号処理部の２種類で構成されたが、処理量の異なる３種類以上で構成されてもよい。そのときには、実行ステップ数と比較するしきい値として複数個設け、それら複数個のしきい値と比較して得られる３種類以上の処理状態に基づいて信号処理モードを決定する信号処理モード選択テーブルを準備しておけばよい。
（実施の形態２）
次に、本発明の実施の形態２に係るリアルタイム処理装置について説明する。
図７は、本発明の実施の形態２に係るリアルタイム処理装置の構成を示すブロック図である。このリアルタイム処理装置は、入力されたオーディオ信号とビデオ信号とをリアルタイムで符号化及び多重化して記録媒体１０８に記録するレコーダであり、オーディオ入力端子１００、選択的に使用可能な２つのオーディオフィルタ（第１オーディオフィルタ１０２、第２オーディオフィルタ１０９）、選択的に使用可能な２つのオーディオエンコーダ（第１オーディオエンコーダ１０４、第２オーディオエンコーダ１１１）、オーディオ実行ステップ数通知部１１４、ビデオ入力端子１０１、選択的に使用可能な２つのビデオフィルタ（第１ビデオフィルタ１０３、第２ビデオフィルタ１１０）、選択的に使用可能な２つのビデオエンコーダ（第１ビデオエンコーダ１０５、第２ビデオエンコーダ１１２）、ビデオ実行ステップ数通知部１１５、選択的に使用可能な２つの画質調整用パラメータ記憶部（第１画質調整用パラメータ記憶部１０６、第２画質調整用パラメータ記憶部１１３）、実行ステップ数判断部１１８と信号処理モード選択部１１９ａとを有するＡＶシステム制御部１１７、多重化部１０７、記録媒体１０８及び品質モード決定部６１６を備える。
このリアルタイム処理装置は、図１に示される実施の形態１と比較すると、品質モード決定部６１６が追加されている点、及び、信号処理モード選択部１１９ａが有する信号処理モード選択テーブルが異なる。以下、実施の形態１と同様の構成要素については、同一の符号を付し、説明を省略する。
品質モード決定部６１６は、オーディオ及びビデオのどちらの品質を優先するのかを決定する処理部である。たとえば、品質モード決定部６１６は、ユーザからの指示に従って、オーディオ優先／ビデオ優先のいずれかを示すフラグを内部に保持している。
信号処理モード選択部１１９ａは、実行ステップ数判断部１１８での比較結果及び品質モード決定部６１６での決定結果に基づいて、信号処理モードを選択する処理部であり、そのための決定テーブルとして、図８及び図９に示される信号処理モード選択テーブルを有している。
図８は、オーディオの品質を優先する場合に用いる信号処理モード選択テーブルを示す図である。この信号処理モード選択テーブルは、実行ステップ数が一定のしきい値以上の場合にその実行ステップ数を減少させるようにフィルタと画質調整用パラメータを制御・選択し、かつ、ビデオよりもオーディオの品質を優先するように制御・選択するための決定テーブルであり、以下のことを示している。
つまり、オーディオ実行ステップ数がＡ１（２０２）かつビデオ実行ステップ数がＶ１（２０３）のときには、図８の領域７００に示されるように、オーディオ及びビデオのフィルタをＯＮに、ビデオエンコーダが使用する画質調整用パラメータの読み出し先として第１画質調整用パラメータ記憶部１０６を選択する。また、オーディオ実行ステップ数がＡ２（２０６）かつビデオ実行ステップ数がＶ１（２０３）のときには、図８の領域７０１に示されるように、オーディオフィルタをＯＮに、ビデオフィルタをＯＦＦに、ビデオエンコーダが使用する画質調整用パラメータの読み出し先として第１画質調整用パラメータ記憶部１０６を選択する。また、オーディオ実行ステップ数がＡ１（２０２）かつビデオ実行ステップ数がＶ２（２０７）のときには、図８の領域７０２に示されるように、オーディオフィルタをＯＮに、ビデオフィルタをＯＦＦに、ビデオエンコーダが使用する画質調整用パラメータの読み出し先として第１画質調整用パラメータ記憶部１０６を選択する。また、オーディオ実行ステップ数がＡ２（２０６）かつビデオ実行ステップ数がＶ２（２０７）のときには、図８の領域７０３に示されるように、オーディオフィルタをＯＮに、ビデオフィルタをＯＦＦに、ビデオエンコーダが使用する画質調整用パラメータの読み出し先として第２画質調整用パラメータ記憶部１１３を選択する。このように、この信号処理モード選択テーブルでは、オーディオフィルタは常にＯＮにされるが、ビデオフィルタはモードによってＯＦＦにされる点で、ビデオよりもオーディオが優先されている。
図９は、ビデオの品質を優先する場合に用いる信号処理モード選択テーブルを示す図である。この信号処理モード選択テーブルは、実行ステップ数が一定のしきい値以上の場合にその実行ステップ数を減少させるようにフィルタとオーディオエンコーダを制御・選択し、かつ、オーディオよりもビデオの品質を優先するように制御・選択するための決定テーブルであり、以下のことを示している。
つまり、オーディオ実行ステップ数がＡ１（２０２）かつビデオ実行ステップ数がＶ１（２０３）のときには、図９の領域８００に示されるように、オーディオ及びビデオのフィルタをＯＮに、動作させるオーディオエンコーダとして第１オーディオエンコーダ１０４を選択する。また、オーディオ実行ステップ数がＡ２（２０６）かつビデオ実行ステップ数がＶ１（２０３）のときには、図９の領域８０１に示されるように、オーディオフィルタをＯＦＦに、ビデオフィルタをＯＮに、動作させるオーディオエンコーダとして第１オーディオエンコーダ１０４を選択する。また、オーディオ実行ステップ数がＡ１（２０２）かつビデオ実行ステップ数がＶ２（２０７）のときには、図９の領域８０２に示されるように、オーディオフィルタをＯＦＦに、ビデオフィルタをＯＮに、動作させるオーディオエンコーダとして第１オーディオエンコーダ１０４を選択する。また、オーディオ実行ステップ数がＡ２（２０６）かつビデオ実行ステップ数がＶ２（２０７）のときには、図９の領域８０３に示されるように、オーディオフィルタをＯＦＦに、ビデオフィルタをＯＮに、動作させるオーディオエンコーダとして第２オーディオエンコーダ１１１を選択する。このように、この信号処理モード選択テーブルでは、ビデオフィルタは常にＯＮにされるが、オーディオフィルタはモードによってＯＦＦにされる点で、オーディオよりもビデオが優先されている。
信号処理モード選択部１１９ａは、品質モード決定部６１６においてオーディオの品質を優先すべきと決定されている場合には、図８に示される信号処理モード選択テーブルに従って信号処理モードを選択し、一方、品質モード決定部６１６においてビデオの品質を優先すべきと決定されている場合には、図９に示される信号処理モード選択テーブルに従って信号処理モードを選択する。
なお、図８及び図９の信号処理モード選択テーブルに規定されていない構成要素（例えば、ビデオエンコーダ）については、予め決められたデフォルトの設定、あるいは、ユーザの指定に従って動作モード（ＯＮ／ＯＦＦ等）が決定される。
次に、以上のように構成された本実施の形態におけるリアルタイム処理装置の動作について説明する。
本実施の形態のリアルタイム処理装置は、実施の形態１と同様に、図６に示されるフローチャートに従って、フレームごとに信号処理モードを選択し、選択した信号処理モードで信号処理を行う。ただし、本実施の形態では、この処理に先立って、使用する信号処理モード選択テーブルを２種類のテーブル（図８及び図９）から選択しておく処理が付加されている。
図１０は、本実施の形態におけるリアルタイム処理装置の動作のうち、信号処理モード選択テーブルの選択に関する動作を示すフローチャートである。
品質モード決定部６１６は、オーディオ及びビデオのどちらの品質を優先するのかを決定する（ステップＳ２０）。たとえば、品質モード決定部６１６は、信号処理に先立ってユーザから指示を取得し、その指示に従って、オーディオ優先／ビデオ優先のいずれかを示すフラグを内部のメモリに格納しておく。
信号処理モード選択部１１９ａは、品質モード決定部６１６に格納されたフラグを参照することで、品質モード決定部６１６においてオーディオ／ビデオのいずれの品質が優先すべきと決定されているかを判断し、オーディオの品質を優先すべきと決定されている場合には、図８に示される信号処理モード選択テーブルに従って信号処理モードを選択し（ステップＳ２１）、一方、ビデオの品質を優先すべきと決定されている場合には、図９に示される信号処理モード選択テーブルに従って信号処理モードを選択する（ステップＳ２２）。これによって、品質モード決定部６１６での決定に従ってオーディオ又はビデオの品質を優先した状態で信号が符号化される。
以上のように、本実施の形態のリアルタイム処理装置によれば、実行ステップ数の比較という単純な判断処理の追加だけで消費電力が抑制されるとともに、オーディオ及びビデオのいずれかの品質を優先した状態で信号処理が行われる。これによって、ユーザが期待するオーディオ／ビデオの品質で信号処理が行われるとともに、消費電力の削減が図られる。
なお、本実施の形態では、オーディオ及びビデオのいずれかの品質を優先する２種類の信号処理モード選択テーブルが設けられていたが、これに加えて、いずれも優先しない（オーディオ及びビデオの品質に優劣をつけない）第３の信号処理モード選択テーブル（例えば、実施の形態１における信号処理モード選択テーブル）を設けてもよい。
（実施の形態３）
次に、本発明の実施の形態３に係るリアルタイム処理装置について説明する。
図１１は、本発明の実施の形態３に係るリアルタイム処理装置の構成を示すブロック図である。このリアルタイム処理装置は、入力されたオーディオ信号とビデオ信号とをリアルタイムで符号化及び多重化して記録媒体１０８に記録するレコーダであり、オーディオ入力端子１００、選択的に使用可能な２つのオーディオフィルタ（第１オーディオフィルタ１０２、第２オーディオフィルタ１０９）、選択的に使用可能な２つのオーディオエンコーダ（第１オーディオエンコーダ１０４、第２オーディオエンコーダ１１１）、オーディオ実行ステップ数通知部１１４、ビデオ入力端子１０１、選択的に使用可能な２つのビデオフィルタ（第１ビデオフィルタ１０３、第２ビデオフィルタ１１０）、選択的に使用可能な２つのビデオエンコーダ（第１ビデオエンコーダ１０５、第２ビデオエンコーダ１１２）、動きベクトル通知部９１５、選択的に使用可能な２つの画質調整用パラメータ記憶部（第１画質調整用パラメータ記憶部１０６、第２画質調整用パラメータ記憶部１１３）、動きベクトル判定部９１８と信号処理モード選択部１１９ｂとを有するＡＶシステム制御部１１７、多重化部１０７及び記録媒体１０８を備える。
このリアルタイム処理装置は、図１に示される実施の形態１と比較すると、ビデオ実行ステップ数通知部１１５に代えて動きベクトル通知部９１５を備える点、実行ステップ数判断部１１８に代えて動きベクトル判定部９１８を備える点、及び、信号処理モード選択部１１９ｂが有する信号処理モード選択テーブルが異なる。以下、実施の形態１と同様の構成要素については、同一の符号を付し、説明を省略する。
動きベクトル通知部９１５は、動作しているビデオエンコーダ（第１ビデオエンコーダ１０５又は第２ビデオエンコーダ１１２）で検出される動きベクトルをＡＶシステム制御部１１７に通知する。具体的には、ビデオ信号に対する処理量を示すパラメータとして、各フレームにおいて検出される最大の動きベクトルを特定し、その動きベクトル（ここでは、動きベクトルの大きさ）をＡＶシステム制御部１１７に通知することをフレーム毎に繰り返す。
動きベクトル判定部９１８は、オーディオ実行ステップ数通知部１１４から通知される実行ステップ数及び動きベクトル通知部９１５から通知される動きベクトルとあらかじめ設定されたしきい値とを比較する。この動きベクトル判定部９１８は、オーディオ実行ステップ数通知部１１４から通知される実行ステップ数については、実施の形態１と同様に、図２に示される電力しきい値テーブルを用いて、状態Ａ１（２０２）か状態Ａ２（２０６）を判定する。一方、動きベクトル通知部９１５から通知される動きベクトルについては、図１２に示される電力しきい値テーブルを用いて、動きベクトル通知部９１５から通知される動きベクトル（ここでは、動きベクトルの大きさ）１０００と動きベクトルしきい値Ｖｔ１（１００２）とを比較し、その結果を信号処理モード選択部１１９ｂに通知する。なお、以下では、動きベクトル１０００が動きベクトルしきい値Ｖｔ１（１００２）よりも小さい場合を「Ｖ１（１００１）」と呼び、動きベクトル１０００が動きベクトルしきい値Ｖｔ１（１００２）以上の場合を「Ｖ２（１００３）」と呼ぶ。
信号処理モード選択部１１９ｂは、動きベクトル判定部９１８での比較結果に基づいて、信号処理モードを選択する処理部であり、そのための決定テーブルとして、図１３に示される信号処理モード選択テーブルを有している。
図１３は、フィルタ制御のための信号処理モード選択テーブルを示す図である。この信号処理モード選択テーブルは、動きベクトル通知部９１５から通知される動きベクトルが一定のしきい値以上の場合にビデオ信号に対する信号処理（ここでは、フィルタ処理）を減少させるようにフィルタ制御をするための決定テーブルであり、以下のことを示している。つまり、オーディオ実行ステップ数がＡ１（２０２）かつ動きベクトルがＶ１（１００１）のときには、図１３の領域１１００に示されるように、オーディオ及びビデオのフィルタをＯＮにする。また、オーディオ実行ステップ数がＡ１（２０２）かつ動きベクトルがＶ２（１００３）のときには、図１３の領域１１０１に示されるように、オーディオフィルタをＯＦＦ、ビデオフィルタをＯＮにする。
信号処理モード選択部１１９ｂは、図１３に示される信号処理モード選択テーブルに従って、第１オーディオフィルタ１０２及び第２オーディオフィルタ１０９のうち選択されているオーディオフィルタをＯＮ又はＯＦＦに、かつ、第１ビデオフィルタ１０３及び第２ビデオフィルタ１１０のうち選択されているビデオフィルタをＯＮ又はＯＦＦにする信号処理モードを選択する。
なお、図１３の信号処理モード選択テーブルに規定されていない構成要素（例えば、ビデオエンコーダ）、及び、動作状態（例えば、状態Ａ２）については、予め決められたデフォルトの設定、あるいは、ユーザの指定に従って動作モード（ＯＮ／ＯＦＦ等）が決定される。
次に、以上のように構成された本実施の形態におけるリアルタイム処理装置の動作について説明する。本実施の形態におけるリアルタイム処理装置は、基本的には実施の形態１と同様の動作をする。ただし、ビデオ信号に関して、処理量の判断と使用する信号処理モード選択テーブルが異なる。
図１４は、本実施の形態におけるリアルタイム処理装置の動作を示すフローチャートである。ここでは、ビデオ信号についての処理、つまり、ビデオフレーム毎に繰り返される１サイクル分の処理が示されている。
動きベクトル通知部９１５は、フレームごとに、動作しているビデオエンコーダで検出される動きベクトルのうち、大きさが最大となる動きベクトルを特定し、ＡＶシステム制御部１１７に通知する（ステップＳ３０）。
ＡＶシステム制御部１１７の動きベクトル判定部９１８は、図１２に示される電力しきい値テーブルに従って、動きベクトル通知部９１５から通知される動きベクトルとあらかじめ設定されたしきい値とを比較し、その結果を信号処理モード選択部１１９ｂに通知する（ステップＳ３１）。
信号処理モード選択部１１９ｂは、図１３に示される信号処理モード選択テーブルに従って、動きベクトル判定部９１８での比較結果に対応する信号処理モードを選択する（ステップＳ３２）。
ＡＶシステム制御部１１７は、信号処理モード選択部１１９ｂで選択された信号処理モードに従って各構成要素１０２〜１０７及び１０９〜１１３が動作する／動作しないように各構成要素を制御する（ステップＳ３３）。これによって、次のビデオフレームにおいて、新たに選択された信号処理モードによる信号処理が行われる。
以上のように、本実施の形態のリアルタイム処理装置によれば、ビデオエンコーダで検出される動きベクトルの最大値（処理量）が計測され、その最大値が一定のしきい値以上の場合に、そのビデオ信号に対する処理量が減少するように信号処理モードが変更されるという制御がフレームごとに繰り返される。よって、従来のように複雑な演算処理をしたり、特別なメモリ資源を必要とすることなく、動きベクトルの最大値としきい値との比較という単純な判断処理の追加だけで、消費電力が抑制される。
なお、本実施の形態では、ビデオエンコーダにおける処理量を示す情報として、実行ステップ数に代えて、動きベクトルが用いられたが、実行ステップ数と動きベクトルの両方を用いてもよい。そのときには、実行ステップ数と動きベクトルそれぞれについて、しきい値と比較し、その比較結果で信号処理モードを決定する信号処理モード選択テーブルを用意しておけばよい。
（実施の形態４）
次に、本発明の実施の形態４に係るリアルタイム処理装置について説明する。
図１５は、本発明の実施の形態４に係るリアルタイム処理装置の構成を示すブロック図である。このリアルタイム処理装置は、入力されたオーディオ信号とビデオ信号とをリアルタイムで符号化及び多重化して記録媒体１０８に記録するレコーダであり、オーディオ入力端子１００、選択的に使用可能な２つのオーディオフィルタ（第１オーディオフィルタ１０２、第２オーディオフィルタ１０９）、選択的に使用可能な２つのオーディオエンコーダ（第１オーディオエンコーダ１０４、第２オーディオエンコーダ１１１）、ビデオ入力端子１０１、選択的に使用可能な２つのビデオフィルタ（第１ビデオフィルタ１０３、第２ビデオフィルタ１１０）、選択的に使用可能な２つのビデオエンコーダ（第１ビデオエンコーダ１０５、第２ビデオエンコーダ１１２）、選択的に使用可能な２つの画質調整用パラメータ記憶部（第１画質調整用パラメータ記憶部１０６、第２画質調整用パラメータ記憶部１１３）、スループット判定部１２１７と信号処理モード選択部１１９ｃとを有するＡＶシステム制御部１１７、多重化部１０７、スループット通知部１２１４、記録媒体１０８及び品質モード決定部６１６を備える。
このリアルタイム処理装置は、図１に示される実施の形態１と比較すると、オーディオ実行ステップ数通知部１１４及びビデオ実行ステップ数通知部１１５に代えてスループット通知部１２１４を備える点、実行ステップ数判断部１１８に代えてスループット判定部１２１７を備える点、実施の形態２と同様の品質モード決定部６１６が追加されている点、及び、信号処理モード選択部１１９ｃが有する信号処理モード選択テーブルが異なる。以下、実施の形態１及び２と同様の構成要素については、同一の符号を付し、説明を省略する。
スループット通知部１２１４は、このリアルタイム処理装置の信号処理におけるスループット、ここでは、多重化部１０７で生成された多重化ストリームのビットレートを計測し、スループット情報としてＡＶシステム制御部１１７に通知する。
スループット判定部１２１７は、スループット通知部１２１４から通知されるスループット情報とあらかじめ設定されたしきい値とを比較する。具体的には、図１６に示される電力しきい値テーブルを用いて、スループット通知部１２１４から通知されるスループット１３００とスループットしきい値Ｍｔ１（１３０２）とを比較し、その結果を信号処理モード選択部１１９ｃに通知する。なお、以下では、スループット１３００がスループットしきい値Ｍｔ１（１３０２）よりも小さい場合を「Ｍ１（１３０１）」と呼び、スループット１３００がスループットしきい値Ｍｔ１（１３０２）以上の場合を「Ｍ２（１３０３）」と呼ぶ。
信号処理モード選択部１１９ｃは、スループット判定部１２１７での比較結果及び品質モード決定部６１６での決定結果に基づいて、信号処理モードを選択する処理部であり、そのための決定テーブルとして、図１７及び図１８に示される信号処理モード選択テーブルを有している。
図１７は、オーディオの品質を優先する場合に用いる信号処理モード選択テーブルを示す図である。この信号処理モード選択テーブルは、スループット通知部１２１４から通知されるスループットが一定のしきい値以上の場合に信号処理における実行ステップ数を減少させるようにフィルタを制御し、かつ、ビデオよりもオーディオの品質を優先するように制御するための決定テーブルであり、以下のことを示している。
つまり、スループット通知部１２１４から通知されるスループットがＭ１（１３０１）のときには、図１７の領域１４００に示されるように、オーディオ及びビデオのフィルタをＯＮにする。また、スループット通知部１２１４から通知されるスループットがＭ２（１３０３）のときには、図１７の領域１３０１に示されるように、オーディオフィルタをＯＮに、ビデオフィルタをＯＦＦにする。このように、この信号処理モード選択テーブルでは、オーディオフィルタは常にＯＮにされるが、ビデオフィルタはモードによってＯＦＦにされる点で、ビデオよりもオーディオが優先されている。
図１８は、ビデオの品質を優先する場合に用いる信号処理モード選択テーブルを示す図である。この信号処理モード選択テーブルは、スループット通知部１２１４から通知されるスループットが一定のしきい値以上の場合に信号処理における実行ステップ数を減少させるようにフィルタを制御し、かつ、オーディオよりもビデオの品質を優先するように制御するための決定テーブルであり、以下のことを示している。
つまり、スループット通知部１２１４から通知されるスループットがＭ１（１３０１）のときには、図１８の領域１５００に示されるように、オーディオ及びビデオのフィルタをＯＮにする。また、スループット通知部１２１４から通知されるスループットがＭ２（１３０３）のときには、図１８の領域１５０１に示されるように、オーディオフィルタをＯＦＦに、ビデオフィルタをＯＮにする。このように、この信号処理モード選択テーブルでは、ビデオフィルタは常にＯＮにされるが、オーディオフィルタはモードによってＯＦＦにされる点で、オーディオよりもビデオが優先されている。
信号処理モード選択部１１９ｃは、品質モード決定部６１６においてオーディオの品質を優先すべきと決定されている場合には、図１７に示される信号処理モード選択テーブルに従って信号処理モードを選択し、一方、品質モード決定部６１６においてビデオの品質を優先すべきと決定されている場合には、図１８に示される信号処理モード選択テーブルに従って信号処理モードを選択する。
なお、図８及び図９の信号処理モード選択テーブルに規定されていない構成要素（例えば、ビデオエンコーダ）については、予め決められたデフォルトの設定、あるいは、ユーザの指定に従って動作モード（ＯＮ／ＯＦＦ等）が決定される。
次に、以上のように構成された本実施の形態におけるリアルタイム処理装置の動作について説明する。
２つの信号処理モード選択テーブルから１つを選択する動作については、実施の形態２と同様である。つまり、信号処理モード選択部１１９ｃは、品質モード決定部６１６に格納されたフラグを参照することで、品質モード決定部６１６においてオーディオ／ビデオのいずれの品質が優先すべきと決定されているかを判断し、オーディオの品質を優先すべきと決定されている場合には、図１７に示される信号処理モード選択テーブルに従って信号処理モードを選択し、一方、ビデオの品質を優先すべきと決定されている場合には、図１８に示される信号処理モード選択テーブルに従って信号処理モードを選択する。
また、選択された信号処理モード選択テーブルを用いた信号処理モードの選択・制御については、図１９のフローチャートに示されるように、基本的には、実施の形態１と同様である。ただし、オーディオ実行ステップ数通知部１１４及びビデオ実行ステップ数通知部１１５による実行ステップ数の計測に代えて、スループット通知部１２１４がスループットを計測する点が異なる（Ｓ４０）。
以上のように、本実施の形態のリアルタイム処理装置によれば、信号処理におけるスループットの比較という単純な判断処理の追加だけで消費電力が抑制されるとともに、オーディオ及びビデオのいずれかの品質を優先した状態で信号処理が行われる。これによって、ユーザが期待するオーディオ／ビデオの品質で信号処理が行われるとともに、消費電力の削減が図られる。
なお、本実施の形態では、信号処理モード選択テーブルには、フィルタのＯＮ／ＯＦＦが記述されていたが、図４及び図５に示されるように、エンコーダ及び画質調整用パラメータのＯＮ／ＯＦＦ・選択が記述されていてもよい。
また、本実施の形態では、多重化部１０７における信号処理のスループットに基づいて信号処理モードが選択されたが、スループットに加えて、オーディオ実行ステップ数やビデオ実行ステップ数も計測し、それら３つの情報（スループット、オーディオ実行ステップ数、ビデオ実行ステップ数）に基づいて信号処理モードを選択する構成としてもよい。
（実施の形態５）
次に、本発明の実施の形態５に係るリアルタイム処理装置について説明する。
図２０は、本発明の実施の形態５に係るリアルタイム処理装置の構成を示すブロック図である。このリアルタイム処理装置は、入力されたオーディオ信号とビデオ信号とをリアルタイムで符号化及び多重化して記録媒体１０８に記録するレコーダであり、オーディオ入力端子１００、選択的に使用可能な２つのオーディオフィルタ（第１オーディオフィルタ１０２、第２オーディオフィルタ１０９）、選択的に使用可能な２つのオーディオエンコーダ（第１オーディオエンコーダ１０４、第２オーディオエンコーダ１１１）、オーディオ実行ステップ数通知部１１４、ビデオ入力端子１０１、選択的に使用可能な２つのビデオフィルタ（第１ビデオフィルタ１０３、第２ビデオフィルタ１１０）、選択的に使用可能な２つのビデオエンコーダ（第１ビデオエンコーダ１０５、第２ビデオエンコーダ１１２）、ビデオ実行ステップ数通知部１１５、選択的に使用可能な２つの画質調整用パラメータ記憶部（第１画質調整用パラメータ記憶部１０６、第２画質調整用パラメータ記憶部１１３）、実行ステップ数判断部１１８と信号処理モード選択部１１９ｄとクロック制御部１６２０とを有するＡＶシステム制御部１１７、多重化部１０７及び記録媒体１０８を備える。
このリアルタイム処理装置は、図１に示される実施の形態１と比較すると、ＡＶシステム制御部１１７にクロック制御部１６２０が追加されている点、及び、信号処理モード選択部１１９ｄが有する信号処理モード選択テーブルが異なる。以下、実施の形態１と同様の構成要素については、同一の符号を付し、説明を省略する。
クロック制御部１６２０は、このリアルタイム処理装置の各構成要素（オーディオエンコーダ、ビデオエンコーダ等）に供給されているクロック信号（以下、単に「クロック」という。）の周波数を変更する処理部である。例えば、このリアルタイム処理装置には分周器を有するクロック発生回路が設けられ（図示は省略）、クロック制御部１６２０は、その分周器の分周比を変更することで、各構成要素に供給されるクロックの周波数を上げたり、下げたりする。
信号処理モード選択部１１９ｄは、実行ステップ数判断部１１８での比較結果に基づいて、信号処理モードを選択する処理部であり、そのための決定テーブルとして、図２１に示される信号処理モード選択テーブルを有している。
図２１は、フィルタ及びクロックを制御するための信号処理モード選択テーブルを示す図である。この信号処理モード選択テーブルは、実行ステップ数が一定のしきい値以上の場合にその実行ステップ数を減少させとともにクロック周波数を下げるように制御するための決定テーブルであり、以下のことを示している。つまり、オーディオ実行ステップ数がＡ１（２０２）かつビデオ実行ステップ数がＶ１（２０３）のときには、図２１の領域１７００に示されるように、オーディオ及びビデオのフィルタをＯＮにする。また、オーディオ実行ステップ数がＡ２（２０６）かつビデオ実行ステップ数がＶ１（２０３）のときには、図２１の領域１７０１に示されるように、オーディオフィルタをＯＦＦ、ビデオフィルタをＯＮにするとともに、クロック周波数を下げる。また、オーディオ実行ステップ数がＡ１（２０２）かつビデオ実行ステップ数がＶ２（２０７）のときには、図２１の領域１７０２に示されるように、オーディオフィルタをＯＮ、ビデオフィルタをＯＦＦにするとともに、クロック周波数を下げる。また、オーディオ実行ステップ数がＡ２（２０６）かつビデオ実行ステップ数がＶ２（２０７）のときには、図２１の領域１７０３に示されるように、オーディオフィルタをＯＦＦ、ビデオフィルタをＯＦＦにするとともに、クロック周波数を下げる。
信号処理モード選択部１１９ｄは、図２１に示される信号処理モード選択テーブルに従って、第１オーディオフィルタ１０２及び第２オーディオフィルタ１０９のうち選択されているオーディオフィルタをＯＮ又はＯＦＦに、第１ビデオフィルタ１０３及び第２ビデオフィルタ１１０のうち選択されているビデオフィルタをＯＮ又はＯＦＦにするとともに、クロック制御部１６２０によって、各構成要素に供給されるクロックの周波数を通常の値又は低い値にする信号処理モードを選択する。
なお、図２１の信号処理モード選択テーブルに規定されていない構成要素（例えば、ビデオエンコーダ）については、予め決められたデフォルトの設定、あるいは、ユーザの指定に従って動作モード（ＯＮ／ＯＦＦ等）が決定される。
以上のように構成された本実施の形態におけるリアルタイム処理装置の動作は、基本的には、実施の形態１と同様である。ただし、本実施の形態では、選択された信号処理モードに従った制御（ステップＳ１３）においては、各構成要素に供給されるクロックの周波数も制御される。
以上のように、本実施の形態のリアルタイム処理装置によれば、処理量に基づいて、各構成要素をＯＮ／ＯＦＦさせる制御だけでなく、クロック周波数を変更する制御も行われ、より消費電力が削減される。
なお、本実施の形態では、信号処理モード選択テーブルには、フィルタのＯＮ／ＯＦＦとクロック周波数が記述されていたが、図４及び図５に示されるように、エンコーダ及び画質調整用パラメータのＯＮ／ＯＦＦ・選択が記述されていてもよい。
（実施の形態６）
次に、本発明の実施の形態６に係るリアルタイム処理装置について説明する。
図２２は、本発明の実施の形態６に係るリアルタイム処理装置の構成を示すブロック図である。このリアルタイム処理装置は、入力されたオーディオ信号とビデオ信号とをリアルタイムで符号化及び多重化して記録媒体１０８に記録するレコーダであり、オーディオ入力端子１００、選択的に使用可能な２つのオーディオフィルタ（第１オーディオフィルタ１０２、第２オーディオフィルタ１０９）、選択的に使用可能な２つのオーディオエンコーダ（第１オーディオエンコーダ１０４、第２オーディオエンコーダ１１１）、ビデオ入力端子１０１、選択的に使用可能な２つのビデオフィルタ（第１ビデオフィルタ１０３、第２ビデオフィルタ１１０）、選択的に使用可能な２つのビデオエンコーダ（第１ビデオエンコーダ１０５、第２ビデオエンコーダ１１２）、選択的に使用可能な２つの画質調整用パラメータ記憶部（第１画質調整用パラメータ記憶部１０６、第２画質調整用パラメータ記憶部１１３）、消費電流判定部１８１８と信号処理モード選択部１１９ｅとを有するＡＶシステム制御部１１７、多重化部１０７、消費電流計測部１８２０、記録媒体１０８及び品質モード決定部６１６を備える。
このリアルタイム処理装置は、図１５に示される実施の形態４と比較すると、スループット通知部１２１４に代えて消費電流計測部１８２０を備える点、スループット判定部１２１７に代えて消費電流判定部１８１８を備える点、及び、信号処理モード選択部１１９ｅが有する信号処理モード選択テーブルが異なる。以下、実施の形態４と同様の構成要素については、同一の符号を付し、説明を省略する。
消費電流計測部１８２０は、このリアルタイム処理装置における消費電流を定期的に（例えば、１ｍｓごとに）計測し、その計測値を内部の電流値レジスタ１８２０ａに更新しながら格納する処理部である。
消費電流判定部１８１８は、消費電流計測部１８２０の電流値レジスタ１８２０ａに保持された電流値を定期的に（例えば、３ｍｓごとに）読み出し、フレーム（例えば、３３ｍｓ）ごとの平均を算出し、算出した平均値である消費電流とあらかじめ設定されたしきい値とを比較する。具体的には、図２３に示される電力しきい値テーブルを用いて、フレームごとに平均した消費電流１９００と消費電流しきい値Ｉｔ１（１９０２）とを比較し、その結果を信号処理モード選択部１１９ｅに通知する。なお、以下では、消費電流１９００が消費電流しきい値Ｉｔ１（１９０２）よりも小さい場合を「Ｉ１（１９０１）」と呼び、消費電流１９００が消費電流しきい値Ｉｔ１（１９０２）以上の場合を「Ｉ２（１９０３）」と呼ぶ。
信号処理モード選択部１１９ｅは、消費電流判定部１８１８での比較結果及び品質モード決定部６１６での決定結果に基づいて、信号処理モードを選択する処理部であり、そのための決定テーブルとして、図２４及び図２５に示される信号処理モード選択テーブルを有している。
図２４は、オーディオの品質を優先する場合に用いる信号処理モード選択テーブルを示す図である。この信号処理モード選択テーブルは、消費電流判定部１８１８で算出された平均消費電流が一定のしきい値以上の場合に信号処理における実行ステップ数を減少させるようにフィルタを制御し、かつ、ビデオよりもオーディオの品質を優先するように制御するための決定テーブルであり、以下のことを示している。
つまり、消費電流判定部１８１８で算出された平均消費電流がＩ１（１９０１）のときには、図２４の領域２０００に示されるように、オーディオ及びビデオのフィルタをＯＮにする。また、消費電流判定部１８１８で算出された平均消費電流がＩ２（１９０３）のときには、図２４の領域２００１に示されるように、オーディオフィルタをＯＮに、ビデオフィルタをＯＦＦにする。このように、この信号処理モード選択テーブルでは、オーディオフィルタは常にＯＮにされるが、ビデオフィルタはモードによってＯＦＦにされる点で、ビデオよりもオーディオが優先されている。
図２５は、ビデオの品質を優先する場合に用いる信号処理モード選択テーブルを示す図である。この信号処理モード選択テーブルは、消費電流判定部１８１８で算出された平均消費電流が一定のしきい値以上の場合に信号処理における実行ステップ数を減少させるようにフィルタを制御し、かつ、オーディオよりもビデオの品質を優先するように制御するための決定テーブルであり、以下のことを示している。
つまり、消費電流判定部１８１８で算出された平均消費電流がＩ１（１９０１）のときには、図２５の領域２１００に示されるように、オーディオ及びビデオのフィルタをＯＮにする。また、消費電流判定部１８１８で算出された平均消費電流がＩ２（１９０３）のときには、図２５の領域２１０１に示されるように、オーディオフィルタをＯＦＦに、ビデオフィルタをＯＮにする。このように、この信号処理モード選択テーブルでは、ビデオフィルタは常にＯＮにされるが、オーディオフィルタはモードによってＯＦＦにされる点で、オーディオよりもビデオが優先されている。
信号処理モード選択部１１９ｅは、品質モード決定部６１６においてオーディオの品質を優先すべきと決定されている場合には、図２４に示される信号処理モード選択テーブルに従って信号処理モードを選択し、一方、品質モード決定部６１６においてビデオの品質を優先すべきと決定されている場合には、図２５に示される信号処理モード選択テーブルに従って信号処理モードを選択する。
なお、図２４及び図２５の信号処理モード選択テーブルに規定されていない構成要素（例えば、ビデオエンコーダ）については、予め決められたデフォルトの設定、あるいは、ユーザの指定に従って動作モード（ＯＮ／ＯＦＦ等）が決定される。
以上のように構成された本実施の形態におけるリアルタイム処理装置の動作は、基本的には、実施の形態４と同様である。ただし、本実施の形態では、スループットに代えて、消費電流によって信号処理モードが決定される。
以上のように、本実施の形態のリアルタイム処理装置によれば、消費電流としきい値との比較という単純な判断処理の追加だけで消費電力が抑制されるとともに、オーディオ及びビデオのいずれかの品質を優先した状態で信号処理が行われる。これによって、ユーザが期待するオーディオ／ビデオの品質で信号処理が行われるとともに、消費電力の削減が図られる。
なお、本実施の形態では、信号処理モード選択テーブルには、フィルタのＯＮ／ＯＦＦが記述されていたが、図４及び図５に示されるように、エンコーダ及び画質調整用パラメータのＯＮ／ＯＦＦ・選択が記述されていてもよい。
また、本実施の形態では、消費電流計測部１８２０で計測された消費電流に基づいて信号処理モードが選択されたが、消費電流に加えて、オーディオ実行ステップ数やビデオ実行ステップ数も計測し、それら３つの情報（消費電流、オーディオ実行ステップ数、ビデオ実行ステップ数）に基づいて信号処理モードを選択する構成としてもよい。
（実施の形態７）
次に、本発明の実施の形態７に係るリアルタイム処理装置について説明する。
図２６は、本発明の実施の形態７に係るリアルタイム処理装置の構成を示すブロック図である。このリアルタイム処理装置は、入力されたオーディオ信号とビデオ信号とをリアルタイムで符号化及び多重化して記録媒体１０８に記録するレコーダであり、オーディオ入力端子１００、選択的に使用可能な２つのオーディオフィルタ（第１オーディオフィルタ１０２、第２オーディオフィルタ１０９）、選択的に使用可能な２つのオーディオエンコーダ（第１オーディオエンコーダ１０４、第２オーディオエンコーダ１１１）、オーディオ実行ステップ数通知部１１４、ビデオ入力端子１０１、選択的に使用可能な２つのビデオフィルタ（第１ビデオフィルタ１０３、第２ビデオフィルタ１１０）、選択的に使用可能な２つのビデオエンコーダ（第１ビデオエンコーダ１０５、第２ビデオエンコーダ１１２）、ビデオ実行ステップ数通知部１１５、選択的に使用可能な２つの画質調整用パラメータ記憶部（第１画質調整用パラメータ記憶部１０６、第２画質調整用パラメータ記憶部１１３）、実行ステップ数判断部１１８と信号処理モード選択部１１９と実行ステップ数保持部２２１９とを有するＡＶシステム制御部１１７、多重化部１０７及び記録媒体１０８を備える。
このリアルタイム処理装置は、図１に示される実施の形態１と比較すると、実行ステップ数保持部２２１９が追加されている点が異なる。以下、実施の形態１と同様の構成要素については、同一の符号を付し、説明を省略する。
実行ステップ数保持部２２１９は、オーディオ実行ステップ数通知部１１４及びビデオ実行ステップ数通知部１１５から通知される実行ステップ数を内部の実行ステップ数保持テーブルに蓄積しながら保持していく不揮発性のメモリ等である。なお、実行ステップ数に代えて、実行ステップ数判断部１１８での判断結果を保持してもよい。
図２７は、実行ステップ数保持部２２１９が有する実行ステップ数保持テーブルの構造を示す図である。この実行ステップ数保持テーブルは、フレーム単位で、オーディオ及びビデオの実行ステップ数、あるいは／それに加えて、実行ステップ数判断部１１８での判断結果を保持することができる管理テーブルである。
図２７の左欄に示されるように、実行ステップ数保持テーブルには、１Ｆｒａｍｅ目のオーディオ実行ステップ数情報２３００、１Ｆｒａｍｅ目のビデオ実行ステップ数情報２３０１、・・・、ＮＦｒａｍｅ目のオーディオ実行ステップ数情報２３０８、ＮＦｒａｍｅ目のビデオ実行ステップ数情報２３０９というように、オーディオ及びビデオのフレーム毎にオーディオ実行ステップ数通知部１１４及びビデオ実行ステップ数通知部１１５から通知された実行ステップ数が記録される。
また、図２７の右側の３つの欄に示されるように、実行ステップ数判断部１１８での判断結果が記録されてもよい。あらかじめ設定されているオーディオ実行ステップ数しきい値をＰＡｔ２３０３、ビデオ実行ステップ数しきい値をＰＶｔ２３０６とすると、１Ｆｒａｍｅ目のオーディオ実行ステップ数情報２３００がオーディオ実行ステップ数しきい値ＰＡｔより小さい場合には、その旨を示す値ＰＡ１１（２３０２）を記録し、それ以上の場合には、その旨を示す値ＰＡ２１（２３０４）を記録する。同様に、１Ｆｒａｍｅ目のビデオ実行ステップ数２０１がビデオ実行ステップ数しきい値ＰＶｔより小さい場合には、その旨を示す値ＰＶ１１（２３０５）を記録し、それ以上の場合には、その旨を示す値ＰＶ２１（２３０７）を記録する。同様に、ＮＦｒａｍｅ目のオーディオ実行ステップ数２００がオーディオ実行ステップ数しきい値ＰＡｔより小さい場合には、その旨を示す値ＰＡ１Ｎ（２３１０）を記録し、それ以上の場合には、その旨を示す値ＰＡ２Ｎ（２３１１）を記録する。同様に、ＮＦｒａｍｅ目のビデオ実行ステップ数２０１がビデオ実行ステップ数しきい値ＰＶｔより小さい場合には、その旨を示す値ＰＶ１Ｎ（２３１２）を記録し、それ以上の場合には、その旨を示す値ＰＶ２Ｎ（２３１３）を記録する。
このように記録された実行ステップ数、あるいは、実行ステップ数としきい値との比較結果（以下、「実行ステップ数」及び「実行ステップ数としきい値との比較結果」を併せて「実行ステップ数等」という。）は、エンコード時におけるフレーム単位の処理量を示していると同時に、このエンコードによって生成されたストリームをデコード（再生）するときにおける処理量をも示している。
よって、記録媒体１０８に記録されたストリームをデコードするときに、実行ステップ数保持部２２１９に保持された実行ステップ数保持テーブルを参照することで、デコード時における処理量を即座に知ることができ、エンコード時と同様に、電力削減のための信号処理モードの決定等に役立てることができる。つまり、ＡＶシステム制御部１１７は、実行ステップ数保持部２２１９に保持された実行ステップ数保持テーブルを参照することで、エンコード時と同様に、デコード時における信号処理モードを決定し、各構成要素を制御してもよい。
以上のように、本実施の形態のリアルタイム処理装置によれば、実施の形態１に実行ステップ数保持部２２１９が追加され、実行ステップ数保持テーブルに実行ステップ数等が記録されるので、記録媒体１０８に記録されたストリームを再生するとき等において、実行ステップ数保持テーブルを参照しながら消費電力を削減するための信号処理モードを決定することができる。これにより、記録時だけでなく、再生時においても消費電力が削減される。
なお、本実施の形態では、オーディオエンコーダ及びビデオエンコーダにおける実行ステップ数等が保持されたが、これに代えて、あるいは、これに加えて、多重化部１０７におけるスループットやリアルタイム処理装置の消費電流が計測される場合には、それら計測されたスループットや消費電流値も保持してもよい。これにより、より詳細にリアルタイム処理装置における処理負荷が把握されるので、より緻密な省電力化制御が可能となる。
（実施の形態８）
次に、本発明の実施の形態８に係るリアルタイム処理装置について説明する。
図２８は、本発明の実施の形態８に係るリアルタイム処理装置の構成を示すブロック図である。このリアルタイム処理装置は、入力されたオーディオ信号とビデオ信号とをリアルタイムで符号化及び多重化して記録媒体１０８に記録するレコーダであり、オーディオ入力端子１００、選択的に使用可能な２つのオーディオフィルタ（第１オーディオフィルタ１０２、第２オーディオフィルタ１０９）、選択的に使用可能な２つのオーディオエンコーダ（第１オーディオエンコーダ１０４、第２オーディオエンコーダ１１１）、オーディオ実行ステップ数通知部１１４、ビデオ入力端子１０１、選択的に使用可能な２つのビデオフィルタ（第１ビデオフィルタ１０３、第２ビデオフィルタ１１０）、選択的に使用可能な２つのビデオエンコーダ（第１ビデオエンコーダ１０５、第２ビデオエンコーダ１１２）、ビデオ実行ステップ数通知部１１５、選択的に使用可能な２つの画質調整用パラメータ記憶部（第１画質調整用パラメータ記憶部１０６、第２画質調整用パラメータ記憶部１１３）、実行ステップ数判断部１１８と信号処理モード選択部１１９と実行ステップ数保持部２２１９とを有するＡＶシステム制御部１１７、多重化部１０７、記録媒体１０８及びユーザ情報付加部２４２０を備える。
このリアルタイム処理装置は、図２６に示される実施の形態７と比較すると、ユーザ情報付加部２４２０が追加されている点が異なる。以下、実施の形態７と同様の構成要素については、同一の符号を付し、説明を省略する。
ユーザ情報付加部２４２０は、実行ステップ数保持部２２１９の実行ステップ数保持テーブルに保持された実行ステップ数等を、図２９に示されるように、フレームごとにユーザ情報として多重化ストリームに付加していく処理部である。具体的には、ユーザ情報付加部２４２０は、実行ステップ数保持テーブルから値を読み出し、オーディオ及びビデオのフレームと同期させながら、多重化部１０７に出力する。
図２９は、１Ｆｒａｍｅ目のユーザ情報が付加された多重化ストリームを示す図である。ここでは、１Ｆｒａｍｅ目のビデオ実行ステップ数がビデオ実行ステップ数しきい値ＰＶｔより小さいことを示す情報ＰＶ１１（２５０１）が１Ｆｒａｍｅ目のビデオストリーム２５００の後にユーザ情報として付加され、さらに、オーディオ実行ステップ数がオーディオ実行ステップ数しきい値ＰＡｔ以上であることを示す情報ＰＡ２１（２５０３）が１Ｆｒａｍｅ目のオーディオストリーム２５０２の後にユーザ情報として付加されている。
このように実行ステップ数等が付加された多重化ストリーム（ＡＶストリーム）は、記録媒体１０８に記録される。このように記録された実行ステップ数等は、エンコード時におけるフレーム単位の処理量を示していると同時に、このエンコードによって生成されたストリームをデコード（再生）するときにおける処理量をも示している。よって、記録媒体１０８に記録されたストリームをデコードするときに、ストリームに多重化された実行ステップ数等を参照することで、デコード時における処理量を即座に知ることができ、エンコード時と同様に、電力削減のための信号処理モードの決定等に役立てることができる。
以上のように、本実施の形態のリアルタイム処理装置によれば、実施の形態７にユーザ情報付加部２４２０が追加され、実行ステップ数等が付加されたストリームが記録媒体１０８に記録されるので、記録媒体１０８に記録されたストリームを再生するとき等において、ストリームに付加された実行ステップ数等を参照しながら消費電力を削減するための信号処理モードを決定することができる。これにより、記録時だけでなく、再生時においても消費電力が削減される。
なお、本実施の形態においては、オーディオ及びビデオのフレーム毎にユーザ情報（実行ステップ数等）が付加されたが、ユーザ情報を付加する方法としては、このようなデータ構造に限られず、例えば、多重化ストリームの先頭や最後にユーザ情報をまとめて配置してもよい。
（実施の形態９）
次に、本発明の実施の形態９に係るリアルタイム処理装置について説明する。
図３０は、本発明の実施の形態９に係るリアルタイム処理装置の構成を示すブロック図である。このリアルタイム処理装置は、入力されたオーディオ信号とビデオ信号とをリアルタイムで符号化及び多重化して記録媒体１０８に記録するレコーダとしての機能と、記録媒体２６２０に記録されたストリームを再生するプレーヤとしての機能とを有するレコーダ・プレーヤであり、オーディオ入力端子１００、選択的に使用可能な２つのオーディオフィルタ（第１オーディオフィルタ１０２、第２オーディオフィルタ１０９）、選択的に使用可能な２つのオーディオエンコーダ（第１オーディオエンコーダ１０４、第２オーディオエンコーダ１１１）、オーディオ実行ステップ数通知部１１４、ビデオ入力端子１０１、選択的に使用可能な２つのビデオフィルタ（第１ビデオフィルタ１０３、第２ビデオフィルタ１１０）、選択的に使用可能な２つのビデオエンコーダ（第１ビデオエンコーダ１０５、第２ビデオエンコーダ１１２）、ビデオ実行ステップ数通知部１１５、選択的に使用可能な２つの画質調整用パラメータ記憶部（第１画質調整用パラメータ記憶部１０６、第２画質調整用パラメータ記憶部１１３）、実行ステップ数判断部１１８と信号処理モード選択部１１９ｄと実行ステップ数保持部２２１９とクロック制御部１６２０とを有するＡＶシステム制御部１１７、多重化部１０７、記録媒体１０８及びＡＶストリーム再生部２６００を備える。
このリアルタイム処理装置は、図２６に示される実施の形態７と比較すると、信号処理モード選択部１１９に代えて実施の形態５における信号処理モード選択部１１９ｄを備える点、及び、クロック制御部１６２０とＡＶストリーム再生部２６００とが追加されている点が異なる。以下、実施の形態７と同様の構成要素については、同一の符号を付し、説明を省略する。
信号処理モード選択部１１９ｄは、実施の形態５におけるものと同様の機能を有するが、ここでは、ＡＶストリームの記録時だけでなく、ＡＶストリームの再生時においても、実行ステップ数保持部２２１９の実行ステップ数保持テーブルを参照することで、フレームごとに信号処理モードを選択する。
ＡＶシステム制御部１１７は、実施の形態１におけるものと同様の機能を有するが、ここでは、ＡＶストリームの記録時だけでなく、ＡＶストリームの再生時においても、信号処理モード選択部１１９ｄで選択された信号処理モードに従って各構成要素１０２〜１０７及び１０９〜１１３及びＡＶストリーム再生部２６００が動作する／動作しないように各構成要素を制御する。
クロック制御部１６２０は、実施の形態５におけるものと同様の機能を有するが、ここでは、ＡＶストリームの記録時だけでなく、ＡＶストリームの再生時においても、各構成要素に供給されるクロックの周波数を変化させる。つまり、ＡＶストリームの再生時においては、ＡＶストリーム再生部２６００に供給されるクロックの周波数を変更する。
ＡＶストリーム再生部２６００は、記録媒体２６２０に記録されたＡＶストリームを再生する処理部であり、ＡＶストリームが記録された記録媒体２６２０、記録媒体２６２０からＡＶストリームを読み出して多重分離をする多重分離部２６２１、多重分離で得られた圧縮オーディオストリームをデコード（復号）するオーディオデコーダ部２６２２、デコードされたオーディオストリームをフィルタ処理するオーディオフィルタ部２６２４、多重分離で得られた圧縮ビデオストリームをデコード（復号）するビデオデコーダ部２６２３、デコードされたビデオストリームをフィルタ処理するビデオフィルタ部２６２５を備える。
以上のように構成された本実施の形態におけるリアルタイム処理装置の動作は、ＡＶストリームの記録時においては、実施の形態７と同様であり、ＡＶストリームの再生時においては、実施の形態５における記録時と同様である。
つまり、ＡＶストリームの記録時においては、図３１（ａ）のフローチャートに示されるように、消費電力が削減されるように、実際に計測された実行ステップ数に基づいて（ステップＳ５０）、クロック周波数の制御等が行われるとともに、実行ステップ数保持部２２１９の実行ステップ数保持テーブルに実行ステップ数等が記録される（ステップＳ５１）。
一方、ＡＶストリームの再生時においては、図３１（ｂ）のフローチャートに示されるように、消費電力が削減されるように、信号処理モード選択部１１９ｄは、実行ステップ数保持部２２１９の実行ステップ数保持テーブルに記録された実行ステップ数等を参照して信号処理モードを選択し（ステップＳ６０）、クロック制御部１６２０は、選択された信号処理モードに従って、ＡＶストリーム再生部２６００に供給されるクロックの周波数を変化させる（ステップＳ６１）。
以上のように、本実施の形態のリアルタイム処理装置によれば、実施の形態７にクロック制御部１６２０とＡＶストリーム再生部２６００とが追加され、図２７に示される実行ステップ数保持テーブルの実行ステップ数情報を利用することで、ストリームを再生させるときにクロック制御を行いながら再生することができる。これにより、記録時だけでなく、再生時においても消費電力が削減される。
なお、本実施の形態では、ストリームの再生時にクロック周波数の制御によって省電力化が図られたが、ストリームの再生時における省電力化の方法としては、クロック周波数の制御だけに限られず、実施の形態１と同様に、処理量の異なる２種類のデコーダ等を設け、デコード用の信号処理モード選択テーブルに従って２種類のデコーダを選択的に動作させることで消費電力を削減してもよい。
（実施の形態１０）
次に、本発明の実施の形態１０に係るリアルタイム処理装置について説明する。
図３２は、本発明の実施の形態１０に係るリアルタイム処理装置の構成を示すブロック図である。このリアルタイム処理装置は、入力されたオーディオ信号とビデオ信号とをリアルタイムで符号化及び多重化して記録媒体１０８に記録するレコーダとしての機能と、記録媒体２６２０に記録されたストリームを再生するプレーヤとしての機能とを有するレコーダ・プレーヤであり、オーディオ入力端子１００、選択的に使用可能な２つのオーディオフィルタ（第１オーディオフィルタ１０２、第２オーディオフィルタ１０９）、選択的に使用可能な２つのオーディオエンコーダ（第１オーディオエンコーダ１０４、第２オーディオエンコーダ１１１）、オーディオ実行ステップ数通知部１１４、ビデオ入力端子１０１、選択的に使用可能な２つのビデオフィルタ（第１ビデオフィルタ１０３、第２ビデオフィルタ１１０）、選択的に使用可能な２つのビデオエンコーダ（第１ビデオエンコーダ１０５、第２ビデオエンコーダ１１２）、ビデオ実行ステップ数通知部１１５、選択的に使用可能な２つの画質調整用パラメータ記憶部（第１画質調整用パラメータ記憶部１０６、第２画質調整用パラメータ記憶部１１３）、実行ステップ数判断部１１８と信号処理モード選択部１１９ｄと実行ステップ数保持部２２１９とクロック制御部１６２０とを有するＡＶシステム制御部１１７、多重化部１０７、記録媒体１０８、ユーザ情報付加部２４２０及びＡＶストリーム再生部２６００を備える。
このリアルタイム処理装置は、実施の形態１に比べ、さらに、実行ステップ数保持部２２１９、クロック制御部１６２０、ユーザ情報付加部２４２０及びＡＶストリーム再生部２６００を備え、実施の形態８と実施の形態９の両方の機能を併せ持つ装置である。
つまり、ＡＶストリームの記録時においては、消費電力が削減されるように、実際に計測された実行ステップ数に基づいてクロック制御部１６２０によってクロック周波数の制御等が行われるとともに、実行ステップ数保持部２２１９の実行ステップ数保持テーブルに実行ステップ数等が記録され、さらに、ユーザ情報付加部２４２０によって、実行ステップ数保持テーブルに保持された実行ステップ数等がフレームごとにユーザ情報として多重化ストリームに付加していく。
一方、ＡＶストリームの再生時においては、信号処理モード選択部１１９ｄにより、記録媒体１０８に記録されたストリームに付加された実行ステップ数等を参照しながら消費電力を削減するための信号処理モードが選択され、選択された信号処理モードに従って、クロック制御部１６２０により、ＡＶストリーム再生部２６００へのクロック信号の周波数が制御される。
以上のように、本実施の形態のリアルタイム処理装置によれば、ユーザ情報付加部２４２０によって実行ステップ数等が付加されたストリームが記録媒体１０８に記録され、再生時においては、ストリームに付加された実行ステップ数等を参照することにより、省電力のためのクロック制御が行われる。これにより、記録時だけでなく、再生時においても消費電力が削減される。
なお、本実施の形態では、ストリームの再生時にクロック周波数の制御によって省電力化が図られたが、ストリームの再生時における省電力化の方法としては、クロック周波数の制御だけに限られず、実施の形態１と同様に、処理量の異なる２種類のデコーダ等を設け、デコード用の信号処理モード選択テーブルに従って２種類のデコーダを選択的に動作させることで消費電力を削減してもよい。
（実施の形態１１）
次に、本発明の実施の形態１１に係るリアルタイム処理装置について説明する。
図３３は、本発明の実施の形態１１に係るリアルタイム処理装置の構成を示すブロック図である。このリアルタイム処理装置は、入力されたオーディオ信号とビデオ信号とをリアルタイムで符号化及び多重化して記録媒体１０８に記録するレコーダとしての機能と、記録媒体２６２０に記録されたストリームを再生するプレーヤとしての機能とを有するレコーダ・プレーヤであり、ＡＶストリーム記録部２６１０とＡＶストリーム再生部２６００ａとを備える。
ＡＶストリーム記録部２６１０は、オーディオ入力端子１００、選択的に使用可能な２つのオーディオフィルタ（第１オーディオフィルタ１０２、第２オーディオフィルタ１０９）、選択的に使用可能な２つのオーディオエンコーダ（第１オーディオエンコーダ１０４、第２オーディオエンコーダ１１１）、オーディオ実行ステップ数通知部１１４、ビデオ入力端子１０１、選択的に使用可能な２つのビデオフィルタ（第１ビデオフィルタ１０３、第２ビデオフィルタ１１０）、選択的に使用可能な２つのビデオエンコーダ（第１ビデオエンコーダ１０５、第２ビデオエンコーダ１１２）、ビデオ実行ステップ数通知部１１５、選択的に使用可能な２つの画質調整用パラメータ記憶部（第１画質調整用パラメータ記憶部１０６、第２画質調整用パラメータ記憶部１１３）、実行ステップ数判断部１１８と信号処理モード選択部１１９ｄと実行ステップ数保持部２２１９とクロック制御部１６２０とを有するＡＶシステム制御部１１７、多重化部１０７、記録媒体１０８、ユーザ情報付加部２４２０及び通信部２８３０ａを備える。
ＡＶストリーム再生部２６００ａは、記録媒体２６２０に記録されたＡＶストリームを再生する処理部であり、ＡＶストリームが記録された記録媒体２６２０、記録媒体２６２０からＡＶストリームを読み出して多重分離をする多重分離部２６２１、多重分離で得られた圧縮オーディオストリームをデコード（復号）するオーディオデコーダ部２６２２、デコードされたオーディオストリームをフィルタ処理するオーディオフィルタ部２６２４、多重分離で得られた圧縮ビデオストリームをデコード（復号）するビデオデコーダ部２６２３、デコードされたビデオストリームをフィルタ処理するビデオフィルタ部２６２５及び通信部２８３０ｂを備える。
このリアルタイム処理装置は、図３２に示される実施の形態１０に比較すると、２つの通信部２８３０ａ及び２８３０ｂが追加されている点が異なる。以下、実施の形態１０と同様の構成要素については、同一の符号を付し、説明を省略する。
通信部２８３０ａは、多重化部１０７で得られたＡＶストリーム（ここでは、エンコード時における実行ステップ数等が付加されたＡＶストリーム）をインターネット等の通信網を介して相手装置に送出する通信インターフェースである。
通信部２８３０ｂは、インターネット等の通信網を介して相手装置から送出されてきたＡＶストリーム（ここでは、エンコード時における実行ステップ数等が付加されたＡＶストリーム）を受信し、多重分離部２６２１に出力する通信インターフェースである。
以上のように構成された本実施の形態におけるリアルタイム処理装置は、通信網を介して接続された相手装置との間で、実行ステップ数等が付加されたＡＶストリームを送受信することができる。
つまり、このリアルタイム処理装置は、送信局として機能する場合には、実施の形態１０における記録時と同様の処理によって、エンコード時における実行ステップ数等が付加されたＡＶストリームを生成し、通信部２８３０ａを介して、相手装置に送信する。具体的には、消費電力が削減されるように、実際に計測された実行ステップ数に基づいてクロック制御部１６２０によってクロック周波数の制御等が行われるとともに、実行ステップ数保持部２２１９の実行ステップ数保持テーブルに実行ステップ数等が記録され、さらに、ユーザ情報付加部２４２０によって、実行ステップ数保持テーブルに保持された実行ステップ数等がフレームごとにユーザ情報として多重化ストリームに付加され、通信部２８３０ａを介して相手装置に送信される。
一方、このリアルタイム処理装置は、受信局として機能する場合には、エンコード時における実行ステップ数等が付加されたＡＶストリームを、通信部２８３０ｂを介して相手装置から受信し、実施の形態１０における再生時と同様の処理によって、再生が行われる。具体的には、信号処理モード選択部１１９ｄにより、記録媒体１０８に記録されたストリームに付加された実行ステップ数等を参照しながら消費電力を削減するための信号処理モードが選択され、選択された信号処理モードに従って、クロック制御部１６２０により、ＡＶストリーム再生部２６００へのクロックの周波数が制御される。
以上のように、本実施の形態のリアルタイム処理装置によれば、送信局として機能するときには、ユーザ情報付加部２４２０によって実行ステップ数等が付加されたストリームが相手装置に送信され、一方、受信局として機能するときには、受信したストリームに付加された実行ステップ数等を参照することにより、省電力のためのクロック制御が行われる。これにより、ＡＶストリームの生成時（送信時）だけでなく、再生時（受信時）においても消費電力が削減される。
なお、本実施の形態では、リアルタイム処理装置は送信局としての機能と受信局としての機能を併せ持っていたが、本発明は、一方の機能だけを備える装置として実現してもよい。つまり、本発明は、ＡＶストリーム記録部２６１０だけからなる送信装置であってもよいし、ＡＶシステム制御部１１７とＡＶストリーム再生部２６００からなる受信装置であってもよい。
（実施の形態１２）
次に、本発明の実施の形態１２に係るリアルタイム処理装置について説明する。
図３４は、本発明の実施の形態１２に係るリアルタイム処理装置の構成を示すブロック図である。このリアルタイム処理装置は、実施の形態１と同様の機能を備えるレコーダであり、ＣＰＵ２９００、ＲＡＭ２９１０、記憶媒体２９２０、ドライブ装置２９３０及びＩ／Ｏ部２９４０を備える。
記憶媒体２９２０は、実施の形態１における各構成要素をソフトウェアで実現するためのプログラムを格納するＲＯＭ等である。ＣＰＵ２９００は、記憶媒体２９２０に格納されたプログラムを実行するプロセッサである。ＲＡＭ２９１０は、各種プログラムを実行する際に使用される作業用メモリである。ドライブ装置２９３０は、記録媒体１０８に対する読み書きを行う装置である。Ｉ／Ｏ部２９４０は、各種入出力インターフェースである。
以上のように、本実施の形態のリアルタイム処理装置は、ソフトウェアによって実現されている。このような、リアルタイム処理装置であっても、ハードウェアによって実現された装置と同様に、本発明の目的が達成されるのは言うまでもない。つまり、従来のように複雑な演算処理をしたり、特別なメモリ資源を必要とすることなく、実行ステップ数の比較という単純な判断処理の追加だけで、消費電力が抑制される。
なお、本実施の形態では、リアルタイム処理装置の機能を実現するプログラムは、ＲＯＭ等のメモリに格納されたが、プログラム格納媒体としては、ハードディスクやＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体であってもよい。
以上、本発明に係るリアルタイム処理装置について、実施の形態に基づいて説明したが、本発明は、これら実施の形態に限定されるものではない。
たとえば、各実施の形態に構成要素を任意に組み合わせて実現される形態や、各実施の形態に対して当業者が容易に思いつく変形を施した形態も本発明に含まれる。
また、本発明に係るリアルタイム処理装置を電子回路で実現する場合には、複数のＩＣ（集積回路）で構成してもよいし、ＬＳＩ等の１チップのＩＣで構成してもよい。
本発明に係るリアルタイム処理装置は、消費電力を削減しながらリアルタイム処理を実行する装置として、例えば、オーディオ信号及びビデオ信号からＡＶストリームをリアルタイムで生成するＡＶストリーム生成装置・記録装置・送信装置、あるいは、ＡＶストリームをリアルタイムで多重分離してオーディオ信号とビデオ信号に再生するＡＶストリーム再生装置・受信装置等として、利用することができる。
本発明の実施の形態１に係るリアルタイム処理装置の構成を示すブロック図 電力しきい値テーブルの構成を示す模式図 信号処理モード選択テーブル（フィルタ制御）の構成を示す模式図 信号処理モード選択テーブル（ＣＯＤＥＣ切り替え）の構成を示す模式図 信号処理モード選択テーブル（画質調整用パラメータ切り替え）の構成を示す模式図 本発明の実施の形態１に係るリアルタイム処理装置の動作を示すフローチャート 本発明の実施の形態２に係るリアルタイム処理装置の構成を示すブロック図 信号処理モード選択テーブル（オーディオ優先）の構成を示す模式図 信号処理モード選択テーブル（ビデオ優先）の構成を示す模式図 本発明の実施の形態２に係るリアルタイム処理装置の動作を示すフローチャート 本発明の実施の形態３に係るリアルタイム処理装置の構成を示すブロック図 電力しきい値テーブル（動きベクトル）の構成を示す模式図 信号処理モード選択テーブル（動きベクトル）の構成を示す模式図 本発明の実施の形態３に係るリアルタイム処理装置の動作を示すフローチャート 本発明の実施の形態４に係るリアルタイム処理装置の構成を示すブロック図 電力しきい値テーブル（スループット）の構成を示す模式図 信号処理モード選択テーブル（スループット／オーディオ優先）の構成を示す模式図 信号処理モード選択テーブル（スループット／ビデオ優先）の構成を示す模式図 本発明の実施の形態４に係るリアルタイム処理装置の動作を示すフローチャート 本発明の実施の形態５に係るリアルタイム処理装置の構成を示すブロック図 信号処理モード選択テーブル（クロック制御）の構成を示す模式図 本発明の実施の形態６に係るリアルタイム処理装置の構成を示すブロック図 電力しきい値テーブル（消費電流）の構成を示す模式図 信号処理モード選択テーブル（消費電流／オーディオ優先）の構成を示す模式図 信号処理モード選択テーブル（消費電流／ビデオ優先）の構成を示す模式図 本発明の実施の形態７に係るリアルタイム処理装置の構成を示すブロック図 実行ステップ数保持テーブルの構成を示す模式図 本発明の実施の形態８に係るリアルタイム処理装置の構成を示すブロック図 ユーザ情報が付加された多重化ストリームのデータ構成を示す模式図 本発明の実施の形態９に係るリアルタイム処理装置の構成を示すブロック図 本発明の実施の形態９に係るリアルタイム処理装置の動作を示すフローチャート 本発明の実施の形態１０に係るリアルタイム処理装置の構成を示すブロック図 本発明の実施の形態１１に係るリアルタイム処理装置の構成を示すブロック図 本発明の実施の形態１２に係るリアルタイム処理装置の構成を示すブロック図
符号の説明
１００ オーディオ入力端子
１０１ ビデオ入力端子
１０２ 第１オーディオフィルタ
１０３ 第１ビデオフィルタ
１０４ 第１オーディオエンコーダ
１０５ 第１ビデオエンコーダ
１０６ 第１画質調整用パラメータ記憶部
１０７ 多重化部
１０８ 記録媒体
１０９ 第２オーディオフィルタ
１１０ 第２ビデオフィルタ
１１１ 第２オーディオエンコーダ
１１２ 第２ビデオエンコーダ
１１３ 第２画質調整用パラメータ記憶部
１１４ オーディオ実行ステップ数通知部
１１５ ビデオ実行ステップ数通知部
１１７ ＡＶシステム制御部
１１８ 実行ステップ数判断部
１１９、１１９ａ〜１１９ｅ 信号処理モード選択部
６１６ 品質モード決定部
９１５ 動きベクトル通知部
９１８ 動きベクトル判定部
１２１４ スループット通知部
１２１７ スループット判定部
１６２０ クロック制御部
１８１８ 消費電流判定部
１８２０ 消費電流計測部
１８２０ａ 電流値レジスタ
２２１９ 実行ステップ数保持部
２４２０ ユーザ情報付加部
２６００、２６００ａ ＡＶストリーム再生部
２６１０ ＡＶストリーム記録部
２６２０ 記録媒体
２６２１ 多重分離部
２６２２ オーディオデコーダ部
２６２３ ビデオデコーダ部
２６２４ オーディオフィルタ部
２６２５ ビデオフィルタ部
２８３０ａ、２８３０ｂ 通信部
２９００ ＣＰＵ
２９１０ ＲＡＭ
２９２０ 記憶媒体
２９３０ ドライブ装置
２９４０ Ｉ／Ｏ部

Claims (18)

  1. 入力信号をリアルタイムで処理するリアルタイム処理装置であって、
    前記入力信号に対してリアルタイムで信号処理を施す第１信号処理手段と、
    前記入力信号に対して、前記第１信号処理手段による信号処理における処理量よりも小さい処理量で、かつ、リアルタイムで、前記信号処理を施す第２信号処理手段と、
    動作している前記第１信号処理手段又は前記第２信号処理手段による信号処理における処理量の程度を示すステップ数を計測するステップ数計測手段と、
    前記ステップ数計測手段によって計測されたステップ数が予め定めたしきい値よりも小さい場合に前記第１信号処理手段を動作させ、前記ステップ数が前記しきい値以上である場合に前記第２信号処理手段を動作させるように制御する制御手段と
    を備えることを特徴とするリアルタイム処理装置。
  2. 前記制御手段は、
    前記ステップ数と前記しきい値とを比較するステップ数判断部と、
    前記ステップ数判断部での比較結果と前記第１信号処理手段及び前記第２信号処理手段の動作モードを示す信号処理モードとが対応づけられた信号処理モード選択テーブルを有し、前記信号処理モード選択テーブルに従って、前記ステップ数判断部での比較結果に対応する信号処理モードを選択する信号処理モード選択部とを有し、
    前記信号処理モード選択部によって選択された信号処理モードに従って、前記第１信号処理手段及び前記第２信号処理手段の動作を制御する
    ことを特徴とする請求項１記載のリアルタイム処理装置。
  3. 前記入力信号は、音声信号と動画信号とを含み、
    前記第１信号処理手段は、前記音声信号を処理する第１音声処理部と、前記動画信号を処理する第１動画処理部とを含み、
    前記第２信号処理手段は、前記第１音声処理部での処理量よりも小さい処理量で前記音声信号を処理する第２音声処理部と、前記第１動画処理部での処理量よりも小さい処理量で前記動画信号を処理する第２動画処理部とを含み、
    前記ステップ数計測手段は、動作している前記第１音声処理部又は前記第２音声処理部でのステップ数を計測する音声処理ステップ数計測部と、動作している前記第１動画処理部又は前記第２動画処理部でのステップ数を計測する動画処理ステップ数計測部とを含み、
    前記制御手段は、前記音声処理ステップ数計測部によって計測されたステップ数が前記しきい値よりも小さい場合に前記第１音声処理部を動作させ、前記ステップ数が前記しきい値以上である場合に前記第２音声処理部を動作させるとともに、前記動画処理ステップ数計測部によって計測されたステップ数が前記しきい値よりも小さい場合に前記第１動画処理部を動作させ、前記ステップ数が前記しきい値以上である場合に前記第２動画処理部を動作させるように制御する
    ことを特徴とする請求項２記載のリアルタイム処理装置。
  4. 前記リアルタイム処理装置は、さらに、
    前記音声信号をフィルタリング処理する音声用フィルタと、
    前記動画信号をフィルタリング処理する動画用フィルタとを備え、
    前記制御手段は、さらに、前記音声処理ステップ数計測部によって計測されたステップ数が前記しきい値よりも小さい場合に前記音声用フィルタの動作をＯＮさせ、前記ステップ数が前記しきい値以上である場合に前記音声用フィルタの動作をＯＦＦさせるとともに、前記動画処理ステップ数計測部によって計測されたステップ数が前記しきい値よりも小さい場合に前記動画用フィルタの動作をＯＮさせ、前記ステップ数が前記しきい値以上である場合に前記動画用フィルタの動作をＯＦＦさせるように制御する
    ことを特徴とする請求項３記載のリアルタイム処理装置。
  5. 前記リアルタイム処理装置は、さらに、
    前記第１動画処理部及び前記第２動画処理部での画質調整に用いられるパラメータを記憶している第１画質調整用パラメータ記憶手段と、
    前記第１画質調整用パラメータ記憶部に記憶されているパラメータを用いた画質調整よりも小さい処理量で済む画質調整に用いられるパラメータを記憶している第２画質調整用パラメータ記憶手段とを備え、
    前記制御手段は、さらに、前記動画処理ステップ数計測部によって計測されたステップ数が前記しきい値よりも小さい場合に前記第１画質調整用パラメータ記憶手段に記憶されたパラメータを用いて画質調整をし、前記ステップ数が前記しきい値以上である場合に前記第２画質調整用パラメータ記憶手段に記憶されたパラメータを用いて画質調整をするように前記第１動画処理部及び前記第２動画処理部を制御する
    ことを特徴とする請求項３記載のリアルタイム処理装置。
  6. 前記第１音声処理部及び第２音声処理部は、前記音声信号をフレーム単位で処理し、
    前記第１動画処理部及び第２動画処理部は、前記動画信号をフレーム単位で処理し、
    前記音声処理ステップ数計測部は、前記ステップ数をフレーム単位で計測し、
    前記動画処理ステップ数計測部は、前記ステップ数をフレーム単位で計測し、
    前記制御手段は、直前のフレームにおける前記ステップ数と前記しきい値との比較結果に基づいて、次のフレームにおける前記第１音声処理部、前記第２音声処理部、前記第１動画処理部及び前記第２動画処理部の動作を制御する
    ことを特徴とする請求項３記載のリアルタイム処理装置。
  7. 前記リアルタイム処理装置は、さらに、音声及び動画のいずれの品質を優先するかを決定する品質モード決定手段を備え、
    前記信号処理モード選択部は、前記信号処理モード選択テーブルとして、音声信号の品質を優先して信号処理するための音声優先用選択テーブルと、動画信号の品質を優先して信号処理するための動画優先用選択テーブルとを有し、前記品質モード決定手段が音声の品質を優先すると決定した場合には音声優先用選択テーブルに従って信号処理モードを選択し、前記品質モード決定手段が動画の品質を優先すると決定した場合には動画優先用選択テーブルに従って信号処理モードを選択する
    ことを特徴とする請求項３記載のリアルタイム処理装置。
  8. 前記動画処理ステップ数計測部は、前記ステップ数として、動作している前記第１動画処理部又は前記第２動画処理部で検出される動画の動きベクトルの大きさを計測する
    ことを特徴とする請求項３記載のリアルタイム処理装置。
  9. 前記入力信号は、音声信号と動画信号とを含み、
    前記第１信号処理手段は、前記音声信号を処理する第１音声処理部と、前記動画信号を処理する第１動画処理部とを含み、
    前記第２信号処理手段は、前記第１音声処理部での処理量よりも小さい処理量で前記音声信号を処理する第２音声処理部と、前記第１動画処理部での処理量よりも小さい処理量で前記動画信号を処理する第２動画処理部とを含み、
    前記リアルタイム処理装置は、さらに、前記第１音声処理部又は前記第２音声処理部で得られた音声信号と、前記第１動画処理部又は前記第２動画処理部で得られた動画信号とを多重化する多重化手段を備え、
    前記ステップ数計測手段は、前記多重化手段によって得られた多重化後の信号のスループットを計測するスループット計測部を有し、
    前記制御手段は、前記スループット計測部によって計測されたスループットが前記しきい値よりも小さい場合に前記第１音声処理部及び前記第１動画処理部を動作させ、前記スループットが前記しきい値以上である場合に前記第２音声処理部及び前記第２動画処理部を動作させるように制御する
    ことを特徴とする請求項２記載のリアルタイム処理装置。
  10. 前記制御手段は、さらに、前記ステップ数計測手段によって計測されたステップ数が予め定めたしきい値以上である場合に前記第１信号処理手段及び前記第２信号処理手段に供給されるクロック信号の周波数を下げるクロック制御部を有する
    ことを特徴とする請求項１記載のリアルタイム処理装置。
  11. 前記ステップ数計測手段は、前記ステップ数として、前記リアルタイム処理装置における消費電流を計測する消費電流計測部を有し、
    前記制御手段は、前記消費電流計測部で計測された消費電流が予め定めたしきい値よりも小さい場合に前記第１信号処理手段を動作させ、前記消費電流が前記しきい値以上である場合に前記第２信号処理手段を動作させるように制御する
    ことを特徴とする請求項１記載のリアルタイム処理装置。
  12. 前記リアルタイム処理装置は、さらに、前記ステップ数計測手段によって計測されたステップ数を保持するステップ数保持手段を備える
    ことを特徴とする請求項３記載のリアルタイム処理装置。
  13. 前記リアルタイム処理装置は、さらに、
    前記第１音声処理部又は前記第２音声処理部で得られた音声信号と、前記第１動画処理部又は前記第２動画処理部で得られた動画信号とを多重化する多重化手段と、
    前記ステップ数保持手段に保持されたステップ数をユーザ情報として前記多重化手段で得られる多重化信号に付加するユーザ情報付加手段とを備える
    ことを特徴とする請求項１２記載のリアルタイム処理装置。
  14. 前記第１音声処理部及び前記第２音声処理部は、前記音声信号を符号化し、
    前記第１動画処理部及び前記第２動画処理部は、前記動画信号を符号化し、
    前記リアルタイム処理装置は、さらに、符号化された音声信号と動画信号を復号化する復号化手段を備え、
    前記制御手段は、さらに、前記ステップ数保持手段に保持されたステップ数が予め定めたしきい値以上である場合に前記復号化手段に供給されるクロック信号の周波数を下げるクロック制御部を有する
    ことを特徴とする請求項１２記載のリアルタイム処理装置。
  15. 前記第１音声処理部及び前記第２音声処理部は、前記音声信号を符号化し、
    前記第１動画処理部及び前記第２動画処理部は、前記動画信号を符号化し、
    前記リアルタイム処理装置は、さらに、前記ユーザ情報付加手段によって前記ステップ数が付加された多重化信号を多重分離して復号化する復号化手段を備え、
    前記制御手段は、さらに、前記多重化信号に付加されたステップ数が予め定めたしきい値以上である場合に前記復号化手段に供給されるクロック信号の周波数を下げるクロック制御部を有する
    ことを特徴とする請求項１３記載のリアルタイム処理装置。
  16. 前記リアルタイム処理装置は、さらに、
    前記ユーザ情報付加手段によって前記ステップ数が付加された多重化信号を通信網を介して送信する第１通信手段と、
    通信網を介して送信されてくる、前記ステップ数が付加された多重化信号を受信する第２通信手段とを備え、
    前記復号化手段は、前記第２通信手段によって受信された多重化信号を多重分離して復号化する
    ことを特徴とする請求項１５記載のリアルタイム処理装置。
  17. 入力信号をリアルタイムで処理するリアルタイム処理方法であって、
    前記入力信号に対してリアルタイムで信号処理を施す第１信号処理ステップと、
    前記入力信号に対して、前記第１信号処理ステップでの信号処理における処理量よりも小さい処理量で、かつ、リアルタイムで、前記信号処理を施す第２信号処理ステップと、
    動作している前記第１信号処理ステップ又は前記第２信号処理ステップでの信号処理における処理量の程度を示すステップ数を計測するステップ数計測ステップと、
    前記ステップ数計測ステップで計測されたステップ数が予め定めたしきい値よりも小さい場合に前記第１信号処理ステップを動作させ、前記ステップ数が前記しきい値以上である場合に前記第２信号処理ステップを動作させるように制御する制御ステップと
    を含むことを特徴とするリアルタイム処理方法。
  18. 入力信号をリアルタイムで処理するリアルタイム処理装置のためのプログラムであって、
    請求項１７記載のリアルタイム処理方法に含まれるステップをコンピュータに実行させることを特徴とするプログラム。
JP2006071623A 2006-03-15 2006-03-15 リアルタイム処理装置及びその方法 Ceased JP2007251553A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2006071623A JP2007251553A (ja) 2006-03-15 2006-03-15 リアルタイム処理装置及びその方法
US11/685,988 US20070217623A1 (en) 2006-03-15 2007-03-14 Apparatus and method for real-time processing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006071623A JP2007251553A (ja) 2006-03-15 2006-03-15 リアルタイム処理装置及びその方法

Publications (1)

Publication Number Publication Date
JP2007251553A true JP2007251553A (ja) 2007-09-27

Family

ID=38517853

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006071623A Ceased JP2007251553A (ja) 2006-03-15 2006-03-15 リアルタイム処理装置及びその方法

Country Status (2)

Country Link
US (1) US20070217623A1 (ja)
JP (1) JP2007251553A (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5022025B2 (ja) * 2006-12-27 2012-09-12 インターナショナル・ビジネス・マシーンズ・コーポレーション コンテンツのデータ・ストリームとメタデータを同期するための方法および装置。
JP5333128B2 (ja) * 2009-09-29 2013-11-06 沖電気工業株式会社 動画像符号化装置及びプログラム、並びに、動画像配信システム
GB201020949D0 (en) * 2010-12-10 2011-01-26 Provision Comm Technologies Ltd Multi channel video delivery
US8589509B2 (en) * 2011-01-05 2013-11-19 Cloudium Systems Limited Controlling and optimizing system latency
US8886699B2 (en) 2011-01-21 2014-11-11 Cloudium Systems Limited Offloading the processing of signals
JP2012252036A (ja) * 2011-05-31 2012-12-20 Sony Corp 信号処理装置、信号処理方法、およびプログラム
KR102145782B1 (ko) * 2011-10-31 2020-08-19 미쓰비시덴키 가부시키가이샤 동화상 부호화 장치, 동화상 부호화 방법 및 컴퓨터 독취 가능한 기억 매체
US11544036B2 (en) 2014-09-23 2023-01-03 Zophonos Inc. Multi-frequency sensing system with improved smart glasses and devices
EP3198721B1 (en) 2014-09-23 2022-04-20 Denton, Levaughn Mobile cluster-based audio adjusting method and apparatus
US10656906B2 (en) 2014-09-23 2020-05-19 Levaughn Denton Multi-frequency sensing method and apparatus using mobile-based clusters
US11068234B2 (en) 2014-09-23 2021-07-20 Zophonos Inc. Methods for collecting and managing public music performance royalties and royalty payouts
US11150868B2 (en) 2014-09-23 2021-10-19 Zophonos Inc. Multi-frequency sensing method and apparatus using mobile-clusters
KR102347069B1 (ko) * 2015-12-14 2022-01-04 삼성전자주식회사 전자 장치 및 그 동작방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001346216A (ja) * 2000-06-06 2001-12-14 Toshiba Corp 動画像圧縮方法および情報処理装置
JP2003324735A (ja) * 2002-02-26 2003-11-14 Kanazawa Univ Tlo Inc 動画像符号化又は復号化処理システム及び動画像符号化又は復号化処理プログラム
WO2004093458A1 (ja) * 2003-04-15 2004-10-28 Kanazawa University Technology Licensing Organization Ltd. 動画像符号化又は復号化処理システム及び動画像符号化又は復号化処理方法
JP2005080123A (ja) * 2003-09-02 2005-03-24 Sony Corp 映像符号化装置、映像符号化制御方法及び映像符号化制御プログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5642423A (en) * 1995-11-22 1997-06-24 Sony Corporation Digital surround sound processor
KR100223207B1 (ko) * 1996-09-25 1999-10-15 윤종용 다중 영상 출력 디지털 비디오 디스크 플레이어
US5909384A (en) * 1996-10-04 1999-06-01 Conexant Systems, Inc. System for dynamically adapting the length of a filter
US6823005B1 (en) * 1998-08-10 2004-11-23 At&T Corp Link adaptation in wireless networks for throughput maximization under retransmissions
US6931559B2 (en) * 2001-12-28 2005-08-16 Intel Corporation Multiple mode power throttle mechanism
WO2003058953A2 (en) * 2001-12-28 2003-07-17 Matsushita Electric Industrial Co., Ltd. Data reproduction apparatus and data reproduction method
JP2005252375A (ja) * 2004-03-01 2005-09-15 Hitachi Ltd 携帯用動画再生装置
WO2005112465A1 (en) * 2004-05-03 2005-11-24 Thomson Research Funding Corporation Method and apparatus enabling fast channel change for dsl system
JP4189882B2 (ja) * 2004-05-11 2008-12-03 インターナショナル・ビジネス・マシーンズ・コーポレーション 記録媒体、情報処理装置、制御方法、及びプログラム
US7809064B2 (en) * 2004-11-15 2010-10-05 Industrial Technology Research Institute Systems and methods of flexible power management applicable to digital broadcasting
EP1829027A1 (en) * 2004-12-15 2007-09-05 Telefonaktiebolaget LM Ericsson (publ) Method and device for encoding mode changing of encoded data streams
US8320952B2 (en) * 2005-07-25 2012-11-27 Motorola Mobility Llc Method and apparatus to facilitate download scheduling

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001346216A (ja) * 2000-06-06 2001-12-14 Toshiba Corp 動画像圧縮方法および情報処理装置
JP2003324735A (ja) * 2002-02-26 2003-11-14 Kanazawa Univ Tlo Inc 動画像符号化又は復号化処理システム及び動画像符号化又は復号化処理プログラム
WO2004093458A1 (ja) * 2003-04-15 2004-10-28 Kanazawa University Technology Licensing Organization Ltd. 動画像符号化又は復号化処理システム及び動画像符号化又は復号化処理方法
JP2005080123A (ja) * 2003-09-02 2005-03-24 Sony Corp 映像符号化装置、映像符号化制御方法及び映像符号化制御プログラム

Also Published As

Publication number Publication date
US20070217623A1 (en) 2007-09-20

Similar Documents

Publication Publication Date Title
JP2007251553A (ja) リアルタイム処理装置及びその方法
US8284082B2 (en) Dynamic encode setting adjustment
JP6335845B2 (ja) 動的ビデオスイッチング
JP6225446B2 (ja) 動画像データ配信装置、方法、プログラム、及びシステム
JP2009111932A (ja) 動画像復号化装置
JP4511952B2 (ja) メディア再生装置
JP2006254231A (ja) 情報処理装置および同装置で用いられるプログラム
JP2006148409A (ja) フレームレート変換方法
EP3205110B1 (en) Video bitstream processing for enabling tune-in
JP2010288044A (ja) 動画像復号装置、プログラムおよび復号処理簡略化方法
JP2011061362A (ja) 符号化装置、符号化方法、および符号化プログラム
JP5409535B2 (ja) 映像音声変換装置および映像音声変換方法
JP3913664B2 (ja) 符号化装置、復号化装置およびこれらを用いたシステム
JP2004180282A (ja) ストリーム情報再生装置、ストリーム情報再生方法、プログラム及びデジタル放送受信機
JP2012060524A (ja) 再生装置、再生方法、及びプログラム
JP5374753B2 (ja) 映像表示装置、および映像表示装置の動作方法
JP2009124547A (ja) 画像処理装置および画像録画再生装置
JP2008532405A (ja) Ｍｐｅｇデコーダのための適応型フォールバックシステム
JP4979355B2 (ja) 画像符号化装置および画像符号化方法
JP2010171873A (ja) 映像記録装置
JP2012175264A (ja) 画像処理制御装置、画像処理制御方法、及びプログラム
JP2006106167A (ja) 情報処理装置及び携帯電話端末
WO2013160971A1 (ja) 半導体集積回路
JP2009033227A (ja) 動画像復号化装置、動画像処理システム装置および動画像復号化方法
JP2007036604A (ja) 録画装置および録画制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090108

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101124

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110118

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110201

A045 Written measure of dismissal of application [lapsed due to lack of payment]

Free format text: JAPANESE INTERMEDIATE CODE: A045

Effective date: 20110628