JP2006113334A - Image processing apparatus - Google Patents

Image processing apparatus Download PDF

Info

Publication number
JP2006113334A
JP2006113334A JP2004301148A JP2004301148A JP2006113334A JP 2006113334 A JP2006113334 A JP 2006113334A JP 2004301148 A JP2004301148 A JP 2004301148A JP 2004301148 A JP2004301148 A JP 2004301148A JP 2006113334 A JP2006113334 A JP 2006113334A
Authority
JP
Japan
Prior art keywords
encoded data
display image
image generation
stored
memory means
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004301148A
Other languages
Japanese (ja)
Inventor
Takahiro Kondo
孝宏 近藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2004301148A priority Critical patent/JP2006113334A/en
Publication of JP2006113334A publication Critical patent/JP2006113334A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image processing apparatus that can reduce power consumption during animation play back display in which display images are constantly updated. <P>SOLUTION: Based on coded data information 110 which is outputted from a decoding means 101 and stored in a coded data information memory means 102 and the condition with which the function of a display image generating means 106 stored in a display image generating means control information memory means 104 is stopped or lowered, the means 106 is stopped by a display image generation control means 103. Thus, display image generation control corresponding to the image to be displayed is made possible and the image processing apparatus, with which power consumption is reduced, is achieved. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

この発明は、一般に画像処理装置に関し、特に復号画像データの表示を低消費電力で実行できる画像処理装置に関するものである。   The present invention generally relates to an image processing apparatus, and more particularly to an image processing apparatus capable of displaying decoded image data with low power consumption.

符号化データの復号画像などの画像データを表示する画像処理装置内で消費電力が大きい回路部分の一つとして、画像の表示回路がある。画像処理装置において、画像の表示は高速で行うことが要求されるので、画像データの処理も高速で行う必要があるためである。この表示回路の低消費電力化を実現する従来の技術として、特許文献1に開示された画像表示装置がある。   One of the circuit portions with high power consumption in an image processing apparatus that displays image data such as a decoded image of encoded data is an image display circuit. This is because the image processing apparatus is required to display an image at a high speed, and therefore it is necessary to process the image data at a high speed. As a conventional technique for realizing low power consumption of the display circuit, there is an image display device disclosed in Patent Document 1.

図12は、上記従来の画像表示装置の構成を示すブロック図である。   FIG. 12 is a block diagram showing a configuration of the conventional image display apparatus.

この画像表示装置は、画像データを表示する表示装置1210と、表示用の画像データを一時蓄積する表示メモリ1209と、表示装置1210及び表示メモリ1209を制御する表示制御回路1208と、画像データを蓄積する画像メモリ1204と、画像メモリ1204に蓄積された画像データを表示装置1210に表示するための画像データに生成する画像生成回路1201と、表示用の画像データが予め定められたある一定時間の間変化するかどうかを検出する画像データ変更検出回路1205と、クロック信号の発信,停止等の制御を行うクロック制御回路1206と、全体を制御するマイクロプロセッサ1207とを有して構成し、画像生成回路1201は画像メモリ1204の画像データから表示用の画像データへの変換を行う画像データ変換回路1203と、表示制御回路1208へ画像生成の制御信号を送出する画像生成制御回路1202とを含んでいる。   This image display device stores a display device 1210 for displaying image data, a display memory 1209 for temporarily storing image data for display, a display control circuit 1208 for controlling the display device 1210 and the display memory 1209, and image data. The image memory 1204 to be generated, the image generation circuit 1201 for generating the image data stored in the image memory 1204 as image data to be displayed on the display device 1210, and the image data for display for a predetermined time. An image generation circuit configured to include an image data change detection circuit 1205 that detects whether or not it has changed, a clock control circuit 1206 that controls transmission and stop of a clock signal, and a microprocessor 1207 that controls the whole. 1201 converts image data in the image memory 1204 to image data for display. An image data conversion circuit 1203, and an image generation control circuit 1202 sends a control signal of the image generation to the display control circuit 1208.

従来の画像表示装置は上記構成において、表示用の画像データが変化したかどうかを画像データ変更検出回路1205において検出し、全く変化しなかった場合にクロック制御回路1206によって画像生成回路1201へのクロック信号120dを停止することで、表示用の画像データに全く変化がない間の消費電力を低減しようとするものである。
特開平6−59655号公報
In the conventional image display apparatus, the image data change detection circuit 1205 detects whether or not the display image data has changed in the above configuration, and when there is no change, the clock control circuit 1206 supplies a clock to the image generation circuit 1201. By stopping the signal 120d, it is intended to reduce the power consumption while there is no change in the display image data.
JP-A-6-59655

しかしながら、上記従来の技術による画像データ処理装置は、表示用画像データに全く変化がない間のみ消費電力の低減が可能であり、画像が常時変化するような動画再生表示時などには消費電力低減効果がほとんどない。   However, the conventional image data processing apparatus can reduce power consumption only when there is no change in display image data, and power consumption can be reduced during video playback display where the image changes constantly. There is almost no effect.

本発明は、上記従来の課題を解決するもので、常時画像が変化するような動画再生表示時などにも消費電力の低減を実現する画像処理装置を提供することを目的とする。   SUMMARY OF THE INVENTION The present invention solves the above-described conventional problems, and an object of the present invention is to provide an image processing apparatus that realizes a reduction in power consumption even when a moving image is reproduced and displayed such that an image constantly changes.

上記従来の課題を解決するために、本発明の第1の画像処理装置は、入力される符号化データを復号し符号化データ情報並びに復号画像データを出力する復号手段と、前記復号手段から出力される復号画像データを記憶する画像メモリ手段と、前記復号手段から出力される符号化データ情報を記憶する符号化データ情報メモリ手段と、前記画像メモリ手段に記憶された復号画像データを基に表示するための表示画像データを生成する表示画像生成手段と、前記表示画像生成手段から出力される表示画像データを記憶する表示メモリ手段と、前記表示画像生成手段の機能を停止あるいは低下させるための条件を記憶する表示画像生成手段制御情報メモリ手段と、前記符号化データ情報メモリ手段に記憶された符号化データ情報及び前記表示画像生成手段制御情報メモリ手段に記憶された条件を基に前記表示画像生成手段の機能を停止あるいは低下させる表示画像生成制御手段と、を備えることを特徴とする。   In order to solve the above-described conventional problems, a first image processing apparatus according to the present invention decodes input encoded data and outputs encoded data information and decoded image data, and outputs from the decoding means Display based on the decoded image data stored in the image memory means for storing the decoded image data, the encoded data information memory means for storing the encoded data information output from the decoding means, and the image memory means Display image generation means for generating display image data for display, display memory means for storing display image data output from the display image generation means, and conditions for stopping or reducing the function of the display image generation means Display image generation means control information memory means for storing the encoded data information stored in the encoded data information memory means and the display image A display image generation control means for stopping or reducing the function of the display image generating unit based on the stored condition to forming means control information memory means, characterized in that it comprises a.

また本発明の第2の画像処理装置は、第1の画像処理装置において、前記復号手段から出力され前記符号化データ情報メモリ手段に記憶される符号化データ情報が符号化データのコンテンツ情報であり、前記表示画像生成手段制御情報メモリ手段に記憶された条件は符号化データが指定されたコンテンツである場合に前記表示画像生成手段の機能を停止あるいは低下することであることを特徴とする。   According to the second image processing apparatus of the present invention, in the first image processing apparatus, the encoded data information output from the decoding unit and stored in the encoded data information memory unit is content information of encoded data. The condition stored in the display image generation means control information memory means is that the function of the display image generation means is stopped or lowered when the encoded data is the designated content.

また本発明の第3の画像処理装置は、第1の画像処理装置において、前記復号手段がマクロブロックと呼ばれるある画素ブロック単位で符号化データを復号し、前記復号手段から出力され前記符号化データ情報メモリ手段に記憶される符号化データ情報が符号化データにおけるマクロブロック毎の符号化/非符号化情報であり、前記表示画像生成手段制御情報メモリ手段に記憶された条件は非符号化マクロブロック数が指定された値より大きい場合に前記表示画像生成手段の機能を停止あるいは低下することであることを特徴とする。   According to a third image processing apparatus of the present invention, in the first image processing apparatus, the decoding unit decodes encoded data in a certain pixel block unit called a macroblock, and the encoded data is output from the decoding unit. The encoded data information stored in the information memory means is encoded / unencoded information for each macroblock in the encoded data, and the condition stored in the display image generating means control information memory means is an unencoded macroblock When the number is larger than a specified value, the function of the display image generating means is stopped or lowered.

また本発明の第4の画像処理装置は、第1の画像処理装置において、前記復号手段がマクロブロックと呼ばれるある画素ブロック単位で符号化データを復号し、前記復号手段から出力され前記符号化データ情報メモリ手段に記憶される符号化データ情報が符号化データにおけるマクロブロック毎の動きベクトル情報であり、前記表示画像生成手段制御情報メモリ手段に記憶された条件は前記動きベクトルが指定された値より小さい場合に前記表示画像生成手段の機能を停止あるいは低下することであることを特徴とする。   According to a fourth image processing apparatus of the present invention, in the first image processing apparatus, the decoding unit decodes encoded data in a certain pixel block unit called a macroblock, and the encoded data is output from the decoding unit. The encoded data information stored in the information memory means is motion vector information for each macroblock in the encoded data, and the condition stored in the display image generation means control information memory means is based on the value specified for the motion vector. When it is small, the function of the display image generating means is stopped or lowered.

また本発明の第5の画像処理装置は、第4の画像処理装置において、前記符号化データ情報メモリ手段において符号化データ情報を記憶する際にマクロブロック毎の動きベクトル情報をマクロブロック毎に累算し記憶し、さらに前記表示画像生成手段により表示画像が生成された場合に前記符号化データ情報メモリ手段に記憶されたマクロブロック毎の動きベクトル累算値をゼロクリアする符号化データ情報クリア手段と、を備え、前記表示画像生成手段制御情報メモリ手段に記憶された条件は前記動きベクトル累算値が指定された値より小さい場合に前記表示画像生成手段の機能を停止あるいは低下することであることを特徴とする。   According to a fifth image processing apparatus of the present invention, in the fourth image processing apparatus, when the encoded data information is stored in the encoded data information memory means, motion vector information for each macroblock is accumulated for each macroblock. Encoded data information clearing means for calculating and storing, and further, when the display image is generated by the display image generating means, the motion vector accumulated value for each macroblock stored in the encoded data information memory means is cleared to zero. And the condition stored in the display image generation means control information memory means is to stop or reduce the function of the display image generation means when the motion vector accumulated value is smaller than a specified value. It is characterized by.

また本発明の第6の画像処理装置は、第4又は第5の画像処理装置において、前記復号手段から出力され前記符号化データ情報メモリ手段に記憶される符号化データ情報として符号化データにおけるマクロブロック毎のフレーム内予測/フレーム間予測情報を追加し、前記表示画像生成手段制御情報メモリ手段に記憶された条件は前記動きベクトル/動きベクトル累算値が指定された値より小さいかつフレーム内予測マクロブロック数が指定された値より小さい場合に前記表示画像生成手段の機能を停止あるいは低下することであることを特徴とする。   According to a sixth image processing apparatus of the present invention, in the fourth or fifth image processing apparatus, the macro in the encoded data is encoded data information output from the decoding unit and stored in the encoded data information memory unit. Intra-frame prediction / inter-frame prediction information for each block is added, and the condition stored in the display image generation means control information memory means is that the motion vector / motion vector accumulated value is smaller than a specified value and intra-frame prediction When the number of macro blocks is smaller than a specified value, the function of the display image generating means is stopped or lowered.

また本発明の第7の画像処理装置は、第1から第6の画像処理装置にさらに、前記表示画像生成手段制御情報メモリ手段に記憶する条件を外部から設定・変更する表示画像生成手段制御情報設定手段と、を備え、前記表示画像生成手段制御における前記表示画像生成手段の機能を停止あるいは低下させる条件を外部から制御可能とすることを特徴とする。   According to a seventh image processing apparatus of the present invention, display image generating means control information for setting / changing externally the conditions stored in the display image generating means control information memory means in addition to the first to sixth image processing apparatuses. And a setting unit, wherein a condition for stopping or reducing the function of the display image generation unit in the display image generation unit control can be controlled from the outside.

本構成によって、常時画像が変化するような動画再生表示時などにも消費電力の低減を実現することができる。   With this configuration, it is possible to realize a reduction in power consumption even during moving image reproduction display in which images constantly change.

本発明の画像処理装置によれば、符号化データを復号する際に得られる、コンテンツ情報、マクロブロック毎のフレーム内予測/フレーム間予測情報、符号化/非符号化情報、動きベクトル情報を基に表示画像生成手段の機能を停止あるいは低下する制御を行うことにより、常時画像が変化するような動画再生表示時などにも画像の動きに応じた表示画像生成手段の制御が可能となり消費電力の低減を実現することができる。   According to the image processing apparatus of the present invention, content information, intra-frame prediction / inter-frame prediction information for each macroblock, encoding / non-coding information, and motion vector information obtained when decoding encoded data are decoded. By controlling the display image generation means to stop or reduce the display image generation means, it is possible to control the display image generation means according to the movement of the image even during moving image playback display where the image changes constantly. Reduction can be realized.

以下本発明の実施の形態について、図面を参照しながら説明する。   Embodiments of the present invention will be described below with reference to the drawings.

(実施の形態1)
図1は本発明の実施の形態1における画像処理装置のブロック図であり、入力される符号化データ108を復号し符号化データ情報110と復号画像データ109を出力する復号手段101と、復号手段101から出力される復号画像データ109を記憶する画像メモリ手段105と、復号手段101から出力される符号化データ情報110を記憶する符号化データ情報メモリ手段102と、画像メモリ手段105に記憶された復号画像データ109を読み出し表示するための表示画像データ112を生成する表示画像生成手段106と、表示画像生成手段106から出力される表示画像データ112を記憶する表示メモリ手段107と、表示画像生成手段106の機能を停止あるいは低下させるための条件を記憶する表示画像生成手段制御情報メモリ手段104と、符号化データ情報メモリ手段102に記憶された符号化データ情報及び表示画像生成手段制御情報メモリ手段104に記憶された条件を基に表示画像生成手段106の機能を停止あるいは低下させる表示画像生成制御手段103を備えている。
(Embodiment 1)
FIG. 1 is a block diagram of an image processing apparatus according to Embodiment 1 of the present invention. Decoding means 101 for decoding input encoded data 108 and outputting encoded data information 110 and decoded image data 109; The image memory means 105 that stores the decoded image data 109 output from the 101, the encoded data information memory means 102 that stores the encoded data information 110 output from the decoding means 101, and the image memory means 105 Display image generating means 106 for generating display image data 112 for reading and displaying the decoded image data 109, display memory means 107 for storing the display image data 112 output from the display image generating means 106, and display image generating means Display image generation means control for storing conditions for stopping or reducing the function of 106 The function of the display image generation means 106 is stopped or reduced based on the information memory means 104 and the encoded data information stored in the encoded data information memory means 102 and the conditions stored in the display image generation means control information memory means 104. Display image generation control means 103 is provided.

図2は復号手段101のブロック図であり、入力される符号化データ108に含まれるコンテンツ情報に対し開始符号、終端符号の検出、符号化データ情報110の一つとしてコンテンツ情報208を取得、出力するコンテンツ情報復号処理手段201と、入力される符号化データ108に含まれる画像符号化データに対し開始符号、終端符号の検出、各種パラメータの取得及び可変長符号復号処理を行い、画像サイズ、マクロブロック(後述)毎のフレーム内予測/フレーム間予測を示すIntra/Interフラグ、そのマクロブロックがフレーム間予測の場合、そのマクロブロックの符号化データ(動きベクトル情報、量子化離散コサイン変換係数)が含まれるか否かを示す符号化/非符号化フラグ(フレーム間予測の場合)や動きベクトル情報(フレーム間予測かつ符号化データを含む場合)、量子化離散コサイン変換係数(符号化データを含む場合)を取得、符号化データ情報110の一つとして、取得したIntra/Interフラグや符号化/非符号化フラグ、動きベクトル情報210を出力する可変長符号復号処理手段202と、可変長符号復号処理手段202から出力される量子化離散コサイン変換係数に対し逆量子化処理を行い、逆量子化離散コサイン変換係数を出力する逆量子化処理手段203と、逆量子化処理手段203から出力される逆量子化離散コサイン変換係数に対し逆離散コサイン変換処理を行い、復号画像データ(フレーム内予測の場合)/残差画像データ(フレーム間予測の場合)を出力する逆離散コサイン変換処理手段204と、フレーム間予測の場合に可変長符号復号処理手段202から出力される動きベクトル情報及び前フレームの復号画像データより参照画像データを生成、出力する動き補償処理手段205と、フレーム内予測の場合、逆離散コサイン変換処理手段204から出力される復号画像データを復号画像データ109として出力、フレーム間予測の場合、逆離散コサイン変換処理手段204から出力される残差画像データと動き補償処理手段205から出力される参照画像データを画素毎に加算し、加算結果を復号画像データ109として出力する再構成画像生成処理手段206とから構成される。   FIG. 2 is a block diagram of the decoding unit 101. For the content information included in the input encoded data 108, the start information and the end code are detected, and the content information 208 is acquired and output as one of the encoded data information 110. Content information decoding processing means 201, and start code and end code detection, acquisition of various parameters, and variable length code decoding processing on the encoded image data included in the input encoded data 108, image size, macro Intra / Inter flag indicating intra-frame prediction / inter-frame prediction for each block (described later), and when the macro block is inter-frame prediction, encoded data (motion vector information, quantized discrete cosine transform coefficient) of the macro block is Encoding / non-encoding flag (in case of inter-frame prediction) and motion indicating whether or not it is included Qutre information (when inter-frame prediction and encoded data is included), quantized discrete cosine transform coefficients (when encoded data is included) are acquired, and acquired Intra / Inter flags and codes as one of the encoded data information 110 Variable-length code decoding processing means 202 that outputs an encoding / non-coding flag and motion vector information 210, and inverse quantization processing is performed on the quantized discrete cosine transform coefficient output from the variable-length code decoding processing means 202, Inverse quantization processing means 203 for outputting the quantized discrete cosine transform coefficients, and inverse discrete cosine transform processing for the inverse quantized discrete cosine transform coefficients output from the inverse quantization processing means 203 to obtain decoded image data (intra-frame) Prediction)) / inverse discrete cosine transform processing means 204 for outputting residual image data (in the case of inter-frame prediction); Motion compensation processing means 205 for generating and outputting reference image data from the motion vector information output from the variable-length code decoding processing means 202 in the case of inter-frame prediction and the decoded image data of the previous frame; The decoded image data output from the discrete cosine transform processing unit 204 is output as decoded image data 109. In the case of inter-frame prediction, residual image data output from the inverse discrete cosine transform processing unit 204 and output from the motion compensation processing unit 205 The reconstructed image generation processing unit 206 outputs the added reference image data for each pixel and outputs the addition result as decoded image data 109.

図3は復号手段101に入力される符号化データ108の構造を示す図であり、先頭にコンテンツ情報302が開始符号32ビット(0x000001B7)に続けて終端符号8ビット(0xFF)まで、図4に示す文字コードを使用して文字列として挿入されている。   FIG. 3 is a diagram showing the structure of the encoded data 108 input to the decoding means 101. The content information 302 is preceded by the start code 32 bits (0x000001B7) and the end code 8 bits (0xFF). It is inserted as a character string using the character code shown.

その後に画像符号化データ303が開始符号32ビット(0x000001B0)に続けて終端符号32ビット(0x000001B1)まで挿入されている。   After that, the encoded image data 303 is inserted up to the end code 32 bits (0x000001B1) after the start code 32 bits (0x000001B0).

画像符号化データは、先頭に画像サイズ情報16ビット(縦、横方向について各8ビット)、その後に画面毎の符号化処理単位である”フレーム”毎の符号化データ(Frame0データ、Frame1データ、、)から成る。   The encoded image data includes 16 bits of image size information (8 bits each in the vertical and horizontal directions) at the head, and then encoded data (frame 0 data, frame 1 data, each frame) which is an encoding processing unit for each screen. )).

フレーム毎の符号化データ304は、開始符号32ビット(0x000001B6)、その後に図5に示す画面内の符号化処理単位である”マクロブロック(MB)”毎の符号化データ(MB0データ、MB1データ、、)から成る。画像サイズが縦、横=176、144、マクロブロックのサイズが縦、横=16、16(単位は画素)の場合、各フレーム毎の符号化データ(Frame0、、)に含まれるマクロブロック毎のデータ(MB0、、)数は99(MB98まで)となる。   The encoded data 304 for each frame has a start code of 32 bits (0x000001B6), and then encoded data (MB0 data, MB1 data) for each “macroblock (MB)” which is the encoding processing unit in the screen shown in FIG. ,)). When the image size is vertical, horizontal = 176, 144, and the macroblock size is vertical, horizontal = 16, 16 (units are pixels), each macroblock included in the encoded data (Frame0,) for each frame The number of data (MB0,...) Is 99 (up to MB98).

マクロブロック毎の符号化データ305は、そのマクロブロックがフレーム内予測/フレーム間予測かどうかを示すIntra/Interフラグ1ビット(フレーム内予測の場合0x0、フレーム間予測の場合0x1)、そのマクロブロックがフレーム間予測の場合、そのマクロブロックの符号化データ(動きベクトル情報、量子化離散コサイン変換係数)が含まれるか否かを示す符号化/非符号化フラグ1ビット(符号化データが含まれる場合0x0、符号化データが含まれない場合0x1(符号化データが含まれない場合は前フレームの同じ位置のマクロブロック復号画像データをそのフレームの復号画像データとする))、そのマクロブロックがフレーム間予測かつ符号化データが含まれる場合、前フレームの復号画像データから参照画像データを特定するための動きベクトル情報18ビット(縦、横方向について各9ビット)、その後に量子化離散コサイン変換係数可変長符号から成る。   The coded data 305 for each macroblock includes an Intra / Inter flag 1 bit (0x0 for intraframe prediction, 0x1 for interframe prediction) indicating whether the macroblock is intraframe prediction / interframe prediction, and the macroblock. In the case of inter-frame prediction, one bit of encoded / unencoded flag (encoded data is included) indicating whether or not encoded data (motion vector information, quantized discrete cosine transform coefficient) of the macroblock is included. 0x0 if the encoded data is not included, and 0x1 if the encoded data is not included (when the encoded data is not included, the macroblock decoded image data at the same position in the previous frame is used as the decoded image data of the frame)) When inter-prediction and encoded data are included, reference is made from the decoded image data of the previous frame. Motion vector information 18 bits for identifying the image data (vertical, for each horizontal 9 bits), followed by a quantum of the discrete cosine transform coefficients variable-length code.

ここで図6を用いて、前フレームの復号画像データ及び動きベクトルを用いた代表的な動き補償処理について簡単に説明する。   Here, a typical motion compensation process using the decoded image data and the motion vector of the previous frame will be briefly described with reference to FIG.

図6に示す画像サイズは縦、横=176、144、マクロブロックのサイズが縦、横=16、16(単位は画素)とする。   The image size shown in FIG. 6 is vertical and horizontal = 176 and 144, and the macroblock size is vertical and horizontal = 16, and 16 (units are pixels).

符号処理時に、ある符号化対象フレーム602のマクロブロック(MB0)がフレーム間予測として処理される場合、前フレームの復号画像データ601の中からMB0に一番近い(画素単位の差分絶対値和が最小になる等)画素ブロックが探索される。ここで探索された画素ブロック位置がMB13の位置であった場合、MB0の位置→MB13の位置を示す動きベクトル603(縦、横=+32、+16(単位は画素))及び符号化対象フレーム602(MB0)から前フレームの復号画像データ601(MB13)を画素毎に減算した結果である残差画像データを離散コサイン変換、量子化、可変長符号化した可変長符号604が符号化データ605として復号処理へ送出される。   When a macroblock (MB0) of a certain encoding target frame 602 is processed as inter-frame prediction at the time of encoding processing, it is closest to MB0 from the decoded image data 601 of the previous frame (the sum of absolute differences in pixel units is The pixel block is searched for. If the pixel block position searched here is the position of MB13, the motion vector 603 (vertical, horizontal = + 32, +16 (unit is pixel)) indicating the position of MB0 → MB13 and the encoding target frame 602 ( The variable length code 604 obtained by performing discrete cosine transform, quantization, and variable length coding on the residual image data obtained by subtracting the decoded image data 601 (MB13) of the previous frame from MB0) for each pixel is decoded as the encoded data 605. Sent to the process.

復号処理では、受信した符号化データ605に含まれる動きベクトル及び残差画像データの量子化離散コサイン変換係数、前フレームの復号画像データより、上記とは逆の手順をたどることで復号処理を実現する。   In the decoding process, the decoding process is realized by following the procedure opposite to the above from the motion vector included in the received encoded data 605, the quantized discrete cosine transform coefficient of the residual image data, and the decoded image data of the previous frame. To do.

なお可変長符号(復号)処理、フレーム内予測/フレーム間予測、(逆)量子化処理、(逆)離散コサイン変換処理、再構成画像生成処理はMPEG(Moving Picture coding Experts Group)に代表される画像データの符号/復号処理の国際標準規格等で採用されている一般的な技術であり、これらの処理の具体的な手法に関しては本発明の特徴ではないため説明を省略する。   Note that variable length code (decoding) processing, intra-frame prediction / inter-frame prediction, (inverse) quantization processing, (inverse) discrete cosine transform processing, and reconstructed image generation processing are represented by MPEG (Moving Picture Coding Experts Group). This is a general technique adopted in the international standard for encoding / decoding processing of image data, and a specific method of these processing is not a feature of the present invention, and thus description thereof is omitted.

図7は符号化データ情報メモリ手段102に記憶される符号化データ情報110の構成を示す図である。   FIG. 7 is a diagram showing the configuration of the encoded data information 110 stored in the encoded data information memory means 102.

図7(a)はコンテンツ情報を記憶する領域であり、図4に示す文字コードを用いて、符号化データに含まれるコンテンツ情報を終端符号(0xFF)まで格納する。   FIG. 7A shows an area for storing content information, and the content information included in the encoded data is stored up to the end code (0xFF) using the character code shown in FIG.

図7(b)はIntra/Interフラグ(フレーム内予測の場合0x0、フレーム間予測の場合0x1)を記憶する領域であり、フレーム毎の符号化データに含まれる全マクロブロック数(本実施の形態では99)分が先頭から順に格納される。   FIG. 7B is an area for storing an Intra / Inter flag (0x0 for intra-frame prediction, 0x1 for inter-frame prediction), and the total number of macroblocks included in the encoded data for each frame (this embodiment) In this case, 99) minutes are stored in order from the top.

図7(c)は符号化/非符号化フラグ(符号化データが含まれる場合0x0、符号化データが含まれない場合0x1)を記憶する領域であり、フレーム毎の符号化データに含まれる全マクロブロック数(本実施の形態では99)分が先頭から順に格納される。但し本フラグが格納されるのは、Intra/Interフラグがフレーム間予測(0x1)の場合に限られ、Intra/Interフラグがフレーム内予測(0x0)の場合、そのマクロブロックに対する領域は空となる。   FIG. 7C shows an area for storing an encoding / non-encoding flag (0x0 when encoded data is included, 0x1 when encoded data is not included), and all areas included in the encoded data for each frame. The number of macroblocks (99 in this embodiment) is stored in order from the top. However, this flag is stored only when the Intra / Inter flag is inter-frame prediction (0x1). When the Intra / Inter flag is intra-frame prediction (0x0), the area for the macroblock is empty. .

図7(d)は動きベクトル情報を記憶する領域であり、フレーム毎の符号化データに含まれる全マクロブロック数(本実施の形態では99)分が縦、横続けて先頭から順に格納される。但し本情報が格納されるのは、Intra/Interフラグがフレーム間予測(0x1)かつ符号化/非符号化フラグが符号化データが含まれる(0x0)場合に限られ、Intra/Interフラグがフレーム内予測(0x0)又は符号化/非符号化フラグが符号化データが含まれない(0x1)の場合、そのマクロブロックに対する領域は空となる。   FIG. 7D is an area for storing motion vector information, and the total number of macroblocks (99 in the present embodiment) included in the encoded data for each frame is stored in order from the top in the vertical and horizontal directions. . However, this information is stored only when the Intra / Inter flag is inter-frame prediction (0x1) and the encoded / uncoded flag includes encoded data (0x0), and the Intra / Inter flag is a frame. When the intra prediction (0x0) or the encoded / uncoded flag does not include encoded data (0x1), the area for the macroblock is empty.

図8は表示画像生成手段制御情報メモリ手段104に記憶される表示画像生成手段106の機能を停止あるいは低下させるための条件の構成を示す図である。   FIG. 8 is a diagram showing a configuration of conditions for stopping or lowering the function of the display image generating means 106 stored in the display image generating means control information memory means 104.

図8に示す条件は、比較対象、比較条件、比較値から成り、例えば符号化データに含まれるコンテンツ情報がある文字列(‘CMABC‘)と一致する場合に、表示画像生成手段106の機能を停止あるいは低下させるためには、比較対象=”コンテンツ情報”、比較値=”CMABC”、比較条件=”一致(==)”を指定する。他にフレーム毎の符号化データに含まれる全マクロブロックのうち、非符号化マクロブロック数が0x42以上の場合に表示画像生成手段106の機能を停止あるいは低下させるためには、比較対象=”非符号化マクロブロック数”、比較値=”0x42”、比較条件=”以上(>=)”を指定する。   The condition shown in FIG. 8 includes a comparison target, a comparison condition, and a comparison value. For example, when the content information included in the encoded data matches a certain character string ('CMABC'), the function of the display image generation unit 106 is performed. In order to stop or reduce, the comparison target = “content information”, the comparison value = “CMABC”, and the comparison condition = “match (==)” are designated. In order to stop or reduce the function of the display image generation means 106 when the number of non-encoded macro blocks is 0x42 or more among all the macro blocks included in the encoded data for each frame, the comparison target = “non- The number of encoding macroblocks, comparison value = “0x42”, and comparison condition = “more than (> =)” are designated.

また各条件には、AND/ORフラグを設けている。これは直前の条件に対し、その条件を論理積として扱うのか(AND)、論理和(OR)として扱うのかを指定するフラグである。例えば、フレーム毎の符号化データに含まれる全マクロブロックのうち、動きベクトルの最大値が0x10以下、かつフレーム内予測マクロブロック数が0xa以下の場合に表示画像生成手段106の機能を停止あるいは低下させるためには、比較対象=”動きベクトル最大値”、比較値=”0x10”、比較条件=”以下(<=)”、AND/OR=”OR”、比較対象=”フレーム内予測マクロブロック数”、比較値=”0xa”、比較条件=”以下(<=)”、AND/OR=”AND”を指定する。   Each condition has an AND / OR flag. This is a flag for designating whether the condition is treated as a logical product (AND) or a logical sum (OR) with respect to the immediately preceding condition. For example, the function of the display image generation unit 106 is stopped or lowered when the maximum value of the motion vector is 0x10 or less and the number of intra-frame prediction macroblocks is 0xa or less among all macroblocks included in the encoded data for each frame. In order to do this, comparison target = “motion vector maximum value”, comparison value = “0x10”, comparison condition = “below (<=)”, AND / OR = “OR”, comparison target = “intra-frame prediction macroblock” “Number”, comparison value = “0xa”, comparison condition = “below (<=)”, AND / OR = “AND” are designated.

以下、図1から図8を用いて処理の流れに沿って説明する。   Hereinafter, a description will be given along the flow of processing with reference to FIGS.

符号化データ108が復号手段101に入力されると、まずコンテンツ情報復号処理手段201で符号化データ207からコンテンツ情報の開始符号32ビット(0x000001B7)が検出され、それ以降、終端符号8ビット(0xFF)まで、8ビット単位でコンテンツ情報(図3に示すコンテンツ情報302の場合”CMABC”)を取得する。なおコンテンツ情報の開始符号32ビット(0x000001B7)が検出されなかった場合には、コンテンツ情報復号処理手段201での処理はスキップされる。取得したコンテンツ情報208は、符号化データ情報110の一つとして図7(a)に示す構成で符号化データ情報メモリ手段102に出力、記憶される。   When the encoded data 108 is input to the decoding unit 101, first, the content information decoding processing unit 201 detects the start code 32 bits (0x000001B7) of the content information from the encoded data 207, and thereafter, the end code 8 bits (0xFF) ) Until the content information (in the case of the content information 302 shown in FIG. 3, “CMABC”) is acquired in units of 8 bits. If the 32 bits (0x000001B7) of the content information start code is not detected, the processing in the content information decoding processing unit 201 is skipped. The acquired content information 208 is output and stored in the encoded data information memory unit 102 as one of the encoded data information 110 in the configuration shown in FIG.

次に可変長符号復号処理手段202で符号化データ108から画像符号化データの開始符号32ビット(0x000001B0)が検出され、その後の画像サイズ情報16ビット(縦、横方向について各8ビット)(図3に示す画像符号化データ303の場合、縦、横=176、144(単位は画素)))を取得、以降フレーム毎の符号化データを復号する。   Next, the variable length code decoding means 202 detects the start code 32 bits (0x000001B0) of the encoded image data from the encoded data 108, and the subsequent image size information 16 bits (each 8 bits in the vertical and horizontal directions) (see FIG. In the case of the encoded image data 303 shown in FIG. 3, vertical and horizontal = 176, 144 (units are pixels))) is acquired, and the encoded data for each frame is decoded thereafter.

フレーム毎の符号化データ(Frame0データ、Frame1データ、、)の復号は、符号化データ108からフレーム毎の符号化データの開始符号32ビット(0x000001B6)が検出され、以降マクロブロック毎の符号化データを復号する。   In the decoding of the encoded data for each frame (Frame 0 data, Frame 1 data,...), The start code 32 bits (0x000001B6) of the encoded data for each frame is detected from the encoded data 108, and thereafter the encoded data for each macroblock. Is decrypted.

マクロブロック毎の符号化データ(MB0データ、MB1データ、、MB98データ)の復号は、そのマクロブロックがフレーム内予測/フレーム間予測かを示すIntra/Interフラグ1ビット(フレーム内予測の場合0x0、フレーム間予測の場合0x1)を取得、その後Intra/Interフラグがフレーム間予測(0x1)の場合のみ、そのマクロブロックの符号化データ(動きベクトル情報、量子化離散コサイン変換係数)が含まれるか否かを示す符号化/非符号化フラグ1ビット(符号化データが含まれる場合0x0、符号化データが含まれない場合0x1)を取得、その後Intra/Interフラグがフレーム間予測(0x1)かつ符号化/非符号化フラグが符号化データが含まれる(0x0)場合のみ、動きベクトル情報18ビット(縦、横方向について各9ビット)を取得、その後符号化/非符号化フラグが符号化データが含まれる(0x0)場合のみ、量子化離散コサイン変換係数可変長符号に対し、可変長符号復号処理を行い、量子化離散コサイン変換係数を取得する。   Decoding of the encoded data (MB0 data, MB1 data, MB98 data) for each macroblock is performed by 1 bit of Intra / Inter flag indicating that the macroblock is intraframe prediction / interframe prediction (in the case of intraframe prediction, 0x0, In the case of inter-frame prediction, 0x1) is obtained, and only when the Intra / Inter flag is inter-frame prediction (0x1), encoded data (motion vector information, quantized discrete cosine transform coefficient) of the macroblock is included. Encoding / non-encoding flag indicating 1 bit (0x0 when encoded data is included, 0x1 when encoded data is not included), and then intra / inter flag is inter-frame prediction (0x1) and encoded / Only when the non-encoded flag contains encoded data (0x0) 18-bit vector information (9 bits each in the vertical and horizontal directions) is acquired, and only when the encoded / unencoded flag includes encoded data (0x0), the quantized discrete cosine transform coefficient variable length code is A variable length code decoding process is performed to obtain quantized discrete cosine transform coefficients.

取得したIntra/Interフラグ、符号化/非符号化フラグ、動きベクトル情報210は、符号化データ情報110の一つとして図7(b)〜(d)に示す構成で符号化データ情報メモリ手段102に出力、記憶される。   The acquired Intra / Inter flag, encoded / non-encoded flag, and motion vector information 210 are encoded data information memory means 102 having the configuration shown in FIGS. 7B to 7D as one of encoded data information 110. Is output and stored.

可変長符号復号処理手段202で取得した量子化離散コサイン変換係数は、逆量子化処理手段203で逆量子化処理、逆離散コサイン変換処理手段204で逆離散コサイン変換処理が行われ、Intra/Interフラグがフレーム内予測の場合は復号画像データ、フレーム間予測の場合は残差画像データが生成される。   The quantized discrete cosine transform coefficient acquired by the variable length code decoding processing means 202 is subjected to inverse quantization processing by the inverse quantization processing means 203, and inverse discrete cosine transform processing by the inverse discrete cosine transform processing means 204, and the Intra / Inter If the flag is intra-frame prediction, decoded image data is generated. If the flag is inter-frame prediction, residual image data is generated.

またIntra/Interフラグがフレーム間予測(0x1)かつ符号化/非符号化フラグが符号化データが含まれる(0x0)場合は、可変長符号復号処理手段202で取得した動きベクトル情報及び前フレームの復号画像データより、動き補償処理手段205で参照画像データが生成される。   If the Intra / Inter flag is inter-frame prediction (0x1) and the encoded / uncoded flag includes encoded data (0x0), the motion vector information acquired by the variable-length code decoding processing unit 202 and the previous frame Reference image data is generated by the motion compensation processing means 205 from the decoded image data.

またIntra/Interフラグがフレーム間予測(0x1)かつ符号化/非符号化フラグが符号化データが含まれない(0x1)場合は、動き補償処理手段205で前フレームの復号画像データより、同じマクロブロック位置の画像データを復号画像データとされる。再構成画像生成処理手段206では、Intra/Interフラグがフレーム内予測(0x0)の場合は、逆離散コサイン変換処理手段204で生成された復号画像データを復号画像データ109として出力、Intra/Interフラグがフレーム間予測(0x1)かつ符号化/非符号化フラグが符号化データが含まれる(0x0)場合は、動き補償処理手段205で生成された参照画像データと逆離散コサイン変換処理手段204で生成された残差画像データを画素単位で加算し、加算結果を復号画像データ109として出力、Intra/Interフラグがフレーム間予測(0x1)かつ符号化/非符号化フラグが符号化データが含まれない(0x1)場合は、動き補償処理手段205で生成された復号画像データを復号画像データ109として出力される。   When the Intra / Inter flag is inter-frame prediction (0x1) and the encoded / unencoded flag does not include encoded data (0x1), the motion compensation processing unit 205 uses the same macro from the decoded image data of the previous frame. The image data at the block position is set as decoded image data. When the Intra / Inter flag is intra-frame prediction (0x0), the reconstructed image generation processing unit 206 outputs the decoded image data generated by the inverse discrete cosine transform processing unit 204 as decoded image data 109, and the Intra / Inter flag Is the inter-frame prediction (0x1) and the encoded / unencoded flag includes the encoded data (0x0), the reference image data generated by the motion compensation processing means 205 and the inverse discrete cosine transform processing means 204 are generated. The added residual image data is added in units of pixels, the addition result is output as decoded image data 109, the Intra / Inter flag is inter-frame prediction (0x1), and the encoded / uncoded flag does not include encoded data In the case of (0x1), the decoded image data generated by the motion compensation processing unit 205 is converted into decoded image data. Is output as data 109.

そして復号手段101から出力された復号画像データ109は、画像メモリ手段105へ記憶される。   The decoded image data 109 output from the decoding unit 101 is stored in the image memory unit 105.

そして画像メモリ手段105に記憶された復号画像データ109は、表示画像生成手段106によって読み出され、表示画像データ112へ変換されて、表示メモリ手段107へ記憶され、図示しない表示装置へ表示データ113として出力される。   The decoded image data 109 stored in the image memory means 105 is read by the display image generating means 106, converted into display image data 112, stored in the display memory means 107, and displayed on a display device (not shown). Is output as

一方表示画像生成手段制御情報メモリ手段104には、予め図8に示す、表示画像生成手段106の機能を停止あるいは低下させるための条件が記憶されている。   On the other hand, the display image generation means control information memory means 104 stores in advance conditions for stopping or reducing the function of the display image generation means 106 shown in FIG.

表示画像生成制御手段103では、図7に示す符号化データ情報メモリ手段102に記憶された符号化データ情報110及び表示画像生成手段制御情報メモリ手段104に記憶された条件111を基に、表示画像生成手段106の機能を停止あるいは低下させるかどうかの判定を行い、条件が成立すれば表示画像生成手段106を停止させ、表示画像データ112の生成を止め、電力の消費を抑える。   The display image generation control unit 103 displays the display image based on the encoded data information 110 stored in the encoded data information memory unit 102 and the condition 111 stored in the display image generation unit control information memory unit 104 shown in FIG. It is determined whether or not the function of the generation unit 106 is to be stopped or reduced. If the condition is satisfied, the display image generation unit 106 is stopped, generation of the display image data 112 is stopped, and power consumption is reduced.

符号化データ情報110及び表示画像生成手段106の機能を停止あるいは低下させる条件111が図7、図8に示す構成である場合、第1の条件では、比較対象=”コンテンツ情報”、比較条件=”一致(==)”、比較値=”CMABC”となっており、図7(a)に示すコンテンツ情報(”CMABC”)に対し条件が成立する。   When the conditions 111 for stopping or lowering the functions of the encoded data information 110 and the display image generation means 106 are the configurations shown in FIGS. 7 and 8, in the first condition, the comparison target = “content information” and the comparison condition = “Match (==)” and comparison value = “CMABC”, and the condition is satisfied for the content information (“CMABC”) shown in FIG.

第2の条件では、比較対象=”非符号化マクロブロック数”、比較条件=”以上(>=)”、比較値=”0x42”となっており、図7(b)に示すIntra/Interフラグでフレーム間予測(0x1)となっているマクロブロックを対象とし図7(c)に示す符号化/非符号化フラグで非符号化(0x1)となっているマクロブロック数をMB0〜MB98についてカウントし、(ここでは非符号化マクロブロック数が50だったとすると)、条件は非成立となる。   Under the second condition, the comparison target = “number of uncoded macroblocks”, the comparison condition = “more than (> =)”, and the comparison value = “0x42”. Intra / Inter shown in FIG. The number of macroblocks that are non-encoded (0x1) in the encoding / non-encoding flag shown in FIG. 7C for the macroblocks that are inter-frame prediction (0x1) by the flag is shown for MB0 to MB98. Counting (assuming that the number of non-encoded macroblocks is 50 here), the condition is not satisfied.

第3の条件では、比較対象=”動きベクトル最大値”、比較条件=”以下(<=)”、比較値=”0x10”となっており、図7(b)に示すIntra/Interフラグでフレーム間予測(0x1)かつ図7(c)に示す符号化/非符号化フラグで符号化(0x0)となっているマクロブロックを対象とし動きベクトル情報での最大値をMB0〜MB98についてサーチし、(ここでは動きベクトル最大値が0xaだったとすると)、条件は成立する。   In the third condition, the comparison target = “motion vector maximum value”, the comparison condition = “below (<=)”, and the comparison value = “0x10”, and the Intra / Inter flag shown in FIG. A search is performed for MB0 to MB98 for the maximum value in motion vector information for a macroblock that is interframe prediction (0x1) and encoded (0x0) with the encoding / non-encoding flag shown in FIG. (Assuming that the maximum value of the motion vector is 0xa), the condition is satisfied.

第4の条件では、比較対象=”フレーム内予測マクロブロック数”、比較条件=”以下(<=)”、比較値=”0xa”となっており、図7(b)に示すIntra/Interフラグでフレーム内予測(0x0)となっているマクロブロック数をMB0〜MB98についてカウントし、(ここではフレーム内予測マクロブロック数が9だったとすると)、条件は成立する。   In the fourth condition, comparison target = “number of intra-frame prediction macroblocks”, comparison condition = “below (<=)”, comparison value = “0xa”, and Intra / Inter shown in FIG. The number of macroblocks that are in-frame prediction (0x0) by the flag is counted for MB0 to MB98 (assuming that the number of intra-frame prediction macroblocks is 9 here), and the condition is satisfied.

各条件のAND/OR指定は、第2の条件=”OR”、第3の条件=”OR”、第4の条件=”AND”となっているため、最終的な条件成立/非成立は、第1の条件(成立)OR第2の条件(非成立)OR(第3の条件(成立)AND第4の条件(成立))となり、成立となる。   The AND / OR designation of each condition is the second condition = “OR”, the third condition = “OR”, and the fourth condition = “AND”. First condition (satisfied) OR Second condition (unsatisfied) OR (third condition (satisfied) AND fourth condition (satisfied)) is established.

(実施の形態2)
図9は本発明の実施の形態2における画像処理装置のブロック図であり、図1に示す画像処理装置に加え、符号化データ情報メモリ手段102に記憶する符号化データ情報110が動きベクトル情報の場合にはマクロブロック毎に累算した結果を記憶し、表示画像生成手段106により表示画像データ112が生成された場合に符号化データ情報メモリ手段102に記憶されたマクロブロック毎の動きベクトル累算値をゼロクリアする符号化データ情報クリア手段915と、表示画像生成手段制御情報メモリ手段104に記憶する条件を外部から設定・変更する表示画像生成手段制御情報設定手段914を備えている。
(Embodiment 2)
FIG. 9 is a block diagram of an image processing apparatus according to Embodiment 2 of the present invention. In addition to the image processing apparatus shown in FIG. 1, the encoded data information 110 stored in the encoded data information memory means 102 includes motion vector information. In this case, the result of accumulation for each macroblock is stored, and when the display image data 112 is generated by the display image generation means 106, the motion vector accumulation for each macroblock stored in the encoded data information memory means 102 is stored. A coded data information clearing unit 915 for clearing the value to zero and a display image generating unit control information setting unit 914 for setting / changing the conditions stored in the display image generating unit control information memory unit 104 from the outside are provided.

図10は復号手段101から出力される符号化データ情報(動きベクトル情報)110と、符号化データ情報メモリ手段102に記憶されるマクロブロック毎の動きベクトル累算値の対応、及び動きベクトル累算値の初期状態、符号化データ情報クリア手段915により動きベクトル累算値がゼロクリアされた状態を示す説明図である。   FIG. 10 shows the correspondence between the encoded data information (motion vector information) 110 output from the decoding means 101, the motion vector accumulated value for each macroblock stored in the encoded data information memory means 102, and the motion vector accumulation. It is explanatory drawing which shows the state in which the motion vector accumulated value was zero-cleared by the initial state of the value and the encoded data information clear means 915.

図10(a)は符号化データ情報メモリ手段102における動きベクトル累算値が記憶される領域の初期状態並びに符号化データ情報クリア手段915により動きベクトル累算値がゼロクリアされた状態を示す図であり、全てのマクロブロック(MB0〜MB98)に対する動きベクトル累算値が0x000となる。   FIG. 10A is a diagram showing an initial state of a region where the motion vector accumulated value is stored in the encoded data information memory means 102 and a state where the motion vector accumulated value is cleared to zero by the encoded data information clear means 915. Yes, the motion vector accumulation value for all macroblocks (MB0 to MB98) is 0x000.

図10(b)は復号手段101より符号化データ情報110として動きベクトル情報が入力された場合の状態を示す図であり、符号化データ情報メモリ手段902における動きベクトル情報が図に示す状態(MB1の縦、横=0x020、0x010)の場合、動きベクトル累算値は、初期状態(全MBが0x000)に動きベクトル情報に記憶された値を加算し、同図に示す状態(MB1の縦、横=0x020、0x010、他MBは全て0x000)となる。   FIG. 10B is a diagram showing a state when motion vector information is input as the encoded data information 110 from the decoding unit 101. The motion vector information in the encoded data information memory unit 902 is shown in the state (MB1 In the case of vertical and horizontal = 0x020, 0x010), the motion vector accumulated value is obtained by adding the value stored in the motion vector information to the initial state (all MBs are 0x000), and the state shown in FIG. Horizontal = 0x020, 0x010, and other MBs are all 0x000).

図10(c)はさらに復号手段101より符号化データ情報110として動きベクトル情報が入力された場合の状態を示す図であり、符号化データ情報メモリ手段102における動きベクトル情報が図に示す状態(MB0の縦、横=0x001、0x002、MB1の縦、横=0x003、0x004、MB98の縦、横=0x005、0x006)の場合、動きベクトル累算値は、図10(b)に示す状態(MB1の縦、横=0x020、0x010、他MBは全て0x000)に動きベクトル情報に記憶された値を加算し、同図に示す状態(MB0の縦、横=0x001、0x002、MB1の縦、横=0x023、0x014、MB98の縦、横=0x005、0x006、他MBは全て0x000)となる。   FIG. 10C is a diagram showing a state when motion vector information is further input as the encoded data information 110 from the decoding unit 101. The motion vector information in the encoded data information memory unit 102 is shown in the state ( In the case of MB0 vertical, horizontal = 0x001, 0x002, MB1 vertical, horizontal = 0x003, 0x004, MB98 vertical, horizontal = 0x005, 0x006), the motion vector accumulated value is the state shown in FIG. 10B (MB1). The values stored in the motion vector information are added to the vertical and horizontal = 0x020, 0x010, all other MBs are 0x000, and the state shown in the figure (vertical and horizontal of MB0, horizontal = 0x001, 0x002, vertical and horizontal of MB1 = 0x023, 0x014, length of MB98, width = 0x005, 0x006, and other MBs are all 0x000).

図11は表示画像生成手段制御情報設定手段914を介して、表示画像生成手段制御情報メモリ手段904に記憶された表示画像生成手段106の機能を停止あるいは低下させるための条件を示す構成図である。   FIG. 11 is a block diagram showing conditions for stopping or lowering the function of the display image generation means 106 stored in the display image generation means control information memory means 904 via the display image generation means control information setting means 914. .

表示画像生成手段制御情報設定手段914では、条件番号を指定して、比較対象、比較条件、比較値、AND/ORを設定するものとし、図11(a)は第1の条件に比較対象=”累算動きベクトル最大値”、比較条件=”以下(<=)”、比較値=”0x10”が記憶されている状態を示し、符号化データ情報メモリ手段102に記憶されたマクロブロック毎の動きベクトル累算値の最大値が0x10以下の場合に、表示画像生成制御手段103により表示画像生成手段106の機能を停止する。   The display image generation unit control information setting unit 914 designates a condition number and sets a comparison target, a comparison condition, a comparison value, and an AND / OR. FIG. 11A shows a comparison target = “Accumulated motion vector maximum value”, comparison condition = “below (<=)”, comparison value = “0x10” is stored, and each macroblock stored in the encoded data information memory means 102 is stored. When the maximum value of the motion vector accumulated value is 0 × 10 or less, the display image generation control unit 103 stops the function of the display image generation unit 106.

上記条件では、マクロブロック毎の動きベクトル累算値の最大値が0x10以下の場合に、表示画像生成手段106の機能を停止(==表示画像データの生成(表示更新)を停止)する。   Under the above conditions, when the maximum motion vector accumulated value for each macroblock is 0x10 or less, the function of the display image generating means 106 is stopped (== generation of display image data (display update) is stopped).

しかし動画像再生表示時などに、画像によっては、使用者が「もう少し大きい動きがある場合のみ表示更新を行い、消費電力を抑えたい」と考える場合があると思われる。そのような場合には、表示画像生成手段制御情報設定手段914を介して、再度表示画像生成手段制御情報メモリ手段104に記憶する条件を設定・変更する。   However, at the time of moving image playback display, etc., depending on the image, the user may think that “I want to update the display only when there is a little bigger movement and reduce power consumption”. In such a case, the conditions stored in the display image generation unit control information memory unit 104 are set / changed again via the display image generation unit control information setting unit 914.

図11(b)は第1の条件に比較対象=”累算動きベクトル最大値”、比較条件=”以下(<=)”、比較値=”0x20”が記憶されている状態を示し、符号化データ情報メモリ手段102に記憶されたマクロブロック毎の動きベクトル累算値の最大値が0x20以下の場合に、表示画像生成制御手段103により表示画像生成手段106の機能を停止するようになる。   FIG. 11B shows a state in which comparison target = “accumulated motion vector maximum value”, comparison condition = “below (<=)”, and comparison value = “0x20” are stored in the first condition. When the maximum motion vector accumulated value for each macroblock stored in the digitized data information memory means 102 is 0x20 or less, the display image generation control means 103 stops the function of the display image generation means 106.

本発明にかかる画像処理装置は、符号化データを復号し、復号画像データを表示するような動画再生表示時などに、復号処理で得られる符号化データ情報(コンテンツ情報、マクロブロック毎のフレーム内予測/フレーム間予測、符号化データ有/無、動きベクトル情報など)を基に表示画像生成処理を実行/停止することで、表示する画像に応じた表示画像生成制御が可能となり、低消費電力化が実現できるため、動画再生機能を搭載した携帯電話等のバッテリ駆動の携帯端末において、連続動作時間(バッテリ駆動時間)を延ばすための画像処理装置として有用である。   The image processing apparatus according to the present invention decodes encoded data, and displays encoded data information (content information, within each frame for each macroblock), such as when displaying and displaying decoded image data. Display image generation processing based on the display image can be performed by executing / stopping the display image generation processing based on prediction / interframe prediction, presence / absence of encoded data, motion vector information, etc.), and low power consumption Therefore, it is useful as an image processing apparatus for extending a continuous operation time (battery driving time) in a battery-driven portable terminal such as a mobile phone equipped with a moving image reproduction function.

本発明の実施の形態1を示す画像処理装置のブロック図1 is a block diagram of an image processing apparatus showing Embodiment 1 of the present invention. 本発明の実施の形態1を示す復号手段のブロック図The block diagram of the decoding means which shows Embodiment 1 of this invention 本発明の実施の形態1を示す符号化データの構成図Configuration diagram of encoded data showing Embodiment 1 of the present invention 本発明の実施の形態1を示す文字コード表を示す図The figure which shows the character code table | surface which shows Embodiment 1 of this invention 本発明の実施の形態1を示す符号化単位の説明図Explanatory drawing of the encoding unit which shows Embodiment 1 of this invention 本発明の実施の形態1を示す動き補償処理の説明図Explanatory drawing of the motion compensation process which shows Embodiment 1 of this invention 本発明の実施の形態1を示す符号化データ情報の構成図Configuration diagram of encoded data information showing Embodiment 1 of the present invention 本発明の実施の形態1を示す表示画像生成手段制御条件の構成図Configuration diagram of display image generation means control conditions showing Embodiment 1 of the present invention 本発明の実施の形態2を示す画像処理装置のブロック図The block diagram of the image processing apparatus which shows Embodiment 2 of this invention. 本発明の実施の形態2を示す符号化データ情報の構成図Configuration diagram of encoded data information showing Embodiment 2 of the present invention 本発明の実施の形態2を示す表示画像生成手段制御条件の構成図Configuration diagram of display image generation means control condition showing Embodiment 2 of the present invention 従来の画像表示装置の構成を示すブロック図The block diagram which shows the structure of the conventional image display apparatus

符号の説明Explanation of symbols

101 復号手段
102 符号化データ情報メモリ手段
103 表示画像生成制御手段
104 表示画像生成手段制御情報メモリ手段
105 画像メモリ手段
106 表示画像生成手段
107 表示メモリ手段
108 符号化データ
109 復号画像データ
110 符号化データ情報
111 表示画像生成手段機能を停止あるいは低下させる条件
112 表示画像データ
113 表示データ
201 コンテンツ情報復号処理手段
202 可変長符号復号処理手段
203 逆量子化処理手段
204 逆離散コサイン変換処理手段
205 動き補償処理手段
206 再構成画像生成処理手段
208,302 コンテンツ情報
210 Intra/Interフラグ、符号化/非符号化フラグ、動きベクトル情報
303 画像符号化データ
304 フレーム毎の符号化データ
305 マクロブロック毎の符号化データ
401,402 文字コード表
501 フレーム
502 マクロブロック
601 前フレームの復号画像データ
602 符号化対象フレーム
603 動きベクトル
604 可変長符号
605 符号化データ
606 加算器
607 離散コサイン変換処理手段
608 量子化処理手段
609 可変長符号処理手段
701 符号化データ情報メモリ手段に記憶される符号化データ情報(コンテンツ情報)
702 符号化データ情報メモリ手段に記憶される符号化データ情報(Intra/Interフラグ)
703 符号化データ情報メモリ手段に記憶される符号化データ情報(符号化/非符号化フラグ)
704,1002,1004 符号化データ情報メモリ手段に記憶される符号化データ情報(動きベクトル情報)
801,1101,1102 表示画像生成手段制御情報メモリ手段に記憶される表示画像生成手段機能を停止あるいは低下させる条件
914 表示画像生成手段制御情報設定手段
915 符号化データ情報クリア手段
1001,1003,1005 符号化データ情報メモリ手段に記憶される符号化データ情報(動きベクトル累算値)
DESCRIPTION OF SYMBOLS 101 Decoding means 102 Encoded data information memory means 103 Display image generation control means 104 Display image generation means control information memory means 105 Image memory means 106 Display image generation means 107 Display memory means 108 Encoded data 109 Decoded image data 110 Encoded data Information 111 Conditions for stopping or reducing the function of the display image generation means 112 Display image data 113 Display data 201 Content information decoding processing means 202 Variable length code decoding processing means 203 Inverse quantization processing means 204 Inverse discrete cosine transform processing means 205 Motion compensation processing Means 206 Reconstructed image generation processing means 208, 302 Content information 210 Intra / Inter flag, encoding / non-coding flag, motion vector information 303 Image encoded data 304 Code for each frame Data 305 Coded data for each macroblock 401, 402 Character code table 501 Frame 502 Macroblock 601 Previous frame decoded image data 602 Encoding target frame 603 Motion vector 604 Variable length code 605 Coded data 606 Adder 607 Discrete cosine transform Processing means 608 Quantization processing means 609 Variable length code processing means 701 Encoded data information (content information) stored in encoded data information memory means
702 Encoded data information (Intra / Inter flag) stored in the encoded data information memory means
703 Encoded data information (encoded / unencoded flag) stored in the encoded data information memory means
704, 1002, 1004 Encoded data information (motion vector information) stored in the encoded data information memory means
801, 1101, 1102 Conditions for stopping or lowering the function of the display image generation means stored in the display image generation means control information memory means 914 Display image generation means control information setting means 915 Encoded data information clear means 1001, 1003, 1005 Encoded data information (motion vector accumulated value) stored in the encoded data information memory means

Claims (7)

入力される符号化データを復号し符号化データ情報並びに復号画像データを出力する復号手段と、
前記復号手段から出力される復号画像データを記憶する画像メモリ手段と、
前記復号手段から出力される符号化データ情報を記憶する符号化データ情報メモリ手段と、
前記画像メモリ手段に記憶された復号画像データを基に表示するための表示画像データを生成する表示画像生成手段と、
前記表示画像生成手段から出力される表示画像データを記憶する表示メモリ手段と、
前記表示画像生成手段の機能を停止あるいは低下させるための条件を記憶する表示画像生成手段制御情報メモリ手段と、
前記符号化データ情報メモリ手段に記憶された符号化データ情報及び前記表示画像生成手段制御情報メモリ手段に記憶された条件を基に前記表示画像生成手段の機能を停止あるいは低下させる表示画像生成制御手段と、
を備えることを特徴とする画像処理装置。
Decoding means for decoding input encoded data and outputting encoded data information and decoded image data;
Image memory means for storing decoded image data output from the decoding means;
Encoded data information memory means for storing encoded data information output from the decoding means;
Display image generation means for generating display image data for display based on the decoded image data stored in the image memory means;
Display memory means for storing display image data output from the display image generating means;
Display image generation means control information memory means for storing conditions for stopping or reducing the function of the display image generation means;
Display image generation control means for stopping or reducing the function of the display image generation means based on the encoded data information stored in the encoded data information memory means and the conditions stored in the display image generation means control information memory means When,
An image processing apparatus comprising:
前記復号手段から出力され前記符号化データ情報メモリ手段に記憶される符号化データ情報が符号化データのコンテンツ情報であり、
前記表示画像生成手段制御情報メモリ手段に記憶された条件は符号化データが指定されたコンテンツである場合に前記表示画像生成手段の機能を停止あるいは低下する
ことであることを特徴とする請求項1記載の画像処理装置。
The encoded data information output from the decoding means and stored in the encoded data information memory means is content information of encoded data,
2. The condition stored in the display image generation means control information memory means is to stop or reduce the function of the display image generation means when the encoded data is a designated content. The image processing apparatus described.
前記復号手段がマクロブロックと呼ばれるある画素ブロック単位で符号化データを復号し、
前記復号手段から出力され前記符号化データ情報メモリ手段に記憶される符号化データ情報が符号化データにおけるマクロブロック毎の符号化/非符号化情報であり、
前記表示画像生成手段制御情報メモリ手段に記憶された条件は非符号化マクロブロック数が指定された値より大きい場合に前記表示画像生成手段の機能を停止あるいは低下する
ことであることを特徴とする請求項1記載の画像処理装置。
The decoding means decodes encoded data in a certain pixel block unit called a macroblock,
The encoded data information output from the decoding means and stored in the encoded data information memory means is encoded / unencoded information for each macroblock in the encoded data,
The condition stored in the display image generation means control information memory means is to stop or reduce the function of the display image generation means when the number of uncoded macroblocks is larger than a specified value. The image processing apparatus according to claim 1.
前記復号手段がマクロブロックと呼ばれるある画素ブロック単位で符号化データを復号し、
前記復号手段から出力され前記符号化データ情報メモリ手段に記憶される符号化データ情報が符号化データにおけるマクロブロック毎の動きベクトル情報であり、
前記表示画像生成手段制御情報メモリ手段に記憶された条件は前記動きベクトルが指定された値より小さい場合に前記表示画像生成手段の機能を停止あるいは低下する
ことであることを特徴とする請求項1記載の画像処理装置。
The decoding means decodes encoded data in a certain pixel block unit called a macroblock,
The encoded data information output from the decoding means and stored in the encoded data information memory means is motion vector information for each macroblock in the encoded data,
2. The condition stored in the display image generation means control information memory means is that the function of the display image generation means is stopped or lowered when the motion vector is smaller than a specified value. The image processing apparatus described.
前記符号化データ情報メモリ手段において符号化データ情報を記憶する際に
マクロブロック毎の動きベクトル情報をマクロブロック毎に累算し記憶し、さらに
前記表示画像生成手段により表示画像が生成された場合に前記符号化データ情報メモリ手段に記憶されたマクロブロック毎の動きベクトル累算値をゼロクリアする符号化データ情報クリア手段と、
を備え、
前記表示画像生成手段制御情報メモリ手段に記憶された条件は前記動きベクトル累算値が指定された値より小さい場合に前記表示画像生成手段の機能を停止あるいは低下する
ことであることを特徴とする請求項4記載の画像処理装置。
When the encoded data information is stored in the encoded data information memory means, motion vector information for each macroblock is accumulated and stored for each macroblock, and when a display image is generated by the display image generating means Encoded data information clearing means for clearing the motion vector accumulated value for each macroblock stored in the encoded data information memory means to zero;
With
The condition stored in the display image generation means control information memory means is that the function of the display image generation means is stopped or lowered when the motion vector accumulated value is smaller than a specified value. The image processing apparatus according to claim 4.
前記復号手段から出力され前記符号化データ情報メモリ手段に記憶される符号化データ情報として符号化データにおけるマクロブロック毎のフレーム内予測/フレーム間予測情報を追加し、
前記表示画像生成手段制御情報メモリ手段に記憶された条件は前記動きベクトル/動きベクトル累算値が指定された値より小さいかつフレーム内予測マクロブロック数が指定された値より小さい場合に前記表示画像生成手段の機能を停止あるいは低下する
ことであることを特徴とする請求項4または5記載の画像処理装置。
Add intra-frame prediction / inter-frame prediction information for each macroblock in the encoded data as encoded data information output from the decoding means and stored in the encoded data information memory means,
The display image is generated when the condition stored in the display image generation means control information memory means is smaller than the designated value and the number of intra-frame prediction macroblocks is smaller than the designated value. 6. The image processing apparatus according to claim 4, wherein the function of the generating means is stopped or lowered.
前記表示画像生成手段制御情報メモリ手段に記憶する条件を外部から設定・変更する表示画像生成手段制御情報設定手段と、
を備え、
前記表示画像生成手段制御における前記表示画像生成手段の機能を停止あるいは低下させる条件を外部から制御可能
とすることを特徴とする請求項1から6の何れかに記載の画像処理装置。
Display image generation means control information setting means for externally setting / changing conditions stored in the display image generation means control information memory means;
With
The image processing apparatus according to claim 1, wherein a condition for stopping or reducing the function of the display image generation unit in the display image generation unit control can be controlled from the outside.
JP2004301148A 2004-10-15 2004-10-15 Image processing apparatus Pending JP2006113334A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004301148A JP2006113334A (en) 2004-10-15 2004-10-15 Image processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004301148A JP2006113334A (en) 2004-10-15 2004-10-15 Image processing apparatus

Publications (1)

Publication Number Publication Date
JP2006113334A true JP2006113334A (en) 2006-04-27

Family

ID=36381900

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004301148A Pending JP2006113334A (en) 2004-10-15 2004-10-15 Image processing apparatus

Country Status (1)

Country Link
JP (1) JP2006113334A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018173639A (en) * 2017-03-30 2018-11-08 アナパス インコーポレーテッドAnapass Inc. Display, display device, and method for driving source driver

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018173639A (en) * 2017-03-30 2018-11-08 アナパス インコーポレーテッドAnapass Inc. Display, display device, and method for driving source driver

Similar Documents

Publication Publication Date Title
EP1649697B1 (en) Intra coding video data apparatuses
US20100177820A1 (en) Video encoding device, video decoding device, video encoding method, video decoding method, video encoding or decoding program
KR100280592B1 (en) Method and apparatus for processing variable length encoded data
JP2007300667A (en) Moving image encoding method
WO2009073421A2 (en) System and methods for improved video decoding
US7373001B2 (en) Compressed moving image decompression device and image display device using the same
US7343084B2 (en) Image processing apparatus and method, computer program, and computer readable storage medium
US20060133491A1 (en) Video codec
WO2007091588A1 (en) Dynamic image decoding device, decoded image recording device, their method, and program
JP2007067526A (en) Image processor
JP2006113334A (en) Image processing apparatus
US20020118757A1 (en) Motion image decoding apparatus and method reducing error accumulation and hence image degradation
JP2002204459A (en) Moving picture coding method and device
EP0541287A2 (en) Video signal coding apparatus and decoding apparatus
JPH09261530A (en) Video recorder
US20030031259A1 (en) Bit stream code lookup table for an MPEG-4 code word
JP2010268094A (en) Image decoder and image decoding method
JP2003125407A (en) Image decoder, image decoding method, and image decoding program
JP2003087797A (en) Apparatus and method for picture information conversion, picture information conversion program, and recording medium
JP3674454B2 (en) Video playback system and display control apparatus
KR100521026B1 (en) Method for protecting private information using special-effects in handset
KR100504808B1 (en) Method converting rgb color in a motion picture codec
JP2002010264A (en) Device for replacing compressed data
JP2004023173A (en) Device for monitoring simple decoded image
JP2004166255A (en) Image encoding method