JP2010193399A - Image coding apparatus and image coding method - Google Patents

Image coding apparatus and image coding method Download PDF

Info

Publication number
JP2010193399A
JP2010193399A JP2009038419A JP2009038419A JP2010193399A JP 2010193399 A JP2010193399 A JP 2010193399A JP 2009038419 A JP2009038419 A JP 2009038419A JP 2009038419 A JP2009038419 A JP 2009038419A JP 2010193399 A JP2010193399 A JP 2010193399A
Authority
JP
Japan
Prior art keywords
code amount
prediction
encoding
image
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009038419A
Other languages
Japanese (ja)
Other versions
JP5197428B2 (en
Inventor
Shigeki Mochizuki
成記 望月
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2009038419A priority Critical patent/JP5197428B2/en
Publication of JP2010193399A publication Critical patent/JP2010193399A/en
Application granted granted Critical
Publication of JP5197428B2 publication Critical patent/JP5197428B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To prevent a code amount from becoming excessive, while suppressing a redundant memory region or redundant code amount consumption. <P>SOLUTION: An image coding apparatus codes an inputted moving image by performing intra-screen prediction or inter-screen prediction thereon. When it is determined that an estimate code amount calculated before entropy coding exceeds a preset predetermined code amount, the inputted moving image is switched to intra-screen prediction. When the code amount exceeds the predetermined code amount after entropy coding, macro block pixels are restored from an inputted predictive pixel value and a transform coefficient. The restored image data are switched as data prior to entropy coding. Thus, it is not necessary to secure a redundant memory region and the code amount can be prevented from exceeding a maximum code amount. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は画像符号化装置及び画像符号化方法に関し、特に、H.264/MPEG−4 AVC等の動画像の符号化装置に用いて好適な技術に関する。   The present invention relates to an image encoding device and an image encoding method. The present invention relates to a technique suitable for use in a moving image encoding apparatus such as H.264 / MPEG-4 AVC.

動画像の符号化方式の1つにMPEG−4 AVC(ISO/IEC 14496−10)があり、ディジタル・テレビ放送や映像記録メディアへ広く採用されている。MPEG−4 AVCでは、コンテキスト適応型可変長符号化(CAVLC:Context−based Adaptive Varibale Length Coding)。またはコンテキスト適応型2値算術符号化(CABAC:Context−based Adaptive Binary Arithmetic Coding)、といったコンテキスト適応型のエントロピー符号化方式を採用して符号化効率を高めている。   MPEG-4 AVC (ISO / IEC 14496-10) is one of the moving image encoding systems, and is widely used in digital television broadcasting and video recording media. In MPEG-4 AVC, context-adaptive variable length coding (CAVLC). Alternatively, a context adaptive entropy coding method such as context-adaptive binary arithmetic coding (CABAC) is employed to increase coding efficiency.

このMPEG−4 AVCでは、1マクロブロック当りの最大符号量が規定されており、4:2:0コンポーネント、8ビットで符号化を行う場合、3200ビットが上限となる。このため、この最大符号量を超えないように符号化を行わなくてはならないように規定されている。   In MPEG-4 AVC, the maximum code amount per macroblock is defined, and when encoding is performed with 4: 2: 0 components and 8 bits, 3200 bits is the upper limit. For this reason, it is stipulated that encoding must be performed so as not to exceed the maximum code amount.

そのため、符号化を行った結果、最大符号量の最大値を越えてしまった場合は規格違反となり、予測方法や量子化パラメータ等の符号化条件を変更して再符号化を行う必要がある。この場合には、再符号化処理が完了するまでは次のマクロブロックの処理が行えない上に、再処理後の符号量が最大符号量を超える可能性もあるため、処理時間の遅延が懸念される。   Therefore, if the maximum code amount exceeds the maximum value as a result of encoding, it is a violation of the standard, and it is necessary to re-encode by changing the encoding conditions such as the prediction method and the quantization parameter. In this case, the processing of the next macroblock cannot be performed until the re-encoding process is completed, and the code amount after the re-processing may exceed the maximum code amount. Is done.

再符号化を行う方法の他に、直交変換及び量子化符号化を行わないで画素値をそのまま多重化するI_PCMモードと呼ばれる予測モードを用いて符号化する方法もある。しかし、この符号化方法においては、最終的な符号量はエントロピー符号化を行った後でないと符号量超過であるか判定できないため、I_PCMデータを予め保存しておく必要がある。   In addition to the re-encoding method, there is also a method of encoding using a prediction mode called I_PCM mode in which pixel values are multiplexed as they are without performing orthogonal transform and quantization encoding. However, in this encoding method, it is necessary to store the I_PCM data in advance because it is not possible to determine whether the final code amount exceeds the entropy encoding after entropy encoding.

こうした仕組みを利用して、1マクロブロック当りの最大符号量超過を保護するために、エントロピー符号化前の情報からある閾値を元に符号量を判定し、I_PCMデータへ差し替える方法が開示されている(例えば、特許文献1参照)。   In order to protect the excess of the maximum code amount per macroblock using such a mechanism, a method is disclosed in which the code amount is determined based on a certain threshold value from information before entropy coding and replaced with I_PCM data. (For example, refer to Patent Document 1).

特開2007−166039号公報JP 2007-166039 A

前述のように、エントロピー符号化を行う前に、符号量を予め予測してI_PCMへ切り替える方法は、最大符号量超過を防止する意味では有効である。しかしながら、エントロピー符号化部へ、メモリを介してデータを渡す場合に、ワーストケースを想定すると、ほぼ1画面分の画像データを確保しておく必要がある。したがって、この方法の場合も冗長なメモリ領域を確保しなければならない不都合がある。   As described above, the method of predicting the code amount in advance and switching to I_PCM before entropy coding is effective in terms of preventing the maximum code amount from being exceeded. However, when data is passed to the entropy encoding unit via the memory, assuming the worst case, it is necessary to secure image data for one screen. Therefore, this method also has a disadvantage that a redundant memory area must be secured.

また、飽くまでエントロピー符号化前の情報から最終符号量を予測して判定するため、実際には最大符号量が超過しないケースにおいてもI_PCMへ切り替えてしまうケースも考えられ、冗長に符号量を消費してしまう可能性がある。   In addition, since the final code amount is predicted and determined from information before entropy coding until it gets tired, even when the maximum code amount is not exceeded, there is a case where switching to I_PCM is considered, and the code amount is consumed redundantly. There is a possibility that.

本発明は前述の問題点に鑑み、冗長なメモリ領域や、冗長な符号量消費を抑えた上で、符号量超過を防止できるようにすることを目的としている。   The present invention has been made in view of the above-described problems, and an object of the present invention is to prevent excessive code amounts while suppressing redundant memory areas and redundant code amount consumption.

本発明の画像符号化装置は、入力される動画像を画面内予測、または画面間予測して符号化する画像符号化装置であって、前記入力される動画像をエントロピー符号化前に算出される推定符号量から、予め設定された所定の符号量を超えると判定した際には画面内予測に切り替えるとともに、エントロピー符号化後に符号量が所定の符号量を超えた場合には、入力された予測画素値及び変換係数からマクロブロック画素を復元し、前記復元した画像データを前記エントロピー符号化する前のデータとして差し替えることを特徴とする。
また、本発明の画像符号化装置の他の特徴とするところは、入力される動画像を画面内予測、または画面間予測して符号化する画像符号化装置であって、所定のサイズの画素ブロック単位に推定符号量を算出し、前記算出した推定符号量に基いて予測方法を決定する予測方法決定手段と、前記予測方法決定手段により決定された予測方法に従い予測符号化を行って予測画像を生成し、前記予測画像と前記動画像における符号化対象画像との差分データに対して直交変換処理、及び、量子化処理を行う予測符号化手段と、前記予測符号化手段により生成された予測符号化データに対してエントロピー符号化を行うエントロピー符号化手段とを備え、前記予測方法決定手段は、前記算出した推定符号量と第1の所定値とを比較する第1の符号量比較処理を行い、前記第1の符号量比較処理により推定符号量が第1の所定値を越えた場合には、予測方法として画面内予測を適用し、前記エントロピー符号化手段は、エントロピー符号化後の符号量と第2の所定値とを比較する第2の符号量比較処理を行い、前記符号量が第2の所定値を超えた場合には、入力された予測画素値及び変換係数からマクロブロック画素を復元し、復元した画像データをI_PCMデータとして置き換える置換処理を行うことを特徴とする。
An image encoding device according to the present invention is an image encoding device that encodes an input moving image by intra prediction or inter prediction, and is calculated before entropy encoding. When it is determined from the estimated code amount that it exceeds a predetermined code amount set in advance, it is switched to intra prediction, and when the code amount exceeds a predetermined code amount after entropy coding, it is input A macroblock pixel is restored from a predicted pixel value and a transform coefficient, and the restored image data is replaced as data before the entropy encoding.
Another feature of the image encoding device of the present invention is an image encoding device that encodes an input moving image by intra-screen prediction or inter-screen prediction, and a pixel having a predetermined size. A prediction image determining unit that calculates an estimated code amount for each block, determines a prediction method based on the calculated estimated code amount, and performs predictive coding according to a prediction method determined by the prediction method determining unit. Prediction encoding means for performing orthogonal transform processing and quantization processing on difference data between the prediction image and the encoding target image in the moving image, and the prediction generated by the prediction encoding means An entropy encoding unit that performs entropy encoding on the encoded data, and the prediction method determination unit compares a first code amount ratio that compares the calculated estimated code amount with a first predetermined value. When the estimated code amount exceeds the first predetermined value by the first code amount comparison process, intra prediction is applied as a prediction method, and the entropy encoding means When the code amount exceeds the second predetermined value, a macro is calculated from the input predicted pixel value and the conversion coefficient. A block pixel is restored, and a replacement process is performed in which the restored image data is replaced with I_PCM data.

本発明の画像符号化方法は、入力される動画像を画面内予測、または画面間予測して符号化する画像符号化方法であって、前記入力される動画像をエントロピー符号化前に算出される推定符号量から、予め設定された所定の符号量を超えると判定した際には画面内予測に切り替えるとともに、エントロピー符号化後に符号量が所定の符号量を超えた場合には、入力された予測画素値及び変換係数からマクロブロック画素を復元し、前記復元した画像データを前記エントロピー符号化する前のデータとして差し替えることを特徴とする。
また、本発明の画像符号化方法の他の特徴とするところは、入力される動画像を画面内予測、または画面間予測して符号化する画像符号化方法であって、所定のサイズの画素ブロック単位に推定符号量を算出し、前記算出した推定符号量に基いて予測方法を決定する予測方法決定工程と、前記予測方法決定工程において決定された予測方法に従い予測符号化を行って予測画像を生成し、前記予測画像と前記動画像における符号化対象画像との差分データに対して直交変換処理、及び、量子化処理を行う予測符号化工程と、前記予測符号化工程において生成された予測符号化データに対してエントロピー符号化を行うエントロピー符号化工程とを備え、前記予測方法決定工程においては、前記算出した推定符号量と第1の所定値とを比較する第1の符号量比較処理を行い、前記第1の符号量比較処理により推定符号量が第1の所定値を越えた場合には、予測方法として画面内予測を適用し、前記エントロピー符号化工程においては、エントロピー符号化後の符号量と第2の所定値とを比較する第2の符号量比較処理を行い、前記符号量が第2の所定値を超えた場合には、入力された予測画素値及び変換係数からマクロブロック画素を復元し、復元した画像データをI_PCMデータとして置き換える置換処理を行うことを特徴とする。
An image encoding method of the present invention is an image encoding method for encoding an input moving image by intra-screen prediction or inter-screen prediction, and the input moving image is calculated before entropy encoding. When it is determined from the estimated code amount that it exceeds a predetermined code amount set in advance, it is switched to intra prediction, and when the code amount exceeds a predetermined code amount after entropy coding, it is input A macroblock pixel is restored from a predicted pixel value and a transform coefficient, and the restored image data is replaced as data before the entropy encoding.
Another feature of the image encoding method of the present invention is an image encoding method for encoding an input moving image by intra-screen prediction or inter-screen prediction, and encoding a pixel having a predetermined size. A prediction image is calculated in accordance with the prediction method determined in the prediction method determination step in which the estimated code amount is calculated for each block and the prediction method is determined based on the calculated estimated code amount, and the prediction method determined in the prediction method determination step. A prediction encoding step of performing orthogonal transformation processing and quantization processing on difference data between the prediction image and the encoding target image in the moving image, and the prediction generated in the prediction encoding step An entropy encoding step of performing entropy encoding on the encoded data, and the prediction method determination step compares the calculated estimated code amount with a first predetermined value. When the estimated code amount exceeds the first predetermined value by the first code amount comparison process, intra prediction is applied as a prediction method, and in the entropy encoding step, Then, a second code amount comparison process for comparing the code amount after entropy coding and a second predetermined value is performed, and when the code amount exceeds the second predetermined value, the input predicted pixel value And a macroblock pixel is restored from the transform coefficient, and a replacement process is performed in which the restored image data is replaced with I_PCM data.

本発明のコンピュータプログラムは、入力される動画像を画面内予測、または画面間予測して符号化する画像符号化方法をコンピュータに実行させるプログラムであって、前記入力される動画像をエントロピー符号化前に算出される推定符号量から、予め設定された所定の符号量を超えると判定した際には画面内予測に切り替えるとともに、エントロピー符号化後に符号量が所定の符号量を超えた場合には、入力された予測画素値及び変換係数からマクロブロック画素を復元し、前記復元した画像データを前記エントロピー符号化する前のデータとして差し替える画像符号化方法をコンピュータに実行させることを特徴とする。   The computer program of the present invention is a program for causing a computer to execute an image encoding method for encoding an input moving image by intra prediction or inter prediction and encoding the input moving image by entropy encoding. When it is determined from the estimated code amount calculated before that it exceeds a predetermined code amount set in advance, it is switched to intra prediction, and when the code amount exceeds a predetermined code amount after entropy coding The image coding method for restoring a macroblock pixel from the input predicted pixel value and transform coefficient and replacing the restored image data as data before the entropy coding is executed by the computer.

本発明によれば、予測方法決定処理の段階で算出した推定符号量が所定値を超える場合には、符号量が発生し難い画面内予測を適用するようにした。これにより、エントロピー符号化部におけるエントロピー符号化処理を行った後の符号量が最大符号量を超え難いようにすることができる。また、エントロピー符号化後の符号量が最大符号量を超えた場合には、画面内予測に限定した簡易復号化処理により、I_PCMデータへ置き換えるようにした。これにより、冗長なメモリ領域を必要とすることなく、またエントロピー符号化部より前の再処理を行うことなく、最大符号量超過が発生する不都合を防止することができる。   According to the present invention, when the estimated code amount calculated at the stage of the prediction method determination process exceeds a predetermined value, the intra-screen prediction that hardly generates the code amount is applied. Thereby, the code amount after performing the entropy encoding process in the entropy encoding unit can be made difficult to exceed the maximum code amount. In addition, when the code amount after entropy coding exceeds the maximum code amount, it is replaced with I_PCM data by a simple decoding process limited to intra prediction. As a result, it is possible to prevent the inconvenience of exceeding the maximum code amount without requiring a redundant memory area and without performing reprocessing before the entropy encoding unit.

本発明の第1の実施形態を示し、画像符号化装置の構成例を説明するブロック図である。1 is a block diagram illustrating a configuration example of an image encoding device according to a first embodiment of this invention. FIG. 本発明の第1の実施形態を示し、予測方法決定手順を説明するフローチャートである。It is a flowchart which shows the 1st Embodiment of this invention and demonstrates the prediction method determination procedure. 本発明の第1の実施形態を示し、I_PCMデータ置き換え手順を説明するフローチャートである。5 is a flowchart illustrating an I_PCM data replacement procedure according to the first embodiment of this invention. 本発明の第2の実施形態を示し、画像符号化装置において行われる予測方法決定手順を説明するフローチャートである。It is a flowchart which shows the 2nd Embodiment of this invention and demonstrates the prediction method determination procedure performed in an image coding apparatus.

(第1の実施形態)
以下、本発明を適用可能な第1の実施形態であるMPEG−4 AVC方式で映像信号を符号化する画像符号化装置の構成及び処理の流れについて、図1のブロック図を参照しながら説明する。なお、映像信号は1920×1088画素の4:2:0コンポーネント信号とし、8ビットで符号化されるものとするが、画面解像度、クロマフォーマット、量子化ビット数は他の仕様であっても本発明には影響しない。
(First embodiment)
In the following, the configuration and processing flow of an image encoding apparatus that encodes a video signal using the MPEG-4 AVC system, which is the first embodiment to which the present invention can be applied, will be described with reference to the block diagram of FIG. . Note that the video signal is a 1920 × 1088 pixel 4: 2: 0 component signal and is encoded with 8 bits, but the screen resolution, chroma format, and quantization bit number are not limited to this specification. It does not affect the invention.

本実施形態の画像符号化装置100は、符号化対象画面を16×16画素ブロックに分割したマクロブロック単位で符号化処理を行う。予測方法決定部101は、符号化対象画面内の各マクロブロックに対する予測方法を決定する処理を行う。   The image encoding apparatus 100 according to the present embodiment performs an encoding process in units of macroblocks obtained by dividing an encoding target screen into 16 × 16 pixel blocks. The prediction method determination unit 101 performs processing for determining a prediction method for each macroblock in the encoding target screen.

予測方法決定部101は、入力される動画像における符号化対象画像と、メモリ103から読み出した符号化済み画像の画素値とから簡易的な画面内予測、または動き検出を含む画面間予測処理を行うことにより、符号化効率が最適となる予測方式を決定する。   The prediction method determination unit 101 performs simple intra-screen prediction or inter-screen prediction processing including motion detection from the encoding target image in the input moving image and the pixel value of the encoded image read from the memory 103. By doing so, the prediction method with the optimum encoding efficiency is determined.

例えば、符号化対象マクロブロックがIスライスの場合は、画面内予測画素ブロックサイズ及び予測モードを決定する。また、PスライスまたはBスライスの場合には、画面内予測、または画面間予測の内、符号化効率の高い方を選択する。本実施形態においては、画面間予測の場合には画面内予測画素ブロックサイズ及び画面内予測モード等の画面内予測符号化用パラメータを決定する。そして画面間予測の場合には、参照画像フレーム、マクロブロック分割パターン、動きベクトル等の画面間予測符号化用パラメータを決定する。   For example, when the encoding target macroblock is an I slice, the intra prediction pixel block size and the prediction mode are determined. In the case of P slices or B slices, the one with higher coding efficiency is selected from among intra prediction or inter prediction. In the present embodiment, in the case of inter-screen prediction, intra-screen prediction encoding parameters such as an intra-screen prediction pixel block size and an intra-screen prediction mode are determined. In the case of inter-screen prediction, parameters for inter-screen prediction encoding such as a reference image frame, a macroblock division pattern, and a motion vector are determined.

ここで、予測方法決定部101では、算出した推定符号量が最小となるように予測方法を選択することにより符号化効率が最適となるようにしている。その推定符号量は、簡易的な予測処理を行うことにより生成した予測画像から符号化対象画像を引いた差分値である差分データに直交変換を施した変換係数の絶対値和(SATD)として算出される。   Here, in the prediction method determination unit 101, the encoding efficiency is optimized by selecting a prediction method so that the calculated estimated code amount is minimized. The estimated code amount is calculated as a sum of absolute values (SATD) of transform coefficients obtained by performing orthogonal transform on difference data, which is a difference value obtained by subtracting an encoding target image from a prediction image generated by performing a simple prediction process. Is done.

更に、選択された予測方法に対する推定符号量(以下、CUR_SATDとする)が予め設定された最大推定符号量(以下、MAX_SATD)を越えた場合には、16×16画素の平均値による画面内予測を適用するようにしている。   Furthermore, when the estimated code amount for the selected prediction method (hereinafter referred to as CUR_SATD) exceeds a preset maximum estimated code amount (hereinafter referred to as MAX_SATD), intra-screen prediction using an average value of 16 × 16 pixels To apply.

以下に、図2に示すフローチャートを参照しながら予測方法を決定する手順の一例について説明を行うことにする。
始めに、ステップS201において、動画像における符号化対象スライスがIスライスか、或いはそれ以外のスライス(PスライスまたはBスライス)であるかに応じて、画面内、画面間予測における推定符号量を算出するために、スライスタイプの判定を行う。
Hereinafter, an example of a procedure for determining a prediction method will be described with reference to the flowchart shown in FIG.
First, in step S201, an estimated code amount in intra-screen and inter-screen prediction is calculated depending on whether the encoding target slice in the moving image is an I slice or another slice (P slice or B slice). In order to do this, the slice type is determined.

ステップS201の判定の結果、Iスライスの場合にはステップS202に進み、画面内予測における各モード別推定符号量を算出し、その中で最も推定符号量が小さい予測モードを選択する。その後、ステップS204に進む。   As a result of the determination in step S201, in the case of an I slice, the process proceeds to step S202, where the estimated code amount for each mode in intra prediction is calculated, and the prediction mode with the smallest estimated code amount is selected. Thereafter, the process proceeds to step S204.

一方、ステップS201の判定の結果、PスライスまたはBスライスの場合には、ステップS203に進み、画面間予測における各モード別推定符号量を算出し、その中で最も推定符号量の小さい予測モードを選択する。その後、ステップS204に進む。   On the other hand, if the result of determination in step S201 is P slice or B slice, the process proceeds to step S203, where the estimated code amount for each mode in inter-screen prediction is calculated, and the prediction mode with the smallest estimated code amount is selected. select. Thereafter, the process proceeds to step S204.

ステップS204においては、前述したステップS202またはステップS203の処理により選択された予測モードにおける推定符号量CUR_SATDと、予め設定されている最大推定符号量MAX_SATDとを比較する。この比較の結果、CUR_SATDがMAX_SATDよりも小さい場合にはステップS205に進み、CUR_SATD算出時に選択された予測方法がそのまま適用される。   In step S204, the estimated code amount CUR_SATD in the prediction mode selected by the processing in step S202 or step S203 described above is compared with a preset maximum estimated code amount MAX_SATD. As a result of this comparison, if CUR_SATD is smaller than MAX_SATD, the process proceeds to step S205, and the prediction method selected at the time of calculating CUR_SATD is applied as it is.

また、ステップS204の比較の結果、CUR_SATDがMAX_SATD以上であった場合にはステップS206に進み、画面内予測モード(輝度:16×16画素の平均値、色差8×8画素の平均値)が適用される。   If CUR_SATD is greater than or equal to MAX_SATD as a result of the comparison in step S204, the process proceeds to step S206, and the in-screen prediction mode (luminance: average value of 16 × 16 pixels, average value of color difference 8 × 8 pixels) is applied. Is done.

ステップS205またはステップS206の処理が終了するとステップS207に進み、予測方法を決定する処理が終了か否かを判断する。この判断の結果、終了しない場合にはステップS201に戻り前述した処理を行う。また、ステップS207の判断の結果、処理を終了する場合にはエンド処理を行う。   When the process of step S205 or step S206 ends, the process proceeds to step S207 to determine whether or not the process for determining the prediction method is ended. As a result of this determination, if the process is not completed, the process returns to step S201 and the above-described processing is performed. Further, if the process is ended as a result of the determination in step S207, an end process is performed.

このように、予測方法決定部101は、算出した推定符号量と第1の所定値とを比較する第1の符号量比較処理を行い、算出した推定符号量が第1の所定値を越えた場合には、予測方法として画面内予測を適用する。具体的には、予測方法決定部101は、CUR_SATDがMAX_SATD(第1の処定値)を超える場合に、輝度16×16画素、色差8×8画素の画面内予測モードを適用する。これにより、MBの符号化に必要な構成要素を抑えながら、エントロピー符号化後の符号量がある程度以上発生しないように抑制することができる。こうして決定された予測符号化用パラメータは、予測処理部102へ出力され、予測符号化処理を行うために用いられる。   As described above, the prediction method determination unit 101 performs the first code amount comparison process for comparing the calculated estimated code amount with the first predetermined value, and the calculated estimated code amount exceeds the first predetermined value. In this case, intra prediction is applied as a prediction method. Specifically, when CUR_SATD exceeds MAX_SATD (first processing value), the prediction method determination unit 101 applies the intra-screen prediction mode having a luminance of 16 × 16 pixels and a color difference of 8 × 8 pixels. As a result, it is possible to suppress the amount of code after entropy encoding from occurring to some extent while suppressing constituent elements necessary for MB encoding. The predictive encoding parameters determined in this way are output to the predictive processing unit 102 and used for performing predictive encoding processing.

予測処理部102は、予測方法決定部101により決定された予測符号化用パラメータに応じて、メモリ103から読み出した符号化済み画像から予測画像を生成し、局所復号化部105へ出力する。また、映像入力される符号化対象画像(画素ブロック)と予測画像との差分となる予測残差信号(差分データ)を生成し、直交変換・量子化部104へ出力する。   The prediction processing unit 102 generates a prediction image from the encoded image read from the memory 103 according to the prediction encoding parameter determined by the prediction method determination unit 101, and outputs the prediction image to the local decoding unit 105. In addition, a prediction residual signal (difference data) that is a difference between an encoding target image (pixel block) input as a video and a predicted image is generated and output to the orthogonal transform / quantization unit 104.

ここで、前述のCUR_SATDがMAX_SATDを超える場合において、予測方法決定部101が画面内予測モードを適用した場合には、予測処理部102は生成した予測画像をエントロピー符号化部106へ出力する。この時、前述の例では16×16画素平均値予測を適用しているため、1画素分の予測画素を出力すればよい。   Here, when the above-mentioned CUR_SATD exceeds MAX_SATD and the prediction method determination unit 101 applies the intra prediction mode, the prediction processing unit 102 outputs the generated predicted image to the entropy encoding unit 106. At this time, since the 16 × 16 pixel average value prediction is applied in the above-described example, the prediction pixel for one pixel may be output.

直交変換・量子化部104では、指定された所定のサイズの画素ブロック単位(8×8画素または、4×4画素ブロック単位)に整数精度離散コサイン変換、及び離散アダマール変換による直交変換処理を行う。離散アダマール変換は、16×16画素ブロック単位で画面内予測処理が行われた輝度信号、または色差信号に対して各画素ブロックを整数精度離散コサイン変換した結果のDC(直流)成分に対してのみ行われる。   The orthogonal transform / quantization unit 104 performs orthogonal transform processing by integer precision discrete cosine transform and discrete Hadamard transform on a specified pixel block unit of a predetermined size (8 × 8 pixel or 4 × 4 pixel block unit). . The discrete Hadamard transform is only for a DC (direct current) component obtained as a result of integer-precision discrete cosine transform of each pixel block with respect to a luminance signal or a color difference signal subjected to intra-screen prediction processing in units of 16 × 16 pixel blocks. Done.

さらに直交変換・量子化部104は、直交変換された変換係数に対して、指定された量子化パラメータに応じた量子化ステップにより量子化処理を行う。量子化処理の後のデータ(予測符号化データ)は、エントロピー符号化部106へ入力される。また、直交変換・量子化部104において量子化されたデータ(予測符号化データ)は、局所復号化部105へも同時に入力される。   Further, the orthogonal transform / quantization unit 104 performs a quantization process on the orthogonally transformed transform coefficient by a quantization step according to a designated quantization parameter. The data after the quantization process (predictive encoded data) is input to the entropy encoding unit 106. The data quantized by the orthogonal transform / quantization unit 104 (predictive encoded data) is also input to the local decoding unit 105 at the same time.

局所復号化部105では、入力された予測符号化データに対して逆量子化処理、逆直交変換処理(逆離散アダマール変換及び逆整数精度離散コサイン変換)を行ったデータに対して、予測処理部102から入力される予測画像を加算して復号化処理を行う。こうして復号化されたデータはメモリ103へ出力され、メモリ103に保持される。   The local decoding unit 105 performs prediction processing on the data obtained by performing inverse quantization processing and inverse orthogonal transform processing (inverse discrete Hadamard transform and inverse integer precision discrete cosine transform) on the input predictive encoded data. The prediction image input from 102 is added to perform decoding processing. The decrypted data is output to the memory 103 and held in the memory 103.

メモリ103に保持された復号化データは、以降に行われる画面内予測処理に利用される。更に、デブロッキングフィルタ処理が施された復号化データをメモリ103へ保持する。メモリ103へ保持されたデブロッキングフィルタ処理後の復号化データは、以降に行われる画面間予測処理に利用される。   The decoded data held in the memory 103 is used for intra-screen prediction processing performed thereafter. Further, the decoded data subjected to the deblocking filter process is held in the memory 103. The decoded data after the deblocking filter process held in the memory 103 is used for the inter-screen prediction process performed thereafter.

エントロピー符号化部106では、入力された予測符号化データに対してCAVLC、またはCABACによるエントロピー符号化処理を行い、符号化映像データを多重化処理部107へ出力する。CAVLCは、Context−based Adaptive Variable Length Coding(コンテキスト適応型可変長符号化方式)の略である。この方式は、DCT係数を符号化する際、連続する0の長さであるランとレベルを可変長符号化テーブルを用いてスキャンの方向と反対の方向から符号化を行なう。   The entropy encoding unit 106 performs entropy encoding processing by CAVLC or CABAC on the input prediction encoded data, and outputs the encoded video data to the multiplexing processing unit 107. CAVLC is an abbreviation for Context-based Adaptive Variable Length Coding (context adaptive variable length coding). In this method, when a DCT coefficient is encoded, a run and a level, which are continuous zero lengths, are encoded from a direction opposite to the scan direction using a variable-length encoding table.

CABACは、Context−based Adaptive Binary Arithmetic Coding(コンテキスト適応型2値算術符号化方式)の略で、時間とともに変化する符号化対象の出現頻度を変化させる方式である。一般に算術符号化と呼ばれる方式である。CABACでは、通常の算術符号化のほかに、圧縮すべき符号ごとにコンテキストを付け、そのコンテキストごとに出現頻度の変更を行なっている。   CABAC is an abbreviation for Context-based Adaptive Binary Arithmetic Coding (context-adaptive binary arithmetic coding method), and is a method of changing the appearance frequency of an encoding object that changes with time. This is generally called arithmetic coding. In CABAC, in addition to normal arithmetic coding, a context is assigned to each code to be compressed, and the appearance frequency is changed for each context.

ここで、エントロピー符号化部106は、エントロピー符号化後の符号量(以下、CUR_BRATE)と、第2の所定値として予め設定された最大符号量(以下、MAX_BRATE)とを比較する第2の符号量比較処理を行う。この比較の結果、エントロピー符号化後の符号量がMAX_BRATEを越えた場合には、以下のように処理する。   Here, the entropy encoding unit 106 compares the code amount after entropy encoding (hereinafter, CUR_BRATE) with the maximum code amount (hereinafter, MAX_BRATE) preset as the second predetermined value. A quantity comparison process is performed. As a result of the comparison, when the code amount after entropy coding exceeds MAX_BRATE, the following processing is performed.

すなわち、本実施形態のエントロピー符号化部106は、内蔵する簡易復号化処理部106aにより、入力された予測画素値及び変換係数からマクロブロック画素を復元し、復元された画像データをI_PCMデータとして置き換える置換処理機能を備えている。ここでは、簡易復号化処理部106aをエントロピー符号化部106に内蔵しているが、簡易復号化処理部106aはエントロピー符号化部106と分離されていてもよい。   That is, the entropy encoding unit 106 of the present embodiment restores macroblock pixels from the input predicted pixel value and transform coefficient by the built-in simple decoding processing unit 106a, and replaces the restored image data as I_PCM data. A replacement function is provided. Here, the simple decoding processing unit 106 a is built in the entropy coding unit 106, but the simple decoding processing unit 106 a may be separated from the entropy coding unit 106.

以下に、図3に示すフローチャートを参照しながらI_PCMデータ置き換え手順について説明を行う。
まず始めに、ステップS301において、エントロピー符号化を行う。そして、符号量CUR_BRATEが算出されるとステップS302に進む。ステップS302においては、CUR_BRATEと予め設定されている最大符号量MAX_BRATEとの比較を行う。ここでは、1MB当たりのMAX_BRATEは、規格上の上限である3200ビットに設定されている。
The I_PCM data replacement procedure will be described below with reference to the flowchart shown in FIG.
First, in step S301, entropy encoding is performed. When the code amount CUR_BRATE is calculated, the process proceeds to step S302. In step S302, CUR_BRATE is compared with a preset maximum code amount MAX_BRATE. Here, MAX_BRATE per MB is set to 3200 bits, which is the upper limit in the standard.

ステップS302の比較の結果、CUR_BRATEがMAX_BRATEよりも小さい場合にはステップS303に進み、そのままエントロピー符号化後の符号化データを符号化する。その後、ステップS307に進む。   As a result of the comparison in step S302, when CUR_BRATE is smaller than MAX_BRATE, the process proceeds to step S303, and the encoded data after entropy encoding is encoded as it is. Thereafter, the process proceeds to step S307.

一方、ステップS302の比較の結果、CUR_BRATEがMAX_BRATEよりも大きい場合には、規格外となるためそのまま符号化できない。そこで、ステップS304〜306に進んで通常の符号化の処理となる。   On the other hand, if CUR_BRATE is larger than MAX_BRATE as a result of the comparison in step S302, it is out of the standard and cannot be encoded as it is. Therefore, the process proceeds to steps S304 to S306 and normal encoding processing is performed.

ステップS304においては、エントロピー符号化部106を対象MBのエントロピー符号化前の状態へ戻す。続いて、ステップS305に進み、エントロピー符号化前のデータと入力される予測画素値からエントロピー符号化部106に内蔵されている簡易復号化処理部106aにより復号化処理を行い、画像データ、すなわち、I_PCMデータを生成する。   In step S304, the entropy encoding unit 106 is returned to the state before the entropy encoding of the target MB. Subsequently, the process proceeds to step S305, in which the simple decoding processing unit 106a built in the entropy encoding unit 106 performs decoding processing from the pre-entropy encoding data and the input predicted pixel value, and the image data, that is, I_PCM data is generated.

ここで、エントロピー符号化部106に内蔵されている簡易復号化処理部106aでは、前段の予測方法決定部101により推定符号量が所定値よりも大きい場合には、平均値による画面内予測モードが選択されている。   Here, in the simple decoding processing unit 106a built in the entropy encoding unit 106, when the estimated code amount is larger than a predetermined value by the prediction method determination unit 101 in the previous stage, the intra-screen prediction mode based on the average value is set. Is selected.

このため、エントロピー符号化前のデータに対して逆量子化、逆直交変換を行い、入力された予測画素を加算するだけで画像データに復元可能となっている。つまり、画面内予測のみ復号化処理が行えるようになっていればよく、複雑な動き補償回路を必要としない比較的容易な復号化処理回路として実装可能となっている。続いて、ステップS306に進み、符号化対象データを生成されたI_PCMデータへ置き換える処理を行う。その後、ステップS307に進む。   For this reason, it is possible to restore the image data by simply performing inverse quantization and inverse orthogonal transform on the data before entropy encoding and adding the input prediction pixels. That is, it is only necessary to be able to perform decoding processing only for intra prediction, and it can be implemented as a relatively easy decoding processing circuit that does not require a complicated motion compensation circuit. Subsequently, the process proceeds to step S306, and processing for replacing the encoding target data with the generated I_PCM data is performed. Thereafter, the process proceeds to step S307.

ステップS307においては、処理を終了するか否かを判断する。この判断の結果、終了しない場合にはステップS301に戻って前述した処理を行う。また、ステップS307の判断の結果、処理を終了する場合にはエンド処理を行う。   In step S307, it is determined whether or not to end the process. As a result of this determination, if the process is not completed, the process returns to step S301 and the above-described processing is performed. Further, if the process is ended as a result of the determination in step S307, an end process is performed.

本実施形態の画像符号化装置100は、以上のように処理するので、エントロピー符号化後の符号量が所定値を超える場合であっても、簡易復号化処理部106aによりI_PCMデータへ置き換え可能となっている。   Since the image encoding apparatus 100 according to the present embodiment performs processing as described above, even if the code amount after entropy encoding exceeds a predetermined value, it can be replaced with I_PCM data by the simple decoding processing unit 106a. It has become.

多重化処理部107は、こうして入力された符号化映像データ、図示されないシステムデータ(スライスヘッダ等)を多重化して符号化データとして出力する。   The multiplexing processing unit 107 multiplexes the encoded video data input in this way and system data (not shown) (slice header or the like) and outputs the multiplexed data.

以上に示したように、本実施形態の画像符号化装置100においては、まず、予測方法決定部101で行われる予測方法決定処理の段階で算出した推定符号量が所定値よりも大きい場合には、符号量が発生し難い画面内平均値予測モードを適用する。これにより、エントロピー符号化部106におけるエントロピー符号化処理を行った後の符号量が最大符号量を超え難いようにすることができる。   As described above, in the image coding apparatus 100 according to the present embodiment, first, when the estimated code amount calculated in the prediction method determination process performed by the prediction method determination unit 101 is larger than a predetermined value. In-screen average value prediction mode in which the amount of code hardly occurs is applied. Thereby, it is possible to prevent the code amount after the entropy encoding process in the entropy encoding unit 106 from exceeding the maximum code amount.

更に、エントロピー符号化後の符号量が最大符号量を超えた場合であっても画面内予測に限定した簡易復号化処理により、I_PCMデータへ置き換えるようにした。これにより、冗長なメモリ領域を必要とすることなく、またエントロピー符号化部106より前の再処理を行うことなく、最大符号量超過が発生する不都合を防止することが可能な符号化処理が可能となる。   Furthermore, even if the code amount after entropy encoding exceeds the maximum code amount, it is replaced with I_PCM data by a simple decoding process limited to intra prediction. As a result, an encoding process capable of preventing the inconvenience of exceeding the maximum code amount without requiring a redundant memory area and without performing reprocessing before the entropy encoding unit 106 is possible. It becomes.

(第2の実施の形態)
次に、本発明を適用可能なMPEG−4 AVC方式で映像信号を符号化する画像符号化装置の第2の実施形態を説明する。本実施形態の画像符号化装置は、第1の実施の形態に示した画像符号化装置100と同様の構成である。したがって、ブロック図に関しては図1を流用するとともに、動作説明が重複する部分は省略する。以下の説明は、差分となる予測方法決定部101における予測方法決定手順について説明を行う。
(Second Embodiment)
Next, a second embodiment of an image encoding apparatus that encodes a video signal using the MPEG-4 AVC method to which the present invention is applicable will be described. The image coding apparatus according to the present embodiment has the same configuration as that of the image coding apparatus 100 shown in the first embodiment. Therefore, with respect to the block diagram, FIG. 1 is used, and the redundant description of the operation is omitted. In the following description, a prediction method determination procedure in the prediction method determination unit 101 that becomes a difference will be described.

本実施形態の画像符号化装置100における予測方法決定部101は、算出した推定符号量が最小となるように予測方法を選択して、符号化効率が最適となるように決定する。そして、決定した推定符号量は、簡易的な予測処理を行うことにより生成した予測画像から符号化対象画像を引いた差分データの絶対値和(SAD)として算出される。   The prediction method determination unit 101 in the image encoding device 100 of the present embodiment selects a prediction method so that the calculated estimated code amount is minimized, and determines the encoding efficiency to be optimal. The determined estimated code amount is calculated as the sum of absolute values (SAD) of difference data obtained by subtracting the encoding target image from the prediction image generated by performing a simple prediction process.

更に、選択された予測方法に対する推定符号量(以下、CUR_SAD)が予め設定された最大推定符号量(以下、MAX_SAD)を越えた場合には、16×16画素の平均値による画面内予測を適用するようにしている。   Furthermore, when the estimated code amount (hereinafter referred to as CUR_SAD) for the selected prediction method exceeds a preset maximum estimated code amount (hereinafter referred to as MAX_SAD), intra-screen prediction using an average value of 16 × 16 pixels is applied. Like to do.

以下に、図4に示すフローチャートを参照しながら予測方法決定手順について説明する。
まず始めに、ステップS401において、符号化対象スライスがIスライスかそれ以外のスライス(PスライスまたはBスライス)かを判断する。この判断の結果、符号化対象スライスがIスライスであった場合はステップS402に進み、画面内予測における各モード別推定符号量を算出し、その中で最も推定符号量が小さい予測モードを選択する。その後、ステップS404に進む。
The prediction method determination procedure will be described below with reference to the flowchart shown in FIG.
First, in step S401, it is determined whether the encoding target slice is an I slice or another slice (P slice or B slice). If the result of this determination is that the current slice is an I slice, the process proceeds to step S402, where the estimated code amount for each mode in intra prediction is calculated, and the prediction mode with the smallest estimated code amount is selected. . Thereafter, the process proceeds to step S404.

一方、ステップS401の判断の結果、PスライスまたはBスライスの場合にはステップS403に進み、画面間予測における各モード別推定符号量を算出し、その中で最も推定符号量の小さい予測モードを選択する。その後、ステップS404に進む。   On the other hand, if the result of determination in step S401 is P slice or B slice, the process proceeds to step S403, where the estimated code amount for each mode in inter prediction is calculated, and the prediction mode with the smallest estimated code amount is selected. To do. Thereafter, the process proceeds to step S404.

ステップS404においては、ステップS402またはステップS403で選択された予測モードにおける推定符号量CUR_SADと、予め設定されている最大推定符号量MAX_STDとを比較する。この比較の結果、CUR_SADがMAX_SADよりも小さい場合にはステップS405に進み、CUR_SAD算出時に選択された予測方法をそのまま適用する。その後、ステップS407に進む。   In step S404, the estimated code amount CUR_SAD in the prediction mode selected in step S402 or step S403 is compared with a preset maximum estimated code amount MAX_STD. As a result of this comparison, if CUR_SAD is smaller than MAX_SAD, the process proceeds to step S405, and the prediction method selected at the time of calculating CUR_SAD is applied as it is. Thereafter, the process proceeds to step S407.

一方、ステップS404の比較の結果、CUR_SADがMAX_SAD以上であった場合にはステップS406に進み、画面内予測モード(輝度:16×16画素の平均値、色差8×8画素の平均値)を適用する。その後、ステップS407に進む。   On the other hand, if CUR_SAD is greater than or equal to MAX_SAD as a result of the comparison in step S404, the process proceeds to step S406, and the intra prediction mode (luminance: average value of 16 × 16 pixels, average value of color difference 8 × 8 pixels) is applied. To do. Thereafter, the process proceeds to step S407.

ステップS407においては、予測方法決定処理を終了するか否かを判断する。この判断の結果、終了しない場合にはステップS401に戻って前述した処理を行う。また、ステップS407の判断の結果、予測方法決定処理を終了する場合にはエンド処理を行う。   In step S407, it is determined whether or not to end the prediction method determination process. As a result of this determination, if the process is not completed, the process returns to step S401 to perform the above-described processing. Further, as a result of the determination in step S407, an end process is performed when the prediction method determination process ends.

このように、本実施形態においては、CUR_SADがMAX_SADを超える場合に、輝度16×16画素、色差8×8画素の画面内予測モードを適用することによりMBの符号化に必要な構成要素を抑えるようにした。これにより、エントロピー符号化後の符号量がある程度以上発生しないように抑え込むことが可能となる。   As described above, in the present embodiment, when CUR_SAD exceeds MAX_SAD, by applying the intra prediction mode having a luminance of 16 × 16 pixels and a color difference of 8 × 8 pixels, components necessary for MB encoding are suppressed. I did it. As a result, it is possible to suppress the code amount after entropy encoding from occurring to some extent.

以上、説明したように、推定符号量にSADを採用した場合でも同様に、まず予測方法決定処理の段階で算出した推定符号量が所定値よりも大きい場合には、符号量が発生し難い画面内平均値予測モードを適用する。   As described above, even when SAD is adopted as the estimated code amount, similarly, when the estimated code amount calculated at the stage of the prediction method determination process is larger than a predetermined value, the screen is less likely to generate the code amount. Apply the inner average prediction mode.

これにより、エントロピー符号化後の符号量が最大符号量を超え難いようにする。更に、エントロピー符号化後の符号量が最大符号量を超えた場合であっても画面内予測に限定した簡易復号化処理により、I_PCMデータへ置き換えるようにした。これにより、冗長なメモリ領域を必要とすることなく、またエントロピー符号化部以前の再処理を行うことなく最大符号量超過を防止可能な符号化処理を行うことが可能となる。   As a result, the code amount after entropy coding does not easily exceed the maximum code amount. Furthermore, even if the code amount after entropy encoding exceeds the maximum code amount, it is replaced with I_PCM data by a simple decoding process limited to intra prediction. Accordingly, it is possible to perform an encoding process that can prevent the maximum code amount from being exceeded without requiring a redundant memory area and without performing reprocessing before the entropy encoding unit.

(本発明に係る他の実施形態)
前述した本発明の実施形態における画像符号化装置を構成する各手段は、コンピュータのRAMやROMなどに記憶されたプログラムが動作することによって実現できる。このプログラム及びプログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。
(Other embodiments according to the present invention)
Each means constituting the image coding apparatus according to the above-described embodiment of the present invention can be realized by operating a program stored in a RAM or ROM of a computer. This program and a computer-readable recording medium recording the program are included in the present invention.

また、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。   In addition, the present invention can be implemented as, for example, a system, apparatus, method, program, storage medium, or the like. Specifically, the present invention may be applied to a system including a plurality of devices. The present invention may be applied to an apparatus composed of a single device.

なお、本発明は、前述した画像符号化方法における各工程を実行するソフトウェアのプログラム(実施形態では図2〜図4に示すフローチャートに対応したプログラム)を、システムあるいは装置に直接、あるいは遠隔から供給する。そして、そのシステムあるいは装置のコンピュータが供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。   In the present invention, a software program (in the embodiment, a program corresponding to the flowcharts shown in FIGS. 2 to 4) for executing each step in the above-described image encoding method is directly or remotely supplied to a system or apparatus. To do. And the case where it is achieved also by reading and executing the supplied program code by the computer of the system or apparatus is included.

したがって、本発明の機能処理をコンピュータで実現するために、コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。   Therefore, since the functions of the present invention are implemented by computer, the program code installed in the computer also implements the present invention. In other words, the present invention includes a computer program itself for realizing the functional processing of the present invention.

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等の形態であってもよい。   In that case, as long as it has the function of a program, it may be in the form of object code, a program executed by an interpreter, script data supplied to the OS, and the like.

プログラムを供給するための記録媒体としては種々の記録媒体を使用することができる。例えば、フロッピー(登録商標)ディスク、ハードディスク、光ディスク、光磁気ディスク、MO、CD−ROM、CD−R、CD−RW、磁気テープ、不揮発性のメモリカード、ROM、DVD(DVD−ROM,DVD−R)などがある。   Various recording media can be used as a recording medium for supplying the program. For example, floppy (registered trademark) disk, hard disk, optical disk, magneto-optical disk, MO, CD-ROM, CD-R, CD-RW, magnetic tape, nonvolatile memory card, ROM, DVD (DVD-ROM, DVD- R).

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。   As another program supply method, a browser on a client computer is used to connect to an Internet home page. It can also be supplied by downloading the computer program itself of the present invention or a compressed file including an automatic installation function from a homepage to a recording medium such as a hard disk.

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるWWWサーバも、本発明に含まれるものである。   It can also be realized by dividing the program code constituting the program of the present invention into a plurality of files and downloading each file from a different homepage. That is, the present invention includes a WWW server that allows a plurality of users to download a program file for realizing the functional processing of the present invention on a computer.

また、本発明のプログラムを暗号化してCD−ROM等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。   In addition, the program of the present invention is encrypted, stored in a storage medium such as a CD-ROM, distributed to users, and key information for decryption is downloaded from a homepage via the Internet to users who have cleared predetermined conditions. Let It is also possible to execute the encrypted program by using the key information and install the program on a computer.

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、コンピュータ上で稼動しているOSなどが、実際の処理の一部または全部を行うことによっても前述した実施形態の機能が実現され得る。   In addition to the functions of the above-described embodiments being realized by the computer executing the read program, the OS running on the computer may perform part or all of the actual processing. The functions of the above-described embodiments can be realized.

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。   Further, the program read from the recording medium is written in a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer. Thereafter, the CPU of the function expansion board or function expansion unit performs part or all of the actual processing based on the instructions of the program, and the functions of the above-described embodiments are realized by the processing.

100 画像符号化装置
101 予測方法決定部
102 予測処理部
103 メモリ
104 直交変換・量子化部
105 局所復号化部
106 エントロピー符号化部
106a 簡易復号化処理部
107 多重化処理部
DESCRIPTION OF SYMBOLS 100 Image coding apparatus 101 Prediction method determination part 102 Prediction process part 103 Memory 104 Orthogonal transformation and quantization part 105 Local decoding part 106 Entropy encoding part 106a Simple decoding process part 107 Multiplexing process part

Claims (9)

入力される動画像を画面内予測、または画面間予測して符号化する画像符号化装置であって、
前記入力される動画像をエントロピー符号化前に算出される推定符号量から、予め設定された所定の符号量を超えると判定した際には画面内予測に切り替えるとともに、エントロピー符号化後に符号量が所定の符号量を超えた場合には、入力された予測画素値及び変換係数からマクロブロック画素を復元し、前記復元した画像データを前記エントロピー符号化する前のデータとして差し替えることを特徴とする画像符号化装置。
An image encoding device that encodes an input moving image by intra-screen prediction or inter-screen prediction,
When it is determined that the input moving image exceeds the predetermined code amount set in advance from the estimated code amount calculated before entropy encoding, it is switched to intra prediction and the code amount after entropy encoding is changed. An image characterized in that when a predetermined code amount is exceeded, a macroblock pixel is restored from the inputted predicted pixel value and transform coefficient, and the restored image data is replaced as data before the entropy coding Encoding device.
入力される動画像を画面内予測、または画面間予測して符号化する画像符号化装置であって、
所定のサイズの画素ブロック単位に推定符号量を算出し、前記算出した推定符号量に基いて予測方法を決定する予測方法決定手段と、
前記予測方法決定手段により決定された予測方法に従い予測符号化を行って予測画像を生成し、前記予測画像と前記動画像における符号化対象画像との差分データに対して直交変換処理、及び、量子化処理を行う予測符号化手段と、
前記予測符号化手段により生成された予測符号化データに対してエントロピー符号化を行うエントロピー符号化手段とを備え、
前記予測方法決定手段は、前記算出した推定符号量と第1の所定値とを比較する第1の符号量比較処理を行い、前記第1の符号量比較処理により推定符号量が第1の所定値を越えた場合には、予測方法として画面内予測を適用し、
前記エントロピー符号化手段は、エントロピー符号化後の符号量と第2の所定値とを比較する第2の符号量比較処理を行い、前記符号量が第2の所定値を超えた場合には、入力された予測画素値及び変換係数からマクロブロック画素を復元し、復元した画像データをI_PCMデータとして置き換える置換処理を行うことを特徴とする画像符号化装置。
An image encoding device that encodes an input moving image by intra-screen prediction or inter-screen prediction,
A prediction method determining unit that calculates an estimated code amount for each pixel block of a predetermined size and determines a prediction method based on the calculated estimated code amount;
Predictive coding is performed according to the prediction method determined by the prediction method determining means to generate a predicted image, orthogonal transform processing is performed on difference data between the predicted image and the encoding target image in the moving image, and quantum Predictive encoding means for performing the encoding process;
Entropy encoding means for performing entropy encoding on the prediction encoded data generated by the prediction encoding means,
The prediction method determining unit performs a first code amount comparison process for comparing the calculated estimated code amount with a first predetermined value, and the estimated code amount is a first predetermined code amount by the first code amount comparison process. If the value is exceeded, apply in-screen prediction as the prediction method,
The entropy encoding means performs a second code amount comparison process for comparing a code amount after entropy encoding with a second predetermined value, and when the code amount exceeds a second predetermined value, An image coding apparatus characterized by performing a replacement process of restoring a macroblock pixel from an input predicted pixel value and a transform coefficient and replacing the restored image data with I_PCM data.
前記所定のサイズの画素ブロックは、16×16画素からなるマクロブロックであり、前記推定符号量は、動き予測処理によって生成された差分値の絶対値和(SAD)または、動き予測処理によって生成された差分値を直交変換して得られる係数の絶対値和(SATD)であることを特徴とする請求項2に記載の画像符号化装置。   The pixel block of the predetermined size is a macroblock composed of 16 × 16 pixels, and the estimated code amount is generated by an absolute value sum (SAD) of difference values generated by the motion prediction process or a motion prediction process. The image coding apparatus according to claim 2, wherein the difference is a sum of absolute values (SATD) of coefficients obtained by orthogonal transformation of the difference value. 前記予測方法決定手段で算出した推定符号量が所定値を越えた場合に適用される画面内予測は、所定の画素の平均値を利用した予測モードであることを特徴とする請求項2または3に記載の画像符号化装置。   The in-screen prediction applied when the estimated code amount calculated by the prediction method determining means exceeds a predetermined value is a prediction mode using an average value of predetermined pixels. The image encoding device described in 1. 前記画像符号化の方式は、MPEG−4 AVC方式であることを特徴とする請求項2〜4の何れか1項に記載の画像符号化装置。   The image coding apparatus according to any one of claims 2 to 4, wherein the image coding method is an MPEG-4 AVC method. 入力される動画像を画面内予測、または画面間予測して符号化する画像符号化方法であって、
前記入力される動画像をエントロピー符号化前に算出される推定符号量から、予め設定された所定の符号量を超えると判定した際には画面内予測に切り替えるとともに、エントロピー符号化後に符号量が所定の符号量を超えた場合には、入力された予測画素値及び変換係数からマクロブロック画素を復元し、前記復元した画像データを前記エントロピー符号化する前のデータとして差し替えることを特徴とする画像符号化方法。
An image encoding method for encoding an input moving image by intra-screen prediction or inter-screen prediction,
When it is determined that the input moving image exceeds the predetermined code amount set in advance from the estimated code amount calculated before entropy encoding, it is switched to intra prediction and the code amount after entropy encoding is changed. An image characterized in that when a predetermined code amount is exceeded, a macroblock pixel is restored from the inputted predicted pixel value and transform coefficient, and the restored image data is replaced as data before the entropy coding Encoding method.
入力される動画像を画面内予測、または画面間予測して符号化する画像符号化方法であって、
所定のサイズの画素ブロック単位に推定符号量を算出し、前記算出した推定符号量に基いて予測方法を決定する予測方法決定工程と、
前記予測方法決定工程において決定された予測方法に従い予測符号化を行って予測画像を生成し、前記予測画像と前記動画像における符号化対象画像との差分データに対して直交変換処理、及び、量子化処理を行う予測符号化工程と、
前記予測符号化工程において生成された予測符号化データに対してエントロピー符号化を行うエントロピー符号化工程とを備え、
前記予測方法決定工程においては、前記算出した推定符号量と第1の所定値とを比較する第1の符号量比較処理を行い、前記第1の符号量比較処理により推定符号量が第1の所定値を越えた場合には、予測方法として画面内予測を適用し、
前記エントロピー符号化工程においては、エントロピー符号化後の符号量と第2の所定値とを比較する第2の符号量比較処理を行い、前記符号量が第2の所定値を超えた場合には、入力された予測画素値及び変換係数からマクロブロック画素を復元し、復元した画像データをI_PCMデータとして置き換える置換処理を行うことを特徴とする画像符号化方法。
An image encoding method for encoding an input moving image by intra-screen prediction or inter-screen prediction,
A prediction method determining step of calculating an estimated code amount for each pixel block of a predetermined size and determining a prediction method based on the calculated estimated code amount;
Predictive coding is performed in accordance with the prediction method determined in the prediction method determination step to generate a prediction image, orthogonal transform processing is performed on difference data between the prediction image and an encoding target image in the moving image, and quantum A predictive encoding step for performing the encoding process;
An entropy encoding step for performing entropy encoding on the prediction encoded data generated in the prediction encoding step,
In the prediction method determining step, a first code amount comparison process for comparing the calculated estimated code amount with a first predetermined value is performed, and the estimated code amount is determined by the first code amount comparison process. If it exceeds the specified value, apply in-screen prediction as the prediction method,
In the entropy encoding step, a second code amount comparison process for comparing a code amount after entropy encoding with a second predetermined value is performed, and when the code amount exceeds a second predetermined value, An image encoding method comprising: performing a replacement process of restoring a macroblock pixel from an input predicted pixel value and a transform coefficient and replacing the restored image data with I_PCM data.
入力される動画像を画面内予測、または画面間予測して符号化する画像符号化方法をコンピュータに実行させるプログラムであって、
前記入力される動画像をエントロピー符号化前に算出される推定符号量から、予め設定された所定の符号量を超えると判定した際には画面内予測に切り替えるとともに、エントロピー符号化後に符号量が所定の符号量を超えた場合には、入力された予測画素値及び変換係数からマクロブロック画素を復元し、前記復元した画像データを前記エントロピー符号化する前のデータとして差し替える画像符号化方法をコンピュータに実行させることを特徴とするコンピュータプログラム。
A program for causing a computer to execute an image encoding method for encoding an input moving image by performing intra prediction or inter prediction.
When it is determined that the input moving image exceeds the predetermined code amount set in advance from the estimated code amount calculated before entropy encoding, it is switched to intra prediction and the code amount after entropy encoding is changed. An image encoding method for restoring a macroblock pixel from an input predicted pixel value and a transform coefficient when a predetermined code amount is exceeded and replacing the restored image data as data before the entropy coding A computer program that is executed by a computer.
請求項8に記載のコンピュータプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。   A computer-readable storage medium storing the computer program according to claim 8.
JP2009038419A 2009-02-20 2009-02-20 Image coding apparatus and image coding method Expired - Fee Related JP5197428B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009038419A JP5197428B2 (en) 2009-02-20 2009-02-20 Image coding apparatus and image coding method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009038419A JP5197428B2 (en) 2009-02-20 2009-02-20 Image coding apparatus and image coding method

Publications (2)

Publication Number Publication Date
JP2010193399A true JP2010193399A (en) 2010-09-02
JP5197428B2 JP5197428B2 (en) 2013-05-15

Family

ID=42818926

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009038419A Expired - Fee Related JP5197428B2 (en) 2009-02-20 2009-02-20 Image coding apparatus and image coding method

Country Status (1)

Country Link
JP (1) JP5197428B2 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014007469A (en) * 2012-06-21 2014-01-16 Canon Inc Image coding device and image coding method
JP2016213698A (en) * 2015-05-11 2016-12-15 日本放送協会 Image coding device and program
US10587882B2 (en) 2011-03-09 2020-03-10 Panasonic Intellectual Property Corporation Of America Device and method of video decoding with first and second decoding code
US10757422B2 (en) 2011-03-09 2020-08-25 Panasonic Intellectual Property Corporation Of America Device and method of video encoding with first and second encoding code

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005151017A (en) * 2003-11-13 2005-06-09 Sharp Corp Image coding apparatus
JP2007166039A (en) * 2005-12-09 2007-06-28 Matsushita Electric Ind Co Ltd Image coding equipment
JP2007329551A (en) * 2006-06-06 2007-12-20 Matsushita Electric Ind Co Ltd Image encoder
JP2008022405A (en) * 2006-07-14 2008-01-31 Sony Corp Image processing apparatus and method, and program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005151017A (en) * 2003-11-13 2005-06-09 Sharp Corp Image coding apparatus
JP2007166039A (en) * 2005-12-09 2007-06-28 Matsushita Electric Ind Co Ltd Image coding equipment
JP2007329551A (en) * 2006-06-06 2007-12-20 Matsushita Electric Ind Co Ltd Image encoder
JP2008022405A (en) * 2006-07-14 2008-01-31 Sony Corp Image processing apparatus and method, and program

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10587882B2 (en) 2011-03-09 2020-03-10 Panasonic Intellectual Property Corporation Of America Device and method of video decoding with first and second decoding code
US10757422B2 (en) 2011-03-09 2020-08-25 Panasonic Intellectual Property Corporation Of America Device and method of video encoding with first and second encoding code
US11234005B2 (en) 2011-03-09 2022-01-25 Panasonic Intellectual Property Corporation Of America Device and method of video decoding with first and second decoding code
US11303910B2 (en) 2011-03-09 2022-04-12 Panasonic Intellectual Property Corporation Of America Device and method of video encoding with first and second encoding code
US11706424B2 (en) 2011-03-09 2023-07-18 Panasonic Intellectual Property Corporation Of America Device and method of video decoding with first and second decoding code
US11849124B2 (en) 2011-03-09 2023-12-19 Panasonic Intellectual Property Corporation Of America Device and method of video encoding with first and second encoding code
JP2014007469A (en) * 2012-06-21 2014-01-16 Canon Inc Image coding device and image coding method
JP2016213698A (en) * 2015-05-11 2016-12-15 日本放送協会 Image coding device and program

Also Published As

Publication number Publication date
JP5197428B2 (en) 2013-05-15

Similar Documents

Publication Publication Date Title
KR102426721B1 (en) Methods of determination for chroma quantization parameter and apparatuses for using the same
US7848579B2 (en) Image coding device, method and computer program with data coding amount prediction
KR101378338B1 (en) Method and apparatus for encoding and decoding based on intra prediction using image inpainting
KR101608426B1 (en) Method for predictive intra coding/decoding for video and apparatus for same
JP4819940B2 (en) Video encoding device
US20130121402A1 (en) Image coding apparatus and method
KR20100027384A (en) Method and apparatus for determining a prediction mode
JP5706771B2 (en) Moving picture predictive coding apparatus, control method therefor, and computer program
KR20080090936A (en) Method and apparatus for encoding and decoding image using modification of residual block
US8582898B2 (en) Method and apparatus for encoding and decoding image based on code table selection adapted to residual value distribution
JP4762938B2 (en) Data embedding device, data extracting device, data embedding method, and data extracting method
JP4939273B2 (en) Image coding apparatus and image coding method
Kapotas et al. Real time data hiding by exploiting the IPCM macroblocks in H. 264/AVC streams
JP5197428B2 (en) Image coding apparatus and image coding method
US20100014592A1 (en) Decoding circuit, decoding method, and image reproducing apparatus
KR101501568B1 (en) video encoding, decoding apparatus and method
JP6708211B2 (en) Moving picture coding apparatus, moving picture coding method, and recording medium storing moving picture coding program
JP4357560B2 (en) Moving picture coding apparatus, moving picture coding method, and moving picture coding program
JP4708821B2 (en) Moving picture coding apparatus, control method therefor, computer program, and storage medium
JP2006279272A (en) Moving picture coder and coding control method thereof
US8306110B2 (en) Moving image coding apparatus and method using copy pictures depending on virtual buffer verifier occupancy
KR101756759B1 (en) Additional data insertion method and apparatus for moving image stream to prevent quality damage
JP2010035025A (en) Encoding device and method therefor
JP2009111718A (en) Video recoding apparatus, video recoding method, video recoding program and computer-readable recording medium with the program recorded therein
JP2009111712A (en) Video encoding device and method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120216

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120912

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120918

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121116

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130205

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160215

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 5197428

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160215

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees