JP2008054182A - Dynamic image predictive coding method and apparatus - Google Patents

Dynamic image predictive coding method and apparatus Download PDF

Info

Publication number
JP2008054182A
JP2008054182A JP2006230432A JP2006230432A JP2008054182A JP 2008054182 A JP2008054182 A JP 2008054182A JP 2006230432 A JP2006230432 A JP 2006230432A JP 2006230432 A JP2006230432 A JP 2006230432A JP 2008054182 A JP2008054182 A JP 2008054182A
Authority
JP
Japan
Prior art keywords
prediction
encoding
prediction modes
pixel block
combination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006230432A
Other languages
Japanese (ja)
Other versions
JP4697802B2 (en
Inventor
Haruhisa Kato
晴久 加藤
Yasuhiro Takishima
康弘 滝嶋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2006230432A priority Critical patent/JP4697802B2/en
Publication of JP2008054182A publication Critical patent/JP2008054182A/en
Application granted granted Critical
Publication of JP4697802B2 publication Critical patent/JP4697802B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a dynamic image predictive coding method and apparatus capable of performing coding improved in coding efficiency or image quality by applying an intra-frame predictive coding system. <P>SOLUTION: The disclosed method includes the steps of: reading pixel blocks from a dynamic image in a predetermined order (S1); coding the read pixel blocks in a plurality of prediction modes of different reference pixels (S2, S3); and calculating coding costs for each of the pixel blocks for each of the prediction modes (S4). The coding step includes: performing predictive coding in the plurality of prediction modes while being reflected with a prediction result for each combination of prediction modes selectable for each forward pixel block that affects the coding costs of a pixel block to be coded; and further, determining the prediction mode for each forward pixel block based on the combination of prediction modes minimizing the total sum of coding costs (9). <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は、動画像の予測符号化方法および装置に係り、特に、フレーム内予測符号化方式(イントラ予測)に好適な動画像予測符号化方法および装置に関する。   The present invention relates to a moving picture predictive coding method and apparatus, and more particularly, to a moving picture predictive coding method and apparatus suitable for an intraframe predictive coding method (intra prediction).

動画像符号化方式の国際標準規格としてH.264/AVCが注目されている。H.264/AVCでも既存のMPEG-2/4と同様に、フレーム内予測符号化、フレーム間予測符号化、離散コサイン変換およびエントロピー符号化などが組み合わされるが、フレーム内予測符号化に関しては、従来のMPEG-2/4が周波数領域(直交変換係数)上での予測であったのに対して、H.264では空間領域上での予測を行うことで符号量の削減が図られている。   H.264 / AVC is attracting attention as an international standard for moving picture coding. In H.264 / AVC, similar to the existing MPEG-2 / 4, intra-frame prediction coding, inter-frame prediction coding, discrete cosine transform and entropy coding are combined, but for intra-frame prediction coding, Compared to the conventional MPEG-2 / 4 prediction in the frequency domain (orthogonal transform coefficient), H.264 reduces the code amount by performing prediction in the spatial domain. .

H.264/AVCのフレーム内予測では、輝度信号に関して2種類(16×16予測および4×4予測)の予測方式が定められており、いずれか一方がマクロブロック単位で選択される。色差信号に対しては1種類の予測方式が定められている。いずれの予測方式でも、参照画素(予測方向)の異なる複数の予測モードが設けられている.   In H.264 / AVC intra-frame prediction, two types of prediction methods (16 × 16 prediction and 4 × 4 prediction) are defined for luminance signals, and either one is selected in units of macroblocks. One type of prediction method is defined for the color difference signal. In any prediction method, multiple prediction modes with different reference pixels (prediction directions) are provided.

(1)輝度信号の16×16予測は16×16の画素ブロック(マクロブロック)を一度に予測する方式であり、図8に示したように、垂直に予測をするモード0、水平に予測をするモード1、上ブロックと左ブロックの合計32画素の平均値を予測値として予測をするモード2および上ブロックの画素と左ブロックの画素を斜め方向に画素値を内挿して予測値とするモード3の計4通りの予測モードが用意されており、いずれかの予測モードがマクロブロック単位で選択される。なお、画面の上端や左端のマクロブロックに関しては画面内に位置する画素のみが使用され、画面外からの予測は行われない。   (1) 16 × 16 prediction of a luminance signal is a method for predicting a 16 × 16 pixel block (macroblock) at a time. As shown in FIG. 8, mode 0 for predicting vertically, predicting horizontally Mode 1 in which prediction is performed using an average value of a total of 32 pixels of the upper block and the left block as a predicted value, and mode in which the pixel values of the upper block and the left block are interpolated in a diagonal direction to obtain a predicted value In total, four prediction modes are prepared, and one of the prediction modes is selected in units of macroblocks. Note that only the pixels located within the screen are used for the macroblocks at the top and left ends of the screen, and prediction from outside the screen is not performed.

(2)輝度信号の4×4予測は、マクロブロック内の16×16の画素ブロックを、さらに4×4の画素ブロックで構成される16個のブロックに分割して予測する方式であり、図9に示した9通りの予測モードのいずれかがブロック単位で選択される。画面の上端や左端であったり、復号処理をまだ終えていない画素は予測に使用できない。   (2) The 4 × 4 prediction of the luminance signal is a method of predicting by dividing a 16 × 16 pixel block in a macro block into 16 blocks each composed of 4 × 4 pixel blocks. One of the nine prediction modes shown in FIG. 9 is selected in units of blocks. Pixels that are at the top or left end of the screen or have not yet been decoded cannot be used for prediction.

(3)色差信号の予測は、マクロブロック内の8画素×8ラインに対して、図10に示した4つの予測モードのいずれかを選択して行われる。   (3) The color difference signal is predicted by selecting one of the four prediction modes shown in FIG. 10 for 8 pixels × 8 lines in the macroblock.

非特許文献1では、符号化モードによる予測誤差だけでなく、発生符号量も考慮し符号化効率を改善する画像符号化方法が提案されている。特許文献1では、上記した非特許文献1の技術に、視覚特性等を考慮した項を追加することで符号化効率を改善する画像符号化方法が提案されている。特許文献2では、予測残差信号の分散および量子化パラメータから予測誤差および発生符号量を推定し、符号化対象に合った推定パラメータのセットを用いることで符号化効率を改善する技術が開示されている。特許文献3では、フレーム内の全てのマクロブロックについて、予測誤差と発生符号量からなる不等式の集合を線形計画法で解くことで、各マクロブロックの符号化モードを決定する技術が開示されている。
特開2006−5466号公報 特開2005−86249号公報 特開2005−260576号公報 Gary J. Sullivan and Thomas Wiegand, “Rate-Distortion Optimizationfor Video Compression”, IEEE Signal Processing Magazine, Vol.15, No.6, pp.74-90,Nov. 1998.
Non-Patent Document 1 proposes an image coding method that improves coding efficiency in consideration of not only a prediction error due to a coding mode but also a generated code amount. Patent Document 1 proposes an image coding method that improves coding efficiency by adding a term that takes into consideration visual characteristics and the like to the technique of Non-Patent Document 1 described above. Patent Document 2 discloses a technique for improving the coding efficiency by estimating a prediction error and a generated code amount from a variance and a quantization parameter of a prediction residual signal and using a set of estimation parameters suitable for a coding target. ing. Patent Document 3 discloses a technique for determining an encoding mode of each macroblock by solving a set of inequalities including prediction errors and generated code amounts by linear programming for all macroblocks in a frame. .
JP 2006-5466 A JP 2005-86249 A JP 2005-260576 A Gary J. Sullivan and Thomas Wiegand, “Rate-Distortion Optimization for Video Compression”, IEEE Signal Processing Magazine, Vol.15, No.6, pp.74-90, Nov. 1998.

一般的な画像符号化方式では符号化効率を上げるために、時間的または空間的な相関を利用することで符号化対象を予測する。符号化モードは予測の参照元に強く依存するので、単一の符号化単位の符号化効率だけでなく、その符号化単位を参照する他の符号化単位における予測精度にも影響を及ぼす。しかしながら、非特許文献1、特許文献2および特許文献3では、単一の符号化単位ごとに符号化モードが決定され、後続の符号化単位への影響までは考慮されてかった。このため、画像全体からみると局所最適解に陥る恐れがある。   In a general image encoding method, in order to increase encoding efficiency, an encoding target is predicted by using temporal or spatial correlation. Since the coding mode strongly depends on the prediction reference source, it affects not only the coding efficiency of a single coding unit, but also the prediction accuracy in other coding units that refer to the coding unit. However, in Non-Patent Document 1, Patent Document 2, and Patent Document 3, an encoding mode is determined for each single encoding unit, and the influence on subsequent encoding units has not been considered. For this reason, when viewed from the whole image, there is a risk of falling into a local optimum solution.

例えば、H.264/AVCでは符号化器で符号化したブロックは符号化器内部で復号され、他のブロックの予測に用いられる。したがって、他のブロックの符号化効率にも影響を及ぼす。特に、空間的な相関を利用して周囲の復号された画素から予測する予測方式では、単一のブロックにおける符号化効率だけに着目して符号化モードを選択すると、隣接するブロックの符号化効率に悪影響を及ぼす問題がある。   For example, in H.264 / AVC, a block encoded by an encoder is decoded inside the encoder and used for prediction of other blocks. Therefore, it affects the coding efficiency of other blocks. In particular, in a prediction method that predicts from surrounding decoded pixels using spatial correlation, if an encoding mode is selected by focusing only on the encoding efficiency in a single block, the encoding efficiency of adjacent blocks There are problems that adversely affect

特許文献3では、符号量割り当ての最適化を目指しているため、符号モードの選定は主目的ではない。また、同一の量子化パラメータに対して同じ傾きを持つ符号化歪関数を仮定しているため、量子化パラメータが異なる場合や符号量−符号化歪関数の形が仮定と異なる場合には、符号化コストの正しい比較評価ができず、適切な予測モードが選択されない。   Since Patent Document 3 aims to optimize code amount allocation, the selection of a code mode is not the main purpose. In addition, since the encoding distortion function having the same inclination is assumed for the same quantization parameter, the code amount is different when the quantization parameter is different or the code amount-encoding distortion function is different from the assumption. The correct comparison and evaluation of the conversion cost cannot be performed, and an appropriate prediction mode is not selected.

本発明の目的は、上記した従来技術の課題を解決し、フレーム内予測符号化方式を適用し、符号化効率や画質の面で優れた符号化を行うことができる画像符号化方法および装置を提供することにある。   An object of the present invention is to provide an image encoding method and apparatus capable of solving the above-described problems of the prior art, applying an intra-frame predictive encoding method, and performing encoding excellent in encoding efficiency and image quality. It is to provide.

上記した目的を達成するために、本発明は、動画像の各フレームを複数の画素ブロックに分割し、各画素ブロックをフレーム内予測方式で順次に符号化する動画像の予測符号化において、以下のような手順を含むことを特徴とする。   In order to achieve the above-described object, the present invention divides each frame of a moving image into a plurality of pixel blocks, and sequentially encodes each pixel block using an intra-frame prediction method. The following procedure is included.

(1)動画像から画素ブロックを所定の順序で読み出す手順と、読み出された画素ブロックを、参照画素の異なる複数の予測モードで符号化する手順と、各画素ブロックの符号化コストを予測モードごとに算出する手順とを具備し、符号化手順では、符号化される画素ブロックの符号化コストに影響を及ぼす前方の各画素ブロックで選択可能な予測モードの組み合わせごとに、その予測結果を反映させて複数の予測モードで予測符号化が行われ、さらに、符号化コストの総和が最小となる予測モードの組み合わせに基づいて、前方の各画素ブロックの予測モードを決定する手順を含む。   (1) A procedure for reading pixel blocks from a moving image in a predetermined order, a procedure for encoding the read pixel blocks in a plurality of prediction modes with different reference pixels, and a coding cost of each pixel block in the prediction mode The encoding procedure reflects the prediction result for each combination of prediction modes that can be selected in each preceding pixel block that affects the encoding cost of the pixel block to be encoded. In addition, prediction encoding is performed in a plurality of prediction modes, and further includes a procedure for determining a prediction mode for each of the preceding pixel blocks based on a combination of prediction modes that minimizes the sum of encoding costs.

(2)各画素ブロックにおいて予測モードごとに算出される符号化コストに基づいて、符号化コストの低い一部の予測モードを選抜する手順をさらに具備し、各画素ブロックは、自身の符号化コストに影響を及ぼす前方の各画素ブロックで選抜された一部の予測モードの組み合わせごとに、その予測結果を反映させて複数の予測モードで予測符号化されることを特徴とする。   (2) The method further comprises a step of selecting a part of prediction modes with low coding cost based on the coding cost calculated for each prediction mode in each pixel block, and each pixel block has its own coding cost. For each combination of some prediction modes selected in each of the preceding pixel blocks that affect the prediction block, the prediction result is reflected and prediction encoding is performed in a plurality of prediction modes.

(3)各画素ブロックは、その前方の各画素ブロックで選択可能な予測モードの組み合わせのうち、直前の画素ブロックにおける予測モードが同一の組み合わせの中で符号化コストの総和が最小の組み合わせの予測結果を反映させて複数の予測モードで予測符号化されることを特徴とする。   (3) For each pixel block, among the combinations of prediction modes that can be selected in each preceding pixel block, prediction of the combination with the smallest total coding cost among the combinations with the same prediction mode in the immediately preceding pixel block Reflecting the result, the prediction encoding is performed in a plurality of prediction modes.

本発明によれば、以下のような効果が達成される。
(1)各画素ブロックをフレーム内予測符号化する際の予測モードが、当該画素ブロックの符号化コストのみならず、当該画素ブロックの符号化結果に影響される他の画素ブロックの符号化コストをも考慮して決定されるので、フレーム全体での符号化コストを低く抑えられるようになる。
(2)各画素ブロックで予測モードごとに算出される符号化コストに基づいて、符号化コストの低い一部の予測モードを選抜するようにすれば、各画素ブロックの予測符号化に最適な予測モードを少ない計算量で探索できるようになる。
(3)各画素ブロックが、その前方の各画素ブロックで選択可能な予測モードの組み合わせのうち、直前の画素ブロックにおける予測モードが同一の組み合わせの中で符号化コストの総和が最小の組み合わせの予測結果を反映させて複数の予測モードで予測符号化すれば、各画素ブロックの予測符号化に最適な予測モードを少ない計算量で探索できるようになる。
According to the present invention, the following effects are achieved.
(1) The prediction mode for intra-frame predictive encoding of each pixel block is not limited to the encoding cost of the pixel block, but the encoding cost of other pixel blocks that are affected by the encoding result of the pixel block. Therefore, the encoding cost for the entire frame can be kept low.
(2) Based on the coding cost calculated for each prediction mode in each pixel block, if some prediction modes with low coding cost are selected, prediction optimal for predictive coding of each pixel block The mode can be searched with a small amount of calculation.
(3) Among the combinations of prediction modes that can be selected by each pixel block in front of each pixel block, prediction of the combination having the smallest total coding cost among the combinations having the same prediction mode in the immediately preceding pixel block If the results are reflected and prediction coding is performed in a plurality of prediction modes, a prediction mode optimal for prediction coding of each pixel block can be searched with a small amount of calculation.

以下、図面を参照して本発明の最良の実施の形態について詳細に説明する。図1は、本発明に係る動画像符号化装置の主要部の構成を示したブロック図である。   DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, the best embodiment of the present invention will be described in detail with reference to the drawings. FIG. 1 is a block diagram showing a configuration of a main part of a video encoding apparatus according to the present invention.

動画像信号S1はバッファメモリ1に一時記憶されたのち、フレーム内予測部2でフレーム内予測に供されるか、あるいはフレーム間予測部9でフレーム間予測に供される。予測方式切替部11は、予測方式をフレーム単位で符号化コストに基づいて切り換え、フレーム内予測時には直交変換部3をフレーム内予測部2と接続し、フレーム間予測時には直交変換部3を減算器13と接続する。   The moving image signal S1 is temporarily stored in the buffer memory 1 and then used for intra-frame prediction by the intra-frame prediction unit 2 or used for inter-frame prediction by the inter-frame prediction unit 9. The prediction scheme switching unit 11 switches the prediction scheme on a frame basis based on the coding cost, connects the orthogonal transformation unit 3 to the intraframe prediction unit 2 for intraframe prediction, and subtracts the orthogonal transformation unit 3 for interframe prediction. 13 is connected.

動き予測部14は、動画像信号S1に基づいて動き予測ベクトルを生成する。フレーム間予測部9は、前記動き予測ベクトルとフレームメモリ10に蓄えられている参照画像信号との間の動きベクトルに基づいて動き補償予測を実行し、動き補償予測信号S2を作成する。   The motion prediction unit 14 generates a motion prediction vector based on the moving image signal S1. The inter-frame prediction unit 9 performs motion compensation prediction based on a motion vector between the motion prediction vector and the reference image signal stored in the frame memory 10, and creates a motion compensation prediction signal S2.

減算器13では、動画像信号S1から動き補償予測信号S2が減算されて予測残差信号S3が生成される。予測残差信号S3は、直交変換部3において一定の大きさのブロック単位で直交変換されて直交変換係数情報S4となる。この直交変換係数情報S4は量子化部4で量子化される。量子化部4で量子化された直交変換係数情報S5は、エントロピー符号化部5で可変長符号化されてバッファメモリ6に蓄積される一方、逆量子化部7において逆量子化される。逆量子化部7の出力は逆直交変換部8で逆直交変換される。すなわち、逆量子化部7および逆直交変換部8では、前記量子化部4および直交変換部3と逆の処理が行われ、逆直交変換部8の出力には前記予測残差信号S3に近似した信号が得られる。   In the subtracter 13, the motion compensated prediction signal S2 is subtracted from the moving image signal S1 to generate a prediction residual signal S3. The prediction residual signal S3 is orthogonally transformed by the orthogonal transform unit 3 in units of blocks having a certain size to become orthogonal transform coefficient information S4. The orthogonal transform coefficient information S4 is quantized by the quantization unit 4. The orthogonal transform coefficient information S5 quantized by the quantizing unit 4 is variable-length coded by the entropy coding unit 5 and stored in the buffer memory 6, while being dequantized by the inverse quantization unit 7. The output of the inverse quantization unit 7 is subjected to inverse orthogonal transform by the inverse orthogonal transform unit 8. That is, the inverse quantization unit 7 and the inverse orthogonal transform unit 8 perform processing reverse to that of the quantization unit 4 and the orthogonal transform unit 3, and the output of the inverse orthogonal transform unit 8 approximates the prediction residual signal S3. Signal is obtained.

逆直交変換部8の出力は、加算回路12で前記フレーム間予測部9から出力される予測信号S2と加算されて局部復号信号S6が生成される。この局部復号信号S6はデブロッキングフィルタ15でブロックノイズを除去された後、前記フレームメモリ10に参照画像信号として記憶される。   The output of the inverse orthogonal transform unit 8 is added to the prediction signal S2 output from the inter-frame prediction unit 9 by the adder circuit 12 to generate a local decoded signal S6. The local decoded signal S6 is stored in the frame memory 10 as a reference image signal after block noise is removed by the deblocking filter 15.

図2は、本発明の第1実施形態の動作を示したフローチャートであり、主にフレーム内予測部2の動作を示している。   FIG. 2 is a flowchart showing the operation of the first embodiment of the present invention, and mainly shows the operation of the intra-frame prediction unit 2.

ステップS1では、バッファメモリ1から画素ブロックの一つが今回の注目ブロックTBnとして取得される。この画素ブロックは、符号化対象が輝度信号であれば16×16の画素ブロックまたは4×4の画素ブロックである。ステップS2では、適用可能な複数の予測モードのいずれか一つが選択される。すなわち、符号化対象が16×16の画素ブロックであれば、前記図8に関して説明した4つの予測モードのいずれかが選択され、符号化対象が4×4の画素ブロックであれば、前記図9に関して説明した9つの予測モードのいずれかが選択される。但し、本実施形態では選択可能な予測モードが予め3つ(M1,M2,M3)に制限されており、この中のいずれかが選択されるものとして説明する。また、注目ブロックの位置によっては、選択可能な予測モードが更に制限される場合もある。   In step S1, one of the pixel blocks is acquired from the buffer memory 1 as the current target block TBn. This pixel block is a 16 × 16 pixel block or a 4 × 4 pixel block if the encoding target is a luminance signal. In step S2, any one of a plurality of applicable prediction modes is selected. That is, if the encoding target is a 16 × 16 pixel block, one of the four prediction modes described with reference to FIG. 8 is selected, and if the encoding target is a 4 × 4 pixel block, FIG. Any of the nine prediction modes described with respect to is selected. However, in the present embodiment, the selectable prediction modes are limited to three (M1, M2, M3) in advance, and description will be made assuming that any one of these is selected. Depending on the position of the target block, selectable prediction modes may be further limited.

ステップS3では、前記ステップS2で選択された今回の予測モードを適用して、今回の注目ブロックTBnがフレーム内予測符号化される。このとき、本実施形態では後に詳述するように、今回の注目ブロックTBnよりも前方に位置する前回の注目ブロックTBn-1および前々回の注目ブロックTBn-2の予測モードが未だ確定しておらず、符号化コストの観点から有利な予測モード候補が2つずつ選抜されているに過ぎない。したがって、今回の注目ブロックTBnでは、前回および前々回の各注目ブロックTBn-1,TBn-2が、それぞれ2つの予測モード候補の一方で符号化されていると仮定した場合と、他方で符号化されていると仮定した場合との組み合わせごとに、それぞれの予測結果を反映させて3つの予測モードで予測計算が実施される。   In step S3, the current prediction block TBn is subjected to intraframe prediction encoding by applying the current prediction mode selected in step S2. At this time, as will be described in detail later in this embodiment, the prediction modes of the previous attention block TBn-1 and the previous attention block TBn-2 that are positioned ahead of the current attention block TBn have not yet been determined. Only two prediction mode candidates that are advantageous from the viewpoint of encoding cost are selected. Therefore, in this attention block TBn, it is assumed that each of the previous and previous attention blocks TBn-1 and TBn-2 is encoded on one of the two prediction mode candidates, and on the other. The prediction calculation is performed in three prediction modes by reflecting each prediction result for each combination with the case where it is assumed.

ステップS4では、実施された予測モードごとに、その符号化コストが符号化コスト算出部201で計算される。符号化コストとしては、発生符号量や予測誤差の見積を単独または組み合わせて用いることができる。ステップS5では、用意されている全ての予測モード(本実施形態では、M1,M2,M3の3種類)による予測符号化および符号化コスト算出が完了したか否かが判定される。完了していなければステップS2へ戻り、予測モードを切り換えながら上記した各処理が繰り返される。   In step S <b> 4, the encoding cost calculation unit 201 calculates the encoding cost for each of the implemented prediction modes. As the coding cost, the amount of generated code and the estimation of the prediction error can be used alone or in combination. In step S5, it is determined whether or not predictive coding and coding cost calculation have been completed in all prepared prediction modes (in this embodiment, three types M1, M2, and M3). If not completed, the process returns to step S2, and the above-described processes are repeated while switching the prediction mode.

以上のようにして、用意されている3つの予測モード(M1,M2,M3)の全てに関して予測符号化および符号化コスト算出が完了するとステップS6へ進み、符号化コストが低い予測モードが、今回の注目ブロックの予測モード候補として、予測モード方補選抜部202により選抜される。本実施形態では、符号化コストの低い上位2つの予測モードが候補として選抜されるものとして説明する。   As described above, when prediction encoding and encoding cost calculation are completed for all three prepared prediction modes (M1, M2, M3), the process proceeds to step S6, and a prediction mode with a low encoding cost is selected this time. As a prediction mode candidate of the block of interest, the prediction mode supplement selection unit 202 selects it. In the present embodiment, description will be made assuming that the top two prediction modes with the lowest coding costs are selected as candidates.

ステップS7では、選抜された2つの予測モード候補(例えば、M1,M2)が予測モード候補記憶部203に記憶される。ステップS8では、所定数(本実施形態では、例えば3つ)の連続する画素ブロックに関して、その予測モード候補の選抜が完了したか否かが判定される。終了していなければ、ステップS1へ戻って次の画素ブロックが読み出され、この画素ブロックに関して上記した各処理が繰り返されて予測モード候補が選抜される。   In step S 7, the two selected prediction mode candidates (for example, M 1 and M 2) are stored in the prediction mode candidate storage unit 203. In step S8, it is determined whether or not selection of prediction mode candidates has been completed for a predetermined number (for example, three in this embodiment) of consecutive pixel blocks. If not completed, the process returns to step S1 to read the next pixel block, and the above-described processes are repeated for this pixel block to select prediction mode candidates.

3つ(前々回、前回、今回)の注目ブロックTBn-2,TBn-1,TBに関して、その予測モード候補の選抜およびコスト算出が完了するとステップS9へ進む。ステップS9では、前々回の注目ブロックTBn-2の予測モードが、当該前々回の注目ブロックTBn-2から今回の注目ブロックTBnまでの符号化コストの総和ΣCに基づいて、予測モード決定部204により決定される。   When selection of prediction mode candidates and cost calculation are completed for the three target blocks TBn-2, TBn-1, and TB (previous times, previous time, and current time), the process proceeds to step S9. In step S9, the prediction mode of the previous block of interest TBn-2 is determined by the prediction mode determination unit 204 based on the total encoding cost ΣC from the previous block of interest TBn-2 to the current block of interest TBn. The

図3は、前記予測モード候補選抜部202による予測モード候補の選抜方法、および前記予測モード決定部204による予測モードの決定方法を模式的に表現した図である。   FIG. 3 is a diagram schematically representing a prediction mode candidate selection method by the prediction mode candidate selection unit 202 and a prediction mode determination method by the prediction mode determination unit 204.

前々回の注目ブロックTBn-2で2つの予測モード候補M1,M2が選抜され、それぞれの符号化コストが「1」と「2」であったとすると、この注目ブロックTBn-2に隣接して次に予測符号化される前回の注目ブロックTBn-1では、前々回の注目ブロックTBn-2が予測モードM1で符号化されるケースおよび予測モードM2で符号化されるケースについて、それぞれの予測符号化の結果を反映して3つの予測モード(M1,M2,M3)で予測符号化が実施され、符号化コストが小さい上位2つの予測モードが、当該注目ブロックTBn-1の予測モード候補として選抜される。   If two prediction mode candidates M1 and M2 are selected in the previous block of interest TBn-2 and their respective encoding costs are “1” and “2”, the next block adjacent to this block of interest TBn-2 is the next. In the previous target block TBn-1 to be predictively encoded, the results of the respective predictive encoding for the case in which the previous target block TBn-2 is encoded in the prediction mode M1 and the case in which the target block TBn-2 is encoded in the prediction mode M2 As a result, prediction encoding is performed in the three prediction modes (M1, M2, M3), and the top two prediction modes with the lowest encoding costs are selected as prediction mode candidates for the block of interest TBn-1.

図示した例では、前々回の注目ブロックTBn-2が予測モードM1で符号化されれば前回の注目ブロックTBn-1では予測モードM1,M3が選抜され、それぞれの符号化コストが「6」,「5」となる。前々回の注目ブロックTBn-2が予測モードM2で符号化されれば前回の注目ブロック図TBn-1では予測モードM2,M3が選抜され、それぞれの符号化コストが「4」,「3」となる。   In the illustrated example, if the previous block of interest TBn-2 is encoded in the prediction mode M1, the prediction modes M1 and M3 are selected in the previous block of interest TBn-1, and the respective encoding costs are “6”, “ 5 ". If the previous block of interest TBn-2 is encoded in the prediction mode M2, the prediction modes M2 and M3 are selected in the previous block of interest TBn-1 and the encoding costs are “4” and “3”, respectively. .

さらに、前回の注目ブロックTBn-1に隣接して次に予測符号化される今回の注目ブロックTBnでは、前々回および前回の各注目ブロックTBn-2,TBn-1がそれぞれ、予測モードM1,M1で符号化されるケース、予測モードM1,M3で符号化されるケース、予測モードM2,M2で符号化されるケース、および予測モードM2,M3で符号化されるケースの全てについて、それぞれの予測符号化の結果を反映して3つの予測モードで予測符号化が実施され、符号化コストが小さい上位2つの予測モードがそれぞれ選抜される。   Further, in the current block of interest TBn that is next predictively encoded adjacent to the previous block of interest TBn-1, the previous blocks of interest TBn-2 and TBn-1 of the previous time and in the prediction mode M1 and M1, respectively. The prediction codes for all cases encoded, cases encoded in prediction modes M1 and M3, cases encoded in prediction modes M2 and M2, and cases encoded in prediction modes M2 and M3 Reflecting the result of encoding, predictive encoding is performed in the three prediction modes, and the top two prediction modes with the lowest encoding costs are selected.

図示した例では、前々回および前回の注目ブロックTBn-2,TBn-1がそれぞれ、予測モードM1→M1の組み合わせで符号化されれば今回の注目ブロックTBnでは予測モードM2,M1が選抜され、その符号化コストがそれぞれ「7」,「8」となる一方、予測モードM1→M3の組み合わせで符号化されれば今回の注目ブロックTBnでは予測モードM3,M1が選抜され、その符号化コストがそれぞれ「9」,「10」となる。以下同様に、前々回および前回の各注目ブロックTBn-2,TBn-1における予測モード候補の組み合わせごとに、符号化コストが小さい上位2つの予測モード候補がそれぞれ選抜される。   In the example shown in the figure, the prediction mode M2 and M1 are selected in the current block of interest TBn if the previous block of attention TBn-2 and TBn-1 are encoded with the combination of the prediction mode M1 → M1, respectively. On the other hand, if the encoding cost is “7” and “8”, respectively, if the prediction mode M1 → M3 is encoded, the prediction mode M3 and M1 are selected in the current block of interest TBn, and the encoding costs are respectively “9” and “10”. Similarly, the top two prediction mode candidates with the lowest coding costs are selected for each combination of prediction mode candidates in the previous block of interest TBn-2 and TBn-1 in the previous time and the previous time, respectively.

以上のようにして、前々回、前回および今回の各注目ブロックTBn-2,TBn-1,TBnに関して、その予測モード候補の選抜およびコスト算出が完了すると、ステップS9では、前々回の注目ブロックTBn-2から今回の注目ブロックTBnまでの符号化コストの総和ΣCを予測モード候補の組み合わせごとに求め、コスト総和ΣCが最小値を示す組み合わせに基づいて前々回の注目ブロックTBn-2の予測モードが最終決定される。   As described above, when selection of prediction mode candidates and cost calculation are completed for each of the previous and current attention blocks TBn-2, TBn-1, and TBn, the previous attention block TBn-2 is obtained in step S9. The total encoding cost ΣC from the current block to the current block TBn is obtained for each combination of prediction mode candidates, and the prediction mode of the previous block of interest TBn-2 is finally determined based on the combination whose cost total ΣC shows the minimum value. The

本実施形態では、前々回、前回、今回の各注目ブロックTBn-2,TBn-1,TBnがそれぞれ、予測モードM1→M1→M2の組み合わせで符号化されたときのコスト総和ΣCが「14」、予測モードM1→M1→M1の組み合わせで符号化されたときのコスト総和ΣCが「15」、…予測モードM2→M3→M2の組み合わせで符号化されたときのコスト総和ΣCが「16」となる。そして、コスト総和ΣCの最小値は、予測モードM1→M1→M2の組み合わせにおける「14」なので、前々回の注目ブロックTBn-2の予測モードは、この組み合わにおける自身の予測モードM1に決定される。   In the present embodiment, the total cost ΣC when the respective target blocks TBn-2, TBn-1, TBn of the previous time, the previous time, and the current time are encoded by the combination of the prediction modes M1 → M1 → M2 is “14”, The total cost ΣC when encoded in a combination of prediction modes M1 → M1 → M1 is “15”, and the total cost ΣC when encoded in a combination of prediction modes M2 → M3 → M2 is “16”. . Since the minimum value of the total cost ΣC is “14” in the combination of the prediction modes M1 → M1 → M2, the prediction mode of the previous block of interest TBn-2 is determined as its own prediction mode M1 in this combination.

図2へ戻り、ステップS10では、全ての画素ブロックの予測モードが決定されたか否かが判定され、完了していなけばステップS1へ戻る。ステップS1では、予測モードが決定された画素ブロックTBn-2の次の画素ブロックTBn-1が今回の注目ブロックとして改めて取得される。すなわち、上記のようにして前々回の注目ブロックTBn-2の予測モードが決定されれば、前回の注目ブロックTBn-1が取得され、この画素ブロック(注目ブロック)から順に上記した各処理が繰り返される。そして、前回、今回および次回の各注目ブロックTBn-1,TBn,TBn+1での符号化コストに基づいて、前回の注目ブロックTBn-1の予測モードが決定される。   Returning to FIG. 2, in step S <b> 10, it is determined whether or not the prediction mode of all the pixel blocks has been determined, and if not completed, the process returns to step S <b> 1. In step S1, the next pixel block TBn-1 of the pixel block TBn-2 for which the prediction mode has been determined is newly acquired as the current block of interest. That is, if the prediction mode of the previous block of interest TBn-2 is determined as described above, the previous block of interest TBn-1 is acquired, and the above-described processes are repeated in order from this pixel block (block of interest). . Then, the prediction mode of the previous block of interest TBn-1 is determined based on the encoding cost in the previous, current and next blocks of interest TBn-1, TBn, TBn + 1.

図4は、本実施形態における各画素ブロックの予測モードの決定方法を模式的に表現した図であり、画素ブロックTBn-2からTBnに至る符号化コストに基づいて先頭の画素ブロックTBn-2の予測モードが決定され、TBn-1からTBn+1に至る符号化コストに基づいて先頭の画素ブロックTBn-1の予測モードが決定され、TBnからTBn+2に至る符号化コストに基づいて先頭の画素ブロックTBの予測モードが決定され   FIG. 4 is a diagram schematically illustrating a method for determining the prediction mode of each pixel block in the present embodiment. Based on the encoding cost from the pixel block TBn-2 to TBn, the first pixel block TBn-2 is determined. The prediction mode is determined, the prediction mode of the first pixel block TBn-1 is determined based on the encoding cost from TBn-1 to TBn + 1, and the leading mode is determined based on the encoding cost from TBn to TBn + 2. The prediction mode of the pixel block TB is determined

なお、上記した実施形態では、N個(本実施形態では、3個)の画素ブロックの符号化コストの総和ΣCに基づいて、最先の一つの画素ブロックの予測モードのみを決定するものとして説明したが、本発明はこれのみに限定されるものではなく、N個の画素ブロックでの符号化コストの総和に基づいて最先のM個(<N)の画素ブロックの予測モードを決定し、これを繰り返すようにしても良い。図5は、連続する3個の画素ブロックでの符号化コストの総和に基づいて最先の2個の画素ブロックの予測モードを決定する例を示している。   In the embodiment described above, it is assumed that only the prediction mode of the first pixel block is determined based on the sum ΣC of encoding costs of N pixel blocks (three in this embodiment). However, the present invention is not limited to this, and the prediction mode of the first M (<N) pixel blocks is determined based on the sum of the encoding costs of N pixel blocks, This may be repeated. FIG. 5 shows an example in which the prediction modes of the two first pixel blocks are determined based on the sum of coding costs in three consecutive pixel blocks.

あるいは、N個の画素ブロックでの符号化コストの総和に基づいてN個全ての画素ブロックの予測モードを決定し、これを繰り返すようにしても良い。図6は、連続する3個の画素ブロックでの符号化コストの総和に基づいて3個全ての画素ブロックの予測モードを決定する例を示している。   Alternatively, the prediction modes of all N pixel blocks may be determined based on the total encoding cost of N pixel blocks, and this may be repeated. FIG. 6 shows an example in which prediction modes for all three pixel blocks are determined based on the sum of coding costs in three consecutive pixel blocks.

さらに、上記した実施形態では、選択可能な予測モードのうち、符号化コストの低い上位の予測モードのみが選抜され、この選抜された予測モードに対して後方の各画素ブロックの予測モードが評価されるものとして説明したが、選択可能な全ての予測モードについて評価されるようにしても良い。   Furthermore, in the above-described embodiment, only the upper prediction mode with the lowest coding cost is selected from the selectable prediction modes, and the prediction mode of each pixel block behind is selected with respect to the selected prediction mode. Although described as an example, all selectable prediction modes may be evaluated.

本実施形態によれば、各画素ブロックをフレーム内予測する際の予測モードが、当該画素ブロック単体での符号化コストのみならず、当該画素ブロックの予測符号化結果に影響される他の画素ブロックの符号化コストをも考慮して決定されるので、フレーム全体での符号化コストを低く抑えられるようになる。   According to the present embodiment, the prediction mode for intra-frame prediction of each pixel block is not limited to the encoding cost of the pixel block alone, but other pixel blocks that are affected by the prediction encoding result of the pixel block. Therefore, the coding cost for the entire frame can be kept low.

ところで、上記した第1実施形態のように、各画素ブロックが自身よりも前方の各画素ブロックで選択可能な予測モードの全ての組み合わせについて予測符号化を実行し、その符号化コストの総和を求めると、総和を求める画素ブロック数が多くなるにつれてフレーム内予測部2の処理負荷が増大し、計算時間が長くなってしまう。そこで、次に説明する本発明の第2実施形態では、各画素ブロックにおいて符号化コストの計算量が制限されるようにしている。   By the way, as in the first embodiment described above, each pixel block performs predictive coding for all combinations of prediction modes that can be selected by each pixel block ahead of itself, and calculates the sum of the coding costs. As the number of pixel blocks for obtaining the sum increases, the processing load of the intra-frame prediction unit 2 increases and the calculation time becomes longer. Therefore, in the second embodiment of the present invention described below, the calculation amount of the encoding cost is limited in each pixel block.

図7は、計算量を削減する第2実施形態の動作を模式的に表現した図であり、ここでも、選択可能な予測モードが3種類(M1,M2,M3)である場合を例にして説明する。   FIG. 7 is a diagram schematically showing the operation of the second embodiment for reducing the amount of calculation, and here again, the case where there are three types of prediction modes (M1, M2, M3) that can be selected is taken as an example. explain.

画素ブロックTBn-1では、直前の画素ブロックTBn-2が予測モードM1で符号化されるケース、予測モードM2で予測されるケース、予測モードM3で符号化されるケースについて、それぞれの予測結果を反映して3つの予測モードM1,M2,M3で予測符号化を実施し、それぞれの符号化コストを求める。すなわち、予測計算が9回だけ実行される。   In the pixel block TBn-1, the prediction results for the case where the immediately preceding pixel block TBn-2 is encoded in the prediction mode M1, the case of prediction in the prediction mode M2, and the case of encoding in the prediction mode M3 are shown. Reflecting, predictive encoding is performed in the three prediction modes M1, M2, and M3, and respective encoding costs are obtained. That is, the prediction calculation is executed only 9 times.

さらに、この画素ブロックTBn-1に隣接する次の画素ブロックTBnでは、直前の画素ブロックTBn-1における予測モードが同一の組み合わせ同士を競合させ、符号化コストの総和が最小の組み合わせに対してのみ、その予測結果を反映して3つの予測モードM1,M2,M3で予測計算を実施し、それ以外の組み合わせは破棄する。   Further, in the next pixel block TBn adjacent to this pixel block TBn-1, the combinations having the same prediction mode in the immediately preceding pixel block TBn-1 compete with each other, and only for the combination with the minimum coding cost. Reflecting the prediction result, the prediction calculation is performed in the three prediction modes M1, M2, and M3, and the other combinations are discarded.

すなわち、画素ブロックTBn-1の予測モードがM1となるのは、画素ブロックTBn-2,TBn-1の予測モードがM1→M1の組み合わせ、M2→M1の組み合わせ、M3→M1の組み合わせの3組なので、この3組の符号化コストを比較し、例えばM2→M1の組み合わせが最小コストであれば、この組み合わせによる予測結果を反映して3つの予測モードM1,M2,M3で予測計算を実施し、M2→M1→M1の組み合わせ、M2→M1→M2の組み合わせ、M2→M1→M3の組み合わせについてのみ符号化コストを求める。   That is, the prediction mode of the pixel block TBn-1 is M1 because the prediction modes of the pixel blocks TBn-2 and TBn-1 are three combinations of M1 → M1, M2 → M1, and M3 → M1. So, if these three sets of coding costs are compared, and the combination of M2 → M1, for example, is the minimum cost, the prediction calculation will be performed in the three prediction modes M1, M2, and M3, reflecting the prediction result of this combination. The encoding cost is obtained only for the combination of M2, M1, M1, M2, M1, M2, and M2, M1, M3.

同様に、画素ブロックTBn-1の予測モードがM2となるのは、画素ブロックTBn-2,TBn-1の予測モードがM1→M2の組み合わせ、M2→M2の組み合わせ、M3→M2の組み合わせの3組なので、この3組の符号化コストを比較し、例えばM2→M2の組み合わせが最小コストであれば、この組み合わせによる予測結果を反映して3つの予測モードM1,M2,M3で予測符号化を実施し、M2→M2→M1の組み合わせ、M2→M2→M2の組み合わせ、M2→M2→M3の組み合わせについてのみ符号化コストを求める。   Similarly, the prediction mode of the pixel block TBn-1 is M2 because the prediction modes of the pixel blocks TBn-2 and TBn-1 are a combination of M1 → M2, a combination of M2 → M2, and a combination of M3 → M2. Therefore, if the combination of M2 → M2 is the minimum cost, for example, if the combination of M2 → M2 is the minimum cost, predictive encoding is performed in the three prediction modes M1, M2, and M3 reflecting the prediction result of this combination. The encoding cost is obtained only for the combination of M2 → M2 → M1, the combination of M2 → M2 → M2, and the combination of M2 → M2 → M3.

同様に、画素ブロックTBn-1の予測モードがM3となるのは、画素ブロックTBn-2,TBn-1の予測モードがM1→M3の組み合わせ、M2→M3の組み合わせ、M3→M3の組み合わせの3組なので、この3組の符号化コストを評価し、例えばM3→M3の組み合わせが最小コストであれば、この組み合わせによる予測結果を反映して3つの予測モードM1,M2,M3で予測符号化を実施し、M3→M3→M1の組み合わせ、M3→M3→M2の組み合わせ、M3→M3→M3の組み合わせについてのみ符号化コストを求める。   Similarly, the prediction mode of the pixel block TBn-1 is M3 because the prediction modes of the pixel blocks TBn-2 and TBn-1 are a combination of M1 → M3, a combination of M2 → M3, and a combination of M3 → M3. Therefore, if the combination of M3 → M3 is the minimum cost, for example, if the combination of M3 → M3 is the minimum cost, the prediction encoding by this combination is reflected and the prediction encoding is performed in the three prediction modes M1, M2, and M3. The encoding cost is obtained only for the combination of M3 → M3 → M1, the combination of M3 → M3 → M2, and the combination of M3 → M3 → M3.

次の画素ブロックTBn+1でも同様に、画素ブロックTBnの予測モードがM1となるのは、M2→M1→M1、M2→M2→M1、M3→M3→M1の3組なので、この3組について符号化コストを比較し、例えばM2→M2→M1の組み合わせが最小コストであれば、この組み合わせによる予測結果を反映して3つの予測モードM1,M2,M3で予測符号化を実施し、M2→M2→M1→M1の組み合わせ、M2→M2→M1→M2の組み合わせ、M2→M2→M1→M3の組み合わせについてのみ符号化コストを求める。   Similarly, the prediction mode of the pixel block TBn + 1 is M1, M2, M1, M2, M2, M1, and M3, M3, M1, and so on for the next pixel block TBn + 1. For example, if the combination of M2 → M2 → M1 is a minimum cost, predictive encoding is performed in three prediction modes M1, M2, and M3 reflecting the prediction result of this combination, and M2 → Coding costs are obtained only for the combinations of M2 → M1 → M1, M2 → M2 → M1 → M2, and M2 → M2 → M1 → M3.

同様に、画素ブロックTBnの予測モードがM2となるのは、M2→M1→M2、M2→M2→M2、M3→M3→M2の3組なので、この3組の符号化コストを評価し、例えばM2→M1→M2の組み合わせが最小コストであれば、この組み合わせによる予測結果を反映して3つの予測モードM1,M2,M3で予測符号化を実施し、M2→M1→M2→M1の組み合わせ、M2→M1→M2→M2の組み合わせ、M2→M1→M2→M3の組み合わせについてのみ符号化コストを求める。   Similarly, the prediction mode of the pixel block TBn is M2, since M2 → M1 → M2, M2 → M2 → M2, and M3 → M3 → M2 are evaluated. If the combination of M2 → M1 → M2 is the minimum cost, the prediction results of this combination are reflected and prediction coding is performed in three prediction modes M1, M2, M3, and the combination of M2 → M1 → M2 → M1 The encoding cost is obtained only for the combination of M2 → M1 → M2 → M2 and the combination of M2 → M1 → M2 → M3.

同様に、画素ブロックTBnの予測モードがM3となるのは、M2→M1→M3、M2→M2→M3、M3→M3→M3の3組なので、この3組の符号化コストを評価し、例えばM2→M1→M3の組み合わせが最小コストであれば、この組み合わせによる予測結果を反映して3つの予測モードM1,M2,M3で予測符号化を実施し、M2→M1→M3→M1の組み合わせ、M2→M1→M3→M2の組み合わせ、M2→M1→M3→M3の組み合わせについてのみ符号化コストを求める。   Similarly, the prediction mode of the pixel block TBn is M3 because there are three sets of M2 → M1 → M3, M2 → M2 → M3, and M3 → M3 → M3. If the combination of M2 → M1 → M3 is the minimum cost, the prediction results of this combination are reflected and prediction encoding is performed in the three prediction modes M1, M2, M3, and the combination of M2 → M1 → M3 → M1. The encoding cost is obtained only for the combination of M2 → M1 → M3 → M2 and the combination of M2 → M1 → M3 → M3.

以上のようにして、所定の参照数分数の画素ブロックの符号化コストの総和が求まると、最小コストの組み合わせに基づいて各画素ブロックの予測モードが上記した第1実施形態と同様の手法で決定される。   As described above, when the sum of the coding costs of the pixel blocks of a predetermined reference fraction is obtained, the prediction mode of each pixel block is determined by the same method as in the first embodiment based on the combination of the minimum costs. Is done.

本実施形態によれば、各注目ブロックでの計符号化コストの計算回数が、符号化コストを参照される画素ブロック数にかかわらず9回に制限されるので、処理負荷を軽減して短時間での符号化圧縮が可能になる。   According to the present embodiment, the total number of coding cost calculations for each block of interest is limited to nine times regardless of the number of pixel blocks to which the coding cost is referenced. Can be encoded and compressed.

なお、上記した実施形態では、本発明を16×16画素のマクロブロック単位での予測を例にして説明したが、本発明はこれのみに限定されるものではなく、前記図9に関して説明した各マクロブロック内での4×4予測にも同様に適用できる。   In the above-described embodiment, the present invention has been described with an example of prediction in units of 16 × 16 pixel macroblocks. However, the present invention is not limited to this, and each of the embodiments described with reference to FIG. The same applies to 4 × 4 prediction within a macroblock.

また、H.264/AVCではマクロブロック単位でフレーム内予測による符号化コストとフレーム間予測による符号化コストとが比較され、符号化コストの低い予測方式が採用されるので、実際のフレーム内予測符号化時のみならず、予測方式を決定する際のフレーム内予測の符号化コスト算出時にも上記した実施形態を適用できる。   Also, in H.264 / AVC, the coding cost by intra-frame prediction and the coding cost by inter-frame prediction are compared for each macroblock, and a prediction method with low coding cost is adopted. The embodiment described above can be applied not only at the time of encoding but also at the time of calculating the encoding cost of intra-frame prediction when determining the prediction method.

本発明に係る動画像符号化装置の主要部の構成を示したブロック図である。It is the block diagram which showed the structure of the principal part of the moving image encoder which concerns on this invention. 本発明の第1実施形態の動作を示したフローチャートである。It is the flowchart which showed operation | movement of 1st Embodiment of this invention. 予測モード候補の選抜方法および決定方法を模式的に表現した図である。It is the figure which expressed typically the selection method and determination method of a prediction mode candidate. 各画素ブロックの予測モードの決定方法を模式的に表現した図である。It is the figure which expressed typically the determination method of the prediction mode of each pixel block. 連続する3個の画素ブロックでの符号化コストの総和に基づいて最先の2個の画素ブロックの予測モードを決定する方法を示した図である。It is the figure which showed the method of determining the prediction mode of the earliest two pixel blocks based on the sum total of the encoding cost in three continuous pixel blocks. 連続する3個の画素ブロックでの符号化コストの総和に基づいて3個全ての画素ブロックの予測モードを決定する方法を示した図である。It is the figure which showed the method of determining the prediction mode of all the three pixel blocks based on the sum total of the encoding cost in three continuous pixel blocks. 計算量を削減する第2実施形態の動作を模式的に表現した図である。It is the figure which expressed typically the operation | movement of 2nd Embodiment which reduces the amount of calculations. H.264/AVCの輝度信号に関する16×16予測の予測モードを説明するための図である。It is a figure for demonstrating the prediction mode of 16 * 16 prediction regarding the luminance signal of H.264 / AVC. H.264/AVCの輝度信号に関する4×4予測の予測モードを説明するための図である。It is a figure for demonstrating the prediction mode of 4x4 prediction regarding the luminance signal of H.264 / AVC. H.264/AVCの色差信号に関するマクロブロック内の8画素×8ラインの予測モードを説明するための図である。It is a figure for demonstrating the prediction mode of 8 pixels x 8 lines in the macroblock regarding the color difference signal of H.264 / AVC.

符号の説明Explanation of symbols

1…バッファメモリ,2…フレーム内予測部,3…直交変換部,4…量子化部,5…エントロピー符号化部,6…バッファメモリ,7…逆量子化部,8…逆直交変換部,9…フレーム間予測部,10…フレームメモリ,11…予測方式切替部,12…加算回路,13…減算器,14…動き予測部,15…デブロッキングフィルタ   DESCRIPTION OF SYMBOLS 1 ... Buffer memory, 2 ... Intra-frame prediction part, 3 ... Orthogonal transformation part, 4 ... Quantization part, 5 ... Entropy encoding part, 6 ... Buffer memory, 7 ... Inverse quantization part, 8 ... Inverse orthogonal transformation part, DESCRIPTION OF SYMBOLS 9 ... Inter-frame prediction part, 10 ... Frame memory, 11 ... Prediction system switching part, 12 ... Adder circuit, 13 ... Subtractor, 14 ... Motion prediction part, 15 ... Deblocking filter

Claims (9)

動画像の各フレームを複数の画素ブロックに分割し、各画素ブロックをフレーム内予測方式で順次に符号化する動画像の予測符号化方法において、
動画像から画素ブロックを所定の順序で読み出す手順と、
読み出された画素ブロックを、参照画素の異なる複数の予測モードで符号化する手順と、
各画素ブロックの符号化コストを予測モードごとに算出する手順とを具備し、
前記符号化手順では、符号化される画素ブロックの符号化コストに影響を及ぼす前方の各画素ブロックで選択可能な予測モードの組み合わせごとに、その予測結果を反映させて複数の予測モードで予測符号化が行われ、さらに、
符号化コストの総和が最小となる予測モードの組み合わせに基づいて、前方の各画素ブロックの予測モードを決定する手順とを含むことを特徴とする動画像予測符号化方法。
In a predictive encoding method of a moving image, each frame of a moving image is divided into a plurality of pixel blocks, and each pixel block is sequentially encoded by an intra-frame prediction method.
A procedure for reading out pixel blocks from a moving image in a predetermined order;
A procedure for encoding the read pixel block in a plurality of prediction modes with different reference pixels;
And a procedure for calculating the encoding cost of each pixel block for each prediction mode,
In the encoding procedure, for each combination of prediction modes that can be selected in each preceding pixel block that affects the encoding cost of the pixel block to be encoded, a prediction code is reflected in a plurality of prediction modes by reflecting the prediction result. Further,
And a procedure for determining a prediction mode for each of the preceding pixel blocks based on a combination of prediction modes that minimizes the total encoding cost.
前記予測モードを決定する手順では、符号化コストの総和が最小となるN個の画素ブロックの予測モードの組み合わせに基づいて、前方からM(<N)個の画素ブロックの予測モードが決定されることを特徴とする請求項1に記載の動画像予測符号化方法。   In the procedure of determining the prediction mode, the prediction mode of M (<N) pixel blocks is determined from the front based on the combination of prediction modes of N pixel blocks that minimize the sum of coding costs. The moving picture predictive coding method according to claim 1, wherein: 前記予測モードを決定する手順では、符号化コストの総和が最小となるN個の画素ブロックの予測モードの組み合わせに基づいて、N個全ての画素ブロックの予測モードが決定されることを特徴とする請求項1に記載の動画像予測符号化方法。   In the procedure of determining the prediction mode, the prediction mode of all N pixel blocks is determined based on a combination of prediction modes of N pixel blocks that minimizes the sum of encoding costs. The moving image predictive encoding method according to claim 1. 各画素ブロックにおいて予測モードごとに算出される符号化コストに基づいて、符号化コストの低い一部の予測モードを選抜する手順をさらに具備し、
各画素ブロックは、自身の符号化コストに影響を及ぼす前方の各画素ブロックで選抜された一部の予測モードの組み合わせごとに、その予測結果を反映させて複数の予測モードで予測符号化されることを特徴とする請求項1ないし3のいずれかに記載の動画像予測符号化方法。
Further comprising a procedure for selecting a part of the prediction modes with a low coding cost based on the coding cost calculated for each prediction mode in each pixel block;
Each pixel block is predictively encoded in a plurality of prediction modes by reflecting the prediction result for each combination of some prediction modes selected in each preceding pixel block that affects its own encoding cost. The moving picture predictive coding method according to claim 1, wherein:
各画素ブロックは、その前方の各画素ブロックで選択可能な予測モードの組み合わせのうち、直前の画素ブロックにおける予測モードが同一の組み合わせの中で符号化コストの総和が最小の組み合わせの予測結果を反映させて複数の予測モードで予測符号化されることを特徴とする請求項1ないし3のいずれかに記載の動画像予測符号化方法。   Each pixel block reflects the prediction result of the combination of the prediction modes that can be selected in each pixel block in front of the combination that has the same prediction mode in the immediately preceding pixel block and that has the lowest total coding cost. 4. The moving picture predictive coding method according to claim 1, wherein the predictive coding is performed in a plurality of prediction modes. 動画像の各フレームを複数の画素ブロックに分割し、各画素ブロックをフレーム内予測方式で順次に符号化する動画像の予測符号化装置において、
動画像から画素ブロックを所定の順序で読み出す手段と、
読み出された画素ブロックを、参照画素の異なる複数の予測モードで符号化する手段と、
各画素ブロックの符号化コストを予測モードごとに算出する手段とを具備し、
前記符号化手段では、符号化される画素ブロックの符号化コストに影響を及ぼす前方の各画素ブロックで選択可能な予測モードの組み合わせごとに、その予測結果を反映させて複数の予測モードで予測符号化が行われ、さらに、
符号化コストの総和が最小となる予測モードの組み合わせに基づいて、前方の各画素ブロックの予測モードを決定する手段とを含むことを特徴とする動画像予測符号化装置。
In a predictive encoding apparatus for a moving image, in which each frame of a moving image is divided into a plurality of pixel blocks, and each pixel block is sequentially encoded by an intra-frame prediction method.
Means for reading out pixel blocks from a moving image in a predetermined order;
Means for encoding the read pixel block in a plurality of prediction modes with different reference pixels;
Means for calculating the encoding cost of each pixel block for each prediction mode,
In the encoding means, for each combination of prediction modes that can be selected in each preceding pixel block that affects the encoding cost of the pixel block to be encoded, a prediction code is reflected in a plurality of prediction modes by reflecting the prediction result. Further,
And a means for determining a prediction mode for each of the preceding pixel blocks based on a combination of prediction modes that minimizes the sum of encoding costs.
前記予測モードを決定する手段では、符号化コストの総和が最小となるN個の画素ブロックの予測モードの組み合わせに基づいて、前方からM(<N)個の画素ブロックの予測モードが決定されることを特徴とする請求項6に記載の動画像予測符号化装置。   The means for determining the prediction mode determines the prediction mode of M (<N) pixel blocks from the front based on a combination of prediction modes of N pixel blocks that minimize the sum of coding costs. The moving picture predictive coding apparatus according to claim 6. 前記予測モードを決定する手段では、符号化コストの総和が最小となるN個の画素ブロックの予測モードの組み合わせに基づいて、N個全ての画素ブロックの予測モードが決定されることを特徴とする請求項6に記載の動画像予測符号化装置。   The means for determining the prediction mode is characterized in that the prediction modes of all N pixel blocks are determined based on a combination of prediction modes of N pixel blocks that minimize the sum of encoding costs. The moving image predictive coding apparatus according to claim 6. 各画素ブロックにおいて予測モードごとに算出される符号化コストに基づいて、符号化コストの低い一部の予測モードを選抜する手段をさらに具備し、
各画素ブロックは、自身の符号化コストに影響を及ぼす前方の各画素ブロックで選抜された一部の予測モードの組み合わせごとに、その予測結果を反映させて複数の予測モードで予測符号化されることを特徴とする請求項6ないし8のいずれかに記載の動画像予測符号化装置。
Based on the encoding cost calculated for each prediction mode in each pixel block, further comprising means for selecting some prediction modes with low encoding costs,
Each pixel block is predictively encoded in a plurality of prediction modes by reflecting the prediction result for each combination of some prediction modes selected in each preceding pixel block that affects its own encoding cost. The moving picture predictive coding apparatus according to any one of claims 6 to 8.
JP2006230432A 2006-08-28 2006-08-28 Video predictive coding method and apparatus Expired - Fee Related JP4697802B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006230432A JP4697802B2 (en) 2006-08-28 2006-08-28 Video predictive coding method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006230432A JP4697802B2 (en) 2006-08-28 2006-08-28 Video predictive coding method and apparatus

Publications (2)

Publication Number Publication Date
JP2008054182A true JP2008054182A (en) 2008-03-06
JP4697802B2 JP4697802B2 (en) 2011-06-08

Family

ID=39237763

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006230432A Expired - Fee Related JP4697802B2 (en) 2006-08-28 2006-08-28 Video predictive coding method and apparatus

Country Status (1)

Country Link
JP (1) JP4697802B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014096679A (en) * 2012-11-08 2014-05-22 Nippon Hoso Kyokai <Nhk> Image encoder and image encoding program
CN105979261A (en) * 2016-06-21 2016-09-28 浙江大华技术股份有限公司 Method and device for selecting intra-frame prediction mode

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005184241A (en) * 2003-12-17 2005-07-07 Kddi Corp System for determining moving picture interframe mode
WO2006052399A1 (en) * 2004-11-04 2006-05-18 Thomson Licensing Fast intra mode prediction for a video encoder
JP2006304107A (en) * 2005-04-22 2006-11-02 Ntt Electornics Corp Coding device and program applied thereto

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005184241A (en) * 2003-12-17 2005-07-07 Kddi Corp System for determining moving picture interframe mode
WO2006052399A1 (en) * 2004-11-04 2006-05-18 Thomson Licensing Fast intra mode prediction for a video encoder
JP2006304107A (en) * 2005-04-22 2006-11-02 Ntt Electornics Corp Coding device and program applied thereto

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014096679A (en) * 2012-11-08 2014-05-22 Nippon Hoso Kyokai <Nhk> Image encoder and image encoding program
CN105979261A (en) * 2016-06-21 2016-09-28 浙江大华技术股份有限公司 Method and device for selecting intra-frame prediction mode
CN105979261B (en) * 2016-06-21 2019-03-26 浙江大华技术股份有限公司 A kind of selection method and device of intra prediction mode

Also Published As

Publication number Publication date
JP4697802B2 (en) 2011-06-08

Similar Documents

Publication Publication Date Title
JP4851741B2 (en) Method and apparatus for encoding a sequence of source images
JP4752631B2 (en) Image coding apparatus and image coding method
KR101581100B1 (en) Method for managing a reference picture list, and apparatus using same
KR101774392B1 (en) Intra prediction method and apparatus using the method
JP5423948B2 (en) Moving picture encoding method, and apparatus and program using the same
JP4650173B2 (en) Encoding apparatus, encoding method, encoding method program, and recording medium recording the encoding method program
KR20180122579A (en) Method for video decoding and computer readable redording meduim thereof
KR102140331B1 (en) Method for intra prediction and apparatus thereof
US20130251036A1 (en) Intra prediction method and apparatus
US20070098067A1 (en) Method and apparatus for video encoding/decoding
JP4250638B2 (en) Video encoding apparatus and method
KR20070005848A (en) Method and apparatus for intra prediction mode decision
JP2006054857A (en) Method of encoding and decoding frame sequence using 3d decomposition, usage, device and computer program
US20080037637A1 (en) Moving picture encoding apparatus
JP2011199362A (en) Device and method for encoding of moving picture, and device and method for decoding of moving picture
CN114830651A (en) Intra prediction method, encoder, decoder, and computer storage medium
JP2017069866A (en) Moving image encoder, moving image encoding method and computer program for encoding moving image
JP2006100871A (en) Coder, coding method, program of coding method, and recording medium with the program recorded thereon
JP4130617B2 (en) Moving picture coding method and moving picture coding apparatus
JP2009260421A (en) Moving image processing system, encoding device, encoding method, encoding program, decoding device, decoding method and decoding program
JP4697802B2 (en) Video predictive coding method and apparatus
JP2009049969A (en) Device and method of coding moving image and device and method of decoding moving image
KR20160106348A (en) Video Coding Method and Apparatus thereof
JP5513333B2 (en) Moving picture coding apparatus, moving picture coding method, and program
JP4561701B2 (en) Video encoding device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090127

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100709

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100714

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100913

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110223

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110224

LAPS Cancellation because of no payment of annual fees