JP2005160048A - Intra-picture prediction coding method - Google Patents
Intra-picture prediction coding method Download PDFInfo
- Publication number
- JP2005160048A JP2005160048A JP2004310869A JP2004310869A JP2005160048A JP 2005160048 A JP2005160048 A JP 2005160048A JP 2004310869 A JP2004310869 A JP 2004310869A JP 2004310869 A JP2004310869 A JP 2004310869A JP 2005160048 A JP2005160048 A JP 2005160048A
- Authority
- JP
- Japan
- Prior art keywords
- plane prediction
- plane
- prediction
- encoding
- intra
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Abstract
Description
本発明は、面内予測モードを決定し、決定した予測モードにおいて面内予測符号化を行う面内予測符号化方法、面内予測符号化装置、およびプログラムに関する。 The present invention relates to an intra prediction encoding method, an intra prediction encoding device, and a program for determining an intra prediction mode and performing intra prediction encoding in the determined prediction mode.
携帯電話やDVDレコーダといった、画像符号化を行う製品では、通常、m×n(m,nは正の整数)画素のブロック単位でブロック内画素を予測し、その予測方法に関する情報を符号化し、さらに予測画像と実際の画像との差分画像としての誤差情報を、DCT(離散コサイン変換)等を利用して符号化することで、画像符号化を実現する装置を内蔵している。画像符号化装置には通常、面内予測符号化装置が含まれている。面内予測とは、処理対象とするm×n画素の予測単位ブロック(以下、対象ブロックと呼ぶ)に対する予測画像を、対象ブロックと同一画面内の、符号化後の復号画素を用いて予測することである。MPEG−4 AVCのような動画像符号化方式では、面内予測において使用される複数の予測モードが存在する。面内予測符号化では、処理対象とするm×n(m,nは正の整数)画素の予測単位ブロックに対し、1つの面内予測モードを用いて予測画像を生成し、その予測画像と入力画像との差分画像、および用いた面内予測モードを示す情報を符号化することで、画像符号化を実現する。MPEG−4 AVCでは、面内予測において、対象ブロック周辺の、符号化後の復号画素を用いて空間予測を行い、対象ブロックの予測画像を生成する。 In a product that performs image encoding, such as a mobile phone or a DVD recorder, a pixel in a block is usually predicted in block units of m × n (m and n are positive integers) pixels, and information on the prediction method is encoded. Furthermore, a device for realizing image coding is incorporated by coding error information as a difference image between a predicted image and an actual image using DCT (discrete cosine transform) or the like. An image coding device usually includes an in-plane prediction coding device. In-plane prediction predicts a prediction image for a prediction unit block (hereinafter referred to as a target block) of m × n pixels to be processed using decoded pixels within the same screen as the target block. That is. In a moving picture coding system such as MPEG-4 AVC, there are a plurality of prediction modes used in intra prediction. In the intra prediction encoding, a prediction image is generated using one intra prediction mode for a prediction unit block of m × n (m and n are positive integers) pixels to be processed, and the prediction image and Image coding is realized by coding the difference image from the input image and information indicating the in-plane prediction mode used. In MPEG-4 AVC, in the in-plane prediction, spatial prediction is performed using decoded pixels around the target block, and a predicted image of the target block is generated.
ここで具体的な面内予測モードに関して簡単に説明すると、例えば4×4画素ブロックの輝度画素に対してMPEG−4 AVCでは、面内予測モードが9種類存在する(非特許文献1参照)。そのうち、DC予測モード(予測モード2)では、図29(c)に示すように4×4画素の対象ブロックの左、および上に隣接する8画素の復号画素を元に、対象ブロック内のすべての画素値を、これら8画素の平均値とすることで対象ブロックの予測画素を生成する。また、水平方向予測モード(予測モード1)では、図29(b)に示すように4×4画素の対象ブロックの左に隣接する4画素の復号画素を元に、対象ブロックの予測画素を生成する。さらに、垂直方向予測モード(予測モード0)では、図29(a)に示すように4×4画素の対象ブロックの上に隣接する4画素の復号画素を用いて、対象ブロックの予測画素を生成する。この他に、図29(d)に示すように左下方向(予測モード3)、図29(e)に示すように右下方向(予測モード4)、図29(f)に示すように右下方向(予測モード5)、図29(g)に示すように右下方向(予測モード6)、図29(h)に示すように左下方向(予測モード7)、図29(i)に示すように右上方向(予測モード8)があり、8方向の予測モードと、上記DC予測モードの合計9種類の面内予測モードが存在する。 Here, the specific intra prediction mode will be briefly described. For example, nine types of intra prediction modes exist in MPEG-4 AVC for luminance pixels of a 4 × 4 pixel block (see Non-Patent Document 1). Among them, in the DC prediction mode (prediction mode 2), as shown in FIG. 29 (c), all the pixels in the target block are based on the decoded pixels of 8 pixels adjacent to the left and above the 4 × 4 pixel target block. The predicted pixel of the target block is generated by making the pixel value of the average value of these eight pixels. In the horizontal prediction mode (prediction mode 1), as shown in FIG. 29 (b), the prediction pixel of the target block is generated based on the decoded pixels of the four pixels adjacent to the left of the 4 × 4 pixel target block. To do. Further, in the vertical direction prediction mode (prediction mode 0), as shown in FIG. 29A, the prediction pixel of the target block is generated using the decoded pixels of the four pixels adjacent to the target block of 4 × 4 pixels. To do. In addition, the lower left direction (prediction mode 3) as shown in FIG. 29 (d), the lower right direction (prediction mode 4) as shown in FIG. 29 (e), and the lower right direction as shown in FIG. 29 (f). Direction (prediction mode 5), lower right direction (prediction mode 6) as shown in FIG. 29 (g), lower left direction (prediction mode 7) as shown in FIG. 29 (h), and as shown in FIG. 29 (i). There is an upper right direction (prediction mode 8), and there are a total of nine types of in-plane prediction modes of the eight prediction modes and the DC prediction mode.
また、16×16画素ブロックの輝度画素に対してMPEG−4 AVCでは、面内予測モードが4種類存在する。
垂直方向予測モード(予測モード0)では、図30(a)に示すように16×16画素の対象ブロックの上に隣接する16画素の復号画素を用いて、対象ブロックの予測画素を生成する。また、水平方向予測モード(予測モード1)では、図30(b)に示すように16×16画素の対象ブロックの左に隣接する16画素の復号画素を元に、対象ブロックの予測画素を生成する。DC予測モード(予測モード2)では、図30(c)に示すように16×16画素の対象ブロックの左、および上に隣接する32画素の復号画素を元に、対象ブロック内のすべての画素値を、これら32画素の平均値とすることで対象ブロックの予測画素を生成する。平面予測モード(予測モード3)では、図30(d)に示すように16×16画素の対象ブロックの左、および上に隣接する32画素の復号画素を元に、対象ブロックの予測画素を生成する。
Also, there are four types of in-plane prediction modes in MPEG-4 AVC for luminance pixels of a 16 × 16 pixel block.
In the vertical direction prediction mode (prediction mode 0), as shown in FIG. 30A, a prediction pixel of the target block is generated using 16 decoded pixels adjacent to the 16 × 16 pixel target block. Further, in the horizontal prediction mode (prediction mode 1), as shown in FIG. 30 (b), a prediction pixel of the target block is generated based on 16 decoded pixels adjacent to the left of the 16 × 16 pixel target block. To do. In the DC prediction mode (prediction mode 2), as shown in FIG. 30C, all pixels in the target block are based on the decoded pixels of 32 pixels adjacent to the left and above the 16 × 16 pixel target block. The predicted pixel of the target block is generated by setting the value to the average value of these 32 pixels. In the planar prediction mode (prediction mode 3), as shown in FIG. 30 (d), the prediction pixel of the target block is generated based on the decoded pixels of 32 pixels adjacent to the left and above the 16 × 16 pixel target block. To do.
図31は、従来の面内予測符号化装置100の構成を示すブロック図である。面内予測符号化装置100は、図31に示すように、同一画面内の符号化後の画素であり、面内予測を行う際に使用する画素である面内予測用参照画素群162を入力とし面内予測画像164と面内予測モード情報163を出力とする面内予測実行部101と、入力画像161と面内予測画像164と面内予測モード情報163を入力とし予測差分画像165を出力とする予測差分計算部152と、予測差分画像165を入力とし評価値166を出力とする符号化効率評価部153と、面内予測モード情報163と予測差分画像165と評価値166を入力とし予測差分画像168と面内予測モード情報167を出力とする面内予測モード決定部154と、面内予測モード情報167と予測差分画像168を入力とし符号化画像169出力とする符号化部155とを備えている。
FIG. 31 is a block diagram showing a configuration of a conventional intra
面内予測実行部101は、処理対象とするm×n(m,nは正の整数)画素の予測単位ブロック(以下、対象ブロックと呼ぶ)に対し、時分割で、順次、各面内予測モードを用いた面内予測を行う。すなわち、面内予測実行部101は、面内予測用参照画素群162から対象ブロックの画素を予測し、その結果を面内予測画像164として出力する。加えて、面内予測実行部101は、面内予測画像164を生成する際に用いた予測モードに関する情報を、面内予測モード情報163として出力する。
The in-plane
予測差分計算部152は、面内予測実行部101で対象ブロックに対して予測生成された面内予測画像164と、入力画像161における対象ブロックの画像との画素単位の差分値を計算し、計算した結果を予測差分画像165として出力する。
The prediction
符号化効率評価部153は、予測差分画像165を元に、符号化効率を計算する。例えば、予測差分画像165の各画素値の絶対値和を計算し、これをもって評価値166として出力する。なお、予測差分画像165以外の情報、例えば、周辺の符号化済みブロックの符号化データよりその面内予測モード情報をさらに参照して評価値166を計算するなどしてもよい。また、符号化部155において、周辺の符号化済みブロックの面内予測モードと、対象ブロックの面内予測モードとの差分を符号化するような方式を採用している場合、周辺の符号化済みブロックの面内予測モードをさらに参照するなどして評価値166を計算することが可能である。
The encoding
面内予測モード決定部154は、面内予測実行部101において、時分割で順次試行される面内予測モードに対して、符号化効率評価部153より出力される評価値166が最も小さい面内予測モードを、面内予測モード情報167として出力する。また、その際の予測モードにおける予測差分を、予測差分画像168として出力する。
The in-plane prediction
符号化部155は、決定された面内予測モードを用いて予測した結果の予測差分画像168と、面内予測モード情報167とを符号化し、符号化画像169を出力する。
The
図32は面内予測実行部101の構成を示すブロック図である。面内予測実行部101は、図32に示すようにカウンタ部102、面内予測モード切替部252、および面内予測部251を備え、時分割で、各面内予測モードを用いた面内予測を順次実行する。カウンタ部102は、時分割で、実行する面内予測モードを指定する面内予測モード情報163を順次出力する。この例では、面内予測モード情報として、面内予測モードを一意的に指定する値[0]から値[8]までの整数値を用いる。よって、面内予測モード情報163の値として、値[0]から値[8]まで順次カウントアップして出力する。ただし、カウントアップ動作は、予測完了信号256が値[0]から値[1]に変化した後に1度のみ実行する。面内予測モード切替部252は、面内予測モード情報163の値に応じて、面内予測部251に対して面内予測モードを切り替えるように指示する。面内予測部251は、面内予測モード切替部252より指示された、面内予測モードにより面内予測用参照画群162を用いて対象ブロックの面内予測画像164を生成し、出力する。また、面内予測部251は、1つの面内予測モードによる面内予測画像164の生成を完了する毎に、予測完了信号256として値[1]を出力する。
FIG. 32 is a block diagram illustrating a configuration of the in-plane
図33は予測差分計算部152の構成を示すブロック図である。予測差分計算部152は、図33に示すように引き算回路261を備え、入力画像と面内予測画像との差分画像を出力する。引き算回路261は、入力された入力画像161および面内予測画像164の差分を計算し、計算した結果を予測差分画像165として出力する。すなわち、引き算回路261は、面内予測画像164の各画素値と、入力画像の対応する各画素値の差を画素値として持つ予測差分画像165を出力する。
FIG. 33 is a block diagram illustrating a configuration of the prediction
図34は符号化効率評価部153の構成を示すブロック図である。符号化効率評価部153は、図34(a)に示すように乗算器271、比較器272、スイッチ273、加算器274、およびレジスタ275を備え、予測差分画像を元に符号化効率の評価値を出力する。評価値166は、予測差分画像165の各画素の絶対値和である。予測差分画像165は、予測差分計算部152より、時分割で各画素の値が順次出力されるものである。予測差分画像165は、比較器272により値[0]と比較され、比較器272の出力284は、予測差分画像165の画素値が[0]以下の場合は値[1]を、予測差分画像165の画素値が[0]を超える場合は値[0]を持つ。スイッチ273は、図34(b)に示すように入力される値xに基づいて入力される値aまたは値bを切り替えて出力値cとして出力する。ここでは、比較器272の出力284は、スイッチ273を制御し、スイッチ273の出力280は、比較器272の出力284が値[1]の場合には値[−1]を、比較器272の出力284が値[0]の場合には値[1]を持つ。乗算器271は、予測差分画像165と、スイッチ273の出力280との乗算を行う。これにより、乗算器271の出力285は、予測差分画像165の絶対値に等しい値となる。加算器274は、乗算器271の出力285と、遅延器275の出力282との加算を行う。ここで、単位ブロックの先頭画素に対して処理されている間は、遅延器275の出力282は[0]となるよう制御しておく(図示せず)。予測差分画像165の先頭画素に対して処理されたデータが加算器274において処理される時には、評価値166は、予測差分画像165の先頭画素の絶対値を出力として持つ。遅延器275は、1画素分の遅延を行い、予測差分画像165のn番目の画素に対して処理されたデータを加算器274において処理する時には、評価値166の値は、予測差分画像165のn−1番目の画素までの画素値の絶対値和に等しい。よって、加算器274の出力281の値は、予測差分画像165のn番目の画素までの画素値の絶対値和に等しくなる。以上の処理により、最終的に予測差分画像165の絶対値和が、評価値166として出力される。
FIG. 34 is a block diagram showing the configuration of the coding
図35は面内予測モード決定部154の構成を示すブロック図である。面内予測モード決定部154は、図35に示すように予測差分画像格納メモリ291、比較器292、NOT回路293、レジスタ294、およびレジスタ295を備え、評価値の最も小さい面内予測モードと、その面内予測モードによって予測された時の予測差分画像を出力する。比較器292には、評価値166と、読み出しデータ302とが入力される。ここで、レジスタ294には、書き込みイネーブル信号301が値[1]の時にのみ、評価値166の値が書き込まれ、読み出しデータ302には、書き込みイネーブル信号301の値に関わらず、書き込まれているレジスタ294の値が出力される。レジスタ294には、初期状態で、あらかじめ、評価値166の取り得る最大値よりも大きい値を書き込んでおく。面内予測モード情報163には、時分割で、試行する面内予測モードの予測モード情報が順次入力され、評価値166には、面内予測モード情報163に基づいて予測された結果の評価値が順次入力される。時分割で順次入力されるうちの第1番目の評価値が評価値166に与えられた場合には、評価値166の値は読み出しデータ302未満であるので比較器292の出力303は値[0]を出力し、NOT回路293により、書き込みイネーブル信号301値は値[1]にセットされる。書き込みイネーブル信号301が値[1]である場合、その時点の面内予測モード情報163に基づいて予測された結果の予測差分画像である予測差分画像165が予測差分画像格納メモリ291に格納され、面内予測モード情報163の値がレジスタ295へ書き込まれる。時分割で順次入力されるうちの第k番目の評価値が評価値166に与えられた場合には、第1番目から第k−1番目までの評価値のうち、最も小さい値が読み出しデータ302として出力されており、比較器292では、この読み出しデータ302と、第k番目の評価値166とを比較し、第k番目の評価値166が読み出しデータ302の値未満の場合には、比較器292の出力303は値[0]を出力し、このとき、NOT回路293により、書き込みイネーブル信号301値は値[1]にセットされる。書き込みイネーブル信号301が値[1]である場合、その時点の面内予測モード情報163に基づいて予測された結果の予測差分画像である予測差分画像165が予測差分画像格納メモリ291に格納され、面内予測モード情報163の値がレジスタ295へ書き込まれる。また、第k番目の評価値166が読み出しデータ302の値以上の場合は、比較器292の出力303は値[1]を出力する。このとき、NOT回路293により、書き込みイネーブル信号301値は値[0]にセットされ、予測差分画像格納メモリ291、ならびにレジスタ295への新たなデータの格納は行われない。以上により、予測単位ブロックに対するすべての面内予測モードに対応する評価値166に関する処理を行った結果、最も評価値の小さい面内予測モードに対応する面内予測モード情報がレジスタ295に格納され、その情報は面内予測モード情報167として出力され、また、その面内予測モードに対応する予測差分画像が、予測差分画像格納メモリ291に格納され、その画像データは予測差分画像168として出力される。
FIG. 35 is a block diagram showing the configuration of the in-plane prediction
符号化部155は、入力された面内予測モード情報167および予測差分画像168を符号化処理し、符号化画像169を出力する。符号化処理は、予測差分画像168に関しては、DCT変換などの周波数変換を行った後変換係数を量子化し、その値を可変長符号化あるいは算術符号化等によって符号化を行う。また、面内予測モード情報167に関しては可変長符号化あるいは算術符号化等によって符号化を行う。
The
図36は、面内予測符号化装置100における面内予測符号化方法を説明するフローチャートである。ただし、これは予測単位ブロックあたりの処理を示している。
FIG. 36 is a flowchart for explaining an intra prediction encoding method in the intra
あらかじめ、変数min_costに、評価値166の取り得る最大値よりも大きい値を代入しておく(ステップS11)。次に面内予測モード情報163をmodeとして、modeが[0]である面内予測モードから、順に(ステップS12)、面内予測を行い、面内予測画像164であるpredImg(mode)を生成する(ステップS13)。続いて、生成した面内予測画像predImg(mode)と、入力画像161との予測差分画像165であるdiffImg(mode)を生成する(ステップS14)。次に、この予測差分画像diffImg(mode)を元にして、面内予測モードmodeに対応する評価値166であるcost(mode)を計算する(ステップS15)。これを、値min_costと比較し(ステップS16)、評価値cost(mode)の方がより小さい場合(ステップS16でYes)に、変数min_costに評価値cost(mode)を格納し(ステップS17)、変数best_modeに予測モード情報modeを格納し(ステップS18)、変数best_diffImgに、予測差分画像diffImg(mode)を格納する(ステップS19)。面内予測画像predImg(mode)の生成処理以降の一連の手順(ステップS13〜ステップS19)をmode=0,1,・・・,8に対して実行し(ステップS12)、最終的に最も評価値166の小さい面内予測モードに対応する面内予測モード情報167であるbest_modeと、その面内予測モードによって予測した画像と入力画像161との差分画像、すなわち予測差分画像168であるbest_diffImgに対して符号化を行い、符号化画像169を生成する(ステップS20)。
上記説明した面内予測符号化装置においては、ハードウェアコスト削減あるいはソフトウェア処理量削減、および予測精度向上による画質向上が求められる。 In the in-plane predictive coding apparatus described above, it is required to improve the image quality by reducing the hardware cost or the software processing amount and improving the prediction accuracy.
そこで、本発明は上記の事情に鑑みてなされたものであり、同程度のハードウェアコストを維持しながら、あるいは同程度のソフトウェア処理量を維持しながら、予測精度を向上させる面内予測符号化装置、面内予測符号化方法、およびプログラムを提供することを目的とする。 Accordingly, the present invention has been made in view of the above circumstances, and in-plane predictive coding that improves prediction accuracy while maintaining the same hardware cost or maintaining the same amount of software processing. An object is to provide an apparatus, an in-plane prediction encoding method, and a program.
上記目的を達成するために、本発明に係る面内予測符号化方法は、対象ブロックに対して面内予測を行う面内予測方式の候補となる少なくとも1つの面内予測方式候補を、面内予測符号化のために与えられた資源量に応じて決定する面内予測方式候補決定ステップと、前記対象ブロックに対して、前記面内予測方式候補決定ステップにより決定された前記面内予測方式候補すべての面内予測方式で面内予測を実行し、面内予測画像を生成する面内予測実行ステップと、前記対象ブロックの入力画像と、前記面内予測実行ステップにより生成された前記面内予測画像との、各画素の差分値を各画素値として持つ差分画像を生成する予測差分計算ステップと、前記予測差分計算ステップにより生成された前記差分画像に基づいて、対応する前記面内予測方式を用いて符号化した場合の符号化効率の評価値を算出する符号化効率評価ステップと、前記符号化効率評価ステップにより算出された前記評価値に基づいて、前記面内予測方式候補の中から前記対象ブロックを符号化する面内予測方式を決定する面内予測方式決定ステップと、前記面内予測方式決定ステップにより決定された前記面内予測方式を示す面内予測方式情報と、前記面内予測方式決定ステップにより決定された前記面内予測方式を用いて面内予測を行った前記面内予測画像に対応する前記差分画像を符号化する符号化ステップとを含むことを特徴とする。 In order to achieve the above object, an intra prediction encoding method according to the present invention provides at least one intra prediction method candidate that is a candidate of an intra prediction method for performing intra prediction on a target block. In-plane prediction method candidate determination step determined according to the amount of resources given for predictive encoding, and the intra-prediction method candidate determined by the in-plane prediction method candidate determination step for the target block In-plane prediction is executed by all in-plane prediction methods to generate an in-plane prediction image, the input image of the target block, and the in-plane prediction generated by the in-plane prediction execution step. A prediction difference calculation step of generating a difference image having a difference value of each pixel as each pixel value with the image, and the corresponding surface based on the difference image generated by the prediction difference calculation step An encoding efficiency evaluation step for calculating an evaluation value of encoding efficiency when encoding using a prediction method, and the evaluation value calculated in the encoding efficiency evaluation step, the in-plane prediction method candidate An intra prediction method determining step for determining an intra prediction method for encoding the target block from within, an intra prediction method information indicating the intra prediction method determined by the intra prediction method determination step, and And an encoding step of encoding the difference image corresponding to the in-plane prediction image that has been subjected to the in-plane prediction using the in-plane prediction method determined in the in-plane prediction method determination step. .
これによって、面内予測方式を決定する際に、一旦すべての面内予測方式で面内予測を実行して面内予測画像を生成する必要がなく、面内予測方式候補の面内予測方式だけで面内予測を実行して面内予測画像を生成すればよいので、単位時間あたりの利用資源量の最大値を維持しながら、面内予測符号化の符号化効率向上が可能となり、ハードウェアコストやソフトウェア処理量を抑えて符号化効率を向上することができる。 As a result, when determining the in-plane prediction method, it is not necessary to generate in-plane prediction images by executing in-plane prediction once with all the in-plane prediction methods, but only the in-plane prediction method of the in-plane prediction method candidate. In-plane prediction can be performed in order to generate an in-plane prediction image, so that the encoding efficiency of in-plane prediction encoding can be improved while maintaining the maximum amount of resource used per unit time. Coding efficiency can be improved while suppressing cost and software processing amount.
なお、面内予測符号化装置に与えられた資源量とは、例えば予測単位ブロックあたりに実行可能なハードウェアサイクル数もしくはソフトウェア処理量などであってもよい。 Note that the resource amount given to the intra prediction encoding apparatus may be, for example, the number of hardware cycles or software processing amount that can be executed per prediction unit block.
ここで、前記面内予測方式は、前記対象ブロックに隣接する符号化済みの復号画素をどのように用いて前記面内予測画像を生成するかを示す面内予測モードであり、前記面内予測方式候補決定ステップでは、前記資源量に応じて前記面内予測モード候補を決定し、前記面内予測方式決定ステップでは、前記評価値に基づいて、前記面内予測モード候補の中から前記対象ブロックを符号化する面内予測モードを決定してもよい。 Here, the intra-prediction method is an intra-prediction mode indicating how to use the encoded decoded pixels adjacent to the target block to generate the intra-predicted image, and the intra-prediction mode. In the method candidate determination step, the in-plane prediction mode candidate is determined according to the resource amount, and in the in-plane prediction method determination step, the target block is selected from the in-plane prediction mode candidates based on the evaluation value. The in-plane prediction mode for encoding may be determined.
これによって、面内予測モード候補の中の面内予測モードだけで面内予測を実行して面内予測画像を生成すればよいので、単位時間あたりの利用資源量の最大値を維持しながら、面内予測符号化の符号化効率向上が可能となり、ハードウェアコストやソフトウェア処理量を抑えて符号化効率を向上することができる。 Thereby, since it is only necessary to generate an in-plane prediction image by performing in-plane prediction only in the in-plane prediction mode among the in-plane prediction mode candidates, while maintaining the maximum value of the amount of resource used per unit time, It is possible to improve the coding efficiency of in-plane prediction coding, and it is possible to improve the coding efficiency by reducing the hardware cost and the amount of software processing.
また、前記面内予測方式は、前記対象ブロックのブロックサイズである面内予測単位であり、前記面内予測方式候補決定ステップでは、前記資源量に応じて前記面内予測単位候補を決定し、前記面内予測方式決定ステップでは、前記評価値に基づいて、前記面内予測単位候補の中から面内予測単位を決定してもよい。 The in-plane prediction method is an in-plane prediction unit that is a block size of the target block, and the in-plane prediction method candidate determining step determines the in-plane prediction unit candidate according to the resource amount, In the in-plane prediction method determining step, an in-plane prediction unit may be determined from the in-plane prediction unit candidates based on the evaluation value.
これによって、面内予測単位候補の中の面内予測単位だけで面内予測を実行して面内予測画像を生成すればよいので、単位時間あたりの利用資源量の最大値を維持しながら、面内予測符号化の符号化効率向上が可能となり、ハードウェアコストやソフトウェア処理量を抑えて符号化効率を向上することができる。 By doing this, it is only necessary to generate an in-plane prediction image by performing in-plane prediction with only the in-plane prediction unit in the in-plane prediction unit candidate, so while maintaining the maximum value of the amount of resource used per unit time, It is possible to improve the coding efficiency of in-plane prediction coding, and it is possible to improve the coding efficiency by reducing the hardware cost and the amount of software processing.
また、前記面内予測方式候補決定ステップでは、前記資源量に応じて前記面内予測方式候補の決定方法を、複数の決定方法の中から選択してもよい。 In the in-plane prediction method candidate determination step, a method for determining the in-plane prediction method candidate may be selected from a plurality of determination methods according to the resource amount.
これによって、面内予測符号化装置に与えられた資源量が増加した場合には、面内予測精度を向上させるために、より処理量の多い面内予測モード候補決定処理を実行することが可能となり、符号化効率を向上させることが可能である。 As a result, when the amount of resources given to the intra prediction encoding apparatus increases, in order to improve the intra prediction accuracy, it is possible to execute an intra prediction mode candidate determination process with a larger amount of processing. Thus, the encoding efficiency can be improved.
また、前記面内予測方式候補決定ステップでは、符号化対象である入力画像の水平画素数と垂直画素数との積が小さくなるにしたがって、前記資源量が多くなると判断し、前記入力画像の水平画素数と垂直画素数との積に応じて前記面内予測方式候補を決定してもよい。 In the in-plane prediction method candidate determination step, it is determined that the resource amount increases as the product of the number of horizontal pixels and the number of vertical pixels of the input image to be encoded decreases, and the horizontal direction of the input image is determined. The in-plane prediction method candidate may be determined according to the product of the number of pixels and the number of vertical pixels.
これによって、符号化画像サイズが小さくなった場合、面内予測精度を向上させるために、面内予測方式候補数を増やすことで、符号化効率を向上させることが可能である。 Accordingly, when the encoded image size is reduced, in order to improve the intra prediction accuracy, it is possible to improve the encoding efficiency by increasing the number of candidates for the intra prediction method.
また、前記面内予測方式候補決定ステップでは、符号化対象である入力画像の単位時間あたりに符号化するフレームまたはフィールドの枚数が少なくなるにしたがって、前記資源量が多くなると判断し、前記フレームまたはフィールドの枚数に応じて前記面内予測方式候補を決定してもよい。 In the in-plane prediction method candidate determination step, it is determined that the resource amount increases as the number of frames or fields to be encoded per unit time of the input image to be encoded decreases, The in-plane prediction method candidate may be determined according to the number of fields.
これによって、符号化対象の入力画像のフレームレートがより低い場合に、面内予測精度を向上させるために、面内予測方式候補数を増やすことで、符号化効率を向上させることが可能である。 As a result, when the frame rate of the input image to be encoded is lower, in order to improve the intra prediction accuracy, it is possible to improve the encoding efficiency by increasing the number of intra prediction methods candidates. .
また、前記面内予測方式候補決定ステップでは、符号化対象である入力画像のピクチャの予測タイプが、1つまたは複数のピクチャを参照して予測画像を生成する画面間予測を行う予測タイプB、1つのピクチャを参照して予測画像を生成する画面間予測を行う予測タイプP、画面間予測を行わない予測タイプI、である順に前記資源量が多くなると判断し、前記ピクチャの予測タイプに基づいて前記面内予測方式候補を決定してもよい。 Further, in the in-plane prediction method candidate determination step, a prediction type B for performing inter-screen prediction in which a prediction type of a picture of an input image to be encoded generates a predicted image with reference to one or a plurality of pictures, Based on the prediction type of the picture, it is determined that the resource amount increases in the order of a prediction type P that performs inter-screen prediction that generates a predicted image with reference to one picture, and a prediction type I that does not perform inter-screen prediction. The in-plane prediction method candidate may be determined.
これによって、予測タイプBより予測タイプPの場合を、さらに予測タイプPより予測タイプIの場合を、面内予測精度を向上させるために、面内予測方式候補数を増やすことで、符号化効率を向上させることが可能である。 Thus, in order to improve the in-plane prediction accuracy in the case of the prediction type P from the prediction type B and further in the case of the prediction type I from the prediction type P, the coding efficiency is increased by increasing the number of in-plane prediction scheme candidates. It is possible to improve.
さらに、本発明は、このような面内予測符号化方法として実現することができるだけでなく、このような面内予測符号化方法が含む特徴的なステップを手段として備える面内予測符号化装置として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、CD−ROM等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。 Furthermore, the present invention can be realized not only as such an intra prediction encoding method, but also as an intra prediction encoding device provided with the characteristic steps included in such an intra prediction encoding method. It can also be realized as a program that causes a computer to execute these steps. Needless to say, such a program can be distributed via a recording medium such as a CD-ROM or a transmission medium such as the Internet.
以上の説明から明らかなように、本発明に係る面内予測符号化方法によれば、単位時間あたりの利用資源量の最大値を維持しながら、面内予測符号化の符号化効率向上が可能となり、ハードウェアコストやソフトウェア処理量を抑えて符号化効率を向上することができる。 As is clear from the above description, according to the intra prediction encoding method according to the present invention, it is possible to improve the encoding efficiency of intra prediction encoding while maintaining the maximum value of the amount of resources used per unit time. Thus, it is possible to improve the coding efficiency by suppressing the hardware cost and the amount of software processing.
本発明の実施の形態について、図面を参照して説明する。
(第1実施形態)
図1は、本発明の第1実施形態に係る面内予測符号化装置の構成を示すブロック図である。本実施形態の面内予測符号化装置150aは、面内予測モード候補の決定方法を、面内予測符号化装置に与えられた資源量に基づいて切り替える点に特徴を有している。
Embodiments of the present invention will be described with reference to the drawings.
(First embodiment)
FIG. 1 is a block diagram showing a configuration of an intra prediction encoding apparatus according to the first embodiment of the present invention. The intra
面内予測符号化装置150aは、図1に示すように、面内予測符号化装置に与えられた資源量172を元にして、試行する面内予測モード候補を面内予測モード候補指定情報170として指定する面内予測モード候補決定部156aと、同一画面内の符号化後の画素としての面内予測用参照画素群162を入力とし面内予測画像164と面内予測モード情報163を出力とする面内予測実行部151と、入力画像161と面内予測画像164と面内予測モード情報163を入力とし予測差分画像165を出力とする予測差分計算部152と、予測差分画像165を入力とし評価値166を出力とする符号化効率評価部153と、面内予測モード情報163と予測差分画像165と評価値166を入力とし予測差分画像168と面内予測モード情報167を出力とする面内予測モード決定部154と、面内予測モード情報167と予測差分画像168を入力とし符号化画像169出力とする符号化部155とを備えている。
As illustrated in FIG. 1, the intra
面内予測モード候補決定部156aは、面内予測モードを決定するために試行する面内予測モード候補を、面内予測モード候補指定情報170として指定する。このとき、面内予測モード候補決定部156aは、面内予測符号化装置に与えられた資源量172に基づいて面内予測モード候補決定方法を切り替えて、面内予測モード候補を決定する。
The in-plane prediction mode
図2は面内予測モード候補決定部156aの構成を示すブロック図である。面内予測モード候補決定部156aは、図2(a)に示すように比較器180a、180b、論理ゲート181a、181b、およびモード候補決定部182a〜182cを備え、面内予測符号化装置に与えられた資源量に応じて、試行する面内予測モードの候補を決定する。比較器180a、180bは、図2(b)に示すように入力される値aおよび値bを比較し、値aが値b以下であれば[1]を出力し、それ以外であれば[0]を出力する。ここでは、比較器180aは、入力された、面内予測符号化装置に与えられた資源量172が閾値TH1以下の場合は[1]を出力し、閾値TH1を超える場合は[0]を出力する。同様に、比較器180bは、入力された、面内予測符号化装置に与えられた資源量172が閾値TH2以下の場合は[1]を出力し、閾値TH1を超える場合は[0]を出力する。ここで、閾値TH1は閾値TH2未満であるとする。論理ゲート181a、181b、比較器180aは、モード候補決定部182a〜182cを切り替えるための動作イネーブル信号185a〜185cを生成する。
FIG. 2 is a block diagram illustrating a configuration of the in-plane prediction mode
動作イネーブル信号185aは、面内予測符号化装置に与えられた資源量172が閾値TH1以下の場合に値[1]を有し、それ以外の場合は値[0]を有する。動作イネーブル信号185aが値[1]である場合、モード候補決定部182aが有効となり、このモード候補決定部182aによって面内予測モード候補が決定され、面内予測モード候補指定情報170として出力される。
The operation enable
動作イネーブル信号185bは、面内予測符号化装置に与えられた資源量172が閾値TH1よりも大きく、かつ閾値TH2以下である場合に値[1]を有し、それ以外の場合は値[0]を有する。動作イネーブル信号185bが値[1]である場合、モード候補決定部182bが有効となり、このモード候補決定部182bによって面内予測モード候補が決定され、面内予測モード候補指定情報170として出力される。
The operation enable
動作イネーブル信号185cは、面内予測符号化装置に与えられた資源量172が閾値TH2よりも大きい場合に値[1]を有し、それ以外の場合は値[0]を有する。動作イネーブル信号185cが値[1]である場合、モード候補決定部182cが有効となり、このモード候補決定部182cによって面内予測モード候補が決定され、面内予測モード候補指定情報170として出力される。
The operation enable
ここで、モード候補決定部182aは、資源量をあまり必要とせずに面内予測モード候補を簡易に決定し、またモード候補決定部182bは、モード候補決定部182aに比べて資源量をより多く必要とするが、より高い精度で面内予測モード候補を決定することが可能であり、さらにモード候補決定部182cは、モード候補決定部182bに比べて資源量をさらにより多く必要とし、より高い精度で面内予測モード候補を決定することが可能なモード候補決定部である。なお上記資源量とは、例えばハードウェア処理サイクル数や、ソフトウェア処理量などを指し、必要とする資源量とは、モード候補決定部だけでなく、面内予測符号化装置150a全体が、予測単位ブロック1つあたりに必要とする資源量のことを指すものとする。また面内予測モード候補決定にあたっての精度については、通常、決定した候補の中で最も符号化効率の高い面内予測モードを用いて符号化を行った際の符号化効率がより高い場合に、より精度の高い候補決定方法である、という。
Here, the mode
モード候補決定部182a〜cの例を述べる。モード候補決定部182aは、常にDC予測モードのみを面内予測モード候補とする。モード候補決定部182bは、対象ブロック内の画像のエッジ方向を抽出し、その方向に近い予測方向を持つ面内予測モード1個と、DC予測モードとを候補として決定する。モード候補決定部182cは、対象ブロック内の画像のエッジ方向を抽出し、その方向に近い予測方向を持つ面内予測モード3個と、DC予測モードとを候補として決定する。画像のエッジ方向に近い面内予測モードを候補として選ぶのは、エッジと平行な方向では画素同士の相関が高く、精度の高い予測が可能と考えられるからである。なお、上記エッジ方向の検出方法は、どのような方法を用いても良く、例えば良く知られているソーベルフィルタを用いて水平・垂直方向のエッジの度合いを算出するなどが考えられる。
An example of the mode
これにより、面内予測符号化装置に与えられた資源量が増加した場合には、それを有効利用し、より符号化効率の高い面内予測が可能となるような、モード候補決定部に切り替えることができる。 As a result, when the amount of resources given to the intra prediction encoding apparatus increases, the mode candidate determination unit is switched so that it can be used effectively and in-plane prediction with higher encoding efficiency is possible. be able to.
面内予測実行部151は、面内予測モード候補指定情報170で指定された面内予測モード候補それぞれを用いて面内予測を時分割で順次実行する。すなわち、面内予測実行部151は、面内予測用参照画素群162から対象ブロックの画素を、各面内予測モードを用いて面内予測し、その予測画像を面内予測画像164として出力する。加えて、面内予測実行部151は、面内予測画像164を生成する際に用いた予測モードに関する情報を、面内予測モード情報163として出力する。
The in-plane
図3は面内予測実行部151の構成を示すブロック図である。面内予測実行部151は、図3に示すようにカウンタ部253、面内予測モード切替部252、面内予測部251、および予測候補有効性判定部254を備え、指定された面内予測モード候補それぞれを用いた面内予測を時分割で順次実行する。カウンタ部253は、カウント値出力257として、値[0]から値[8]までを順次出力する。カウント値出力257の値のカウントアップ動作は、予測完了信号256か判定値258のいずれかが値[0]から値[1]に変化した後に1度のみ実行する。予測候補有効性判定部254は、カウント値出力257で示される値を面内予測モード情報として持つ面内予測モードが、面内予測モード候補指定情報170で示される面内予測モード候補に含まれている場合に、判定値258を値[0]として出力し、面内予測モード情報163として、カウント値出力257の値を出力する。そうでない場合は、判定値258を値[1]として出力し、面内予測モード情報163の値は更新しない。面内予測モード切替部252、面内予測部251は、背景技術において説明した通りである。
FIG. 3 is a block diagram illustrating a configuration of the in-plane
なお、面内予測参照画素群162のうち一部もしくは全てが参照不能である場合(例えば、対象ブロックが画面端のブロックで参照画素が存在しない場合、もしくは参照画素が符号化の順序によりまだ符号化されていない場合など)など必要な参照画素が使用できない場合には、指定された面内予測モード候補であっても面内予測を行わなくても構わない。
In addition, when some or all of the in-plane prediction
予測差分計算部152、符号化効率評価部153、面内予測モード決定部154、符号化部155に関しては、背景技術において説明した通りである。
The prediction
図4は、面内予測符号化装置150aにおける面内予測符号化方法を説明するフローチャートである。ただし、これは予測単位ブロックあたりの処理を示している。
FIG. 4 is a flowchart for explaining an intra prediction encoding method in the intra
まず、面内予測符号化装置に与えられた資源量172としてのnum_cycleを取得する(ステップS51)。この資源量num_cycleと、閾値TH1とを比較する(ステップS52)。この結果、資源量num_cycleが閾値TH1以下である場合(ステップS52でYes)には、面内予測モード候補決定方法aにより面内予測モード候補指定情報170としてのvalid_mode[i](i=0,1,・・・,8)の値を設定する(ステップS54)。すなわち、モード候補決定部182aが面内予測モード候補指定情報valid_mode[i]を設定する。ここで、i=0,1,・・・,8は各面内予測モードを示しており、例えば、面内予測モード候補指定情報valid_mode[0]は、面内予測モード情報が値[0]である面内予測モードが、面内予測モード候補であるかどうかを示し、面内予測モード候補指定情報valid_mode[0]が値[0]である場合は、面内予測モード候補ではないことを意味し、面内予測モード候補指定情報valid_mode[0]が値[1]である場合は、面内予測モード候補であることを意味する。一方、資源量num_cycleが閾値TH1よりも大きい場合(ステップS52でNo)は、資源量num_cycleと閾値TH2とを比較する(ステップS53)。この結果、資源量num_cycleが閾値TH2以下である場合(ステップS53でYes)は、面内予測モード候補決定方法bにより面内予測モード候補指定情報valid_mode[i](i=0,1,・・・,8)の値を設定する(ステップS55)。すなわち、モード候補決定部182bが面内予測モード候補指定情報valid_mode[i]を設定する。そして、資源量num_cycleが閾値TH2よりも大きい場合(ステップS53でNo)は、面内予測モード候補決定方法cにより面内予測モード候補指定情報valid_mode[i](i=0,1,・・・,8)の値を設定する(ステップS56)。すなわち、モード候補決定部182cが面内予測モード候補指定情報valid_mode[i]を設定する。
First, num_cycle is acquired as the
以上により、面内予測モード候補指定情報170としてのvalid_mode[i](i=0,1,・・・,8)の値をあらかじめ設定しておき、加えて、変数min_costに、評価値166の取り得る最大値よりも大きい値を代入しておく(ステップS11)。次に面内予測モード情報163をmodeとして、mode=0,1,・・・,8に対して(ステップS12)、順次、面内予測画像predImg(mode)の生成処理以降の一連の手順(ステップS13〜19)を実行する。その際、面内予測モード候補指定情報valid_mode[mode]が値[0]である場合には、面内予測画像predImg(mode)の生成処理以降の一連の手順(ステップS13〜19)をスキップする(ステップS57)。mode=0,1,・・・,8に対する一連の手順を終了した後、符号化画像169を生成する(ステップS20)。なお、面内予測画像predImg(mode)の生成処理以降の一連の手順(ステップS13〜S20)に関しては、背景技術において説明した通りである。また、符号化の処理(ステップS20)は、予測単位ブロックを単位とせず、いくつかの予測単位ブロックに対応する、最も評価値166の小さい面内予測モードを示す面内予測モード情報best_mode、およびその面内予測モードにおける予測差分画像best_diffImgが求まった後、一括して実行するなどしてもよい。
As described above, the value of valid_mode [i] (i = 0, 1,..., 8) as the in-plane prediction mode
なお、以上の面内予測符号化方法は、コンピュータを用いてプログラムとして実現することも可能である。 Note that the above-described in-plane predictive coding method can also be realized as a program using a computer.
以上のように、面内予測符号化装置に与えられた資源量が増加した場合には、それに応じて、符号化効率のより高い、より資源量を多く必要とする面内予測符号化を行うように、面内予測候補決定方法を切り替える。これによって、単位時間あたりの利用資源量の最大値を維持しながら、面内予測符号化の符号化効率向上が可能となり、ハードウェアコストやソフトウェア処理量を抑えた符号化効率向上が可能となる。 As described above, when the amount of resources given to the in-plane predictive coding apparatus increases, the in-plane predictive coding that requires higher resource amount and higher coding efficiency is performed accordingly. As described above, the in-plane prediction candidate determination method is switched. As a result, it is possible to improve the coding efficiency of in-plane predictive coding while maintaining the maximum value of the resource usage amount per unit time, and it is possible to improve the coding efficiency with reduced hardware cost and software processing amount. .
(第2実施形態)
図5は、本発明の第2実施形態に係る面内予測符号化装置の構成を示すブロック図である。本実施形態の面内予測符号化装置150bは、面内予測モード候補の決定方法を、符号化画像サイズ情報に基づいて切り替える点に特徴を有している。
(Second Embodiment)
FIG. 5 is a block diagram showing a configuration of an intra prediction encoding apparatus according to the second embodiment of the present invention. The intra
面内予測符号化装置150bは、図5に示すように符号化画像サイズ情報173を元にして、試行する面内予測モード候補を面内予測モード候補指定情報170として指定する面内予測モード候補決定部156bと、同一画面内の符号化後の画素としての面内予測用参照画素群162を入力とし面内予測画像164と面内予測モード情報163を出力とする面内予測実行部151と、入力画像161と面内予測画像164と面内予測モード情報163を入力とし予測差分画像165を出力とする予測差分計算部152と、予測差分画像165を入力とし評価値166を出力とする符号化効率評価部153と、面内予測モード情報163と予測差分画像165と評価値166を入力とし予測差分画像168と面内予測モード情報167を出力とする面内予測モード決定部154と、面内予測モード情報167と予測差分画像168を入力とし符号化画像169出力とする符号化部155とを備えている。
As shown in FIG. 5, the intra
面内予測モード候補決定部156bは、面内予測モードを決定するために試行する面内予測モード候補を、面内予測モード候補指定情報170として指定する。このとき、面内予測モード候補決定部156bは、符号化画像サイズ情報173に基づいて面内予測モード候補決定方法を切り替えて、面内予測モード候補を決定する。ここで、符号化画像サイズ情報173は、符号化画像横幅値173aと符号化画像縦幅値173bとを合わせたものである。
The in-plane prediction mode
図6は、面内予測モード候補決定部156bの構成を示すブロック図である。面内予測モード候補決定部156bは、図6に示すように比較器180a、180b、論理ゲート181a、181c〜181g、およびモード候補決定部182a〜182cを備え、符号化画像サイズに応じて、試行する面内予測モードの候補を決定する。ここでは、比較器180aは、入力された符号化画像横幅値173aが値[352]以下の場合は値[1]を出力し、符号化画像縦幅値173aが値[352]を超える場合は値[0]を出力する。同様に、比較器180bは、入力された符号化画像縦幅値173bが値[240]以下の場合は値[1]を出力し、符号化画像縦幅値173bが値[240]を超える場合は値[0]を出力する。論理ゲート181d〜181fは、モード候補決定部182a〜182cを切り替えるための動作イネーブル信号185a〜185cを生成する。
FIG. 6 is a block diagram illustrating a configuration of the in-plane prediction mode
動作イネーブル信号185aは、符号化画像横幅値173aが値[352]を超え、かつ符号化画像縦幅値173bが値[240]を超える場合に値[1]を有し、それ以外の場合は値[0]を有する。動作イネーブル信号185aが値[1]である場合、モード候補決定部182aが有効となり、このモード候補決定部182aによって面内予測モード候補が決定され、決定された単一もしくは複数の面内予測モード候補が面内予測モード候補指定情報170として出力される。
The operation enable
動作イネーブル信号185bは、符号化画像横幅値173aが値[352]以下で、かつ符号化画像縦幅値173bが値[240]を超えるか、または、符号化画像横幅値173aが値[352]を超え、かつ符号化画像縦幅値173bが値[240]以下であるかの、いずれかの場合に値[1]を有し、それ以外の場合は値[0]を有する。動作イネーブル信号185bが値[1]である場合、モード候補決定部182bが有効となり、このモード候補決定部182bによって面内予測モード候補が決定され、決定された単一もしくは複数の面内予測モード候補が、面内予測モード候補指定情報170として出力される。
In the operation enable
動作イネーブル信号185cは、符号化画像横幅値173aが値[352]以下で、かつ符号化画像縦幅値173bが値[240]以下である場合に値[1]を有し、それ以外の場合は値[0]を有する。動作イネーブル信号185cが値[1]である場合、モード候補決定部182cが有効となり、このモード候補決定部182cによって面内予測モード候補が決定され、決定された単一もしくは複数の面内予測モード候補が、面内予測モード候補指定情報170として出力される。
The operation enable
これにより、符号化画像サイズが小さい場合には、その分、面内予測符号化装置に与えられた資源量が増加するために、より処理サイクルを多く必要とするが、その分より符号化効率の高い面内予測が可能となるような、モード候補決定部に切り替えることができる。 As a result, when the encoded image size is small, the amount of resources given to the in-plane predictive encoding apparatus is increased correspondingly, so that more processing cycles are required. It is possible to switch to a mode candidate determination unit that enables high in-plane prediction.
予測差分計算部152、符号化効率評価部153、面内予測モード決定部154、符号化部155に関しては、背景技術において説明した通りである。また、面内予測実行部151に関しては、第1実施形態において説明した通りである。
The prediction
図7は、面内予測符号化装置150bにおける面内予測符号化方法を説明するフローチャートである。ただし、これは予測単位ブロックあたりの処理を示している。
FIG. 7 is a flowchart for explaining an intra prediction encoding method in the intra
まず、符号化画像サイズ情報173である符号化画像横幅値ImgWidth、符号化画像縦幅値ImgHeightを取得する(ステップS151)。この符号化画像横幅値ImgWidthと値[352]とを、符号化画像縦幅値ImgHeightと値[240]とを比較する(ステップS152)。この結果、符号化画像横幅値ImgWidthが値[352]よりも大きく、かつ符号化画像縦幅値ImgHeightが値[240]よりも大きい場合(ステップS152でYes)、面内予測モード候補決定方法aにより面内予測モード候補指定情報170としてのvalid_mode[i](i=0,1,・・・,8)の値を設定する(ステップS54)。すなわち、モード候補決定部182aが面内予測モード候補指定情報valid_mode[i]を設定する。それ以外の場合(ステップS152でNo)は、さらに符号化画像横幅値ImgWidthと値[352]とを、符号化画像縦幅値ImgHeightと値[240]とを比較する(ステップS153)。この結果、符号化画像横幅値ImgWidthが値[352]よりも大きいか、または符号化画像縦幅値ImgHeightが値[240]よりも大きい場合(ステップS153でYes)は、面内予測モード候補決定方法bにより面内予測モード候補指定情報valid_mode[i](i=0,1,・・・,8)の値を設定する(ステップS55)。すなわち、モード候補決定部182bが面内予測モード候補指定情報valid_mode[i]を設定する。そして、それ以外の場合(ステップS153でNo)は、面内予測モード候補決定方法cにより面内予測モード候補指定情報valid_mode[i](i=0,1,・・・,8)の値を設定する(ステップS56)。すなわち、モード候補決定部182cが面内予測モード候補指定情報valid_mode[i]を設定する。
First, the encoded image width value ImgWidth and the encoded image length value ImgHeight that are the encoded
以上により、面内予測モード候補指定情報170としてのvalid_mode[i](i=0,1,・・・,8)の値をあらかじめ設定しておき、加えて、変数min_costに、評価値166の取り得る最大値よりも大きい値を代入しておく(ステップS11)。次に面内予測モード情報163をmodeとして、mode=0,1,・・・,8に対して(ステップS12)、順次、面内予測画像predImg(mode)の生成処理以降の一連の手順(ステップS13〜19)を実行する。その際、面内予測モード候補指定情報valid_mode[mode]が値[0]である場合には、面内予測画像predImg(mode)の生成処理以降の一連の手順(ステップS13〜19)をスキップする(ステップS57)。mode=0,1,・・・,8に対する一連の手順を終了した後、符号化画像169を生成する(ステップS20)。なお、面内予測画像predImg(mode)の生成処理以降の一連の手順(ステップS13〜S20)に関しては、背景技術において説明した通りである。また、符号化の処理(ステップS20)は、予測単位ブロックを単位とせず、いくつかの予測単位ブロックに対応する、最も評価値166の小さい面内予測モードを示す面内予測モード情報best_mode、およびその面内予測モードにおける予測差分画像best_diffImgが求まった後、一括して実行するなどしてもよい。
As described above, the value of valid_mode [i] (i = 0, 1,..., 8) as the in-plane prediction mode
なお、以上の面内予測符号化方法は、コンピュータを用いてプログラムとして実現することも可能である。 Note that the above-described in-plane predictive coding method can also be realized as a program using a computer.
以上のように、符号化画像サイズが小さくなった場合には、面内予測符号化を行う予測単位ブロック数が減少するために、結果として予測単位ブロック数あたり面内予測符号化装置に与えられる資源量が増加する。ゆえに、符号化画像サイズが小さくなった場合に、符号化効率のより高い、より資源量を多く必要とする面内予測符号化を行うように、面内予測候補決定方法を切り替える。これによって、単位時間あたりの利用資源量の最大値を維持しながら、面内予測符号化の符号化効率向上が可能となり、ハードウェアコストやソフトウェア処理量を抑えた符号化効率向上が可能となる。 As described above, when the encoded image size is reduced, the number of prediction unit blocks for performing intra prediction encoding is reduced, and as a result, the prediction unit block is given to the intra prediction encoding device per prediction unit block number. The amount of resources increases. Therefore, when the encoded image size is reduced, the intra-frame prediction candidate determination method is switched so as to perform intra-prediction encoding with higher encoding efficiency and a larger amount of resources. As a result, it is possible to improve the coding efficiency of in-plane predictive coding while maintaining the maximum value of the resource usage amount per unit time, and it is possible to improve the coding efficiency with reduced hardware cost and software processing amount. .
(第3実施形態)
図8は、本発明の第3実施形態に係る面内予測符号化装置の構成を示すブロック図である。本実施形態の面内予測符号化装置150cは、面内予測モード候補の決定方法を、符号化画像のフレームレートに基づいて切り替える点に特徴を有している。
(Third embodiment)
FIG. 8 is a block diagram showing the configuration of the intra prediction encoding apparatus according to the third embodiment of the present invention. The intra
面内予測符号化装置150cは、図8に示すように符号化画像フレームレート情報174を元にして、試行する面内予測モード候補を面内予測モード候補指定情報170として指定する面内予測モード候補決定部156cと、同一画面内の符号化後の画素としての面内予測用参照画素群162を入力とし面内予測画像164と面内予測モード情報163を出力とする面内予測実行部151と、入力画像161と面内予測画像164と面内予測モード情報163を入力とし予測差分画像165を出力とする予測差分計算部152と、予測差分画像165を入力とし評価値166を出力とする符号化効率評価部153と、面内予測モード情報163と予測差分画像165と評価値166を入力とし予測差分画像168と面内予測モード情報167を出力とする面内予測モード決定部154と、面内予測モード情報167と予測差分画像168を入力とし符号化画像169出力とする符号化部155とを備えている。
As shown in FIG. 8, the intra
面内予測モード候補決定部156cは、面内予測モードを決定するために試行する面内予測モード候補を、面内予測モード候補指定情報170として指定する。このとき、面内予測モード候補決定部156cは、符号化画像フレームレート情報174に基づいて面内予測モード候補決定方法を切り替えて、面内予測モード候補を決定する。
The in-plane prediction mode
図9は、面内予測モード候補決定部156cの構成を示すブロック図である。面内予測モード候補決定部156cは、図9に示すように比較器180a、180b、論理ゲート181a、181b、およびモード候補決定部182a〜182cを備え、符号化画像のフレームレートに応じて、試行する面内予測モードの候補を決定する。ここでは、比較器180aは、入力された符号化画像フレームレート情報174が閾値TH1以下の場合は[1]を出力し、閾値TH1を超える場合は[0]を出力する。同様に、比較器180bは、入力された符号化画像フレームレート情報174が閾値TH2よりも大きい場合は[0]を出力し、閾値TH2以下場合は[1]を出力する。ここで、閾値TH1は閾値TH2未満であるとする。論理ゲート181a、181b、比較器180aは、モード候補決定部182a〜182cを切り替えるための動作イネーブル信号185a〜185cを生成する。
FIG. 9 is a block diagram illustrating a configuration of the in-plane prediction mode
動作イネーブル信号185aは、符号化画像フレームレート情報174が閾値TH2を超える場合に値[1]を有し、それ以外の場合は値[0]を有する。動作イネーブル信号185aが値[1]である場合、モード候補決定部182aが有効となり、このモード候補決定部182aによって面内予測モード候補が決定され、面内予測モード候補指定情報170として出力される。
The operation enable
動作イネーブル信号185bは、符号化画像フレームレート情報174が閾値TH1よりも大きく、かつ閾値TH2以下である場合に値[1]を有し、それ以外の場合は値[0]を有する。動作イネーブル信号185bが値[1]である場合、モード候補決定部182bが有効となり、このモード候補決定部182bによって面内予測モード候補が決定され、面内予測モード候補指定情報170として出力される。
The operation enable
動作イネーブル信号185cは、符号化画像フレームレート情報174が閾値TH1以下である場合に値[1]を有し、それ以外の場合は値[0]を有する。動作イネーブル信号185cが値[1]である場合、モード候補決定部182cが有効となり、このモード候補決定部182cによって面内予測モード候補が決定され、面内予測モード候補指定情報170として出力される。
The operation enable
これにより、符号化画像のフレームレートが減少した場合には、その分、面内予測符号化装置に与えられた資源量が増加するために、より処理サイクルを多く必要とするが、その分より符号化効率の高い面内予測が可能となるような、モード候補決定部に切り替えることができる。 As a result, when the frame rate of the encoded image decreases, the amount of resources given to the in-plane predictive encoding device increases accordingly, and thus more processing cycles are required. It is possible to switch to a mode candidate determination unit that enables in-plane prediction with high coding efficiency.
予測差分計算部152、符号化効率評価部153、面内予測モード決定部154、符号化部155に関しては、背景技術において説明した通りである。また、面内予測実行部151に関しては、第1実施形態において説明した通りである。
The prediction
図10は、面内予測符号化装置150cにおける面内予測符号化方法を説明するフローチャートである。ただし、これは予測単位ブロックあたりの処理を示している。
FIG. 10 is a flowchart for explaining an intra prediction encoding method in the intra
まず、符号化画像フレームレート情報174としての値frame_rateを取得する(ステップS251)。このフレームレート情報frame_rateと、閾値TH2とを比較する(ステップS252)。この結果、フレームレート情報frame_rateが閾値TH2よりも大きい場合(ステップS252でYes)には、面内予測モード候補決定方法aにより面内予測モード候補指定情報170としてのvalid_mode[i](i=0,1,・・・,8)の値を設定する(ステップS54)。すなわち、モード候補決定部182aが面内予測モード候補指定情報valid_mode[i]を設定する。それ以外の場合(ステップS252でNo)は、フレームレート情報frame_rateと閾値TH1とを比較する(ステップS253)。この結果、フレームレート情報frame_rateが閾値TH1よりも大きい場合(ステップS253でYes)は、面内予測モード候補決定方法bにより面内予測モード候補指定情報valid_mode[i](i=0,1,・・・,8)の値を設定する(ステップS55)。すなわち、モード候補決定部182bが面内予測モード候補指定情報valid_mode[i]を設定する。そして、フレームレート情報frame_rateが閾値TH1以下の場合(ステップS253でNo)は、面内予測モード候補決定方法cにより面内予測モード候補指定情報valid_mode[i](i=0,1,・・・,8)の値を設定する(ステップS56)。すなわち、モード候補決定部182cが面内予測モード候補指定情報valid_mode[i]を設定する。
First, the value frame_rate as the encoded image
以上により、面内予測モード候補指定情報170としてのvalid_mode[i](i=0,1,・・・,8)の値をあらかじめ設定しておき、加えて、変数min_costに、評価値166の取り得る最大値よりも大きい値を代入しておく(ステップS11)。次に面内予測モード情報163をmodeとして、mode=0,1,・・・,8に対して(ステップS12)、順次、面内予測画像predImg(mode)の生成処理以降の一連の手順(ステップS13〜19)を実行する。その際、面内予測モード候補指定情報valid_mode[mode]が値[0]である場合には、面内予測画像predImg(mode)の生成処理以降の一連の手順(ステップS13〜19)をスキップする(ステップS57)。mode=0,1,・・・,8に対する一連の手順を終了した後、符号化画像169を生成する(ステップS20)。なお、面内予測画像predImg(mode)の生成処理以降の一連の手順(ステップS13〜S20)に関しては、背景技術において説明した通りである。また、符号化の処理(ステップS20)は、予測単位ブロックを単位とせず、いくつかの予測単位ブロックに対応する、最も評価値166の小さい面内予測モードを示す面内予測モード情報best_mode、およびその面内予測モードにおける予測差分画像best_diffImgが求まって後、一括して実行するなどしてもよい。
As described above, the value of valid_mode [i] (i = 0, 1,..., 8) as the in-plane prediction mode
なお、以上の面内予測符号化方法は、コンピュータを用いてプログラムとして実現することも可能である。 Note that the above-described in-plane predictive coding method can also be realized as a program using a computer.
以上のように、符号化画像のフレームレートが減少した場合には、面内予測符号化を行う予測単位ブロック数が減少するために、結果として予測単位ブロック数あたり面内予測符号化装置に与えられる資源量が増加する。ゆえに、符号化画像のフレームレートが減少した場合に、符号化効率のより高い、より資源量を多く必要とする面内予測符号化を行うように、面内予測候補決定方法を切り替える。これによって、単位時間あたりの利用資源量の最大値を維持しながら、面内予測符号化の符号化効率向上が可能となり、ハードウェアコストやソフトウェア処理量を抑えた符号化効率向上が可能となる。 As described above, when the frame rate of the encoded image decreases, the number of prediction unit blocks for performing intra prediction encoding decreases. The amount of resources that can be increased. Therefore, when the frame rate of the encoded image decreases, the intra-frame prediction candidate determination method is switched so as to perform intra-prediction encoding with higher encoding efficiency and a higher resource amount. As a result, it is possible to improve the coding efficiency of in-plane predictive coding while maintaining the maximum value of the resource usage amount per unit time, and it is possible to improve the coding efficiency with reduced hardware cost and software processing amount. .
(第4実施形態)
図11は、本発明の第4実施形態に係る面内予測符号化装置の構成を示すブロック図である。本実施形態の面内予測符号化装置150fは、面内予測モード候補の決定方法を、符号化画像のピクチャの予測タイプに基づいて切り替える点に特徴を有している。
(Fourth embodiment)
FIG. 11 is a block diagram showing a configuration of an intra prediction encoding apparatus according to the fourth embodiment of the present invention. The intra
面内予測符号化装置150fは、図11に示すようにピクチャの予測タイプ情報175を元にして、試行する面内予測モード候補を面内予測モード候補指定情報170として指定する面内予測モード候補決定部156fと、同一画面内の符号化後の画素としての面内予測用参照画素群162を入力とし面内予測画像164と面内予測モード情報163を出力とする面内予測実行部151と、入力画像161と面内予測画像164と面内予測モード情報163を入力とし予測差分画像165を出力とする予測差分計算部152と、予測差分画像165を入力とし評価値166を出力とする符号化効率評価部153と、面内予測モード情報163と予測差分画像165と評価値166を入力とし予測差分画像168と面内予測モード情報167を出力とする面内予測モード決定部154と、面内予測モード情報167と予測差分画像168を入力とし符号化画像169出力とする符号化部155とを備えている。
As shown in FIG. 11, the intra
面内予測モード候補決定部156fは、面内予測モードを決定するために試行する面内予測モード候補を、面内予測モード候補指定情報170として指定する。このとき、面内予測モード候補決定部156fは、ピクチャの予測タイプ情報175に基づいて面内予測モード候補決定方法を切り替えて、面内予測モード候補を決定する。
The in-plane prediction mode
ここで、ピクチャの予測タイプとは、対象ブロックを含む符号化対象ピクチャが、画面間予測を行わないタイプを「I」、1つのピクチャを参照して予測画像を生成する画面間予測を行うタイプを「P」、1つまたは複数のピクチャを参照して予測画像を生成する画面間予測を行うタイプを「B」とする。また、ピクチャの予測タイプ情報175としては、予測タイプIが値[2]、予測タイプPが値[1]、予測タイプBが値[0]を有するものとする。なお、ピクチャを分割した一定領域(以下、スライスと呼ぶ)単位で予測タイプを切り替える場合は、ピクチャの予測タイプの代わりに、スライスの予測タイプを参照してもよい。
Here, the picture prediction type is a type in which the picture to be encoded including the target block does not perform inter-screen prediction is “I” and performs inter-screen prediction in which a predicted image is generated with reference to one picture. Is “P”, and “B” is a type for performing inter-screen prediction that generates a predicted image with reference to one or more pictures. As the
図12は、面内予測モード候補決定部156fの構成を示すブロック図である。面内予測モード候補決定部156fは、図12に示すように比較器180a、180b、論理ゲート181a、181b、およびモード候補決定部182a〜182cを備え、ピクチャの予測タイプに応じて、試行する面内予測モードの候補を決定する。ここでは、比較器180aは、入力されたピクチャの予測タイプ情報175が値[0]以下の場合は[1]を出力し、値[0]を超える場合は[0]を出力する。同様に、比較器180bは、入力されたピクチャの予測タイプ情報175が値[1]以下の場合は[1]を出力し、値[1]を超える場合は[0]を出力する。論理ゲート181a、181b、比較器180aは、モード候補決定部182a〜182cを切り替えるための動作イネーブル信号185a〜185cを生成する。
FIG. 12 is a block diagram illustrating a configuration of the in-plane prediction mode
動作イネーブル信号185aは、ピクチャの予測タイプ情報175が値[0]以下の場合、すなわち予測タイプが「B」である場合に値[1]を有し、それ以外の場合は値[0]を有する。動作イネーブル信号185aが値[1]である場合、モード候補決定部182aが有効となり、このモード候補決定部182aによって面内予測モード候補が決定され、面内予測モード候補指定情報170として出力される。
The operation enable
動作イネーブル信号185bは、ピクチャの予測タイプ情報175が値[0]よりも大きく、かつ値[1]以下である場合、すなわち予測タイプが「P」である場合に値[1]を有し、それ以外の場合は値[0]を有する。動作イネーブル信号185bが値[1]である場合、モード候補決定部182bが有効となり、このモード候補決定部182bによって面内予測モード候補が決定され、面内予測モード候補指定情報170として出力される。
The operation enable
動作イネーブル信号185cは、ピクチャの予測タイプ情報175が値[1]よりも大きい場合、すなわち予測タイプが「I」である場合に値[1]を有し、それ以外の場合は値[0]を有する。動作イネーブル信号185cが値[1]である場合、モード候補決定部182cが有効となり、このモード候補決定部182cによって面内予測モード候補が決定され、面内予測モード候補指定情報170として出力される。
The operation enable
予測差分計算部152、符号化効率評価部153、面内予測モード決定部154、符号化部155に関しては、背景技術において説明した通りである。また、面内予測実行部151に関しては、第1実施形態において説明した通りである。
The prediction
図13は、面内予測符号化装置150fにおける面内予測符号化方法を説明するフローチャートである。ただし、これは予測単位ブロックあたりの処理を示している。
FIG. 13 is a flowchart for explaining an intra prediction encoding method in the intra
まず、ピクチャの予測タイプ情報175としての値pic_typを取得する(ステップS351)。この予測タイプ情報pic_typと、値[0]とを比較する(ステップS352)。この結果、予測タイプ情報pic_typが値[0]以下である場合(ステップS352でYes)には、面内予測モード候補決定方法aにより面内予測モード候補指定情報170としてのvalid_mode[i](i=0,1,・・・,8)の値を設定する(ステップS54)。すなわち、モード候補決定部182aが面内予測モード候補指定情報valid_mode[i]を設定する。一方、予測タイプ情報pic_typが値[0]よりも大きい場合(ステップS352でNo)は、予測タイプ情報pic_typと値[1]とを比較する(ステップS353)。この結果、予測タイプ情報pic_typが値[1]以下である場合(ステップS353でYes)は、面内予測モード候補決定方法bにより面内予測モード候補指定情報valid_mode[i](i=0,1,・・・,8)の値を設定する(ステップS55)。すなわち、モード候補決定部182bが面内予測モード候補指定情報valid_mode[i]を設定する。そして、予測タイプ情報pic_typが値[1]よりも大きい場合(ステップS353でNo)は、面内予測モード候補決定方法cにより面内予測モード候補指定情報valid_mode[i](i=0,1,・・・,8)の値を設定する(ステップS56)。すなわち、モード候補決定部182cが面内予測モード候補指定情報valid_mode[i]を設定する。
First, a value pic_typ as the
以上により、面内予測モード候補指定情報170としてのvalid_mode[i](i=0,1,・・・,8)の値をあらかじめ設定しておき、加えて、変数min_costに、評価値166の取り得る最大値よりも大きい値を代入しておく(ステップS11)。次に面内予測モード情報163をmodeとして、mode=0,1,・・・,8に対して(ステップS12)、順次、面内予測画像predImg(mode)の生成処理以降の一連の手順(ステップS13〜19)を実行する。その際、面内予測モード候補指定情報valid_mode[mode]が値[0]である場合には、面内予測画像predImg(mode)の生成処理以降の一連の手順(ステップS13〜19)をスキップする(ステップS57)。mode=0,1,・・・,8に対する一連の手順を終了した後、符号化画像169を生成する(ステップS20)。なお、面内予測画像predImg(mode)の生成処理以降の一連の手順(ステップS13〜S20)に関しては、背景技術において説明した通りである。また、符号化の処理(ステップS20)は、予測単位ブロックを単位とせず、いくつかの予測単位ブロックに対応する、最も評価値166の小さい面内予測モードを示す面内予測モード情報best_mode、およびその面内予測モードにおける予測差分画像best_diffImgが求まって後、一括して実行するなどしてもよい。
As described above, the value of valid_mode [i] (i = 0, 1,..., 8) as the in-plane prediction mode
なお、以上の面内予測符号化方法は、コンピュータを用いてプログラムとして実現することも可能である。 Note that the above-described in-plane predictive coding method can also be realized as a program using a computer.
以上のように、予測タイプIでは動き探索等をする必要がないので、Iピクチャでは動き探索等をする必要がないので多くの処理量(資源量)を消費することができ、予測タイプPでは片方向の動き探索を行うため中程度の処理量を消費でき、予測タイプBでは双方向の動き探索を行うため少ない処理量しか消費できない。ゆえに、予測タイプPである場合には予測タイプBである場合に比較して、符号化効率のより高い、資源量を多く必要とする面内予測符号化を行うように、予測タイプIである場合には予測タイプPである場合に比較して、さらに符号化効率の高い、より資源量を多く必要とする面内予測符号化を行うように、面内予測候補決定方法を切り替える。これによって、単位時間あたりの利用資源量の最大値を維持しながら、面内予測符号化の符号化効率向上が可能となり、ハードウェアコストやソフトウェア処理量を抑えた符号化効率向上が可能となる。 As described above, since it is not necessary to perform motion search or the like in the prediction type I, it is not necessary to perform motion search or the like in the I picture, so that a large amount of processing (resource amount) can be consumed. Since a one-way motion search is performed, a moderate amount of processing can be consumed. In the prediction type B, a bidirectional processing is performed, so that only a small processing amount can be consumed. Therefore, in the case of the prediction type P, it is the prediction type I so as to perform in-plane predictive coding that requires higher resource efficiency and higher coding efficiency than in the case of the prediction type B. In some cases, compared to the case of the prediction type P, the intra-frame prediction candidate determination method is switched so as to perform intra-frame prediction encoding that requires higher resource efficiency and higher coding efficiency. As a result, it is possible to improve the coding efficiency of in-plane predictive coding while maintaining the maximum value of the resource usage amount per unit time, and it is possible to improve the coding efficiency with reduced hardware cost and software processing amount. .
(第5実施形態)
図14は、本発明の第5実施形態に係る面内予測符号化装置の構成を示すブロック図である。本実施形態の面内予測符号化装置150dは、面内予測モード候補数を、面内予測符号化装置に与えられた資源量に基づいて切り替える点に特徴を有している。
(Fifth embodiment)
FIG. 14 is a block diagram showing a configuration of an intra prediction encoding apparatus according to the fifth embodiment of the present invention. The intra
面内予測符号化装置150dは、図14に示すように面内予測符号化装置に与えられた資源量172を元にして、試行する面内予測モード候補を面内予測モード候補指定情報170として指定する面内予測モード候補決定部156dと、同一画面内の符号化後の画素としての面内予測用参照画素群162を入力とし面内予測画像164と面内予測モード情報163を出力とする面内予測実行部151と、入力画像161と面内予測画像164と面内予測モード情報163を入力とし予測差分画像165を出力とする予測差分計算部152と、予測差分画像165を入力とし評価値166を出力とする符号化効率評価部153と、面内予測モード情報163と予測差分画像165と評価値166を入力とし予測差分画像168と面内予測モード情報167を出力とする面内予測モード決定部154と、面内予測モード情報167と予測差分画像168を入力とし符号化画像169出力とする符号化部155とを備えている。
As illustrated in FIG. 14, the intra-frame
面内予測モード候補決定部156dは、面内予測モードを決定するために試行する面内予測モード候補を、面内予測モード候補指定情報170として指定する。このとき、面内予測モード候補決定部156dは、面内予測符号化装置に与えられた資源量172に基づいて面内予測モード候補数を切り替える。
The in-plane prediction mode
図15は、面内予測モード候補決定部156dの構成を示すブロック図である。面内予測モード候補決定部156dは、図15に示すように比較器180a、180b、論理ゲート181a、181b、およびスイッチ232a〜232cを備え、面内予測符号化装置に与えられた資源量に応じて、試行する面内予測モードの候補を決定する。ここでは、比較器180aは、入力された、面内予測符号化装置に与えられた資源量172が閾値TH1以下の場合は[1]を出力し、閾値TH1を超える場合は[0]を出力する。同様に、比較器180bは、入力された、面内予測符号化装置に与えられた資源量172が閾値TH2以下の場合は[1]を出力し、閾値TH1を超える場合は[0]を出力する。ここで、閾値TH1は閾値TH2未満であるとする。論理ゲート181a、181b、比較器180aは、スイッチ232a〜232cを切り替えるための動作イネーブル信号185a〜185cを生成する。
FIG. 15 is a block diagram illustrating a configuration of the in-plane prediction mode
動作イネーブル信号185aは、面内予測符号化装置に与えられた資源量172が閾値TH1以下の場合に値[1]を有し、それ以外の場合は値[0]を有する。動作イネーブル信号185aが値[1]である場合、スイッチ232aがONとなり、値[0x0007]を面内予測モード候補指定情報170として出力する。
The operation enable
動作イネーブル信号185bは、面内予測符号化装置に与えられた資源量172が閾値TH1よりも大きく、かつ閾値TH2以下である場合に値[1]を有し、それ以外の場合は値[0]を有する。動作イネーブル信号185bが値[1]である場合、スイッチ232bがONとなり、値[0x001F]を面内予測モード候補指定情報170として出力する。
The operation enable
動作イネーブル信号185cは、面内予測符号化装置に与えられた資源量172が閾値TH2よりも大きい場合に値[1]を有し、それ以外の場合は値[0]を有する。動作イネーブル信号185cが値[1]である場合、スイッチ232cがONとなり、値[0x01FF]を面内予測モード候補指定情報170として出力する。
The operation enable
ここで、面内予測モード候補指定情報170の値は、2進数で第n位の桁が値[1]であれば、面内予測モード情報が値[n−1]として表される面内予測モードを、面内予測モード候補として含めることを意味し、2進数で第n位の桁が値[0]であれば、面内予測モード情報が値[n−1]として表される面内予測モードを、面内予測モード候補として含めないことを意味する。すなわち、面内予測モード候補指定情報170が値[0x0007]である場合には、面内予測モード0〜2が面内予測モード候補として含まれる。また、面内予測モード候補指定情報170が値[0x001F]である場合には、面内予測モード0〜4が面内予測モード候補として含まれる。さらに、面内予測モード候補指定情報170が値[0x01FF]である場合には、面内予測モード0〜8のすべてが面内予測モード候補として含まれる。
Here, if the value of the in-plane prediction mode
これにより、面内予測符号化装置に与えられた資源量が増加した場合には、それを有効利用し、より多くの面内予測モード候補に対して面内予測を試行することが可能となる。なお、以上に示した面内予測モード候補指定情報170の決定方法は、面内予測モード候補数を切り替えるための一例にすぎず、面内予測符号化装置に与えられた資源量に対して面内予測モード候補数が単調増加するような面内予測モード候補指定情報170の決定方法であれば良い。
As a result, when the amount of resources given to the in-plane prediction encoding apparatus increases, it is possible to effectively use the amount of resources and try in-plane prediction for more in-plane prediction mode candidates. . Note that the method for determining the in-plane prediction mode
予測差分計算部152、符号化効率評価部153、面内予測モード決定部154、符号化部155に関しては、背景技術において説明した通りである。また、面内予測実行部151に関しては、第1実施形態において説明した通りである。
The prediction
図16は、面内予測符号化装置150dにおける面内予測符号化方法を説明するフローチャートである。ただし、これは予測単位ブロックあたりの処理を示している。
FIG. 16 is a flowchart for explaining an intra prediction encoding method in the intra
まず、面内予測符号化装置に与えられた資源量172としてのnum_cycleを取得する(ステップS51)。この資源量num_cycleと、閾値TH1とを比較する(ステップS52)。この結果、資源量num_cycleが閾値TH1以下である場合(ステップS52でYes)には、面内予測モード候補指定情報valid_mode[i](i=0,1,2,・・・8)のうち、3つの値を1に、それ以外を0に設定する(ステップS354)。それ以外の場合(ステップS52でNo)は、資源量num_cycleと閾値TH2とを比較する(ステップS53)。この結果、資源量num_cycleが閾値TH2以下である場合(ステップS53でYes)は、面内予測モード候補指定情報valid_mode[i](i=0,1,・・・,8)のうち、5つの値を1に、それ以外を0に設定する(ステップS355)。そして、資源量num_cycleが閾値TH2よりも大きい場合(ステップS53でNo)は、面内予測モード候補指定情報valid_mode[i](i=0,1,・・・,8)をすべて1に設定する(ステップS356)。
First, num_cycle is acquired as the
以上により、面内予測モード候補指定情報170としてのvalid_mode[i](i=0,1,・・・,8)の値をあらかじめ設定しておき、加えて、変数min_costに、評価値166の取り得る最大値よりも大きい値を代入しておく(ステップS11)。次に面内予測モード情報163をmodeとして、mode=0,1,・・・,8に対して(ステップS12)、順次、面内予測画像predImg(mode)の生成処理以降の一連の手順(ステップS13〜19)を実行する。その際、面内予測モード候補指定情報valid_mode[mode]が値[0]である場合には、面内予測画像predImg(mode)の生成処理以降の一連の手順(ステップS13〜19)をスキップする(ステップS57)。mode=0,1,・・・,8に対する一連の手順を終了した後、符号化画像169を生成する(ステップS20)。なお、面内予測画像predImg(mode)の生成処理以降の一連の手順(ステップS13〜S20)に関しては、背景技術において説明した通りである。また、符号化の処理(ステップS20)は、予測単位ブロックを単位とせず、いくつかの予測単位ブロックに対応する、最も評価値166の小さい面内予測モードを示す面内予測モード情報best_mode、およびその面内予測モードにおける予測差分画像best_diffImgが求まって後、一括して実行するなどしてもよい。
As described above, the value of valid_mode [i] (i = 0, 1,..., 8) as the in-plane prediction mode
なお、以上の面内予測符号化方法は、コンピュータを用いてプログラムとして実現することも可能である。 Note that the above-described in-plane predictive coding method can also be realized as a program using a computer.
以上のように、面内予測符号化装置に与えられた資源量が増加した場合には、それを有効利用し、より多くの面内予測モード候補に対して面内予測を試行することが可能となる。これによって、単位時間あたりの利用資源量の最大値を維持しながら、面内予測符号化の符号化効率向上が可能となり、ハードウェアコストやソフトウェア処理量を抑えた符号化効率向上が可能となる。 As described above, when the amount of resources given to the in-plane predictive coding apparatus increases, it is possible to effectively use it and try in-plane prediction for more in-plane prediction mode candidates. It becomes. As a result, it is possible to improve the coding efficiency of in-plane predictive coding while maintaining the maximum value of the resource usage amount per unit time, and it is possible to improve the coding efficiency with reduced hardware cost and software processing amount. .
なお、第2〜第4実施形態において記述したように、面内予測符号化装置に与えられた資源量そのものの代わりに、符号化画像サイズ情報、もしくは符号化フレームレート情報、もしくはピクチャの予測タイプ情報を参照してもよい。すなわち、符号化画像サイズもしくは、符号化フレームレートが小さい場合には面内予測候補数を増加させるようなしくみとすることで、単位時間あたりの利用資源量の最大値を維持しながら、面内予測符号化の符号化効率向上が可能となり、ハードウェアコストやソフトウェア処理量を抑えた符号化効率向上が可能となる。 Note that, as described in the second to fourth embodiments, instead of the resource amount itself given to the in-plane predictive coding apparatus, the coded image size information, the coded frame rate information, or the picture prediction type Information may be referenced. In other words, when the encoded image size or the encoded frame rate is small, a mechanism that increases the number of in-plane prediction candidates, while maintaining the maximum value of the amount of resources used per unit time, Coding efficiency of predictive coding can be improved, and coding efficiency can be improved with reduced hardware cost and software processing amount.
(第6実施形態)
図17は、本発明の第6実施形態に係る面内予測符号化装置の構成を示すブロック図である。本実施形態の面内予測符号化装置150eは、面内予測モードの決定を行う際に、簡易的に面内予測符号化画像を作成する点に特徴を有している。
(Sixth embodiment)
FIG. 17 is a block diagram showing the configuration of the intra prediction encoding apparatus according to the sixth embodiment of the present invention. The intra
面内予測符号化装置150eは、図17に示すように面内予測モード候補決定部156aと、面内予測簡易実行部191と、符号化効率評価部153bと、面内予測モード決定部154bと、面内予測実行部192と、予測差分計算部152と、符号化部155とを備えている。
As shown in FIG. 17, the intra
面内予測簡易実行部191は、面内予測モード候補指定情報170で指定された面内予測モード候補それぞれを用いて面内予測を時分割で順次実行する。このとき、面内予測簡易実行部191は、例えば図18(a)に示すように対象ブロックのすべての画素ではなく、間引きを行った一部の画素について、面内予測用参照画素群162aから各面内予測モードを用いて面内予測し、その予測画像を簡易面内予測画像193として出力する。さらに、面内予測簡易実行部191は、簡易面内予測画像193を生成する際に用いた予測モードに関する情報を、面内予測モード情報163として出力する。
The in-plane prediction
符号化効率評価部153bは、簡易面内予測画像193を元に、符号化効率を計算する。例えば、簡易面内予測画像193の各画素値の絶対値和を計算し、これをもって評価値166として出力する。なお、簡易面内予測画像193以外の情報、例えば、周辺の符号化済みブロックの符号化データよりその面内予測モード情報をさらに参照して評価値166を計算するなどしてもよい。また、符号化部155において、周辺の符号化済みブロックの面内予測モードと、対象ブロックの面内予測モードとの差分を符号化するような方式を採用している場合、周辺の符号化済みブロックの面内予測モードをさらに参照するなどして評価値166を計算することが可能である。
The encoding
面内予測モード決定部154bは、面内予測簡易実行部191において、時分割で順次試行される面内予測モードに対して、符号化効率評価部153bより出力される評価値166が最も小さい面内予測モードを、面内予測モード情報167として出力する。
The in-plane prediction
面内予測実行部192は、面内予測モード情報167で指定された面内予測モードを用いて、面内予測用参照画素群162bから対象ブロックのすべての画素を面内予測し、その予測画像を面内予測画像164として出力する。
The in-plane prediction execution unit 192 performs in-plane prediction on all pixels of the target block from the in-plane prediction
なお、面内予測モード候補決定部156aは、第1実施形態において説明した通りである。また、予測差分計算部152、符号化部155に関しては、背景技術において説明した通りである。
The in-plane prediction mode
図19は、面内予測符号化装置150eにおける面内予測符号化方法を説明するフローチャートである。ただし、これは予測単位ブロックあたりの処理を示している。
FIG. 19 is a flowchart for explaining an intra prediction encoding method in the intra
まず、面内予測符号化装置に与えられた資源量num_cycleに基づいて面内予測モード候補指定情報valid_mode[i](i=0,1,・・・,8)の値を設定する処理(ステップS51〜S56)、および変数min_costに評価値166の取り得る最大値よりも大きい値を代入する処理(ステップS11)については、第1実施形態と同様である。
First, the process of setting the value of the intra prediction mode candidate designation information valid_mode [i] (i = 0, 1,..., 8) based on the resource amount num_cycle given to the intra prediction encoding apparatus (step) S51 to S56) and a process of substituting a value larger than the maximum value that the
次に、面内予測モード情報163をmodeとして、mode=0,1,・・・,8に対して(ステップS12)、順次、面内予測モード候補指定情報valid_mode[mode]が値[0]であるか否かの判定を行う(ステップS57)。この判定の結果、面内予測モード候補指定情報valid_mode[mode]が値[0]でない場合(ステップS57でNo)、対象ブロックの一部の画素について面内予測を行い、簡易面内予測画像193であるpredImg’(mode)を生成する(ステップS58)。次に、この簡易面内予測画像predImg’(mode)に基づいて、面内予測モードmodeに対応する評価値166であるcost(mode)を計算する(ステップS59)。この評価値cost(mode)を、値min_costと比較し(ステップS16)、評価値cost(mode)の方がより小さい場合(ステップS16でYes)に、変数min_costに評価値cost(mode)を格納し(ステップS17)、変数best_modeに予測モード情報modeを格納する(ステップS18)。
Next, assuming that the in-plane
また、面内予測モード候補指定情報valid_mode[mode]が値[0]である場合(ステップS57でYes)、面内予測画像predImg(mode)の生成処理以降の一連の手順(ステップS58〜18)をスキップする。 When the in-plane prediction mode candidate designation information valid_mode [mode] is a value [0] (Yes in step S57), a series of procedures after the generation process of the in-plane predicted image predImg (mode) (steps S58 to S18). To skip.
次に、簡易面内予測画像predImg’(mode)の生成処理以降の一連の手順(ステップS58〜ステップS18)がmode=0,1,・・・,8に対して実行されると、面内予測モード情報best_modeに対応する面内予測モードを用いて面内予測を行い、面内予測画像164であるpredImg(best_mode)を生成する(ステップS60)。続いて、生成した面内予測画像predImg(best_mode)と、入力画像161との予測差分画像168であるbest_diffImgを生成する(ステップS61)。次に、この予測差分画像best_diffImgと、面内予測モード情報best_modeとに対して符号化を行い、符号化画像169を生成する(ステップS20)。
Next, when a series of steps (step S58 to step S18) after the generation processing of the simple in-plane prediction image predImg ′ (mode) is executed for mode = 0, 1,. In-plane prediction is performed using the in-plane prediction mode corresponding to the prediction mode information best_mode, and predImg (best_mode), which is the in-
なお、以上の面内予測符号化方法は、コンピュータを用いてプログラムとして実現することも可能である。 Note that the above-described in-plane predictive coding method can also be realized as a program using a computer.
以上のように、簡易的に作成した面内予測符号化画像を用いて、面内予測モード候補の中から面内予測モードを決定しているので、より少ない資源量で面内予測符号化を行うことができる。 As described above, since the in-plane prediction mode is determined from the in-plane prediction mode candidates using the simply created in-plane prediction encoded image, the in-plane prediction encoding is performed with a smaller amount of resources. It can be carried out.
また、本実施形態では、面内予測簡易実行部191において、対象ブロックのすべての画素ではなく、間引きを行った一部の画素について面内予測し、その予測画像を簡易面内予測画像193として出力を行っているが、これに限られるものではない。例えば、ブロック単位の処理がパイプライン処理される等によって対象ブロックの左および上に隣接する画素がまだ復号されていない場合等には、面内予測簡易実行部191は、図18(b)に示すように復号画素195に替えて入力画素196に基づいて、対象ブロックの画素を面内予測し、その予測画像を簡易面内予測画像193として出力を行っても構わない。また、例えば対象ブロックの左に隣接する画素が入力画素で、対象ブロックの上に隣接する画素が復号画素というように、復号画素および入力画素が混ざっていても構わない。
In the present embodiment, the in-plane prediction
また、上記各実施形態において、面内予測モード候補決定部は、面内予測モード候補を決定する際に、水平解像度を落として符号化する場合、フィールド単位に符号化する場合、水平および垂直解像度を落として符号化する場合、等の状況に応じて面内予測モード候補を決定しても構わない。例えば、図20(a)に示すように解像度を落とさずに符号化する場合が図20(e)に示すように面内予測モード候補が面内予測モード0〜4であるとすると、図20(b)に示すように水平解像度を落として符号化する場合に図20(f)に示すように面内予測モード候補を面内予測モード0〜2、5、7というように垂直方向の面内予測モードに偏って決定することが可能である。
In each of the above embodiments, the in-plane prediction mode candidate determining unit determines the in-plane prediction mode candidate when encoding with a reduced horizontal resolution, when encoding in field units, and with horizontal and vertical resolutions. In the case of encoding with a drop, the in-plane prediction mode candidate may be determined according to the situation. For example, when the encoding is performed without reducing the resolution as shown in FIG. 20A and the in-plane prediction mode candidates are the in-
また、図20(c)に示すようにフィールド単位に符号化する場合に図20(g)に示すように面内予測モード候補を面内予測モード0〜2、6、8というように水平方向の面内予測モードに偏って決定することが可能である。また、図20(d)に示すように水平および垂直解像度を落として符号化する場合に図20(h)に示すように面内予測モード候補をすべての面内予測モード0〜8というように決定することが可能である。
In addition, when encoding is performed in units of fields as shown in FIG. 20C, the in-plane prediction mode candidates are set in the horizontal direction as in the in-
(第7実施形態)
図21は、本発明の第7実施形態に係る面内予測符号化装置の構成を示すブロック図である。本実施形態の面内予測符号化装置300は、面内予測を行う単位である面内予測単位(単位ブロックサイズ)におけるそれぞれの面内予測モード候補の決定を、面内予測符号化装置に与えられた資源量に基づいて切り替える点に特徴を有している。
(Seventh embodiment)
FIG. 21 is a block diagram showing the configuration of the intra prediction encoding apparatus according to the seventh embodiment of the present invention. The intra
面内予測符号化装置300は、図21に示すように4×4面内予測部301と、8×8面内予測部302と、16×16面内予測部303と、面内予測モード候補決定部304と、符号化部305とを備えている。
As shown in FIG. 21, the intra
4×4面内予測部301、8×8面内予測部302、および16×16面内予測部303は、それぞれ第1実施形態の面内予測符号化装置150a(図1)の構成のうち符号化部155および面内予測モード候補決定部156a以外を備えている。なお、ここでは説明を省略する。
The 4 × 4
面内予測モード候補決定部304は、符号化画像サイズ情報に基づいて面内予測モード候補を決定し、4×4面内予測部301、8×8面内予測部302、および16×16面内予測部303へそれぞれ4×4面内予測モード候補指定情報、8×8面内予測モード候補指定情報、16×16面内予測モード候補指定情報を出力する。このとき、面内予測モード候補決定部304は、画像サイズ(=画像横幅値×画像縦幅値)が大きい場合には全単位ブロックサイズの予測モード候補数の総和が小さくなるよう予測モード候補数を削減する。すなわち、4×4面内予測部301、8×8面内予測部302、および16×16面内予測部303すべてで必要な総処理量を削減する。なお、N×N面内予測(Nは自然数)とは、N×N画素ブロックを予測単位とした面内予測を意味する。ここでは、画像サイズが大きい場合は、小さい単位ブロックサイズを用いた予測方式における予測モード候補数を優先的に削減する。
The in-plane prediction mode
図22(a)〜(f)は予測モード候補指定情報で指定される予測モード候補の数の一例を示す図である。ここで、各単位ブロックサイズの予測方式に関して、「○」は全予測モードを候補とし、「△」は予測モードの一部を候補とし、「×」は予測を行わないことを示している。また、画像サイズの「大」「中」「小」の分類については、所定の閾値を2つ用いて分類することができる。 22A to 22F are diagrams illustrating an example of the number of prediction mode candidates specified by the prediction mode candidate specifying information. Here, regarding the prediction method of each unit block size, “◯” indicates that all prediction modes are candidates, “Δ” indicates a part of prediction modes, and “×” indicates that prediction is not performed. In addition, the image size “large”, “medium”, and “small” can be classified using two predetermined threshold values.
例えば、図22(a)に示す例では、画像サイズが「大」である場合に、4×4面内予測を行わない。また、図22(b)に示す例では、画像サイズが「大」である場合に、4×4面内予測を行わず、さらに8×8面内予測の候補を減らし、画像サイズが「中」である場合に、4×4面内予測の候補を減らしている。図22(a)〜(f)に示す例は、図22(a)から図22(f)へ順に、全単位ブロックサイズの予測モード候補数の総和が少なくなる例を示している。また、図22(d)に示す例では、画像サイズ「中」→「大」で、8×8面内予測、16×16面内予測で共に予測モード候補を削減しているが、8×8面内予測の候補をより多く削減することで効率的な削減が可能となる。 For example, in the example shown in FIG. 22A, when the image size is “large”, 4 × 4 in-plane prediction is not performed. In the example shown in FIG. 22B, when the image size is “large”, the 4 × 4 intra prediction is not performed, the candidates for 8 × 8 intra prediction are further reduced, and the image size is “medium”. ”, The number of 4 × 4 in-plane prediction candidates is reduced. The examples shown in FIGS. 22A to 22F show examples in which the sum of the number of prediction mode candidates for all unit block sizes decreases in order from FIG. 22A to FIG. 22F. In the example shown in FIG. 22D, the image size is “medium” → “large”, and the prediction mode candidates are reduced in both 8 × 8 intra prediction and 16 × 16 intra prediction. Efficient reduction is possible by reducing more candidates for the 8-plane prediction.
また、全単位ブロックサイズの予測モード候補数の総和は、画像サイズに対し単調減少するように、画像サイズが「大」であるときに少なく、画像サイズが「小」であるときに多くなるように設定される。 In addition, the total number of prediction mode candidates for all unit block sizes is small when the image size is “large” and large when the image size is “small” so as to monotonically decrease with respect to the image size. Set to
符号化部305は、入力される4×4面内予測モード情報および4×4予測差分画像、8×8面内予測モード情報および8×8予測差分画像、または16×16面内予測モード情報および16×16予測差分画像を符号化処理し、符号化画像を出力する。符号化処理は、予測差分画像に関しては、DCT変換などの周波数変換を行った後変換係数を量子化し、その値を可変長符号化あるいは算術符号化等によって符号化を行う。また、面内予測モード情報に関しては可変長符号化あるいは算術符号化等によって符号化を行う。
The
以上のように、画像サイズが大きい場合には全単位ブロックサイズの予測モード候補数の総和が小さくなるよう予測モード候補数を削減しているので、単位時間あたりの利用資源量の最大値を維持しながら、面内予測符号化の符号化効率向上が可能となり、ハードウェアコストやソフトウェア処理量を抑えた符号化効率向上が可能となる。 As described above, when the image size is large, the number of prediction mode candidates is reduced so that the total number of prediction mode candidates for all unit block sizes is reduced, so the maximum amount of resource used per unit time is maintained. However, it is possible to improve the coding efficiency of intra prediction coding, and to improve the coding efficiency while suppressing the hardware cost and the amount of software processing.
なお、上記説明では、面内予測モード候補決定部304は、画像サイズが大きい場合に全単位ブロックサイズの予測モード候補数の総和が小さくなるよう予測モード候補数を削減しているが、これに限られるものではない。例えば、面内予測モード候補決定部304は、画像サイズが大きい場合に全単位ブロックサイズの予測モード候補数の総和が小さくなるよう予測モード候補数を削減するのに加えて、画像サイズが小さい場合は、大きい単位ブロックサイズを用いた予測方式における予測モード候補数を削減するようにしても構わない。
In the above description, the in-plane prediction mode
図23(a)〜(d)はこの場合の予測モード候補指定情報で指定される予測モード候補の数の一例を示す図である。ここで、図22と同様に各単位ブロックサイズの予測方式に関して、「○」は全予測モードを候補とし、「△」は予測モードの一部を候補とし、「×」は予測を行わないことを示している。また、画像サイズの「大」「中」「小」の分類については、所定の閾値を2つ用いて分類することができる。 FIGS. 23A to 23D are diagrams showing an example of the number of prediction mode candidates specified by the prediction mode candidate specifying information in this case. Here, as in FIG. 22, regarding the prediction method of each unit block size, “O” indicates that all prediction modes are candidates, “Δ” indicates a part of prediction modes, and “X” indicates that no prediction is performed. Is shown. In addition, the image size “large”, “medium”, and “small” can be classified using two predetermined threshold values.
例えば、図23(a)に示す例では、図22(e)に示す例を元にしており、画像サイズが「中」である場合に、8×8面内予測の候補を増やして16×16面内予測の候補を減らし、画像サイズが「小」である場合に、4×4面内予測の候補を増やして16×16面内予測の候補を減らしている。同様に、図23(b)に示す例では、図22(e)に示す例を元にしており、図23(c)、(d)に示す例では、図22(f)に示す例を元にしている。 For example, the example illustrated in FIG. 23A is based on the example illustrated in FIG. 22E, and when the image size is “medium”, the number of 8 × 8 in-plane prediction candidates is increased to 16 ×. When the 16-plane prediction candidates are reduced and the image size is “small”, the 4 × 4-plane prediction candidates are increased to reduce the 16 × 16 prediction candidates. Similarly, the example shown in FIG. 23B is based on the example shown in FIG. 22E, and the examples shown in FIGS. 23C and 23D are examples shown in FIG. It is based.
ここで、全単位ブロックサイズの予測モード候補数の総和は画像サイズに対し単調減少するように設定するため、大きい単位ブロックサイズの予測モード候補数を削減する代わりに、小さい単位ブロックサイズの予測モード候補数をさらに増加させることが可能となる。画像サイズが小さい場合は小さい単位ブロックサイズの予測の方が、予測効率が高い傾向にあるため、限られた処理量でより高画質な面内予測符号化を行うことが可能となる。 Here, since the total number of prediction mode candidates for all unit block sizes is set to monotonically decrease with respect to the image size, instead of reducing the number of prediction mode candidates for large unit block sizes, prediction modes for small unit block sizes The number of candidates can be further increased. When the image size is small, prediction with a small unit block size tends to have higher prediction efficiency, so that it is possible to perform in-plane prediction encoding with higher image quality with a limited processing amount.
なお、上記各実施形態において、例えばバッテリ駆動時等では、装置の消費電力を減らすことで長時間駆動を実現できる。消費電力を減らすための方法として、装置の演算量を減らす方法が考えられる。これは、「与えられた資源量」を減らすことに相当する。すなわち、各実施の形態において、消費電力を減らす目的で、「与えられた資源量」を削減してもよい。 In each of the above embodiments, for example, when the battery is driven, long-time driving can be realized by reducing the power consumption of the apparatus. As a method for reducing the power consumption, a method for reducing the amount of calculation of the apparatus can be considered. This is equivalent to reducing the “given amount of resources”. That is, in each embodiment, the “given resource amount” may be reduced for the purpose of reducing power consumption.
また、上記各実施形態において、面内予測モード候補決定部は、面内予測符号化装置に与えられた資源量に応じて、面内予測モード候補の数を「0」として、その面内予測方式での予測を行わず、他の面内予測方式、または面間予測方式等を用いて符号化しても構わない。 In each of the above embodiments, the in-plane prediction mode candidate determination unit sets the number of in-plane prediction mode candidates to “0” according to the resource amount given to the in-plane prediction encoding apparatus, and performs the in-plane prediction. You may encode using another intra prediction system, an inter-plane prediction system, etc., without performing the prediction by a system.
また、上記各実施形態において、符号化部は、さらに符号化効率の評価を行って、他の面内予測方式、または面間予測方式等を用いて符号化しても構わない。 Further, in each of the above embodiments, the encoding unit may further evaluate the encoding efficiency and encode using another intra prediction method, an inter prediction method, or the like.
(第8実施形態)
さらに、上記各実施形態で示した面内予測符号化方法の構成を実現するためのプログラムを、フレキシブルディスク等の記憶媒体に記録するようにすることにより、上記各実施形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。
(Eighth embodiment)
Furthermore, by recording a program for realizing the configuration of the in-plane predictive encoding method shown in each of the above embodiments on a storage medium such as a flexible disk, the processing shown in each of the above embodiments is performed. It can be easily implemented in an independent computer system.
図24は、本発明の第8実施形態として、上記第1実施形態から第7実施形態の面内予測符号化方法を格納したフレキシブルディスクを用いて、コンピュータシステムにより実施する場合の説明図である。 FIG. 24 is an explanatory diagram of a case where a flexible disk storing the in-plane predictive coding method according to the first to seventh embodiments is used and implemented by a computer system as the eighth embodiment of the present invention. .
図24(b)は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図24(a)は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクFDはケースF内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックTrが形成され、各トラックは角度方向に16のセクタSeに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクFD上に割り当てられた領域に、上記プログラムとしての面内予測符号化方法が記録されている。 FIG. 24B shows the appearance, cross-sectional structure, and flexible disk as seen from the front of the flexible disk, and FIG. 24A shows an example of the physical format of the flexible disk that is the recording medium body. The flexible disk FD is built in the case F, and on the surface of the disk, a plurality of tracks Tr are formed concentrically from the outer periphery toward the inner periphery, and each track is divided into 16 sectors Se in the angular direction. ing. Therefore, in the flexible disk storing the program, the in-plane predictive coding method as the program is recorded in an area allocated on the flexible disk FD.
また、図24(c)は、フレキシブルディスクFDに上記プログラムの記録再生を行うための構成を示す。上記プログラムをフレキシブルディスクFDに記録する場合は、コンピュータシステムCsから上記プログラムとしての面内予測符号化方法をフレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内のプログラムにより上記面内予測符号化方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。 FIG. 24C shows a configuration for recording and reproducing the program on the flexible disk FD. When the program is recorded on the flexible disk FD, the in-plane predictive encoding method as the program is written from the computer system Cs via the flexible disk drive. In addition, when the above-described predictive encoding method is constructed in a computer system by a program in a flexible disk, the program is read from the flexible disk by a flexible disk drive and transferred to the computer system.
なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ハードディスク、CD−ROM、メモリカード、ROMカセット等、プログラムを記録できるものであれば同様に実施することができる。 In the above description, a flexible disk is used as the recording medium, but the same can be done using an optical disk. The recording medium is not limited to this, and any recording medium such as a hard disk, a CD-ROM, a memory card, a ROM cassette, etc. that can record a program can be implemented in the same manner.
(第9実施形態)
本発明の第9実施形態として、面内予測符号化装置、面内予測符号化方法、および面内予測符号化プログラムの応用例と、それを用いたシステムとを図25〜図28を用いて説明する。
(Ninth embodiment)
As a ninth embodiment of the present invention, an application example of an intra prediction encoding apparatus, an intra prediction encoding method, and an intra prediction encoding program, and a system using the same are described with reference to FIGS. explain.
図25は、コンテンツ配信サービスを実現するコンテンツ供給システムex100の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ex107〜ex110が設置されている。 FIG. 25 is a block diagram showing an overall configuration of a content supply system ex100 that implements a content distribution service. The communication service providing area is divided into desired sizes, and base stations ex107 to ex110, which are fixed wireless stations, are installed in each cell.
このコンテンツ供給システムex100は、例えば、インターネットex101にインターネットサービスプロバイダex102および電話網ex104、および基地局ex107〜ex110を介して、コンピュータex111、PDA(personal digital assistant)ex112、カメラex113、携帯電話ex114、カメラ付きの携帯電話ex115などの各機器が接続される。 The content supply system ex100 includes, for example, a computer ex111, a PDA (personal digital assistant) ex112, a camera ex113, a mobile phone ex114, a camera via the Internet ex101, the Internet service provider ex102, the telephone network ex104, and the base stations ex107 to ex110. Each device such as the attached mobile phone ex115 is connected.
しかし、コンテンツ供給システムex100は図25のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ex107〜ex110を介さずに、各機器が電話網ex104に直接接続されてもよい。 However, the content supply system ex100 is not limited to the combination as shown in FIG. 25, and any combination may be connected. Also, each device may be directly connected to the telephone network ex104 without going through the base stations ex107 to ex110 which are fixed wireless stations.
カメラex113はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、PDC(Personal Digital Communications)方式、CDMA(Code Division Multiple Access)方式、W−CDMA(Wideband−Code Division Multiple
Access)方式、若しくはGSM(Global System for Mobile Communications)方式の携帯電話機、またはPHS(Personal Handyphone System)等であり、いずれでも構わない。
The camera ex113 is a device capable of shooting a moving image such as a digital video camera. In addition, the mobile phone includes a PDC (Personal Digital Communications) system, a CDMA (Code Division Multiple Access) system, and a W-CDMA (Wideband-Code Division Multiple).
The mobile phone may be an Access (Access) method, a GSM (Global System for Mobile Communications) method, or a PHS (Personal Handyphone System).
また、ストリーミングサーバex103は、カメラex113から基地局ex109、電話網ex104を通じて接続されており、カメラex113を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラex113で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラex116で撮影した動画データはコンピュータex111を介してストリーミングサーバex103に送信されてもよい。カメラex116はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラex116で行ってもコンピュータex111で行ってモードちらでもよい。また、符号化処理はコンピュータex111やカメラex116が有するLSIex117において処理することになる。なお、画像符号化・復号化用のソフトウェアをコンピュータex111等で読み取り可能な記録媒体である何らかの蓄積メディア(CD−ROM、フレキシブルディスク、ハードディスクなど)に組み込んでもよい。さらに、カメラ付きの携帯電話ex115で動画データを送信してもよい。このときの動画データは携帯電話ex115が有するLSIで符号化処理されたデータである。 In addition, the streaming server ex103 is connected from the camera ex113 through the base station ex109 and the telephone network ex104, and live distribution or the like based on the encoded data transmitted by the user using the camera ex113 becomes possible. The encoded processing of the captured data may be performed by the camera ex113, or may be performed by a server or the like that performs data transmission processing. The moving image data shot by the camera ex116 may be transmitted to the streaming server ex103 via the computer ex111. The camera ex116 is a device such as a digital camera that can shoot still images and moving images. In this case, the encoding of the moving image data may be performed by the camera ex116 or the computer ex111, and the mode may be used. The encoding process is performed in the LSI ex117 included in the computer ex111 and the camera ex116. Note that image encoding / decoding software may be incorporated into any storage medium (CD-ROM, flexible disk, hard disk, or the like) that is a recording medium readable by the computer ex111 or the like. Furthermore, you may transmit moving image data with the mobile phone ex115 with a camera. The moving image data at this time is data encoded by the LSI included in the mobile phone ex115.
このコンテンツ供給システムex100では、ユーザがカメラex113、カメラex116等で撮影しているコンテンツ(例えば、音楽ライブを撮影した映像等)を符号化処理してストリーミングサーバex103に送信する一方で、ストリーミングサーバex103は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、符号化処理されたデータを復号化することが可能な、コンピュータex111、PDAex112、カメラex113、携帯電話ex114等がある。このようにすることでコンテンツ供給システムex100は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。なお、コンテンツの符号化処理に際しては、上記実施形態の面内予測符号化装置、面内予測符号化方法、および面内予測符号化プログラムを用いても良い。例えば、コンピュータex111、PDAex112、カメラex113、携帯電話ex114等は、上記実施形態で示した面内予測符号化装置および面内予測符号化プログラムを備えていてもよい。 In the content supply system ex100, the content (for example, a video image of music live) captured by the user with the camera ex113, the camera ex116, and the like is encoded and transmitted to the streaming server ex103, while the streaming server ex103. Distributes the content data to the requested client. Examples of the client include a computer ex111, a PDA ex112, a camera ex113, and a mobile phone ex114 that can decode the encoded data. In this way, the content supply system ex100 can receive and play back the encoded data at the client, and can also receive a private broadcast by receiving, decoding, and playing back at the client in real time. It is a system that becomes possible. In the content encoding process, the intra prediction encoding apparatus, the intra prediction encoding method, and the intra prediction encoding program of the above embodiment may be used. For example, the computer ex111, the PDA ex112, the camera ex113, the mobile phone ex114, and the like may include the in-plane prediction encoding apparatus and the in-plane prediction encoding program described in the above embodiment.
一例として携帯電話について説明する。
図26は、上記実施形態のメディアデータ表示装置を用いた携帯電話ex115を示す図である。携帯電話ex115は、基地局ex110との間で電波を送受信するためのアンテナex201、CCDカメラ等の映像、静止画を撮ることが可能なカメラ部ex203、カメラ部ex203で撮影した映像、アンテナex201で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ex202、操作キーex204群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ex208、音声入力をするためのマイク等の音声入力部ex205、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアex207、携帯電話ex115に記録メディアex207を装着可能とするためのスロット部ex206を有している。記録メディアex207はSDカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるEEPROM(Electrically Erasable and Programmable Read Only Memory)の一種であるフラッシュメモリ素子を格納したものである。
A mobile phone will be described as an example.
FIG. 26 is a diagram showing a mobile phone ex115 using the media data display device of the above embodiment. The mobile phone ex115 includes an antenna ex201 for transmitting and receiving radio waves to and from the base station ex110, a video from a CCD camera, a camera unit ex203 capable of taking a still image, a video shot by the camera unit ex203, and an antenna ex201. A display unit ex202 such as a liquid crystal display that displays data obtained by decoding received video and the like, a main body unit composed of a group of operation keys ex204, an audio output unit ex208 such as a speaker for audio output, and audio input To store encoded data or decoded data such as a voice input unit ex205 such as a microphone, captured video or still image data, received mail data, video data or still image data, etc. Recording media ex207 and mobile phone ex115 with recording media ex207 And a slot portion ex206 to ability. The recording medium ex207 stores a flash memory element, which is a kind of EEPROM (Electrically Erasable and Programmable Read Only Memory), which is a nonvolatile memory that can be electrically rewritten and erased, in a plastic case such as an SD card.
さらに、携帯電話ex115について図27を用いて説明する。携帯電話ex115は表示部ex202および操作キーex204を備えた本体部の各部を統括的に制御するようになされた主制御部ex311に対して、電源回路部ex310、操作入力制御部ex304、画像符号化部ex312、カメラインターフェース部ex303、LCD(Liquid Crystal Display)制御部ex302、画像復号化部ex309、多重分離部ex308、記録再生部ex307、変復調回路部ex306および音声処理部ex305が同期バスex313を介して互いに接続されている。 Further, the cellular phone ex115 will be described with reference to FIG. The mobile phone ex115 controls the main control unit ex311 which controls the respective units of the main body unit including the display unit ex202 and the operation key ex204. The power supply circuit unit ex310, the operation input control unit ex304, and the image encoding Unit ex312, camera interface unit ex303, LCD (Liquid Crystal Display) control unit ex302, image decoding unit ex309, demultiplexing unit ex308, recording / playback unit ex307, modulation / demodulation circuit unit ex306, and audio processing unit ex305 via a synchronization bus ex313 Are connected to each other.
電源回路部ex310は、ユーザの操作により終話および電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ex115を動作可能な状態に起動する。 When the end of call and the power key are turned on by a user operation, the power supply circuit ex310 starts up the camera-equipped digital mobile phone ex115 in an operable state by supplying power from the battery pack to each unit. .
携帯電話ex115は、CPU、ROMおよびRAM等でなる主制御部ex311の制御に基づいて、音声通話モード時に音声入力部ex205で集音した音声信号を音声処理部ex305によってディジタル音声データに変換し、これを変復調回路部ex306でスペクトラム拡散処理し、送受信回路部ex301でディジタルアナログ変換処理および周波数変換処理を施した後にアンテナex201を介して送信する。また携帯電話ex115は、音声通話モード時にアンテナex201で受信した受信信号を増幅して周波数変換処理およびアナログディジタル変換処理を施し、変復調回路部ex306でスペクトラム逆拡散処理し、音声処理部ex305によってアナログ音声信号に変換した後、これを音声出力部ex208を介して出力する。 The cellular phone ex115 converts the voice signal collected by the voice input unit ex205 in the voice call mode into digital voice data by the voice processing unit ex305 based on the control of the main control unit ex311 including a CPU, a ROM, a RAM, and the like. The modulation / demodulation circuit unit ex306 performs spread spectrum processing, the transmission / reception circuit unit ex301 performs digital analog conversion processing and frequency conversion processing, and then transmits the result via the antenna ex201. In addition, the cellular phone ex115 amplifies the received signal received by the antenna ex201 in the voice call mode, performs frequency conversion processing and analog-digital conversion processing, performs spectrum despreading processing by the modulation / demodulation circuit unit ex306, and analog audio by the voice processing unit ex305 After conversion into a signal, this is output via the audio output unit ex208.
さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーex204の操作によって入力された電子メールのテキストデータは操作入力制御部ex304を介して主制御部ex311に送出される。主制御部ex311は、テキストデータを変復調回路部ex306でスペクトラム拡散処理し、送受信回路部ex301でディジタルアナログ変換処理および周波数変換処理を施した後にアンテナex201を介して基地局ex110へ送信する。 Further, when an e-mail is transmitted in the data communication mode, text data of the e-mail input by operating the operation key ex204 of the main body is sent to the main control unit ex311 via the operation input control unit ex304. The main control unit ex311 performs spread spectrum processing on the text data in the modulation / demodulation circuit unit ex306, performs digital analog conversion processing and frequency conversion processing in the transmission / reception circuit unit ex301, and then transmits the text data to the base station ex110 via the antenna ex201.
データ通信モード時に画像データを送信する場合、カメラ部ex203で撮像された画像データをカメラインターフェース部ex303を介して画像符号化部ex312に供給する。また、画像データを送信しない場合には、カメラ部ex203で撮像した画像データをカメラインターフェース部ex303およびLCD制御部ex302を介して表示部ex202に直接表示することも可能である。 When transmitting image data in the data communication mode, the image data captured by the camera unit ex203 is supplied to the image encoding unit ex312 via the camera interface unit ex303. When image data is not transmitted, the image data captured by the camera unit ex203 can be directly displayed on the display unit ex202 via the camera interface unit ex303 and the LCD control unit ex302.
画像符号化部ex312は、カメラ部ex203から供給された画像データを圧縮符号化することにより符号化画像データに変換し、これを多重分離部ex308に送出する。また、このとき同時に携帯電話ex115は、カメラ部ex203で撮像中に音声入力部ex205で集音した音声を音声処理部ex305を介してディジタルの音声データとして多重分離部ex308に送出する。 The image encoding unit ex312 converts the image data supplied from the camera unit ex203 into encoded image data by compression encoding, and sends this to the demultiplexing unit ex308. At the same time, the cellular phone ex115 sends the sound collected by the voice input unit ex205 during imaging by the camera unit ex203 to the demultiplexing unit ex308 via the voice processing unit ex305 as digital voice data.
なお、画像符号化部ex312は、上記実施形態の面内予測符号化装置としての機能を果たすものであっても良い。 Note that the image encoding unit ex312 may perform a function as the in-plane prediction encoding apparatus of the above embodiment.
多重分離部ex308は、画像符号化部ex312から供給された符号化画像データと音声処理部ex305から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ex306でスペクトラム拡散処理し、送受信回路部ex301でディジタルアナログ変換処理および周波数変換処理を施した後にアンテナex201を介して送信する。 The demultiplexing unit ex308 multiplexes the encoded image data supplied from the image encoding unit ex312 and the audio data supplied from the audio processing unit ex305 by a predetermined method, and the multiplexed data obtained as a result is a modulation / demodulation circuit unit Spread spectrum processing is performed in ex306, digital analog conversion processing and frequency conversion processing are performed in the transmission / reception circuit unit ex301, and then transmitted through the antenna ex201.
データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナex201を介して基地局ex110から受信した受信信号を変復調回路部ex306でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ex308に送出する。 When receiving data of a moving image file linked to a homepage or the like in the data communication mode, the received signal received from the base station ex110 via the antenna ex201 is subjected to spectrum despreading processing by the modulation / demodulation circuit unit ex306, and the resulting multiplexing is obtained. Data is sent to the demultiplexing unit ex308.
また、アンテナex201を介して受信された多重化データを復号化するには、多重分離部ex308は、多重化データを分離することにより画像データの符号化ビットストリームと音声データの符号化ビットストリームとに分け、同期バスex313を介して当該符号化画像データを画像復号化部ex309に供給すると共に当該音声データを音声処理部ex305に供給する。 In addition, in order to decode the multiplexed data received via the antenna ex201, the demultiplexing unit ex308 separates the multiplexed data to generate an encoded bitstream of image data and an encoded bitstream of audio data. The encoded image data is supplied to the image decoding unit ex309 via the synchronization bus ex313, and the audio data is supplied to the audio processing unit ex305.
次に、画像復号化部ex309は、画像データの符号化ビットストリームを復号することにより再生動画像データを生成し、これを、LCD制御部ex302を介して表示部ex202に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。 Next, the image decoding unit ex309 generates reproduction moving image data by decoding the encoded bit stream of the image data, and supplies this to the display unit ex202 via the LCD control unit ex302. For example, moving image data included in a moving image file linked to a home page is displayed.
このとき同時に音声処理部ex305は、音声データをアナログ音声信号に変換した後、これを音声出力部ex208に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。 At the same time, the audio processing unit ex305 converts the audio data into an analog audio signal, and then supplies the analog audio signal to the audio output unit ex208. Thus, for example, the audio data included in the moving image file linked to the home page is reproduced. The
なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図28に示すようにディジタル放送用システムにも上記実施形態の面内予測符号化装置、面内予測符号化方法、および面内予測符号化プログラムを組み込むことができる。具体的には、放送局ex409では映像情報を放送用エンコーダex430およびカメラex430で符号化処理し、生成された符号化ビットストリームが電波を介して通信または放送衛星ex410に伝送される。これを受けた放送衛星ex410は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナex406で受信し、テレビ(受信機)ex401またはセットトップボックス(STB)ex407などの装置により符号化ビットストリームを復号化してこれを再生する。また、アンテナex411を有する車ex412で放送衛星ex410からまたは基地局ex107等から信号を受信し、車ex412が有するカーナビゲーションex413等の表示装置に動画を再生することも可能である。ここで、放送用エンコーダex430およびカメラex430などの装置が上記実施形態の面内予測符号化装置を備えていてもよい。また、上記実施形態の面内予測符号化方法を用いるものであってもよい。さらに、上記実施形態の面内予測符号化プログラムを備えていてもよい。 In addition, the present invention is not limited to the above-described system, and recently, digital broadcasting using satellites and terrestrial waves has become a hot topic. As shown in FIG. An intra prediction encoding method and an intra prediction encoding program can be incorporated. Specifically, the broadcast station ex409 encodes the video information with the broadcast encoder ex430 and the camera ex430, and the generated encoded bitstream is transmitted to the communication or broadcast satellite ex410 via radio waves. Receiving this, the broadcasting satellite ex410 transmits a radio wave for broadcasting, and receives the radio wave with a home antenna ex406 having a satellite broadcasting receiving facility, such as a television (receiver) ex401 or a set top box (STB) ex407. The device decodes the encoded bit stream and reproduces it. It is also possible to receive a signal from the broadcasting satellite ex410 or the base station ex107 by the car ex412 having the antenna ex411 and reproduce a moving image on a display device such as the car navigation ex413 that the car ex412 has. Here, apparatuses such as the broadcast encoder ex430 and the camera ex430 may include the in-plane prediction encoding apparatus of the above embodiment. Moreover, you may use the in-plane prediction encoding method of the said embodiment. Furthermore, the in-plane prediction encoding program of the above embodiment may be provided.
さらに、画像信号を符号化し、記録媒体に記録することもできる。具体例としては、DVDディスクex421に画像信号を記録するDVDレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダex420がある。さらにSDカードex422に記録することもできる。また、レコーダex420の他に、コンピュータex403やカーナビゲーションex413に、前記記録媒体に画像信号を符号化して記録する機能を持たせることも可能である。なお、DVDディスクex421やSDカードex422などに記録する際に、画像信号を上記実施形態の面内予測符号化装置を介して記録することも可能である。 Furthermore, an image signal can be encoded and recorded on a recording medium. Specific examples include a recorder ex420 such as a DVD recorder that records image signals on a DVD disk ex421 and a disk recorder that records images on a hard disk. Further, it can be recorded on the SD card ex422. In addition to the recorder ex420, the computer ex403 and the car navigation system ex413 may have a function of encoding and recording an image signal on the recording medium. In addition, when recording on DVD disc ex421, SD card ex422, etc., it is also possible to record an image signal via the in-plane predictive coding apparatus of the said embodiment.
カーナビゲーションex413の構成は例えば図27に示す構成のうち、カメラ部ex203とカメラインターフェース部ex303を除いた構成が考えられ、同様なことがレコーダex420やコンピュータex111等でも考えられる。 As the configuration of the car navigation ex413, for example, the configuration excluding the camera unit ex203 and the camera interface unit ex303 in the configuration illustrated in FIG. 27 can be considered, and the same can be considered in the recorder ex420, the computer ex111, and the like.
また、上記携帯電話ex114等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の3通りの実装形式が考えられる。 In addition to the transmission / reception type terminal having both the encoder and the decoder, the terminal such as the mobile phone ex114 has three mounting formats, that is, a transmitting terminal having only an encoder and a receiving terminal having only a decoder. Can be considered.
このように、上記実施形態の面内予測符号化装置、面内予測符号化方法、および面内予測符号化プログラムを上述したいずれの機器・システムにも用いることが可能であり、上記実施形態で説明した効果を得ることができる。 As described above, the intra prediction encoding apparatus, the intra prediction encoding method, and the intra prediction encoding program of the above embodiment can be used in any of the above-described devices and systems. The described effect can be obtained.
また、本発明はかかる上記実施形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。 In addition, the present invention is not limited to the above-described embodiment, and various changes and modifications can be made without departing from the scope of the present invention.
また、各実施形態の各機能ブロックは典型的には集積回路であるLSIとして実現される。このLSIは1チップ化されても良いし、複数チップ化されても良い。(例えばメモリ以外の機能ブロックが1チップ化されていても良い。)ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。 Each functional block of each embodiment is typically realized as an LSI which is an integrated circuit. This LSI may be made into one chip or a plurality of chips. (For example, the functional blocks other than the memory may be integrated into one chip.) Although the LSI is used here, it may be referred to as an IC, a system LSI, a super LSI, or an ultra LSI depending on the degree of integration.
また、集積回路化の手法はLSIに限るものではなく、専用回路又は汎用プロセサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。 Further, the method of circuit integration is not limited to LSI, and implementation with a dedicated circuit or a general-purpose processor is also possible. An FPGA (Field Programmable Gate Array) that can be programmed after manufacturing the LSI or a reconfigurable processor that can reconfigure the connection and setting of the circuit cells inside the LSI may be used.
さらには、半導体技術の進歩又は派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。 Further, if integrated circuit technology comes out to replace LSI's as a result of the advancement of semiconductor technology or a derivative other technology, it is naturally also possible to carry out function block integration using this technology. Biotechnology can be applied.
本発明に係る面内予測符号化方法および面内予測符号化装置は、ソフトウェアによる処理負荷またはハードウェア処理サイクル数の最大値を増大させずに符号化効率を向上させることができ、例えば携帯電話、DVD装置、およびパーソナルコンピュータ等で、動画像を構成する各ピクチャを符号化するのに有用である。 The intra prediction encoding method and the intra prediction encoding device according to the present invention can improve encoding efficiency without increasing the processing load by software or the maximum value of the number of hardware processing cycles. It is useful for encoding each picture constituting a moving image in a DVD device, a personal computer, or the like.
100,150a〜f,300 面内予測符号化装置
101,151,192 面内予測実行部
152 予測差分計算部
153,153b 符号化効率評価部
154,154b 面内予測モード決定部
155,305 符号化部
156a〜d,156f,304 面内予測モード候補決定部
191 面内予測簡易実行部
301 4×4面内予測部
302 8×8面内予測部
303 16×16面内予測部
100, 150a to f, 300
Claims (20)
前記対象ブロックに対して、前記面内予測方式候補決定ステップにより決定された前記面内予測方式候補の面内予測方式で面内予測を実行し、面内予測画像を生成する面内予測実行ステップと、
前記対象ブロックの入力画像と、前記面内予測実行ステップにより生成された前記面内予測画像との、各画素の差分値を各画素値として持つ差分画像を生成する予測差分計算ステップと、
前記予測差分計算ステップにより生成された前記差分画像に基づいて、対応する前記面内予測方式を用いて符号化した場合の符号化効率の評価値を算出する符号化効率評価ステップと、
前記符号化効率評価ステップにより算出された前記評価値に基づいて、前記面内予測方式候補の中から前記対象ブロックを符号化する面内予測方式を決定する面内予測方式決定ステップと、
前記面内予測方式決定ステップにより決定された前記面内予測方式を示す面内予測方式情報と、前記面内予測方式決定ステップにより決定された前記面内予測方式を用いて面内予測を行った前記面内予測画像に対応する前記差分画像を符号化する符号化ステップと
を含むことを特徴とする面内予測符号化方法。 An in-plane prediction method for determining at least one in-plane prediction method candidate that is a candidate for an in-plane prediction method for performing in-plane prediction for a target block, according to a resource amount given for intra-frame prediction encoding. Candidate decision step;
An in-plane prediction execution step for generating an in-plane prediction image by executing in-plane prediction with the in-plane prediction method candidate in-plane prediction method determined in the in-plane prediction method candidate determination step for the target block. When,
A prediction difference calculation step of generating a difference image having a difference value of each pixel as each pixel value between the input image of the target block and the in-plane prediction image generated by the in-plane prediction execution step;
Based on the difference image generated by the prediction difference calculation step, an encoding efficiency evaluation step for calculating an evaluation value of encoding efficiency when encoding using the corresponding in-plane prediction method;
Based on the evaluation value calculated by the encoding efficiency evaluation step, an intra prediction method determination step for determining an intra prediction method for encoding the target block from the intra prediction method candidates;
In-plane prediction was performed using the in-plane prediction method information indicating the in-plane prediction method determined in the in-plane prediction method determination step and the in-plane prediction method determined in the in-plane prediction method determination step. And an encoding step for encoding the difference image corresponding to the in-plane prediction image.
前記面内予測方式候補決定ステップでは、前記資源量に応じて面内予測モード候補を決定し、
前記面内予測方式決定ステップでは、前記評価値に基づいて、前記面内予測モード候補の中から前記対象ブロックを符号化する面内予測モードを決定する
ことを特徴とする請求の範囲1記載の面内予測符号化方法。 The intra-prediction method is an intra-prediction mode indicating how to use the encoded decoded pixels adjacent to the target block to generate the intra-predicted image,
In the in-plane prediction method candidate determination step, an in-plane prediction mode candidate is determined according to the resource amount,
The in-plane prediction method determining step determines an in-plane prediction mode for encoding the target block from among the in-plane prediction mode candidates based on the evaluation value. In-plane predictive coding method.
ことを特徴とする請求の範囲2記載の面内予測符号化方法。 The plane according to claim 2, wherein in the in-plane prediction method candidate determining step, an edge direction of an image in the target block is extracted, and the in-plane prediction mode candidate is determined based on the edge direction. Intra prediction encoding method.
ことを特徴とする請求の範囲3記載の面内予測符号化方法。 The in-plane prediction method candidate according to claim 3, wherein in the in-plane prediction method candidate determining step, an in-plane prediction mode having a prediction direction close to the edge direction is preferentially determined as the in-plane prediction mode candidate. Encoding method.
ことを特徴とする請求の範囲2記載の面内予測符号化方法。 The in-plane prediction encoding method according to claim 2, wherein in the in-plane prediction method candidate determination step, an in-plane prediction mode having no prediction direction is preferentially determined as the in-plane prediction mode candidate. .
ことを特徴とする請求の範囲2記載の面内予測符号化方法。 In the intra prediction method candidate determination step, a predetermined intra prediction mode is preferentially determined as the intra prediction mode candidate based on whether frame encoding or field encoding is performed. The in-plane prediction encoding method according to claim 2.
ことを特徴とする請求の範囲2記載の面内予測符号化方法。 In the in-plane prediction method candidate determination step, a predetermined in-plane prediction mode is preferentially determined as the in-plane prediction mode candidate on the basis of the vertical / horizontal scale ratio of the image that is encoded at a reduced resolution. The in-plane predictive coding method according to claim 2, wherein
前記面内予測方式候補決定ステップでは、前記資源量に応じて面内予測単位候補を決定し、
前記面内予測方式決定ステップでは、前記評価値に基づいて、前記面内予測単位候補の中から面内予測単位を決定する
ことを特徴とする請求の範囲1記載の面内予測符号化方法。 The in-plane prediction method is an in-plane prediction unit that is a block size of the target block,
In the in-plane prediction method candidate determination step, an in-plane prediction unit candidate is determined according to the resource amount,
The in-plane prediction encoding method according to claim 1, wherein, in the in-plane prediction method determining step, an in-plane prediction unit is determined from the in-plane prediction unit candidates based on the evaluation value.
前記面内予測方式決定ステップでは、さらに前記評価値に基づいて、前記面内予測モード候補の中から面内予測モードを決定する
ことを特徴とする請求の範囲8記載の面内予測符号化方法。 In the in-plane prediction method candidate determination step, a plane indicating how to use the encoded decoded pixels adjacent to the target block to generate the in-plane prediction image for each in-plane prediction unit. Determining at least one in-plane prediction mode candidate to be a candidate for an intra prediction mode according to the resource amount;
The in-plane prediction encoding method according to claim 8, wherein, in the in-plane prediction method determining step, an in-plane prediction mode is further determined from the in-plane prediction mode candidates based on the evaluation value. .
ことを特徴とする請求の範囲1記載の面内予測符号化方法。 The in-plane prediction method according to claim 1, wherein, in the in-plane prediction method candidate determination step, a determination method of the in-plane prediction method candidate is selected from a plurality of determination methods according to the resource amount. Encoding method.
ことを特徴とする請求の範囲1記載の面内予測符号化方法。 The in-plane prediction encoding method according to claim 1, wherein, in the in-plane prediction method candidate determination step, the number of the in-plane prediction method candidates is changed according to the resource amount.
ことを特徴とする請求の範囲1記載の面内予測符号化方法。 In the in-plane prediction method candidate determination step, it is determined that the resource amount increases as the product of the number of horizontal pixels and the number of vertical pixels of the input image to be encoded decreases, and the number of horizontal pixels of the input image The in-plane prediction encoding method according to claim 1, wherein the in-plane prediction method candidate is determined according to a product of the number of pixels and the number of vertical pixels.
ことを特徴とする請求の範囲12記載の面内予測符号化方法。 The in-plane prediction method candidate determination step increases the number of the in-plane prediction method candidates as the product of the number of horizontal pixels and the number of vertical pixels decreases. In-plane predictive coding method.
ことを特徴とする請求の範囲1記載の面内予測符号化方法。 In the in-plane prediction method candidate determination step, it is determined that the resource amount increases as the number of frames or fields to be encoded per unit time of the input image to be encoded decreases, and the frame or field The in-plane prediction encoding method according to claim 1, wherein the in-plane prediction method candidates are determined according to the number of sheets.
ことを特徴とする請求の範囲14記載の面内予測符号化方法。 The in-plane prediction encoding method according to claim 14, wherein, in the in-plane prediction method candidate determination step, the number of the in-plane prediction method candidates is increased as the number of the frames or the fields decreases. Method.
ことを特徴とする請求の範囲1記載の面内予測符号化方法。 In the in-plane prediction method candidate determination step, the prediction type of the picture of the input image to be encoded is prediction type B for performing inter-screen prediction for generating a prediction image with reference to one or more pictures, It is determined that the resource amount increases in the order of a prediction type P that performs inter-screen prediction that generates a predicted image with reference to a picture, and a prediction type I that does not perform inter-screen prediction, and based on the prediction type of the picture The in-plane prediction encoding method according to claim 1, wherein an in-plane prediction method candidate is determined.
ことを特徴とする請求の範囲16記載の面内予測符号化方法。 The plane according to claim 16, wherein, in the in-plane prediction method candidate determination step, the number of the in-plane prediction method candidates is monotonously increased in the order of the prediction type B, the prediction type P, and the prediction type I. Intra prediction encoding method.
前記対象ブロックに対して、前記面内予測方式候補決定手段で決定された前記面内予測方式候補すべての面内予測方式で面内予測を実行し、面内予測画像を生成する面内予測実行手段と、
前記対象ブロックの入力画像と、前記面内予測実行手段で生成された前記面内予測画像との、各画素の差分値を各画素値として持つ差分画像を生成する予測差分計算手段と、
前記予測差分計算手段で生成された前記差分画像に基づいて、対応する前記面内予測方式を用いて符号化した場合の符号化効率の評価値を算出する符号化効率評価手段と、
前記符号化効率評価手段で算出された前記評価値に基づいて、前記面内予測方式候補の中から前記対象ブロックを符号化する面内予測方式を決定する面内予測方式決定手段と、
前記面内予測方式決定手段で決定された前記面内予測方式を示す面内予測方式情報と、前記面内予測方式決定手段で決定された前記面内予測方式を用いて面内予測を行った前記面内予測画像に対応する前記差分画像を符号化する符号化手段と
を備えることを特徴とする面内予測符号化装置。 An in-plane prediction method for determining at least one in-plane prediction method candidate that is a candidate for an in-plane prediction method for performing in-plane prediction for a target block, according to a resource amount given for intra-frame prediction encoding. Candidate decision means;
For the target block, in-plane prediction is performed by performing in-plane prediction with all of the in-plane prediction method candidates determined by the in-plane prediction method candidate determination unit, and generating an in-plane prediction image. Means,
A prediction difference calculation unit that generates a difference image having a difference value of each pixel as each pixel value between the input image of the target block and the in-plane prediction image generated by the in-plane prediction execution unit;
Based on the difference image generated by the prediction difference calculation unit, an encoding efficiency evaluation unit that calculates an evaluation value of encoding efficiency when encoding using the corresponding in-plane prediction method;
Based on the evaluation value calculated by the encoding efficiency evaluation unit, an intra prediction method determination unit that determines an intra prediction method for encoding the target block from the intra prediction method candidates;
In-plane prediction was performed using the in-plane prediction method information indicating the in-plane prediction method determined by the in-plane prediction method determination unit and the in-plane prediction method determined by the in-plane prediction method determination unit. Coding means for coding the difference image corresponding to the in-plane predicted image.
対象ブロックに対して面内予測を行う面内予測方式の候補となる少なくとも1つの面内予測方式候補を、面内予測符号化のために与えられた資源量に応じて決定する面内予測方式候補決定ステップと、
前記対象ブロックに対して、前記面内予測方式候補決定ステップにより決定された前記面内予測方式候補すべての面内予測方式で面内予測を実行し、面内予測画像を生成する面内予測実行ステップと、
前記対象ブロックの入力画像と、前記面内予測実行ステップにより生成された前記面内予測画像との、各画素の差分値を各画素値として持つ差分画像を生成する予測差分計算ステップと、
前記予測差分計算ステップにより生成された前記差分画像に基づいて、対応する前記面内予測方式を用いて符号化した場合の符号化効率の評価値を算出する符号化効率評価ステップと、
前記符号化効率評価ステップにより算出された前記評価値に基づいて、前記面内予測方式候補の中から前記対象ブロックを符号化する面内予測方式を決定する面内予測方式決定ステップと、
前記面内予測方式決定ステップにより決定された前記面内予測方式を示す面内予測方式情報と、前記面内予測方式決定ステップにより決定された前記面内予測方式を用いて面内予測を行った前記面内予測画像に対応する前記差分画像を符号化する符号化ステップと
をコンピュータに実行させることを特徴とするプログラム。 A program for performing intra prediction encoding of an input image to be encoded,
An in-plane prediction method for determining at least one in-plane prediction method candidate that is a candidate for an in-plane prediction method for performing in-plane prediction for a target block, according to a resource amount given for intra-frame prediction encoding. Candidate decision step;
For the target block, in-plane prediction is performed by executing in-plane prediction with all the in-plane prediction method candidates determined in the in-plane prediction method candidate determination step, and generating an in-plane prediction image. Steps,
A prediction difference calculation step of generating a difference image having a difference value of each pixel as each pixel value between the input image of the target block and the in-plane prediction image generated by the in-plane prediction execution step;
Based on the difference image generated by the prediction difference calculation step, an encoding efficiency evaluation step for calculating an evaluation value of encoding efficiency when encoding using the corresponding in-plane prediction method;
Based on the evaluation value calculated by the encoding efficiency evaluation step, an intra prediction method determination step for determining an intra prediction method for encoding the target block from the intra prediction method candidates;
In-plane prediction was performed using the in-plane prediction method information indicating the in-plane prediction method determined in the in-plane prediction method determination step and the in-plane prediction method determined in the in-plane prediction method determination step. A program causing a computer to execute an encoding step of encoding the difference image corresponding to the in-plane prediction image.
前記対象ブロックに対して、前記面内予測方式候補決定手段で決定された前記面内予測方式候補すべての面内予測方式で面内予測を実行し、面内予測画像を生成する面内予測実行手段と、
前記対象ブロックの入力画像と、前記面内予測実行手段で生成された前記面内予測画像との、各画素の差分値を各画素値として持つ差分画像を生成する予測差分計算手段と、
前記予測差分計算手段で生成された前記差分画像に基づいて、対応する前記面内予測方式を用いて符号化した場合の符号化効率の評価値を算出する符号化効率評価手段と、
前記符号化効率評価手段で算出された前記評価値に基づいて、前記面内予測方式候補の中から前記対象ブロックを符号化する面内予測方式を決定する面内予測方式決定手段と、
前記面内予測方式決定手段で決定された前記面内予測方式を示す面内予測方式情報と、前記面内予測方式決定手段で決定された前記面内予測方式を用いて面内予測を行った前記面内予測画像に対応する前記差分画像を符号化する符号化手段と
を備えることを特徴とする集積回路。 An in-plane prediction method for determining at least one in-plane prediction method candidate that is a candidate for an in-plane prediction method for performing in-plane prediction for a target block, according to a resource amount given for intra-frame prediction encoding. Candidate decision means;
For the target block, in-plane prediction is performed by performing in-plane prediction with all of the in-plane prediction method candidates determined by the in-plane prediction method candidate determination unit, and generating an in-plane prediction image. Means,
A prediction difference calculation unit that generates a difference image having a difference value of each pixel as each pixel value between the input image of the target block and the in-plane prediction image generated by the in-plane prediction execution unit;
Based on the difference image generated by the prediction difference calculation unit, an encoding efficiency evaluation unit that calculates an evaluation value of encoding efficiency when encoding using the corresponding in-plane prediction method;
Based on the evaluation value calculated by the encoding efficiency evaluation unit, an intra prediction method determination unit that determines an intra prediction method for encoding the target block from the intra prediction method candidates;
In-plane prediction was performed using the in-plane prediction method information indicating the in-plane prediction method determined by the in-plane prediction method determination unit and the in-plane prediction method determined by the in-plane prediction method determination unit. An integrated circuit comprising: encoding means for encoding the difference image corresponding to the in-plane prediction image.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004310869A JP4515886B2 (en) | 2003-10-28 | 2004-10-26 | In-plane predictive coding method |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003367091 | 2003-10-28 | ||
JP2004310869A JP4515886B2 (en) | 2003-10-28 | 2004-10-26 | In-plane predictive coding method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005160048A true JP2005160048A (en) | 2005-06-16 |
JP4515886B2 JP4515886B2 (en) | 2010-08-04 |
Family
ID=34741065
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004310869A Expired - Fee Related JP4515886B2 (en) | 2003-10-28 | 2004-10-26 | In-plane predictive coding method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4515886B2 (en) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007055158A1 (en) * | 2005-11-08 | 2007-05-18 | Matsushita Electric Industrial Co., Ltd. | Dynamic image encoding method, dynamic image decoding method, and device |
KR100739714B1 (en) * | 2005-07-06 | 2007-07-13 | 삼성전자주식회사 | Method and apparatus for intra prediction mode decision |
JP2008048065A (en) * | 2006-08-11 | 2008-02-28 | Toshiba Corp | Moving image encoding apparatus |
JP2008154155A (en) * | 2006-12-20 | 2008-07-03 | Toshiba Corp | Moving image encoding apparatus |
JP2008283481A (en) * | 2007-05-10 | 2008-11-20 | Canon Inc | Image processor, and method thereof |
JP2010508684A (en) * | 2006-10-31 | 2010-03-18 | トムソン ライセンシング | Video coding with intra coding selection |
JP2010233263A (en) * | 2010-07-12 | 2010-10-14 | Sony Corp | Device and method of image processing, program and recording medium |
JP2011125067A (en) * | 2005-09-26 | 2011-06-23 | Mitsubishi Electric Corp | Dynamic image encoding device and dynamic image decoding device |
US8059717B2 (en) | 2005-10-28 | 2011-11-15 | Panasonic Corporation | Image coding apparatus, method and program for intra prediction using specified H.264 prediction modes in specified scan order |
US8432964B2 (en) | 2006-07-14 | 2013-04-30 | Sony Corporation | Image processing device, method, and program |
JP2013158060A (en) * | 2009-01-08 | 2013-08-15 | Nec Corp | Image conversion device, method, and program |
KR20140066194A (en) * | 2011-09-20 | 2014-05-30 | 마이크로소프트 코포레이션 | Low-complexity remote presentation session encoder |
JP2016129361A (en) * | 2009-09-10 | 2016-07-14 | アップル インコーポレイテッド | Video editing and reformatting for digital video recorder |
CN109413423A (en) * | 2012-01-20 | 2019-03-01 | 英迪股份有限公司 | Coding/decoding method, video decoding apparatus and coding method |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03229586A (en) * | 1990-02-02 | 1991-10-11 | Fujitsu Ltd | Processing quantity adaptive type motion compensating moving picture encoding system |
JPH11239352A (en) * | 1997-12-10 | 1999-08-31 | Matsushita Electric Ind Co Ltd | Image processing method, image processing unit and data storage medium |
JP2002511687A (en) * | 1998-04-16 | 2002-04-16 | サイエンティフィック−アトランタ, インコーポレイテッド | Motion estimation system and method |
JP2004166183A (en) * | 2002-09-26 | 2004-06-10 | Toshiba Corp | Moving picture coding apparatus and method, moving picture encoding method conversion apparatus, and method |
-
2004
- 2004-10-26 JP JP2004310869A patent/JP4515886B2/en not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03229586A (en) * | 1990-02-02 | 1991-10-11 | Fujitsu Ltd | Processing quantity adaptive type motion compensating moving picture encoding system |
JPH11239352A (en) * | 1997-12-10 | 1999-08-31 | Matsushita Electric Ind Co Ltd | Image processing method, image processing unit and data storage medium |
JP2002511687A (en) * | 1998-04-16 | 2002-04-16 | サイエンティフィック−アトランタ, インコーポレイテッド | Motion estimation system and method |
JP2004166183A (en) * | 2002-09-26 | 2004-06-10 | Toshiba Corp | Moving picture coding apparatus and method, moving picture encoding method conversion apparatus, and method |
Non-Patent Citations (1)
Title |
---|
JPN6009033441, Feng PAN, Xiao LIN, Rahardja SUSANTO, Keng Pang LIM, Zheng Guo LI, Ge Nan FENG, Da Jun WU, Si WU, "Fast Mode Decision for Intra Prediction (JVT−G013)", Joint Video Team (JVT) of ISO/IEC MPEG and ITU−T VCEG, 20030307, p.1−19, US, Joint Video Team (JVT) * |
Cited By (39)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100739714B1 (en) * | 2005-07-06 | 2007-07-13 | 삼성전자주식회사 | Method and apparatus for intra prediction mode decision |
US8467450B2 (en) | 2005-09-26 | 2013-06-18 | Mitsubishi Electric Corporation | Moving image coding apparatus and moving image decoding apparatus |
US11627317B2 (en) | 2005-09-26 | 2023-04-11 | Mitsubishi Electric Corporation | Moving image coding apparatus and moving image decoding apparatus |
US11039136B2 (en) | 2005-09-26 | 2021-06-15 | Mitsubishi Electric Corporation | Moving image coding apparatus and moving image decoding apparatus |
US10728550B2 (en) | 2005-09-26 | 2020-07-28 | Mitsubishi Electric Corporation | Moving image coding apparatus and moving image decoding apparatus |
US10142632B2 (en) | 2005-09-26 | 2018-11-27 | Mitsubishi Electric Corporation | Moving image coding apparatus and moving image decoding apparatus |
US9591308B2 (en) | 2005-09-26 | 2017-03-07 | Mitsubishi Electric Corporation | Moving image coding apparatus and moving image decoding apparatus |
US9503735B2 (en) | 2005-09-26 | 2016-11-22 | Mitsubishi Electric Corporation | Moving image coding apparatus and moving image decoding apparatus |
JP2011125067A (en) * | 2005-09-26 | 2011-06-23 | Mitsubishi Electric Corp | Dynamic image encoding device and dynamic image decoding device |
US9380306B2 (en) | 2005-09-26 | 2016-06-28 | Mitsubishi Electric Corporation | Moving image coding apparatus and moving image decoding apparatus |
JP4828543B2 (en) * | 2005-09-26 | 2011-11-30 | 三菱電機株式会社 | Video encoding apparatus and video decoding apparatus |
US9060157B2 (en) | 2005-09-26 | 2015-06-16 | Mitsubishi Electric Corporation | Moving image coding apparatus and moving image decoding apparatus |
US8059717B2 (en) | 2005-10-28 | 2011-11-15 | Panasonic Corporation | Image coding apparatus, method and program for intra prediction using specified H.264 prediction modes in specified scan order |
US9137538B2 (en) | 2005-11-08 | 2015-09-15 | Panasonic Intellectual Property Corporation Of America | Moving picture coding method, moving picture decoding method, and apparatuses of the same |
US8295351B2 (en) | 2005-11-08 | 2012-10-23 | Panasonic Corporation | Moving picture coding method, moving picture decoding method, and apparatuses of the same |
US10104381B2 (en) | 2005-11-08 | 2018-10-16 | Sun Patent Trust | Moving picture coding method, moving picture decoding method, and apparatuses of the same |
WO2007055158A1 (en) * | 2005-11-08 | 2007-05-18 | Matsushita Electric Industrial Co., Ltd. | Dynamic image encoding method, dynamic image decoding method, and device |
US10375401B2 (en) | 2005-11-08 | 2019-08-06 | Sun Patent Trust | Moving picture coding method, moving picture decoding method, and apparatuses of the same |
US9077968B2 (en) | 2006-07-14 | 2015-07-07 | Sony Corporation | Image processing apparatus and method, and program |
US8432964B2 (en) | 2006-07-14 | 2013-04-30 | Sony Corporation | Image processing device, method, and program |
US8189667B2 (en) | 2006-08-11 | 2012-05-29 | Kabushiki Kaisha Toshiba | Moving picture encoding apparatus |
JP2008048065A (en) * | 2006-08-11 | 2008-02-28 | Toshiba Corp | Moving image encoding apparatus |
JP4690966B2 (en) * | 2006-08-11 | 2011-06-01 | 株式会社東芝 | Video encoding device |
US8325804B2 (en) | 2006-10-31 | 2012-12-04 | Thomson Licensing | Video encoding with intra encoding selection |
JP2010508684A (en) * | 2006-10-31 | 2010-03-18 | トムソン ライセンシング | Video coding with intra coding selection |
JP2008154155A (en) * | 2006-12-20 | 2008-07-03 | Toshiba Corp | Moving image encoding apparatus |
US8275035B2 (en) | 2006-12-20 | 2012-09-25 | Kabushiki Kaisha Toshiba | Video coding apparatus |
JP2008283481A (en) * | 2007-05-10 | 2008-11-20 | Canon Inc | Image processor, and method thereof |
JP2013158060A (en) * | 2009-01-08 | 2013-08-15 | Nec Corp | Image conversion device, method, and program |
US9319699B2 (en) | 2009-01-08 | 2016-04-19 | Nec Corporation | Apparatus, method and program for image conversion |
JP2016129361A (en) * | 2009-09-10 | 2016-07-14 | アップル インコーポレイテッド | Video editing and reformatting for digital video recorder |
JP2010233263A (en) * | 2010-07-12 | 2010-10-14 | Sony Corp | Device and method of image processing, program and recording medium |
JP2014530563A (en) * | 2011-09-20 | 2014-11-17 | マイクロソフト コーポレーション | Low complexity remote presentation session encoder |
KR101962990B1 (en) * | 2011-09-20 | 2019-03-27 | 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 | Low-complexity remote presentation session encoder |
US9712847B2 (en) | 2011-09-20 | 2017-07-18 | Microsoft Technology Licensing, Llc | Low-complexity remote presentation session encoder using subsampling in color conversion space |
KR20140066194A (en) * | 2011-09-20 | 2014-05-30 | 마이크로소프트 코포레이션 | Low-complexity remote presentation session encoder |
CN109413423A (en) * | 2012-01-20 | 2019-03-01 | 英迪股份有限公司 | Coding/decoding method, video decoding apparatus and coding method |
CN109413423B (en) * | 2012-01-20 | 2022-11-01 | 杜比实验室特许公司 | Decoding method, video decoding apparatus, and encoding method |
US11750803B2 (en) | 2012-01-20 | 2023-09-05 | Dolby Laboratories Licensing Corporation | Intra prediction mode mapping method and device using the method |
Also Published As
Publication number | Publication date |
---|---|
JP4515886B2 (en) | 2010-08-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5208157B2 (en) | Decryption system | |
JP4515886B2 (en) | In-plane predictive coding method | |
JP4313710B2 (en) | Image encoding method and image decoding method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070808 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090611 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090707 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090907 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100420 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100513 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4515886 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130521 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130521 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |