JP2012080570A - Encoding apparatus and method - Google Patents
Encoding apparatus and method Download PDFInfo
- Publication number
- JP2012080570A JP2012080570A JP2011273676A JP2011273676A JP2012080570A JP 2012080570 A JP2012080570 A JP 2012080570A JP 2011273676 A JP2011273676 A JP 2011273676A JP 2011273676 A JP2011273676 A JP 2011273676A JP 2012080570 A JP2012080570 A JP 2012080570A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- image
- signal
- prediction
- intra
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
本発明は、MPEG(Moving Picture Experts Group)、H.26x等のように、離散コサイン変換又はカルーネン・レーベ変換等の直交変換と動き予測・補償とによって圧縮された画像圧縮情報(ビットストリーム)を、衛星放送、ケーブルTV若しくはインターネット等のネットワークメディアを介して受信する際に、又は光ディスク、磁気ディスク若しくはフラッシュメモリ等の記憶メディア上で処理する際に用いられる画像情報の復号装置及びその方法に関する。 The present invention relates to MPEG (Moving Picture Experts Group), H.264. Image compression information (bitstream) compressed by orthogonal transformation such as discrete cosine transformation or Karhunen-Labe transformation and motion prediction / compensation, such as 26x, is transmitted via network media such as satellite broadcasting, cable TV, or the Internet. The present invention relates to an image information decoding apparatus and method used for receiving the image information, or processing on a storage medium such as an optical disk, a magnetic disk, or a flash memory.
近年、画像情報をデジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き予測・補償とにより圧縮するMPEGなどの方式に準拠した装置が、放送局などの情報配信、及び一般家庭における情報受信の双方において普及しつつある。 In recent years, image information has been handled as digital data. At that time, for the purpose of efficient transmission and storage of information, compression is performed by orthogonal transform such as discrete cosine transform and motion prediction / compensation using redundancy unique to image information. An apparatus conforming to a system such as MPEG is becoming widespread in both information distribution in broadcasting stations and information reception in general households.
特に、MPEG2(ISO/IEC 13818-2)は、汎用画像符号化方式として定義されており、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅する標準で、プロフェッショナル用途及びコンシューマー用途の広範なアプリケーションに現在広く用いられている。MPEG2圧縮方式を用いることにより、例えば720×480画素を持つ標準解像度の飛び越し走査画像であれば4〜8Mbps、1920×1088画素を持つ高解像度の飛び越し走査画像であれば18〜22Mbpsの符号量(ビットレート)を割り当てることで、高い圧縮率と良好な画質の実現が可能である。 In particular, MPEG2 (ISO / IEC 13818-2) is defined as a general-purpose image coding system, and is a standard that covers both interlaced and progressively scanned images, standard resolution images, and high-definition images. And widely used in a wide range of applications for consumer use. By using the MPEG2 compression method, for example, a standard resolution interlaced scanning image having 720 × 480 pixels is 4 to 8 Mbps, and a high resolution interlaced scanning image having 1920 × 1088 pixels is 18 to 22 Mbps. (Bit rate) can be assigned to achieve a high compression rate and good image quality.
MPEG2は主として放送用に適合する高画質符号化を対象としていたが、MPEG1より低い符号量(ビットレート)、つまりより高い圧縮率の符号化方式には対応していなかった。しかし、携帯端末の普及により、今後そのような符号化方式のニーズは高まると思われ、これに対応してMPEG4符号化方式の標準化が行われた。画像符号化方式に関しては、1998年12月にISO/IEC 14496-2としてその規格が国際標準に承認された。 MPEG2 was mainly intended for high-quality encoding suitable for broadcasting, but did not support encoding methods with a lower code amount (bit rate) than MPEG1, that is, a higher compression rate. However, with the widespread use of mobile terminals, the need for such an encoding system is expected to increase in the future, and the MPEG4 encoding system has been standardized accordingly. Regarding the image coding system, the standard was approved as an international standard as ISO / IEC 14496-2 in December 1998.
さらに、近年、テレビ会議用の画像符号化を当初の目的として、H.264(ITU-T Q6/16 VCEG)という標準の規格化が進んでいる。H.264は、MPEG2やMPEG4といった従来の符号化方式に比べ、その符号化、復号により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。また、現在、MPEG4の活動の一環として、このH.264をベースに、H.264ではサポートされない機能をも取り入れ、より高い符号化効率を実現する標準化がJVT(Joint Video Team)によって行われている。 Furthermore, in recent years, the standardization of a standard called H.264 (ITU-T Q6 / 16 VCEG) has been advanced with the initial purpose of image coding for video conferencing. H. H.264 is known to achieve higher encoding efficiency than a conventional encoding method such as MPEG2 or MPEG4, although a larger amount of calculation is required for encoding and decoding. In addition, as part of MPEG4 activities, this H.264 H.264, H.264 Standardization that incorporates functions not supported by H.264 and achieves higher coding efficiency is performed by JVT (Joint Video Team).
ここで、離散コサイン変換又はカルーネン・レーベ変換等の直交変換と動き予測・補償とにより画像圧縮を実現する画像情報符号化装置の概略構成を図9に示す。図9に示すように、画像情報符号化装置100は、A/D(Analogue/Digital)変換部101と、画像並び替えバッファ102と、加算器103と、直交変換部104と、量子化部105と、可逆符号化部106と、蓄積バッファ107と、逆量子化部108と、逆直交変換部109と、加算器110と、フレームメモリ111と、動き予測・補償部112と、イントラ予測部113と、レート制御部114とにより構成されている。
Here, FIG. 9 shows a schematic configuration of an image information encoding apparatus that realizes image compression by orthogonal transformation such as discrete cosine transformation or Karhunen-Labe transformation and motion prediction / compensation. As illustrated in FIG. 9, the image
図9において、A/D変換部101は、入力された画像信号をデジタル信号に変換する。そして、画像並び替えバッファ102は、当該画像情報符号化装置100から出力される画像圧縮情報のGOP(Group of Pictures)構造に応じて、フレームの並べ替えを行う。ここで、画像並び替えバッファ102は、イントラ(画像内)符号化が行われる画像に関しては、フレーム全体の画像情報を直交変換部104に供給する。直交変換部104は、画像情報に対して離散コサイン変換又はカルーネン・レーベ変換等の直交変換を施し、変換係数を量子化部105に供給する。量子化部105は、直交変換部104から供給された変換係数に対して量子化処理を施す。
In FIG. 9, an A /
可逆符号化部106は、量子化された変換係数に対して可変長符号化、算術符号化等の可逆符号化を施し、符号化された変換係数を蓄積バッファ107に供給して蓄積させる。
この符号化された変換係数は、画像圧縮情報として出力される。
The
The encoded transform coefficient is output as image compression information.
量子化部105の挙動は、レート制御部114によって制御される。また、量子化部105は、量子化後の変換係数を逆量子化部108に供給し、逆量子化部108は、その変換係数を逆量子化する。逆直交変換部109は、逆量子化された変換係数に対して逆直交変換処理を施して復号画像情報を生成し、その情報をフレームメモリ111に供給して蓄積させる。
The behavior of the quantization unit 105 is controlled by the rate control unit 114. The quantization unit 105 supplies the quantized transform coefficient to the
一方、画像並び替えバッファ102は、インター(画像間)符号化が行われる画像に関しては、画像情報を動き予測・補償部112に供給する。動き予測・補償部112は、同時に参照される画像情報をフレームメモリ111より取り出し、動き予測・補償処理を施して参照画像情報を生成する。動き予測・補償部112は、この参照画像情報を加算器103に供給し、加算器103は、参照画像情報を当該画像情報との差分信号に変換する。
また、動き補償・予測部112は、同時に動きベクトル情報を可逆符号化部106に供給する。
On the other hand, the
In addition, the motion compensation /
可逆符号化部106は、その動きベクトル情報に対して可変長符号化又は算術符号化等の可逆符号化処理を施し、画像圧縮情報のヘッダ部に挿入される情報を形成する。なお、その他の処理については、イントラ符号化を施される画像圧縮情報と同様であるため、説明を省略する。
The
ここで、上述したJVTで標準化が行われている符号化方式(以下、JVT Codecという。)では、イントラ符号化を行う際に、ブロック周辺の画素から予測画像を生成してその差分を符号化するというイントラ予測符号化が採用されている。すなわち、イントラ符号化が行われる画像に関しては、符号化する画素ブロックの近傍の既に符号化が終了した画素値から予測画像を生成し、その予測画像との差分が符号化される。逆量子化部108及び逆直交変換部109は、イントラ符号化された画素をそれぞれ逆量子化及び逆直交変換し、加算器110は、逆直交変換部109の出力と当該画素ブロックを符号化する際に使用された予測画像とを加算し、その加算値をフレームメモリ111に供給して蓄積させる。イントラ予測部113は、イントラ符号化される画素ブロックの場合には、既に符号化が終了しフレームメモリ111に蓄積されている近傍画素を読み出し、予測画像を生成する。このとき、予測画像の生成に用いたイントラ予測モードについても可逆符号化部106において可逆符号化処理を施し、画像圧縮情報に含めて出力する。
Here, in the above-described encoding method standardized by JVT (hereinafter referred to as JVT Codec), when performing intra encoding, a prediction image is generated from pixels around a block and the difference is encoded. Intra-prediction coding is adopted. That is, for an image to be intra-encoded, a predicted image is generated from pixel values that have already been encoded in the vicinity of the pixel block to be encoded, and a difference from the predicted image is encoded. The
続いて、上述した画像情報符号化装置100に対応する画像情報復号装置の概略構成を図10に示す。図10に示すように、画像情報復号装置120は、蓄積バッファ121と、可逆復号部122と、逆量子化部123と、逆直交変換部124と、加算器125と、画像並び替えバッファ126と、D/A(Digital/Analogue)変換部127と、動き予測・補償部128と、フレームメモリ129と、イントラ予測部130とにより構成されている。
Next, FIG. 10 shows a schematic configuration of an image information decoding apparatus corresponding to the image
図10において、蓄積バッファ121は、入力された画像圧縮情報を一時的に格納した後、可逆復号部122に転送する。可逆復号部122は、定められた画像圧縮情報のフォーマットに基づき、画像圧縮情報に対して可変長復号又は算術復号等の処理を施し、量子化された変換係数を逆量子化部123に供給する。また、可逆復号部122は、当該フレームがインター符号化されたものである場合には、画像圧縮情報のヘッダ部に格納された動きベクトル情報についても復号し、その情報を動き予測・補償部128に供給する。
In FIG. 10, the
逆量子化部123は、可逆復号部122から供給された量子化後の変換係数を逆量子化し、変換係数を逆直交変換部124に供給する。逆直交変換部124は、定められた画像圧縮情報のフォーマットに基づき、変換係数に対して逆離散コサイン変換又は逆カルーネン・レーベ変換等の逆直交変換を施す。
The
ここで、当該フレームがイントラ符号化されたものである場合には、逆直交変換処理が施された画像情報は、画像並び替えバッファ126に格納され、D/A変換部127におけるD/A変換処理の後に出力される。
Here, when the frame is intra-coded, the image information subjected to the inverse orthogonal transform process is stored in the
一方、当該フレームがインター符号化されたものである場合には、動き予測・補償部128は、可逆復号処理が施された動きベクトル情報とフレームメモリ129に格納された画像情報とに基づいて参照画像を生成し、加算器125に供給する。加算器125は、この参照画像と逆直交変換部124の出力とを合成する。なお、その他の処理については、イントラ符号化されたフレームと同様であるため、説明を省略する。
On the other hand, when the frame is inter-coded, the motion prediction /
なお、JVT Codecではイントラ予測符号化が採用されているため、当該フレームがイントラ符号化されたものである場合には、イントラ予測部130は、フレームメモリ129から画像を読みだし、可逆復号部122において可逆復号処理が施されたイントラ予測モードに従って予測画像を生成する。加算器125は、逆直交変換部124の出力とこの予測画像とを加算する。
Since JVT Codec employs intra-prediction coding, if the frame is intra-coded, the
以上説明した画像情報符号化装置100及び画像情報復号装置120については、例えば下記特許文献1、2等に記載されている。
The image
ところで、JVT Codec(H.264|MPEG-4 AVC)では、上述したように、イントラ符号化を行う際に、ブロックの周辺の画素から予測画像を生成してその差分を符号化するというイントラ予測符号化が採用されている。 By the way, in JVT Codec (H.264 | MPEG-4 AVC), as described above, when performing intra coding, intra prediction in which a prediction image is generated from pixels around a block and the difference is encoded. Encoding is employed.
ここで、輝度成分に関しては、4×4画素ブロック単位に予測を行うイントラ4×4予測モードと16×16画素ブロック(マクロブロック)単位で予測を行うイントラ16×16予測モードとの2つの予測方式が用いられている。
Here, regarding the luminance component, there are two predictions: an
一方、色差成分に関しては、Cb,Crそれぞれの8×8ブロック単位で予測を行う。
この予測符号化の方法は、イントラ16×16予測モードと同様であり、当該予測モードを8×8ブロック単位に変更したものである。色差のイントラ予測符号化における予測モードを図11に示す。図11に示すように、JVT Codecでは、
(a) Vertical mode(mode=0)
(b) Horizontal mode(mode=1)
(c) DC mode(mode=2)
(d) Plane Prediction mode(mode=3)
の4つの予測モードが定義されており、最も予測残差の少ない予測モードに従って予測画像が生成される。以下、この4つの予測モードにおける予測画像の生成手法について説明する。
On the other hand, the color difference component is predicted in units of 8 × 8 blocks of Cb and Cr.
This predictive encoding method is the same as the intra 16 × 16 prediction mode, and the prediction mode is changed to 8 × 8 block units. FIG. 11 shows a prediction mode in intra prediction coding of color differences. As shown in Figure 11, JVT Codec
(a) Vertical mode (mode = 0)
(b) Horizontal mode (mode = 1)
(c) DC mode (mode = 2)
(d) Plane Prediction mode (mode = 3)
These four prediction modes are defined, and a prediction image is generated according to the prediction mode with the smallest prediction residual. Hereinafter, a method for generating a predicted image in the four prediction modes will be described.
(a) Vertical mode(mode=0)
Vertical mode においては、色差ブロックの隣接する上側のブロックの画素(4:2:0フォーマットの場合、上のマクロブロック)をコピーして当該ブロックの予測画像とする。この場合の色差ブロックの予測画像predcは、隣接する上側のブロックの画素をp[x,−1]とすると、以下の式(1)のように表される。なお、このモードは隣接する上側のブロックが存在する場合にのみ用いることが可能である。
(a) Vertical mode (mode = 0)
In the vertical mode, the pixel of the upper block adjacent to the color difference block (the upper macro block in the case of 4: 2: 0 format) is copied and used as the predicted image of the block. The predicted image pred c of the color difference block in this case is represented by the following equation (1), where p [x, −1] is the pixel of the adjacent upper block. This mode can be used only when there is an adjacent upper block.
(b) Horizontal mode(mode=1)
Horizontal mode においては、色差ブロックの隣接する左側のブロックの画素(4:2:0フォーマットの場合、左のマクロブロック)をコピーして当該ブロックの予測画像とする。この場合の色差ブロックの予測画像predcは、隣接する左側のブロックの画素をp[−1,y]とすると、以下の式(2)のように表される。なお、このモードは隣接する左側のブロックが存在する場合のみ用いることが可能である。
(b) Horizontal mode (mode = 1)
In the horizontal mode, the pixel of the left block adjacent to the chrominance block (left macro block in the case of 4: 2: 0 format) is copied and used as the predicted image of the block. The predicted image pred c chrominance block in this case, the pixels of adjacent left side block p [-1, y] When is expressed by the following equation (2). This mode can be used only when there is an adjacent left block.
(c) DC mode(mode=2)
DC mode においては、色差ブロックの隣接する上側及び左側のブロックの画素を用いてその平均値を予測画像とする。但し、隣接する画素が存在しない場合には、値128が予測信号として用いられる。
(c) DC mode (mode = 2)
In DC mode, the average value is used as a predicted image using pixels of the upper and left blocks adjacent to the color difference block. However, if there is no adjacent pixel, the
すなわち、x,y=0..3の場合、予測画像predc[x,y]は、隣接する上側の画素p[x,−1]及び左側の画素p[−1,y](但し、x,y=0..3)を用いて生成される。
より詳しくは、(i)画素p[x,−1]及び画素p[−1,y]が共に存在する場合、(ii)画素p[x,−1]が存在し、画素p[−1,y]が存在しない場合、(iii)画素p[x,−1]が存在せず、画素p[−1,y]が存在する場合、(iv)画素p[x,−1]及び画素p[−1,y]が共に存在しない場合、の4つの場合において、それぞれ以下の式(3)〜(6)に従って生成される。
That is, when x, y = 0.0.3, the predicted image pred c [x, y] includes the adjacent upper pixel p [x, -1] and left pixel p [-1, y] (where x, y = 0.3).
More specifically, when (i) the pixel p [x, -1] and the pixel p [-1, y] are both present, (ii) the pixel p [x, -1] is present and the pixel p [-1 , Y] does not exist, (iii) pixel p [x, -1] does not exist, and pixel p [-1, y] exists, (iv) pixel p [x, -1] and pixel In the case where p [-1, y] does not exist, the four cases are generated according to the following equations (3) to (6), respectively.
同様に、x=4..7、y=0..3の場合、予測画像predc[x,y]は、隣接する上側の画素p[x,−1]及び左側の画素p[−1,y](但し、x=4..7、y=0..3)を用いて生成される。より詳しくは、(i)画素p[x,−1]が存在する場合、(ii)画素p[x,−1]が存在せず、画素p[−1,y]が存在する場合、(iii)画素p[x,−1]及び画素p[−1,y]が共に存在しない場合、の3つの場合において、それぞれ以下の式(7)〜(9)に従って生成される。 Similarly, when x = 4.7.y and y = 0.0.3, the predicted image pred c [x, y] is the adjacent upper pixel p [x, −1] and left pixel p [−1. , Y] (where x = 4.7, y = 0.0.3). More specifically, (i) when pixel p [x, -1] exists, (ii) when pixel p [x, -1] does not exist and pixel p [-1, y] exists, iii) When the pixel p [x, −1] and the pixel p [−1, y] do not exist, they are generated according to the following equations (7) to (9), respectively.
同様に、x=0..3、y=4..7の場合、予測画像predc[x,y]は、隣接する上側の画素p[x,−1]及び左側の画素p[−1,y](但し、x=0..3、y=4..7)を用いて生成される。より詳しくは、(i)画素p[−1,y]が存在する場合、(ii)画素p[x,−1]が存在し、画素p[−1,y]が存在しない場合、(iii)画素p[x,−1]及び画素p[−1,y]が共に存在しない場合、の3つの場合において、それぞれ以下の式(10)〜(12)に従って生成される。 Similarly, when x = 0.0.3 and y = 4.7.7, the predicted image pred c [x, y] includes the adjacent upper pixel p [x, −1] and left pixel p [−1. , Y] (where x = 0.0.3, y = 4.7.7). More specifically, (i) when pixel p [-1, y] is present, (ii) when pixel p [x, -1] is present, and pixel p [-1, y] is not present, (iii ) When the pixel p [x, −1] and the pixel p [−1, y] do not exist, they are generated according to the following equations (10) to (12), respectively.
同様に、x,y=4..7の場合、予測画像predc[x,y]は、隣接する上側の画素p[x,−1]及び左側の画素p[−1,y](但し、x,y=4..7)を用いて生成される。
より詳しくは、(i)画素p[x,−1]及び画素p[−1,y]が共に存在する場合、(ii)画素p[x,−1]が存在し、画素p[−1,y]が存在しない場合、(iii)画素p[x,−1]が存在せず、画素p[−1,y]が存在する場合、(iv)画素p[x,−1]及び画素p[−1,y]が共に存在しない場合、の4つの場合において、それぞれ以下の式(13)〜(16)に従って生成される。
Similarly, when x, y = 4.7.7, the predicted image pred c [x, y] includes the adjacent upper pixel p [x, -1] and left pixel p [-1, y] (provided that , X, y = 4.7.7).
More specifically, when (i) the pixel p [x, -1] and the pixel p [-1, y] are both present, (ii) the pixel p [x, -1] is present and the pixel p [-1 , Y] does not exist, (iii) pixel p [x, -1] does not exist, and pixel p [-1, y] exists, (iv) pixel p [x, -1] and pixel In the case where p [−1, y] does not exist, the four cases are generated according to the following equations (13) to (16), respectively.
(d) Plane Prediction mode(mode=3)
Plane Prediction mode においては、色差ブロックの隣接する左側のブロックの画素(4:2:0フォーマットの場合、左のマクロブロック)と上側のブロックの画素から予測画像を平面近似して当該ブロックの予測画像とする。この場合の色差の予測画像predcは、隣接する左側のブロックの画素をp[−1,y]、上側のブロックをp[x,−1]とすると、以下の式(17)のように表される。ここで、式(17)におけるClip1は、0から255の範囲にクリッピングすることを示す。
(d) Plane Prediction mode (mode = 3)
In Plane Prediction mode, the predicted image of the block is obtained by approximating the predicted image from the pixel of the left block adjacent to the chrominance block (left macro block in the case of 4: 2: 0 format) and the pixel of the upper block. And In this case, the color difference prediction image pred c is expressed by the following equation (17), where p [−1, y] is the pixel of the adjacent left block and p [x, −1] is the upper block. expressed. Here, Clip1 in Expression (17) indicates that clipping is performed in the range of 0 to 255.
以上のように、4つの予測モードの何れかによって色差成分のイントラ予測を行って予測画像を生成した後、加算器103において現在の画素ブロックとこの予測画像との差分信号が生成される。直交変換部104は、この8×8ブロックの差分信号に対して4×4画素ブロック単位で4×4整数変換を適用する。現在の画素ブロックから予測画像を引いた差分信号をF4x4とすると、4×4整数変換は、以下の式(18)のように表される。
As described above, after performing intra prediction of color difference components in any of the four prediction modes to generate a predicted image, the
さらにJVT Codecでは、4×4整数変換した後、図12に示すように、8×8ブロック中の4つの4×4ブロックの(0,0)係数(DC係数)を集めて2×2ブロックを構成し、この2×2ブロックに対して2×2アダマール変換を適応する。これは、色差で用いられているイントラ予測の効率がそれ程高くなく、隣り合う4×4ブロック間の(0,0)係数の間にまだ相関が残っているためである。この相関を利用してより符号化効率を高めるため、4×4ブロックの(0,0)係数のみを集めて2×2ブロックを構成し、2×2アダマール変換を適用する。2×2のクロマDCブロックをfdc2x2とすると、2×2アダマール変換後のクロマDCブロックfdc'2x2は、以下の式(19)のように表される。 Furthermore, in JVT Codec, after 4 × 4 integer conversion, as shown in FIG. 12, 4 × 4 block (0,0) coefficients (DC coefficients) in 8 × 8 blocks are collected to form 2 × 2 blocks. And 2 × 2 Hadamard transform is applied to this 2 × 2 block. This is because the efficiency of intra prediction used for color difference is not so high, and there is still a correlation between (0, 0) coefficients between adjacent 4 × 4 blocks. In order to further improve the coding efficiency by using this correlation, only (0,0) coefficients of 4 × 4 blocks are collected to form a 2 × 2 block, and 2 × 2 Hadamard transform is applied. Assuming that the 2 × 2 chroma DC block is fdc 2 × 2, the chroma DC block fdc ′ 2 × 2 after the 2 × 2 Hadamard transform is expressed by the following equation (19).
整数変換の後、各係数は量子化される。輝度の量子化係数を求めるためのパラメータをQPyとすると、色差の量子化係数を求めるためのパラメータQPcは、以下のようにして算出される。 After integer conversion, each coefficient is quantized. Assuming that the parameter for obtaining the luminance quantization coefficient is QP y , the parameter QP c for obtaining the color difference quantization coefficient is calculated as follows.
すなわち、先ず画像圧縮情報中に符号化されるQPy(0から51の値をとる)及び色差の量子化係数のオフセット値chroma_qp_offsetを用いて、下記の式(20)に従ってパラメータQPiを計算する。但し、QPiは0から51の範囲にクリッピングされる。 That is, first, the parameter QP i is calculated according to the following equation (20) using the QP y encoded in the image compression information (takes a value from 0 to 51) and the offset value chroma_qp_offset of the color difference quantization coefficient. . However, QP i is clipped in the range of 0 to 51.
そして、このQPiを用いて以下の表1に示すテーブルから色差のパラメータQPcを求める。 Then, using this QP i , a color difference parameter QP c is obtained from the table shown in Table 1 below.
ここで、量子化前の各AC係数の値をfとし、量子化後の各AC係数の値をf’とすると、量子化後の係数の値は以下の式(21)で表される。 Here, assuming that the value of each AC coefficient before quantization is f and the value of each AC coefficient after quantization is f ′, the value of the coefficient after quantization is expressed by the following equation (21).
一方、量子化前の各DC係数の値をfdcとし、量子化後の各DC係数の値をfdc’とすると、量子化後の係数の値は以下の式(22)で表される。なお、式(22)におけるrは、丸め処理のための定数である。 On the other hand, assuming that the value of each DC coefficient before quantization is fdc and the value of each DC coefficient after quantization is fdc ′, the value of the coefficient after quantization is expressed by the following equation (22). In the equation (22), r is a constant for rounding processing.
また、AC係数の逆量子化は、逆量子化後のAC係数をf”とすると、以下の式(23)で表される。 Further, the inverse quantization of the AC coefficient is represented by the following equation (23), where the AC coefficient after the inverse quantization is f ″.
一方、DC係数の逆量子化は、逆量子化後のDC係数をfdc”とすると、QPcが6以上である場合には、以下の式(24)で表され、QPcが6未満である場合には、以下の式(25)で表される。 On the other hand, the inverse quantization of DC coefficients, when the DC coefficient after the inverse quantization and fdc ", if QP c is 6 or more is represented by the following formula (24), QP c is less than 6 In some cases, it is expressed by the following equation (25).
以上のようにして、JVT Codecではイントラ予測符号化が行われているが、上記手法を用いても、色差のイントラ予測符号化はブロックサイズが小さいため、輝度と比べると符号化効率がよくないという問題があった。 As described above, intra prediction encoding is performed in JVT Codec, but even if the above method is used, intra prediction encoding for color difference is small in block size, so encoding efficiency is not good compared to luminance. There was a problem.
また、上記手法は、4:2:0フォーマット、YCbCr色空間のみにしか対応しておらず、4:2:2フォーマット、4:4:4フォーマット、RGB色空間、XYZ色空間等の場合には符号化することができないという問題があった。 Further, the above method is compatible only with the 4: 2: 0 format and the YCbCr color space, and in the case of the 4: 2: 2 format, the 4: 4: 4 format, the RGB color space, the XYZ color space, and the like. There was a problem that could not be encoded.
本発明は、このような従来の実情に鑑みて提案されたものであり、4:2:2フォーマットの画像であっても、より効率よく符号化して復号することを可能にする画像情報の復号装置及びその方法を提供することを目的とする。 The present invention has been proposed in view of such a conventional situation, and decoding of image information that enables more efficient encoding and decoding even for 4: 2: 2 format images. An object is to provide an apparatus and a method thereof.
上述した目的を達成するために、本発明に係る復号装置は、画像信号の色差信号の解像度を示すクロマフォーマット信号が4:2:2フォーマットである場合に、逆直交変換された係数を用いて、8×8画素のブロックを縦方向に並べた8×16画素ブロック単位で、上記色差信号を画像内予測復号する際の予測モードがDCモードの場合に、8×8画素ブロックに分けて上記色差信号を画像内予測復号する際の予測画像を生成する画像内予測部と、上記画像内予測部により生成された予測画像を用いて、上記色差信号を含む画像信号を符号化したビットストリームを復号する復号部とを備える。 In order to achieve the above-described object, the decoding apparatus according to the present invention uses a coefficient obtained by inverse orthogonal transformation when a chroma format signal indicating the resolution of a color difference signal of an image signal is a 4: 2: 2 format. When the prediction mode when the intra-picture predictive decoding is performed on the chrominance signal in the DC mode in units of 8 × 16 pixel blocks in which 8 × 8 pixel blocks are arranged in the vertical direction, the blocks are divided into 8 × 8 pixel blocks. A bitstream obtained by encoding an image signal including the chrominance signal using an intra-picture prediction unit that generates a prediction image when performing intra-picture prediction decoding of the chrominance signal, and a prediction image generated by the intra-picture prediction unit. A decoding unit for decoding.
また、上述した目的を達成するために、本発明に係る復号方法は、画像信号の色差信号の解像度を示すクロマフォーマット信号が4:2:2フォーマットである場合に、逆直交変換された係数を用いて、8×8画素のブロックを縦方向に並べた8×16画素ブロック単位で、上記色差信号を画像内予測復号する際の予測モードがDCモードの場合に、8×8画素ブロックに分けて上記色差信号を画像内予測復号する際の予測画像を生成する画像内予測工程と、上記画像内予測工程により生成された予測画像を用いて、上記色差信号を含む画像信号を符号化したビットストリームを復号する復号工程とを有する。 In order to achieve the above-described object, the decoding method according to the present invention uses the inverse orthogonal transform coefficient when the chroma format signal indicating the resolution of the color difference signal of the image signal is in the 4: 2: 2 format. And 8 × 8 pixel blocks when the prediction mode when the intra-picture predictive decoding is performed on the color difference signal is DC mode in units of 8 × 16 pixel blocks in which 8 × 8 pixel blocks are arranged in the vertical direction. And a bit obtained by encoding an image signal including the color difference signal using an intra prediction process for generating a predicted image for intra prediction decoding of the color difference signal, and a prediction image generated by the intra prediction process. A decoding step of decoding the stream.
このような復号装置及びその方法では、色成分の解像度を示すクロマフォーマット信号が4:2:2フォーマットの場合に、逆直交変換された係数を用いて、8×8画素のブロックを縦方向に並べた8×16画素ブロック単位で、色差信号を画像内予測復号する際の予測モードがDCモードの場合に、8×8画素ブロックに分けて色差信号を画像内予測復号する際の予測画像を生成し、生成された予測画像を用いて、色差信号を含む画像信号を符号化したビットストリームを復号する。 In such a decoding apparatus and its method, when the chroma format signal indicating the resolution of the color component is in the 4: 2: 2 format, the block of 8 × 8 pixels is formed in the vertical direction by using the inverse orthogonal transform coefficient. When the prediction mode for intra-picture predictive decoding of color difference signals is DC mode in units of 8 × 16 pixel blocks arranged, predicted images for intra-picture predictive decoding of color difference signals are divided into 8 × 8 pixel blocks. A bit stream obtained by encoding an image signal including a color difference signal is decoded using the generated predicted image.
本発明に係る復号装置及びその方法によれば、画像信号の色差信号の解像度を示すクロマフォーマット信号が4:2:2フォーマットの場合にも、画像内予測によって、効率よく符号化したデータを復号することができる。 According to the decoding apparatus and the method of the present invention, even when the chroma format signal indicating the resolution of the color difference signal of the image signal is in the 4: 2: 2 format, the encoded data is decoded efficiently by intra prediction. can do.
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明するが、本発明はこの実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。 Hereinafter, specific embodiments to which the present invention is applied will be described in detail with reference to the drawings. However, the present invention is not limited to these embodiments, and does not depart from the gist of the present invention. Of course, various changes can be made.
(1)画像情報符号化装置の構成及び動作
先ず、本実施の形態における画像情報符号化装置の概略構成を図1に示す。図1に示すように、画像情報符号化装置10は、A/D(Analogue/Digital)変換部11と、画像並び替えバッファ12と、加算器13と、直交変換部14と、量子化部15と、可逆符号化部16と、蓄積バッファ17と、逆量子化部18と、逆直交変換部19と、加算器20と、フレームメモリ21と、動き予測・補償部22と、イントラ予測部23と、レート制御部24とにより構成されている。
(1) Configuration and Operation of Image Information Encoding Device First, a schematic configuration of an image information encoding device according to the present embodiment is shown in FIG. As illustrated in FIG. 1, the image
図1において、A/D変換部11は、入力された画像信号をデジタル信号に変換する。
そして、画像並び替えバッファ12は、当該画像情報符号化装置10から出力される画像圧縮情報のGOP(Group of Pictures)構造に応じて、フレームの並べ替えを行う。ここで、画像並び替えバッファ12は、イントラ(画像内)符号化が行われる画像に関しては、フレーム全体の画像情報を直交変換部14に供給する。直交変換部14は、画像情報に対して離散コサイン変換又はカルーネン・レーベ変換等の直交変換を施し、変換係数を量子化部15に供給する。量子化部15は、直交変換部14から供給された変換係数に対して量子化処理を施す。
In FIG. 1, an A /
Then, the
可逆符号化部16は、量子化された変換係数に対して可変長符号化、算術符号化等の可逆符号化を施し、符号化された変換係数を蓄積バッファ17に供給して蓄積させる。この符号化された変換係数は、画像圧縮情報として出力される。
The
量子化部15の挙動は、レート制御部24によって制御される。また、量子化部15は、量子化後の変換係数を逆量子化部18に供給し、逆量子化部18は、その変換係数を逆量子化する。逆直交変換部19は、逆量子化された変換係数に対して逆直交変換処理を施して復号画像情報を生成し、その情報をフレームメモリ21に供給して蓄積させる。
The behavior of the
一方、画像並び替えバッファ12は、インター(画像間)符号化が行われる画像に関しては、画像情報を動き予測・補償部22に供給する。動き予測・補償部22は、同時に参照される画像情報をフレームメモリ21より取り出し、動き予測・補償処理を施して参照画像情報を生成する。動き予測・補償部22は、この参照画像情報を加算器13に供給し、加算器13は、参照画像情報を当該画像情報との差分信号に変換する。また、動き補償・予測部22は、同時に動きベクトル情報を可逆符号化部16に供給する。
On the other hand, the
可逆符号化部16は、その動きベクトル情報に対して可変長符号化又は算術符号化等の可逆符号化処理を施し、画像圧縮情報のヘッダ部に挿入される情報を形成する。なお、その他の処理については、イントラ符号化を施される画像圧縮情報と同様であるため、説明を省略する。
The
ここで、上述したJVT Codecでは、イントラ符号化を行う際に、ブロック周辺の画素から予測画像を生成してその差分を符号化するというイントラ予測符号化が採用されている。すなわち、イントラ符号化が行われる画像(Iピクチャ、Iスライス、イントラマクロブロックなど)に関しては、符号化する画素ブロックの近傍の既に符号化が終了した画素値から予測画像を生成し、その予測画像との差分が符号化される。逆量子化部18及び逆直交変換部19は、イントラ符号化された画素をそれぞれ逆量子化及び逆直交変換し、加算器20は、逆直交変換部19の出力と当該画素ブロックを符号化する際に使用された予測画像とを加算し、その加算値をフレームメモリ21に供給して蓄積させる。イントラ予測部23は、イントラ符号化される画素ブロックの場合には、既に符号化が終了しフレームメモリ21に蓄積されている近傍画素を読み出し、予測画像を生成する。このとき、予測画像の生成に用いたイントラ予測モードについても可逆符号化部16において可逆符号化処理を施し、画像圧縮情報に含めて出力する。
Here, in the above-described JVT Codec, when performing intra coding, intra prediction coding is employed in which a prediction image is generated from pixels around a block and the difference is coded. That is, for an image to be intra-encoded (I picture, I slice, intra macroblock, etc.), a predicted image is generated from pixel values that have already been encoded near the pixel block to be encoded, and the predicted image The difference between is encoded. The
(2)画像情報符号化装置における本発明の適用部分
(2−1)イントラ予測部
イントラ予測部23の構成の一例を図2に示す。イントラ予測部23は、色成分の解像度が4:2:0フォーマット、4:2:2フォーマット、4:4:4フォーマット等の何れであるかを示すクロマフォーマット信号、及び色空間がYCbCr、RGB、XYZ等の何れであるかを示す色空間信号に基づいて、予測の手法を切り替える。なお、クロマフォーマット信号及び色空間信号は、予め外部のユーザ等によって設定され、画像情報符号化装置10に供給される。
(2) Application Part of the Present Invention in Image Information Encoding Device (2-1) Intra Prediction Unit An example of the configuration of the
図2に示すイントラ予測部23において、クロマフォーマット信号及び色空間信号は、スイッチ30,32に供給される。スイッチ30,32では、クロマフォーマット信号及び色空間信号に基づき、イントラ予測器31a,31b,31cの何れかを選択し、フレームメモリ21から読み出した画像信号を選択したイントラ予測器に供給し、選択したイントラ予測器からの予測画像を出力する。スイッチ30,32は、同一のイントラ予測器を選択する。なお、この図2では、3種類のイントラ予測器31a,31b,31cの何れかを選択するものとして説明するが、このイントラ予測器の数、すなわち予測の方式の数は、任意に設定することができる。
In the
(2−1−1)
先ず、イントラ予測器31aの動作を説明する。このイントラ予測器31aでは、クロマフォーマット信号が4:2:0フォーマットを示し、色空間信号がYCbCrを示す画像信号に対し、8×8ブロックを単位として予測を行う。なお、イントラ予測器31aの動作は、前述した従来例と同様であるため、詳細な説明を省略する。
(2-1-1)
First, the operation of the
(2−1−2)
次に、イントラ予測器31bの動作を説明する。イントラ予測器31bにおいてもイントラ色差予測モードには、Vertical mode、Horizontal mode、DC mode、Plane prediction mode の4つの予測モードが存在する。このイントラ予測器31bでは、クロマフォーマット信号が4:2:2フォーマットを示し、色空間信号がYCbCrを示す画像信号に対し、マクロブロック中の連続する縦方向の2つの8×8ブロックをまとめて8×16ブロックを構成し、この8×16ブロックを単位として予測を行う。以下、このイントラ予測器31bにおける、4つの予測モードのそれぞれに従った予測画像の生成手法について説明する。
(2-1-2)
Next, the operation of the
(a) Vertical mode(mode=0)
Vertical mode においては、色差ブロックの隣接する上側のブロックの画素をコピーして当該ブロックの予測画像とする。この場合の色差の予測画像predcは、隣接する上側のブロックの画素をp[x,−1]とすると、以下の式(26)のように表される。なお、このモードは隣接する上側のブロックが存在する場合にのみ用いることが可能である。
(a) Vertical mode (mode = 0)
In the vertical mode, the pixel of the upper block adjacent to the color difference block is copied and used as the predicted image of the block. In this case, the color difference prediction image pred c is represented by the following expression (26), where p [x, −1] is the pixel of the adjacent upper block. This mode can be used only when there is an adjacent upper block.
(b) Horizontal mode(mode=1)
Horizontal mode においては、色差ブロックの隣接する左側のブロックの画素をコピーして当該ブロックの予測画像とする。この場合の色差ブロックの予測画像predcは、隣接する左側のブロックの画素をp[−1, y]とすると、以下の式(27)のように表される。なお、このモードは隣接する左側のブロックが存在する場合のみ用いることが可能である。
(b) Horizontal mode (mode = 1)
In the horizontal mode, the pixel of the left block adjacent to the color difference block is copied and used as the predicted image of the block. The predicted image pred c of the color difference block in this case is expressed as the following Expression (27), where p [−1, y] is the pixel of the adjacent left block. This mode can be used only when there is an adjacent left block.
(c) DC mode(mode=2)
DC mode においては、色差ブロックの隣接する上側及び左側のブロックの画素を用いてその平均値を予測画像とする。但し、隣接する画素が存在しない場合には、値128が予測信号として用いられる。
(c) DC mode (mode = 2)
In DC mode, the average value is used as a predicted image using pixels of the upper and left blocks adjacent to the color difference block. However, if there is no adjacent pixel, the
すなわち、x,y=0..3の場合、予測画像predc[x,y]は、隣接する上側の画素p[x,−1]及び左側の画素p[−1,y](但し、x,y=0..3)を用いて生成される。
より詳しくは、(i)画素p[x,−1]及び画素p[−1,y]が共に存在する場合、(ii)画素p[x,−1]が存在し、画素p[−1,y]が存在しない場合、(iii)画素p[x,−1]が存在せず、画素p[−1,y]が存在する場合、(iv)画素p[x,−1]及び画素p[−1,y]が共に存在しない場合、の4つの場合において、それぞれ以下の式(28)〜(31)に従って生成される。
That is, when x, y = 0.0.3, the predicted image pred c [x, y] includes the adjacent upper pixel p [x, -1] and left pixel p [-1, y] (where x, y = 0.3).
More specifically, when (i) the pixel p [x, -1] and the pixel p [-1, y] are both present, (ii) the pixel p [x, -1] is present and the pixel p [-1 , Y] does not exist, (iii) pixel p [x, -1] does not exist, and pixel p [-1, y] exists, (iv) pixel p [x, -1] and pixel In the case where p [−1, y] does not exist together, they are generated according to the following equations (28) to (31), respectively.
同様に、x=4..7、y=0..3の場合、予測画像predc[x,y]は、隣接する上側の画素p[x,−1]及び左側の画素p[−1,y](但し、x=4..7、y=0..3)を用いて生成される。より詳しくは、(i)画素p[x,−1]が存在する場合、(ii)画素p[x,−1]が存在せず、画素p[−1,y]が存在する場合、(iii)画素p[x,−1]及び画素p[−1,y]が共に存在しない場合、の3つの場合において、それぞれ以下の式(32)〜(34)に従って生成される。 Similarly, when x = 4.7.y and y = 0.0.3, the predicted image pred c [x, y] is the adjacent upper pixel p [x, −1] and left pixel p [−1. , Y] (where x = 4.7, y = 0.0.3). More specifically, (i) when pixel p [x, -1] exists, (ii) when pixel p [x, -1] does not exist and pixel p [-1, y] exists, iii) When the pixel p [x, −1] and the pixel p [−1, y] do not exist, they are generated according to the following equations (32) to (34), respectively.
同様に、x=0..3、y=4..7の場合、予測画像predc[x,y]は、隣接する上側の画素p[x,−1]及び左側の画素p[−1,y](但し、x=0..3、y=4..7)を用いて生成される。より詳しくは、(i)画素p[−1,y]が存在する場合、(ii)画素p[x,−1]が存在し、画素p[−1,y]が存在しない場合、(iii)画素p[x,−1]及び画素p[−1,y]が共に存在しない場合、の3つの場合において、それぞれ以下の式(35)〜(37)に従って生成される。 Similarly, when x = 0.0.3 and y = 4.7.7, the predicted image pred c [x, y] includes the adjacent upper pixel p [x, −1] and left pixel p [−1. , Y] (where x = 0.0.3, y = 4.7.7). More specifically, (i) when pixel p [-1, y] is present, (ii) when pixel p [x, -1] is present, and pixel p [-1, y] is not present, (iii ) When the pixel p [x, -1] and the pixel p [-1, y] are not present, the pixel p [x, -1] is generated according to the following equations (35) to (37) in the three cases.
同様に、x,y=4..7の場合、予測画像predc[x,y]は、隣接する上側の画素p[x,−1]及び左側の画素p[−1,y](但し、x,y=4..7)を用いて生成される。
より詳しくは、(i)画素p[x,−1]及び画素p[−1,y]が共に存在する場合、(ii)画素p[x,−1]が存在し、画素p[−1,y]が存在しない場合、(iii)画素p[x,−1]が存在せず、画素p[−1,y]が存在する場合、(iv)画素p[x,−1]及び画素p[−1,y]が共に存在しない場合、の4つの場合において、それぞれ以下の式(38)〜(41)に従って生成される。
Similarly, when x, y = 4.7.7, the predicted image pred c [x, y] includes the adjacent upper pixel p [x, -1] and left pixel p [-1, y] (provided that , X, y = 4.7.7).
More specifically, when (i) the pixel p [x, -1] and the pixel p [-1, y] are both present, (ii) the pixel p [x, -1] is present and the pixel p [-1 , Y] does not exist, (iii) pixel p [x, -1] does not exist, and pixel p [-1, y] exists, (iv) pixel p [x, -1] and pixel When p [−1, y] does not exist, the four cases are generated according to the following equations (38) to (41), respectively.
同様に、x=0..3、y=8..11の場合、予測画像predc[x,y]は、隣接する上側の画素p[x,−1]及び左側の画素p[−1,y](但し、x=0..3、y=8..11)を用いて生成される。より詳しくは、(i)画素p[−1,y]が存在する場合、(ii)画素p[x,−1]が存在し、画素p[−1,y]が存在しない場合、(iii)画素p[x,−1]及び画素p[−1,y]が共に存在しない場合、の3つの場合において、それぞれ以下の式(42)〜(44)に従って生成される。 Similarly, when x = 0.0.3 and y = 8.11, the predicted image pred c [x, y] includes the adjacent upper pixel p [x, −1] and left pixel p [−1. , Y] (where x = 0.0.3, y = 8.11). More specifically, (i) when pixel p [-1, y] is present, (ii) when pixel p [x, -1] is present, and pixel p [-1, y] is not present, (iii ) When the pixel p [x, -1] and the pixel p [-1, y] are not present, the pixel p [x, -1] and the pixel p [-1, y] are generated according to the following equations (42) to (44), respectively.
同様に、x=4..7、y=8..11の場合、予測画像predc[x,y]は、隣接する上側の画素p[x,−1]及び左側の画素p[−1,y](但し、x=4..7、y=8..11)を用いて生成される。より詳しくは、(i)画素p[x,−1]及び画素p[−1,y]が共に存在する場合、(ii)画素p[x,−1]が存在し、画素p[−1,y]が存在しない場合、(iii)画素p[x,−1]が存在せず、画素p[−1,y]が存在する場合、(iv)画素p[x,−1]及び画素p[−1,y]が共に存在しない場合、の4つの場合において、それぞれ以下の式(45)〜(48)に従って生成される。 Similarly, when x = 4.7.y and y = 8.1.11, the predicted image pred c [x, y] includes the adjacent upper pixel p [x, −1] and left pixel p [−1. , Y] (where x = 4.7.7, y = 8..11). More specifically, when (i) the pixel p [x, -1] and the pixel p [-1, y] are both present, (ii) the pixel p [x, -1] is present and the pixel p [-1 , Y] does not exist, (iii) pixel p [x, -1] does not exist, and pixel p [-1, y] exists, (iv) pixel p [x, -1] and pixel In the case where p [−1, y] does not exist together, they are generated according to the following equations (45) to (48), respectively.
同様に、x=0..3、y=12..15の場合、予測画像predc[x,y]は、隣接する上側の画素p[x,−1]及び左側の画素p[−1,y](但し、x=0..3、y=12..15)を用いて生成される。より詳しくは、(i)画素p[−1,y]が存在する場合、(ii)画素p[x,−1]が存在し、画素p[−1,y]が存在しない場合、(iii)画素p[x,−1]及び画素p[−1,y]が共に存在しない場合、の3つの場合において、それぞれ以下の式(49)〜(51)に従って生成される。 Similarly, when x = 0.0.3 and y = 12.0.15, the predicted image pred c [x, y] includes the adjacent upper pixel p [x, −1] and left pixel p [−1. , Y] (where x = 0.0.3, y = 12.0.15). More specifically, (i) when pixel p [-1, y] is present, (ii) when pixel p [x, -1] is present, and pixel p [-1, y] is not present, (iii ) When the pixel p [x, −1] and the pixel p [−1, y] do not exist, they are generated according to the following equations (49) to (51), respectively.
同様に、x=4..7、y=12..15の場合、予測画像predc[x,y]は、隣接する上側の画素p[x,−1]及び左側の画素p[−1,y](但し、x=4..7、y=12..15)を用いて生成される。より詳しくは、(i)画素p[x,−1]及び画素p[−1,y]が共に存在する場合、(ii)画素p[x,−1]が存在し、画素p[−1,y]が存在しない場合、(iii)画素p[x,−1]が存在せず、画素p[−1,y]が存在する場合、(iv)画素p[x,−1]及び画素p[−1,y]が共に存在しない場合、の4つの場合において、それぞれ以下の式(52)〜(55)に従って生成される。 Similarly, when x = 4.7.y and y = 12.0.15, the predicted image pred c [x, y] includes the adjacent upper pixel p [x, −1] and left pixel p [−1. , Y] (where x = 4.7.7, y = 12.0.15). More specifically, when (i) the pixel p [x, -1] and the pixel p [-1, y] are both present, (ii) the pixel p [x, -1] is present and the pixel p [-1 , Y] does not exist, (iii) pixel p [x, -1] does not exist, and pixel p [-1, y] exists, (iv) pixel p [x, -1] and pixel In the case where p [−1, y] does not exist together, they are generated according to the following equations (52) to (55), respectively.
ここで、上述した予測方法では、単純に上側のブロックの8画素と左側のブロックの16画素との平均値を予測画像としているため、24での割り算を行う必要があり、演算量が多くなるという問題がある。そこで、以下のように予測方法を変形し、16(=24)での割り算を行うようにすることで、演算量を削減することができる。 Here, in the prediction method described above, since the average value of the 8 pixels of the upper block and the 16 pixels of the left block is simply used as the predicted image, division by 24 is necessary and the amount of calculation increases. There is a problem. Therefore, the amount of calculation can be reduced by modifying the prediction method as follows and performing division by 16 (= 2 4 ).
すなわち、x,y=0..7の場合、予測画像predc[x,y]は、隣接する上側の画素p[x,−1]及び左側の画素p[−1,y](但し、x,y=0..7)を用いて生成される。
より詳しくは、(i)画素p[x,−1]及び画素p[−1,y]が共に存在する場合、(ii)画素p[x,−1]が存在し、画素p[−1,y]が存在しない場合、(iii)画素p[x,−1]が存在せず、画素p[−1,y]が存在する場合、(iv)画素p[x,−1]及び画素p[−1,y]が共に存在しない場合、の4つの場合において、それぞれ以下の式(56)〜(59)に従って生成される。
That is, when x, y = 0.0.7, the predicted image pred c [x, y] includes the adjacent upper pixel p [x, -1] and left pixel p [-1, y] (where x, y = 0.7).
More specifically, when (i) the pixel p [x, -1] and the pixel p [-1, y] are both present, (ii) the pixel p [x, -1] is present and the pixel p [-1 , Y] does not exist, (iii) pixel p [x, -1] does not exist, and pixel p [-1, y] exists, (iv) pixel p [x, -1] and pixel In the case where p [−1, y] does not exist, the four cases are generated according to the following equations (56) to (59), respectively.
同様に、x=0..7、y=8..15の場合、予測画像predc[x,y]は、隣接する上側の画素p[x,−1]及び左側の画素p[−1,y](但し、x=0..7、y=8..15)を用いて生成される。より詳しくは、(i)画素p[−1,y]が存在する場合、(ii)画素p[x,−1]が存在し、画素p[−1,y]が存在しない場合、(iii)画素p[x,−1]及び画素p[−1,y]が共に存在しない場合、の3つの場合において、それぞれ以下の式(60)〜(62)に従って生成される。 Similarly, when x = 0.0.7 and y = 8..15, the predicted image pred c [x, y] includes the adjacent upper pixel p [x, −1] and left pixel p [−1. , Y] (where x = 0.0.7, y = 8..15). More specifically, (i) when pixel p [-1, y] is present, (ii) when pixel p [x, -1] is present, and pixel p [-1, y] is not present, (iii ) When the pixel p [x, −1] and the pixel p [−1, y] do not exist, they are generated according to the following equations (60) to (62), respectively.
(d) Plane Prediction mode(mode=3)
Plane Prediction mode においては、色差ブロックの隣接する左側のブロックの画素と上側のブロックの画素から予測画像を平面近似して当該ブロックの予測画像とする。この場合の色差の予測画像predcは、隣接する左側のブロックの画素をp[−1,y]、上側のブロックをp[x,−1]とすると、以下の式(63)のように表される。ここで、式(63)におけるClip1は、0から255の範囲にクリッピングすることを示す。
(d) Plane Prediction mode (mode = 3)
In the Plane Prediction mode, a predicted image of the block is approximated by plane approximation from the pixel of the left block adjacent to the color difference block and the pixel of the upper block. In this case, the color difference prediction image pred c is expressed by the following equation (63), where p [−1, y] is the pixel of the adjacent left block and p [x, −1] is the upper block. expressed. Here, Clip1 in Expression (63) indicates that clipping is performed in the range of 0 to 255.
(2−1−3)
続いて、イントラ予測器31cの動作を説明する。イントラ予測器31cにおいてもイントラ色差予測モードには、Vertical mode、Horizontal mode、DC mode、Plane prediction mode の4つの予測モードが存在する。このイントラ予測器31cでは、クロマフォーマット信号が4:4:4フォーマットを示し、色空間信号がYCbCr、RGB又はXYZを示す画像信号に対し、マクロブロック中の連続する縦横方向の4つの8×8ブロックをまとめて16×16ブロックを構成し、この16×16ブロックを単位として予測を行う。以下、このイントラ予測器31cにおける、4つの予測モードのそれぞれに従った予測画像の生成手法について説明する。
(2-1-3)
Next, the operation of the
(a) Vertical mode(mode=0)
Vertical mode においては、色差ブロックの隣接する上側のブロックの画素をコピーして当該ブロックの予測画像とする。この場合の色差の予測画像predcは、隣接する上側のブロックの画素をp[x,−1]とすると、以下の式(64)のように表される。なお、このモードは隣接する上側のブロックが存在する場合にのみ用いることが可能である。
(a) Vertical mode (mode = 0)
In the vertical mode, the pixel of the upper block adjacent to the color difference block is copied and used as the predicted image of the block. The color difference prediction image pred c in this case is expressed as the following equation (64), where p [x, −1] is the pixel of the adjacent upper block. This mode can be used only when there is an adjacent upper block.
(b) Horizontal mode(mode=1)
Horizontal mode においては、色差ブロックの隣接する左側のブロックの画素をコピーして当該ブロックの予測画像とする。この場合の色差ブロックの予測画像predcは、隣接する左側のブロックの画素をp[−1, y]とすると、以下の式(65)のように表される。なお、このモードは隣接する左側のブロックが存在する場合のみ用いることが可能である。
(b) Horizontal mode (mode = 1)
In the horizontal mode, the pixel of the left block adjacent to the color difference block is copied and used as the predicted image of the block. The predicted image pred c of the color difference block in this case is expressed as the following Expression (65), where p [−1, y] is the pixel of the adjacent left block. This mode can be used only when there is an adjacent left block.
(c) DC mode(mode=2)
DC mode においては、色差ブロックの隣接する上側及び左側のブロックの画素を用いてその平均値を予測画像とする。但し、隣接する画素が存在しない場合には、値128が予測信号として用いられる。
(c) DC mode (mode = 2)
In DC mode, the average value is used as a predicted image using pixels of the upper and left blocks adjacent to the color difference block. However, if there is no adjacent pixel, the
すなわち、x,y=0..15の場合、予測画像predc[x,y]は、隣接する上側の画素p[x,−1]及び左側の画素p[−1,y](但し、x,y=0..15)を用いて生成される。より詳しくは、(i)画素p[x,−1]及び画素p[−1,y]が共に存在する場合、(ii)画素p[x,−1]が存在し、画素p[−1,y]が存在しない場合、(iii)画素p[x,−1]が存在せず、画素p[−1,y]が存在する場合、(iv)画素p[x,−1]及び画素p[−1,y]が共に存在しない場合、の4つの場合において、それぞれ以下の式(66)〜(69)に従って生成される。 That is, when x, y = 0..15, the predicted image pred c [x, y] includes the adjacent upper pixel p [x, −1] and left pixel p [−1, y] (provided that x, y = 0..15). More specifically, when (i) the pixel p [x, -1] and the pixel p [-1, y] are both present, (ii) the pixel p [x, -1] is present and the pixel p [-1 , Y] does not exist, (iii) pixel p [x, -1] does not exist, and pixel p [-1, y] exists, (iv) pixel p [x, -1] and pixel In the case where p [−1, y] does not exist, the four cases are generated according to the following equations (66) to (69), respectively.
(d) Plane Prediction mode(mode=3)
Plane Prediction mode においては、色差ブロックの隣接する左側のブロックの画素と上側のブロックの画素から予測画像を平面近似して当該ブロックの予測画像とする。この場合の色差の予測画像predcは、隣接する左側のブロックの画素をp[−1,y]、上側のブロックをp[x,−1]とすると、以下の式(70)のように表される。ここで、式(70)におけるClip1は、0から255の範囲にクリッピングすることを示す。
(d) Plane Prediction mode (mode = 3)
In the Plane Prediction mode, a predicted image of the block is approximated by plane approximation from the pixel of the left block adjacent to the color difference block and the pixel of the upper block. Predicted image pred c chrominance in this case, the pixels of adjacent left side block p [-1, y], the upper block p [x, -1] When, as shown in the following expression (70) expressed. Here, Clip1 in Expression (70) indicates that clipping is performed in the range of 0 to 255.
(2−2)直交変換部
クロマフォーマット信号及び色空間信号は、直交変換部14にも供給される。
直交変換部14の構成の一例を図3に示す。直交変換部14は、色成分の解像度が4:2:0フォーマット、4:2:2フォーマット、4:4:4フォーマット等の何れであるかを示すクロマフォーマット信号、及び色空間がYCbCr、RGB、XYZ等の何れであるかを示す色空間信号に基づいて、直交変換の方式を切り替える。
(2-2) Orthogonal Transform Unit The chroma format signal and the color space signal are also supplied to the
An example of the configuration of the
図3に示す直交変換部14において、クロマフォーマット信号及び色空間信号は、スイッチ40,42に供給される。スイッチ40,42では、クロマフォーマット信号及び色空間信号に基づき、直交変換器41a,41b,41cの何れかを選択し、加算器13からの出力を選択した直交変換器に供給し、選択した直交変換器からの信号を出力する。スイッチ40,42は、同一の直交変換器を選択する。なお、この図3では、3種類の直交変換器41a,41b,41cの何れかを選択するものとして説明するが、この直交変換器の数、すなわち直交変換の方式の数は、任意に設定することができる。
In the
(2−2−1)
先ず、直交変換器41aの動作を説明する。この直交変換器41aでは、クロマフォーマット信号が4:2:0フォーマットを示し、色空間信号がYCbCrを示す画像信号に対して直交変換を行う。なお、直交変換器41aの動作は、前述した従来例と同様であるため、詳細な説明を省略する。
(2-2-1)
First, the operation of the orthogonal transformer 41a will be described. In the orthogonal transformer 41a, an orthogonal transformation is performed on an image signal in which the chroma format signal indicates 4: 2: 0 format and the color space signal indicates YCbCr. Since the operation of the orthogonal transformer 41a is the same as that of the conventional example described above, detailed description thereof is omitted.
(2−2−2)
次に、直交変換器41bの動作を説明する。この直交変換器41bでは、クロマフォーマット信号が4:2:2フォーマットを示し、色空間信号がYCbCrを示す画像信号に対して直交変換を行う。
(2-2-2)
Next, the operation of the orthogonal transformer 41b will be described. In the orthogonal transformer 41b, an orthogonal transformation is performed on an image signal in which the chroma format signal indicates 4: 2: 2 format and the color space signal indicates YCbCr.
より詳しくは、色差のイントラ予測を行った後、8×8ブロック中の4×4画素ブロック単位で4×4整数変換を適用する。当該画素ブロックから予測画像を引いた差分信号をf4x4とすると、4×4直交変換は、以下の式(71)のように表される。 More specifically, after performing intra prediction of color difference, 4 × 4 integer transform is applied in units of 4 × 4 pixel blocks in 8 × 8 blocks. If the difference signal obtained by subtracting the predicted image from the pixel block is f 4 × 4, 4 × 4 orthogonal transformation is expressed as the following Expression (71).
4×4整数変換した後、図4に示すように、縦方向に連続する2つの8×8ブロック中の8つの4×4ブロックの(0,0)係数を集めて2×4ブロックを構成し、この2×4ブロックに対して2×4変換を適応する。これは色差で用いられているイントラ予測の効率がそれ程高くなく、隣り合う4×4ブロック間の(0,0)係数の間にまだ相関が残っているためである。この相関を相関を利用してより符号化効率を高めるため、4×4ブロックの(0,0)係数のみを集めて2×4ブロックを構成し、2×4変換を適用する。2×4のクロマDCのブロックをf2x4とすると、このクロマDCブロックに対する変換は、以下の式(72)のように表される。
After the 4 × 4 integer conversion, as shown in FIG. 4, the 2 × 4 block is configured by collecting the (0,0) coefficients of eight 4 × 4 blocks in two 8 × 8 blocks that are continuous in the vertical direction. The 2 × 4 transform is applied to the 2 × 4 block. This is because the efficiency of intra prediction used for color difference is not so high, and there is still a correlation between (0, 0) coefficients between adjacent 4 × 4 blocks. In order to further increase the coding efficiency by using this correlation, only the (0,0) coefficients of the 4 × 4 block are collected to form a 2 × 4 block, and the 2 × 4 transform is applied. Assuming that a 2 × 4 chroma DC block is
(2−2−3)
続いて、直交変換器41cの動作を説明する。この直交変換器41cでは、クロマフォーマット信号が4:4:4フォーマットを示し、色空間信号がYCbCr、RGB又はXYZを示す画像信号に対して直交変換を行う。
(2-2-3)
Next, the operation of the orthogonal transformer 41c will be described. In the orthogonal transformer 41c, orthogonal transformation is performed on an image signal in which the chroma format signal indicates 4: 4: 4 format and the color space signal indicates YCbCr, RGB, or XYZ.
より詳しくは、4:4:4フォーマット、YCbCr、RGB、XYZを示す色差を4×4整数変換した後、輝度と同様にしてマクロブロック中の16個の(0,0)係数を集めて4×4DCブロックを構成し、4×4変換を適用する。この変換は、以下の式(73)のように表される。 More specifically, after the color difference indicating 4: 4: 4 format, YCbCr, RGB, XYZ is converted to 4 × 4 integers, 16 (0, 0) coefficients in the macroblock are collected to obtain 4 in the same manner as the luminance. A x4 DC block is constructed and a 4 x 4 transform is applied. This conversion is expressed as the following Expression (73).
(2−3)量子化部
クロマフォーマット信号及び色空間信号は、量子化部15にも供給される。
量子化部15の構成の一例を図5に示す。量子化部15は、色成分の解像度が4:2:0フォーマット、4:2:2フォーマット、4:4:4フォーマット等の何れであるかを示すクロマフォーマット信号、及び色空間がYCbCr、RGB、XYZ等の何れであるかを示す色空間信号に基づいて、量子化の方式を切り替える。
(2-3) Quantization Unit The chroma format signal and the color space signal are also supplied to the
An example of the configuration of the
図5に示す量子化部15において、クロマフォーマット信号及び色空間信号は、スイッチ50,52に供給される。スイッチ50,52では、クロマフォーマット信号及び色空間信号に基づき、量子化器51a,51b,51cの何れかを選択し、直交変換部14からの出力を選択した量子化器に供給し、選択した量子化器からの信号を出力する。スイッチ50,52は、同一の量子化器を選択する。なお、この図5では、3種類の量子化器51a,51b,51cの何れかを選択するものとして説明するが、この量子化器の数、すなわち量子化の方式の数は、任意に設定することができる。
In the
(2−3−1)
先ず、量子化器51aの動作を説明する。この量子化器51aでは、クロマフォーマット信号が4:2:0フォーマットを示し、色空間信号がYCbCrを示す画像信号に対して量子化を行う。なお、量子化器51aの動作は、前述した従来例と同様であるため、詳細な説明を省略する。
(2-3-1)
First, the operation of the
(2−3−2)
次に、量子化器51bの動作を説明する。この量子化器51bでは、クロマフォーマット信号が4:2:2フォーマットを示し、色空間信号がYCbCrを示す画像信号に対して量子化を行う。
(2-3-2)
Next, the operation of the quantizer 51b will be described. In this quantizer 51b, the chroma format signal indicates the 4: 2: 2 format and the color space signal quantizes the image signal indicating YCbCr.
ここで、4:2:0フォーマットの場合におけるクロマDCの変換に用いられるアダマール変換は、以下の式(74)のように表される。 Here, the Hadamard transform used for the chroma DC conversion in the case of the 4: 2: 0 format is expressed as the following Expression (74).
一方、4:2:2フォーマットの場合におけるクロマDCの変換に用いられる2×4変換は、以下の式(75)のように表される。 On the other hand, the 2 × 4 conversion used for the conversion of chroma DC in the case of the 4: 2: 2 format is expressed as the following Expression (75).
したがって、4:2:0フォーマットでの変換による正規化係数は1/2であるのに対し、4:2:2フォーマットでの変換による正規化係数は1/2√2となる。しかしながら、この場合には実数演算が入ってしまうため、以下の式(76)で示すように簡略化する。 Therefore, the normalization coefficient by conversion in the 4: 2: 0 format is ½, whereas the normalization coefficient by conversion in the 4: 2: 2 format is ½√2. However, in this case, since a real number calculation is entered, the calculation is simplified as shown by the following equation (76).
この正規化係数は、量子化の際のスケールと一緒に計算されているため、4:2:2フォーマットの変換の場合、量子化方法を以下のように変更する必要がある。 Since this normalization coefficient is calculated together with the scale at the time of quantization, in the case of conversion in 4: 2: 2 format, it is necessary to change the quantization method as follows.
量子化後のDC係数をQf’[ij]とすると、2×4クロマDCブロックの量子化後の係数値は、例えば以下の式(77)で与えられる。ここで、式(77)におけるrは、丸め処理を変更するためのパラメータである。なお、AC係数に対する量子化は4:2:0フォーマットの場合と同様であるため、説明を省略する。 If the quantized DC coefficient is Qf ′ [ij], the quantized coefficient value of the 2 × 4 chroma DC block is given by the following equation (77), for example. Here, r in the equation (77) is a parameter for changing the rounding process. Note that the quantization for the AC coefficient is the same as that in the 4: 2: 0 format, and a description thereof will be omitted.
(2−3−3)
続いて、量子化器51cの動作を説明する。この量子化器51cでは、クロマフォーマット信号が4:4:4フォーマットを示し、色空間信号がYCbCr、RGB又はXYZを示す画像信号に対して量子化を行う。
(2-3-3)
Next, the operation of the
ここで、クロマDCの変換に用いられるアダマール変換は、以下の式(78)のように表される。したがって、この場合、変換の正規化係数は1/4となる。 Here, the Hadamard transform used for the chroma DC transform is represented by the following equation (78). Therefore, in this case, the conversion normalization coefficient is 1/4.
量子化後のDC係数をQf’[ij]とすると、4×4クロマDCブロックの量子化後の係数値は、例えば以下の式(79)で与えられる。ここで、式(79)におけるrは、丸め処理を変更するためのパラメータである。 When the quantized DC coefficient is Qf ′ [ij], the quantized coefficient value of the 4 × 4 chroma DC block is given by, for example, the following formula (79). Here, r in Equation (79) is a parameter for changing the rounding process.
(2−4)逆量子化部
クロマフォーマット信号及び色空間信号は、逆量子化部18にも供給される。
逆量子化部18の構成の一例を図6に示す。逆量子化部18は、色成分の解像度が4:2:0フォーマット、4:2:2フォーマット、4:4:4フォーマット等の何れであるかを示すクロマフォーマット信号、及び色空間がYCbCr、RGB、XYZ等の何れであるかを示す色空間信号に基づいて、逆量子化の方式を切り替える。
(2-4) Inverse Quantization Unit The chroma format signal and the color space signal are also supplied to the
An example of the configuration of the
図6に示す逆量子化部18において、クロマフォーマット信号及び色空間信号は、スイッチ60,62に供給される。スイッチ60,62では、クロマフォーマット信号及び色空間信号に基づき、逆量子化器61a,61b,61cの何れかを選択し、量子化部15からの出力を選択した逆量子化器に供給し、選択した逆量子化器からの信号を出力する。
スイッチ60,62は、同一の逆量子化器を選択する。なお、この図6では、3種類の逆量子化器61a,61b,61cの何れかを選択するものとして説明するが、この逆量子化器の数、すなわち逆量子化の方式の数は、任意に設定することができる。
In the
The
(2−4−1)
先ず、逆量子化器61aの動作を説明する。この逆量子化器61aでは、クロマフォーマット信号が4:2:0フォーマットを示し、色空間信号がYCbCrを示す画像信号に対して逆量子化を行う。なお、逆量子化器61aの動作は、前述した従来例と同様であるため、詳細な説明を省略する。
(2-4-1)
First, the operation of the inverse quantizer 61a will be described. The inverse quantizer 61a performs inverse quantization on an image signal in which the chroma format signal indicates 4: 2: 0 format and the color space signal indicates YCbCr. Since the operation of the inverse quantizer 61a is the same as that of the conventional example described above, detailed description thereof is omitted.
(2−4−2)
次に、逆量子化器61bの動作を説明する。この逆量子化器61bでは、クロマフォーマット信号が4:2:2フォーマットを示し、色空間信号がYCbCrを示す画像信号に対して逆量子化を行う。
(2-4-2)
Next, the operation of the
より詳しくは、逆量子化後のDC係数をfdc”とすると、2×2クロマDCブロックの逆量子化後の係数値は、QPcが6以上である場合には以下の式(80)で表され、QPcが6未満である場合には、以下の式(81)で表される。なお、AC係数に対する逆量子化は4:2:0フォーマットの場合と同様であるため、説明を省略する。 More specifically, assuming that the DC coefficient after inverse quantization is fdc ″, the coefficient value after inverse quantization of the 2 × 2 chroma DC block is expressed by the following equation (80) when QP c is 6 or more. When QP c is less than 6, it is represented by the following formula (81): Since the inverse quantization for the AC coefficient is the same as that in the 4: 2: 0 format, the explanation will be given. Omitted.
(2−4−3)
次に、逆量子化器61cの動作を説明する。この逆量子化器61cでは、クロマフォーマット信号が4:4:4フォーマットを示し、色空間信号がYCbCr、RGB又はXYZを示す画像信号に対して逆量子化を行う。
(2-4-3)
Next, the operation of the inverse quantizer 61c will be described. The inverse quantizer 61c performs inverse quantization on the image signal in which the chroma format signal indicates 4: 4: 4 format and the color space signal indicates YCbCr, RGB, or XYZ.
より詳しくは、逆量子化後のDC係数をfdc”とすると、4×4クロマDCブロックの逆量子化後の係数値は、QPcが6以上である場合には以下の式(82)で表され、QPcが6未満である場合には、以下の式(83)で表される。なお、AC係数に対する逆量子化は4:2:0フォーマットの場合と同様であるため、説明を省略する。 More specifically, assuming that the DC coefficient after inverse quantization is fdc ″, the coefficient value after inverse quantization of the 4 × 4 chroma DC block is expressed by the following formula (82) when QP c is 6 or more. When QP c is less than 6, it is expressed by the following equation (83): Since the inverse quantization for the AC coefficient is the same as that in the 4: 2: 0 format, the explanation will be given. Omitted.
(2−5)逆直交変換部
クロマフォーマット信号及び色空間信号は、逆直交変換部19にも供給される。
逆直交変換部19の構成の一例を図7に示す。逆直交変換部19は、色成分の解像度が4:2:0フォーマット、4:2:2フォーマット、4:4:4フォーマット等の何れであるかを示すクロマフォーマット信号、及び色空間がYCbCr、RGB、XYZ等の何れであるかを示す色空間信号に基づいて、逆直交変換の方式を切り替える。
(2-5) Inverse Orthogonal Transform Unit The chroma format signal and the color space signal are also supplied to the inverse
An example of the configuration of the inverse
図7に示す逆直交変換部19において、クロマフォーマット信号及び色空間信号は、スイッチ70,72に供給される。スイッチ70,72では、クロマフォーマット信号及び色空間信号に基づき、逆直交変換器71a,71b,71cの何れかを選択し、逆量子化部18からの出力を選択した逆直交変換器に供給し、選択した逆直交変換器からの信号を出力する。スイッチ70,72は、同一の逆直交変換器を選択する。なお、この図7では、3種類の逆直交変換器71a,71b,71cの何れかを選択するものとして説明するが、この逆直交変換器の数、すなわち逆直交変換の方式の数は、任意に設定することができる。
In the inverse
(2−5−1)
先ず、逆直交変換器71aの動作を説明する。この逆直交変換器71aでは、クロマフォーマット信号が4:2:0フォーマットを示し、色空間信号がYCbCrを示す画像信号に対して逆直交変換を行う。なお、逆直交変換器71aの動作は、前述した従来例と同様であるため、詳細な説明を省略する。
(2-5-1)
First, the operation of the inverse orthogonal transformer 71a will be described. In the inverse orthogonal transformer 71a, the inverse orthogonal transform is performed on the image signal in which the chroma format signal indicates the 4: 2: 0 format and the color space signal indicates YCbCr. The operation of the inverse orthogonal transformer 71a is the same as that of the above-described conventional example, and thus detailed description thereof is omitted.
(2−5−2)
次に、逆直交変換器71bの動作を説明する。この逆直交変換器71bでは、クロマフォーマット信号が4:2:2フォーマットを示し、色空間信号がYCbCrを示す画像信号に対して逆直交変換を行う。
(2-5-2)
Next, the operation of the inverse orthogonal transformer 71b will be described. In the inverse orthogonal transformer 71b, an inverse orthogonal transform is performed on an image signal in which the chroma format signal indicates 4: 2: 2 format and the color space signal indicates YCbCr.
より詳しくは、2×4DCブロックに対して2×4逆変換を適用する。逆変換後の2×4のクロマDCブロックをfdc2x4'''とすると、このクロマDCブロックに対する逆変換は、以下の式(84)のように表される。 More specifically, the 2 × 4 inverse transform is applied to the 2 × 4 DC block. Assuming that the 2 × 4 chroma DC block after the inverse transform is fdc 2 × 4 ′ ″, the inverse transform for this chroma DC block is expressed by the following equation (84).
このクロマDC係数を図4に示したような4×4ブロックの(0,0)係数とし、各4×4ブロックの逆変換を行う。逆変換されたクロマDCであるfdc2x4'''を(0,0)係数とする4×4ブロックの各係数をF'4x4とし、逆変換後の4×4ブロックに復号差分信号をF''4x4とすると、逆変換は、以下の式(85)のように表される。 The chroma DC coefficient is set to a (0, 0) coefficient of 4 × 4 blocks as shown in FIG. 4, and inverse conversion of each 4 × 4 block is performed. Each coefficient of a 4 × 4 block having an inversely converted chroma DC fdc 2 × 4 ′ ″ as a (0,0) coefficient is set to F ′ 4 × 4, and the decoded differential signal is converted to F ′ 4 × 4. ′ If 4 × 4 , the inverse transformation is expressed as the following equation (85).
(2−5−3)
続いて、逆直交変換器71cの動作を説明する。この逆直交変換器71cは、クロマフォーマット信号が4:4:4フォーマットを示し、色空間信号がYCbCr、RGB又はXYZを示す画像信号に対して逆直交変換を行う。
(2-5-3)
Next, the operation of the inverse
より詳しくは、4×4DCブロックに対して4×4逆変換を適用する。逆変換後の4×4のクロマDCブロックをfdc4x4'''とすると、このクロマDCブロックに対する逆変換は、以下の式(86)のように表される。 More specifically, the 4 × 4 inverse transform is applied to the 4 × 4 DC block. Assuming that the 4 × 4 chroma DC block after the inverse transform is fdc 4 × 4 ′ ″, the inverse transform for this chroma DC block is expressed by the following equation (86).
このクロマDC係数をAC係数の4×4ブロックの(0,0)係数とし、各4×4ブロックの逆変換を行う。逆変換されたクロマDCであるfdc4x4'''を(0,0)係数とする4×4ブロックの各係数をF'4x4とし、逆変換後の4×4ブロックに復号差分信号をF''4x4とすると、逆変換は、以下の式(87)のように表される。 This chroma DC coefficient is set to a (0, 0) coefficient of 4 × 4 blocks of AC coefficients, and inverse conversion of each 4 × 4 block is performed. Each coefficient of the 4 × 4 block having the fdc 4 × 4 ′ ″ that is the inversely converted chroma DC as the (0,0) coefficient is set to F ′ 4 × 4, and the decoded differential signal is converted to F ′ 4 × 4. ′ If 4 × 4 , the inverse transformation is expressed as the following equation (87).
(2−6)その他のブロック
クロマフォーマット信号及び色空間信号は、可逆符号化部16にも供給されて可変長符号化又は算術符号化され、画像圧縮情報に含められて出力される。
(2-6) Other Blocks The chroma format signal and the color space signal are also supplied to the
このクロマフォーマット信号及び色空間信号は、例えば以下のようなシンタクスで符号化される。
seq_parameter_set_rbsp() {
:
chroma_format_idc u(2)
color_space_idc u(2)
:
}
ここで、u(2)として符号化されるシンタクスは、例えば「001x1x0」という可変長符号で符号化される。このうち、x1,x0が符号化されるシンタクスの2ビットに相当する。
The chroma format signal and the color space signal are encoded with the following syntax, for example.
seq_parameter_set_rbsp () {
:
chroma_format_idc u (2)
color_space_idc u (2)
:
}
Here, the syntax encoded as u (2) is encoded with a variable-length code such as “001x 1 x 0 ”, for example. Of these, x 1 and x 0 correspond to 2 bits of syntax to be encoded.
(3)画像情報復号装置の構成及び動作
上述した画像情報符号化装置10に対応する画像情報復号装置の概略構成を図8に示す。図8に示すように、画像情報復号装置80は、蓄積バッファ81と、可逆復号部82と、逆量子化部83と、逆直交変換部84と、加算器85と、画像並び替えバッファ86と、D/A(Digital/Analogue)変換部87と、動き予測・補償部88と、フレームメモリ89と、イントラ予測部90とにより構成されている。
(3) Configuration and Operation of Image Information Decoding Device FIG. 8 shows a schematic configuration of an image information decoding device corresponding to the image
図8において、入力となる画像圧縮情報は、先ず蓄積バッファ81に格納された後、可逆復号部82に転送される。可逆復号部82は、定められた画像圧縮情報のフォーマットに基づき、可変長復号又は算術復号等の処理を行う。また可逆復号部82は、当該フレームがインター符号化されたものである場合には、画像圧縮情報のヘッダ部に格納された動きベクトル情報をも復号し、その情報を動き予測・補償部88へ転送する。さらに可逆復号部82は、クロマフォーマット信号及び色空間信号を復号し、逆量子化部83、逆直交変換部84及びイントラ予測部90に供給する。
In FIG. 8, input image compression information is first stored in the accumulation buffer 81 and then transferred to the
可逆復号部82の出力となる量子化された変換係数は、逆量子化部83に供給され、ここで変換係数として出力される。逆直交変換部84は、変換係数は、定められた画像圧縮情報のフォーマットに基づき、逆離散コサイン変換又は逆カルーネン・レーベ変換等の可逆変換を施す。当該フレームがイントラ符号化されたものである場合には、逆直交変換処理が施された画像情報は、画像並び替えバッファ86に格納され、D/A変換処理の後に出力される。
The quantized transform coefficient that is output from the
ここで、当該フレーム又はマクロブロックがイントラ符号化されたものである場合、可逆復号部82で復号されたクロマフォーマット信号及び色空間信号に基づいて、上述と同様の逆量子化方法、逆直交変換方法、イントラ予測方法を用いて復号する。
Here, when the frame or macroblock is intra-coded, the same inverse quantization method and inverse orthogonal transform as described above are performed based on the chroma format signal and the color space signal decoded by the
一方、当該フレームがインター符号化されたものである場合には、可逆復号処理が施された動きベクトル情報、及びフレームメモリ89に格納された画像情報を元に参照画像が生成され、この参照画像と逆直交変換部84の出力とが加算器85において合成される。
その他の処理はイントラ符号化されたフレームと同様であるため、説明を省略する。
On the other hand, if the frame is inter-coded, a reference image is generated based on the motion vector information subjected to the lossless decoding process and the image information stored in the
Since other processes are the same as those of the intra-coded frame, description thereof is omitted.
入力画像信号が4:2:0フォーマット、YCbCr色空間の場合のみならず、4:2:2フォーマットの場合にも、画像内予測によって、効率よく符号化したデータを復号することができる。 Not only when the input image signal is in the 4: 2: 0 format and YCbCr color space but also in the 4: 2: 2 format, the encoded data can be efficiently decoded by intra-picture prediction.
10 画像情報符号化装置、11 A/D変換部、12 画像並び替えバッファ、13 加算器、14 直交変換部、15 量子化部、16 可逆符号化部、17 蓄積バッファ、18 逆量子化部、19 逆直交変換部、20 加算器、21 フレームメモリ、22 動き予測・補償部、23 イントラ予測部、24 レート制御部、80 画像情報復号装置、81 蓄積バッファ、82 可逆復号部、83 逆量子化部、84 逆直交変換部、85 加算器、86 画像並び替えバッファ、87 D/A変換部、88 動き予測・補償部、89 フレームメモリ、90 イントラ予測部
DESCRIPTION OF
Claims (2)
上記画像内予測部により生成された予測画像を用いて、上記色差信号を含む画像信号を符号化したビットストリームを復号する復号部と
を備える復号装置。 When the chroma format signal indicating the resolution of the color difference signal of the image signal is in the 4: 2: 2 format, 8 × 16 pixels in which 8 × 8 pixel blocks are arranged in the vertical direction using the inversely orthogonally transformed coefficient When the prediction mode for intra-picture predictive decoding of the chrominance signal is DC mode in block units, an intra-picture that generates a prediction image for intra-picture predictive decoding of the chrominance signal divided into 8 × 8 pixel blocks A predictor;
A decoding device comprising: a decoding unit that decodes a bitstream obtained by encoding an image signal including the color difference signal using a prediction image generated by the intra-picture prediction unit.
上記画像内予測工程により生成された予測画像を用いて、上記色差信号を含む画像信号を符号化したビットストリームを復号する復号工程と
を有する復号方法。 When the chroma format signal indicating the resolution of the color difference signal of the image signal is in the 4: 2: 2 format, 8 × 16 pixels in which 8 × 8 pixel blocks are arranged in the vertical direction using the inversely orthogonally transformed coefficient When the prediction mode for intra-picture predictive decoding of the chrominance signal is DC mode in block units, an intra-picture that generates a prediction image for intra-picture predictive decoding of the chrominance signal divided into 8 × 8 pixel blocks The prediction process;
And a decoding step of decoding a bitstream obtained by encoding the image signal including the color difference signal using the prediction image generated by the intra-picture prediction step.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011273676A JP5375936B2 (en) | 2011-12-14 | 2011-12-14 | Decoding apparatus and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011273676A JP5375936B2 (en) | 2011-12-14 | 2011-12-14 | Decoding apparatus and method |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009298736A Division JP4924708B2 (en) | 2009-12-28 | 2009-12-28 | Decoding apparatus and method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012080570A true JP2012080570A (en) | 2012-04-19 |
JP5375936B2 JP5375936B2 (en) | 2013-12-25 |
Family
ID=46240210
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011273676A Expired - Fee Related JP5375936B2 (en) | 2011-12-14 | 2011-12-14 | Decoding apparatus and method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5375936B2 (en) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000023194A (en) * | 1998-06-26 | 2000-01-21 | Sony Corp | Method and device for picture encoding, method and device for picture decoding and provision medium |
JP2003324731A (en) * | 2002-04-26 | 2003-11-14 | Sony Corp | Encoder, decoder, image processing apparatus, method and program for them |
JP2007502595A (en) * | 2003-05-22 | 2007-02-08 | タンドベルク・テレコム・エイ・エス | Video compression method and apparatus |
-
2011
- 2011-12-14 JP JP2011273676A patent/JP5375936B2/en not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000023194A (en) * | 1998-06-26 | 2000-01-21 | Sony Corp | Method and device for picture encoding, method and device for picture decoding and provision medium |
JP2003324731A (en) * | 2002-04-26 | 2003-11-14 | Sony Corp | Encoder, decoder, image processing apparatus, method and program for them |
JP2007502595A (en) * | 2003-05-22 | 2007-02-08 | タンドベルク・テレコム・エイ・エス | Video compression method and apparatus |
Non-Patent Citations (1)
Title |
---|
JPN6011055543; Gisle Bjontegaard: 'Extension for 4:2:2 and 4:4:4 YUV coding' Joint Video Team (JVT) of ISO/IEC MPEG & ITU-T VCEG (ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 Q.6) JVT-H032, 200305, pp.1-4, 8th Meeting: Geneva, Switzerland * |
Also Published As
Publication number | Publication date |
---|---|
JP5375936B2 (en) | 2013-12-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4617644B2 (en) | Encoding apparatus and method | |
JP6371801B2 (en) | Video encoding device | |
KR101246294B1 (en) | Method of and apparatus for video intraprediction encoding/decoding | |
WO2011125729A1 (en) | Image processing device and image processing method | |
JP2004140473A (en) | Image information coding apparatus, decoding apparatus and method for coding image information, method for decoding | |
JP5375938B2 (en) | Decoding apparatus and method | |
JP2008219205A (en) | Picture information encoder and picture information encoding method | |
JP4924708B2 (en) | Decoding apparatus and method | |
JP5375935B2 (en) | Encoding apparatus and method | |
JP4983908B2 (en) | Decoding apparatus and method | |
JP5375936B2 (en) | Decoding apparatus and method | |
JP5375937B2 (en) | Encoding apparatus and method | |
JP4983907B2 (en) | Encoding apparatus and method | |
JP2014204347A (en) | Image encoding method, image decoding method, image encoding device, image decoding device, program therefor and recording medium with program recorded thereon | |
Fernández-Escribano et al. | On the capabilities of intra-frame prediction in H. 264 video encoders |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130607 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130618 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130719 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130827 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130909 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5375936 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |