JP2012080570A - Encoding apparatus and method - Google Patents

Encoding apparatus and method Download PDF

Info

Publication number
JP2012080570A
JP2012080570A JP2011273676A JP2011273676A JP2012080570A JP 2012080570 A JP2012080570 A JP 2012080570A JP 2011273676 A JP2011273676 A JP 2011273676A JP 2011273676 A JP2011273676 A JP 2011273676A JP 2012080570 A JP2012080570 A JP 2012080570A
Authority
JP
Japan
Prior art keywords
pixel
image
signal
prediction
intra
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011273676A
Other languages
Japanese (ja)
Other versions
JP5375936B2 (en
Inventor
Teruhiko Suzuki
輝彦 鈴木
Akira Sugiyama
晃 杉山
Kyohei Koyabu
恭平 小藪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2011273676A priority Critical patent/JP5375936B2/en
Publication of JP2012080570A publication Critical patent/JP2012080570A/en
Application granted granted Critical
Publication of JP5375936B2 publication Critical patent/JP5375936B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide an encoding apparatus capable of performing efficiently decoding data made by in-image encoding when color component resolution of an image signal is in 4:2:2 format.SOLUTION: The image information decoding apparatus 80 decodes a bit stream made by encoding an image signal containing a color difference signal by using a predicted image generated by an intra-prediction section 90 which generates a predicted image when performing an in-image prediction decoding of the color difference signal by dividing it into 8×8 pixel blocks if a chroma format signal, which shows the resolution of the color difference signal of the image signal, is in 4:2:2 format, and a prediction mode is DC mode when performing an in-image prediction decoding of the color difference signal, using coefficients obtained by inverse orthogonal transformation, in 8×16 pixel block unit, having 8×8 pixel blocks arranged in longitudinal direction.

Description

本発明は、MPEG(Moving Picture Experts Group)、H.26x等のように、離散コサイン変換又はカルーネン・レーベ変換等の直交変換と動き予測・補償とによって圧縮された画像圧縮情報(ビットストリーム)を、衛星放送、ケーブルTV若しくはインターネット等のネットワークメディアを介して受信する際に、又は光ディスク、磁気ディスク若しくはフラッシュメモリ等の記憶メディア上で処理する際に用いられる画像情報の復号装置及びその方法に関する。   The present invention relates to MPEG (Moving Picture Experts Group), H.264. Image compression information (bitstream) compressed by orthogonal transformation such as discrete cosine transformation or Karhunen-Labe transformation and motion prediction / compensation, such as 26x, is transmitted via network media such as satellite broadcasting, cable TV, or the Internet. The present invention relates to an image information decoding apparatus and method used for receiving the image information, or processing on a storage medium such as an optical disk, a magnetic disk, or a flash memory.

近年、画像情報をデジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き予測・補償とにより圧縮するMPEGなどの方式に準拠した装置が、放送局などの情報配信、及び一般家庭における情報受信の双方において普及しつつある。   In recent years, image information has been handled as digital data. At that time, for the purpose of efficient transmission and storage of information, compression is performed by orthogonal transform such as discrete cosine transform and motion prediction / compensation using redundancy unique to image information. An apparatus conforming to a system such as MPEG is becoming widespread in both information distribution in broadcasting stations and information reception in general households.

特に、MPEG2(ISO/IEC 13818-2)は、汎用画像符号化方式として定義されており、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅する標準で、プロフェッショナル用途及びコンシューマー用途の広範なアプリケーションに現在広く用いられている。MPEG2圧縮方式を用いることにより、例えば720×480画素を持つ標準解像度の飛び越し走査画像であれば4〜8Mbps、1920×1088画素を持つ高解像度の飛び越し走査画像であれば18〜22Mbpsの符号量(ビットレート)を割り当てることで、高い圧縮率と良好な画質の実現が可能である。   In particular, MPEG2 (ISO / IEC 13818-2) is defined as a general-purpose image coding system, and is a standard that covers both interlaced and progressively scanned images, standard resolution images, and high-definition images. And widely used in a wide range of applications for consumer use. By using the MPEG2 compression method, for example, a standard resolution interlaced scanning image having 720 × 480 pixels is 4 to 8 Mbps, and a high resolution interlaced scanning image having 1920 × 1088 pixels is 18 to 22 Mbps. (Bit rate) can be assigned to achieve a high compression rate and good image quality.

MPEG2は主として放送用に適合する高画質符号化を対象としていたが、MPEG1より低い符号量(ビットレート)、つまりより高い圧縮率の符号化方式には対応していなかった。しかし、携帯端末の普及により、今後そのような符号化方式のニーズは高まると思われ、これに対応してMPEG4符号化方式の標準化が行われた。画像符号化方式に関しては、1998年12月にISO/IEC 14496-2としてその規格が国際標準に承認された。   MPEG2 was mainly intended for high-quality encoding suitable for broadcasting, but did not support encoding methods with a lower code amount (bit rate) than MPEG1, that is, a higher compression rate. However, with the widespread use of mobile terminals, the need for such an encoding system is expected to increase in the future, and the MPEG4 encoding system has been standardized accordingly. Regarding the image coding system, the standard was approved as an international standard as ISO / IEC 14496-2 in December 1998.

さらに、近年、テレビ会議用の画像符号化を当初の目的として、H.264(ITU-T Q6/16 VCEG)という標準の規格化が進んでいる。H.264は、MPEG2やMPEG4といった従来の符号化方式に比べ、その符号化、復号により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。また、現在、MPEG4の活動の一環として、このH.264をベースに、H.264ではサポートされない機能をも取り入れ、より高い符号化効率を実現する標準化がJVT(Joint Video Team)によって行われている。   Furthermore, in recent years, the standardization of a standard called H.264 (ITU-T Q6 / 16 VCEG) has been advanced with the initial purpose of image coding for video conferencing. H. H.264 is known to achieve higher encoding efficiency than a conventional encoding method such as MPEG2 or MPEG4, although a larger amount of calculation is required for encoding and decoding. In addition, as part of MPEG4 activities, this H.264 H.264, H.264 Standardization that incorporates functions not supported by H.264 and achieves higher coding efficiency is performed by JVT (Joint Video Team).

ここで、離散コサイン変換又はカルーネン・レーベ変換等の直交変換と動き予測・補償とにより画像圧縮を実現する画像情報符号化装置の概略構成を図9に示す。図9に示すように、画像情報符号化装置100は、A/D(Analogue/Digital)変換部101と、画像並び替えバッファ102と、加算器103と、直交変換部104と、量子化部105と、可逆符号化部106と、蓄積バッファ107と、逆量子化部108と、逆直交変換部109と、加算器110と、フレームメモリ111と、動き予測・補償部112と、イントラ予測部113と、レート制御部114とにより構成されている。   Here, FIG. 9 shows a schematic configuration of an image information encoding apparatus that realizes image compression by orthogonal transformation such as discrete cosine transformation or Karhunen-Labe transformation and motion prediction / compensation. As illustrated in FIG. 9, the image information encoding apparatus 100 includes an A / D (Analogue / Digital) conversion unit 101, an image rearrangement buffer 102, an adder 103, an orthogonal conversion unit 104, and a quantization unit 105. A lossless encoding unit 106, an accumulation buffer 107, an inverse quantization unit 108, an inverse orthogonal transform unit 109, an adder 110, a frame memory 111, a motion prediction / compensation unit 112, and an intra prediction unit 113. And the rate control unit 114.

図9において、A/D変換部101は、入力された画像信号をデジタル信号に変換する。そして、画像並び替えバッファ102は、当該画像情報符号化装置100から出力される画像圧縮情報のGOP(Group of Pictures)構造に応じて、フレームの並べ替えを行う。ここで、画像並び替えバッファ102は、イントラ(画像内)符号化が行われる画像に関しては、フレーム全体の画像情報を直交変換部104に供給する。直交変換部104は、画像情報に対して離散コサイン変換又はカルーネン・レーベ変換等の直交変換を施し、変換係数を量子化部105に供給する。量子化部105は、直交変換部104から供給された変換係数に対して量子化処理を施す。   In FIG. 9, an A / D converter 101 converts an input image signal into a digital signal. Then, the image rearrangement buffer 102 rearranges the frames according to the GOP (Group of Pictures) structure of the compressed image information output from the image information encoding device 100. Here, the image rearrangement buffer 102 supplies the image information of the entire frame to the orthogonal transform unit 104 regarding the image on which intra (intra-image) encoding is performed. The orthogonal transform unit 104 performs orthogonal transform such as discrete cosine transform or Karhunen-Loeve transform on the image information, and supplies the transform coefficient to the quantization unit 105. The quantization unit 105 performs a quantization process on the transform coefficient supplied from the orthogonal transform unit 104.

可逆符号化部106は、量子化された変換係数に対して可変長符号化、算術符号化等の可逆符号化を施し、符号化された変換係数を蓄積バッファ107に供給して蓄積させる。
この符号化された変換係数は、画像圧縮情報として出力される。
The lossless encoding unit 106 performs lossless encoding such as variable length encoding and arithmetic encoding on the quantized transform coefficient, and supplies the encoded transform coefficient to the accumulation buffer 107 for accumulation.
The encoded transform coefficient is output as image compression information.

量子化部105の挙動は、レート制御部114によって制御される。また、量子化部105は、量子化後の変換係数を逆量子化部108に供給し、逆量子化部108は、その変換係数を逆量子化する。逆直交変換部109は、逆量子化された変換係数に対して逆直交変換処理を施して復号画像情報を生成し、その情報をフレームメモリ111に供給して蓄積させる。   The behavior of the quantization unit 105 is controlled by the rate control unit 114. The quantization unit 105 supplies the quantized transform coefficient to the inverse quantization unit 108, and the inverse quantization unit 108 inversely quantizes the transform coefficient. The inverse orthogonal transform unit 109 performs inverse orthogonal transform processing on the inversely quantized transform coefficients to generate decoded image information, and supplies the information to the frame memory 111 for accumulation.

一方、画像並び替えバッファ102は、インター(画像間)符号化が行われる画像に関しては、画像情報を動き予測・補償部112に供給する。動き予測・補償部112は、同時に参照される画像情報をフレームメモリ111より取り出し、動き予測・補償処理を施して参照画像情報を生成する。動き予測・補償部112は、この参照画像情報を加算器103に供給し、加算器103は、参照画像情報を当該画像情報との差分信号に変換する。
また、動き補償・予測部112は、同時に動きベクトル情報を可逆符号化部106に供給する。
On the other hand, the image rearrangement buffer 102 supplies image information to the motion prediction / compensation unit 112 for an image on which inter (inter-image) encoding is performed. The motion prediction / compensation unit 112 extracts image information that is referred to at the same time from the frame memory 111 and performs motion prediction / compensation processing to generate reference image information. The motion prediction / compensation unit 112 supplies the reference image information to the adder 103, and the adder 103 converts the reference image information into a difference signal from the image information.
In addition, the motion compensation / prediction unit 112 supplies motion vector information to the lossless encoding unit 106 at the same time.

可逆符号化部106は、その動きベクトル情報に対して可変長符号化又は算術符号化等の可逆符号化処理を施し、画像圧縮情報のヘッダ部に挿入される情報を形成する。なお、その他の処理については、イントラ符号化を施される画像圧縮情報と同様であるため、説明を省略する。   The lossless encoding unit 106 performs lossless encoding processing such as variable length encoding or arithmetic encoding on the motion vector information, and forms information to be inserted into the header portion of the image compression information. The other processing is the same as the image compression information subjected to intra coding, and thus description thereof is omitted.

ここで、上述したJVTで標準化が行われている符号化方式(以下、JVT Codecという。)では、イントラ符号化を行う際に、ブロック周辺の画素から予測画像を生成してその差分を符号化するというイントラ予測符号化が採用されている。すなわち、イントラ符号化が行われる画像に関しては、符号化する画素ブロックの近傍の既に符号化が終了した画素値から予測画像を生成し、その予測画像との差分が符号化される。逆量子化部108及び逆直交変換部109は、イントラ符号化された画素をそれぞれ逆量子化及び逆直交変換し、加算器110は、逆直交変換部109の出力と当該画素ブロックを符号化する際に使用された予測画像とを加算し、その加算値をフレームメモリ111に供給して蓄積させる。イントラ予測部113は、イントラ符号化される画素ブロックの場合には、既に符号化が終了しフレームメモリ111に蓄積されている近傍画素を読み出し、予測画像を生成する。このとき、予測画像の生成に用いたイントラ予測モードについても可逆符号化部106において可逆符号化処理を施し、画像圧縮情報に含めて出力する。   Here, in the above-described encoding method standardized by JVT (hereinafter referred to as JVT Codec), when performing intra encoding, a prediction image is generated from pixels around a block and the difference is encoded. Intra-prediction coding is adopted. That is, for an image to be intra-encoded, a predicted image is generated from pixel values that have already been encoded in the vicinity of the pixel block to be encoded, and a difference from the predicted image is encoded. The inverse quantization unit 108 and the inverse orthogonal transform unit 109 respectively perform inverse quantization and inverse orthogonal transform on the intra-coded pixels, and the adder 110 encodes the output of the inverse orthogonal transform unit 109 and the pixel block. The predicted image used at the time is added, and the added value is supplied to the frame memory 111 and accumulated. In the case of a pixel block to be intra-encoded, the intra prediction unit 113 reads out neighboring pixels that have already been encoded and accumulated in the frame memory 111, and generates a predicted image. At this time, the lossless encoding unit 106 also performs lossless encoding processing on the intra prediction mode used for generating the predicted image, and outputs the image by including it in the compressed image information.

続いて、上述した画像情報符号化装置100に対応する画像情報復号装置の概略構成を図10に示す。図10に示すように、画像情報復号装置120は、蓄積バッファ121と、可逆復号部122と、逆量子化部123と、逆直交変換部124と、加算器125と、画像並び替えバッファ126と、D/A(Digital/Analogue)変換部127と、動き予測・補償部128と、フレームメモリ129と、イントラ予測部130とにより構成されている。   Next, FIG. 10 shows a schematic configuration of an image information decoding apparatus corresponding to the image information encoding apparatus 100 described above. As illustrated in FIG. 10, the image information decoding device 120 includes a storage buffer 121, a lossless decoding unit 122, an inverse quantization unit 123, an inverse orthogonal transform unit 124, an adder 125, and an image rearrangement buffer 126. , A D / A (Digital / Analogue) conversion unit 127, a motion prediction / compensation unit 128, a frame memory 129, and an intra prediction unit 130.

図10において、蓄積バッファ121は、入力された画像圧縮情報を一時的に格納した後、可逆復号部122に転送する。可逆復号部122は、定められた画像圧縮情報のフォーマットに基づき、画像圧縮情報に対して可変長復号又は算術復号等の処理を施し、量子化された変換係数を逆量子化部123に供給する。また、可逆復号部122は、当該フレームがインター符号化されたものである場合には、画像圧縮情報のヘッダ部に格納された動きベクトル情報についても復号し、その情報を動き予測・補償部128に供給する。   In FIG. 10, the accumulation buffer 121 temporarily stores input image compression information, and then transfers it to the lossless decoding unit 122. The lossless decoding unit 122 performs processing such as variable length decoding or arithmetic decoding on the compressed image information based on the determined format of the compressed image information, and supplies the quantized transform coefficient to the inverse quantization unit 123. . Further, when the frame is inter-coded, the lossless decoding unit 122 also decodes the motion vector information stored in the header portion of the image compression information, and the information is motion prediction / compensation unit 128. To supply.

逆量子化部123は、可逆復号部122から供給された量子化後の変換係数を逆量子化し、変換係数を逆直交変換部124に供給する。逆直交変換部124は、定められた画像圧縮情報のフォーマットに基づき、変換係数に対して逆離散コサイン変換又は逆カルーネン・レーベ変換等の逆直交変換を施す。   The inverse quantization unit 123 inversely quantizes the quantized transform coefficient supplied from the lossless decoding unit 122 and supplies the transform coefficient to the inverse orthogonal transform unit 124. The inverse orthogonal transform unit 124 performs inverse orthogonal transform such as inverse discrete cosine transform or inverse Karhunen-Loeve transform on the transform coefficient based on the determined format of the image compression information.

ここで、当該フレームがイントラ符号化されたものである場合には、逆直交変換処理が施された画像情報は、画像並び替えバッファ126に格納され、D/A変換部127におけるD/A変換処理の後に出力される。   Here, when the frame is intra-coded, the image information subjected to the inverse orthogonal transform process is stored in the image rearrangement buffer 126 and is subjected to D / A conversion in the D / A conversion unit 127. Output after processing.

一方、当該フレームがインター符号化されたものである場合には、動き予測・補償部128は、可逆復号処理が施された動きベクトル情報とフレームメモリ129に格納された画像情報とに基づいて参照画像を生成し、加算器125に供給する。加算器125は、この参照画像と逆直交変換部124の出力とを合成する。なお、その他の処理については、イントラ符号化されたフレームと同様であるため、説明を省略する。   On the other hand, when the frame is inter-coded, the motion prediction / compensation unit 128 refers to the motion vector information subjected to the lossless decoding process and the image information stored in the frame memory 129. An image is generated and supplied to the adder 125. The adder 125 synthesizes the reference image and the output of the inverse orthogonal transform unit 124. The other processing is the same as that of the intra-encoded frame, and thus description thereof is omitted.

なお、JVT Codecではイントラ予測符号化が採用されているため、当該フレームがイントラ符号化されたものである場合には、イントラ予測部130は、フレームメモリ129から画像を読みだし、可逆復号部122において可逆復号処理が施されたイントラ予測モードに従って予測画像を生成する。加算器125は、逆直交変換部124の出力とこの予測画像とを加算する。   Since JVT Codec employs intra-prediction coding, if the frame is intra-coded, the intra-prediction unit 130 reads an image from the frame memory 129, and the lossless decoding unit 122. A prediction image is generated according to the intra prediction mode that has been subjected to the lossless decoding process. The adder 125 adds the output of the inverse orthogonal transform unit 124 and the predicted image.

以上説明した画像情報符号化装置100及び画像情報復号装置120については、例えば下記特許文献1、2等に記載されている。   The image information encoding device 100 and the image information decoding device 120 described above are described in, for example, Patent Documents 1 and 2 listed below.

特開2001−199818号公報JP 2001-199818 A 特開2002−20953号公報JP 2002-20953 A

ところで、JVT Codec(H.264|MPEG-4 AVC)では、上述したように、イントラ符号化を行う際に、ブロックの周辺の画素から予測画像を生成してその差分を符号化するというイントラ予測符号化が採用されている。   By the way, in JVT Codec (H.264 | MPEG-4 AVC), as described above, when performing intra coding, intra prediction in which a prediction image is generated from pixels around a block and the difference is encoded. Encoding is employed.

ここで、輝度成分に関しては、4×4画素ブロック単位に予測を行うイントラ4×4予測モードと16×16画素ブロック(マクロブロック)単位で予測を行うイントラ16×16予測モードとの2つの予測方式が用いられている。   Here, regarding the luminance component, there are two predictions: an intra 4 × 4 prediction mode in which prediction is performed in units of 4 × 4 pixel blocks and an intra 16 × 16 prediction mode in which prediction is performed in units of 16 × 16 pixel blocks (macroblocks). The method is used.

一方、色差成分に関しては、Cb,Crそれぞれの8×8ブロック単位で予測を行う。
この予測符号化の方法は、イントラ16×16予測モードと同様であり、当該予測モードを8×8ブロック単位に変更したものである。色差のイントラ予測符号化における予測モードを図11に示す。図11に示すように、JVT Codecでは、
(a) Vertical mode(mode=0)
(b) Horizontal mode(mode=1)
(c) DC mode(mode=2)
(d) Plane Prediction mode(mode=3)
の4つの予測モードが定義されており、最も予測残差の少ない予測モードに従って予測画像が生成される。以下、この4つの予測モードにおける予測画像の生成手法について説明する。
On the other hand, the color difference component is predicted in units of 8 × 8 blocks of Cb and Cr.
This predictive encoding method is the same as the intra 16 × 16 prediction mode, and the prediction mode is changed to 8 × 8 block units. FIG. 11 shows a prediction mode in intra prediction coding of color differences. As shown in Figure 11, JVT Codec
(a) Vertical mode (mode = 0)
(b) Horizontal mode (mode = 1)
(c) DC mode (mode = 2)
(d) Plane Prediction mode (mode = 3)
These four prediction modes are defined, and a prediction image is generated according to the prediction mode with the smallest prediction residual. Hereinafter, a method for generating a predicted image in the four prediction modes will be described.

(a) Vertical mode(mode=0)
Vertical mode においては、色差ブロックの隣接する上側のブロックの画素(4:2:0フォーマットの場合、上のマクロブロック)をコピーして当該ブロックの予測画像とする。この場合の色差ブロックの予測画像predは、隣接する上側のブロックの画素をp[x,−1]とすると、以下の式(1)のように表される。なお、このモードは隣接する上側のブロックが存在する場合にのみ用いることが可能である。
(a) Vertical mode (mode = 0)
In the vertical mode, the pixel of the upper block adjacent to the color difference block (the upper macro block in the case of 4: 2: 0 format) is copied and used as the predicted image of the block. The predicted image pred c of the color difference block in this case is represented by the following equation (1), where p [x, −1] is the pixel of the adjacent upper block. This mode can be used only when there is an adjacent upper block.

Figure 2012080570
Figure 2012080570

(b) Horizontal mode(mode=1)
Horizontal mode においては、色差ブロックの隣接する左側のブロックの画素(4:2:0フォーマットの場合、左のマクロブロック)をコピーして当該ブロックの予測画像とする。この場合の色差ブロックの予測画像predは、隣接する左側のブロックの画素をp[−1,y]とすると、以下の式(2)のように表される。なお、このモードは隣接する左側のブロックが存在する場合のみ用いることが可能である。
(b) Horizontal mode (mode = 1)
In the horizontal mode, the pixel of the left block adjacent to the chrominance block (left macro block in the case of 4: 2: 0 format) is copied and used as the predicted image of the block. The predicted image pred c chrominance block in this case, the pixels of adjacent left side block p [-1, y] When is expressed by the following equation (2). This mode can be used only when there is an adjacent left block.

Figure 2012080570
Figure 2012080570

(c) DC mode(mode=2)
DC mode においては、色差ブロックの隣接する上側及び左側のブロックの画素を用いてその平均値を予測画像とする。但し、隣接する画素が存在しない場合には、値128が予測信号として用いられる。
(c) DC mode (mode = 2)
In DC mode, the average value is used as a predicted image using pixels of the upper and left blocks adjacent to the color difference block. However, if there is no adjacent pixel, the value 128 is used as the prediction signal.

すなわち、x,y=0..3の場合、予測画像pred[x,y]は、隣接する上側の画素p[x,−1]及び左側の画素p[−1,y](但し、x,y=0..3)を用いて生成される。
より詳しくは、(i)画素p[x,−1]及び画素p[−1,y]が共に存在する場合、(ii)画素p[x,−1]が存在し、画素p[−1,y]が存在しない場合、(iii)画素p[x,−1]が存在せず、画素p[−1,y]が存在する場合、(iv)画素p[x,−1]及び画素p[−1,y]が共に存在しない場合、の4つの場合において、それぞれ以下の式(3)〜(6)に従って生成される。
That is, when x, y = 0.0.3, the predicted image pred c [x, y] includes the adjacent upper pixel p [x, -1] and left pixel p [-1, y] (where x, y = 0.3).
More specifically, when (i) the pixel p [x, -1] and the pixel p [-1, y] are both present, (ii) the pixel p [x, -1] is present and the pixel p [-1 , Y] does not exist, (iii) pixel p [x, -1] does not exist, and pixel p [-1, y] exists, (iv) pixel p [x, -1] and pixel In the case where p [-1, y] does not exist, the four cases are generated according to the following equations (3) to (6), respectively.

Figure 2012080570
Figure 2012080570

同様に、x=4..7、y=0..3の場合、予測画像pred[x,y]は、隣接する上側の画素p[x,−1]及び左側の画素p[−1,y](但し、x=4..7、y=0..3)を用いて生成される。より詳しくは、(i)画素p[x,−1]が存在する場合、(ii)画素p[x,−1]が存在せず、画素p[−1,y]が存在する場合、(iii)画素p[x,−1]及び画素p[−1,y]が共に存在しない場合、の3つの場合において、それぞれ以下の式(7)〜(9)に従って生成される。 Similarly, when x = 4.7.y and y = 0.0.3, the predicted image pred c [x, y] is the adjacent upper pixel p [x, −1] and left pixel p [−1. , Y] (where x = 4.7, y = 0.0.3). More specifically, (i) when pixel p [x, -1] exists, (ii) when pixel p [x, -1] does not exist and pixel p [-1, y] exists, iii) When the pixel p [x, −1] and the pixel p [−1, y] do not exist, they are generated according to the following equations (7) to (9), respectively.

Figure 2012080570
Figure 2012080570

同様に、x=0..3、y=4..7の場合、予測画像pred[x,y]は、隣接する上側の画素p[x,−1]及び左側の画素p[−1,y](但し、x=0..3、y=4..7)を用いて生成される。より詳しくは、(i)画素p[−1,y]が存在する場合、(ii)画素p[x,−1]が存在し、画素p[−1,y]が存在しない場合、(iii)画素p[x,−1]及び画素p[−1,y]が共に存在しない場合、の3つの場合において、それぞれ以下の式(10)〜(12)に従って生成される。 Similarly, when x = 0.0.3 and y = 4.7.7, the predicted image pred c [x, y] includes the adjacent upper pixel p [x, −1] and left pixel p [−1. , Y] (where x = 0.0.3, y = 4.7.7). More specifically, (i) when pixel p [-1, y] is present, (ii) when pixel p [x, -1] is present, and pixel p [-1, y] is not present, (iii ) When the pixel p [x, −1] and the pixel p [−1, y] do not exist, they are generated according to the following equations (10) to (12), respectively.

Figure 2012080570
Figure 2012080570

同様に、x,y=4..7の場合、予測画像pred[x,y]は、隣接する上側の画素p[x,−1]及び左側の画素p[−1,y](但し、x,y=4..7)を用いて生成される。
より詳しくは、(i)画素p[x,−1]及び画素p[−1,y]が共に存在する場合、(ii)画素p[x,−1]が存在し、画素p[−1,y]が存在しない場合、(iii)画素p[x,−1]が存在せず、画素p[−1,y]が存在する場合、(iv)画素p[x,−1]及び画素p[−1,y]が共に存在しない場合、の4つの場合において、それぞれ以下の式(13)〜(16)に従って生成される。
Similarly, when x, y = 4.7.7, the predicted image pred c [x, y] includes the adjacent upper pixel p [x, -1] and left pixel p [-1, y] (provided that , X, y = 4.7.7).
More specifically, when (i) the pixel p [x, -1] and the pixel p [-1, y] are both present, (ii) the pixel p [x, -1] is present and the pixel p [-1 , Y] does not exist, (iii) pixel p [x, -1] does not exist, and pixel p [-1, y] exists, (iv) pixel p [x, -1] and pixel In the case where p [−1, y] does not exist, the four cases are generated according to the following equations (13) to (16), respectively.

Figure 2012080570
Figure 2012080570

(d) Plane Prediction mode(mode=3)
Plane Prediction mode においては、色差ブロックの隣接する左側のブロックの画素(4:2:0フォーマットの場合、左のマクロブロック)と上側のブロックの画素から予測画像を平面近似して当該ブロックの予測画像とする。この場合の色差の予測画像predは、隣接する左側のブロックの画素をp[−1,y]、上側のブロックをp[x,−1]とすると、以下の式(17)のように表される。ここで、式(17)におけるClip1は、0から255の範囲にクリッピングすることを示す。
(d) Plane Prediction mode (mode = 3)
In Plane Prediction mode, the predicted image of the block is obtained by approximating the predicted image from the pixel of the left block adjacent to the chrominance block (left macro block in the case of 4: 2: 0 format) and the pixel of the upper block. And In this case, the color difference prediction image pred c is expressed by the following equation (17), where p [−1, y] is the pixel of the adjacent left block and p [x, −1] is the upper block. expressed. Here, Clip1 in Expression (17) indicates that clipping is performed in the range of 0 to 255.

Figure 2012080570
Figure 2012080570

以上のように、4つの予測モードの何れかによって色差成分のイントラ予測を行って予測画像を生成した後、加算器103において現在の画素ブロックとこの予測画像との差分信号が生成される。直交変換部104は、この8×8ブロックの差分信号に対して4×4画素ブロック単位で4×4整数変換を適用する。現在の画素ブロックから予測画像を引いた差分信号をF4x4とすると、4×4整数変換は、以下の式(18)のように表される。 As described above, after performing intra prediction of color difference components in any of the four prediction modes to generate a predicted image, the adder 103 generates a difference signal between the current pixel block and the predicted image. The orthogonal transform unit 104 applies 4 × 4 integer transform in units of 4 × 4 pixel blocks to the difference signal of 8 × 8 blocks. When the difference signal obtained by subtracting the predicted image from the current pixel block is F 4 × 4, 4 × 4 integer conversion is expressed as the following Expression (18).

Figure 2012080570
Figure 2012080570

さらにJVT Codecでは、4×4整数変換した後、図12に示すように、8×8ブロック中の4つの4×4ブロックの(0,0)係数(DC係数)を集めて2×2ブロックを構成し、この2×2ブロックに対して2×2アダマール変換を適応する。これは、色差で用いられているイントラ予測の効率がそれ程高くなく、隣り合う4×4ブロック間の(0,0)係数の間にまだ相関が残っているためである。この相関を利用してより符号化効率を高めるため、4×4ブロックの(0,0)係数のみを集めて2×2ブロックを構成し、2×2アダマール変換を適用する。2×2のクロマDCブロックをfdc2x2とすると、2×2アダマール変換後のクロマDCブロックfdc'2x2は、以下の式(19)のように表される。 Furthermore, in JVT Codec, after 4 × 4 integer conversion, as shown in FIG. 12, 4 × 4 block (0,0) coefficients (DC coefficients) in 8 × 8 blocks are collected to form 2 × 2 blocks. And 2 × 2 Hadamard transform is applied to this 2 × 2 block. This is because the efficiency of intra prediction used for color difference is not so high, and there is still a correlation between (0, 0) coefficients between adjacent 4 × 4 blocks. In order to further improve the coding efficiency by using this correlation, only (0,0) coefficients of 4 × 4 blocks are collected to form a 2 × 2 block, and 2 × 2 Hadamard transform is applied. Assuming that the 2 × 2 chroma DC block is fdc 2 × 2, the chroma DC block fdc ′ 2 × 2 after the 2 × 2 Hadamard transform is expressed by the following equation (19).

Figure 2012080570
Figure 2012080570

整数変換の後、各係数は量子化される。輝度の量子化係数を求めるためのパラメータをQPとすると、色差の量子化係数を求めるためのパラメータQPは、以下のようにして算出される。 After integer conversion, each coefficient is quantized. Assuming that the parameter for obtaining the luminance quantization coefficient is QP y , the parameter QP c for obtaining the color difference quantization coefficient is calculated as follows.

すなわち、先ず画像圧縮情報中に符号化されるQP(0から51の値をとる)及び色差の量子化係数のオフセット値chroma_qp_offsetを用いて、下記の式(20)に従ってパラメータQPを計算する。但し、QPは0から51の範囲にクリッピングされる。 That is, first, the parameter QP i is calculated according to the following equation (20) using the QP y encoded in the image compression information (takes a value from 0 to 51) and the offset value chroma_qp_offset of the color difference quantization coefficient. . However, QP i is clipped in the range of 0 to 51.

Figure 2012080570
Figure 2012080570

そして、このQPを用いて以下の表1に示すテーブルから色差のパラメータQPを求める。 Then, using this QP i , a color difference parameter QP c is obtained from the table shown in Table 1 below.

Figure 2012080570
Figure 2012080570

ここで、量子化前の各AC係数の値をfとし、量子化後の各AC係数の値をf’とすると、量子化後の係数の値は以下の式(21)で表される。   Here, assuming that the value of each AC coefficient before quantization is f and the value of each AC coefficient after quantization is f ′, the value of the coefficient after quantization is expressed by the following equation (21).

Figure 2012080570
Figure 2012080570

一方、量子化前の各DC係数の値をfdcとし、量子化後の各DC係数の値をfdc’とすると、量子化後の係数の値は以下の式(22)で表される。なお、式(22)におけるrは、丸め処理のための定数である。   On the other hand, assuming that the value of each DC coefficient before quantization is fdc and the value of each DC coefficient after quantization is fdc ′, the value of the coefficient after quantization is expressed by the following equation (22). In the equation (22), r is a constant for rounding processing.

Figure 2012080570
Figure 2012080570

また、AC係数の逆量子化は、逆量子化後のAC係数をf”とすると、以下の式(23)で表される。   Further, the inverse quantization of the AC coefficient is represented by the following equation (23), where the AC coefficient after the inverse quantization is f ″.

Figure 2012080570
Figure 2012080570

一方、DC係数の逆量子化は、逆量子化後のDC係数をfdc”とすると、QPが6以上である場合には、以下の式(24)で表され、QPが6未満である場合には、以下の式(25)で表される。 On the other hand, the inverse quantization of DC coefficients, when the DC coefficient after the inverse quantization and fdc ", if QP c is 6 or more is represented by the following formula (24), QP c is less than 6 In some cases, it is expressed by the following equation (25).

Figure 2012080570
Figure 2012080570

以上のようにして、JVT Codecではイントラ予測符号化が行われているが、上記手法を用いても、色差のイントラ予測符号化はブロックサイズが小さいため、輝度と比べると符号化効率がよくないという問題があった。   As described above, intra prediction encoding is performed in JVT Codec, but even if the above method is used, intra prediction encoding for color difference is small in block size, so encoding efficiency is not good compared to luminance. There was a problem.

また、上記手法は、4:2:0フォーマット、YCbCr色空間のみにしか対応しておらず、4:2:2フォーマット、4:4:4フォーマット、RGB色空間、XYZ色空間等の場合には符号化することができないという問題があった。   Further, the above method is compatible only with the 4: 2: 0 format and the YCbCr color space, and in the case of the 4: 2: 2 format, the 4: 4: 4 format, the RGB color space, the XYZ color space, and the like. There was a problem that could not be encoded.

本発明は、このような従来の実情に鑑みて提案されたものであり、4:2:2フォーマットの画像であっても、より効率よく符号化して復号することを可能にする画像情報の復号装置及びその方法を提供することを目的とする。     The present invention has been proposed in view of such a conventional situation, and decoding of image information that enables more efficient encoding and decoding even for 4: 2: 2 format images. An object is to provide an apparatus and a method thereof.

上述した目的を達成するために、本発明に係る復号装置は、画像信号の色差信号の解像度を示すクロマフォーマット信号が4:2:2フォーマットである場合に、逆直交変換された係数を用いて、8×8画素のブロックを縦方向に並べた8×16画素ブロック単位で、上記色差信号を画像内予測復号する際の予測モードがDCモードの場合に、8×8画素ブロックに分けて上記色差信号を画像内予測復号する際の予測画像を生成する画像内予測部と、上記画像内予測部により生成された予測画像を用いて、上記色差信号を含む画像信号を符号化したビットストリームを復号する復号部とを備える。   In order to achieve the above-described object, the decoding apparatus according to the present invention uses a coefficient obtained by inverse orthogonal transformation when a chroma format signal indicating the resolution of a color difference signal of an image signal is a 4: 2: 2 format. When the prediction mode when the intra-picture predictive decoding is performed on the chrominance signal in the DC mode in units of 8 × 16 pixel blocks in which 8 × 8 pixel blocks are arranged in the vertical direction, the blocks are divided into 8 × 8 pixel blocks. A bitstream obtained by encoding an image signal including the chrominance signal using an intra-picture prediction unit that generates a prediction image when performing intra-picture prediction decoding of the chrominance signal, and a prediction image generated by the intra-picture prediction unit. A decoding unit for decoding.

また、上述した目的を達成するために、本発明に係る復号方法は、画像信号の色差信号の解像度を示すクロマフォーマット信号が4:2:2フォーマットである場合に、逆直交変換された係数を用いて、8×8画素のブロックを縦方向に並べた8×16画素ブロック単位で、上記色差信号を画像内予測復号する際の予測モードがDCモードの場合に、8×8画素ブロックに分けて上記色差信号を画像内予測復号する際の予測画像を生成する画像内予測工程と、上記画像内予測工程により生成された予測画像を用いて、上記色差信号を含む画像信号を符号化したビットストリームを復号する復号工程とを有する。   In order to achieve the above-described object, the decoding method according to the present invention uses the inverse orthogonal transform coefficient when the chroma format signal indicating the resolution of the color difference signal of the image signal is in the 4: 2: 2 format. And 8 × 8 pixel blocks when the prediction mode when the intra-picture predictive decoding is performed on the color difference signal is DC mode in units of 8 × 16 pixel blocks in which 8 × 8 pixel blocks are arranged in the vertical direction. And a bit obtained by encoding an image signal including the color difference signal using an intra prediction process for generating a predicted image for intra prediction decoding of the color difference signal, and a prediction image generated by the intra prediction process. A decoding step of decoding the stream.

このような復号装置及びその方法では、色成分の解像度を示すクロマフォーマット信号が4:2:2フォーマットの場合に、逆直交変換された係数を用いて、8×8画素のブロックを縦方向に並べた8×16画素ブロック単位で、色差信号を画像内予測復号する際の予測モードがDCモードの場合に、8×8画素ブロックに分けて色差信号を画像内予測復号する際の予測画像を生成し、生成された予測画像を用いて、色差信号を含む画像信号を符号化したビットストリームを復号する。   In such a decoding apparatus and its method, when the chroma format signal indicating the resolution of the color component is in the 4: 2: 2 format, the block of 8 × 8 pixels is formed in the vertical direction by using the inverse orthogonal transform coefficient. When the prediction mode for intra-picture predictive decoding of color difference signals is DC mode in units of 8 × 16 pixel blocks arranged, predicted images for intra-picture predictive decoding of color difference signals are divided into 8 × 8 pixel blocks. A bit stream obtained by encoding an image signal including a color difference signal is decoded using the generated predicted image.

本発明に係る復号装置及びその方法によれば、画像信号の色差信号の解像度を示すクロマフォーマット信号が4:2:2フォーマットの場合にも、画像内予測によって、効率よく符号化したデータを復号することができる。   According to the decoding apparatus and the method of the present invention, even when the chroma format signal indicating the resolution of the color difference signal of the image signal is in the 4: 2: 2 format, the encoded data is decoded efficiently by intra prediction. can do.

本実施の形態における画像情報符号化装置の概略構成を説明する図である。It is a figure explaining schematic structure of the picture information coding device in this embodiment. 同画像情報符号化装置におけるイントラ予測部の構成の一例を示す図である。It is a figure which shows an example of a structure of the intra estimation part in the image information encoding device. 同画像情報符号化装置における直交変換部の構成の一例を示す図である。It is a figure which shows an example of a structure of the orthogonal transformation part in the image information encoding device. 縦方向に連続する2つの8×8ブロック中の8つの4×4ブロックのDC係数を集めて2×4ブロックを構成する様子を示す図である。It is a figure which shows a mode that the DC coefficient of eight 4x4 blocks in two 8x8 blocks continuous in a vertical direction is collected, and a 2x4 block is comprised. 同画像情報符号化装置における量子化部の構成の一例を示す図である。It is a figure which shows an example of a structure of the quantization part in the image information encoding device. 同画像情報符号化装置における逆量子化部の構成の一例を示す図である。It is a figure which shows an example of a structure of the inverse quantization part in the image information encoding device. 同画像情報符号化装置における逆直交変換部の構成の一例を示す図である。It is a figure which shows an example of a structure of the inverse orthogonal transformation part in the image information encoding device. 本実施の形態における画像情報復号装置の概略構成を説明する図である。It is a figure explaining schematic structure of the image information decoding apparatus in this Embodiment. 離散コサイン変換又はカルーネン・レーベ変換等の直交変換と動き予測・補償とにより画像圧縮を実現する従来の画像情報符号化装置の概略構成を説明する図である。It is a figure explaining schematic structure of the conventional image information encoding apparatus which implement | achieves image compression by orthogonal transformation, such as discrete cosine transformation or Karhunen-Labe transformation, and motion prediction and compensation. 同画像情報符号化装置に対応する従来の画像情報復号装置の概略構成を説明する図である。It is a figure explaining schematic structure of the conventional image information decoding apparatus corresponding to the image information encoding apparatus. JVT Codec における4つのイントラ予測モードを説明する図である。It is a figure explaining four intra prediction modes in JVT Codec. 8×8ブロック中の4つの4×4ブロックのDC係数を集めて2×2ブロックを構成する様子を示す図である。It is a figure which shows a mode that the DC coefficient of four 4x4 blocks in an 8x8 block is collected, and a 2x2 block is comprised.

以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明するが、本発明はこの実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。   Hereinafter, specific embodiments to which the present invention is applied will be described in detail with reference to the drawings. However, the present invention is not limited to these embodiments, and does not depart from the gist of the present invention. Of course, various changes can be made.

(1)画像情報符号化装置の構成及び動作
先ず、本実施の形態における画像情報符号化装置の概略構成を図1に示す。図1に示すように、画像情報符号化装置10は、A/D(Analogue/Digital)変換部11と、画像並び替えバッファ12と、加算器13と、直交変換部14と、量子化部15と、可逆符号化部16と、蓄積バッファ17と、逆量子化部18と、逆直交変換部19と、加算器20と、フレームメモリ21と、動き予測・補償部22と、イントラ予測部23と、レート制御部24とにより構成されている。
(1) Configuration and Operation of Image Information Encoding Device First, a schematic configuration of an image information encoding device according to the present embodiment is shown in FIG. As illustrated in FIG. 1, the image information encoding device 10 includes an A / D (Analogue / Digital) conversion unit 11, an image rearrangement buffer 12, an adder 13, an orthogonal conversion unit 14, and a quantization unit 15. A lossless encoding unit 16, an accumulation buffer 17, an inverse quantization unit 18, an inverse orthogonal transform unit 19, an adder 20, a frame memory 21, a motion prediction / compensation unit 22, and an intra prediction unit 23. And the rate control unit 24.

図1において、A/D変換部11は、入力された画像信号をデジタル信号に変換する。
そして、画像並び替えバッファ12は、当該画像情報符号化装置10から出力される画像圧縮情報のGOP(Group of Pictures)構造に応じて、フレームの並べ替えを行う。ここで、画像並び替えバッファ12は、イントラ(画像内)符号化が行われる画像に関しては、フレーム全体の画像情報を直交変換部14に供給する。直交変換部14は、画像情報に対して離散コサイン変換又はカルーネン・レーベ変換等の直交変換を施し、変換係数を量子化部15に供給する。量子化部15は、直交変換部14から供給された変換係数に対して量子化処理を施す。
In FIG. 1, an A / D converter 11 converts an input image signal into a digital signal.
Then, the image rearrangement buffer 12 performs frame rearrangement according to the GOP (Group of Pictures) structure of the compressed image information output from the image information encoding device 10. Here, the image rearrangement buffer 12 supplies the image information of the entire frame to the orthogonal transform unit 14 regarding the image on which intra (intra-image) encoding is performed. The orthogonal transform unit 14 performs orthogonal transform such as discrete cosine transform or Karhunen-Loeve transform on the image information, and supplies transform coefficients to the quantization unit 15. The quantization unit 15 performs a quantization process on the transform coefficient supplied from the orthogonal transform unit 14.

可逆符号化部16は、量子化された変換係数に対して可変長符号化、算術符号化等の可逆符号化を施し、符号化された変換係数を蓄積バッファ17に供給して蓄積させる。この符号化された変換係数は、画像圧縮情報として出力される。   The lossless encoding unit 16 performs lossless encoding such as variable length encoding and arithmetic encoding on the quantized transform coefficient, and supplies the encoded transform coefficient to the accumulation buffer 17 for accumulation. The encoded transform coefficient is output as image compression information.

量子化部15の挙動は、レート制御部24によって制御される。また、量子化部15は、量子化後の変換係数を逆量子化部18に供給し、逆量子化部18は、その変換係数を逆量子化する。逆直交変換部19は、逆量子化された変換係数に対して逆直交変換処理を施して復号画像情報を生成し、その情報をフレームメモリ21に供給して蓄積させる。   The behavior of the quantization unit 15 is controlled by the rate control unit 24. In addition, the quantization unit 15 supplies the quantized transform coefficient to the inverse quantization unit 18, and the inverse quantization unit 18 inversely quantizes the transform coefficient. The inverse orthogonal transform unit 19 performs inverse orthogonal transform processing on the inversely quantized transform coefficients to generate decoded image information, and supplies the information to the frame memory 21 for accumulation.

一方、画像並び替えバッファ12は、インター(画像間)符号化が行われる画像に関しては、画像情報を動き予測・補償部22に供給する。動き予測・補償部22は、同時に参照される画像情報をフレームメモリ21より取り出し、動き予測・補償処理を施して参照画像情報を生成する。動き予測・補償部22は、この参照画像情報を加算器13に供給し、加算器13は、参照画像情報を当該画像情報との差分信号に変換する。また、動き補償・予測部22は、同時に動きベクトル情報を可逆符号化部16に供給する。   On the other hand, the image rearrangement buffer 12 supplies image information to the motion prediction / compensation unit 22 for an image on which inter (inter-image) encoding is performed. The motion prediction / compensation unit 22 extracts image information that is referred to at the same time from the frame memory 21 and performs motion prediction / compensation processing to generate reference image information. The motion prediction / compensation unit 22 supplies this reference image information to the adder 13, and the adder 13 converts the reference image information into a difference signal from the image information. In addition, the motion compensation / prediction unit 22 supplies motion vector information to the lossless encoding unit 16 at the same time.

可逆符号化部16は、その動きベクトル情報に対して可変長符号化又は算術符号化等の可逆符号化処理を施し、画像圧縮情報のヘッダ部に挿入される情報を形成する。なお、その他の処理については、イントラ符号化を施される画像圧縮情報と同様であるため、説明を省略する。   The lossless encoding unit 16 performs lossless encoding processing such as variable length encoding or arithmetic encoding on the motion vector information, and forms information to be inserted into the header portion of the image compression information. The other processing is the same as the image compression information subjected to intra coding, and thus description thereof is omitted.

ここで、上述したJVT Codecでは、イントラ符号化を行う際に、ブロック周辺の画素から予測画像を生成してその差分を符号化するというイントラ予測符号化が採用されている。すなわち、イントラ符号化が行われる画像(Iピクチャ、Iスライス、イントラマクロブロックなど)に関しては、符号化する画素ブロックの近傍の既に符号化が終了した画素値から予測画像を生成し、その予測画像との差分が符号化される。逆量子化部18及び逆直交変換部19は、イントラ符号化された画素をそれぞれ逆量子化及び逆直交変換し、加算器20は、逆直交変換部19の出力と当該画素ブロックを符号化する際に使用された予測画像とを加算し、その加算値をフレームメモリ21に供給して蓄積させる。イントラ予測部23は、イントラ符号化される画素ブロックの場合には、既に符号化が終了しフレームメモリ21に蓄積されている近傍画素を読み出し、予測画像を生成する。このとき、予測画像の生成に用いたイントラ予測モードについても可逆符号化部16において可逆符号化処理を施し、画像圧縮情報に含めて出力する。   Here, in the above-described JVT Codec, when performing intra coding, intra prediction coding is employed in which a prediction image is generated from pixels around a block and the difference is coded. That is, for an image to be intra-encoded (I picture, I slice, intra macroblock, etc.), a predicted image is generated from pixel values that have already been encoded near the pixel block to be encoded, and the predicted image The difference between is encoded. The inverse quantization unit 18 and the inverse orthogonal transform unit 19 respectively perform inverse quantization and inverse orthogonal transform on the intra-coded pixels, and the adder 20 encodes the output of the inverse orthogonal transform unit 19 and the pixel block. The predicted image used at the time is added, and the added value is supplied to the frame memory 21 and accumulated. In the case of a pixel block to be intra-encoded, the intra prediction unit 23 reads out neighboring pixels that have already been encoded and accumulated in the frame memory 21, and generates a predicted image. At this time, the lossless encoding unit 16 also performs lossless encoding processing on the intra prediction mode used for generating the predicted image, and outputs the image by including it in the compressed image information.

(2)画像情報符号化装置における本発明の適用部分
(2−1)イントラ予測部
イントラ予測部23の構成の一例を図2に示す。イントラ予測部23は、色成分の解像度が4:2:0フォーマット、4:2:2フォーマット、4:4:4フォーマット等の何れであるかを示すクロマフォーマット信号、及び色空間がYCbCr、RGB、XYZ等の何れであるかを示す色空間信号に基づいて、予測の手法を切り替える。なお、クロマフォーマット信号及び色空間信号は、予め外部のユーザ等によって設定され、画像情報符号化装置10に供給される。
(2) Application Part of the Present Invention in Image Information Encoding Device (2-1) Intra Prediction Unit An example of the configuration of the intra prediction unit 23 is shown in FIG. The intra prediction unit 23 includes a chroma format signal indicating whether the resolution of the color component is 4: 2: 0 format, 4: 2: 2 format, 4: 4: 4 format, and the color space is YCbCr, RGB , XYZ, etc., based on the color space signal indicating the switching, the prediction method is switched. The chroma format signal and the color space signal are set in advance by an external user or the like and supplied to the image information encoding apparatus 10.

図2に示すイントラ予測部23において、クロマフォーマット信号及び色空間信号は、スイッチ30,32に供給される。スイッチ30,32では、クロマフォーマット信号及び色空間信号に基づき、イントラ予測器31a,31b,31cの何れかを選択し、フレームメモリ21から読み出した画像信号を選択したイントラ予測器に供給し、選択したイントラ予測器からの予測画像を出力する。スイッチ30,32は、同一のイントラ予測器を選択する。なお、この図2では、3種類のイントラ予測器31a,31b,31cの何れかを選択するものとして説明するが、このイントラ予測器の数、すなわち予測の方式の数は、任意に設定することができる。   In the intra prediction unit 23 illustrated in FIG. 2, the chroma format signal and the color space signal are supplied to the switches 30 and 32. The switches 30 and 32 select one of the intra predictors 31a, 31b, and 31c based on the chroma format signal and the color space signal, and supply the selected image signal read from the frame memory 21 to the selected intra predictor. A prediction image from the intra predictor that has been output is output. The switches 30 and 32 select the same intra predictor. In FIG. 2, description will be made assuming that one of the three types of intra-predictors 31a, 31b, and 31c is selected. However, the number of intra-predictors, that is, the number of prediction methods, is arbitrarily set. Can do.

(2−1−1)
先ず、イントラ予測器31aの動作を説明する。このイントラ予測器31aでは、クロマフォーマット信号が4:2:0フォーマットを示し、色空間信号がYCbCrを示す画像信号に対し、8×8ブロックを単位として予測を行う。なお、イントラ予測器31aの動作は、前述した従来例と同様であるため、詳細な説明を省略する。
(2-1-1)
First, the operation of the intra predictor 31a will be described. In the intra predictor 31a, prediction is performed in units of 8 × 8 blocks on an image signal in which the chroma format signal indicates 4: 2: 0 format and the color space signal indicates YCbCr. The operation of the intra predictor 31a is the same as that of the above-described conventional example, and thus detailed description thereof is omitted.

(2−1−2)
次に、イントラ予測器31bの動作を説明する。イントラ予測器31bにおいてもイントラ色差予測モードには、Vertical mode、Horizontal mode、DC mode、Plane prediction mode の4つの予測モードが存在する。このイントラ予測器31bでは、クロマフォーマット信号が4:2:2フォーマットを示し、色空間信号がYCbCrを示す画像信号に対し、マクロブロック中の連続する縦方向の2つの8×8ブロックをまとめて8×16ブロックを構成し、この8×16ブロックを単位として予測を行う。以下、このイントラ予測器31bにおける、4つの予測モードのそれぞれに従った予測画像の生成手法について説明する。
(2-1-2)
Next, the operation of the intra predictor 31b will be described. In the intra predictor 31b, the intra color difference prediction mode includes four prediction modes of Vertical mode, Horizontal mode, DC mode, and Plane prediction mode. In this intra predictor 31b, two continuous 8 × 8 blocks in a macro block are grouped together for an image signal in which the chroma format signal indicates 4: 2: 2 format and the color space signal indicates YCbCr. An 8 × 16 block is configured, and prediction is performed using the 8 × 16 block as a unit. Hereinafter, a prediction image generation method according to each of the four prediction modes in the intra predictor 31b will be described.

(a) Vertical mode(mode=0)
Vertical mode においては、色差ブロックの隣接する上側のブロックの画素をコピーして当該ブロックの予測画像とする。この場合の色差の予測画像predは、隣接する上側のブロックの画素をp[x,−1]とすると、以下の式(26)のように表される。なお、このモードは隣接する上側のブロックが存在する場合にのみ用いることが可能である。
(a) Vertical mode (mode = 0)
In the vertical mode, the pixel of the upper block adjacent to the color difference block is copied and used as the predicted image of the block. In this case, the color difference prediction image pred c is represented by the following expression (26), where p [x, −1] is the pixel of the adjacent upper block. This mode can be used only when there is an adjacent upper block.

Figure 2012080570
Figure 2012080570

(b) Horizontal mode(mode=1)
Horizontal mode においては、色差ブロックの隣接する左側のブロックの画素をコピーして当該ブロックの予測画像とする。この場合の色差ブロックの予測画像predは、隣接する左側のブロックの画素をp[−1, y]とすると、以下の式(27)のように表される。なお、このモードは隣接する左側のブロックが存在する場合のみ用いることが可能である。
(b) Horizontal mode (mode = 1)
In the horizontal mode, the pixel of the left block adjacent to the color difference block is copied and used as the predicted image of the block. The predicted image pred c of the color difference block in this case is expressed as the following Expression (27), where p [−1, y] is the pixel of the adjacent left block. This mode can be used only when there is an adjacent left block.

Figure 2012080570
Figure 2012080570

(c) DC mode(mode=2)
DC mode においては、色差ブロックの隣接する上側及び左側のブロックの画素を用いてその平均値を予測画像とする。但し、隣接する画素が存在しない場合には、値128が予測信号として用いられる。
(c) DC mode (mode = 2)
In DC mode, the average value is used as a predicted image using pixels of the upper and left blocks adjacent to the color difference block. However, if there is no adjacent pixel, the value 128 is used as the prediction signal.

すなわち、x,y=0..3の場合、予測画像pred[x,y]は、隣接する上側の画素p[x,−1]及び左側の画素p[−1,y](但し、x,y=0..3)を用いて生成される。
より詳しくは、(i)画素p[x,−1]及び画素p[−1,y]が共に存在する場合、(ii)画素p[x,−1]が存在し、画素p[−1,y]が存在しない場合、(iii)画素p[x,−1]が存在せず、画素p[−1,y]が存在する場合、(iv)画素p[x,−1]及び画素p[−1,y]が共に存在しない場合、の4つの場合において、それぞれ以下の式(28)〜(31)に従って生成される。
That is, when x, y = 0.0.3, the predicted image pred c [x, y] includes the adjacent upper pixel p [x, -1] and left pixel p [-1, y] (where x, y = 0.3).
More specifically, when (i) the pixel p [x, -1] and the pixel p [-1, y] are both present, (ii) the pixel p [x, -1] is present and the pixel p [-1 , Y] does not exist, (iii) pixel p [x, -1] does not exist, and pixel p [-1, y] exists, (iv) pixel p [x, -1] and pixel In the case where p [−1, y] does not exist together, they are generated according to the following equations (28) to (31), respectively.

Figure 2012080570
Figure 2012080570

同様に、x=4..7、y=0..3の場合、予測画像pred[x,y]は、隣接する上側の画素p[x,−1]及び左側の画素p[−1,y](但し、x=4..7、y=0..3)を用いて生成される。より詳しくは、(i)画素p[x,−1]が存在する場合、(ii)画素p[x,−1]が存在せず、画素p[−1,y]が存在する場合、(iii)画素p[x,−1]及び画素p[−1,y]が共に存在しない場合、の3つの場合において、それぞれ以下の式(32)〜(34)に従って生成される。 Similarly, when x = 4.7.y and y = 0.0.3, the predicted image pred c [x, y] is the adjacent upper pixel p [x, −1] and left pixel p [−1. , Y] (where x = 4.7, y = 0.0.3). More specifically, (i) when pixel p [x, -1] exists, (ii) when pixel p [x, -1] does not exist and pixel p [-1, y] exists, iii) When the pixel p [x, −1] and the pixel p [−1, y] do not exist, they are generated according to the following equations (32) to (34), respectively.

Figure 2012080570
Figure 2012080570

同様に、x=0..3、y=4..7の場合、予測画像pred[x,y]は、隣接する上側の画素p[x,−1]及び左側の画素p[−1,y](但し、x=0..3、y=4..7)を用いて生成される。より詳しくは、(i)画素p[−1,y]が存在する場合、(ii)画素p[x,−1]が存在し、画素p[−1,y]が存在しない場合、(iii)画素p[x,−1]及び画素p[−1,y]が共に存在しない場合、の3つの場合において、それぞれ以下の式(35)〜(37)に従って生成される。 Similarly, when x = 0.0.3 and y = 4.7.7, the predicted image pred c [x, y] includes the adjacent upper pixel p [x, −1] and left pixel p [−1. , Y] (where x = 0.0.3, y = 4.7.7). More specifically, (i) when pixel p [-1, y] is present, (ii) when pixel p [x, -1] is present, and pixel p [-1, y] is not present, (iii ) When the pixel p [x, -1] and the pixel p [-1, y] are not present, the pixel p [x, -1] is generated according to the following equations (35) to (37) in the three cases.

Figure 2012080570
Figure 2012080570

同様に、x,y=4..7の場合、予測画像pred[x,y]は、隣接する上側の画素p[x,−1]及び左側の画素p[−1,y](但し、x,y=4..7)を用いて生成される。
より詳しくは、(i)画素p[x,−1]及び画素p[−1,y]が共に存在する場合、(ii)画素p[x,−1]が存在し、画素p[−1,y]が存在しない場合、(iii)画素p[x,−1]が存在せず、画素p[−1,y]が存在する場合、(iv)画素p[x,−1]及び画素p[−1,y]が共に存在しない場合、の4つの場合において、それぞれ以下の式(38)〜(41)に従って生成される。
Similarly, when x, y = 4.7.7, the predicted image pred c [x, y] includes the adjacent upper pixel p [x, -1] and left pixel p [-1, y] (provided that , X, y = 4.7.7).
More specifically, when (i) the pixel p [x, -1] and the pixel p [-1, y] are both present, (ii) the pixel p [x, -1] is present and the pixel p [-1 , Y] does not exist, (iii) pixel p [x, -1] does not exist, and pixel p [-1, y] exists, (iv) pixel p [x, -1] and pixel When p [−1, y] does not exist, the four cases are generated according to the following equations (38) to (41), respectively.

Figure 2012080570
Figure 2012080570

同様に、x=0..3、y=8..11の場合、予測画像pred[x,y]は、隣接する上側の画素p[x,−1]及び左側の画素p[−1,y](但し、x=0..3、y=8..11)を用いて生成される。より詳しくは、(i)画素p[−1,y]が存在する場合、(ii)画素p[x,−1]が存在し、画素p[−1,y]が存在しない場合、(iii)画素p[x,−1]及び画素p[−1,y]が共に存在しない場合、の3つの場合において、それぞれ以下の式(42)〜(44)に従って生成される。 Similarly, when x = 0.0.3 and y = 8.11, the predicted image pred c [x, y] includes the adjacent upper pixel p [x, −1] and left pixel p [−1. , Y] (where x = 0.0.3, y = 8.11). More specifically, (i) when pixel p [-1, y] is present, (ii) when pixel p [x, -1] is present, and pixel p [-1, y] is not present, (iii ) When the pixel p [x, -1] and the pixel p [-1, y] are not present, the pixel p [x, -1] and the pixel p [-1, y] are generated according to the following equations (42) to (44), respectively.

Figure 2012080570
Figure 2012080570

同様に、x=4..7、y=8..11の場合、予測画像pred[x,y]は、隣接する上側の画素p[x,−1]及び左側の画素p[−1,y](但し、x=4..7、y=8..11)を用いて生成される。より詳しくは、(i)画素p[x,−1]及び画素p[−1,y]が共に存在する場合、(ii)画素p[x,−1]が存在し、画素p[−1,y]が存在しない場合、(iii)画素p[x,−1]が存在せず、画素p[−1,y]が存在する場合、(iv)画素p[x,−1]及び画素p[−1,y]が共に存在しない場合、の4つの場合において、それぞれ以下の式(45)〜(48)に従って生成される。 Similarly, when x = 4.7.y and y = 8.1.11, the predicted image pred c [x, y] includes the adjacent upper pixel p [x, −1] and left pixel p [−1. , Y] (where x = 4.7.7, y = 8..11). More specifically, when (i) the pixel p [x, -1] and the pixel p [-1, y] are both present, (ii) the pixel p [x, -1] is present and the pixel p [-1 , Y] does not exist, (iii) pixel p [x, -1] does not exist, and pixel p [-1, y] exists, (iv) pixel p [x, -1] and pixel In the case where p [−1, y] does not exist together, they are generated according to the following equations (45) to (48), respectively.

Figure 2012080570
Figure 2012080570

同様に、x=0..3、y=12..15の場合、予測画像pred[x,y]は、隣接する上側の画素p[x,−1]及び左側の画素p[−1,y](但し、x=0..3、y=12..15)を用いて生成される。より詳しくは、(i)画素p[−1,y]が存在する場合、(ii)画素p[x,−1]が存在し、画素p[−1,y]が存在しない場合、(iii)画素p[x,−1]及び画素p[−1,y]が共に存在しない場合、の3つの場合において、それぞれ以下の式(49)〜(51)に従って生成される。 Similarly, when x = 0.0.3 and y = 12.0.15, the predicted image pred c [x, y] includes the adjacent upper pixel p [x, −1] and left pixel p [−1. , Y] (where x = 0.0.3, y = 12.0.15). More specifically, (i) when pixel p [-1, y] is present, (ii) when pixel p [x, -1] is present, and pixel p [-1, y] is not present, (iii ) When the pixel p [x, −1] and the pixel p [−1, y] do not exist, they are generated according to the following equations (49) to (51), respectively.

Figure 2012080570
Figure 2012080570

同様に、x=4..7、y=12..15の場合、予測画像pred[x,y]は、隣接する上側の画素p[x,−1]及び左側の画素p[−1,y](但し、x=4..7、y=12..15)を用いて生成される。より詳しくは、(i)画素p[x,−1]及び画素p[−1,y]が共に存在する場合、(ii)画素p[x,−1]が存在し、画素p[−1,y]が存在しない場合、(iii)画素p[x,−1]が存在せず、画素p[−1,y]が存在する場合、(iv)画素p[x,−1]及び画素p[−1,y]が共に存在しない場合、の4つの場合において、それぞれ以下の式(52)〜(55)に従って生成される。 Similarly, when x = 4.7.y and y = 12.0.15, the predicted image pred c [x, y] includes the adjacent upper pixel p [x, −1] and left pixel p [−1. , Y] (where x = 4.7.7, y = 12.0.15). More specifically, when (i) the pixel p [x, -1] and the pixel p [-1, y] are both present, (ii) the pixel p [x, -1] is present and the pixel p [-1 , Y] does not exist, (iii) pixel p [x, -1] does not exist, and pixel p [-1, y] exists, (iv) pixel p [x, -1] and pixel In the case where p [−1, y] does not exist together, they are generated according to the following equations (52) to (55), respectively.

Figure 2012080570
Figure 2012080570

ここで、上述した予測方法では、単純に上側のブロックの8画素と左側のブロックの16画素との平均値を予測画像としているため、24での割り算を行う必要があり、演算量が多くなるという問題がある。そこで、以下のように予測方法を変形し、16(=2)での割り算を行うようにすることで、演算量を削減することができる。 Here, in the prediction method described above, since the average value of the 8 pixels of the upper block and the 16 pixels of the left block is simply used as the predicted image, division by 24 is necessary and the amount of calculation increases. There is a problem. Therefore, the amount of calculation can be reduced by modifying the prediction method as follows and performing division by 16 (= 2 4 ).

すなわち、x,y=0..7の場合、予測画像pred[x,y]は、隣接する上側の画素p[x,−1]及び左側の画素p[−1,y](但し、x,y=0..7)を用いて生成される。
より詳しくは、(i)画素p[x,−1]及び画素p[−1,y]が共に存在する場合、(ii)画素p[x,−1]が存在し、画素p[−1,y]が存在しない場合、(iii)画素p[x,−1]が存在せず、画素p[−1,y]が存在する場合、(iv)画素p[x,−1]及び画素p[−1,y]が共に存在しない場合、の4つの場合において、それぞれ以下の式(56)〜(59)に従って生成される。
That is, when x, y = 0.0.7, the predicted image pred c [x, y] includes the adjacent upper pixel p [x, -1] and left pixel p [-1, y] (where x, y = 0.7).
More specifically, when (i) the pixel p [x, -1] and the pixel p [-1, y] are both present, (ii) the pixel p [x, -1] is present and the pixel p [-1 , Y] does not exist, (iii) pixel p [x, -1] does not exist, and pixel p [-1, y] exists, (iv) pixel p [x, -1] and pixel In the case where p [−1, y] does not exist, the four cases are generated according to the following equations (56) to (59), respectively.

Figure 2012080570
Figure 2012080570

同様に、x=0..7、y=8..15の場合、予測画像pred[x,y]は、隣接する上側の画素p[x,−1]及び左側の画素p[−1,y](但し、x=0..7、y=8..15)を用いて生成される。より詳しくは、(i)画素p[−1,y]が存在する場合、(ii)画素p[x,−1]が存在し、画素p[−1,y]が存在しない場合、(iii)画素p[x,−1]及び画素p[−1,y]が共に存在しない場合、の3つの場合において、それぞれ以下の式(60)〜(62)に従って生成される。 Similarly, when x = 0.0.7 and y = 8..15, the predicted image pred c [x, y] includes the adjacent upper pixel p [x, −1] and left pixel p [−1. , Y] (where x = 0.0.7, y = 8..15). More specifically, (i) when pixel p [-1, y] is present, (ii) when pixel p [x, -1] is present, and pixel p [-1, y] is not present, (iii ) When the pixel p [x, −1] and the pixel p [−1, y] do not exist, they are generated according to the following equations (60) to (62), respectively.

Figure 2012080570
Figure 2012080570

(d) Plane Prediction mode(mode=3)
Plane Prediction mode においては、色差ブロックの隣接する左側のブロックの画素と上側のブロックの画素から予測画像を平面近似して当該ブロックの予測画像とする。この場合の色差の予測画像predは、隣接する左側のブロックの画素をp[−1,y]、上側のブロックをp[x,−1]とすると、以下の式(63)のように表される。ここで、式(63)におけるClip1は、0から255の範囲にクリッピングすることを示す。
(d) Plane Prediction mode (mode = 3)
In the Plane Prediction mode, a predicted image of the block is approximated by plane approximation from the pixel of the left block adjacent to the color difference block and the pixel of the upper block. In this case, the color difference prediction image pred c is expressed by the following equation (63), where p [−1, y] is the pixel of the adjacent left block and p [x, −1] is the upper block. expressed. Here, Clip1 in Expression (63) indicates that clipping is performed in the range of 0 to 255.

Figure 2012080570
Figure 2012080570

(2−1−3)
続いて、イントラ予測器31cの動作を説明する。イントラ予測器31cにおいてもイントラ色差予測モードには、Vertical mode、Horizontal mode、DC mode、Plane prediction mode の4つの予測モードが存在する。このイントラ予測器31cでは、クロマフォーマット信号が4:4:4フォーマットを示し、色空間信号がYCbCr、RGB又はXYZを示す画像信号に対し、マクロブロック中の連続する縦横方向の4つの8×8ブロックをまとめて16×16ブロックを構成し、この16×16ブロックを単位として予測を行う。以下、このイントラ予測器31cにおける、4つの予測モードのそれぞれに従った予測画像の生成手法について説明する。
(2-1-3)
Next, the operation of the intra predictor 31c will be described. Also in the intra predictor 31c, four prediction modes of Vertical mode, Horizontal mode, DC mode, and Plane prediction mode exist in the intra color difference prediction mode. In the intra predictor 31c, four 8 × 8 pixels in the vertical and horizontal directions in the macroblock are continuous with respect to the image signal in which the chroma format signal indicates the 4: 4: 4 format and the color space signal indicates YCbCr, RGB, or XYZ. The blocks are grouped to form a 16 × 16 block, and prediction is performed in units of the 16 × 16 block. Hereinafter, a prediction image generation method according to each of the four prediction modes in the intra predictor 31c will be described.

(a) Vertical mode(mode=0)
Vertical mode においては、色差ブロックの隣接する上側のブロックの画素をコピーして当該ブロックの予測画像とする。この場合の色差の予測画像predは、隣接する上側のブロックの画素をp[x,−1]とすると、以下の式(64)のように表される。なお、このモードは隣接する上側のブロックが存在する場合にのみ用いることが可能である。
(a) Vertical mode (mode = 0)
In the vertical mode, the pixel of the upper block adjacent to the color difference block is copied and used as the predicted image of the block. The color difference prediction image pred c in this case is expressed as the following equation (64), where p [x, −1] is the pixel of the adjacent upper block. This mode can be used only when there is an adjacent upper block.

Figure 2012080570
Figure 2012080570

(b) Horizontal mode(mode=1)
Horizontal mode においては、色差ブロックの隣接する左側のブロックの画素をコピーして当該ブロックの予測画像とする。この場合の色差ブロックの予測画像predは、隣接する左側のブロックの画素をp[−1, y]とすると、以下の式(65)のように表される。なお、このモードは隣接する左側のブロックが存在する場合のみ用いることが可能である。
(b) Horizontal mode (mode = 1)
In the horizontal mode, the pixel of the left block adjacent to the color difference block is copied and used as the predicted image of the block. The predicted image pred c of the color difference block in this case is expressed as the following Expression (65), where p [−1, y] is the pixel of the adjacent left block. This mode can be used only when there is an adjacent left block.

Figure 2012080570
Figure 2012080570

(c) DC mode(mode=2)
DC mode においては、色差ブロックの隣接する上側及び左側のブロックの画素を用いてその平均値を予測画像とする。但し、隣接する画素が存在しない場合には、値128が予測信号として用いられる。
(c) DC mode (mode = 2)
In DC mode, the average value is used as a predicted image using pixels of the upper and left blocks adjacent to the color difference block. However, if there is no adjacent pixel, the value 128 is used as the prediction signal.

すなわち、x,y=0..15の場合、予測画像pred[x,y]は、隣接する上側の画素p[x,−1]及び左側の画素p[−1,y](但し、x,y=0..15)を用いて生成される。より詳しくは、(i)画素p[x,−1]及び画素p[−1,y]が共に存在する場合、(ii)画素p[x,−1]が存在し、画素p[−1,y]が存在しない場合、(iii)画素p[x,−1]が存在せず、画素p[−1,y]が存在する場合、(iv)画素p[x,−1]及び画素p[−1,y]が共に存在しない場合、の4つの場合において、それぞれ以下の式(66)〜(69)に従って生成される。 That is, when x, y = 0..15, the predicted image pred c [x, y] includes the adjacent upper pixel p [x, −1] and left pixel p [−1, y] (provided that x, y = 0..15). More specifically, when (i) the pixel p [x, -1] and the pixel p [-1, y] are both present, (ii) the pixel p [x, -1] is present and the pixel p [-1 , Y] does not exist, (iii) pixel p [x, -1] does not exist, and pixel p [-1, y] exists, (iv) pixel p [x, -1] and pixel In the case where p [−1, y] does not exist, the four cases are generated according to the following equations (66) to (69), respectively.

Figure 2012080570
Figure 2012080570

(d) Plane Prediction mode(mode=3)
Plane Prediction mode においては、色差ブロックの隣接する左側のブロックの画素と上側のブロックの画素から予測画像を平面近似して当該ブロックの予測画像とする。この場合の色差の予測画像predは、隣接する左側のブロックの画素をp[−1,y]、上側のブロックをp[x,−1]とすると、以下の式(70)のように表される。ここで、式(70)におけるClip1は、0から255の範囲にクリッピングすることを示す。
(d) Plane Prediction mode (mode = 3)
In the Plane Prediction mode, a predicted image of the block is approximated by plane approximation from the pixel of the left block adjacent to the color difference block and the pixel of the upper block. Predicted image pred c chrominance in this case, the pixels of adjacent left side block p [-1, y], the upper block p [x, -1] When, as shown in the following expression (70) expressed. Here, Clip1 in Expression (70) indicates that clipping is performed in the range of 0 to 255.

Figure 2012080570
Figure 2012080570

(2−2)直交変換部
クロマフォーマット信号及び色空間信号は、直交変換部14にも供給される。
直交変換部14の構成の一例を図3に示す。直交変換部14は、色成分の解像度が4:2:0フォーマット、4:2:2フォーマット、4:4:4フォーマット等の何れであるかを示すクロマフォーマット信号、及び色空間がYCbCr、RGB、XYZ等の何れであるかを示す色空間信号に基づいて、直交変換の方式を切り替える。
(2-2) Orthogonal Transform Unit The chroma format signal and the color space signal are also supplied to the orthogonal transform unit 14.
An example of the configuration of the orthogonal transform unit 14 is shown in FIG. The orthogonal transform unit 14 includes a chroma format signal indicating whether the color component resolution is 4: 2: 0 format, 4: 2: 2 format, 4: 4: 4 format, and the color space is YCbCr, RGB. , XYZ, or the like, the orthogonal transform method is switched based on a color space signal indicating whether the signal is XYZ or the like.

図3に示す直交変換部14において、クロマフォーマット信号及び色空間信号は、スイッチ40,42に供給される。スイッチ40,42では、クロマフォーマット信号及び色空間信号に基づき、直交変換器41a,41b,41cの何れかを選択し、加算器13からの出力を選択した直交変換器に供給し、選択した直交変換器からの信号を出力する。スイッチ40,42は、同一の直交変換器を選択する。なお、この図3では、3種類の直交変換器41a,41b,41cの何れかを選択するものとして説明するが、この直交変換器の数、すなわち直交変換の方式の数は、任意に設定することができる。   In the orthogonal transform unit 14 shown in FIG. 3, the chroma format signal and the color space signal are supplied to the switches 40 and 42. The switches 40 and 42 select one of the orthogonal transformers 41a, 41b, and 41c based on the chroma format signal and the color space signal, and supply the output from the adder 13 to the selected orthogonal transformer to select the selected orthogonal transformer. The signal from the converter is output. The switches 40 and 42 select the same orthogonal transformer. In FIG. 3, the description will be made assuming that one of the three types of orthogonal transformers 41a, 41b, and 41c is selected. However, the number of the orthogonal transformers, that is, the number of orthogonal transformation schemes is arbitrarily set. be able to.

(2−2−1)
先ず、直交変換器41aの動作を説明する。この直交変換器41aでは、クロマフォーマット信号が4:2:0フォーマットを示し、色空間信号がYCbCrを示す画像信号に対して直交変換を行う。なお、直交変換器41aの動作は、前述した従来例と同様であるため、詳細な説明を省略する。
(2-2-1)
First, the operation of the orthogonal transformer 41a will be described. In the orthogonal transformer 41a, an orthogonal transformation is performed on an image signal in which the chroma format signal indicates 4: 2: 0 format and the color space signal indicates YCbCr. Since the operation of the orthogonal transformer 41a is the same as that of the conventional example described above, detailed description thereof is omitted.

(2−2−2)
次に、直交変換器41bの動作を説明する。この直交変換器41bでは、クロマフォーマット信号が4:2:2フォーマットを示し、色空間信号がYCbCrを示す画像信号に対して直交変換を行う。
(2-2-2)
Next, the operation of the orthogonal transformer 41b will be described. In the orthogonal transformer 41b, an orthogonal transformation is performed on an image signal in which the chroma format signal indicates 4: 2: 2 format and the color space signal indicates YCbCr.

より詳しくは、色差のイントラ予測を行った後、8×8ブロック中の4×4画素ブロック単位で4×4整数変換を適用する。当該画素ブロックから予測画像を引いた差分信号をf4x4とすると、4×4直交変換は、以下の式(71)のように表される。 More specifically, after performing intra prediction of color difference, 4 × 4 integer transform is applied in units of 4 × 4 pixel blocks in 8 × 8 blocks. If the difference signal obtained by subtracting the predicted image from the pixel block is f 4 × 4, 4 × 4 orthogonal transformation is expressed as the following Expression (71).

Figure 2012080570
Figure 2012080570

4×4整数変換した後、図4に示すように、縦方向に連続する2つの8×8ブロック中の8つの4×4ブロックの(0,0)係数を集めて2×4ブロックを構成し、この2×4ブロックに対して2×4変換を適応する。これは色差で用いられているイントラ予測の効率がそれ程高くなく、隣り合う4×4ブロック間の(0,0)係数の間にまだ相関が残っているためである。この相関を相関を利用してより符号化効率を高めるため、4×4ブロックの(0,0)係数のみを集めて2×4ブロックを構成し、2×4変換を適用する。2×4のクロマDCのブロックをf2x4とすると、このクロマDCブロックに対する変換は、以下の式(72)のように表される。 After the 4 × 4 integer conversion, as shown in FIG. 4, the 2 × 4 block is configured by collecting the (0,0) coefficients of eight 4 × 4 blocks in two 8 × 8 blocks that are continuous in the vertical direction. The 2 × 4 transform is applied to the 2 × 4 block. This is because the efficiency of intra prediction used for color difference is not so high, and there is still a correlation between (0, 0) coefficients between adjacent 4 × 4 blocks. In order to further increase the coding efficiency by using this correlation, only the (0,0) coefficients of the 4 × 4 block are collected to form a 2 × 4 block, and the 2 × 4 transform is applied. Assuming that a 2 × 4 chroma DC block is f 2 × 4, the transformation for this chroma DC block is expressed by the following equation (72).

Figure 2012080570
Figure 2012080570

(2−2−3)
続いて、直交変換器41cの動作を説明する。この直交変換器41cでは、クロマフォーマット信号が4:4:4フォーマットを示し、色空間信号がYCbCr、RGB又はXYZを示す画像信号に対して直交変換を行う。
(2-2-3)
Next, the operation of the orthogonal transformer 41c will be described. In the orthogonal transformer 41c, orthogonal transformation is performed on an image signal in which the chroma format signal indicates 4: 4: 4 format and the color space signal indicates YCbCr, RGB, or XYZ.

より詳しくは、4:4:4フォーマット、YCbCr、RGB、XYZを示す色差を4×4整数変換した後、輝度と同様にしてマクロブロック中の16個の(0,0)係数を集めて4×4DCブロックを構成し、4×4変換を適用する。この変換は、以下の式(73)のように表される。   More specifically, after the color difference indicating 4: 4: 4 format, YCbCr, RGB, XYZ is converted to 4 × 4 integers, 16 (0, 0) coefficients in the macroblock are collected to obtain 4 in the same manner as the luminance. A x4 DC block is constructed and a 4 x 4 transform is applied. This conversion is expressed as the following Expression (73).

Figure 2012080570
Figure 2012080570

(2−3)量子化部
クロマフォーマット信号及び色空間信号は、量子化部15にも供給される。
量子化部15の構成の一例を図5に示す。量子化部15は、色成分の解像度が4:2:0フォーマット、4:2:2フォーマット、4:4:4フォーマット等の何れであるかを示すクロマフォーマット信号、及び色空間がYCbCr、RGB、XYZ等の何れであるかを示す色空間信号に基づいて、量子化の方式を切り替える。
(2-3) Quantization Unit The chroma format signal and the color space signal are also supplied to the quantization unit 15.
An example of the configuration of the quantization unit 15 is shown in FIG. The quantizing unit 15 includes a chroma format signal indicating whether the resolution of the color component is 4: 2: 0 format, 4: 2: 2 format, 4: 4: 4 format, and the color space is YCbCr, RGB. , XYZ, and the like, the quantization method is switched based on a color space signal indicating whether the signal is XYZ or the like.

図5に示す量子化部15において、クロマフォーマット信号及び色空間信号は、スイッチ50,52に供給される。スイッチ50,52では、クロマフォーマット信号及び色空間信号に基づき、量子化器51a,51b,51cの何れかを選択し、直交変換部14からの出力を選択した量子化器に供給し、選択した量子化器からの信号を出力する。スイッチ50,52は、同一の量子化器を選択する。なお、この図5では、3種類の量子化器51a,51b,51cの何れかを選択するものとして説明するが、この量子化器の数、すなわち量子化の方式の数は、任意に設定することができる。   In the quantization unit 15 shown in FIG. 5, the chroma format signal and the color space signal are supplied to the switches 50 and 52. In the switches 50 and 52, one of the quantizers 51a, 51b, and 51c is selected based on the chroma format signal and the color space signal, and the output from the orthogonal transform unit 14 is supplied to the selected quantizer. Outputs the signal from the quantizer. The switches 50 and 52 select the same quantizer. In FIG. 5, description is made assuming that one of the three types of quantizers 51a, 51b, and 51c is selected. However, the number of quantizers, that is, the number of quantization methods is arbitrarily set. be able to.

(2−3−1)
先ず、量子化器51aの動作を説明する。この量子化器51aでは、クロマフォーマット信号が4:2:0フォーマットを示し、色空間信号がYCbCrを示す画像信号に対して量子化を行う。なお、量子化器51aの動作は、前述した従来例と同様であるため、詳細な説明を省略する。
(2-3-1)
First, the operation of the quantizer 51a will be described. The quantizer 51a quantizes an image signal in which the chroma format signal indicates 4: 2: 0 format and the color space signal indicates YCbCr. Since the operation of the quantizer 51a is the same as that of the conventional example described above, detailed description thereof is omitted.

(2−3−2)
次に、量子化器51bの動作を説明する。この量子化器51bでは、クロマフォーマット信号が4:2:2フォーマットを示し、色空間信号がYCbCrを示す画像信号に対して量子化を行う。
(2-3-2)
Next, the operation of the quantizer 51b will be described. In this quantizer 51b, the chroma format signal indicates the 4: 2: 2 format and the color space signal quantizes the image signal indicating YCbCr.

ここで、4:2:0フォーマットの場合におけるクロマDCの変換に用いられるアダマール変換は、以下の式(74)のように表される。   Here, the Hadamard transform used for the chroma DC conversion in the case of the 4: 2: 0 format is expressed as the following Expression (74).

Figure 2012080570
Figure 2012080570

一方、4:2:2フォーマットの場合におけるクロマDCの変換に用いられる2×4変換は、以下の式(75)のように表される。   On the other hand, the 2 × 4 conversion used for the conversion of chroma DC in the case of the 4: 2: 2 format is expressed as the following Expression (75).

Figure 2012080570
Figure 2012080570

したがって、4:2:0フォーマットでの変換による正規化係数は1/2であるのに対し、4:2:2フォーマットでの変換による正規化係数は1/2√2となる。しかしながら、この場合には実数演算が入ってしまうため、以下の式(76)で示すように簡略化する。   Therefore, the normalization coefficient by conversion in the 4: 2: 0 format is ½, whereas the normalization coefficient by conversion in the 4: 2: 2 format is ½√2. However, in this case, since a real number calculation is entered, the calculation is simplified as shown by the following equation (76).

Figure 2012080570
Figure 2012080570

この正規化係数は、量子化の際のスケールと一緒に計算されているため、4:2:2フォーマットの変換の場合、量子化方法を以下のように変更する必要がある。   Since this normalization coefficient is calculated together with the scale at the time of quantization, in the case of conversion in 4: 2: 2 format, it is necessary to change the quantization method as follows.

量子化後のDC係数をQf’[ij]とすると、2×4クロマDCブロックの量子化後の係数値は、例えば以下の式(77)で与えられる。ここで、式(77)におけるrは、丸め処理を変更するためのパラメータである。なお、AC係数に対する量子化は4:2:0フォーマットの場合と同様であるため、説明を省略する。   If the quantized DC coefficient is Qf ′ [ij], the quantized coefficient value of the 2 × 4 chroma DC block is given by the following equation (77), for example. Here, r in the equation (77) is a parameter for changing the rounding process. Note that the quantization for the AC coefficient is the same as that in the 4: 2: 0 format, and a description thereof will be omitted.

Figure 2012080570
Figure 2012080570

(2−3−3)
続いて、量子化器51cの動作を説明する。この量子化器51cでは、クロマフォーマット信号が4:4:4フォーマットを示し、色空間信号がYCbCr、RGB又はXYZを示す画像信号に対して量子化を行う。
(2-3-3)
Next, the operation of the quantizer 51c will be described. In the quantizer 51c, the chroma format signal indicates the 4: 4: 4 format and the color space signal quantizes the image signal indicating YCbCr, RGB, or XYZ.

ここで、クロマDCの変換に用いられるアダマール変換は、以下の式(78)のように表される。したがって、この場合、変換の正規化係数は1/4となる。   Here, the Hadamard transform used for the chroma DC transform is represented by the following equation (78). Therefore, in this case, the conversion normalization coefficient is 1/4.

Figure 2012080570
Figure 2012080570

量子化後のDC係数をQf’[ij]とすると、4×4クロマDCブロックの量子化後の係数値は、例えば以下の式(79)で与えられる。ここで、式(79)におけるrは、丸め処理を変更するためのパラメータである。   When the quantized DC coefficient is Qf ′ [ij], the quantized coefficient value of the 4 × 4 chroma DC block is given by, for example, the following formula (79). Here, r in Equation (79) is a parameter for changing the rounding process.

Figure 2012080570
Figure 2012080570

(2−4)逆量子化部
クロマフォーマット信号及び色空間信号は、逆量子化部18にも供給される。
逆量子化部18の構成の一例を図6に示す。逆量子化部18は、色成分の解像度が4:2:0フォーマット、4:2:2フォーマット、4:4:4フォーマット等の何れであるかを示すクロマフォーマット信号、及び色空間がYCbCr、RGB、XYZ等の何れであるかを示す色空間信号に基づいて、逆量子化の方式を切り替える。
(2-4) Inverse Quantization Unit The chroma format signal and the color space signal are also supplied to the inverse quantization unit 18.
An example of the configuration of the inverse quantization unit 18 is shown in FIG. The inverse quantization unit 18 includes a chroma format signal indicating whether the resolution of the color component is 4: 2: 0 format, 4: 2: 2 format, 4: 4: 4 format, and the color space is YCbCr, The inverse quantization method is switched based on a color space signal indicating RGB, XYZ, or the like.

図6に示す逆量子化部18において、クロマフォーマット信号及び色空間信号は、スイッチ60,62に供給される。スイッチ60,62では、クロマフォーマット信号及び色空間信号に基づき、逆量子化器61a,61b,61cの何れかを選択し、量子化部15からの出力を選択した逆量子化器に供給し、選択した逆量子化器からの信号を出力する。
スイッチ60,62は、同一の逆量子化器を選択する。なお、この図6では、3種類の逆量子化器61a,61b,61cの何れかを選択するものとして説明するが、この逆量子化器の数、すなわち逆量子化の方式の数は、任意に設定することができる。
In the inverse quantization unit 18 shown in FIG. 6, the chroma format signal and the color space signal are supplied to the switches 60 and 62. The switches 60 and 62 select one of the inverse quantizers 61a, 61b, and 61c based on the chroma format signal and the color space signal, and supply the output from the quantization unit 15 to the selected inverse quantizer. Outputs the signal from the selected inverse quantizer.
The switches 60 and 62 select the same inverse quantizer. In FIG. 6, the description will be made assuming that one of the three types of inverse quantizers 61a, 61b, and 61c is selected. However, the number of inverse quantizers, that is, the number of inverse quantization methods is arbitrary. Can be set to

(2−4−1)
先ず、逆量子化器61aの動作を説明する。この逆量子化器61aでは、クロマフォーマット信号が4:2:0フォーマットを示し、色空間信号がYCbCrを示す画像信号に対して逆量子化を行う。なお、逆量子化器61aの動作は、前述した従来例と同様であるため、詳細な説明を省略する。
(2-4-1)
First, the operation of the inverse quantizer 61a will be described. The inverse quantizer 61a performs inverse quantization on an image signal in which the chroma format signal indicates 4: 2: 0 format and the color space signal indicates YCbCr. Since the operation of the inverse quantizer 61a is the same as that of the conventional example described above, detailed description thereof is omitted.

(2−4−2)
次に、逆量子化器61bの動作を説明する。この逆量子化器61bでは、クロマフォーマット信号が4:2:2フォーマットを示し、色空間信号がYCbCrを示す画像信号に対して逆量子化を行う。
(2-4-2)
Next, the operation of the inverse quantizer 61b will be described. The inverse quantizer 61b performs inverse quantization on the image signal in which the chroma format signal indicates the 4: 2: 2 format and the color space signal indicates YCbCr.

より詳しくは、逆量子化後のDC係数をfdc”とすると、2×2クロマDCブロックの逆量子化後の係数値は、QPが6以上である場合には以下の式(80)で表され、QPが6未満である場合には、以下の式(81)で表される。なお、AC係数に対する逆量子化は4:2:0フォーマットの場合と同様であるため、説明を省略する。 More specifically, assuming that the DC coefficient after inverse quantization is fdc ″, the coefficient value after inverse quantization of the 2 × 2 chroma DC block is expressed by the following equation (80) when QP c is 6 or more. When QP c is less than 6, it is represented by the following formula (81): Since the inverse quantization for the AC coefficient is the same as that in the 4: 2: 0 format, the explanation will be given. Omitted.

Figure 2012080570
Figure 2012080570

(2−4−3)
次に、逆量子化器61cの動作を説明する。この逆量子化器61cでは、クロマフォーマット信号が4:4:4フォーマットを示し、色空間信号がYCbCr、RGB又はXYZを示す画像信号に対して逆量子化を行う。
(2-4-3)
Next, the operation of the inverse quantizer 61c will be described. The inverse quantizer 61c performs inverse quantization on the image signal in which the chroma format signal indicates 4: 4: 4 format and the color space signal indicates YCbCr, RGB, or XYZ.

より詳しくは、逆量子化後のDC係数をfdc”とすると、4×4クロマDCブロックの逆量子化後の係数値は、QPが6以上である場合には以下の式(82)で表され、QPが6未満である場合には、以下の式(83)で表される。なお、AC係数に対する逆量子化は4:2:0フォーマットの場合と同様であるため、説明を省略する。 More specifically, assuming that the DC coefficient after inverse quantization is fdc ″, the coefficient value after inverse quantization of the 4 × 4 chroma DC block is expressed by the following formula (82) when QP c is 6 or more. When QP c is less than 6, it is expressed by the following equation (83): Since the inverse quantization for the AC coefficient is the same as that in the 4: 2: 0 format, the explanation will be given. Omitted.

Figure 2012080570
Figure 2012080570

(2−5)逆直交変換部
クロマフォーマット信号及び色空間信号は、逆直交変換部19にも供給される。
逆直交変換部19の構成の一例を図7に示す。逆直交変換部19は、色成分の解像度が4:2:0フォーマット、4:2:2フォーマット、4:4:4フォーマット等の何れであるかを示すクロマフォーマット信号、及び色空間がYCbCr、RGB、XYZ等の何れであるかを示す色空間信号に基づいて、逆直交変換の方式を切り替える。
(2-5) Inverse Orthogonal Transform Unit The chroma format signal and the color space signal are also supplied to the inverse orthogonal transform unit 19.
An example of the configuration of the inverse orthogonal transform unit 19 is shown in FIG. The inverse orthogonal transform unit 19 includes a chroma format signal indicating whether the resolution of the color component is 4: 2: 0 format, 4: 2: 2 format, 4: 4: 4 format, and the color space is YCbCr, The inverse orthogonal transform method is switched based on a color space signal indicating RGB, XYZ, or the like.

図7に示す逆直交変換部19において、クロマフォーマット信号及び色空間信号は、スイッチ70,72に供給される。スイッチ70,72では、クロマフォーマット信号及び色空間信号に基づき、逆直交変換器71a,71b,71cの何れかを選択し、逆量子化部18からの出力を選択した逆直交変換器に供給し、選択した逆直交変換器からの信号を出力する。スイッチ70,72は、同一の逆直交変換器を選択する。なお、この図7では、3種類の逆直交変換器71a,71b,71cの何れかを選択するものとして説明するが、この逆直交変換器の数、すなわち逆直交変換の方式の数は、任意に設定することができる。   In the inverse orthogonal transform unit 19 shown in FIG. 7, the chroma format signal and the color space signal are supplied to the switches 70 and 72. The switches 70 and 72 select one of the inverse orthogonal transformers 71a, 71b, and 71c based on the chroma format signal and the color space signal, and supply the output from the inverse quantization unit 18 to the selected inverse orthogonal transformer. The signal from the selected inverse orthogonal transformer is output. The switches 70 and 72 select the same inverse orthogonal transformer. In FIG. 7, description is made assuming that one of the three types of inverse orthogonal transformers 71a, 71b, 71c is selected. However, the number of inverse orthogonal transformers, that is, the number of inverse orthogonal transformation methods is arbitrary. Can be set to

(2−5−1)
先ず、逆直交変換器71aの動作を説明する。この逆直交変換器71aでは、クロマフォーマット信号が4:2:0フォーマットを示し、色空間信号がYCbCrを示す画像信号に対して逆直交変換を行う。なお、逆直交変換器71aの動作は、前述した従来例と同様であるため、詳細な説明を省略する。
(2-5-1)
First, the operation of the inverse orthogonal transformer 71a will be described. In the inverse orthogonal transformer 71a, the inverse orthogonal transform is performed on the image signal in which the chroma format signal indicates the 4: 2: 0 format and the color space signal indicates YCbCr. The operation of the inverse orthogonal transformer 71a is the same as that of the above-described conventional example, and thus detailed description thereof is omitted.

(2−5−2)
次に、逆直交変換器71bの動作を説明する。この逆直交変換器71bでは、クロマフォーマット信号が4:2:2フォーマットを示し、色空間信号がYCbCrを示す画像信号に対して逆直交変換を行う。
(2-5-2)
Next, the operation of the inverse orthogonal transformer 71b will be described. In the inverse orthogonal transformer 71b, an inverse orthogonal transform is performed on an image signal in which the chroma format signal indicates 4: 2: 2 format and the color space signal indicates YCbCr.

より詳しくは、2×4DCブロックに対して2×4逆変換を適用する。逆変換後の2×4のクロマDCブロックをfdc2x4'''とすると、このクロマDCブロックに対する逆変換は、以下の式(84)のように表される。 More specifically, the 2 × 4 inverse transform is applied to the 2 × 4 DC block. Assuming that the 2 × 4 chroma DC block after the inverse transform is fdc 2 × 4 ′ ″, the inverse transform for this chroma DC block is expressed by the following equation (84).

Figure 2012080570
Figure 2012080570

このクロマDC係数を図4に示したような4×4ブロックの(0,0)係数とし、各4×4ブロックの逆変換を行う。逆変換されたクロマDCであるfdc2x4'''を(0,0)係数とする4×4ブロックの各係数をF'4x4とし、逆変換後の4×4ブロックに復号差分信号をF''4x4とすると、逆変換は、以下の式(85)のように表される。 The chroma DC coefficient is set to a (0, 0) coefficient of 4 × 4 blocks as shown in FIG. 4, and inverse conversion of each 4 × 4 block is performed. Each coefficient of a 4 × 4 block having an inversely converted chroma DC fdc 2 × 4 ′ ″ as a (0,0) coefficient is set to F ′ 4 × 4, and the decoded differential signal is converted to F ′ 4 × 4. ′ If 4 × 4 , the inverse transformation is expressed as the following equation (85).

Figure 2012080570
Figure 2012080570

(2−5−3)
続いて、逆直交変換器71cの動作を説明する。この逆直交変換器71cは、クロマフォーマット信号が4:4:4フォーマットを示し、色空間信号がYCbCr、RGB又はXYZを示す画像信号に対して逆直交変換を行う。
(2-5-3)
Next, the operation of the inverse orthogonal transformer 71c will be described. The inverse orthogonal transformer 71c performs inverse orthogonal transform on an image signal in which the chroma format signal indicates 4: 4: 4 format and the color space signal indicates YCbCr, RGB, or XYZ.

より詳しくは、4×4DCブロックに対して4×4逆変換を適用する。逆変換後の4×4のクロマDCブロックをfdc4x4'''とすると、このクロマDCブロックに対する逆変換は、以下の式(86)のように表される。 More specifically, the 4 × 4 inverse transform is applied to the 4 × 4 DC block. Assuming that the 4 × 4 chroma DC block after the inverse transform is fdc 4 × 4 ′ ″, the inverse transform for this chroma DC block is expressed by the following equation (86).

Figure 2012080570
Figure 2012080570

このクロマDC係数をAC係数の4×4ブロックの(0,0)係数とし、各4×4ブロックの逆変換を行う。逆変換されたクロマDCであるfdc4x4'''を(0,0)係数とする4×4ブロックの各係数をF'4x4とし、逆変換後の4×4ブロックに復号差分信号をF''4x4とすると、逆変換は、以下の式(87)のように表される。 This chroma DC coefficient is set to a (0, 0) coefficient of 4 × 4 blocks of AC coefficients, and inverse conversion of each 4 × 4 block is performed. Each coefficient of the 4 × 4 block having the fdc 4 × 4 ′ ″ that is the inversely converted chroma DC as the (0,0) coefficient is set to F ′ 4 × 4, and the decoded differential signal is converted to F ′ 4 × 4. ′ If 4 × 4 , the inverse transformation is expressed as the following equation (87).

Figure 2012080570
Figure 2012080570

(2−6)その他のブロック
クロマフォーマット信号及び色空間信号は、可逆符号化部16にも供給されて可変長符号化又は算術符号化され、画像圧縮情報に含められて出力される。
(2-6) Other Blocks The chroma format signal and the color space signal are also supplied to the lossless encoding unit 16, subjected to variable length encoding or arithmetic encoding, are included in the image compression information, and are output.

このクロマフォーマット信号及び色空間信号は、例えば以下のようなシンタクスで符号化される。
seq_parameter_set_rbsp() {
:
chroma_format_idc u(2)
color_space_idc u(2)
:
}
ここで、u(2)として符号化されるシンタクスは、例えば「001x」という可変長符号で符号化される。このうち、x,xが符号化されるシンタクスの2ビットに相当する。
The chroma format signal and the color space signal are encoded with the following syntax, for example.
seq_parameter_set_rbsp () {
:
chroma_format_idc u (2)
color_space_idc u (2)
:
}
Here, the syntax encoded as u (2) is encoded with a variable-length code such as “001x 1 x 0 ”, for example. Of these, x 1 and x 0 correspond to 2 bits of syntax to be encoded.

(3)画像情報復号装置の構成及び動作
上述した画像情報符号化装置10に対応する画像情報復号装置の概略構成を図8に示す。図8に示すように、画像情報復号装置80は、蓄積バッファ81と、可逆復号部82と、逆量子化部83と、逆直交変換部84と、加算器85と、画像並び替えバッファ86と、D/A(Digital/Analogue)変換部87と、動き予測・補償部88と、フレームメモリ89と、イントラ予測部90とにより構成されている。
(3) Configuration and Operation of Image Information Decoding Device FIG. 8 shows a schematic configuration of an image information decoding device corresponding to the image information encoding device 10 described above. As shown in FIG. 8, the image information decoding device 80 includes an accumulation buffer 81, a lossless decoding unit 82, an inverse quantization unit 83, an inverse orthogonal transform unit 84, an adder 85, and an image rearrangement buffer 86. , A D / A (Digital / Analogue) conversion unit 87, a motion prediction / compensation unit 88, a frame memory 89, and an intra prediction unit 90.

図8において、入力となる画像圧縮情報は、先ず蓄積バッファ81に格納された後、可逆復号部82に転送される。可逆復号部82は、定められた画像圧縮情報のフォーマットに基づき、可変長復号又は算術復号等の処理を行う。また可逆復号部82は、当該フレームがインター符号化されたものである場合には、画像圧縮情報のヘッダ部に格納された動きベクトル情報をも復号し、その情報を動き予測・補償部88へ転送する。さらに可逆復号部82は、クロマフォーマット信号及び色空間信号を復号し、逆量子化部83、逆直交変換部84及びイントラ予測部90に供給する。   In FIG. 8, input image compression information is first stored in the accumulation buffer 81 and then transferred to the lossless decoding unit 82. The lossless decoding unit 82 performs processing such as variable length decoding or arithmetic decoding based on the determined format of the compressed image information. Further, when the frame is inter-coded, the lossless decoding unit 82 also decodes the motion vector information stored in the header portion of the image compression information, and sends the information to the motion prediction / compensation unit 88. Forward. Further, the lossless decoding unit 82 decodes the chroma format signal and the color space signal, and supplies them to the inverse quantization unit 83, the inverse orthogonal transform unit 84, and the intra prediction unit 90.

可逆復号部82の出力となる量子化された変換係数は、逆量子化部83に供給され、ここで変換係数として出力される。逆直交変換部84は、変換係数は、定められた画像圧縮情報のフォーマットに基づき、逆離散コサイン変換又は逆カルーネン・レーベ変換等の可逆変換を施す。当該フレームがイントラ符号化されたものである場合には、逆直交変換処理が施された画像情報は、画像並び替えバッファ86に格納され、D/A変換処理の後に出力される。   The quantized transform coefficient that is output from the lossless decoding unit 82 is supplied to the inverse quantization unit 83, where it is output as a transform coefficient. The inverse orthogonal transform unit 84 performs reversible transform such as inverse discrete cosine transform or inverse Karhunen-Loeve transform based on the format of the determined image compression information. When the frame is intra-coded, the image information subjected to the inverse orthogonal transform process is stored in the image rearrangement buffer 86 and output after the D / A conversion process.

ここで、当該フレーム又はマクロブロックがイントラ符号化されたものである場合、可逆復号部82で復号されたクロマフォーマット信号及び色空間信号に基づいて、上述と同様の逆量子化方法、逆直交変換方法、イントラ予測方法を用いて復号する。   Here, when the frame or macroblock is intra-coded, the same inverse quantization method and inverse orthogonal transform as described above are performed based on the chroma format signal and the color space signal decoded by the lossless decoding unit 82. And decoding using the intra prediction method.

一方、当該フレームがインター符号化されたものである場合には、可逆復号処理が施された動きベクトル情報、及びフレームメモリ89に格納された画像情報を元に参照画像が生成され、この参照画像と逆直交変換部84の出力とが加算器85において合成される。
その他の処理はイントラ符号化されたフレームと同様であるため、説明を省略する。
On the other hand, if the frame is inter-coded, a reference image is generated based on the motion vector information subjected to the lossless decoding process and the image information stored in the frame memory 89, and the reference image And the output of the inverse orthogonal transform unit 84 are combined in the adder 85.
Since other processes are the same as those of the intra-coded frame, description thereof is omitted.

入力画像信号が4:2:0フォーマット、YCbCr色空間の場合のみならず、4:2:2フォーマットの場合にも、画像内予測によって、効率よく符号化したデータを復号することができる。   Not only when the input image signal is in the 4: 2: 0 format and YCbCr color space but also in the 4: 2: 2 format, the encoded data can be efficiently decoded by intra-picture prediction.

10 画像情報符号化装置、11 A/D変換部、12 画像並び替えバッファ、13 加算器、14 直交変換部、15 量子化部、16 可逆符号化部、17 蓄積バッファ、18 逆量子化部、19 逆直交変換部、20 加算器、21 フレームメモリ、22 動き予測・補償部、23 イントラ予測部、24 レート制御部、80 画像情報復号装置、81 蓄積バッファ、82 可逆復号部、83 逆量子化部、84 逆直交変換部、85 加算器、86 画像並び替えバッファ、87 D/A変換部、88 動き予測・補償部、89 フレームメモリ、90 イントラ予測部   DESCRIPTION OF SYMBOLS 10 Image information encoding apparatus, 11 A / D conversion part, 12 Image rearrangement buffer, 13 Adder, 14 Orthogonal transformation part, 15 Quantization part, 16 Lossless encoding part, 17 Storage buffer, 18 Inverse quantization part, 19 inverse orthogonal transform unit, 20 adder, 21 frame memory, 22 motion prediction / compensation unit, 23 intra prediction unit, 24 rate control unit, 80 image information decoding device, 81 storage buffer, 82 lossless decoding unit, 83 inverse quantization , 84 inverse orthogonal transform unit, 85 adder, 86 image rearrangement buffer, 87 D / A conversion unit, 88 motion prediction / compensation unit, 89 frame memory, 90 intra prediction unit

Claims (2)

画像信号の色差信号の解像度を示すクロマフォーマット信号が4:2:2フォーマットである場合に、逆直交変換された係数を用いて、8×8画素のブロックを縦方向に並べた8×16画素ブロック単位で、上記色差信号を画像内予測復号する際の予測モードがDCモードの場合に、8×8画素ブロックに分けて上記色差信号を画像内予測復号する際の予測画像を生成する画像内予測部と、
上記画像内予測部により生成された予測画像を用いて、上記色差信号を含む画像信号を符号化したビットストリームを復号する復号部と
を備える復号装置。
When the chroma format signal indicating the resolution of the color difference signal of the image signal is in the 4: 2: 2 format, 8 × 16 pixels in which 8 × 8 pixel blocks are arranged in the vertical direction using the inversely orthogonally transformed coefficient When the prediction mode for intra-picture predictive decoding of the chrominance signal is DC mode in block units, an intra-picture that generates a prediction image for intra-picture predictive decoding of the chrominance signal divided into 8 × 8 pixel blocks A predictor;
A decoding device comprising: a decoding unit that decodes a bitstream obtained by encoding an image signal including the color difference signal using a prediction image generated by the intra-picture prediction unit.
画像信号の色差信号の解像度を示すクロマフォーマット信号が4:2:2フォーマットである場合に、逆直交変換された係数を用いて、8×8画素のブロックを縦方向に並べた8×16画素ブロック単位で、上記色差信号を画像内予測復号する際の予測モードがDCモードの場合に、8×8画素ブロックに分けて上記色差信号を画像内予測復号する際の予測画像を生成する画像内予測工程と、
上記画像内予測工程により生成された予測画像を用いて、上記色差信号を含む画像信号を符号化したビットストリームを復号する復号工程と
を有する復号方法。
When the chroma format signal indicating the resolution of the color difference signal of the image signal is in the 4: 2: 2 format, 8 × 16 pixels in which 8 × 8 pixel blocks are arranged in the vertical direction using the inversely orthogonally transformed coefficient When the prediction mode for intra-picture predictive decoding of the chrominance signal is DC mode in block units, an intra-picture that generates a prediction image for intra-picture predictive decoding of the chrominance signal divided into 8 × 8 pixel blocks The prediction process;
And a decoding step of decoding a bitstream obtained by encoding the image signal including the color difference signal using the prediction image generated by the intra-picture prediction step.
JP2011273676A 2011-12-14 2011-12-14 Decoding apparatus and method Expired - Fee Related JP5375936B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011273676A JP5375936B2 (en) 2011-12-14 2011-12-14 Decoding apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011273676A JP5375936B2 (en) 2011-12-14 2011-12-14 Decoding apparatus and method

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2009298736A Division JP4924708B2 (en) 2009-12-28 2009-12-28 Decoding apparatus and method

Publications (2)

Publication Number Publication Date
JP2012080570A true JP2012080570A (en) 2012-04-19
JP5375936B2 JP5375936B2 (en) 2013-12-25

Family

ID=46240210

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011273676A Expired - Fee Related JP5375936B2 (en) 2011-12-14 2011-12-14 Decoding apparatus and method

Country Status (1)

Country Link
JP (1) JP5375936B2 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000023194A (en) * 1998-06-26 2000-01-21 Sony Corp Method and device for picture encoding, method and device for picture decoding and provision medium
JP2003324731A (en) * 2002-04-26 2003-11-14 Sony Corp Encoder, decoder, image processing apparatus, method and program for them
JP2007502595A (en) * 2003-05-22 2007-02-08 タンドベルク・テレコム・エイ・エス Video compression method and apparatus

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000023194A (en) * 1998-06-26 2000-01-21 Sony Corp Method and device for picture encoding, method and device for picture decoding and provision medium
JP2003324731A (en) * 2002-04-26 2003-11-14 Sony Corp Encoder, decoder, image processing apparatus, method and program for them
JP2007502595A (en) * 2003-05-22 2007-02-08 タンドベルク・テレコム・エイ・エス Video compression method and apparatus

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JPN6011055543; Gisle Bjontegaard: 'Extension for 4:2:2 and 4:4:4 YUV coding' Joint Video Team (JVT) of ISO/IEC MPEG & ITU-T VCEG (ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 Q.6) JVT-H032, 200305, pp.1-4, 8th Meeting: Geneva, Switzerland *

Also Published As

Publication number Publication date
JP5375936B2 (en) 2013-12-25

Similar Documents

Publication Publication Date Title
JP4617644B2 (en) Encoding apparatus and method
JP6371801B2 (en) Video encoding device
KR101246294B1 (en) Method of and apparatus for video intraprediction encoding/decoding
WO2011125729A1 (en) Image processing device and image processing method
JP2004140473A (en) Image information coding apparatus, decoding apparatus and method for coding image information, method for decoding
JP5375938B2 (en) Decoding apparatus and method
JP2008219205A (en) Picture information encoder and picture information encoding method
JP4924708B2 (en) Decoding apparatus and method
JP5375935B2 (en) Encoding apparatus and method
JP4983908B2 (en) Decoding apparatus and method
JP5375936B2 (en) Decoding apparatus and method
JP5375937B2 (en) Encoding apparatus and method
JP4983907B2 (en) Encoding apparatus and method
JP2014204347A (en) Image encoding method, image decoding method, image encoding device, image decoding device, program therefor and recording medium with program recorded thereon
Fernández-Escribano et al. On the capabilities of intra-frame prediction in H. 264 video encoders

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130607

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130618

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130719

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130827

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130909

R151 Written notification of patent or utility model registration

Ref document number: 5375936

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees