JP2013034141A

JP2013034141A - Mode information transmission replacing device, image encoding device, image decoding device, and program for the devices

Info

Publication number: JP2013034141A
Application number: JP2011169816A
Authority: JP
Inventors: Shinichi Sakaida; 慎一境田; Yasuko Sugifuji; 泰子杉藤; Atsuro Ichigaya; 敦郎市ヶ谷; Toshie Misu; 俊枝三須; Yoshiaki Shishikui; 善明鹿喰
Original assignee: Nippon Hoso Kyokai NHK; Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2011-08-03
Filing date: 2011-08-03
Publication date: 2013-02-14
Anticipated expiration: 2031-08-03
Also published as: JP5740239B2

Abstract

PROBLEM TO BE SOLVED: To provide a mode information transmission replacing device, an image encoding device, an image decoding device, and a program for the devices which improve transmission efficiency of mode information in compression coding of an image.SOLUTION: A mode information transmission replacing device 12 of this invention comprises: a mode information allocation unit 120 which determines allocation of mode information of a predetermined coding system to a frequency conversion coefficient of image information by frequency conversion processing; and a coefficient changing unit 125 which updates the value of the frequency conversion coefficient so as to become image information corresponding to the allocated mode information. An image encoding device 1 of the invention comprises an image encoding unit 10 and the mode information transmission replacing device 12, and an image decoding device 20 of the invention decodes output of the image encoding device 1.

Description

本発明は、画像の圧縮符号化技術に関するものであり、特に、画像の圧縮符号化におけるモード情報について伝送効率を改善するモード情報伝送置換装置、画像符号化装置、画像復号装置、及びこれらのプログラムに関する。 The present invention relates to an image compression coding technique, and in particular, a mode information transmission / replacement device, an image coding device, an image decoding device, and a program for improving the transmission efficiency of mode information in image compression coding. About.

画像の圧縮符号化技術においては、様々な処理要素を組み合わせて符号化方式を構築し、圧縮の効率向上を達成している。これらの圧縮符号化技術における処理要素は、常に使用されるとは限らず、入力画像や既符号化情報などの画像特徴に応じて使用を決定する仕組みとなっていたり、あるいは同じ目的の処理要素においても複数の処理要素が用意され、これらから選択して使用することが可能な仕組みとなっていたりすることが多い。 In the image compression coding technology, various processing elements are combined to construct a coding method and achieve an improvement in compression efficiency. The processing elements in these compression encoding technologies are not always used, and the use is determined according to the image characteristics such as the input image and the already-encoded information, or the processing elements for the same purpose In many cases, a plurality of processing elements are prepared and can be selected and used.

ここで、本願明細書中で扱う圧縮符号化技術における処理要素とは復号側で処理内容の特定を要するものを云う。例えば、このような圧縮符号化技術における処理要素の選択例として、フレーム画像を分割するスライスやサイズの選択、画像部分を分割したブロックの形状やサイズの選択、ブロックに対して直交変換を施す際に用いるＤＣＴ（Discrete Cosine Transform）とＤＳＴ（Discrete Sine Transform）の選択、量子化スケール又は量子化パラメータの係数の選択、複数の直交変換・量子化の処理の選択、画面内予測の予測方向や参照ブロックの位置又はサイズの選択、画面間予測の参照フレームや動き探索の範囲の選択、動きベクトルの参照ブロックの形状やサイズの選択、伝送情報のスキャン方法の選択、圧縮符号化の処理モードの選択などがある。 Here, the processing element in the compression coding technique dealt with in the present specification refers to a processing element that requires the processing content to be specified on the decoding side. For example, as an example of selection of processing elements in such compression coding technology, selection of a slice and size for dividing a frame image, selection of a shape and size of a block obtained by dividing an image portion, and orthogonal transformation on a block Selection of DCT (Discrete Cosine Transform) and DST (Discrete Sine Transform) used for the selection, selection of quantization scale or coefficient of quantization parameter, selection of multiple orthogonal transformation / quantization processing, prediction direction and reference of intra prediction Selection of block position or size, selection of interframe prediction reference frame and motion search range, selection of motion vector reference block shape and size, selection of transmission information scanning method, selection of compression coding processing mode and so on.

このような符号化方式においては、使用されている処理要素が何であるかを復号側に情報（以下、「モード情報」と称する）として伝送しなければならない。例えば、図１１に、ＡＶＣ／Ｈ．２６４で代表される従来からの画像符号化装置のブロック図を示している。従来からの画像符号化装置は、画像符号化部１０ａと、符号化設定部１１とを備える。画像符号化部１０ａは、周波数変換部１００とエントロピー符号化部１０３からなり、周波数変換部１００は、符号化対象の画像信号を入力し、この入力画像信号と予測信号生成部１０２から供給される予測信号との差分信号に対して直交変換及び量子化を施す直交変換・量子化部１０１と、入力画像信号を構成するブロックと隣接するブロックの既符号化情報を用いて、当該入力画像信号を予測する予測信号を生成する予測信号生成部１０２とを備える。エントロピー符号化部１０３は、直交変換及び量子化を施した差分信号に対して所定のスキャン順でエントロピー符号化（例えば、可変長符号化）を施し、符号化ビットストリームを生成する。符号化設定部１１は、予め定めた処理要素を有する符号化方式に従って、直交変換・量子化部１０１、予測信号生成部１０２及びエントロピー符号化部１０３で用いる各種モード情報を設定する。設定されたモード情報は、エントロピー符号化部１０３にて、上記差分信号の画像情報とは別に符号化される。 In such an encoding method, what processing element is used must be transmitted to the decoding side as information (hereinafter referred to as “mode information”). For example, in FIG. 1 is a block diagram of a conventional image encoding device represented by H.264. A conventional image encoding device includes an image encoding unit 10 a and an encoding setting unit 11. The image encoding unit 10a includes a frequency conversion unit 100 and an entropy encoding unit 103. The frequency conversion unit 100 inputs an image signal to be encoded, and is supplied from the input image signal and the prediction signal generation unit 102. Using the orthogonal transform / quantization unit 101 that performs orthogonal transform and quantization on the difference signal from the prediction signal and the already-encoded information of the block adjacent to the block constituting the input image signal, the input image signal is A prediction signal generation unit that generates a prediction signal to be predicted. The entropy encoding unit 103 performs entropy encoding (for example, variable length encoding) in a predetermined scan order on the difference signal subjected to orthogonal transformation and quantization, and generates an encoded bitstream. The encoding setting unit 11 sets various mode information used in the orthogonal transform / quantization unit 101, the prediction signal generation unit 102, and the entropy encoding unit 103 in accordance with an encoding method having predetermined processing elements. The set mode information is encoded by the entropy encoding unit 103 separately from the image information of the difference signal.

このように、処理要素の選択を要求する符号化方式においては、使用されている処理要素が何であるかを示すモード情報を画像情報とは別に符号化して伝送する必要がある。当然、このようなモード情報も画像を圧縮した結果得られる符号化ビットストリームの中に入るため、圧縮効率の観点からは情報量としてできる限り少ないことが望ましい。しかしながら、例えばブロック単位の処理において、ＡＶＣ／Ｈ．２６４（ISO/IEC 14496-10, Advanced Video Coding/ITU-T Rec. H. 264）方式などで利用される画面内予測は、予測の方向をブロックごとにモード情報として伝達しなければならず、各ブロックでは数ビット程度の追加の情報であっても１つ又は複数のフレーム画像の全体では膨大な情報量となる。このため、ＡＶＣ／Ｈ．２６４では、隣接ブロックの情報との差分を計算するなどして、伝送情報の情報量を低減する仕組みが取り入れられている。 As described above, in an encoding method that requires selection of a processing element, it is necessary to encode and transmit mode information indicating what processing element is used separately from image information. Of course, since such mode information is also included in the encoded bit stream obtained as a result of compressing the image, it is desirable that the amount of information is as small as possible from the viewpoint of compression efficiency. However, for example, in AVC / H. In-screen prediction used in H.264 (ISO / IEC 14496-10, Advanced Video Coding / ITU-T Rec. H. 264) method, etc., must transmit the prediction direction as mode information for each block, In each block, even if it is additional information of about several bits, the total amount of information of one or more frame images is enormous. For this reason, AVC / H. In H.264, a mechanism for reducing the amount of information of transmission information, for example, by calculating a difference from information of an adjacent block is adopted.

特に、放送や動画配信等に用いられている符号化方式ＡＶＣ／Ｈ．２６４では、画面内予測や動き補償予測を行い、予測画像と入力画像との差分信号に対して、４×４画素、８×８画素、１６×１６画素といった２次元のブロックごとに直交変換及び量子化を行い、２次元のブロックを所定の順序でスキャンして１次元の信号とし、エントロピー符号化を行って圧縮するという技法が用いられている。符号化側から復号側に伝送される情報は、符号化処理に関する様々なモード情報と画像情報の直交変換係数とが伝送される。伝送されるモード情報の１つに例えばスキャン方法の種類を示す情報があり、従来から、２次元のブロックを１次元の信号に変換する際に、複数種類のスキャン方法を切り替える技法が知られている（例えば、特許文献１、非特許文献１及び非特許文献２参照）。 In particular, the encoding method AVC / H. In H.264, intra prediction or motion compensation prediction is performed, and orthogonal transformation and quadrature conversion are performed for each two-dimensional block such as 4 × 4 pixels, 8 × 8 pixels, or 16 × 16 pixels with respect to a difference signal between a predicted image and an input image. A technique is used in which quantization is performed, a two-dimensional block is scanned in a predetermined order to form a one-dimensional signal, and entropy coding is performed for compression. As information transmitted from the encoding side to the decoding side, various mode information related to the encoding process and orthogonal transform coefficients of the image information are transmitted. One example of mode information to be transmitted is information indicating the type of scanning method, for example. Conventionally, a technique for switching a plurality of types of scanning methods when converting a two-dimensional block into a one-dimensional signal is known. (For example, see Patent Document 1, Non-Patent Document 1, and Non-Patent Document 2).

特許文献１には、ランの長さ、符号長、周囲からの予測に応じて、渦巻き走査、横走査、縦走査、ヒルベルト走査などの９種類のスキャン方法を切り替える技法が記載されているが、スキャン方法の種類を示すフラグ（モード情報）をどのように伝送するかについては開示されていない。 Patent Document 1 describes a technique for switching nine scanning methods such as spiral scanning, horizontal scanning, vertical scanning, and Hilbert scanning according to the run length, code length, and prediction from the surroundings. It is not disclosed how to transmit a flag (mode information) indicating the type of scanning method.

非特許文献１には、ＡＶＣ／Ｈ．２６４の画面内予測の予測モードに応じて、予め決定された３種類のスキャンを切り替える技法が記載されている。非特許文献１に開示される技法では、スキャン方法の種類を画面内予測の予測モードに対応して決定するため、スキャン方法の種類を示すフラグの伝送を不要とするが、画面内予測の予測モードに関するモード情報を伝送する必要がある。非特許文献１には、各処理要素のモード情報の情報量を如何にして低減させるかについて開示されていない。 Non-Patent Document 1 discloses AVC / H. A technique is described in which three types of predetermined scans are switched in accordance with a prediction mode of H.264 intra-screen prediction. In the technique disclosed in Non-Patent Document 1, since the type of scan method is determined in accordance with the prediction mode of intra-screen prediction, it is not necessary to transmit a flag indicating the type of scan method. It is necessary to transmit mode information regarding the mode. Non-Patent Document 1 does not disclose how to reduce the amount of mode information of each processing element.

また、非特許文献２には、ＲＤ（Rate-Distortion: レート‐歪み）コストの計算に応じて、画面内予測の予測モードに関らず３種類のスキャン方法を切り替える技法が記載されているが、スキャン方法の種類を示すフラグなどの各処理要素のモード情報の情報量を如何にして低減させるかについて開示されていない。尚、非特許文献２では、３種類のスキャン方法として、図１２に示すようなジグザグスキャン、水平スキャン及び垂直スキャンが用いられている。図１２は、水平方向ｕ及び垂直方向ｖの２次元配列を（ｕ，ｖ）としたとき、一般的に、（０，０），（０，１），・・・,（３，３）から表される４×４のブロックについて係数をスキャンする順序を示したものである。 Non-Patent Document 2 describes a technique for switching three types of scan methods regardless of the prediction mode of intra-screen prediction according to the calculation of RD (Rate-Distortion) cost. However, it does not disclose how to reduce the amount of mode information of each processing element such as a flag indicating the type of scanning method. In Non-Patent Document 2, zigzag scanning, horizontal scanning, and vertical scanning as shown in FIG. 12 are used as three types of scanning methods. In FIG. 12, when a two-dimensional array in the horizontal direction u and the vertical direction v is (u, v), generally (0, 0), (0, 1), ..., (3, 3) The order in which the coefficients are scanned for the 4 × 4 block expressed as follows is shown.

また、画面内予測に関するモード情報の情報量を実質的に低減させる技術として、異なる予測モードと予測信号が一致する予測モードを検出し、予測信号が一致する予測モードが存在する場合に予め定められた優先順位に従って一つを選択して残りの予測モードを欠番にし、欠番になった予測モードには符号語を割り当てないとする条件を定めることで、実質的に予測モードの情報量を低減させる技術が開示されている（例えば、特許文献２参照）。 In addition, as a technique for substantially reducing the amount of mode information related to intra prediction, a prediction mode in which a different prediction mode and a prediction signal match is detected, and a prediction mode in which a prediction signal matches is present. By selecting one according to the priority order, the remaining prediction mode is omitted, and the condition that the code word is not assigned to the prediction mode that has been omitted is substantially reduced, thereby reducing the amount of information in the prediction mode. A technique is disclosed (for example, see Patent Document 2).

特開２００２−３５４２６７号公報JP 2002-354267 A 特開２００９−１０５６９６号公報JP 2009-105696 A

Jie Jia, Eun-Ku Jung, Hae-Kwang Kim, “Adaptive Transform Coefficient Scan for H. 264 Intra Cording”, IEICE transactions on information and systems, Volume E90-D Issue 10, October 2007, pp.1709-1711Jie Jia, Eun-Ku Jung, Hae-Kwang Kim, “Adaptive Transform Coefficient Scan for H. 264 Intra Cording”, IEICE transactions on information and systems, Volume E90-D Issue 10, October 2007, pp.1709-1711 Vadim Seregin, Jianle Chen, “Low-complexity adaptive coefficients scanning”, Doc JCTVC-C205, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, Guanzhou, CN, October 2010Vadim Seregin, Jianle Chen, “Low-complexity adaptive coefficients scanning”, Doc JCTVC-C205, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO / IEC JTC1 / SC29 / WG11, Guanzhou, CN , October 2010

上記説明したように、符号化方式で使用している処理要素を示すモード情報は、圧縮符号化による圧縮効率の向上のために必要であるものの、一方で、モード情報自体が情報量の増大となってしまうことがあり、画面全体又は圧縮符号化を行う画像全体としての符号化効率の向上の観点から改善の余地がある。 As described above, the mode information indicating the processing elements used in the encoding method is necessary for improving the compression efficiency by the compression encoding. On the other hand, the mode information itself has an increase in information amount. Therefore, there is room for improvement from the viewpoint of improving the encoding efficiency of the entire screen or the entire image to be compressed and encoded.

非特許文献１に記載されている技法を用いることにより、スキャン方法の種類を示すフラグを伝送することなく、スキャン方法を切り替えることができる。しかし、画面内予測モードに対応させていなければ切り替えることができず、さらに、画面内予測モードにおける予測モードのモード情報については依然として伝送する必要がある。 By using the technique described in Non-Patent Document 1, the scan method can be switched without transmitting a flag indicating the type of scan method. However, switching to the intra prediction mode is not possible unless it corresponds to the intra prediction mode, and the mode information of the prediction mode in the intra prediction mode still needs to be transmitted.

非特許文献２に記載されている技法を用いることにより、画面内予測の予測モードに関らずスキャン方法を切り替えることができる。しかし、スキャン方法の種類に応じたフラグを伝送するため、符号量が増えるという問題点がある。特に、特許文献１のようにスキャン方法の種類を多くした際には、フラグの符号量が増加する。 By using the technique described in Non-Patent Document 2, the scan method can be switched regardless of the prediction mode of intra-screen prediction. However, since a flag corresponding to the type of scanning method is transmitted, there is a problem that the amount of code increases. In particular, when the number of scanning methods is increased as in Patent Document 1, the code amount of the flag increases.

このため、画面内予測モード以外にも、符号化方式における任意の処理要素に用いることができ、モード情報を示すフラグ等の補助情報を必ずしも伝送することなく多種類のモード情報を伝送可能とすることが望まれる。 For this reason, in addition to the intra prediction mode, it can be used for any processing element in the encoding method, and can transmit various types of mode information without necessarily transmitting auxiliary information such as a flag indicating mode information. It is desirable.

さらに、特許文献２の技術において圧縮符号化を行う画像全体としてモード情報を実質的に低減させることができるとしても、モード情報自体の情報量の増大による影響をさらに抑制可能にする仕組みが要望されている。 Further, there is a demand for a mechanism that can further suppress the influence of an increase in the amount of information of the mode information itself even if the mode information can be substantially reduced as an entire image to be subjected to compression coding in the technique of Patent Document 2. ing.

本発明の目的は、上述の問題を鑑みて為されたものであり、画像の圧縮符号化におけるモード情報について伝送効率を改善するモード情報伝送置換装置、画像符号化装置、画像復号装置、及びこれらのプログラムを提供することにある。 An object of the present invention has been made in view of the above-described problems, and is a mode information transmission / replacement device, an image coding device, an image decoding device, and the like that improve transmission efficiency for mode information in image compression coding. Is to provide a program.

上記課題を解決するため、本発明では、処理要素の特定に必要なモード情報を明示的に情報として符号化するのではなく、画像情報を用いて間接的に符号化することで情報量の増大を抑制し、符号化対象画像の全体としての圧縮符号化効率又は伝送効率を向上させる。この「画像情報を用いてモード情報を間接的に符号化」とは、モード情報を画像情報によって表現して符号化することを意味しており、モード情報によって画像情報を拘束し、その拘束された画像情報の状態の分析によってモード情報を判別できるように符号化することである。 In order to solve the above-described problems, the present invention increases the amount of information by indirectly encoding using image information instead of explicitly encoding mode information necessary for specifying processing elements as information. And the compression encoding efficiency or transmission efficiency of the entire encoding target image is improved. This “indirect encoding of mode information using image information” means that mode information is expressed by image information and encoded, and the image information is constrained by the mode information. The encoding is performed so that the mode information can be determined by analyzing the state of the image information.

即ち、本発明による第１態様のモード情報伝送置換装置は、画像の圧縮符号化におけるモード情報に応じて、伝送する画像情報を置換するモード情報伝送置換装置であって、予め定められた符号化方式のモード情報について、前記符号化方式の周波数変換処理による画像情報の周波数変換係数に対する割り当てを決定するモード情報割当部と、当該割り当てられたモード情報に対応する画像情報となるように、前記周波数変換係数の値を変更する係数変更部と、を備えることを特徴とする。 That is, the mode information transmission / replacement device according to the first aspect of the present invention is a mode information transmission / replacement device that replaces image information to be transmitted in accordance with mode information in image compression coding. A mode information allocating unit that determines allocation of frequency conversion coefficients of image information by frequency conversion processing of the encoding method, and image information corresponding to the allocated mode information. And a coefficient changing unit for changing the value of the conversion coefficient.

また、本発明による第１態様のモード情報伝送置換装置において、前記周波数変換処理による画像情報は、前記符号化方式で指定されるブロック単位の複数の周波数変換係数からなり、前記モード情報割当部は、前記ブロック単位での識別を要するモード情報の割り当てを決定し、前記係数変更部は、前記符号化方式の周波数変換処理による画像情報が当該割り当てられたモード情報に対応する画像情報として一致しないときのみ、前記ブロック単位の複数の周波数変換係数のうちの少なくとも１つについて値を変更することを特徴とする。 In the mode information transmission / replacement device according to the first aspect of the present invention, the image information obtained by the frequency conversion process includes a plurality of frequency conversion coefficients in units of blocks specified by the encoding method, and the mode information allocation unit includes: Determining the allocation of mode information that requires identification in block units, and the coefficient changing unit does not match the image information obtained by the frequency conversion processing of the encoding method as the image information corresponding to the allocated mode information Only, the value is changed for at least one of the plurality of frequency conversion coefficients in block units.

また、本発明による第１態様のモード情報伝送置換装置において、前記モード情報割当部は、前記ブロック単位での識別を要するモード情報について、前記符号化方式で指定されるブロック単位の複数の周波数変換係数のうち、非ゼロ係数の個数、ゼロ係数の個数、絶対値１の係数の個数又はスキャン順で最後の非ゼロ係数の値のいずれかに対応させる割り当てを決定し、前記係数変更部は、前記非ゼロ係数の個数、前記ゼロ係数の個数、絶対値１の係数の個数又はスキャン順で最後の非ゼロ係数の値のいずれかで当該割り当てられたモード情報に対応する画像情報となるように、前記ブロック単位の複数の周波数変換係数のうちの少なくとも１つについて値を変更することを特徴とする。 Also, in the mode information transmission / replacement apparatus according to the first aspect of the present invention, the mode information allocating unit performs a plurality of frequency conversions in block units specified by the encoding method for mode information that requires identification in block units. Among the coefficients, the number of non-zero coefficients, the number of zero coefficients, the number of coefficients having an absolute value of 1 or an assignment corresponding to one of the values of the last non-zero coefficient in scan order are determined, and the coefficient changing unit includes: Image information corresponding to the allocated mode information is set by any one of the number of non-zero coefficients, the number of zero coefficients, the number of coefficients having an absolute value of 1, or the value of the last non-zero coefficient in the scan order. The value of at least one of the plurality of frequency conversion coefficients in block units is changed.

さらに、本発明による第２態様のモード情報伝送置換装置は、画像の圧縮符号化におけるモードをＮ種類（Ｎは２以上の整数）から選択し、選択したモードに応じて置換された画像情報を伝送するモード情報伝送置換装置であって、予め定めた符号化方式のＮ種類のモードを有するモード情報について、当該符号化方式の周波数変換処理による画像情報の周波数変換係数に対する割り当てを決定するモード情報割当部と、当該符号化方式の周波数変換処理によるブロック内の周波数変換係数のうち１つ以上の係数値を変更して、Ｎ種類のブロックを生成する係数変更部と、それぞれＮ種類の符号化のモードを割り当てたＮ種類のブロックから予め定めた最適化計算に基づいて１つのブロックを選択して出力するモード選択部と、を備えることを特徴とする。 Furthermore, the mode information transmission / replacement device according to the second aspect of the present invention selects N types (N is an integer of 2 or more) of modes for image compression encoding, and replaces the image information replaced according to the selected mode. Mode information transmission / replacement apparatus for transmitting mode information for determining allocation of image information to frequency conversion coefficients by frequency conversion processing of the encoding method for mode information having N types of modes of a predetermined encoding method An allocation unit, a coefficient changing unit that generates one of N types of blocks by changing one or more coefficient values of the frequency conversion coefficients in the block by the frequency conversion process of the encoding method, and N types of encodings. A mode selection unit that selects and outputs one block based on a predetermined optimization calculation from the N types of blocks to which the mode is assigned. And features.

さらに、本発明による画像符号化装置は、本発明によるモード情報伝送置換装置と、該モード情報伝送置換装置によって変更された周波数変換係数に対してエントロピー符号化を施すエントロピー符号化部と、を備えることを特徴とする。 Furthermore, an image encoding device according to the present invention includes a mode information transmission permutation device according to the present invention, and an entropy encoding unit that performs entropy encoding on the frequency transform coefficient changed by the mode information transmission permutation device. It is characterized by that.

さらに、本発明による第１態様の画像復号装置は、画像の圧縮符号化におけるモード情報について画像情報を用いて置換された符号化ビットストリームを復号する画像復号装置であって、予め定められた符号化方式のモード情報について、前記符号化方式の周波数変換処理による画像情報の周波数変換係数に対する割り当てが決定されており、前記符号化ビットストリームをエントロピー復号して前記画像情報の周波数変換係数を送出するエントロピー復号部と、前記画像情報の周波数変換係数から当該割り当てられたモード情報を抽出するモード情報抽出部と、抽出されたモード情報と前記画像情報の周波数変換係数とを用いて、逆周波数変換処理を施し、復号した画像信号を生成する逆周波数変換部と、を備えることを特徴とする。 Furthermore, an image decoding apparatus according to a first aspect of the present invention is an image decoding apparatus that decodes an encoded bitstream in which mode information in image compression encoding is replaced by using image information, and a predetermined code As for the mode information of the encoding method, the allocation to the frequency conversion coefficient of the image information by the frequency conversion processing of the encoding method is determined, and the encoded bit stream is entropy decoded and the frequency conversion coefficient of the image information is transmitted. Using the entropy decoding unit, the mode information extraction unit that extracts the allocated mode information from the frequency conversion coefficient of the image information, and the inverse frequency conversion process using the extracted mode information and the frequency conversion coefficient of the image information And an inverse frequency conversion unit that generates a decoded image signal.

さらに、本発明による第２態様の画像復号装置は、画像の圧縮符号化におけるＮ種類（Ｎは２以上の整数）のモード情報について画像情報を用いて置換された符号化ビットストリームを復号する画像復号装置であって、予め定められた符号化方式のモード情報について、前記符号化方式の周波数変換処理によるブロックの周波数変換係数に対する割り当てが決定されており、前記符号化ビットストリームからブロックの周波数変換係数から当該割り当てられたモード情報を判別し、エントロピー復号を施してブロックの周波数変換係数を送出するエントロピー復号部と、ブロックの周波数変換係数に対して逆周波数変換処理を施し、復号した画像信号を生成する逆周波数変換部と、を備えることを特徴とする。 Furthermore, the image decoding apparatus according to the second aspect of the present invention decodes an encoded bitstream in which N types (N is an integer of 2 or more) mode information in image compression encoding are replaced using image information. In the decoding apparatus, for mode information of a predetermined encoding method, allocation to a frequency conversion coefficient of a block by frequency conversion processing of the encoding method is determined, and frequency conversion of the block from the encoded bit stream is determined. The assigned mode information is determined from the coefficients, entropy decoding is performed to send out the frequency transform coefficients of the block, and inverse frequency transform processing is performed on the frequency transform coefficients of the block. And an inverse frequency converter to be generated.

また、本発明のプログラムは、本発明のモード情報伝送置換装置、画像符号化装置又は画像復号装置の各構成要素をコンピュータに実行させるためのプログラムとして構成することができる。 The program of the present invention can be configured as a program for causing a computer to execute each component of the mode information transmission / replacement device, the image encoding device, or the image decoding device of the present invention.

本発明によれば、圧縮符号化の処理要素に必要なモード情報を、補助情報として付加することなしに、伝送する画像情報を用いて間接的に表現可能にすることで圧縮符号化効率又は伝送効率を更に改善することができるようになる。 According to the present invention, compression coding efficiency or transmission can be achieved by allowing mode information necessary for a processing element of compression coding to be indirectly expressed using image information to be transmitted without adding as auxiliary information. Efficiency can be further improved.

また、本発明によれば、符号化方式の処理要素に関わらず複数のモードを切り替えつつ、モード情報を示すフラグを伝送することなしに多種類のモード情報を間接的に伝送可能とするため、画質の改善に有効な処理要素のモードについて符号量を増やすことなく増大させることができるようになる。 In addition, according to the present invention, it is possible to indirectly transmit multiple types of mode information without transmitting a flag indicating mode information while switching between a plurality of modes regardless of processing elements of the encoding method. It is possible to increase the processing element modes effective for improving the image quality without increasing the code amount.

本発明による第１の実施形態のモード情報伝送置換装置を備える画像符号化装置のブロック図である。[BRIEF DESCRIPTION OF THE DRAWINGS] It is a block diagram of an image coding apparatus provided with the mode information transmission substitution apparatus of 1st Embodiment by this invention. 本発明による第１の実施形態の画像復号装置のブロック図である。It is a block diagram of the image decoding apparatus of 1st Embodiment by this invention. 本発明による第１の実施形態のモード情報伝送置換装置を備える画像符号化装置における画像符号化処理の動作を示すフロー図である。It is a flowchart which shows the operation | movement of the image coding process in an image coding apparatus provided with the mode information transmission substitution apparatus of 1st Embodiment by this invention. 本発明による第１の実施形態の画像復号装置における画像復号処理の動作を示すフロー図である。It is a flowchart which shows the operation | movement of the image decoding process in the image decoding apparatus of 1st Embodiment by this invention. （Ａ）本発明による第１の実施形態のモード情報伝送置換装置における第１及び第２のモード情報伝送方法の動作を説明する図であり、（Ｂ）本発明による第１の実施形態のモード情報伝送置換装置における第３のモード情報伝送方法の動作を説明する図である。(A) It is a figure explaining operation | movement of the 1st and 2nd mode information transmission method in the mode information transmission substitution apparatus of 1st Embodiment by this invention, (B) Mode of 1st Embodiment by this invention It is a figure explaining operation | movement of the 3rd mode information transmission method in an information transmission substitution apparatus. 本発明による第１の実施形態のモード情報伝送置換装置における第４のモード情報伝送方法の動作を説明する図である。It is a figure explaining operation | movement of the 4th mode information transmission method in the mode information transmission substitution apparatus of 1st Embodiment by this invention. 本発明による第２の実施形態の画像符号化装置のブロック図である。It is a block diagram of the image coding apparatus of 2nd Embodiment by this invention. 本発明による第２の実施形態の画像復号装置のブロック図である。It is a block diagram of the image decoding apparatus of 2nd Embodiment by this invention. 本発明による第２の実施形態のモード情報伝送置換装置を備える画像符号化装置における画像符号化処理の動作を示すフロー図である。It is a flowchart which shows the operation | movement of the image coding process in an image coding apparatus provided with the mode information transmission substitution apparatus of 2nd Embodiment by this invention. 本発明による第２の実施形態の画像復号装置における画像復号処理の動作を示すフロー図である。It is a flowchart which shows the operation | movement of the image decoding process in the image decoding apparatus of 2nd Embodiment by this invention. 従来からの画像符号化装置のブロック図である。It is a block diagram of the conventional image coding apparatus. （Ａ）従来からの代表的なスキャン方法であるジグザグスキャンを例示する図であり、（Ｂ）従来からの代表的なスキャン方法である水平スキャンを例示する図であり、（Ｃ）従来からの代表的なスキャン方法である垂直スキャンを例示する図である。(A) It is a figure which illustrates the zigzag scan which is a conventional typical scanning method, (B) It is a figure which illustrates the horizontal scanning which is a typical typical scanning method, (C) Conventionally It is a figure which illustrates the vertical scan which is a typical scanning method.

以下、本発明による第１の実施形態及び第２の実施形態について、図面を参照して順に説明する。本発明の理解を高めるために、以下に説明する実施形態では、ＡＶＣ／Ｈ．２６４などの予め定められた符号化方式で様々な処理要素を指定する例を説明し、特に、複数の周波数変換係数からなるブロックとして、限定するものではないが、例えば８×８の直交変換係数からなるブロックを例示して説明する。このため、本願明細書中、各実施形態のモード情報伝送置換装置が処理する単位の画像情報を「ブロック」と称し、予め定められた符号化方式で符号化対象とする画像全体を「符号化対象画像」と称することにする。ただし、本発明による各実施形態のモード情報伝送置換装置が処理する単位の画像情報は、動画ファイルなどの複数のフレーム画像からなる画像列全体であったり、１つのフレーム画像であったり、１つのフレーム画像を幾つかに分割したスライスごとの画像部分であったり、スライスごとの画像部分を分割したブロックであってもよい。 Hereinafter, a first embodiment and a second embodiment according to the present invention will be described in order with reference to the drawings. In order to enhance the understanding of the present invention, in the embodiment described below, AVC / H. An example in which various processing elements are designated by a predetermined encoding method such as H.264 will be described. In particular, although not limited as a block composed of a plurality of frequency transform coefficients, for example, an 8 × 8 orthogonal transform coefficient A block consisting of For this reason, in the present specification, the unit of image information processed by the mode information transmission / replacement device of each embodiment is referred to as a “block”, and the entire image to be encoded is encoded according to a predetermined encoding method. It will be referred to as a “target image”. However, the unit image information processed by the mode information transmission / replacement device of each embodiment according to the present invention is an entire image sequence composed of a plurality of frame images such as a moving image file, a single frame image, or a single frame image. It may be an image portion for each slice obtained by dividing the frame image into several blocks, or a block obtained by dividing the image portion for each slice.

先ず、本発明による第１の実施形態のモード情報伝送置換装置、画像符号化装置及び装置について説明する。 First, a mode information transmission / replacement device, an image encoding device, and an apparatus according to a first embodiment of the present invention will be described.

＜第１の実施形態＞
〔装置構成〕
（モード情報伝送置換装置／画像符号化装置）
図１は、本発明による第１の実施形態のモード情報伝送置換装置を備える画像符号化装置のブロック図である。本実施形態の画像符号化装置１は、画像符号化部１０と、符号化設定部１１と、モード情報伝送置換装置１２とを備える。 <First Embodiment>
〔Device configuration〕
(Mode information transmission / replacement device / image coding device)
FIG. 1 is a block diagram of an image encoding apparatus including a mode information transmission / replacement apparatus according to the first embodiment of the present invention. The image encoding device 1 of this embodiment includes an image encoding unit 10, an encoding setting unit 11, and a mode information transmission / replacement device 12.

本実施形態の画像符号化部１０及び符号化設定部１１は、それぞれ図１１で説明した従来からの圧縮符号化の処理に必要な画像符号化部１０ａ及び符号化設定部１１に対応しており、同様な構成要素には同一の参照番号を付している。つまり、画像符号化部１０は、周波数変換部１００を構成する直交変換・量子化部１０１及び予測信号生成部１０２と、エントロピー符号化部１０３とを備えている。 The image encoding unit 10 and the encoding setting unit 11 of the present embodiment correspond to the image encoding unit 10a and the encoding setting unit 11 necessary for the conventional compression encoding process described in FIG. Similar components are denoted by the same reference numerals. That is, the image encoding unit 10 includes an orthogonal transform / quantization unit 101 and a prediction signal generation unit 102 that constitute the frequency conversion unit 100, and an entropy encoding unit 103.

直交変換・量子化部１０１は、符号化対象画像の入力画像信号を入力し、この入力画像信号と予測信号生成部１０２から供給される予測信号との差分信号に対して直交変換及び量子化を施す。ただし、予測信号生成部１０２を設けない場合には、符号化対象画像の入力画像信号に対して直交変換及び量子化を施すことになる。 An orthogonal transform / quantization unit 101 receives an input image signal of an encoding target image, and performs orthogonal transform and quantization on a difference signal between the input image signal and a prediction signal supplied from the prediction signal generation unit 102. Apply. However, when the prediction signal generation unit 102 is not provided, orthogonal transformation and quantization are performed on the input image signal of the encoding target image.

予測信号生成部１０２は、入力画像信号を構成するブロックと隣接するブロックの既符号化情報を用いて、当該入力画像信号を予測する予測信号を生成する。例えば、予測信号生成部１０２は、画面内予測や画面間予測による入力画像信号を予測する予測信号を生成する。 The prediction signal generation unit 102 generates a prediction signal for predicting the input image signal, using already-encoded information of blocks adjacent to the block constituting the input image signal. For example, the prediction signal generation unit 102 generates a prediction signal for predicting an input image signal by intra prediction or inter prediction.

エントロピー符号化部１０３は、直交変換及び量子化を施した差分信号に対して所定のスキャン順でエントロピー符号化（例えば、可変長符号化）を施し、符号化ビットストリームを生成する。ただし、本実施形態の画像符号化装置１では、直交変換・量子化部１０１によって直交変換及び量子化を施した直交変換係数がモード情報伝送置換装置１２を経由してエントロピー符号化部１０３に入力される点で、図１１で説明した従来からの画像符号化装置とは相違する。 The entropy encoding unit 103 performs entropy encoding (for example, variable length encoding) in a predetermined scan order on the difference signal subjected to orthogonal transformation and quantization, and generates an encoded bitstream. However, in the image encoding device 1 of the present embodiment, the orthogonal transform coefficient subjected to orthogonal transform and quantization by the orthogonal transform / quantization unit 101 is input to the entropy encoding unit 103 via the mode information transmission / replacement device 12. This is different from the conventional image coding apparatus described in FIG.

符号化設定部１１は、予め定めた処理要素を有する符号化方式で、本実施形態における直交変換・量子化部１０１、予測信号生成部１０２及びエントロピー符号化部１０３で用いる各種モード情報を設定する。ただし、本実施形態の画像符号化装置１では、設定されたモード情報がモード情報伝送置換装置１２にも供給される点で、図１１で説明した従来からの画像符号化装置とは相違する。 The encoding setting unit 11 sets various mode information used in the orthogonal transform / quantization unit 101, the prediction signal generation unit 102, and the entropy encoding unit 103 in the present embodiment, using an encoding method having predetermined processing elements. . However, the image encoding device 1 of the present embodiment is different from the conventional image encoding device described with reference to FIG. 11 in that the set mode information is also supplied to the mode information transmission / replacement device 12.

モード情報伝送置換装置１２は、画像の圧縮符号化におけるモード情報に応じて、伝送する画像情報を置換する装置であり、モード情報割当部１２０を構成するモード情報伝送決定部１２１、決定判断情報供給部１２２、モード情報伝送方法選択部１２３及びモード情報伝送値決定部１２４と、係数変更部１２５とを備える。 The mode information transmission / replacement device 12 is a device that replaces image information to be transmitted in accordance with mode information in image compression encoding. A mode information transmission determination unit 121 that constitutes a mode information allocating unit 120, a determination determination information supply Unit 122, mode information transmission method selection unit 123, mode information transmission value determination unit 124, and coefficient changing unit 125.

モード情報割当部１２０は、符号化設定部１１で指定される符号化方式のモード情報について、この符号化方式の周波数変換処理による画像情報の周波数変換係数（例えば、直交変換係数）に対する割り当てを決定する機能部である。 The mode information allocating unit 120 determines the allocation of the image method frequency information specified by the encoding setting unit 11 to the frequency transform coefficient (for example, orthogonal transform coefficient) of the image information by the frequency transform process of the coding method. It is a functional part to do.

係数変更部１２５は、当該割り当てられたモード情報に対応する画像情報となるように、画像符号化部１０から得られる周波数変換係数（例えば、直交変換係数）の値を変更し、変更済みの周波数変換係数（例えば、直交変換係数）を画像符号化部１０に送出する機能部である。 The coefficient changing unit 125 changes the value of the frequency transform coefficient (for example, orthogonal transform coefficient) obtained from the image encoding unit 10 so that the image information corresponding to the assigned mode information is obtained, and the changed frequency This is a functional unit that sends transform coefficients (for example, orthogonal transform coefficients) to the image encoding unit 10.

特に、符号化設定部１１で指定される符号化方式の周波数変換処理による画像情報がブロック単位の複数の周波数変換係数（例えば、直交変換係数）からなる場合、モード情報割当部１２０は、ブロック単位での識別を要するモード情報の割り当てを決定し、係数変更部１２５は、この符号化方式の周波数変換処理による画像情報が当該割り当てられたモード情報に対応する画像情報として一致しないときのみ、当該割り当てられたモード情報に対応する画像情報となるようにブロック単位の複数の周波数変換係数のうちの少なくとも１つについて値を変更する。 In particular, when the image information by the frequency conversion processing of the encoding method specified by the encoding setting unit 11 is composed of a plurality of frequency transform coefficients (for example, orthogonal transform coefficients) in units of blocks, the mode information allocation unit 120 Only when the image information obtained by the frequency conversion processing of this encoding method does not match the image information corresponding to the allocated mode information. The value is changed for at least one of a plurality of frequency conversion coefficients in block units so that the image information corresponds to the mode information.

モード情報伝送決定部１２１は、符号化設定部１１から供給されたモード情報について、符号化対象画像に関する情報量と、圧縮符号化による画質劣化度合い（例えばＰＳＮＲ値）に依存する予め定めた条件に基づいて、補助情報として明示的に（直接的に）符号化・伝送を行うか、伝送する画像情報を用いて本発明に係る間接的な符号化・伝送を行うかを決定し、この決定を示すモード情報伝送決定情報をモード情報伝送方法選択部１２３に送出する。尚、モード情報伝送決定情報には、モード情報の伝送値が事前に決定されているか否かを示す情報を含めることができる。符号化対象画像に関する情報量と、圧縮符号化による画質劣化度合いに依存する予め定めた条件については、詳細に後述する。 The mode information transmission determining unit 121 sets the mode information supplied from the encoding setting unit 11 to a predetermined condition that depends on the amount of information related to the encoding target image and the degree of image quality deterioration (for example, PSNR value) due to compression encoding. Based on this, it is determined whether to explicitly (directly) encode / transmit as auxiliary information or to perform indirect encoding / transmission according to the present invention using image information to be transmitted. The mode information transmission decision information shown is sent to the mode information transmission method selection unit 123. The mode information transmission determination information can include information indicating whether or not the transmission value of the mode information is determined in advance. A predetermined condition depending on the amount of information related to the encoding target image and the degree of image quality deterioration due to compression encoding will be described later in detail.

決定判断情報供給部１２２は、必ずしも必要とされるものではないが、モード情報伝送決定部１２１によるモード情報を明示的に付加するか否かの決定のために随意設けられる機能部である。決定判断情報供給部１２２は、モード情報伝送決定部１２１によるモード情報を明示的に付加するか否かの決定の際に、符号化設定部１１から供給されたモード情報について、圧縮符号化による情報量と画質劣化度合い（例えばＰＳＮＲ値）に関して、予め多くの画像を使った実験等の統計で定めた結果をメモリ（図示せず）に保持しておき、モード情報ごとに明示的に付加するか否かの決定を示す決定判断情報をモード情報伝送決定部１２１に供給する。この場合、モード情報伝送決定部１２１は、モード情報伝送決定部１２１からの決定判断情報を基に、モード情報を明示的に付加するか、画像情報を用いた間接的な符号化・伝送を行うかを決定する。 The decision determination information supply unit 122 is not necessarily required, but is a functional unit that is optionally provided for determining whether or not the mode information transmission determination unit 121 explicitly adds mode information. The decision determination information supply unit 122 uses compression encoding information on the mode information supplied from the encoding setting unit 11 when the mode information transmission determination unit 121 determines whether to explicitly add mode information. Whether the result determined by statistics such as experiments using a large number of images is stored in a memory (not shown) with respect to the amount and the degree of image quality degradation (for example, PSNR value), and is explicitly added for each mode information. Determination determination information indicating determination of whether or not is supplied to the mode information transmission determination unit 121. In this case, the mode information transmission determination unit 121 explicitly adds mode information based on the determination determination information from the mode information transmission determination unit 121 or performs indirect encoding / transmission using image information. To decide.

また、決定判断情報供給部１２２は、モード情報伝送決定部１２１によるモード情報を間接的に付加するか否かの決定の際に、符号化設定部１１から供給されたモード情報について、圧縮符号化による情報量と画質劣化度合い（例えばＰＳＮＲ値）に関して、予め多くの画像を使った実験等の統計で定める代わりに、予め当該符号化対象画像を使った実験等で定めた結果をメモリ（図示せず）に保持しておき、モード情報ごとに間接的に付加するか否かの決定を示す決定判断情報をモード情報伝送決定部１２１に供給するように構成してもよい。この決定判断情報に関して、決定判断情報供給部１２２は、モード情報伝送決定部１２１による符号化対象画像の符号化処理毎に各モード情報を間接的に付加するか否かの決定判断情報を供給してもよいし、各モード情報を間接的に付加するか否かの決定判断情報を一括したリストとしてモード情報伝送決定部１２１に供給してもよい。 Further, the decision determination information supply unit 122 compresses and encodes the mode information supplied from the encoding setting unit 11 when the mode information transmission determination unit 121 determines whether to add the mode information indirectly. With respect to the amount of information and the degree of image quality degradation (for example, PSNR value), instead of using statistics such as experiments using a large number of images in advance, results determined in advance using experiments using the encoding target image are stored in a memory (not shown). In other words, the mode information transmission determining unit 121 may be configured to supply determination determination information indicating whether to add each mode information indirectly. With respect to this determination determination information, the determination determination information supply unit 122 supplies determination determination information as to whether or not each mode information is indirectly added for each encoding process of the encoding target image by the mode information transmission determination unit 121. Alternatively, the determination information on whether to add each mode information indirectly may be supplied to the mode information transmission determining unit 121 as a collective list.

モード情報伝送方法選択部１２３は、画像情報を用いてモード情報を間接的に符号化・伝送する際に機能する機能部であり、複数のモード情報伝送方法が予め定められている場合に、決定判断情報供給部１２２からのモード情報伝送決定情報に基づいてモード情報の間接的な符号化・伝送に関するモード情報伝送方法を決定するとともに、いずれのモード情報伝送方法を用いて当該モード情報を伝送するかの旨を示すモード情報の伝送方法情報を、符号化する補助情報として生成する。尚、この補助情報は必ずしも必要とされるものではなく、複数のモード情報伝送方法に関しては詳細に後述する。 The mode information transmission method selection unit 123 is a functional unit that functions when the mode information is indirectly encoded / transmitted using image information, and is determined when a plurality of mode information transmission methods are predetermined. Based on the mode information transmission decision information from the determination information supply unit 122, a mode information transmission method related to indirect encoding / transmission of mode information is determined, and the mode information is transmitted using any mode information transmission method. The transmission method information of the mode information indicating that is generated as auxiliary information to be encoded. This auxiliary information is not necessarily required, and a plurality of mode information transmission methods will be described later in detail.

モード情報伝送値決定部１２４は、画像情報を用いてモード情報を間接的に符号化・伝送する際に機能する機能部であり、画像情報に対するモード情報の伝送値の割り当てを決定し、当該決定した値を示す伝送値決定情報を、符号化する補助情報として生成する。尚、この補助情報は必ずしも必要とされるものではなく、伝送値決定情報に関しては、後述する複数のモード情報伝送方法の詳細な説明から明らかになる。 The mode information transmission value determination unit 124 is a functional unit that functions when the mode information is indirectly encoded / transmitted using the image information. The mode information transmission value determination unit 124 determines assignment of the transmission value of the mode information to the image information, and determines the determination. Transmission value determination information indicating the obtained value is generated as auxiliary information to be encoded. The auxiliary information is not necessarily required, and the transmission value determination information will become clear from the detailed description of a plurality of mode information transmission methods described later.

また、伝送方法情報及び伝送値決定情報を符号化ビットストリームにヘッダ情報として付加した場合であっても、モード情報伝送決定部１２１によるモード情報を明示的に付加するか否かの決定の際に（又は決定判断情報供給部１２２の決定判断の際に）、圧縮符号化による情報量と画質劣化度合い（例えばＰＳＮＲ値）に関してモード情報を明示的に付加する場合よりも有効であるとして決定されているものとする。 Even when transmission method information and transmission value determination information are added as header information to an encoded bitstream, the mode information transmission determination unit 121 determines whether to explicitly add mode information. (Or at the time of determination determination by the determination determination information supply unit 122), it is determined that the information amount and the image quality deterioration degree (for example, PSNR value) by compression coding are more effective than the case where mode information is explicitly added. It shall be.

係数変更部１２５は、主に、画像情報を用いてモード情報を間接的に符号化・伝送する際に機能する機能部であり、モード情報割当部１２０を構成するモード情報伝送決定部１２１、決定判断情報供給部１２２、モード情報伝送方法選択部１２３及びモード情報伝送値決定部１２４からの情報を基に、モード情報を間接的に符号化・伝送するときには、割り当てるモード情報に対応する画像情報となるように、画像符号化部１０から得られる周波数変換係数（例えば、直交変換係数）の値を変更し、変更済みの周波数変換係数（例えば、直交変換係数）を画像符号化部１０におけるエントロピー符号化部１０３に送出する。モード情報を明示的に符号化・伝送するときには、係数変更部１２５は、入力される直交変換係数をそのまま画像符号化部１０におけるエントロピー符号化部１０３に送出する。 The coefficient changing unit 125 is a functional unit that functions mainly when the mode information is indirectly encoded / transmitted using image information, and the mode information transmission determining unit 121 constituting the mode information allocating unit 120. Based on information from the determination information supply unit 122, the mode information transmission method selection unit 123, and the mode information transmission value determination unit 124, when the mode information is indirectly encoded / transmitted, the image information corresponding to the mode information to be assigned As described above, the value of the frequency transform coefficient (for example, orthogonal transform coefficient) obtained from the image encoding unit 10 is changed, and the changed frequency transform coefficient (for example, orthogonal transform coefficient) is used as the entropy code in the image encoding unit 10. To the conversion unit 103. When the mode information is explicitly encoded / transmitted, the coefficient changing unit 125 sends the input orthogonal transform coefficient as it is to the entropy encoding unit 103 in the image encoding unit 10.

エントロピー符号化部１０３は、モード情報伝送置換装置１２を介して得られる周波数変換係数を符号化し、伝送方法情報及び伝送値決定情報を補助情報として伝送する場合も併せて符号化して符号化ビットストリームを生成する。 The entropy encoding unit 103 encodes the frequency conversion coefficient obtained via the mode information transmission / replacement device 12, and encodes the encoded bitstream by encoding the transmission method information and the transmission value determination information together as auxiliary information. Is generated.

本実施形態のモード情報伝送置換装置１２又は画像符号化装置１をコンピュータとして機能させることができ、当該コンピュータに、本発明に係る各構成要素を実現させるためのプログラムは、当該コンピュータの内部又は外部に備えられるメモリ（図示せず）に記憶される。コンピュータに備えられる中央演算処理装置（ＣＰＵ）などの制御で、各構成要素の機能を実現するための処理内容が記述されたプログラムを、適宜、メモリから読み込んで、本実施形態のモード情報伝送置換装置１２又は画像符号化装置１の各構成要素の機能をコンピュータに実現させることができる。ここで、各構成要素の機能をハードウェアの一部で実現してもよい。 The mode information transmission / replacement device 12 or the image encoding device 1 according to the present embodiment can function as a computer, and a program for causing the computer to realize each component according to the present invention is the internal or external of the computer. Is stored in a memory (not shown). The mode information transmission / replacement of this embodiment is appropriately read from a memory in which a program describing processing contents for realizing the function of each component is controlled by a central processing unit (CPU) provided in the computer. The function of each component of the device 12 or the image encoding device 1 can be realized by a computer. Here, the function of each component may be realized by a part of hardware.

（画像復号装置）
図２は、本発明による第１の実施形態の画像復号装置のブロック図である。本実施形態の画像復号装置２０は、画像符号化装置１によって符号化されたビットストリーム、つまり、画像の圧縮符号化におけるモード情報について画像情報を用いて間接的に表現されている符号化ビットストリームを復号する装置であり、予め定められた符号化方式のモード情報について、画像符号化装置１により周波数変換処理による画像情報の周波数変換係数に対する割り当てが決定されている。尚、画像の圧縮符号化におけるモード情報について明示的に付加されている場合には、従来技術と同様に明示的に付加されたモード情報に基づいて画像情報の周波数変換係数に対して逆周波数変換処理を行えば画像を復元できるため、更なる詳細な説明は省略する。画像復号装置２０は、エントロピー復号部２０１と、モード情報抽出部２０２と、逆周波数変換部２０３とを備える。逆周波数変換部２０３は、逆量子化・逆直交変換部２０４と、予測信号生成部２０５とを備える。 (Image decoding device)
FIG. 2 is a block diagram of the image decoding apparatus according to the first embodiment of the present invention. The image decoding apparatus 20 of the present embodiment is a bit stream encoded by the image encoding apparatus 1, that is, an encoded bit stream that is indirectly expressed using image information about mode information in image compression encoding. For the mode information of a predetermined encoding method, the image encoding device 1 determines assignment of image information to frequency conversion coefficients by frequency conversion processing. In addition, when mode information in image compression coding is explicitly added, the inverse frequency transform is performed on the frequency transform coefficient of the image information based on the mode information explicitly added as in the prior art. Since the image can be restored by performing the process, further detailed description is omitted. The image decoding device 20 includes an entropy decoding unit 201, a mode information extraction unit 202, and an inverse frequency conversion unit 203. The inverse frequency transform unit 203 includes an inverse quantization / inverse orthogonal transform unit 204 and a prediction signal generation unit 205.

エントロピー復号部２０１は、符号化ビットストリームに対してエントロピー復号を施して、モード情報が間接的に表現された画像情報の周波数変換係数（本例では、変更済みの直交変換係数）をモード情報抽出部２０２及び逆周波数変換部２０３に送出する。符号化ビットストリームにて、伝送方法情報及び／又は伝送値決定情報が補助情報として符号化されている場合には、これらの補助情報も併せて復号され、モード情報抽出部２０２に送出される。 The entropy decoding unit 201 performs entropy decoding on the encoded bitstream, and extracts mode information frequency transform coefficients (in this example, changed orthogonal transform coefficients) of image information in which mode information is indirectly represented. To the unit 202 and the inverse frequency converter 203. When transmission method information and / or transmission value determination information is encoded as auxiliary information in the encoded bitstream, the auxiliary information is also decoded and sent to the mode information extraction unit 202.

モード情報抽出部２０２は、モード情報が間接的に表現された画像情報の周波数変換係数の値及び／又は個数を分析して当該割り当てられたモード情報を抽出する。伝送方法情報及び／又は伝送値決定情報が補助情報として符号化されている場合には、モード情報抽出部２０２は、これらの補助情報を基に画像情報の周波数変換係数から当該割り当てられたモード情報を抽出する。 The mode information extraction unit 202 extracts the assigned mode information by analyzing the value and / or number of frequency conversion coefficients of the image information in which the mode information is indirectly represented. When the transmission method information and / or the transmission value determination information is encoded as auxiliary information, the mode information extraction unit 202 uses the auxiliary information to calculate the allocated mode information from the frequency conversion coefficient of the image information. To extract.

逆周波数変換部２０３は、モード情報抽出部２０２によって抽出されたモード情報を用いて、エントロピー復号部２０１によって復号した画像情報の周波数変換係数に対して、逆周波数変換処理、つまり逆量子化・逆直交変換部２０４による逆量子化及び逆直交変換処理を施し、復号した画像信号を生成する。尚、符号化側にて、符号化対象画像の入力画像信号と前述した予測信号生成部１０２から供給される予測信号との差分信号に対して直交変換及び量子化を施している場合には、逆周波数変換部２０３は、予測信号生成部２０５によって既復号済の画像信号を逆量子化及び逆直交変換処理を施した差分信号に加算することで、復号した画像信号を生成する。 The inverse frequency transform unit 203 uses the mode information extracted by the mode information extraction unit 202 to perform inverse frequency transform processing, that is, inverse quantization / inverse, on the frequency transform coefficient of the image information decoded by the entropy decoding unit 201. Inverse quantization and inverse orthogonal transform processing are performed by the orthogonal transform unit 204 to generate a decoded image signal. Note that, on the encoding side, when orthogonal transformation and quantization are performed on the difference signal between the input image signal of the encoding target image and the prediction signal supplied from the prediction signal generation unit 102 described above, The inverse frequency transform unit 203 generates a decoded image signal by adding the image signal that has already been decoded by the prediction signal generation unit 205 to the difference signal that has been subjected to inverse quantization and inverse orthogonal transform processing.

本実施形態の画像復号装置２０をコンピュータとして機能させることができ、当該コンピュータに、本発明に係る各構成要素を実現させるためのプログラムは、当該コンピュータの内部又は外部に備えられるメモリ（図示せず）に記憶される。コンピュータに備えられる中央演算処理装置（ＣＰＵ）などの制御で、各構成要素の機能を実現するための処理内容が記述されたプログラムを、適宜、メモリから読み込んで、本実施形態の画像復号装置２０の各構成要素の機能をコンピュータに実現させることができる。ここで、各構成要素の機能をハードウェアの一部で実現してもよい。 The image decoding apparatus 20 of the present embodiment can function as a computer, and a program for causing the computer to realize each component according to the present invention is a memory (not shown) provided inside or outside the computer. ). An image decoding device 20 according to the present embodiment is appropriately read from a memory by reading a program in which processing contents for realizing the function of each component are controlled under the control of a central processing unit (CPU) provided in the computer. The function of each component can be realized by a computer. Here, the function of each component may be realized by a part of hardware.

次に、モード情報伝送置換装置１２を備える画像符号化装置１における画像符号化処理の動作と、画像復号装置２０における画像復号処理の代表的な動作について、それぞれ詳細に説明する。尚、限定するものではないが、８×８の直交変換係数のブロックを、モード情報を間接的に伝送する画像情報として用いる場合について説明する。 Next, the operation of the image encoding process in the image encoding apparatus 1 including the mode information transmission / replacement device 12 and the typical operation of the image decoding process in the image decoding apparatus 20 will be described in detail. Although not limited, a case will be described in which an 8 × 8 orthogonal transform coefficient block is used as image information for indirectly transmitting mode information.

〔装置動作〕
（画像符号化処理）
図３は、本発明による第１の実施形態のモード情報伝送置換装置を備える画像符号化装置における画像符号化処理の動作を示すフロー図である。先ず、モード情報割当部１２０によって、符号化に関するモード情報を取得する（ステップＳ１１）。 [Device operation]
(Image coding process)
FIG. 3 is a flowchart showing the operation of the image coding process in the image coding device including the mode information transmission / replacement device according to the first embodiment of the present invention. First, mode information relating to encoding is acquired by the mode information allocation unit 120 (step S11).

次に、モード情報伝送決定部１２１によって、符号化設定部１１から供給されたモード情報について、符号化対象画像に関する情報量と、圧縮符号化による画質劣化度合い（例えばＰＳＮＲ値）に依存する予め定めた条件に基づいて、モード情報の伝送置換を行うか否か、つまり、明示的に補助情報として符号化・伝送を行うか、本発明に係る画像情報を用いた間接的な符号化・伝送を行うかを決定する（ステップＳ１２）。尚、モード情報の伝送置換を行うか否かを示す情報は、モード情報伝送決定情報としてモード情報伝送方法選択部１２３及び係数変更部１２５に送出される。 Next, the mode information transmission determination unit 121 determines in advance the mode information supplied from the encoding setting unit 11 depending on the amount of information related to the encoding target image and the degree of image quality degradation (for example, PSNR value) due to compression encoding. Whether or not to perform transmission replacement of mode information based on the above conditions, that is, whether to explicitly encode and transmit as auxiliary information, or perform indirect encoding and transmission using image information according to the present invention. It is determined whether or not to perform (step S12). Information indicating whether or not to perform transmission replacement of mode information is sent to the mode information transmission method selection unit 123 and the coefficient change unit 125 as mode information transmission determination information.

モード情報伝送決定部１２１では、モード情報の伝送置換を行うか否かを決定するが、この決定は、符号化対象画像に関する情報量と、圧縮符号化による画質劣化度合い（例えばＰＳＮＲ値）に依存する。例えば、圧縮符号化の処理要素に必要なモード情報がブロック単位に１ビットであっても、これをブロック単位に明示的に付加すると１つ又は複数のフレーム画像の全体では膨大な情報量になる。しかし、モード情報を明示的に付加しない場合（即ち、モード情報による処理要素の選択が無い場合）に比べて、モード情報による情報量の増大よりも画質劣化度合いが少なければモード情報を明示的に付加することを選択するのが有効である。逆に、モード情報を付加したことによる符号化対象画像の全体の情報量の増大が、画質劣化度合いよりも大きい場合には、モード情報を明示的に付加しないほうがよい。 The mode information transmission determining unit 121 determines whether or not to perform transmission replacement of mode information. This determination depends on the amount of information related to the encoding target image and the degree of image quality degradation (for example, PSNR value) due to compression encoding. To do. For example, even if the mode information necessary for the processing element of compression encoding is 1 bit per block, if this is explicitly added per block, the total amount of information in one or more frame images will be enormous. . However, as compared with the case where the mode information is not explicitly added (that is, when the processing element is not selected by the mode information), if the degree of image quality deterioration is less than the increase in the information amount by the mode information, the mode information is explicitly indicated. It is effective to choose to add. Conversely, when the increase in the total information amount of the encoding target image due to the addition of mode information is greater than the degree of image quality degradation, it is better not to explicitly add the mode information.

例えば、モード情報伝送決定部１２１は、符号化対象画像自体の情報量をＩ、符号化対象画像に関するモード情報の情報量をＱ、符号化対象画像に関する画質劣化度合いをＰとしたとき、所定の閾値Ｔを用いた式（１）を満たす場合には、モード情報を明示的に付加しないで間接的に伝送するとして決定する。 For example, when the information amount of the encoding target image itself is I, the information amount of the mode information regarding the encoding target image is Q, and the image quality deterioration degree regarding the encoding target image is P, the mode information transmission determining unit 121 When Expression (1) using the threshold value T is satisfied, it is determined that the mode information is transmitted indirectly without explicitly adding mode information.

（Ｉ＋Ｑ）−ｋＰ＞Ｔ（１）
ここに、ｋは、画質劣化度合いと符号化対象画像に関する情報量の比較を行うための重み係数である。 (I + Q) -kP> T (1)
Here, k is a weighting coefficient for comparing the degree of image quality degradation and the amount of information related to the encoding target image.

一方、モード情報伝送処理部１２１において明示的にモード情報を付加する決定が行われたときは、従来技術と同様に、符号化対象画像に関する符号化処理の単位で必要なビット数のモード情報を付加することになる。 On the other hand, when the mode information transmission processing unit 121 has decided to explicitly add mode information, the mode information of the number of bits necessary for the unit of the encoding process related to the encoding target image is obtained as in the prior art. Will be added.

次に、モード情報伝送方法選択部１２３によって、モード情報伝送決定部１２１が供給するモード情報伝送決定情報を参照した結果、モード情報の伝送値が事前に決定されているか否かを判別して（ステップＳ１３）、モード情報の伝送値が事前に決定されていない場合、先ず、モード情報の間接的な伝送を行う際に予め定められた複数のモード情報伝送方法のうちのいずれかを選択する（ステップＳ１４）。つまり、モード情報伝送方法選択部１２３によって、予め定められた複数のモード情報伝送方法について、周波数変換係数の値及び／又は個数に基づいてモード情報伝送方法を選択して決定するとともに、いずれのモード情報伝送方法を用いて当該モード情報を伝送するかの旨を示すモード情報の伝送方法情報を、符号化する補助情報として生成する。予め定められた４つのモード情報伝送方法について、図５及び図６を参照しながら説明する。 Next, as a result of referring to the mode information transmission determination information supplied by the mode information transmission determination unit 121, the mode information transmission method selection unit 123 determines whether or not the transmission value of the mode information is determined in advance ( Step S13) When the transmission value of the mode information is not determined in advance, first, one of a plurality of mode information transmission methods determined in advance when performing the indirect transmission of the mode information is selected ( Step S14). That is, the mode information transmission method selection unit 123 selects and determines a mode information transmission method for a plurality of predetermined mode information transmission methods based on the value and / or number of frequency conversion coefficients, and which mode is selected. Mode information transmission method information indicating whether the mode information is transmitted using the information transmission method is generated as auxiliary information to be encoded. Four predetermined mode information transmission methods will be described with reference to FIGS.

第１のモード情報伝送方法は、画像符号化部１０における周波数変換部１００から得られる、量子化された周波数変換係数（例えば、直交変換係数）を利用し、符号化対象画像に関する周波数変換係数の値がゼロでない値をもつ係数（本願明細書中、「非ゼロ係数」とも称する）の個数に応じたモード情報を設定する（図５（Ａ）参照）。 The first mode information transmission method uses a quantized frequency transform coefficient (for example, an orthogonal transform coefficient) obtained from the frequency transform unit 100 in the image coding unit 10, and uses the frequency transform coefficient for the encoding target image. Mode information corresponding to the number of coefficients having non-zero values (also referred to as “non-zero coefficients” in the present specification) is set (see FIG. 5A).

例えば、量子化された周波数変換係数のブロックに対し１ビットのモード情報を伝送する場合、非ゼロ係数の個数が奇数であるか偶数であるかによって１ビットのモード情報を識別できるように設定する。つまり、周波数変換によって得られる変換係数は、全てが非ゼロ係数ではなくとも、量子化を施すことでゼロになる係数がある。このように符号化対象画像に関する非ゼロ係数の個数に応じたモード情報を設定することができる。 For example, when 1-bit mode information is transmitted to a block of quantized frequency transform coefficients, setting is made so that 1-bit mode information can be identified depending on whether the number of non-zero coefficients is odd or even. . In other words, the transform coefficients obtained by the frequency transform are not all non-zero coefficients, but there are coefficients that become zero by quantization. In this way, mode information corresponding to the number of non-zero coefficients related to the encoding target image can be set.

第２のモード情報伝送方法は、画像符号化部１０における周波数変換部１００から得られる、量子化された周波数変換係数（例えば、直交変換係数）を利用し、符号化対象画像に関する周波数変換係数の値がゼロの値をもつ係数（本願明細書中、「ゼロ係数」とも称する）の個数に応じたモード情報を設定する（図５（Ａ）参照）。 The second mode information transmission method uses a quantized frequency transform coefficient (for example, an orthogonal transform coefficient) obtained from the frequency transform unit 100 in the image coding unit 10, and uses the frequency transform coefficient for the encoding target image. Mode information is set according to the number of coefficients having a value of zero (also referred to as “zero coefficient” in the present specification) (see FIG. 5A).

例えば、量子化された周波数変換係数のブロックに対し１ビットのモード情報を伝送する場合、ゼロ係数の個数が奇数であるか偶数であるかによって１ビットのモード情報を識別できるように設定する。つまり、周波数変換によって得られる変換係数に対して量子化を施すことでゼロになる係数の個数を利用する。このように符号化対象画像に関するゼロ係数の個数に応じたモード情報を設定することができる。 For example, when 1-bit mode information is transmitted to a quantized block of frequency transform coefficients, settings are made so that 1-bit mode information can be identified depending on whether the number of zero coefficients is odd or even. That is, the number of coefficients that become zero when quantization is performed on the transform coefficient obtained by frequency transform is used. In this manner, mode information corresponding to the number of zero coefficients related to the encoding target image can be set.

尚、量子化された周波数変換係数のブロックに対し１ビットのモード情報を伝送する場合、ブロック内に存在する全係数値は定まっているので、第１のモード情報伝送方法と第２のモード情報伝送方法は同時に使用することができない。 When 1-bit mode information is transmitted to a block of quantized frequency transform coefficients, all coefficient values existing in the block are fixed, so the first mode information transmission method and the second mode information Transmission methods cannot be used simultaneously.

第３のモード情報伝送方法は、画像符号化部１０における周波数変換部１００から得られる、量子化された周波数変換係数（例えば、直交変換係数）を利用し、符号化対象画像に関する周波数変換係数の値の絶対値が１となる周波数変換係数の個数に応じたモード情報を設定する（図５（Ｂ）参照）。 The third mode information transmission method uses a quantized frequency transform coefficient (for example, an orthogonal transform coefficient) obtained from the frequency transform unit 100 in the image coding unit 10, and uses the frequency transform coefficient for the encoding target image. Mode information corresponding to the number of frequency conversion coefficients whose absolute value is 1 is set (see FIG. 5B).

前述のとおり、量子化を施した周波数変換係数として、ブロック内にてゼロ又は±１などの小さい値を多く持つ。そこで、例えば、量子化された周波数変換係数のブロックに対し１ビットのモード情報を伝送する場合、絶対値が１となる周波数変換係数の値の個数が奇数であるか偶数であるかによって１ビットのモード情報を識別できるように設定する。このように周波数変換係数の値の絶対値が１となる周波数変換係数の個数に応じたモード情報を設定することができる。 As described above, the quantized frequency conversion coefficient has many small values such as zero or ± 1 in the block. Therefore, for example, when transmitting 1-bit mode information to a quantized block of frequency transform coefficients, 1 bit is used depending on whether the number of frequency transform coefficients whose absolute value is 1 is odd or even. Set so that mode information can be identified. In this way, mode information corresponding to the number of frequency conversion coefficients for which the absolute value of the frequency conversion coefficient value is 1 can be set.

或いは、第１のモード情報伝送方法と第３のモード情報伝送方法の組み合わせや、第２のモード情報伝送方法と第３のモード情報伝送方法の組み合わせとすることもできる。例えば、画像符号化部１０における周波数変換部１００から得られる、量子化された周波数変換係数（例えば、ＤＣＴ係数など）を利用し、符号化対象画像に関する周波数変換係数の値の絶対値が１の係数の個数と、ゼロ係数（又は非ゼロ係数）の個数との総数に応じたモード情報を設定する。 Alternatively, a combination of the first mode information transmission method and the third mode information transmission method, or a combination of the second mode information transmission method and the third mode information transmission method may be used. For example, the quantized frequency transform coefficient (for example, DCT coefficient) obtained from the frequency transform unit 100 in the image coding unit 10 is used, and the absolute value of the value of the frequency transform coefficient regarding the encoding target image is 1. Mode information corresponding to the total number of coefficients and the number of zero coefficients (or non-zero coefficients) is set.

尚、ここでは１ビットのモード情報を符号化する方法を説明したが、２ビット以上のモード情報についてモジュロ（剰余）を用いて間接的な符号化・伝送を行うことも可能である。例えば、２ビットのモード情報で３通りの内容を復号側で識別させる場合に、第１のモード情報伝送方法に適用するとすれば、非ゼロ係数の個数を３で割った剰余数の０，１，２に対応させてモード情報を割り当てることで間接的な符号化・伝送を行うことが可能となる。４通り以上の内容のモード情報を割り当てる場合も同様に、例えば、非ゼロ係数の個数を所定値で割った剰余数に対応させてモード情報を割り当てることで間接的な符号化・伝送を行うことができる。 Although a method for encoding 1-bit mode information has been described here, it is also possible to indirectly encode and transmit mode information of 2 bits or more using a modulo (remainder). For example, when 3 types of contents are identified on the decoding side by 2-bit mode information, if applied to the first mode information transmission method, the number of non-zero coefficients divided by 3 is 0, 1 , 2 can be used for indirect encoding / transmission by allocating mode information. Similarly, when mode information having four or more contents is allocated, for example, indirect encoding / transmission is performed by allocating mode information corresponding to the remainder obtained by dividing the number of non-zero coefficients by a predetermined value. Can do.

第４のモード情報伝送方法は、画像符号化部１０における周波数変換部１００から得られる、量子化された周波数変換係数（例えば、直交変換係数）を利用し、符号化対象画像に関するスキャン順で最後の非ゼロ係数の値に応じたモード情報を設定する（図６参照）。ここでは特に、周波数変換ブロックに対し、１ビットのモード情報を伝送する場合を説明する。この場合、第４のモード情報伝送方法は、周波数変換係数のうち、スキャン順で最後の非ゼロ係数が１か１以外かによってモード情報を伝送する。周波数変換によって得られる変換係数は、量子化を施された後、特に通常のスキャン順で後方になる高周波成分についてはゼロや１など小さい数値になる傾向が多い。このため、スキャン順で最後の非ゼロ係数が１か１以外かによって１ビットのモード情報を伝送するのが好適である。 The fourth mode information transmission method uses a quantized frequency transform coefficient (for example, an orthogonal transform coefficient) obtained from the frequency transform unit 100 in the image coding unit 10 and last in the scan order with respect to the encoding target image. The mode information corresponding to the value of the non-zero coefficient is set (see FIG. 6). Here, in particular, a case where 1-bit mode information is transmitted to the frequency conversion block will be described. In this case, the fourth mode information transmission method transmits mode information depending on whether the last non-zero coefficient in the scan order is other than 1 or 1 among the frequency conversion coefficients. The conversion coefficient obtained by frequency conversion tends to be a small numerical value such as zero or 1 after high-frequency components that are rearward in the normal scan order after being quantized. For this reason, it is preferable to transmit 1-bit mode information depending on whether the last non-zero coefficient is 1 or other than 1 in the scan order.

尚、ここでは１ビット（２通り）のモード情報を伝送する例を説明したが、第４のモード情報伝送方法においても、３通り以上のモードに関するモード情報を伝送することが可能である。例えば、３通りのモードがある場合、スキャン順で最後の非ゼロ係数が１か２か、それ以外かとすることでモード情報を伝送することができる。４通り以上のモードがある場合も同様である。 Although an example in which 1-bit (two types) mode information is transmitted has been described here, mode information regarding three or more modes can be transmitted also in the fourth mode information transmission method. For example, when there are three modes, mode information can be transmitted by determining whether the last non-zero coefficient is 1 or 2 in the scan order, or otherwise. The same applies when there are four or more modes.

以上のように、モード情報伝送方法選択部１２３は、モード情報の符号化に利用する方法を選択する。ここでは４通りのモード情報伝送方法を主に例示しているが、いずれのモード情報伝送方法を選択するかの選択基準として、予め定めておくこともできるが、周波数変換係数の値及び／又は個数に基づくものとすることができる。例えば、限定するものではないが、ゼロ係数の個数が非ゼロ係数よりも多い場合には、第１のモード情報伝送方法か第２のモード情報伝送方法を選択し、非ゼロ係数の個数がゼロ係数よりも多い場合には、第３のモード情報伝送方法か第４のモード情報伝送方法を選択するように決めておくことができる。これにより、モード情報伝送方法を適応的に選択することができる。或いはまた、ゼロ係数の存在の有無、非ゼロ係数の存在の有無、絶対値１の周波数変換係数の存在の有無を、いずれのモード情報伝送方法を選択するかの選択基準としてもよい。或いはまた、第１〜第４のモード情報伝送方法のＲＤコストを算出することでＲＤコストの最も小さいものを選択するようにしてもよい。また、いずれのモード情報伝送方法を利用したかを示す伝送方法情報を補助情報として符号化・伝送しない場合、例示した４通りのモード情報伝送方法のちのいずれを用いるかを画像符号化装置１及び画像復号装置２０間で予め定めておけばよい。例示した４通りのモード情報伝送方法のうちのいずれを用いるかについて画像符号化装置１及び画像復号装置２０間で予め定めておく場合は、モード情報伝送方法選択部１２３を必ずしも設ける必要はない。 As described above, the mode information transmission method selection unit 123 selects a method used for encoding mode information. Here, four mode information transmission methods are mainly exemplified, but as a selection criterion for selecting which mode information transmission method, it may be determined in advance, but the value of the frequency conversion coefficient and / or It can be based on the number. For example, but not limited thereto, when the number of zero coefficients is larger than the number of non-zero coefficients, the first mode information transmission method or the second mode information transmission method is selected, and the number of non-zero coefficients is zero. When the number is larger than the coefficient, it can be decided to select the third mode information transmission method or the fourth mode information transmission method. Thereby, the mode information transmission method can be selected adaptively. Alternatively, the presence / absence of a zero coefficient, the presence / absence of a non-zero coefficient, and the presence / absence of a frequency conversion coefficient having an absolute value of 1 may be used as selection criteria for selecting any mode information transmission method. Alternatively, the one with the lowest RD cost may be selected by calculating the RD cost of the first to fourth mode information transmission methods. In addition, when the transmission method information indicating which mode information transmission method is used is not encoded / transmitted as auxiliary information, which of the four mode information transmission methods illustrated is used as the image encoding device 1 and What is necessary is just to predetermine between the image decoding apparatuses 20. When it is determined in advance between the image encoding device 1 and the image decoding device 20 as to which of the four exemplified mode information transmission methods is used, the mode information transmission method selection unit 123 is not necessarily provided.

続いて、モード情報伝送値決定部１２４によって、画像情報に対するモード情報の伝送値の割り当てを決定し、当該決定した値を示す伝送値決定情報を、符号化する補助情報として生成する。 Subsequently, the mode information transmission value determination unit 124 determines allocation of transmission values of mode information to image information, and generates transmission value determination information indicating the determined values as auxiliary information to be encoded.

モード情報伝送方法選択部１２３では、特定の値を持つ周波数変換係数に関する個数の奇数又は偶数に対して１ビットのモード情報の割り当てを決定する例を説明したが、モード情報伝送値決定部１２４は、１ビットのモード情報（例えば０と１）のうちのいずれを特定の値を持つ周波数変換係数に関する個数の奇数又は偶数に割り当てるかを定める。モード情報伝送値決定部１２４によって割り当てるモード情報の値が決定されると、その旨が係数変更部１２５に供給される。 In the mode information transmission method selection unit 123, the example in which the allocation of 1-bit mode information is determined for the odd number or even number of frequency conversion coefficients having a specific value has been described. However, the mode information transmission value determination unit 124 Which one of 1-bit mode information (for example, 0 and 1) is assigned to an odd number or an even number of frequency conversion coefficients having a specific value. When the value of the mode information to be assigned is determined by the mode information transmission value determination unit 124, the fact is supplied to the coefficient changing unit 125.

尚、モード情報伝送値決定部１２４によって、奇数又は偶数を１ビットのモード情報（例えば０と１）のうちのいずれに利用したかを示す伝送値決定情報を補助情報として符号化・伝送しない場合、奇数又は偶数を１ビットのモード情報（例えば０と１）のうちのいずれに利用するかについて、画像符号化装置１及び画像復号装置２０間で予め定めておけばよい。奇数又は偶数を１ビットのモード情報（例えば０と１）のうちのいずれに利用したかについて画像符号化装置１及び画像復号装置２０間で予め定めておく場合は、モード情報伝送値決定部１２４を必ずしも設ける必要はない。 Note that the mode information transmission value determination unit 124 does not encode / transmit transmission value determination information indicating whether odd or even number is used for 1-bit mode information (for example, 0 or 1) as auxiliary information. Whether the odd or even number is used for 1-bit mode information (for example, 0 or 1) may be determined in advance between the image encoding device 1 and the image decoding device 20. When it is determined in advance between the image encoding device 1 and the image decoding device 20 which one of the 1-bit mode information (for example, 0 and 1) is used as the odd number or the even number, the mode information transmission value determination unit 124 is used. Is not necessarily provided.

次に、係数変更部１２５によって、画像符号化部１０から符号化対象画像の直交変換係数を取得し（ステップＳ１５）、割り当てるモード情報に対応する画像情報となるように（つまり、モード情報の伝送値の割り当てに対応するように）、画像符号化部１０から得られる直交変換係数の値を置き換えて変更し、変更済みの直交変換係数を画像符号化部１０におけるエントロピー符号化部１０３に送出する（ステップＳ１６）。 Next, the coefficient changing unit 125 acquires the orthogonal transform coefficient of the image to be encoded from the image encoding unit 10 (step S15), so that the image information corresponds to the mode information to be assigned (that is, transmission of mode information). The value of the orthogonal transform coefficient obtained from the image encoding unit 10 is replaced and changed, and the changed orthogonal transform coefficient is sent to the entropy encoding unit 103 in the image encoding unit 10 (corresponding to the value assignment). (Step S16).

モード情報割当部１２０の処理において、符号化する１ビットのモード情報は、特定の値を持つ周波数変換係数に関する個数の奇数又は偶数によって表現することを決定したが、符号化したい画像情報のブロックの周波数変換係数に関する個数が、必ずしもモード情報の値に対応する個数の奇数又は偶数に一致しているとは限らない。このため、係数変更部１２５は、特定の値を持つ周波数変換係数に関する個数の奇数又は偶数に一致するように画像情報のブロックの周波数変換係数の値を変更する。 In the processing of the mode information allocating unit 120, it has been decided that the 1-bit mode information to be encoded is expressed by an odd number or an even number of frequency conversion coefficients having a specific value. The number related to the frequency conversion coefficient does not necessarily match the odd number or even number corresponding to the value of the mode information. For this reason, the coefficient changing unit 125 changes the value of the frequency conversion coefficient of the block of image information so as to match the number of odd or even numbers related to the frequency conversion coefficient having a specific value.

例えば、周波数変換としてＤＣＴ及びＤＳＴをブロック単位で切り替えて利用する符号化方式を想定する。この場合、量子化された周波数変換係数のブロックに対し１ビットのモード情報としてＤＣＴ又はＤＳＴで周波数変換が施されている旨を伝送するにあたり、例えば、モード情報伝送方法選択部１２３によって第１のモード情報伝送方法が選択され、モード情報伝送値決定部１２４によって非ゼロ係数の個数が奇数の場合にＤＣＴ、偶数の場合にＤＳＴを示すモード情報の値を割り当てるとして決定されているとする。一方で、画像符号化部１０で処理するブロックがＤＣＴで周波数変換されているにも関わらず、当該ブロックの非ゼロ係数の個数が偶数であった場合に、係数変更部１２５は、当該ブロックの非ゼロ係数の個数を奇数となるように画像情報のブロックの周波数変換係数を強制的に変更する。具体的には、図５（Ａ）に示すように、非ゼロ係数を１つ削除して係数の値自体をゼロにする。周波数変換では、周波数の大きい係数ほど値が小さい傾向にあり、また、復号した場合に人間の視覚に気づかれにくい性質を有する。そこで、ゼロに変更する周波数変換係数は、非ゼロ係数のうち最高周波数の係数（last significant coefficient）とするのが好適である。圧縮符号化においては、量子化された周波数変換係数は、低周波成分から順番に並び替え（スキャン）が施されることが多く、最高周波数の係数を並び替えの最後とすることからlast significant coefficientと称することがある。 For example, an encoding method that uses DCT and DST by switching in units of blocks as frequency conversion is assumed. In this case, when transmitting that the frequency conversion is performed by DCT or DST as 1-bit mode information to the quantized block of the frequency conversion coefficient, for example, the mode information transmission method selection unit 123 uses the first information It is assumed that the mode information transmission method is selected and the mode information transmission value determination unit 124 determines that a value of mode information indicating DCT is assigned when the number of non-zero coefficients is an odd number and DST is assigned when the number of non-zero coefficients is an even number. On the other hand, when the block to be processed by the image encoding unit 10 is frequency-converted by DCT, when the number of non-zero coefficients of the block is an even number, the coefficient changing unit 125 The frequency conversion coefficient of the block of image information is forcibly changed so that the number of non-zero coefficients is an odd number. Specifically, as shown in FIG. 5A, one non-zero coefficient is deleted to make the coefficient value itself zero. In frequency conversion, a coefficient having a higher frequency tends to have a smaller value, and has a property that it is difficult to be noticed by human vision when decoded. Therefore, the frequency conversion coefficient to be changed to zero is preferably the highest significant coefficient (last significant coefficient) among the non-zero coefficients. In compression coding, the quantized frequency transform coefficient is often rearranged (scanned) in order from the low frequency component, and the highest frequency coefficient is the last of the rearrangement. May be called.

また、モード情報伝送方法選択部１２３によって第２のモード情報伝送方法が選択されている場合も、例えば、モード情報伝送値決定部１２４によってゼロ係数の個数が奇数の場合にＤＣＴ、偶数の場合にＤＳＴを示すモード情報の値を割り当てるとして決定されているとする。この場合、図５（Ａ）に示すように、係数変更部１２５は、符号化したい画像情報のブロックの周波数変換係数の個数が、割り当てるモード情報の値に対応する個数に一致するように（本例では、ＤＣＴで周波数変換されているブロックのゼロ係数の個数を奇数となるように）、例えば非ゼロ係数のうち最高周波数の係数をゼロに変更することで、画像情報のブロックの周波数変換係数を強制的に変更する。 Also, when the second mode information transmission method is selected by the mode information transmission method selection unit 123, for example, when the number of zero coefficients is odd by the mode information transmission value determination unit 124, DCT, and when the number is zero, It is assumed that the mode information value indicating DST is determined to be assigned. In this case, as shown in FIG. 5 (A), the coefficient changing unit 125 adjusts the number of frequency transform coefficients of the block of image information to be encoded to the number corresponding to the value of the mode information to be allocated (this book In the example, the number of zero coefficients of a block subjected to frequency conversion by DCT is an odd number), for example, by changing the coefficient of the highest frequency among non-zero coefficients to zero, the frequency conversion coefficient of the block of image information Forcibly change.

また、モード情報伝送方法選択部１２３によって第３のモード情報伝送方法が選択されている場合も、例えば、モード情報伝送値決定部１２４によって絶対値１の周波数変換係数の個数が奇数の場合にＤＣＴ、偶数の場合にＤＳＴを示すモード情報の値を割り当てるとして決定されているとする。この場合、図５（Ｂ）に示すように、符号化したい画像情報のブロックの周波数変換係数の個数が、割り当てるモード情報の値に対応する個数に一致するように（本例では、ＤＣＴで周波数変換されているブロックの絶対値１の周波数変換係数の個数を奇数となるように）、例えば絶対値１の周波数変換係数のうちの最高周波数の係数をゼロに変更するか、或いは、絶対値として２又は３のような予め定められている小さい値を持つ非ゼロ係数のうちの最高周波数の係数を絶対値１に変更することで、符号化対象画像の周波数変換係数を強制的に変更する。 Also, when the third mode information transmission method is selected by the mode information transmission method selection unit 123, for example, when the number of frequency conversion coefficients having an absolute value of 1 is odd by the mode information transmission value determination unit 124, the DCT In the case of an even number, it is assumed that the mode information value indicating DST is assigned. In this case, as shown in FIG. 5B, the number of frequency conversion coefficients of the block of image information to be encoded matches the number corresponding to the value of the mode information to be assigned (in this example, the frequency is DCT). For example, the number of frequency conversion coefficients of absolute value 1 of the block being converted is an odd number), for example, the highest frequency coefficient of the frequency conversion coefficients of absolute value 1 is changed to zero, or as an absolute value By changing the coefficient of the highest frequency among the non-zero coefficients having a predetermined small value such as 2 or 3 to the absolute value 1, the frequency conversion coefficient of the encoding target image is forcibly changed.

また、モード情報伝送方法選択部１２３によって第４のモード情報伝送方法が選択されている場合、モード情報伝送値決定部１２４によって、モード情報の伝送値（例えば１ビットならば０か１）のいずれを、スキャン順で最後の非ゼロ係数が１か１以外かに割り当てるかについて決定される。ただし、スキャン順で最後の非ゼロ係数が１か１以外のいずれに利用したのかを補助情報として符号化する場合と、予め定めておく場合がある。モード情報の伝送値の割り当てについて画像符号化装置１及び画像復号装置２０間で予め定めておく場合、モード情報の伝送値を決定する必要はないので、モード情報伝送値決定部１２４を必ずしも設ける必要はない。 Further, when the fourth mode information transmission method is selected by the mode information transmission method selection unit 123, the mode information transmission value determination unit 124 selects any one of the transmission values of the mode information (for example, 0 or 1 for 1 bit). Is assigned to the last non-zero coefficient in scan order, whether it is 1 or other than 1. However, there are cases where the last non-zero coefficient in the scan order is used as an auxiliary information for encoding other than 1 or 1, and in some cases. When the transmission value of the mode information is determined in advance between the image encoding device 1 and the image decoding device 20, it is not necessary to determine the transmission value of the mode information, and therefore the mode information transmission value determining unit 124 is necessarily provided. There is no.

第４のモード情報伝送方法が選択されている場合も、例えば、モード情報伝送値決定部１２４によって仮に係数のスキャン順で最後の非ゼロ係数が１の場合がＤＣＴ、１以外の場合がＤＳＴを示すモード情報の値を割り当てるとして決定されているとする。この場合、図６に示すように、符号化したい画像情報のブロックの周波数変換係数におけるスキャン順で最後の非ゼロ係数の値が、割り当てるモード情報に対応する値に一致するように（１ビットのモード情報では、ＤＣＴで周波数変換されているブロックのスキャン順で最後の非ゼロ係数の値が１となるように）、符号化対象画像のブロックの周波数変換係数を強制的に変更する。 Even when the fourth mode information transmission method is selected, for example, if the last non-zero coefficient is 1 in the coefficient scan order by the mode information transmission value determination unit 124, DCT is used. It is assumed that the mode information value shown is determined to be assigned. In this case, as shown in FIG. 6, the value of the last non-zero coefficient in the scan order in the frequency conversion coefficient of the block of image information to be encoded matches the value corresponding to the mode information to be assigned (1 bit In the mode information, the frequency transform coefficient of the block of the encoding target image is forcibly changed so that the value of the last non-zero coefficient is 1 in the scan order of the block whose frequency is transformed by DCT.

つまり、符号化する１ビットのモード情報は、係数のスキャン順で最後の非ゼロ係数が１か１以外かによって表現されるが、符号化したい情報が必ずしもこれらに一致しているとは限らない。このため、これらが一致するよう変更する。上述の周波数変換としてＤＣＴとＤＳＴのモードがある例では、周波数変換がＤＣＴであるにも関わらず、最後の非ゼロ係数が１以外であった場合には、これを強制的に１に変更する。逆に、周波数変換がＤＳＴであるにも関わらず最後の非ゼロ係数が１であった場合には、２通りの変更方法がある。第１の変更方法は、最後の非ゼロ係数の値を２とする方法である。２以上の数値にしてもよいが、できるだけ小さい方が復号後の画質変化の影響が少ない。第２の変更方法は、最後の非ゼロ係数の値をゼロにし、新たにスキャン順で最後の非ゼロ係数の値を調べ、１でなければそのままとし、１であれば１以外の係数に値を変更する。 That is, 1-bit mode information to be encoded is expressed by whether the last non-zero coefficient is other than 1 or 1 in the coefficient scan order, but the information to be encoded does not necessarily match these. . For this reason, it changes so that these may correspond. In an example where there is a DCT and DST mode as the above-described frequency conversion, if the final non-zero coefficient is other than 1 even though the frequency conversion is DCT, this is forcibly changed to 1. . On the contrary, when the last non-zero coefficient is 1 although the frequency conversion is DST, there are two changing methods. The first change method is a method in which the value of the last non-zero coefficient is set to 2. Although a numerical value of 2 or more may be used, the smaller one is less affected by the change in image quality after decoding. In the second change method, the value of the last non-zero coefficient is set to zero, and the value of the last non-zero coefficient is newly examined in the scan order. To change.

周波数変換では、周波数の大きい係数ほど値が小さい傾向になり、また、復号した場合に人間の視覚に気づかれにくい性質を有する。そこで、スキャン順で最後の非ゼロ係数の値によって間接的なモード情報の伝送が可能となる。 In frequency conversion, a coefficient having a higher frequency tends to have a smaller value, and has a property that it is difficult to be noticed by human vision when decoded. Therefore, indirect mode information can be transmitted by the value of the last non-zero coefficient in the scan order.

最終的に、エントロピー符号化部１０３によって、明示的又は間接的にモード情報を直交変換係数に付随してエントロピー符号化する（ステップＳ１７）。 Finally, the entropy encoder 103 entropy encodes the mode information with the orthogonal transform coefficient explicitly or indirectly (step S17).

これにより、モード情報について、画像情報を用いた間接的な符号化・伝送を行うことができ、圧縮符号化効率又は伝送効率を高めることができる。特に、最高周波数の係数や絶対値１の周波数変換係数を本発明に係るモード情報の間接的な伝送のための変更対象とすることで、実質的な画質劣化を生じさせることなく符号化・伝送に係るモード情報の情報量を低減させることができる。 As a result, the mode information can be indirectly encoded / transmitted using image information, and the compression encoding efficiency or the transmission efficiency can be increased. In particular, the highest frequency coefficient and the frequency conversion coefficient having an absolute value of 1 are to be changed for indirect transmission of mode information according to the present invention, so that encoding and transmission can be performed without causing substantial image quality degradation. It is possible to reduce the amount of mode information related to the above.

続いて、画像復号装置２０における画像復号処理の動作について説明する。 Next, the operation of the image decoding process in the image decoding device 20 will be described.

（画像復号処理）
図４は、本発明による第１の実施形態の画像復号装置における画像復号処理の動作を示すフロー図である。先ず、画像復号装置２０は、符号化ビットストリームを入力して、エントロピー復号部２０１によって、符号化された画像情報に対してエントロピー復号を施す（ステップＳ２１）。図２に示すように、符号化ビットストリームは、エントロピー復号部２０１で処理され、モード情報が明示的な伝送であれば周波数変換係数に付与されており、モード情報が間接的な伝送であれば変更済みの周波数変換係数が伝送されているため、エントロピー復号部２０１は、モード情報が明示的に伝送されているか否かの判別を行う（ステップＳ２２）。モード情報が明示的に伝送されている場合は、ステップＳ２５に進み、モード情報が間接的に伝送されている場合は、ステップＳ２３に進む。 (Image decoding process)
FIG. 4 is a flowchart showing the operation of the image decoding process in the image decoding apparatus according to the first embodiment of the present invention. First, the image decoding apparatus 20 inputs an encoded bit stream, and the entropy decoding unit 201 performs entropy decoding on the encoded image information (step S21). As shown in FIG. 2, the encoded bit stream is processed by the entropy decoding unit 201. If the mode information is explicit transmission, it is attached to the frequency conversion coefficient. If the mode information is indirect transmission, Since the changed frequency conversion coefficient is transmitted, the entropy decoding unit 201 determines whether or not the mode information is explicitly transmitted (step S22). If the mode information is explicitly transmitted, the process proceeds to step S25, and if the mode information is indirectly transmitted, the process proceeds to step S23.

また、画像復号装置２０は、エントロピー復号部２０１によって、モード情報の伝送方法情報及び伝送値決定情報が補助情報として符号化ビットストリームに付加されているか否かを判別し、補助情報として付加されている場合には、これらのモード情報の伝送方法情報及び伝送値決定情報を復号する（ステップＳ２３）。 Also, the image decoding apparatus 20 determines whether or not the transmission method information and transmission value determination information of the mode information are added to the encoded bitstream as auxiliary information by the entropy decoding unit 201, and is added as auxiliary information. If so, the mode information transmission method information and transmission value determination information are decoded (step S23).

次に、モード情報抽出部２０２によって、モード情報が間接的に表現された画像情報の周波数変換係数の値及び／又は個数を分析し（ステップＳ２４）、当該割り当てられたモード情報を抽出する（ステップＳ２５）。伝送方法情報及び／又は伝送値決定情報が補助情報として符号化されている場合には、モード情報抽出部２０２は、これらの補助情報を基に画像情報の周波数変換係数から当該割り当てられたモード情報を抽出する。 Next, the mode information extraction unit 202 analyzes the value and / or the number of frequency conversion coefficients of the image information in which the mode information is indirectly expressed (step S24), and extracts the assigned mode information (step S24). S25). When the transmission method information and / or the transmission value determination information is encoded as auxiliary information, the mode information extraction unit 202 uses the auxiliary information to calculate the allocated mode information from the frequency conversion coefficient of the image information. To extract.

つまり、図２に示すように、変更済みの周波数変換係数（例えば、直交変換係数）は、モード情報抽出部２０２へ供給される。モード情報抽出部２０２では、モード情報伝送置換装置１２におけるモード情報割当部１２０の処理の逆処理で、周波数変換係数からモード情報を抽出することができる。ここで、モード情報伝送方法の補助情報とモード情報伝送値の補助情報も併せて符号化されている場合には、これらの補助情報を用いてモード情報を抽出する。 That is, as shown in FIG. 2, the changed frequency transform coefficient (for example, orthogonal transform coefficient) is supplied to the mode information extraction unit 202. The mode information extraction unit 202 can extract the mode information from the frequency conversion coefficient by the inverse process of the process of the mode information allocation unit 120 in the mode information transmission / replacement device 12. Here, when the auxiliary information of the mode information transmission method and the auxiliary information of the mode information transmission value are encoded together, the mode information is extracted using these auxiliary information.

図５（Ａ）で示す例で説明すると、モード情報抽出部２０２は、第１のモード情報伝送方法でモード情報を抽出する場合には、周波数変換係数の値がゼロでない係数（非ゼロ係数）の個数が奇数であるか偶数であるかを判別し、判別した結果からモード情報の値に換算する。 In the example shown in FIG. 5A, when the mode information extraction unit 202 extracts mode information by the first mode information transmission method, the coefficient of the frequency conversion coefficient is not zero (non-zero coefficient). It is determined whether the number is an odd number or an even number, and the value of the mode information is converted from the determined result.

図５（Ａ）で示す例で説明すると、モード情報抽出部２０２は、第２のモード情報伝送方法でモード情報を抽出する場合には、周波数変換係数の値がゼロの係数（ゼロ係数）の個数が奇数であるか偶数であるかを判別し、判別した結果からモード情報の値に換算する。 In the example shown in FIG. 5A, when the mode information extraction unit 202 extracts the mode information by the second mode information transmission method, the mode information extraction unit 202 uses a coefficient whose frequency conversion coefficient is zero (zero coefficient). Whether the number is an odd number or an even number is determined, and the determined result is converted into a value of mode information.

図５（Ｂ）で示す例で説明すると、モード情報抽出部２０２は、第３のモード情報伝送方法でモード情報を抽出する場合には、周波数変換係数の値の絶対値が１の係数の個数が奇数であるか偶数であるかを判別し、判別した結果からモード情報の値に換算する。 In the example shown in FIG. 5B, when the mode information extraction unit 202 extracts mode information by the third mode information transmission method, the number of coefficients whose absolute value of the frequency conversion coefficient value is 1 is used. Is an odd number or an even number, and is converted into a value of mode information from the determined result.

図６で示す例で説明すると、モード情報抽出部２０２は、第４のモード情報伝送方法でモード情報を抽出する場合には、周波数変換係数の値のうち、スキャン順で最後の非ゼロ係数が１か１以外かを判別し、判別した結果からモード情報の値に換算する。 In the example illustrated in FIG. 6, when the mode information extraction unit 202 extracts the mode information by the fourth mode information transmission method, the last non-zero coefficient in the scan order among the values of the frequency conversion coefficients. Whether it is 1 or other than 1 is determined, and the value of the mode information is converted from the determined result.

最終的に、画像符号化装置１の処理の逆手順となる画像復号処理（逆変換処理）を実行し、復号した画像信号を出力する（ステップＳ２６）。 Finally, an image decoding process (inverse conversion process) which is an inverse procedure of the process of the image encoding device 1 is executed, and a decoded image signal is output (step S26).

これにより、画像情報からモード情報を抽出することができ、圧縮符号化効率又は伝送効率を高めることができる。尚、第１の実施形態で画像情報を用いて間接的に伝送されるモード情報が、２次元配列の周波数変換係数に対するスキャン方法を示す符号化のモードである場合には、符号化ストリームで取得する一次元配列からこのモード情報を判別し、判別したモード情報に従って２次元配列の周波数変換係数のブロックを再構成することになる。 Thereby, mode information can be extracted from image information, and compression encoding efficiency or transmission efficiency can be improved. If the mode information transmitted indirectly using the image information in the first embodiment is an encoding mode indicating a scanning method for the frequency conversion coefficients of the two-dimensional array, it is acquired as an encoded stream. The mode information is discriminated from the one-dimensional array to be reconstructed, and the block of the frequency transform coefficients of the two-dimensional array is reconstructed according to the discriminated mode information.

次に、本発明による第２の実施形態の画像符号化装置及び画像復号装置について説明する。 Next, an image encoding device and an image decoding device according to the second embodiment of the present invention will be described.

＜第２の実施形態＞
〔装置構成〕
（画像符号化装置）
本発明による第２の実施形態では、主に、複数種類のスキャン方法からなるモードのうち選択したモード情報を間接的に伝送するにあたり、ブロックの直流（ＤＣ）成分の係数値を変更する例を説明する。また、複数種類のスキャン方法として、図１２に示すジグザグスキャン、水平スキャン及び垂直スキャンの３種類のスキャン方法を切り替える例について説明する。 <Second Embodiment>
〔Device configuration〕
(Image coding device)
In the second embodiment according to the present invention, an example in which the coefficient value of a direct current (DC) component of a block is changed mainly in indirectly transmitting mode information selected from a plurality of types of scanning methods. explain. Further, an example will be described in which three types of scanning methods, zigzag scanning, horizontal scanning, and vertical scanning shown in FIG. 12, are switched as a plurality of types of scanning methods.

図７は、本発明による第２の実施形態の画像符号化装置のブロック図である。第２の実施形態の画像符号化装置１ｂは、周波数変換部を構成する直交変換・量子化部１０１及び予測信号生成部１０２と、モード情報伝送置換装置１２ｂと、エントロピー符号化１０３とを備える。第１の実施形態の画像符号化装置１と同様な構成要素には同一の参照番号を付している。 FIG. 7 is a block diagram of an image coding apparatus according to the second embodiment of the present invention. The image encoding device 1b according to the second embodiment includes an orthogonal transform / quantization unit 101 and a prediction signal generation unit 102 that constitute a frequency conversion unit, a mode information transmission / replacement device 12b, and an entropy encoding 103. Constituent elements similar to those of the image encoding device 1 of the first embodiment are denoted by the same reference numerals.

直交変換・量子化部１０１は、減算部１０１０、整数変換部１０１１及び量子化部１０１２を備え、符号化対象画像の入力画像信号を２次元配列のブロック単位で入力し、この入力画像信号と予測信号生成部１０２から供給される予測信号との差分信号に対して整数変換及び量子化を施す機能部である。減算部１０１０は、この差分信号を生成する機能部であり、整数変換部１０１１は、周波数変換としてＡＶＣ／Ｈ．２６４で代表される整数変換を行う機能部であり、量子化部１０１２は整数変換された係数の量子化を行う機能部である。 The orthogonal transform / quantization unit 101 includes a subtraction unit 1010, an integer transform unit 1011 and a quantization unit 1012, and inputs an input image signal of an encoding target image in a block unit of a two-dimensional array, and predicts the input image signal This is a functional unit that performs integer conversion and quantization on the difference signal from the prediction signal supplied from the signal generation unit 102. The subtraction unit 1010 is a functional unit that generates the difference signal, and the integer conversion unit 1011 performs AVC / H. H.264 is a functional unit that performs integer transformation, and a quantization unit 1012 is a functional unit that performs quantization of integer-transformed coefficients.

エントロピー符号化部１０３は、直交変換及び量子化を施した差分信号に対して所定のスキャン順でエントロピー符号化（例えば、可変長符号化）を施し、符号化ビットストリームを生成する。 The entropy encoding unit 103 performs entropy encoding (for example, variable length encoding) in a predetermined scan order on the difference signal subjected to orthogonal transformation and quantization, and generates an encoded bitstream.

モード情報伝送置換装置１２ｂは、モード情報を間接的に伝送するべく量子化された周波数変換係数の値を変更する点で第１の実施形態のモード情報伝送置換装置１２と同一であるが、第１の実施形態のモード情報伝送置換装置１２では、入力される周波数変換係数に対して間接的に伝送するモード情報の値の割り当てを決定して周波数変換係数の値を変更するものであったのに対し、第２の実施形態のモード情報伝送置換装置１２ｂは、Ｎ種類（Ｎは２以上の整数）のモードがある所定の処理要素を適応的に選択するために、選択するモードに関するモード情報について周波数変換係数の値を変更するように構成されている点で相違する。 The mode information transmission / replacement device 12b is the same as the mode information transmission / replacement device 12 of the first embodiment in that the value of the frequency transform coefficient quantized to transmit mode information indirectly is changed. In the mode information transmission / replacement device 12 according to the first embodiment, the assignment of the mode information value to be indirectly transmitted is determined with respect to the input frequency conversion coefficient, and the value of the frequency conversion coefficient is changed. On the other hand, the mode information transmission / replacement device 12b of the second embodiment mode information relating to a mode to be selected in order to adaptively select a predetermined processing element having N types (N is an integer of 2 or more). Is different in that it is configured to change the value of the frequency conversion coefficient.

具体的には、モード情報伝送置換装置１２ｂは、モード情報割当部１２０ｂと、係数変更部１２５ｂと、モード選択部１２６とを備える。 Specifically, the mode information transmission / replacement device 12b includes a mode information allocation unit 120b, a coefficient change unit 125b, and a mode selection unit 126.

モード情報割当部１２０ｂは、直交変換・量子化部１０１から送出される量子化された周波数変換係数のブロックに対し、ＤＣ成分以外の周波数変換係数が全て０であるか否かを判定し、ＤＣ成分以外の係数が全て０である場合には係数変更部１２５ｂ及びモード選択部１２６の処理をバイパスして当該周波数変換係数をエントロピー符号化部１０３に送出し、ＤＣ成分以外の係数が全て０でない場合には、予め定められた符号化方式のＮ種類のモードを有するモード情報について、当該符号化方式の周波数変換処理によるブロックの周波数変換係数に対する割り当てを決定し、この割り当て情報を係数変更部１２５ｂに送出する。 The mode information allocating unit 120b determines whether or not the frequency transform coefficients other than the DC component are all zero with respect to the quantized frequency transform coefficient block sent from the orthogonal transform / quantization unit 101, and the DC When all the coefficients other than the component are 0, the process of the coefficient changing unit 125b and the mode selecting unit 126 is bypassed and the frequency conversion coefficient is sent to the entropy coding unit 103, and all the coefficients other than the DC component are not 0. In this case, with respect to mode information having N types of predetermined coding schemes, allocation to the frequency transform coefficients of the block by the frequency transform processing of the coding scheme is determined, and this allocation information is used as the coefficient changing unit 125b. To send.

係数変更部１２５ｂは、モード情報割当部１２０ｂを経て直交変換・量子化部１０１から送出される量子化された周波数変換係数のブロックに対し、モード情報割当部１２０ｂからの割り当て情報を基に、予め定められたＮ種類の符号化のモード（例えば、Ｎ種類のスキャン方法）の種類数と同数のブロックを生成し、モード選択部１２６に送出する。係数変更部１２５ｂが生成する複数のブロックは、Ｎ種類の符号化のモード（例えば、Ｎ種類のスキャン方法）に応じて各々が異なる周波数変換係数を有するように、入力された周波数変換係数のブロックに対して変更されている。 The coefficient changing unit 125b applies in advance to the quantized frequency transform coefficient block sent from the orthogonal transform / quantization unit 101 via the mode information allocating unit 120b based on the allocation information from the mode information allocating unit 120b. The same number of blocks as the number of types of N types of encoding modes determined (for example, N types of scanning methods) are generated and sent to the mode selection unit 126. The plurality of blocks generated by the coefficient changing unit 125b are blocks of input frequency transform coefficients such that each has different frequency transform coefficients according to N types of encoding modes (for example, N types of scanning methods). Has been changed.

モード選択部１２６は、係数変更部１２５ｂによって生成された、それぞれＮ種類の符号化のモードを割り当てたＮ種類のブロックに対して当該モードに対応するスキャン方法を適用し、予め定めた最適化計算（例えば、ＲＤ最適化法の計算や、エントロピー符号化における０ランの長さの計算）に基づいてＮ種類のブロックから１つのブロックを選択してエントロピー符号化部１０３に送出する。例えば、ＲＤ最適化法では、ＲＤコストは、元の入力画像との誤差の大きさと発生するデータ量の重み付き加算で表すことができ、このＲＤコストの最も小さくなるブロックを選択する。 The mode selection unit 126 applies a scan method corresponding to the mode to the N types of blocks to which the N types of encoding modes are assigned, respectively, generated by the coefficient changing unit 125b, and performs a predetermined optimization calculation. Based on (for example, calculation of the RD optimization method or calculation of the length of 0 run in entropy encoding), one block is selected from N types of blocks and is sent to the entropy encoding unit 103. For example, in the RD optimization method, the RD cost can be expressed by a weighted addition of the magnitude of the error from the original input image and the amount of data generated, and the block with the smallest RD cost is selected.

尚、予測信号生成部１０２は、モード情報伝送置換装置１２ｂから送出されるブロックを用いて逆量子化及び逆整数変換を施し、画面内予測や画面間予測による入力画像信号を予測する予測信号を生成するための既符号化情報としてメモリ（図示せず）に保持する。 Note that the prediction signal generation unit 102 performs inverse quantization and inverse integer conversion using the block transmitted from the mode information transmission / replacement device 12b, and generates a prediction signal for predicting an input image signal by intra prediction or inter prediction. It is stored in a memory (not shown) as already-encoded information for generation.

エントロピー符号化部１０３は、モード情報伝送置換装置１２から送出される周波数変換係数を符号化し、符号化ビットストリームを生成する。 The entropy encoding unit 103 encodes the frequency transform coefficient sent from the mode information transmission / replacement device 12 to generate an encoded bit stream.

本実施形態の画像符号化装置１ｂをコンピュータとして機能させることができ、当該コンピュータに、本発明に係る各構成要素を実現させるためのプログラムは、当該コンピュータの内部又は外部に備えられるメモリ（図示せず）に記憶される。コンピュータに備えられる中央演算処理装置（ＣＰＵ）などの制御で、各構成要素の機能を実現するための処理内容が記述されたプログラムを、適宜、メモリから読み込んで、本実施形態の画像符号化装置１ｂの各構成要素の機能をコンピュータに実現させることができる。ここで、各構成要素の機能をハードウェアの一部で実現してもよい。 The image coding apparatus 1b of the present embodiment can function as a computer, and a program for causing the computer to realize each component according to the present invention is a memory (not shown) provided inside or outside the computer. )). The image coding apparatus according to the present embodiment is appropriately read from a memory by reading a program describing processing contents for realizing the function of each component under the control of a central processing unit (CPU) provided in the computer. The function of each component 1b can be realized by a computer. Here, the function of each component may be realized by a part of hardware.

（画像復号装置）
図８は、本発明による第２の実施形態の画像復号装置のブロック図である。第２の実施形態の画像復号装置２０ｂは、エントロピー復号部２０１ｂと、逆周波数変換部を構成する逆量子化・逆直交変換部２０４及び予測信号生成部２０５とを備える。本実施形態の画像復号装置２０ｂは、画像符号化装置１ｂによって符号化されたビットストリーム、つまり、画像の圧縮符号化におけるモード情報について画像情報を用いて間接的に表現されている符号化ビットストリームを復号する装置であり、予め定められた符号化方式のモード情報について、画像符号化装置１ｂにより周波数変換処理による画像情報の周波数変換係数に対する割り当てが決定されている。第１の実施形態の画像復号装置２０と同様な構成要素には同一の参照番号を付している。 (Image decoding device)
FIG. 8 is a block diagram of an image decoding apparatus according to the second embodiment of the present invention. The image decoding device 20b according to the second embodiment includes an entropy decoding unit 201b, and an inverse quantization / inverse orthogonal transform unit 204 and a prediction signal generation unit 205 that constitute an inverse frequency transform unit. The image decoding device 20b of the present embodiment is a bit stream encoded by the image encoding device 1b, that is, an encoded bit stream that is indirectly expressed using image information regarding mode information in compression encoding of an image. For the mode information of a predetermined encoding method, the image encoding device 1b determines the assignment of the image information to the frequency conversion coefficient by the frequency conversion process. The same components as those in the image decoding device 20 of the first embodiment are denoted by the same reference numerals.

エントロピー復号部２０１ｂは、モード情報が間接的に表現された画像情報の周波数変換係数を有する符号化ビットストリームに対してエントロピー復号を施して周波数変換係数のブロックを再構成し、逆量子化・逆直交変換部２０４に送出する。ただし、エントロピー復号部２０１ｂは、モード抽出機能（第１の実施形態におけるモード情報抽出部２０２の機能に相当する）を有し、本例では、スキャン方法の種類に関するモード情報が間接的に表現されたブロックの周波数変換係数の値を分析して当該割り当てられたモード情報を抽出するモード判別部２０２ｂを備える。 The entropy decoding unit 201b performs entropy decoding on the encoded bitstream having the frequency conversion coefficient of the image information in which the mode information is indirectly expressed, and reconstructs the block of the frequency conversion coefficient, and performs inverse quantization / inverse The data is sent to the orthogonal transform unit 204. However, the entropy decoding unit 201b has a mode extraction function (corresponding to the function of the mode information extraction unit 202 in the first embodiment), and in this example, mode information regarding the type of scanning method is indirectly expressed. A mode discriminating unit 202b for analyzing the value of the frequency conversion coefficient of the block and extracting the assigned mode information.

モード判別部２０２ｂは、モード情報が間接的に表現されたブロックの周波数変換係数の値を分析して当該割り当てられたモード情報（本例では、スキャン方法の種類に関するモード情報）を抽出する。これにより、エントロピー復号部２０１ｂは、スキャン方法の種類を判別してエントロピー復号処理を実行する。 The mode discriminating unit 202b analyzes the value of the frequency conversion coefficient of the block in which the mode information is indirectly expressed, and extracts the assigned mode information (in this example, mode information related to the type of scanning method). Thereby, the entropy decoding unit 201b determines the type of scanning method and executes the entropy decoding process.

逆量子化・逆直交変換部２０４は、エントロピー復号部２０１ｂによって復号したブロックの周波数変換係数に対して、逆周波数変換処理、つまり逆量子化及び逆整数変換処理を施し、復号した画像信号を生成する。尚、前述したように、符号化側にて、符号化対象画像の入力画像信号と予測信号生成部１０２から供給される予測信号との差分信号に対して整数変換及び量子化が施されているため、逆量子化・逆直交変換部２０４は、予測信号生成部２０５によって既復号済の画像信号を逆量子化及び逆整数変換処理を施した差分信号に加算することで、復号した画像信号を生成する。 The inverse quantization / inverse orthogonal transform unit 204 performs inverse frequency transform processing, that is, inverse quantization and inverse integer transform processing, on the frequency transform coefficient of the block decoded by the entropy decoding unit 201b, and generates a decoded image signal To do. As described above, integer conversion and quantization are performed on the difference signal between the input image signal of the encoding target image and the prediction signal supplied from the prediction signal generation unit 102 on the encoding side. Therefore, the inverse quantization / inverse orthogonal transformation unit 204 adds the decoded image signal to the difference signal that has been subjected to inverse quantization and inverse integer transformation processing by the prediction signal generation unit 205, thereby obtaining the decoded image signal. Generate.

本実施形態の画像復号装置２０ｂをコンピュータとして機能させることができ、当該コンピュータに、本発明に係る各構成要素を実現させるためのプログラムは、当該コンピュータの内部又は外部に備えられるメモリ（図示せず）に記憶される。コンピュータに備えられる中央演算処理装置（ＣＰＵ）などの制御で、各構成要素の機能を実現するための処理内容が記述されたプログラムを、適宜、メモリから読み込んで、本実施形態の画像復号装置２０ｂの各構成要素の機能をコンピュータに実現させることができる。ここで、各構成要素の機能をハードウェアの一部で実現してもよい。 The image decoding apparatus 20b of the present embodiment can function as a computer, and a program for causing the computer to realize each component according to the present invention is a memory (not shown) provided inside or outside the computer. ). An image decoding device 20b according to the present embodiment is appropriately read from a memory by reading a program in which processing contents for realizing the function of each component are controlled under the control of a central processing unit (CPU) provided in the computer. The function of each component can be realized by a computer. Here, the function of each component may be realized by a part of hardware.

次に、モード情報伝送置換装置１２ｂを備える画像符号化装置１ｂにおける画像符号化処理の動作と、画像復号装置２０における画像復号処理の代表的な動作について、それぞれ詳細に説明する。尚、限定するものではないが、４×４の直交変換係数のブロックを、スキャン方法の種類に関する間接的なモード情報を伝送する画像情報として用いる場合について説明する。 Next, the operation of the image encoding process in the image encoding apparatus 1b including the mode information transmission / replacement device 12b and the typical operation of the image decoding process in the image decoding apparatus 20 will be described in detail. Although not limited, a case where a block of 4 × 4 orthogonal transform coefficients is used as image information for transmitting indirect mode information regarding the type of scanning method will be described.

〔装置動作〕
（画像符号化処理）
図９は、本発明による第２の実施形態のモード情報伝送置換装置を備える画像符号化装置における画像符号化処理の動作を示すフロー図である。 [Device operation]
(Image coding process)
FIG. 9 is a flowchart showing the operation of the image coding process in the image coding device including the mode information transmission / replacement device according to the second embodiment of the present invention.

先ず、画像符号化装置１ｂは、入力画像信号に関して、直交変換・量子化部１０１によって２次元配列のブロックからなる量子化された直交変換係数をモード情報伝送置換装置１２ｂにおけるモード情報割当部１２０ｂに送出する。モード情報割当部１２０ｂは、直交変換・量子化部１０１から送出される量子化された周波数変換係数のブロックを入力して分析を開始する（ステップＳ３１）。 First, the image encoding device 1b transmits the quantized orthogonal transform coefficient composed of the two-dimensional array block by the orthogonal transform / quantization unit 101 to the mode information assignment unit 120b in the mode information transmission / replacement device 12b with respect to the input image signal. Send it out. The mode information allocating unit 120b inputs the quantized frequency transform coefficient block sent from the orthogonal transform / quantization unit 101 and starts analysis (step S31).

モード情報割当部１２０ｂによって、量子化後のブロックに対し、以下の処理を行う。先ず、ＤＣ成分以外の周波数変換係数が全て０であるか否かを判定する（ステップＳ３２）。ＤＣ成分以外の係数が全て０である場合、いずれのスキャン方法でも伝送効率は同じであるので、係数変更部１２５ｂ及びモード選択部１２６の処理をバイパスして周波数変換係数の値の変更を行わずにエントロピー符号化を行う（ステップＳ３５）。一方、ＤＣ成分以外の係数の全てが０ではない場合、モード情報割当部１２０ｂは、予め定められた符号化方式のＮ種類のモードを有するモード情報について、当該符号化方式の周波数変換処理によるブロックの周波数変換係数に対する割り当てを決定し、この割り当て情報を係数変更部１２５ｂに送出する。係数変更部１２５ｂは、予め定めた複数種類のスキャン方法の種類数と同数のブロックを生成する。係数変更部１２５ｂが生成する複数のブロックは、スキャン方法の種類に応じて各々が異なる周波数変換係数を有するように、入力された周波数変換係数のブロックに対して変更される（ステップＳ３３）。 The mode information allocation unit 120b performs the following processing on the quantized block. First, it is determined whether or not all frequency conversion coefficients other than the DC component are 0 (step S32). When all the coefficients other than the DC component are 0, the transmission efficiency is the same in any scanning method, so the processing of the coefficient changing unit 125b and the mode selecting unit 126 is bypassed and the value of the frequency conversion coefficient is not changed. Entropy coding is performed on (step S35). On the other hand, when all the coefficients other than the DC component are not 0, the mode information allocating unit 120b performs block conversion on the mode information having N types of predetermined encoding schemes by frequency conversion processing of the encoding schemes. Is assigned to the frequency conversion coefficient, and this assignment information is sent to the coefficient changing unit 125b. The coefficient changing unit 125b generates the same number of blocks as the number of types of a plurality of predetermined scanning methods. The plurality of blocks generated by the coefficient changing unit 125b are changed with respect to the input frequency conversion coefficient block so that each of the blocks has a different frequency conversion coefficient depending on the type of scanning method (step S33).

例えば、予め定めた複数種類のスキャン方法の種類数が３であるとき、係数変更部１２５ｂは、入力された周波数変換係数のブロックに対して３種類のブロックを生成する。第１のブロックは、ＤＣ成分の周波数変換係数の値を変更せずに、その入力値のまま出力したもの、第２のブロックは、ＤＣ成分の周波数変換係数を、入力値−１（或いは入力値＋２）に変更したもの、第３のブロックは、ＤＣ成分の周波数変換係数を、入力値＋１（或いは入力値−２）に変更したものである。 For example, when the number of types of a plurality of predetermined scanning methods is 3, the coefficient changing unit 125b generates three types of blocks for the input frequency conversion coefficient block. The first block outputs the DC component frequency conversion coefficient without changing the input value, and the second block outputs the DC component frequency conversion coefficient with the input value −1 (or input). In the third block, the frequency conversion coefficient of the DC component is changed to the input value + 1 (or the input value-2).

これにより、ＤＣ成分の周波数変換係数を３で割った剰余がそれぞれ０，１，２である３種類のブロックとすることができる。尚、ＤＣ成分の周波数変換係数を変更するにあたり、その入力値の絶対値からの差異が大きくなるような変更をなるべく行わないことが好ましい。ＤＣ成分の周波数変換係数の値の変更に伴う画質の変化を視覚的に認識しにくいようにするためである。そこで、ＤＣ成分の周波数変換係数の値を変更するにあたり、原則としてＤＣ成分の周波数変換係数の入力値を±１とし、入力値＋１や入力値−１では符号化方式によって扱える上限値及び下限値を超える場合には、それぞれ入力値−２、入力値＋２とする。 Thereby, it can be set as three types of blocks whose remainder which divided the frequency conversion coefficient of DC component by 3 is 0, 1, and 2, respectively. Note that when changing the frequency conversion coefficient of the DC component, it is preferable to make as little change as possible so that the difference from the absolute value of the input value becomes large. This is to make it difficult to visually recognize a change in image quality accompanying a change in the value of the frequency conversion coefficient of the DC component. Therefore, when changing the value of the DC component frequency conversion coefficient, in principle, the input value of the DC component frequency conversion coefficient is set to ± 1, and the upper limit value and the lower limit value that can be handled by the encoding method for the input value +1 and the input value −1. If the value exceeds the value, the input value is -2 and the input value +2.

次に、モード選択部１２６によって、係数変更部１２５ｂによって生成された、それぞれＮ種類の符号化のモードを割り当てたＮ種類のブロックに対し、ＲＤコストに基づいて最適なスキャン方法を示すブロックを選択する（ステップＳ３４）。例えば、ステップＳ３３で生成された３種類のブロックのそれぞれに対してＤＣ成分の周波数変換係数を３で割った剰余に対応した異なるスキャン方法（本例では、ジグザグスキャン、水平スキャン、垂直スキャンの３種類のスキャン）が割り当てられている際に、所定の最適化計算（例えば、ＲＤコスト）に基づいて最適なスキャン方法を示すブロックを選択する。 Next, the mode selection unit 126 selects a block indicating an optimal scanning method based on the RD cost for the N types of blocks generated by the coefficient changing unit 125b and assigned with N types of encoding modes. (Step S34). For example, different scanning methods corresponding to the remainder obtained by dividing the frequency conversion coefficient of the DC component by 3 for each of the three types of blocks generated in step S33 (in this example, zigzag scanning, horizontal scanning, vertical scanning 3 When a type of scan) is assigned, a block indicating an optimal scan method is selected based on a predetermined optimization calculation (for example, RD cost).

より具体的には、ステップＳ３３で作成したブロックのうち、ＤＣ成分の周波数変換係数を３で割った剰余について、この剰余が０であるブロックに対してジグザグスキャンを、剰余が１であるブロックに対して水平スキャンを、剰余が２であるブロックに対して垂直スキャンを割り当て、ＲＤコストの最も小さくなるブロックを選択する。 More specifically, among the blocks created in step S33, zigzag scanning is performed on the block in which the remainder is 0 for the remainder obtained by dividing the frequency conversion coefficient of the DC component by 3, and the block in which the remainder is 1. On the other hand, a horizontal scan is assigned, and a vertical scan is assigned to a block whose remainder is 2, and a block having the smallest RD cost is selected.

最終的に、エントロピー符号化部１０３によって、ステップＳ３２，Ｓ３４で選択したブロックについてエントロピー符号化を行う（ステップＳ３５）。 Finally, the entropy encoding unit 103 performs entropy encoding on the block selected in steps S32 and S34 (step S35).

これにより、符号化方式の処理要素に関わらず複数のモードを切り替えつつ、モード情報を示すフラグを伝送することなしにモード情報を間接的に伝送することができる。 As a result, mode information can be transmitted indirectly without transmitting a flag indicating mode information while switching between a plurality of modes regardless of the processing elements of the encoding method.

（画像復号処理）
図１０は、本発明による第２の実施形態の画像復号装置における画像復号処理の動作を示すフロー図である。 (Image decoding process)
FIG. 10 is a flowchart showing the operation of the image decoding process in the image decoding apparatus according to the second embodiment of the present invention.

エントロピー復号部２０１ｂにおけるモード判別部２０２ｂによって、エントロピー復号処理において、モード情報が間接的に表現されたブロックの周波数変換係数を１次元化した符号化ビットストリームに対してエントロピー復号を施す際に、モード情報が間接的に表現されたブロックの周波数変換係数の値を分析して画像符号化装置１ｂで割り当てられたモード情報を抽出し（ステップＳ４１）、抽出したモード情報を基に２次元配列の周波数変換係数のブロックを再構成する（ステップＳ４２）。例えば、モード判別部２０２ｂは、画像符号化装置１ｂで設定したスキャン方法に対応させて、ブロックのＤＣ成分の周波数変換係数（１次元配列の最初の周波数変換係数）を抽出し、このＤＣ成分の周波数変換係数を３で割った剰余からスキャン方法に関するモードを判別し、判別したモードに対応するスキャン方法で逆スキャンを実行してブロックの２次元配列を再構成する。本例では、剰余が０であるブロックに対してジグザグスキャンを、剰余が１であるブロックに対して水平スキャンを、剰余が２であるブロックに対して垂直スキャンを適用し、逆スキャンを実行してブロックの２次元配列を再構成する。 When entropy decoding is performed on an encoded bitstream obtained by converting the frequency transform coefficient of a block in which mode information is indirectly expressed into one dimension by the mode determination unit 202b in the entropy decoding unit 201b, The mode information assigned by the image encoding device 1b is extracted by analyzing the value of the frequency conversion coefficient of the block in which the information is indirectly represented (step S41), and the frequency of the two-dimensional array is extracted based on the extracted mode information. A block of transform coefficients is reconstructed (step S42). For example, the mode determination unit 202b extracts the frequency conversion coefficient of the DC component of the block (the first frequency conversion coefficient of the one-dimensional array) corresponding to the scanning method set by the image encoding device 1b, A mode related to the scan method is determined from the remainder obtained by dividing the frequency conversion coefficient by 3, and a reverse scan is performed by the scan method corresponding to the determined mode to reconstruct a two-dimensional array of blocks. In this example, a zigzag scan is applied to a block with a remainder of 0, a horizontal scan is applied to a block with a remainder of 1, a vertical scan is applied to a block with a remainder of 2, and a reverse scan is executed. To reconstruct a two-dimensional array of blocks.

最終的に、逆量子化・逆直交変換部２０４によって、エントロピー復号部２０１ｂによって復号したブロックの周波数変換係数に対して、逆周波数変換処理、つまり逆量子化及び逆整数変換処理を施し、復号した画像信号を生成する（ステップＳ４３）。 Finally, the inverse quantization / inverse orthogonal transform unit 204 performs inverse frequency transform processing, that is, inverse quantization and inverse integer transform processing, on the frequency transform coefficient of the block decoded by the entropy decoding unit 201b, and performs decoding. An image signal is generated (step S43).

以上述べた第２の実施形態は、例示にすぎない。例えば、上述の例では、ジグザグスキャン、水平スキャン及び垂直スキャンの３種類のスキャン方法として説明したが、スキャン方法は、特許文献１に記載されているように多数の種類を設けることができる。つまり、Ｎ（Ｎは２以上の整数）種類のスキャン方法を切り替えるようにしてもよい。Ｎ種類のスキャン方法に対応させるには、ＤＣ成分の直交変換係数をＮで割った剰余に応じてＮ種類のスキャン方法に対応するように、Ｎ種類のＤＣ成分の直交変換係数を有するブロックを生成する。 The second embodiment described above is merely an example. For example, in the above-described example, three types of scanning methods, zigzag scanning, horizontal scanning, and vertical scanning, have been described. However, as described in Patent Document 1, many types of scanning methods can be provided. That is, N (N is an integer of 2 or more) types of scanning methods may be switched. In order to correspond to N types of scanning methods, a block having orthogonal transformation coefficients of N types of DC components is adapted so as to correspond to N types of scanning methods according to the remainder obtained by dividing the orthogonal transformation coefficients of DC components by N. Generate.

また、上述の例では、ＤＣ成分の直交変換係数のみを変更する例を説明したが、Ｎ種類のスキャンに対応させるために、ブロック内の周波数変換係数の和（或いは、ブロック内の周波数変換係数の絶対値和）をＮで割った剰余に応じてＮ種類のスキャンに対応するように、Ｎ種類の直交変換係数を有するブロックを生成することもできる。この場合、周波数変換係数の和（或いは、絶対値和）による変更を行うにあたり、元のブロック内の周波数変換係数のうちの絶対値が最も大きい係数の値を変更してＮ種類のブロックを生成するか、又は元のブロック内の周波数変換係数のうちそれぞれ異なるＮ種類の係数の値をランダムに選択して変更することでＮ種類のブロックを生成するのが好適である。また、±２よりも広い幅で周波数変換係数の値を変更したい場合には、１つの係数を±２よりも広い幅で変更するよりも、±２以下で複数の係数に分散させて変更するのが好適である。これは、周波数変換係数の変更に伴う画質の変化を視覚的に認識しにくいようにするためである。 In the above example, only the orthogonal transform coefficient of the DC component is changed. However, in order to correspond to N types of scans, the sum of the frequency transform coefficients in the block (or the frequency transform coefficient in the block). It is also possible to generate a block having N types of orthogonal transform coefficients so as to correspond to N types of scans according to the remainder obtained by dividing (the absolute value sum) of N by N. In this case, when changing by the sum (or absolute value sum) of frequency conversion coefficients, the value of the coefficient having the largest absolute value among the frequency conversion coefficients in the original block is changed to generate N types of blocks. It is preferable to generate N types of blocks by randomly selecting and changing different values of N types of coefficients among the frequency conversion coefficients in the original block. Also, when it is desired to change the value of the frequency conversion coefficient within a width wider than ± 2, one coefficient is changed by being distributed to a plurality of coefficients within ± 2 instead of being changed within a width wider than ± 2. Is preferred. This is to make it difficult to visually recognize a change in image quality due to a change in the frequency conversion coefficient.

例えば、元のブロック内の周波数変換係数の絶対値和に対するＮで割った剰余に応じてＮ種類のスキャンを割り当てる際に、例えば変更する１つの係数の絶対値を＋３とするよりも、元のブロック内の周波数変換係数のうちの絶対値の大きさが上位３つの係数を選択し、選択された３つの係数の値をそれぞれ＋１ずつ大きくなるようにＮの値（本例では、「３」）について分散して変更する。或いは、周波数変換部の処理として整数変換である場合に、ブロックの所定の領域に絶対値が大きい係数が出やすいことが予め分かっているときには、その領域内の係数を変更するように構成することができる。例えば、ＤＣＴに基づく整数変換では、ブロックのＤＣ成分周辺の領域で絶対値が大きい係数が集中することが知られている。 For example, when assigning N types of scans according to the remainder divided by N with respect to the sum of absolute values of frequency conversion coefficients in the original block, for example, instead of setting the absolute value of one coefficient to be changed to +3, Among the frequency conversion coefficients in the block, the top three coefficients having the absolute value are selected, and the value of N is increased so that each of the selected three coefficients increases by +1 (in this example, “3”). ) Is distributed and changed. Alternatively, when integer conversion is performed as the processing of the frequency conversion unit, when it is known in advance that a coefficient having a large absolute value is likely to appear in a predetermined area of the block, the coefficient in that area is changed. Can do. For example, in integer conversion based on DCT, it is known that coefficients having large absolute values are concentrated in a region around the DC component of a block.

また、上述の例では、ＲＤコストを計算して最適なスキャン方法を選択するとして説明したが、エントロピー符号化の際の符号長を考慮して、０ランの長さが最も長くなるようなスキャン方法を選択するように構成することができる。 In the above-described example, the RD cost is calculated and the optimum scanning method is selected. However, in consideration of the code length at the time of entropy coding, the scan with the longest run length is 0. It can be configured to select a method.

また、上述の例では、モード情報としてスキャンの種類を示す情報を伝送する例を挙げて説明したが、例えば直交変換の種類を示す情報や量子化等に用いるフィルタの種類を示す情報、或いはイントラ予測の予測モードの情報など、他のモード情報であってもよいことは勿論である。例えば、イントラ予測の予測モードが９種類のモードである場合、この９種類のモード情報を識別できるように、元のブロック内の周波数変換係数（ＤＣ成分）の値を変更しつつ、実際に各モードに対応する予測画像のブロックを９種類生成する。この生成した９種類の予測画像のブロックからＲＤコストや０ランの長さを計算して最適なモードのブロックを選択すればよい。或いは、例えば、イントラ予測の予測モードが９種類であり、スキャン方法の種類が上述のごとく３種類であるとすると、イントラ予測の予測モードの９種類から１つを選択しスキャン方法の３種類から１つを選択して、全部で１２種類のモードを１つのブロックのＤＣ成分で識別させることができる。 In the above-described example, an example in which information indicating the type of scan is transmitted as the mode information has been described. However, for example, information indicating the type of orthogonal transform, information indicating the type of filter used for quantization, or intra Of course, other mode information such as prediction prediction mode information may be used. For example, when the prediction modes for intra prediction are nine types of modes, the values of the frequency transform coefficients (DC components) in the original block are changed so that the nine types of mode information can be identified. Nine types of predicted image blocks corresponding to the mode are generated. The optimal mode block may be selected by calculating the RD cost and the length of 0 run from the generated nine types of predicted image blocks. Or, for example, assuming that there are nine types of prediction modes for intra prediction and three types of scan methods as described above, one of the nine types of prediction modes for intra prediction is selected, and three types of scan methods are selected. By selecting one, a total of 12 modes can be identified by the DC component of one block.

これにより、符号化方式の処理要素に関わらず複数のモードを切り替えつつ、モード情報を示すフラグを伝送することなしに多種類のモード情報が間接的に伝送可能となる。また、第１の実施形態で説明したモード情報伝送方法を兼用することで、スキャン方法の種類を増大させるだけでなく、他の符号化に関するモード情報を増大させたとしても、画質の改善に有効な処理要素のモードについて符号量を増やすことなく多種類の間接的なモード情報の伝送が可能となる。 As a result, it is possible to indirectly transmit many types of mode information without transmitting a flag indicating mode information while switching between a plurality of modes regardless of the processing elements of the encoding method. Also, by combining the mode information transmission method described in the first embodiment, it is effective not only to increase the types of scanning methods but also to improve image quality even if mode information related to other encodings is increased. Therefore, it is possible to transmit various types of indirect mode information without increasing the code amount for the modes of various processing elements.

包括的には、本発明による第１の実施形態及び第２の実施形態のモード情報伝送置換装置１２，１２ｂは、画像の圧縮符号化におけるモード情報に応じて、伝送する画像情報を置換する装置であり、予め定められた符号化方式のモード情報について、当該符号化方式の周波数変換処理による画像情報の周波数変換係数に対する割り当てを決定するモード情報割当部１２０，１２０ｂと、当該割り当てられたモード情報に対応する画像情報となるように、周波数変換係数の値を変更する係数変更部１２５，１２５ｂと、を備える。 In general, the mode information transmission / replacement apparatuses 12 and 12b according to the first and second embodiments of the present invention replace the image information to be transmitted according to the mode information in the compression encoding of the image. And mode information allocating units 120 and 120b for determining allocation of frequency information of image information by frequency conversion processing of the encoding method for mode information of a predetermined encoding method, and the allocated mode information And coefficient changing units 125 and 125b for changing the value of the frequency conversion coefficient so that the image information corresponds to the above.

特に、第１の実施形態のモード情報伝送置換装置１２において、周波数変換処理による画像情報は、符号化方式で指定されるブロック単位の複数の周波数変換係数からなり、モード情報割当部１２０は、ブロック単位での識別を要するモード情報の割り当てを決定し、係数変更部１２５は、符号化方式の周波数変換処理による画像情報が当該割り当てられたモード情報に対応する画像情報として一致しないときのみ、ブロック単位の複数の周波数変換係数のうちの少なくとも１つについて値を変更するように構成することができる。これにより、ブロック単位で間接的なモード情報を識別可能とした伝送が可能となる。 In particular, in the mode information transmission / replacement device 12 of the first embodiment, the image information obtained by the frequency conversion process is composed of a plurality of frequency conversion coefficients in block units specified by the encoding method. The allocation of mode information that requires identification in units is determined, and the coefficient changing unit 125 is in block units only when the image information obtained by the frequency conversion processing of the encoding scheme does not match the image information corresponding to the allocated mode information. The value of at least one of the plurality of frequency conversion coefficients may be changed. This enables transmission in which indirect mode information can be identified on a block basis.

また、第１の実施形態のモード情報伝送置換装置１２において、モード情報割当部１２０は、ブロック単位での識別を要するモード情報について、符号化方式で指定されるブロック単位の複数の周波数変換係数のうち、非ゼロ係数の個数、ゼロ係数の個数、絶対値１の係数の個数又はスキャン順で最後の非ゼロ係数の値のいずれかに対応させる割り当てを決定し、係数変更部１２５は、非ゼロ係数の個数、ゼロ係数の個数、絶対値１の係数の個数又はスキャン順で最後の非ゼロ係数の値のいずれかで当該割り当てられたモード情報に対応する画像情報となるように、ブロック単位の複数の周波数変換係数のうちの少なくとも１つについて値を変更するように構成することができる。これにより、ブロック単位で間接的なモード情報を識別可能とするにあたり、如何なるブロックに対しても、間接的なモード情報の伝送が可能となる。 Further, in the mode information transmission / replacement device 12 of the first embodiment, the mode information allocating unit 120 uses a plurality of frequency transform coefficients in block units designated by the encoding method for mode information that requires identification in block units. Among them, the number of non-zero coefficients, the number of zero coefficients, the number of coefficients having an absolute value of 1 or the assignment corresponding to the value of the last non-zero coefficient in the scan order is determined. The number of coefficients, the number of zero coefficients, the number of coefficients having an absolute value of 1 or the value of the last non-zero coefficient in the scan order is set to be image information corresponding to the assigned mode information in block units. A value may be changed for at least one of the plurality of frequency conversion coefficients. Thus, indirect mode information can be transmitted to any block in order to identify indirect mode information in units of blocks.

また、第１の実施形態のモード情報伝送置換装置１２において、モード情報割当部１２０は、ブロック単位での識別を要するモード情報について、符号化方式で指定されるブロック単位の複数の周波数変換係数のうち、非ゼロ係数の個数、ゼロ係数の個数、絶対値１の係数の個数又はスキャン順で最後の非ゼロ係数の値のいずれかを所定値で割った剰余数に対応させる割り当てを決定し、係数変更部１２５は、非ゼロ係数の個数、ゼロ係数の個数、絶対値１の係数の個数又はスキャン順で最後の非ゼロ係数の値のいずれかを所定値で割った剰余数で当該割り当てられたモード情報に対応する画像情報となるように、ブロック単位の複数の周波数変換係数のうちの少なくとも１つについて値を変更するように構成することができる。これにより、ブロック単位で２ビット以上の間接的なモード情報の伝送が可能となる。 Further, in the mode information transmission / replacement device 12 of the first embodiment, the mode information allocating unit 120 uses a plurality of frequency transform coefficients in block units designated by the encoding method for mode information that requires identification in block units. Among them, the number of non-zero coefficients, the number of zero coefficients, the number of coefficients having an absolute value of 1 or the assignment corresponding to the remainder obtained by dividing the value of the last non-zero coefficient in the scan order by a predetermined value is determined. The coefficient changing unit 125 assigns the number of non-zero coefficients, the number of zero coefficients, the number of coefficients having an absolute value of 1, or the remainder number obtained by dividing one of the values of the last non-zero coefficient in the scan order by a predetermined value. The image information corresponding to the mode information can be configured to change the value of at least one of the plurality of frequency conversion coefficients in block units. Thereby, indirect mode information of 2 bits or more can be transmitted in block units.

また、第１の実施形態のモード情報伝送置換装置１２において、モード情報割当部１２０は、ブロック単位での識別を要する１ビットのモード情報について、符号化方式で指定されるブロック単位の複数の周波数変換係数のうち、非ゼロ係数の個数、ゼロ係数の個数又は絶対値１の係数の個数が奇数であるか偶数であるか、スキャン順で最後の非ゼロ係数の値が１であるか１以外であるかによって割り当てを決定するように構成することができる。これにより、１ビットのモード情報について復号側でモード情報を抽出する追加の処理負担をほとんど無くすことができる。 Further, in the mode information transmission / replacement device 12 of the first embodiment, the mode information allocating unit 120 has a plurality of frequencies in units of blocks specified by the encoding method for 1-bit mode information that requires identification in units of blocks. Among the transform coefficients, the number of non-zero coefficients, the number of zero coefficients, or the number of coefficients having an absolute value of 1 is odd or even, or the value of the last non-zero coefficient in the scan order is 1 or other than 1 The allocation can be determined depending on whether or not. As a result, it is possible to almost eliminate the additional processing burden of extracting mode information on the decoding side for 1-bit mode information.

また、第１の実施形態のモード情報伝送置換装置１２において、モード情報割当部１２０は、非ゼロ係数の個数、ゼロ係数の個数、絶対値１の係数の個数又はスキャン順で最後の非ゼロ係数の値のいずれを用いて当該モード情報を伝送するかの旨を示すモード情報の伝送方法情報を、符号化する補助情報として生成するモード情報伝送方法選択部１２３を有するように構成することができる。これにより、従来技術であれば３ビット以上のモード情報の伝送が必要であった場合にも、本発明では間接的なモード伝送に付随して、非ゼロ係数の個数、ゼロ係数の個数、絶対値１の係数の個数又はスキャン順で最後の非ゼロ係数の値のうちのいずれか２つ以上の選択がある旨を復号側に伝送するとしても、１ビット又は２ビットの伝送方法情報で済ませることができ、伝送効率を改善することができる。 Further, in the mode information transmission / replacement device 12 of the first embodiment, the mode information allocating unit 120 includes the number of non-zero coefficients, the number of zero coefficients, the number of coefficients having an absolute value of 1 or the last non-zero coefficient in the scan order. The mode information transmission method selection unit 123 can generate the mode information transmission method information indicating which mode information is to be transmitted as auxiliary information to be encoded. . Thus, even if transmission of mode information of 3 bits or more is necessary in the prior art, in the present invention, the number of non-zero coefficients, the number of zero coefficients, absolute Even if it is transmitted to the decoding side that there are two or more selections among the number of coefficients of value 1 or the value of the last non-zero coefficient in the scan order, it can be done with 1-bit or 2-bit transmission method information. Transmission efficiency can be improved.

さらに、包括的には、本発明による第２の実施形態のモード情報伝送置換装置１２ｂは、画像の圧縮符号化におけるモードをＮ種類（Ｎは２以上の整数）から選択し、選択したモードに応じて置換された画像情報を伝送する装置であり、予め定めた符号化方式のＮ種類のモードを有するモード情報について、当該符号化方式の周波数変換処理による画像情報の周波数変換係数に対する割り当てを決定するモード情報割当部１２０ｂと、当該符号化方式の周波数変換処理によるブロック内の周波数変換係数のうち１つ以上の係数値を変更して、Ｎ種類のブロックを生成する係数変更部１２５ｂと、それぞれＮ種類の符号化のモードを割り当てたＮ種類のブロックから予め定めた最適化計算に基づいて１つのブロックを選択して出力するモード選択部１２６と、を備える。例えば、間接的に伝送したいモード情報が３種類あるとすると、係数変更部１２５ｂは、元の画像情報の周波数変換係数の１つのブロックから、周波数変換係数をそれぞれ変更した３種類のブロックを生成する。これらの３種類のブロックは、それぞれ３種類のモードを割り当てたブロックとなる。そこで、モード選択部１２６は、これらの３種類のブロックに対して、割り当てた３種類のモードに関する処理要素（例えば、画面内予測やスキャン方法など）を実際に適用して予め定めた最適化計算を行い、最適なブロックを１つ選択する。この１つの最適なブロックを選択することで、圧縮符号化にとって最適なモードを選択したことになるのと同時に、選択したモード情報が間接的に表現されたブロックを決定したことになる。したがって、モード選択部１２６は、選択した最適なブロックを出力して伝送させるのみで、モード情報を別途フラグ等の補助情報で伝送することなしに、画像復号側に画像情報と同時にモード情報を伝えることができる。これにより、ブロック単位でＮ種類のモード情報を間接的に識別可能とした伝送が可能となる。予め定めた最適化計算としてＲＤコストの計算とする場合には、モード選択部１２６は、ＲＤコストが最小となるモードを選択する。また、予め定めた最適化計算としてエントロピー符号化における０ランの長さの計算とする場合には、モード選択部１２６は、０ランの長さが最長となるモードを選択する。 Furthermore, comprehensively, the mode information transmission / replacement device 12b according to the second embodiment of the present invention selects a mode for compression encoding of images from N types (N is an integer of 2 or more), and selects the selected mode. An apparatus for transmitting image information replaced in response, and determining, for mode information having N types of modes of a predetermined encoding method, allocation to frequency conversion coefficients of image information by frequency conversion processing of the encoding method A mode information allocating unit 120b, a coefficient changing unit 125b that generates one of N types of blocks by changing one or more coefficient values of the frequency conversion coefficients in the block by the frequency conversion process of the encoding scheme, Mode selection for selecting and outputting one block based on a predetermined optimization calculation from N types of blocks to which N types of encoding modes are assigned It includes a section 126, a. For example, if there are three types of mode information to be transmitted indirectly, the coefficient changing unit 125b generates three types of blocks in which the frequency conversion coefficients are changed from one block of the frequency conversion coefficients of the original image information. . These three types of blocks are blocks to which three types of modes are assigned, respectively. Accordingly, the mode selection unit 126 actually applies processing elements (for example, in-screen prediction, a scanning method, etc.) regarding the allocated three types of modes to these three types of blocks, and performs optimization calculations determined in advance. To select one optimum block. By selecting this one optimum block, the optimum mode for compression coding is selected, and at the same time, the block in which the selected mode information is indirectly expressed is determined. Therefore, the mode selection unit 126 outputs the selected optimum block and transmits it, and transmits the mode information simultaneously with the image information to the image decoding side without transmitting the mode information as auxiliary information such as a flag separately. be able to. This enables transmission in which N types of mode information can be indirectly identified on a block basis. When the RD cost is calculated as the optimization calculation determined in advance, the mode selection unit 126 selects a mode that minimizes the RD cost. In addition, in the case of calculating the length of 0 run in entropy coding as the predetermined optimization calculation, the mode selection unit 126 selects a mode having the longest 0 run length.

係数変更部１２５ｂは、ブロック内の１つ以上の係数からなる第１の係数グループに対して所定値の加減算を行なうことで係数値を変更し、第１の係数グループを含みブロック内の１つ以上の係数からなる第２の係数グループに応じたＮの剰余が、０からＮ−１となるＮ種類のブロックを生成することができる。例えば、係数変更部１２５ｂは、第１の係数グループをブロック内のＤＣ成分とし、第２の係数グループをブロック内の全ての係数としたとき、第２の係数グループの和に対するＮの剰余に応じて、第１の係数グループに対して、所定値の加減算を行うことで係数値を変更する。 The coefficient changing unit 125b changes the coefficient value by performing addition / subtraction of a predetermined value with respect to the first coefficient group including one or more coefficients in the block, and includes one coefficient group. N types of blocks in which the remainder of N corresponding to the second coefficient group including the above coefficients is 0 to N−1 can be generated. For example, when the first coefficient group is a DC component in the block and the second coefficient group is all the coefficients in the block, the coefficient changing unit 125b responds to the N remainder with respect to the sum of the second coefficient groups. Thus, the coefficient value is changed by adding / subtracting a predetermined value to / from the first coefficient group.

或いはまた、例えば、係数変更部１２５ｂは、第１の係数グループをブロック内のＤＣ成分とし、第２の係数グループをブロック内の全ての係数としたとき、第２の係数グループの絶対値和に対するＮの剰余に応じて、第１の係数グループに対して所定値の加減算を行うことで係数値を変更する。 Alternatively, for example, when the first coefficient group is a DC component in the block and the second coefficient group is all the coefficients in the block, the coefficient changing unit 125b performs the absolute value sum of the second coefficient group. Depending on the remainder of N, the coefficient value is changed by performing addition / subtraction of a predetermined value with respect to the first coefficient group.

ここで、係数変更部１２５ｂは、周波数変換係数の和（或いは、絶対値和）による変更を行うにあたり、ランダムに選択して変更することでＮ種類のブロックを生成するように構成することができる。特に、係数変更部１２５ｂは、元のブロック内の周波数変換係数の絶対値和に対するＮで割った剰余に応じてＮ種類のスキャンを割り当てる際に、元のブロック内の周波数変換係数のうちの絶対値が大きい順に所定数の係数を選択し、選択された所定数の係数の値をＮの値について分散して変更するように構成することができる。これにより、モード情報のＮ値が大きい場合でも、画質劣化を視認させることなく間接的なモード情報の伝送が可能となる。 Here, the coefficient changing unit 125b can be configured to generate N types of blocks by selecting and changing at random when performing the change by the sum (or absolute value sum) of the frequency conversion coefficients. . In particular, when the coefficient changing unit 125b assigns N types of scans according to the remainder divided by N with respect to the sum of absolute values of the frequency transform coefficients in the original block, the coefficient changing unit 125b calculates the absolute value of the frequency transform coefficients in the original block. A predetermined number of coefficients may be selected in descending order, and the selected predetermined number of coefficients may be distributed and changed with respect to N values. Thereby, even when the N value of the mode information is large, indirect transmission of the mode information is possible without visually recognizing image quality degradation.

第１の実施形態の画像復号装置２０は、画像の圧縮符号化におけるモード情報について画像情報を用いて置換された符号化ビットストリームを復号する装置であり、予め定められた符号化方式のモード情報について、符号化方式の周波数変換処理による画像情報の周波数変換係数に対する割り当てが決定されており、符号化ビットストリームをエントロピー復号して画像情報の周波数変換係数を送出するエントロピー復号部と、画像情報の周波数変換係数から当該割り当てられたモード情報を抽出するモード情報抽出部と、抽出されたモード情報を用いて、逆周波数変換処理を施し、復号した画像信号を生成する逆周波数変換部と、を備える。これにより、画像情報を用いて間接的に表現されているモード情報を復号することができる。 The image decoding device 20 according to the first embodiment is a device that decodes a coded bitstream that has been replaced by using image information for mode information in compression coding of an image, and mode information of a predetermined coding method. For the frequency conversion coefficient of the image information by the frequency conversion processing of the encoding method has been determined, an entropy decoding unit for entropy decoding the encoded bit stream and sending out the frequency conversion coefficient of the image information, A mode information extraction unit that extracts the allocated mode information from the frequency conversion coefficient; and an inverse frequency conversion unit that performs an inverse frequency conversion process using the extracted mode information and generates a decoded image signal. . Thereby, mode information expressed indirectly using image information can be decoded.

第２の実施形態の画像復号装置２０ｂは、画像の圧縮符号化におけるＮ種類（Ｎは２以上の整数）のモード情報について画像情報を用いて置換された符号化ビットストリームを復号する装置であり、予め定められた符号化方式のモード情報について、符号化方式の周波数変換処理によるブロックの周波数変換係数に対する割り当てが決定されており、符号化ビットストリームにおけるブロックの周波数変換係数から当該割り当てられたモード情報を判別し、エントロピー復号を施してブロックの周波数変換係数を送出するエントロピー復号部２０１ｂと、ブロックの周波数変換係数に対して逆周波数変換処理を施し、復号した画像信号を生成する逆周波数変換部（つまり、逆量子化・逆直交変換部２０４）と、を備える。これにより、画像情報を用いて間接的に表現されている符号化ビットストリームを復号することができ、Ｎ種類のモードを含むモード情報を復号することができる。 The image decoding device 20b according to the second embodiment is a device that decodes a coded bitstream in which N types (N is an integer of 2 or more) of mode information in image compression coding are replaced using image information. In addition, with respect to the mode information of a predetermined encoding scheme, the allocation to the frequency conversion coefficient of the block by the frequency conversion processing of the encoding scheme is determined, and the allocated mode is determined from the frequency conversion coefficient of the block in the encoded bitstream An entropy decoding unit 201b that discriminates information, performs entropy decoding and sends out frequency transform coefficients of the block, and an inverse frequency transform unit that performs inverse frequency transform processing on the frequency transform coefficients of the block and generates a decoded image signal (That is, an inverse quantization / inverse orthogonal transform unit 204). Thereby, the encoded bit stream expressed indirectly using image information can be decoded, and mode information including N types of modes can be decoded.

また、第２の実施形態の画像復号装置２０ｂにおいて、当該符号化ビットストリームにおけるブロックの周波数変換係数から当該割り当てられたモード情報を判別するエントロピー復号部２０１ｂは、それぞれＮ種類の符号化のモードが割り当てられた当該Ｎ種類のブロックの周波数変換係数から、当該割り当てられたモード情報を判別するように構成することができる。 In the image decoding device 20b according to the second embodiment, the entropy decoding unit 201b that determines the allocated mode information from the frequency conversion coefficient of the block in the encoded bitstream has N types of encoding modes. The assigned mode information can be determined from the frequency conversion coefficients of the assigned N types of blocks.

また、第２の実施形態の画像復号装置２０ｂにおいて、当該符号化ビットストリームにおけるブロックは、第１の係数グループの周波数係数と、第２の係数グループの周波数係数として予めグループ化されており、第１の係数グループを含みブロック内の１つ以上の係数からなる第２の係数グループに応じたＮの剰余が、０からＮ−１となるようにＮ種類のブロックが定義されているように構成することができる。 In the image decoding device 20b of the second embodiment, the blocks in the encoded bitstream are grouped in advance as the frequency coefficient of the first coefficient group and the frequency coefficient of the second coefficient group. N types of blocks are defined such that the remainder of N corresponding to the second coefficient group including one coefficient group and including one or more coefficients in the block is 0 to N−1. can do.

また、第２の実施形態の画像復号装置２０ｂにおいて、当該第１の係数グループをブロック内のＤＣ成分とし、当該第２の係数グループをブロック内の全ての係数としたとき、第２の係数グループの絶対値和に対するＮの剰余に応じて、第１の係数グループに対して所定値の加減算を行うことでＮ種類のブロックが定義されているように構成することができる。 In the image decoding device 20b of the second embodiment, when the first coefficient group is a DC component in the block and the second coefficient group is all the coefficients in the block, the second coefficient group It is possible to configure such that N types of blocks are defined by performing addition / subtraction of a predetermined value with respect to the first coefficient group in accordance with the remainder of N with respect to the absolute value sum.

本発明によれば、画像情報からモード情報を抽出することができ、圧縮符号化効率又は伝送効率を高めることができるので、モード情報の伝送を要する圧縮符号化の用途に有用である。 According to the present invention, mode information can be extracted from image information, and compression encoding efficiency or transmission efficiency can be increased. Therefore, the present invention is useful for compression encoding that requires transmission of mode information.

１，１ｂ画像符号化装置
１０，１０ａ画像符号化部
１１符号化設定部
１２，１２ｂモード情報伝送置換装置
２０画像復号装置
１００周波数変換部
１０１直交変換・量子化部
１０２予測信号生成部
１０３エントロピー符号化部
１２０，１２０ｂモード情報割当部
１２１モード情報伝送決定部
１２２決定判断情報供給部
１２３モード情報伝送方法選択部
１２４モード情報伝送値決定部
１２５，１２５ｂ係数変更部
１２６モード選択部
２０１，２０１ｂエントロピー復号部
２０２モード情報抽出部
２０２ｂモード判別部
２０３逆周波数変換部
２０４逆量子化・逆直交変換部
２０５予測信号生成部
１０１０減算部
１０１１整数変換部
１０１２量子化部 DESCRIPTION OF SYMBOLS 1,1b Image coding apparatus 10, 10a Image coding part 11 Coding setting part 12, 12b Mode information transmission substitution apparatus 20 Image decoding apparatus 100 Frequency conversion part 101 Orthogonal transformation / quantization part 102 Predictive signal generation part 103 Entropy code Conversion unit 120, 120b mode information allocation unit 121 mode information transmission determination unit 122 determination determination information supply unit 123 mode information transmission method selection unit 124 mode information transmission value determination unit 125, 125b coefficient change unit 126 mode selection unit 201, 201b entropy decoding Unit 202 mode information extraction unit 202b mode determination unit 203 inverse frequency transform unit 204 inverse quantization / inverse orthogonal transform unit 205 prediction signal generation unit 1010 subtraction unit 1011 integer transform unit 1012 quantization unit

Claims

A mode information transmission / replacement device that replaces image information to be transmitted in accordance with mode information in image compression coding,
A mode information allocating unit that determines allocation of frequency information to image data by frequency conversion processing of the encoding method for mode information of a predetermined encoding method;
A coefficient changing unit that changes the value of the frequency conversion coefficient so as to be image information corresponding to the assigned mode information;
A mode information transmission / replacement device comprising:

The image information by the frequency conversion process is composed of a plurality of frequency conversion coefficients in units of blocks specified by the encoding method,
The mode information allocation unit determines allocation of mode information that requires identification in units of blocks,
The coefficient changing unit is configured to select at least one of the plurality of frequency conversion coefficients in units of blocks only when image information obtained by the frequency conversion processing of the encoding scheme does not match as image information corresponding to the allocated mode information. 2. The mode information transmission / replacement device according to claim 1, wherein a value is changed for.

The mode information allocating unit, for the mode information that needs to be identified in units of blocks, out of a plurality of frequency transform coefficients in units of blocks specified in the encoding scheme, the number of non-zero coefficients, the number of zero coefficients, absolute Determine the assignment to correspond to either the number of coefficients of value 1 or the value of the last non-zero coefficient in scan order;
The coefficient changing unit corresponds to the allocated mode information by one of the number of non-zero coefficients, the number of zero coefficients, the number of coefficients having an absolute value of 1, or the value of the last non-zero coefficient in the scan order. The mode information transmission / replacement device according to claim 2, wherein a value of at least one of the plurality of frequency conversion coefficients in block units is changed so as to be image information.

A mode information transmission / replacement device for selecting a mode in image compression coding from N types (N is an integer of 2 or more) and transmitting image information replaced according to the selected mode,
A mode information allocating unit for determining allocation of image information to frequency conversion coefficients by frequency conversion processing of the encoding method for mode information having N types of modes of a predetermined encoding method;
A coefficient changing unit that changes one or more coefficient values among the frequency conversion coefficients in the block by the frequency conversion process of the encoding scheme to generate N types of blocks;
A mode selection unit that selects and outputs one block based on a predetermined optimization calculation from N types of blocks to which N types of encoding modes are respectively assigned;
A mode information transmission / replacement device comprising:

The mode information transmission / replacement device according to any one of claims 1 to 4,
An entropy encoding unit that performs entropy encoding on the frequency transform coefficient changed by the mode information transmission and substitution device;
An image encoding device comprising:

An image decoding apparatus that decodes an encoded bitstream that is replaced by using image information for mode information in image compression encoding,
For the mode information of the predetermined encoding method, the assignment to the frequency conversion coefficient of the image information by the frequency conversion processing of the encoding method has been determined,
An entropy decoding unit that entropy-decodes the encoded bitstream and sends a frequency conversion coefficient of the image information;
A mode information extraction unit for extracting the assigned mode information from the frequency conversion coefficient of the image information;
Using the extracted mode information and the frequency conversion coefficient of the image information, an inverse frequency conversion unit that performs an inverse frequency conversion process and generates a decoded image signal;
An image decoding apparatus comprising:

An image decoding apparatus that decodes an encoded bitstream in which N types (N is an integer of 2 or more) mode information in image compression encoding are replaced using image information,
For the mode information of the predetermined encoding method, the assignment to the frequency conversion coefficient of the block by the frequency conversion processing of the encoding method has been determined,
An entropy decoding unit that determines the allocated mode information from the frequency transform coefficient of the block from the encoded bitstream, performs entropy decoding, and sends out the frequency transform coefficient of the block;
An inverse frequency transform unit that performs inverse frequency transform processing on the frequency transform coefficient of the block and generates a decoded image signal;
An image decoding apparatus comprising:

A computer functioning as an image encoding device that replaces image information to be transmitted in accordance with mode information in image compression encoding,
For mode information of a predetermined encoding method, determining an assignment to the frequency conversion coefficient of image information by the frequency conversion processing of the encoding method;
Changing the value of the frequency conversion coefficient so as to be image information corresponding to the allocated mode information;
Encoding the modified frequency transform coefficients;
A program for running

A computer functioning as an image decoding device that decodes an encoded bitstream replaced with image information for mode information in image compression encoding;
With respect to the mode information of the predetermined encoding method, when the assignment of the image information to the frequency conversion coefficient by the frequency conversion processing of the encoding method is determined, the encoded bit stream is decoded and the image information Sending a frequency conversion coefficient;
Extracting the assigned mode information from the frequency conversion coefficient of the image information;
Using the extracted mode information and the frequency conversion coefficient of the image information, performing a reverse frequency conversion process and generating a decoded image signal;
A program for running

A computer functioning as an image decoding device that decodes an encoded bitstream that has been replaced with image information for N types of mode information (N is an integer of 2 or more) in image compression encoding;
(A) With respect to the mode information of a predetermined encoding scheme, when assignment to the frequency conversion coefficient of the block by the frequency conversion processing of the encoding scheme is determined, the frequency conversion coefficient of the block in the encoded bitstream Determining the assigned mode information from, performing entropy decoding and sending the frequency transform coefficients of the block;
(B) performing a reverse frequency conversion process on the frequency conversion coefficient of the block to generate a decoded image signal;
A program for running

The blocks in the encoded bitstream are generated as N types of blocks by changing one or more coefficient values among the frequency conversion coefficients in the block by the frequency conversion processing of the encoding method,
The step (A) includes a step of discriminating the allocated mode information from the frequency transform coefficients of the N types of blocks to which N types of encoding modes are allocated, respectively. 10. The program according to 10.