JP2014014163A - Image encoder and image decoder - Google Patents
Image encoder and image decoder Download PDFInfo
- Publication number
- JP2014014163A JP2014014163A JP2013191046A JP2013191046A JP2014014163A JP 2014014163 A JP2014014163 A JP 2014014163A JP 2013191046 A JP2013191046 A JP 2013191046A JP 2013191046 A JP2013191046 A JP 2013191046A JP 2014014163 A JP2014014163 A JP 2014014163A
- Authority
- JP
- Japan
- Prior art keywords
- transform coefficient
- prediction signal
- signal
- prediction
- scanning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims abstract description 343
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims abstract description 161
- 239000011159 matrix material Substances 0.000 claims abstract description 114
- 238000006243 chemical reaction Methods 0.000 claims abstract description 43
- 238000013139 quantization Methods 0.000 claims abstract description 35
- 230000009466 transformation Effects 0.000 claims description 18
- 238000011156 evaluation Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 4
- 230000001131 transforming effect Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 27
- 230000015654 memory Effects 0.000 description 16
- 238000004519 manufacturing process Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 7
- 238000013213 extrapolation Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 241000297530 Holoparamecus integer Species 0.000 description 1
- 241000406668 Loxodonta cyclotis Species 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013501 data transformation Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
本発明は、画像符号化装置及び画像復号装置に関するものである。 The present invention relates to an image encoding device and an image decoding device.
静止画像データや動画像データの伝送や蓄積を効率よく行うために、従来から画像データを圧縮符号化技術により圧縮することが行われている。このような圧縮符号化技術としては、動画像の場合はMPEG1〜4やH.261〜H.264等の方式が広く用いられている。 In order to efficiently transmit and store still image data and moving image data, image data is conventionally compressed by a compression encoding technique. Such compression encoding techniques include MPEG1-4 and H.264 in the case of moving images. 261-H. A method such as H.264 is widely used.
これらの符号化方式では、符号化の対象となる画像データを複数のブロックに分割した上で符号化処理及び復号処理を行う。さらに、MPEG4やH.264等の方式においては、符号化効率を更に高めるため、画面内の対象ブロックの符号化に際して、対象ブロックと同じ画面内にある隣接する既再生の画素信号を用いて予測信号を生成する。既再生の画素信号とは、いったん圧縮された画像データから復元されたものを意味する。そして、予測信号を対象ブロックの画素信号から差し引いた差分信号を符号化する。 In these encoding methods, image data to be encoded is divided into a plurality of blocks, and then encoding processing and decoding processing are performed. Furthermore, MPEG4 and H.264. In a system such as H.264, in order to further increase the encoding efficiency, when encoding a target block in the screen, a prediction signal is generated using adjacent reproduced pixel signals in the same screen as the target block. The already reproduced pixel signal means a signal restored from image data once compressed. Then, the difference signal obtained by subtracting the prediction signal from the pixel signal of the target block is encoded.
MPEG4では、対象ブロックの画像信号を離散コサイン変換した上で符号化する。すなわち、対象ブロックの直流成分及び第1行若しくは第1列の交流成分の係数に対し、該当対象ブロックの上又は左にあるブロックの同一成分の係数を予測値とし、両者の差分を符号化する。この予測値の決定は、対象ブロックの斜め上にあるブロックと対象ブロックの上又は左にあるブロックとの直流成分の勾配の大きさに基づいて行われる。このような画面内予測信号生成方法は、下記特許文献1に記載されている。
In MPEG4, the image signal of the target block is encoded after discrete cosine transform. That is, for the DC component coefficient of the target block and the AC component coefficient of the first row or the first column, the coefficient of the same component of the block above or to the left of the target block is used as a predicted value, and the difference between the two is encoded. . The determination of the predicted value is performed based on the magnitude of the gradient of the DC component between the block diagonally above the target block and the block above or to the left of the target block. Such an intra-screen prediction signal generation method is described in
一方、H.264では、対象ブロックに隣接する既再生の画素値を所定の方向に外挿して予測信号を生成する方法を採用している。この画素領域での画面内予測信号生成は、画像の細部を予測できるメリットがある。図19(a)には、H.264に用いられる画面内予測信号生成方法を説明するための模式図、図19(b)には、H.264の画面内予測信号生成方法における画素信号の引き伸ばし方向を示す。図19(a)において、ブロック1901は対象ブロックであり、ブロック1902〜1904は隣接するブロックで、過去の処理において既に再生された画素信号を含むブロックである。ここでは、ブロック1901の対象ブロックの境界に隣接する既再生画素群1905を用いて、9つのテキスチャ信号生成方法(即ち、図19(b)に示す8つの方向に沿ったテキスチャ信号の生成、及び、画素値の平均値をテキスチャ信号として生成)によりテキスチャ信号を生成する。たとえば、図19(b)に示す方向“0”の場合、ブロック1901の真上にある隣接画素を下方に引き伸ばしてテキスチャ信号を生成し、図19(b)に示す方向“1”の場合、ブロック1901の左にある既再生画素を右に引き伸ばしてテキスチャ信号を生成する。また、画素値の平均値を採用する方法では、画素群1905の全体の画素値の平均値をテキスチャ信号として生成する。テキスチャ信号を生成する際のより具体的な方法については、たとえば下記非特許文献1に記載されている。H.264では、このようにして生成された9つのテキスチャ信号のそれぞれと対象ブロックの画素信号との差分をとり、差分値が最も小さいテキスチャ信号の生成方法を最適の予測方法(以下、予測方法を「モード」とも言う)とする。差分信号は離散コサイン変換により変換係数行列に変換され、量子化された後、量子化された各変換係数は走査順にエントロピー符号化される。
On the other hand, H. In H.264, a method of generating a prediction signal by extrapolating already reproduced pixel values adjacent to the target block in a predetermined direction is adopted. The intra-screen prediction signal generation in this pixel region has an advantage that the details of the image can be predicted. In FIG. FIG. 19B is a schematic diagram for explaining an intra-screen prediction signal generation method used for H.264. 2 illustrates a pixel signal stretching direction in the H.264 intra-screen prediction signal generation method. In FIG. 19A, a
画像データを伝送もしくは蓄積する際には、画像データを復元するためこのようにして決定された最適予測方法を示す識別情報を送信側に送る必要がある。この識別情報を符号化するには、ブロック1902とブロック1903の2つのブロックに対して決定された予測方法を参照して行なう。すなわち、ブロック1902の予測方法の識別情報とブロック1903の予測方法の識別情報とを比較し、値の小さいものを参照モード情報として決定する。そして、対象ブロックの最適予測方法に関する識別情報をこの参照モード情報から相対的に符号化する。
When transmitting or storing image data, it is necessary to send identification information indicating the optimum prediction method determined in this way to the transmitting side in order to restore the image data. The identification information is encoded by referring to the prediction methods determined for the two
最適予測方法に関する識別情報をさらに効率よく符号化するには、特許文献2では、対象ブロックに隣接する隣接領域に対し、H.264と同じ外挿方法で予測信号を生成した上で参照モード情報を決定する。ここでは、隣接領域に接しているが対象ブロックに接していない画素群を用いて外挿処理を行なっている。図20は特許文献2に用いられる方法を説明するための模式図である。対象領域2001の最適予測方法に関する識別情報を符号化するに当って、まずは対象領域2001に隣接する隣接領域2005の最適予測方法を決定する。具体的には、隣接領域2005に隣接する画素群2006を用いて、H.264と同じ9つの外挿方法で、隣接領域2005に対する複数の予測信号を生成し、この複数の予測信号の中から、隣接領域2005の画素に最も相関の高い予測信号を決定し、それを生成するための外挿方法を参照モード情報とする。このように参照モード情報を決定するには、対象ブロックに直に接していない画素群を用いて行なっている。
In order to encode the identification information related to the optimal prediction method more efficiently, in
H.264のように画素領域における画面内予測信号生成方法を用いる符号化方法では、多くのテキスチャ信号の生成方法(以下、テキスチャ信号の生成方法を「モード」とも言う)を設け、ブロック毎に適切な方法を選択することで予測精度を高めることが可能となる。しかしながら、選択されたテキスチャ信号の生成方法にかかわらず、対象ブロックの画素信号と予測信号との差分信号に同じ変換符号化方法を適用しているため、予測精度を高めても、差分信号の符号量が効率良く削減できない場合がある。 H. In the encoding method using the intra-screen prediction signal generation method in the pixel area as in H.264, a number of texture signal generation methods (hereinafter, the texture signal generation method is also referred to as “mode”) are provided, and appropriate for each block. By selecting the method, it is possible to improve the prediction accuracy. However, the same transform coding method is applied to the difference signal between the pixel signal of the target block and the prediction signal regardless of the method of generating the selected texture signal. The amount may not be reduced efficiently.
本発明は、上記の課題を解決するものであり、差分信号の符号量を抑制することを目的とする。 The present invention solves the above-described problems, and an object thereof is to suppress the code amount of a differential signal.
本発明に係る画像符号化装置は、入力画像を複数の領域に分割する領域分割手段と、前記複数の領域のうちの処理対象である対象領域に含まれる対象画素信号に対する予測信号を生成する予測信号生成手段と、前記予測信号と前記対象画素信号との残差信号を生成する残差信号生成手段と、前記残差信号生成手段により生成された残差信号に対して変換と量子化の両方又は一方を行い、変換係数行列又は量子化された変換係数行列を生成する変換手段と、前記変換手段により生成された変換係数行列又は量子化された変換係数行列を走査して、変換係数又は量子化された変換係数の1次元データを生成する走査手段と、前記走査手段により生成された変換係数又は量子化された変換係数の1次元データを符号化する符号化手段と、前記変換係数又は量子化された変換係数の1次元データを復元する復号手段と、前記復号手段により復号された残差信号に関する変換係数又は量子化された変換係数の1次元データを逆走査して、変換係数行列又は量子化された変換係数行列を生成する逆走査手段と、前記逆走査手段により生成された前記変換係数行列に逆変換を行うか、又は、前記逆走査手段により生成された量子化された変換係数行列に逆量子化と逆変換の両方若しくは逆量子化のみを行うことで、再生残差信号を復元する逆変換手段と、前記予測信号生成手段により生成された前記予測信号と前記逆変換手段により復元された再生残差信号とを加算することによって、前記対象画素信号を復元する画像復元手段と、前記復元された対象画素信号を蓄積する画像保存手段と、を備え、前記予測信号生成手段は、前記画像保存手段に蓄積されている既再生の画素を参照して、異なる予測信号生成方法で複数のテキスチャ信号を生成し、生成した複数のテキスチャ信号のうち、所定の評価規則に照らし前記対象画素信号との相関が最も高いテキスチャ信号を、対象領域の予測信号として選択する予測方法決定手段を含み、前記符号化手段は、前記予測方法決定手段により選択されたテキスチャ信号を生成する予測信号生成方法を指示するモード情報を符号化し、前記走査手段は、用意された複数の走査方法の中から、前記予測方法決定手段により選択されたテキスチャ信号を生成する予測信号生成方法と変換ブロックサイズとに対応する走査方法を用いて、前記変換係数又は量子化された変換係数の1次元データを生成し、前記逆走査手段は、用意された複数の逆走査方法の中から、前記モード情報と前記変換ブロックサイズとに対応する逆走査方法を用いて、前記復元された変換係数又は量子化された変換係数の1次元データを逆走査して、再生残差信号の変換係数行列又は量子化された変換係数行列を生成し、前記符号化手段は、量子化された変換係数の1次元データを符号化する場合、当該量子化された変換係数を、1以上の大きさを持つ有意係数と連続する0係数の数に分けて符号化することを特徴とする。 An image encoding apparatus according to the present invention includes a region dividing unit that divides an input image into a plurality of regions, and a prediction that generates a prediction signal for a target pixel signal included in a target region that is a processing target of the plurality of regions. Signal generation means, residual signal generation means for generating a residual signal between the prediction signal and the target pixel signal, and both conversion and quantization for the residual signal generated by the residual signal generation means Alternatively, the transform means for generating a transform coefficient matrix or a quantized transform coefficient matrix is performed, and the transform coefficient matrix or the quantized transform coefficient matrix generated by the transform means is scanned to obtain the transform coefficient or quantum. Scanning means for generating the converted one-dimensional data of the transform coefficient, encoding means for encoding the transform coefficient generated by the scanning means or the one-dimensional data of the quantized transform coefficient, and the conversion function Alternatively, a decoding unit that restores the one-dimensional data of the quantized transform coefficient, and a back-scan of the transform coefficient related to the residual signal decoded by the decoding unit or the one-dimensional data of the quantized transform coefficient, A reverse scanning unit that generates a matrix or a quantized transform coefficient matrix, and performs inverse transform on the transform coefficient matrix generated by the reverse scanning unit, or is quantized by the reverse scanning unit By performing both inverse quantization and inverse transform or only inverse quantization on the transform coefficient matrix, inverse transform means for restoring the reproduction residual signal, and the prediction signal and the inverse transform generated by the prediction signal generation means Image restoration means for restoring the target pixel signal by adding the reproduction residual signal restored by the means, and image storage means for storing the restored target pixel signal. The prediction signal generation unit generates a plurality of texture signals by using different prediction signal generation methods with reference to the already reproduced pixels accumulated in the image storage unit, and among the generated plurality of texture signals, a predetermined texture signal is generated. A prediction method determining unit that selects a texture signal having the highest correlation with the target pixel signal according to an evaluation rule as a prediction signal of the target region, and the encoding unit includes the texture signal selected by the prediction method determining unit. A prediction signal generation method for encoding a mode signal indicating a prediction signal generation method for generating a texture signal, wherein the scanning unit generates a texture signal selected by the prediction method determination unit from a plurality of prepared scanning methods. And a transform method corresponding to the transform block size, to generate one-dimensional data of the transform coefficient or the quantized transform coefficient, The reverse scanning means uses the reverse scanning method corresponding to the mode information and the conversion block size from among the plurality of prepared reverse scanning methods, and uses the restored conversion coefficient or the quantized conversion coefficient. When the one-dimensional data is reverse-scanned to generate a transform coefficient matrix or a quantized transform coefficient matrix of the reproduction residual signal, and the encoding means encodes the one-dimensional data of the quantized transform coefficients The quantized transform coefficient is encoded by dividing it into the number of zero coefficients that are continuous with a significant coefficient having a magnitude of 1 or more.
本発明に係る画像復号装置は、上述した画像符号化装置による符号化によって得られた圧縮データを復号する画像復号装置であって、圧縮データの中から処理対象である対象領域に関する残差信号の符号化データを抽出し、残差信号に関わる変換係数の1次元データを復元する復号手段と、前記対象領域に含まれる対象画素信号に対する予測信号を生成する予測信号生成手段と、前記復号手段により復号された残差信号に関する変換係数又は量子化された変換係数の1次元データを逆走査して、変換係数行列又は量子化された変換係数行列を生成する逆走査手段と、前記逆走査手段により生成された前記変換係数行列に逆変換を行うか、又は、前記逆走査手段により生成された量子化された変換係数行列に逆量子化と逆変換の両方若しくは逆量子化のみを行うことで、再生残差信号を復元する逆変換手段と、前記予測信号生成手段により生成された予測信号と前記逆変換手段により復元された再生残差信号とを加算することによって、前記対象領域の画素信号を復元する画像復元手段と、前記復元された対象画素信号を蓄積する画像保存手段と、を備え、前記復号手段は、圧縮データの中から、予測信号生成方法を指示するモード情報を抽出して復元し、前記予測信号生成手段は、前記画像保存手段に蓄積されている既再生の画素を参照して異なるテキスチャ信号を生成するための複数の予測信号生成方法の中から、前記復号手段により復号された前記モード情報に対応する予測信号生成方法を特定し、特定した予測信号生成方法により前記対象領域の予測信号を生成し、前記逆走査手段は、用意された複数の逆走査方法の中から、前記復号手段により復元された前記モード情報と変換ブロックサイズとに対応する逆走査方法を用いて、前記再生残差信号の変換係数行列又は量子化された変換係数行列を生成することを特徴とする。 An image decoding apparatus according to the present invention is an image decoding apparatus that decodes compressed data obtained by encoding by the above-described image encoding apparatus, and is a method for generating a residual signal related to a target region to be processed from the compressed data. Decoding means for extracting encoded data and restoring one-dimensional data of transform coefficients related to a residual signal; prediction signal generating means for generating a prediction signal for a target pixel signal included in the target region; and the decoding means A reverse scanning unit that reversely scans one-dimensional data of the transform coefficient or the quantized transform coefficient related to the decoded residual signal, and generates a transform coefficient matrix or a quantized transform coefficient matrix; and the reverse scanning unit Either inverse transform is performed on the generated transform coefficient matrix, or both quantized and inverse transform or inverse transform is performed on the quantized transform coefficient matrix generated by the inverse scanning unit. By performing only the child conversion, the inverse transformation means for restoring the reproduction residual signal, the prediction signal generated by the prediction signal generation means, and the reproduction residual signal restored by the inverse conversion means are added. An image restoration means for restoring the pixel signal of the target region; and an image storage means for storing the restored target pixel signal, wherein the decoding means instructs a prediction signal generation method from the compressed data Mode information is extracted and restored, and the prediction signal generation unit is configured to generate a different texture signal by referring to already reproduced pixels stored in the image storage unit. A prediction signal generation method corresponding to the mode information decoded by the decoding means is specified, a prediction signal of the target region is generated by the specified prediction signal generation method, and the reverse running The means uses a reverse scanning method corresponding to the mode information and the transform block size restored by the decoding means, from among a plurality of prepared reverse scanning methods, A quantized transform coefficient matrix is generated.
また、本発明に係る画像符号化装置及び画像復号装置は、以下のような態様も採用可能である。 In addition, the image encoding apparatus and the image decoding apparatus according to the present invention can employ the following aspects.
本発明に係る画像符号化装置は、入力画像を複数の領域に分割する領域分割手段と、前記複数の領域のうちの処理対象である対象領域に含まれる対象画素信号に対する予測信号を生成する予測信号生成手段と、前記予測信号と前記対象画素信号との残差信号を生成する残差信号生成手段と、前記残差信号生成手段により生成された残差信号に対して変換と量子化の両方又は一方を行い、変換係数行列又は量子化された変換係数行列を生成する変換手段と、前記変換手段により生成された変換係数行列又は量子化された変換係数行列を走査して、変換係数又は量子化された変換係数の1次元データを生成する走査手段と、前記走査手段により生成された変換係数又は量子化された変換係数の1次元データを符号化する符号化手段と、前記変換係数又は量子化された変換係数の1次元データを復元する復号手段と、前記復号手段により復号された残差信号に関する変換係数又は量子化された変換係数の1次元データを逆走査して、変換係数行列又は量子化された変換係数行列を生成する逆走査手段と、前記逆走査手段により生成された前記変換係数行列に逆変換を行うか、又は、前記逆走査手段により生成された量子化された変換係数行列に逆量子化と逆変換の両方若しくは逆量子化のみを行うことで、再生残差信号を復元する逆変換手段と、前記予測信号生成手段により生成された前記予測信号と前記逆変換手段により復元された再生残差信号とを加算することによって、前記対象画素信号を復元する画像復元手段と、前記復元された対象画素信号を蓄積する画像保存手段と、を備え、前記予測信号生成手段は、前記画像保存手段に蓄積されている既再生の画素を参照して、異なる予測信号生成方法で複数のテキスチャ信号を生成し、生成した複数のテキスチャ信号のうち、所定の評価規則に照らし前記対象画素信号との相関が最も高いテキスチャ信号を、対象領域の予測信号として選択する予測方法決定手段を含み、前記符号化手段は、前記予測方法決定手段により選択されたテキスチャ信号を生成する予測信号生成方法を指示するモード情報を符号化し、前記走査手段は、用意された複数の走査方法の中から、前記予測方法決定手段により選択されたテキスチャ信号を生成する予測信号生成方法に対応する走査方法を用いて、前記変換係数又は量子化された変換係数の1次元データを生成し、前記逆走査手段は、用意された複数の逆走査方法の中から、前記モード情報に対応する逆走査方法を用いて、前記復元された変換係数又は量子化された変換係数の1次元データを逆走査して、再生残差信号の変換係数行列又は量子化された変換係数行列を生成することを特徴とする。 An image encoding apparatus according to the present invention includes a region dividing unit that divides an input image into a plurality of regions, and a prediction that generates a prediction signal for a target pixel signal included in a target region that is a processing target of the plurality of regions. Signal generation means, residual signal generation means for generating a residual signal between the prediction signal and the target pixel signal, and both conversion and quantization for the residual signal generated by the residual signal generation means Alternatively, the transform means for generating a transform coefficient matrix or a quantized transform coefficient matrix is performed, and the transform coefficient matrix or the quantized transform coefficient matrix generated by the transform means is scanned to obtain the transform coefficient or quantum. Scanning means for generating the converted one-dimensional data of the transform coefficient, encoding means for encoding the transform coefficient generated by the scanning means or the one-dimensional data of the quantized transform coefficient, and the conversion function Alternatively, a decoding unit that restores the one-dimensional data of the quantized transform coefficient, and a back-scan of the transform coefficient related to the residual signal decoded by the decoding unit or the one-dimensional data of the quantized transform coefficient, A reverse scanning unit that generates a matrix or a quantized transform coefficient matrix, and performs inverse transform on the transform coefficient matrix generated by the reverse scanning unit, or is quantized by the reverse scanning unit By performing both inverse quantization and inverse transform or only inverse quantization on the transform coefficient matrix, inverse transform means for restoring the reproduction residual signal, and the prediction signal and the inverse transform generated by the prediction signal generation means Image restoration means for restoring the target pixel signal by adding the reproduction residual signal restored by the means, and image storage means for storing the restored target pixel signal. The prediction signal generation unit generates a plurality of texture signals by using different prediction signal generation methods with reference to the already reproduced pixels accumulated in the image storage unit, and among the generated plurality of texture signals, a predetermined texture signal is generated. A prediction method determining unit that selects a texture signal having the highest correlation with the target pixel signal according to an evaluation rule as a prediction signal of the target region, and the encoding unit includes the texture signal selected by the prediction method determining unit. A prediction signal generation method for encoding a mode signal indicating a prediction signal generation method for generating a texture signal, wherein the scanning unit generates a texture signal selected by the prediction method determination unit from a plurality of prepared scanning methods. A one-dimensional data of the transform coefficient or the quantized transform coefficient is generated using a scanning method corresponding to: A regenerative residual signal is obtained by reverse scanning the restored transform coefficient or the one-dimensional data of the quantized transform coefficient using a reverse scan method corresponding to the mode information among a plurality of reverse scan methods. A transform coefficient matrix or a quantized transform coefficient matrix is generated.
なお、上記の予測信号生成手段は、前記対象領域に隣接する既再生の画素を参照する画面内予測信号生成方法により、1つ以上のテキスチャ信号を生成し、前記用意された複数の走査方法は、前記画面内予測信号生成方法により生成されるテキスチャ信号に適した走査方法を含み、前記用意された複数の逆走査方法は、前記画面内予測信号生成方法により生成されるテキスチャ信号に適した逆走査方法を含む構成とすることが望ましい。 The prediction signal generation unit generates one or more texture signals by an intra-screen prediction signal generation method that refers to already reproduced pixels adjacent to the target region, and the prepared scanning methods include: A scanning method suitable for the texture signal generated by the intra-screen prediction signal generation method, wherein the prepared plurality of reverse scanning methods are inverse processing suitable for the texture signal generated by the intra-screen prediction signal generation method. A configuration including a scanning method is desirable.
また、前記走査方法と前記予測信号生成方法との対応、及び、前記逆走査方法と前記予測信号生成方法との対応が、予め決まっている構成としてもよいし、前記符号化手段が、前記選択された予測信号生成方法に対応する逆走査方法を、前記用意された逆走査方法の中から識別するための識別情報を符号化する構成としてもよい。 The correspondence between the scanning method and the prediction signal generation method and the correspondence between the reverse scanning method and the prediction signal generation method may be determined in advance, or the encoding unit may select the selection. A reverse scanning method corresponding to the predicted signal generation method may be configured to encode identification information for identifying from the prepared reverse scanning methods.
本発明に係る画像復号装置は、圧縮データの中から処理対象である対象領域に関する残差信号の符号化データを抽出し、残差信号に関わる変換係数の1次元データを復元する復号手段と、前記対象領域に含まれる対象画素信号に対する予測信号を生成する予測信号生成手段と、前記復号手段により復号された残差信号に関する変換係数又は量子化された変換係数の1次元データを逆走査して、変換係数行列又は量子化された変換係数行列を生成する逆走査手段と、前記逆走査手段により生成された前記変換係数行列に逆変換を行うか、又は、前記逆走査手段により生成された量子化された変換係数行列に逆量子化と逆変換の両方若しくは逆量子化のみを行うことで、再生残差信号を復元する逆変換手段と、前記予測信号生成手段により生成された前記画面内予測信号と前記逆変換手段により復元された再生残差信号とを加算することによって、前記対象領域の画素信号を復元する画像復元手段と、前記復元された対象画素信号を蓄積する画像保存手段と、を備え、前記復号手段は、圧縮データの中から、予測信号生成方法を指示するモード情報を抽出して復元し、前記予測信号生成手段は、前記画像保存手段に蓄積されている既再生の画素を参照して異なるテキスチャ信号を生成するための複数の予測信号生成方法の中から、前記復号手段により復号された前記モード情報に対応する予測信号生成方法を特定し、特定した予測信号生成方法により前記対象領域の予測信号を生成し、前記逆走査手段は、用意された複数の逆走査方法の中から、前記復号手段により復元された前記モード情報に対応する逆走査方法を用いて、前記再生残差信号の変換係数行列又は量子化された変換係数行列を生成することを特徴とする。 An image decoding apparatus according to the present invention includes: decoding means for extracting encoded data of a residual signal related to a target region to be processed from compressed data, and restoring one-dimensional data of transform coefficients related to the residual signal; A prediction signal generation unit that generates a prediction signal for a target pixel signal included in the target region; and a reverse scan of the one-dimensional data of the transform coefficient related to the residual signal decoded by the decoding unit or the quantized transform coefficient A reverse scanning means for generating a transform coefficient matrix or a quantized transform coefficient matrix, and a reverse transform is performed on the transform coefficient matrix generated by the reverse scanning means, or a quantum generated by the reverse scanning means By performing both inverse quantization and inverse transform or only inverse quantization on the transformed transform coefficient matrix, the inverse transform means for restoring the reproduction residual signal and the prediction signal generating means In addition, by adding the intra-screen prediction signal and the reproduction residual signal restored by the inverse transformation means, the image restoration means for restoring the pixel signal of the target area, and the restored target pixel signal are accumulated Image storage means, and the decoding means extracts and restores mode information instructing a prediction signal generation method from the compressed data, and the prediction signal generation means is stored in the image storage means. A prediction signal generation method corresponding to the mode information decoded by the decoding unit is identified and specified from among a plurality of prediction signal generation methods for generating different texture signals with reference to already reproduced pixels. A prediction signal of the target region is generated by a prediction signal generation method, and the reverse scanning unit is configured to restore the mode restored by the decoding unit from a plurality of prepared reverse scanning methods. Using an inverse scanning method corresponding to the information, and generates the reproduction conversion of the residual signal coefficient matrix or quantized transform coefficient matrix.
なお、上記の予測信号生成手段は、前記対象領域に隣接する既再生の画素を参照する画面内予測信号生成方法により、1つ以上のテキスチャ信号を生成し、前記用意された複数の逆走査方法は、前記画面内予測信号生成方法により生成されるテキスチャ信号に適した逆走査方法を含む構成とすることが望ましい。 The prediction signal generation unit generates one or more texture signals by an intra-screen prediction signal generation method that refers to already reproduced pixels adjacent to the target region, and the prepared plurality of reverse scanning methods. Is preferably configured to include a reverse scanning method suitable for the texture signal generated by the intra-screen prediction signal generation method.
また、前記逆走査方法と前記予測信号生成方法との対応が、予め決まっている構成としてもよいし、前記復号手段が、前記用意された複数の逆走査方法の中から、前記特定された予測信号生成方法に対応する逆走査方法を選択するための識別情報を抽出して復元し、前記逆走査手段が、前記用意された複数の逆走査方法の中から、前記復号手段により復元された前記モード情報と前記識別情報とから定まる逆走査方法を用いて、前記再生残差信号の変換係数行列又は量子化された変換係数行列を生成する構成としてもよい。 The correspondence between the reverse scanning method and the prediction signal generation method may be determined in advance, or the decoding unit may select the identified prediction from the prepared reverse scanning methods. Identification information for selecting a reverse scanning method corresponding to a signal generation method is extracted and restored, and the reverse scanning means is restored from the plurality of prepared reverse scanning methods by the decoding means. The transform coefficient matrix of the reproduction residual signal or the quantized transform coefficient matrix may be generated using a reverse scanning method determined from mode information and the identification information.
本発明に係る画像符号化装置及び画像復号装置は、方法に係る発明又はプログラムに係る発明として捉えることもでき、以下のように記述することができる。方法に係る発明又はプログラムに係る発明は、同様の作用・効果を奏する。 The image encoding device and the image decoding device according to the present invention can also be regarded as a method-related invention or a program-related invention, and can be described as follows. The invention relating to the method or the invention relating to the program has the same actions and effects.
本発明に係る画像符号化方法は、画像符号化装置により実行される画像符号化方法であって、入力画像を複数の領域に分割する領域分割ステップと、前記複数の領域のうちの処理対象である対象領域に含まれる対象画素信号に対する予測信号を生成する予測信号生成ステップと、前記予測信号と前記対象画素信号との残差信号を生成する残差信号生成ステップと、前記残差信号生成ステップにより生成された残差信号に対して変換と量子化の両方又は一方を行い、変換係数行列又は量子化された変換係数行列を生成する変換ステップと、前記変換ステップにより生成された変換係数行列又は量子化された変換係数行列を走査して、変換係数又は量子化された変換係数の1次元データを生成する走査ステップと、前記走査ステップにより生成された変換係数又は量子化された変換係数の1次元データを符号化する符号化ステップと、前記変換係数又は量子化された変換係数の1次元データを復元する復号ステップと、前記復号ステップにより復号された残差信号に関する変換係数又は量子化された変換係数の1次元データを逆走査して、変換係数行列又は量子化された変換係数行列を生成する逆走査ステップと、前記逆走査ステップにより生成された前記変換係数行列に逆変換を行うか、又は、前記逆走査ステップにより生成された量子化された変換係数行列に逆量子化と逆変換の両方若しくは逆量子化のみを行うことで、再生残差信号を復元する逆変換ステップと、前記予測信号生成ステップにより生成された前記予測信号と前記逆変換ステップにより復元された再生残差信号とを加算することによって、前記対象画素信号を復元する画像復元ステップと、前記復元された対象画素信号を蓄積する画像保存ステップと、を備え、前記予測信号生成ステップでは、前記画像保存ステップにより蓄積された既再生の画素を参照して、異なる予測信号生成方法で複数のテキスチャ信号を生成し、生成した複数のテキスチャ信号のうち、所定の評価規則に照らし前記対象画素信号との相関が最も高いテキスチャ信号を、対象領域の予測信号として選択し、前記符号化ステップでは、前記選択されたテキスチャ信号を生成する予測信号生成方法を指示するモード情報を符号化し、前記走査ステップでは、用意された複数の走査方法の中から、前記選択されたテキスチャ信号を生成する予測信号生成方法に対応する走査方法を用いて、前記変換係数又は量子化された変換係数の1次元データを生成し、前記逆走査ステップでは、用意された複数の逆走査方法の中から、前記モード情報に対応する逆走査方法を用いて、前記復元された変換係数又は量子化された変換係数の1次元データを逆走査して、再生残差信号の変換係数行列又は量子化された変換係数行列を生成することを特徴とする。 An image encoding method according to the present invention is an image encoding method executed by an image encoding apparatus, and includes an area dividing step for dividing an input image into a plurality of areas, and a processing target among the plurality of areas. A prediction signal generation step of generating a prediction signal for a target pixel signal included in a certain target region; a residual signal generation step of generating a residual signal of the prediction signal and the target pixel signal; and the residual signal generation step A transform step of performing transform or quantization on the residual signal generated by the step of generating a transform coefficient matrix or a quantized transform coefficient matrix, and a transform coefficient matrix generated by the transform step or A scanning step of scanning the quantized transform coefficient matrix to generate one-dimensional data of the transform coefficient or the quantized transform coefficient; A decoding step for encoding the one-dimensional data of the transformed transform coefficient or the quantized transform coefficient, a decoding step for restoring the one-dimensional data of the transform coefficient or the quantized transform coefficient, and decoding by the decoding step A reverse scan step of reverse-scanning the one-dimensional data of the transform coefficient or quantized transform coefficient related to the residual signal to generate a transform coefficient matrix or a quantized transform coefficient matrix; and the reverse scan step By performing inverse transform on the transform coefficient matrix, or by performing both inverse quantization and inverse transform or only inverse quantization on the quantized transform coefficient matrix generated by the inverse scanning step, An inverse transformation step for restoring a difference signal, the prediction signal generated by the prediction signal generation step, and a reproduction residual signal restored by the inverse transformation step. An image restoration step for restoring the target pixel signal by calculation, and an image storage step for accumulating the restored target pixel signal. In the prediction signal generation step, the image restoration step accumulates the target pixel signal. A plurality of texture signals are generated by different prediction signal generation methods with reference to already reproduced pixels, and among the generated plurality of texture signals, a texture signal having the highest correlation with the target pixel signal according to a predetermined evaluation rule Is selected as a prediction signal of the target region, and in the encoding step, mode information indicating a prediction signal generation method for generating the selected texture signal is encoded, and in the scanning step, a plurality of prepared scans A scanning method corresponding to a prediction signal generation method for generating the selected texture signal is used. Generating one-dimensional data of the conversion coefficient or the quantized conversion coefficient, and in the reverse scanning step, the reverse scanning method corresponding to the mode information is used from among a plurality of prepared reverse scanning methods. The one-dimensional data of the reconstructed transform coefficient or quantized transform coefficient is reverse-scanned to generate a transform coefficient matrix or a quantized transform coefficient matrix of a reproduction residual signal.
本発明に係る画像復号方法は、画像復号装置により実行される画像復号方法であって、圧縮データの中から処理対象である対象領域に関する残差信号の符号化データを抽出し、残差信号に関わる変換係数の1次元データを復元する復号ステップと、前記対象領域に含まれる対象画素信号に対する予測信号を生成する予測信号生成ステップと、前記復号ステップにより復号された残差信号に関する変換係数又は量子化された変換係数の1次元データを逆走査して、変換係数行列又は量子化された変換係数行列を生成する逆走査ステップと、前記逆走査ステップにより生成された前記変換係数行列に逆変換を行うか、又は、前記逆走査ステップにより生成された量子化された変換係数行列に逆量子化と逆変換の両方若しくは逆量子化のみを行うことで、再生残差信号を復元する逆変換ステップと、前記予測信号生成ステップにより生成された前記画面内予測信号と前記逆変換ステップにより復元された再生残差信号とを加算することによって、前記対象領域の画素信号を復元する画像復元ステップと、前記復元された対象画素信号を蓄積する画像保存ステップと、を備え、前記復号ステップでは、圧縮データの中から、予測信号生成方法を指示するモード情報を抽出して復元し、前記予測信号生成ステップでは、前記画像保存ステップにより蓄積された既再生の画素を参照して異なるテキスチャ信号を生成するための複数の予測信号生成方法の中から、前記復号ステップにより復号された前記モード情報に対応する予測信号生成方法を特定し、特定した予測信号生成方法により前記対象領域の予測信号を生成し、前記逆走査ステップでは、用意された複数の逆走査方法の中から、前記復号ステップにより復元された前記モード情報に対応する逆走査方法を用いて、前記再生残差信号の変換係数行列又は量子化された変換係数行列を生成することを特徴とする。 An image decoding method according to the present invention is an image decoding method executed by an image decoding device, and extracts encoded data of a residual signal related to a target region to be processed from compressed data, and converts it into a residual signal. A decoding step for restoring the one-dimensional data of the transform coefficient concerned, a prediction signal generating step for generating a prediction signal for the target pixel signal included in the target region, and a transform coefficient or quantum for the residual signal decoded by the decoding step A reverse scan step of generating a transform coefficient matrix or a quantized transform coefficient matrix by reverse-scanning the one-dimensional data of the converted transform coefficients, and performing an inverse transform on the transform coefficient matrix generated by the reverse scan step Or performing both inverse quantization and inverse transformation or only inverse quantization on the quantized transform coefficient matrix generated by the inverse scanning step. And adding the inverse transformation step for restoring the reproduction residual signal, the intra-screen prediction signal generated by the prediction signal generation step, and the reproduction residual signal restored by the inverse transformation step. An image restoration step for restoring the pixel signal of the region; and an image storage step for accumulating the restored target pixel signal. In the decoding step, mode information for instructing a prediction signal generation method from the compressed data In the prediction signal generation step, the decoding is performed from among a plurality of prediction signal generation methods for generating different texture signals with reference to the already reproduced pixels accumulated in the image storage step. A prediction signal generation method corresponding to the mode information decoded in the step is specified, and the target is determined by the specified prediction signal generation method. A prediction signal of a region is generated, and in the reverse scanning step, the reproduction residual is calculated using a reverse scanning method corresponding to the mode information restored by the decoding step from among a plurality of prepared reverse scanning methods. A signal transform coefficient matrix or a quantized transform coefficient matrix is generated.
本発明に係る画像符号化プログラムは、画像符号化装置に設けたコンピュータを、入力画像を複数の領域に分割する領域分割手段と、前記複数の領域のうちの処理対象である対象領域に含まれる対象画素信号に対する予測信号を生成する予測信号生成手段と、前記予測信号と前記対象画素信号との残差信号を生成する残差信号生成手段と、前記残差信号生成手段により生成された残差信号に対して変換と量子化の両方又は一方を行い、変換係数行列又は量子化された変換係数行列を生成する変換手段と、前記変換手段により生成された変換係数行列又は量子化された変換係数行列を走査して、変換係数又は量子化された変換係数の1次元データを生成する走査手段と、前記走査手段により生成された変換係数又は量子化された変換係数の1次元データを符号化する符号化手段と、前記変換係数又は量子化された変換係数の1次元データを復元する復号手段と、前記復号手段により復号された残差信号に関する変換係数又は量子化された変換係数の1次元データを逆走査して、変換係数行列又は量子化された変換係数行列を生成する逆走査手段と、前記逆走査手段により生成された前記変換係数行列に逆変換を行うか、又は、前記逆走査手段により生成された量子化された変換係数行列に逆量子化と逆変換の両方若しくは逆量子化のみを行うことで、再生残差信号を復元する逆変換手段と、前記予測信号生成手段により生成された前記予測信号と前記逆変換手段により復元された再生残差信号とを加算することによって、前記対象画素信号を復元する画像復元手段と、前記復元された対象画素信号を蓄積する画像保存手段として機能させるための画像符号化プログラムであって、前記予測信号生成手段は、前記画像保存手段に蓄積されている既再生の画素を参照して、異なる予測信号生成方法で複数のテキスチャ信号を生成し、生成した複数のテキスチャ信号のうち、所定の評価規則に照らし前記対象画素信号との相関が最も高いテキスチャ信号を、対象領域の予測信号として選択し、前記符号化手段は、前記選択されたテキスチャ信号を生成する予測信号生成方法を指示するモード情報を符号化し、前記走査手段は、用意された複数の走査方法の中から、前記選択されたテキスチャ信号を生成する予測信号生成方法に対応する走査方法を用いて、前記変換係数又は量子化された変換係数の1次元データを生成し、前記逆走査手段は、用意された複数の逆走査方法の中から、前記モード情報に対応する逆走査方法を用いて、前記復元された変換係数又は量子化された変換係数の1次元データを逆走査して、再生残差信号の変換係数行列又は量子化された変換係数行列を生成することを特徴とする。 An image encoding program according to the present invention is included in an area dividing unit that divides an input image into a plurality of areas and a target area that is a processing target of the plurality of areas. Prediction signal generation means for generating a prediction signal for the target pixel signal, residual signal generation means for generating a residual signal between the prediction signal and the target pixel signal, and a residual generated by the residual signal generation means Transform means for performing transform and / or quantization on a signal to generate a transform coefficient matrix or a quantized transform coefficient matrix, and a transform coefficient matrix or quantized transform coefficient generated by the transform means Scanning means for scanning a matrix to generate one-dimensional data of transform coefficients or quantized transform coefficients, and transform coefficients generated by the scan means or first order of quantized transform coefficients An encoding means for encoding data; a decoding means for restoring one-dimensional data of the transform coefficient or the quantized transform coefficient; and a transform coefficient or quantized transform relating to a residual signal decoded by the decoding means Reverse scanning the coefficient one-dimensional data to generate a transform coefficient matrix or a quantized transform coefficient matrix; and inverse transforming the transform coefficient matrix generated by the reverse scanning means, or , Inverse transforming means for restoring a reproduction residual signal by performing both inverse quantization and inverse transform or only inverse quantization on the quantized transform coefficient matrix generated by the inverse scanning means, and the prediction signal Image restoration means for restoring the target pixel signal by adding the prediction signal generated by the generation means and the reproduction residual signal restored by the inverse transformation means; and the restored An image encoding program for functioning as an image storage unit for storing an elephant pixel signal, wherein the prediction signal generation unit refers to a previously reproduced pixel stored in the image storage unit and a different prediction signal A plurality of texture signals are generated by a generation method, and a texture signal having the highest correlation with the target pixel signal in accordance with a predetermined evaluation rule is selected as a prediction signal of the target region from among the generated plurality of texture signals, The encoding means encodes mode information indicating a prediction signal generation method for generating the selected texture signal, and the scanning means outputs the selected texture signal from a plurality of prepared scanning methods. Using the scanning method corresponding to the predicted signal generation method to be generated, one-dimensional data of the transform coefficient or the quantized transform coefficient is generated, and the reverse scanning is performed. The means reversely scans the restored transform coefficient or the one-dimensional data of the quantized transform coefficient using a reverse scan method corresponding to the mode information from among the plurality of prepared reverse scan methods. , Generating a transform coefficient matrix of a reproduction residual signal or a quantized transform coefficient matrix.
本発明に係る画像復号プログラムは、画像復号装置に設けたコンピュータを、圧縮データの中から処理対象である対象領域に関する残差信号の符号化データを抽出し、残差信号に関わる変換係数の1次元データを復元する復号手段と、前記対象領域に含まれる対象画素信号に対する予測信号を生成する予測信号生成手段と、前記復号手段により復号された残差信号に関する変換係数又は量子化された変換係数の1次元データを逆走査して、変換係数行列又は量子化された変換係数行列を生成する逆走査手段と、前記逆走査手段により生成された前記変換係数行列に逆変換を行うか、又は、前記逆走査手段により生成された量子化された変換係数行列に逆量子化と逆変換の両方若しくは逆量子化のみを行うことで、再生残差信号を復元する逆変換手段と、前記予測信号生成手段により生成された前記画面内予測信号と前記逆変換手段により復元された再生残差信号とを加算することによって、前記対象領域の画素信号を復元する画像復元手段と、前記復元された対象画素信号を蓄積する画像保存手段として機能させるための画像復号プログラムであって、前記復号手段は、圧縮データの中から、予測信号生成方法を指示するモード情報を抽出して復元し、前記予測信号生成手段は、前記画像保存手段に蓄積されている既再生の画素を参照して異なるテキスチャ信号を生成するための複数の予測信号生成方法の中から、前記復号手段により復号された前記モード情報に対応する予測信号生成方法を特定し、特定した予測信号生成方法により前記対象領域の予測信号を生成し、前記逆走査手段は、用意された複数の逆走査方法の中から、前記復号手段により復元された前記モード情報に対応する逆走査方法を用いて、前記再生残差信号の変換係数行列又は量子化された変換係数行列を生成することを特徴とする。 An image decoding program according to the present invention uses a computer provided in an image decoding apparatus to extract encoded data of a residual signal related to a target region to be processed from compressed data, and to obtain one of transform coefficients related to the residual signal. Decoding means for restoring dimension data; prediction signal generating means for generating a prediction signal for the target pixel signal included in the target region; and transform coefficients or quantized transform coefficients for the residual signal decoded by the decoding means Reverse scanning the one-dimensional data and generating a transform coefficient matrix or a quantized transform coefficient matrix, and performing inverse transform on the transform coefficient matrix generated by the reverse scanning means, or The inverse transform that restores the reproduction residual signal by performing both inverse quantization and inverse transform or only inverse quantization on the quantized transform coefficient matrix generated by the inverse scanning means. And an image restoration means for restoring the pixel signal of the target area by adding the intra prediction signal generated by the prediction signal generation means and the reproduction residual signal restored by the inverse transformation means, An image decoding program for functioning as an image storage unit for storing the restored target pixel signal, wherein the decoding unit extracts mode information indicating a prediction signal generation method from compressed data. The prediction signal generation means restores the prediction signal generation means from among a plurality of prediction signal generation methods for generating different texture signals with reference to the already reproduced pixels stored in the image storage means. A prediction signal generation method corresponding to the generated mode information is identified, a prediction signal of the target region is generated by the identified prediction signal generation method, and the reverse scanning is performed The stage uses a reverse scanning method corresponding to the mode information restored by the decoding means from among a plurality of prepared reverse scanning methods, and uses a transform coefficient matrix or quantized transform of the reproduction residual signal. A coefficient matrix is generated.
本発明によれば、異なる予測信号生成方法で複数のテキスチャ信号を生成し、生成した複数のテキスチャ信号のうち、所定の評価規則に照らし対象画素信号との相関が最も高いテキスチャ信号を、対象領域の予測信号として選択し、選択されたテキスチャ信号を生成する予測信号生成方法に応じて、変換係数の符号化方法を切り替えることにより予測差分信号の符号量を抑制することができる。 According to the present invention, a plurality of texture signals are generated by different prediction signal generation methods, and among the generated plurality of texture signals, a texture signal having the highest correlation with the target pixel signal in accordance with a predetermined evaluation rule is determined as a target region. The code amount of the prediction difference signal can be suppressed by switching the coding method of the transform coefficient in accordance with the prediction signal generation method for selecting the prediction signal and generating the selected texture signal.
以下、本発明の実施の形態について、図1〜図23を用いて説明する。 Hereinafter, embodiments of the present invention will be described with reference to FIGS.
図1は本発明の実施形態に係る画像符号化装置100を示すブロック図である。画像符号化装置100は、入力端子101、ブロック分割器102、画面間予測信号生成方法決定器103、画面間予測信号生成器104、画面内予測信号生成方法決定器105、画面内予測信号生成器106、切り替えスイッチ107、減算器108、変換器109、量子化器110、走査器129、逆走査器130、逆量子化器111、逆変換器112、加算器113、フレームメモリ(画像保存手段)114、エントロピー符号化器115、及び出力端子116を備えている。
FIG. 1 is a block diagram showing an
以上のように構成された画像符号化装置100について、以下その動作を述べる。複数枚の画像からなる動画像の信号は入力端子101に入力される。符号化の対象なる画像はブロック分割器102にて、複数の領域に分割される。本発明に係る実施形態では8×8の画素からなるブロックに分割されるが、それ以外のブロックの大きさ又は形に分割してもよい。次に、符号化処理の対象となる領域(以下「対象ブロック」と言う)に対して、予測信号を生成する。本発明に係る実施形態では、2種類の予測方法が用いられる。すなわち画面間予測と画面内予測である。
The operation of the
画面間予測では、過去に符号化されたのちに復元された再生画像を参照画像として、この参照画像から対象ブロックに対する誤差の最も小さい予測信号を与える動き情報を求める。この処理は動き検出とよばれる。また場合に応じて、対象ブロックを再分割し、再分割された小領域に対し画面間予測方法を決定してもよい。この場合、各種の分割方法の中から、対象ブロック全体に対し最も効率のよい分割方法及びそれぞれの動き情報を決定する。本発明に係る実施形態では、この処理は画面間予測信号生成方法決定器103にて行われ、対象ブロックはラインL103経由で、参照画像はL121(フレームメモリ114に接続されているが図示されていない)経由で入力される。参照画像としては、過去に符号化され復元された複数の画像を参照画像として用いてもよい。詳細は従来の技術であるMPEG−2,4、H.264のいつずれの方法と同じである。このように決定された動き情報及び小領域の分割方法は、ラインL122を経由して画面間予測信号生成器104に送られる。またこれらの情報はラインL124経由でエントロピー符号化器115に送られ符号化した上で出力端子116から送出される。画面間予測信号生成器104では、小領域の分割方法及びそれぞれの小領域に対応する動き情報をもとにフレームメモリ114(ラインL121経由)から参照信号を取得し、予測信号を生成する。このように生成された画面間予測信号は端子107a経由で次の処理ブロックに送られる。
In inter-screen prediction, a reproduction image that has been encoded in the past and then restored is used as a reference image, and motion information that gives a prediction signal with the smallest error for the target block is obtained from this reference image. This process is called motion detection. Further, according to circumstances, the target block may be subdivided, and the inter-screen prediction method may be determined for the subdivided small area. In this case, the most efficient division method and the respective motion information are determined from the various division methods for the entire target block. In the embodiment according to the present invention, this process is performed by the inter-screen prediction signal
画面内予測では、対象ブロックに空間的に隣接する既再生の画素値を用いて所定の方法で画面内予測信号を生成する。画面内予測信号を生成する方法は、画面内予測信号生成方法決定器105にて決定される。画面内予測信号生成方法決定器105の処理は後に説明するが、ここでは対象ブロックに直に隣接する複数の画素を用いて補間する方法を用いている。このように決定された予測方法に関する情報(又はモード情報ともいう)はラインL123経由で画面内予測信号生成器106に送られる。これらのモード情報はラインL125経由でエントロピー符号化器115に送られ符号化した上で出力端子116から送出される。画面内予測信号生成器106では、画面内予測信号生成方法を指示するモード情報をもとにフレームメモリ114(ラインL120経由)から同じ画面内にあり対象ブロックに直に隣接する既再生の画素信号を取得し、モード情報に従って予測信号を生成する。このように生成された画面間予測信号は端子107b経由で次の処理ブロックに送られる。
In the intra prediction, an intra prediction signal is generated by a predetermined method using the already reproduced pixel values spatially adjacent to the target block. The method for generating the intra-screen prediction signal is determined by the intra-screen prediction signal
上述のように求められた画面間予測信号と画面内予測信号に対し、切り替えスイッチ107によって誤差の最も小さいものが選択され、減算器108に送られる。選択情報は、予測信号生成方法を指示するモード情報に含まれる。但し、一枚目の画像については、過去の画像がないため、全ての対象ブロックは画面内予測で処理され、当該画像を処理する際にはスイッチ107は常に端子107bに接続される。同様にシーンカットの直後や周期的に画面内予測の画像を導入する必要がある場合においては、画面一面に対し画面内予測のみとなる場合がある。なお、下記に述べる画面内予測信号生成方法は静止画像の符号化・復号にも適用できる。
With respect to the inter-screen prediction signal and the intra-screen prediction signal obtained as described above, the one having the smallest error is selected by the
減算器108にて対象ブロックの信号(ラインL102経由)から予測信号(ラインL127経由)を引き算し、残差信号を生成する。この残差信号は変換器109にて離散コサイン変換される。ここで、変換係数行列(変換ブロック)は、順次、量子化器110に入力され、量子化される(量子化変換係数行列の生成)。量子化された変換係数行列内の量子化変換係数は、走査器129にて量子化変換係数の1次元データに走査される。走査器129における走査方法については後で説明するが、選択した予測方法に応じて異なる方法が用いられる。最後にエントロピー符号化器115にて量子化された変換係数を符号化して、予測信号生成方法に関する情報(予測信号生成方法を指示するモード情報や動きベクトル)や量子化方法を指示する量子化パラメータ(図示なし)とともに出力端子116より送出される。
The
次の対象ブロックに対する画面内予測もしくは画面間予測を行うために、圧縮された対象ブロックの信号は逆処理した上で復元される。すなわち、逆走査器130にて量子化変換係数の1次元データから量子化変換係数行列(量子化変換ブロック)に逆走査される。量子化変換係数は逆量子化器111にて逆量子化されたのち、逆変換器112にて逆離散コサイン変換され、残差信号を復元する。加算器113にて復元された残差信号とラインL128から送られた予測信号とを加算し、対象ブロックの信号を再生し、フレームメモリ114に格納する。
In order to perform intra prediction or inter prediction for the next target block, the compressed signal of the target block is reversely processed and then restored. That is, the
次に、画面内予測処理について説明する。図2は本発明の実施形態に係る画像符号化装置100に用いられる第1の画面内予測信号生成方法決定器を示すブロック図である。図2に示すように、画面内予測信号生成法決定器105は、予測方法決定器201、及び予測信号生成器202を備えている。本実施形態においては、予測信号生成器202にて対象ブロックに直に接する複数の既再生画素を用いて、9つの方法で予測信号を生成する。この9つの予測信号の生成方法について図8(a)、図9(a)、図10(a)、図11(a)、図12(a)、図13(a)、図14(a)、図15(a)、図16(a)を用いて説明する。図8(a)は対象領域の第1の画面内予測信号生成方法を示す。この図8(a)において、各升目は画素を示し、画素A〜Mの画素群801は既再生画素群であり、ラインL120経由で画面内予測信号生成法決定器105内の予測信号生成器202に入力される。また画素a〜pの画素群802は対象ブロックに含まれる画素である。本実施形態では4×4画素からなる対象ブロックを用いているが、それ以外の画素数からなるブロックを対象ブロックとしてもよい。その場合対象ブロックのサイズに合わせて対象ブロックに隣接する再生画素群を定義すればよい。対象ブロックの第1の画面内予測信号生成方法は、既再生画素群801の一部である画素A〜Dを用いて、それぞれの画素を下方に引き伸ばしてテキスチャ信号(予測信号)を生成する。具体的な演算は式806に示されている。806では、pred(a,e,i,m)=Aは、対象ブロック802にあるa、e、i、mの各画素の予測値はAとすることを意味する。対象領域の第2の画面内予測信号生成方法は図9(a)に示され、この場合既再生画素群901の一部であるI,J,K,Lを右に引き伸ばして対象ブロック902の予測信号として生成する。具体的な演算は式906に示されている。対象領域の第3の画面内予測信号生成方法は図10(a)に示され、この場合既再生画素群1001に含まれる画素A〜DとI〜Lの平均値を対象ブロック1002の予測信号として用いる。具体的な演算は式1006に示されている。対象ブロックに対する残りの画面内予測信号生成方法は、それぞれ図11(a)、図12(a)、図13(a)、図14(a)、図15(a)、図16(a)に示されている。詳細について省略する。なお、9つのテキスチャ信号のほかに、より多い又は少ないテキスチャ信号を用いてもよい。また上述と異なる方法、たとえばスプライン外挿などの方法でテキスチャ信号を生成してもよい。
Next, the intra prediction process will be described. FIG. 2 is a block diagram showing a first intra-screen prediction signal generation method determiner used in the
図2に戻り、このように作られた9つのテキスチャ信号は、ラインL202経由で予測方法決定器201に送られる。予測方法決定器201には、さらにラインL103経由で対象ブロックの信号が入力される。そこにおいて、ラインL202経由で送られた9つのテキスチャ信号に対し、対象ブロックとの差分を求め、最も小さい差分値を与えるテキスチャ信号を対象ブロックの予測信号とする。この最適なテキスチャ信号を生成する予測信号生成方法を指示するモード情報はラインL123経由で図1にある画面内予測信号生成器106に送られる。画面内予測信号生成器106では、このモード情報にしたがい、上述の方法で既再生画素群を用いて対象ブロックの予測信号を生成する。
Returning to FIG. 2, the nine texture signals thus created are sent to the
次に、本発明における変換係数の走査方法について説明する。差分信号のエントロピー符号化では、ブロック内の量子化変換係数を、1以上の大きさを持つ有意係数と連続する0係数の数に分けて符号化する。そのため、エントロピー符号化器に入力される量子化変換係数の1次元データの並びに、有意係数と0係数が混在していると符号化効率が低下する。図21に量子化変換係数の1次元データの例を示す。各枡の値が量子化変換係数を示している。図21(a)と図21(b)では、量子化係数の値の構成は同じであるが、符号化される順番が異なる。図21(b)の例では、7番目以降の量子化変換係数が0値であることを示す情報を送ることにより、符号化処理を打ち切ることが可能となる。一方、図21(a)では、16番目の量子化係数まですべて送る必要があり、かつ、連続する0の数を4回送る必要があるため、図21(b)に対して符号化効率が悪い。このように、変換係数の走査順が符号化効率に影響を与える。 Next, a conversion coefficient scanning method according to the present invention will be described. In entropy coding of the difference signal, the quantized transform coefficient in the block is coded by dividing it into the number of 0 coefficients that are continuous with a significant coefficient having a magnitude of 1 or more. Therefore, if the significant coefficient and the 0 coefficient are mixed in the one-dimensional data of the quantized transform coefficient input to the entropy encoder, the encoding efficiency is lowered. FIG. 21 shows an example of one-dimensional data of quantized transform coefficients. Each 枡 value represents a quantized transform coefficient. In FIG. 21A and FIG. 21B, the configuration of the quantization coefficient values is the same, but the order of encoding is different. In the example of FIG. 21B, the encoding process can be aborted by sending information indicating that the seventh and subsequent quantized transform coefficients are 0 values. On the other hand, in FIG. 21A, it is necessary to send all of the 16th quantized coefficients, and it is necessary to send the number of consecutive 0s four times. bad. Thus, the scanning order of transform coefficients affects the coding efficiency.
図3に示すように、走査器129は、9つの画面内予測信号生成方法に対して用意された走査器301〜309、スイッチ323、及び走査方法選択器322を備えている。なお、ここでは、図1のスイッチ107にて画面内予測を選択した場合について説明する。画面間予測を選択した場合の説明は割愛するが、画面間予測用の走査器を用いる(走査順序としては、例えば、図10(b)で説明するジグザグ走査が採用される)。
As shown in FIG. 3, the
図3の走査器129では、最初にL125経由で選択された画面内予測信号生成方法を指示するモード情報が走査方法選択器322に送られる。走査方法選択器322は、モード情報に従って、スイッチ323を切り替える。これにより、量子化変換係数行列(量子化変換ブロック)の各変換係数は、L106経由で走査器301〜309のいずれかにラスタスキャン順に入力される。なお、変換係数の入力順は予め定めておけば別の順序でもよい。各走査器301〜309は、入力された複数個の変換係数を下記に説明する走査方法で1次元データに並べ替え、L130経由で図1のエントロピー符号化器115に出力する。また、モード情報に画面間予測と画面間予測の判定結果を含めるようにすれば、画面間予測にも対応できる。画面間予測用の走査器を別途用意しても良い。
In the
ここで、図8(b)、図9(b)、図10(b)、図11(b)、図12(b)、図13(b)、図14(b)、図15(b)、図16(b)を用いて、各走査器301〜309における変換係数の走査方法を説明する。本実施の形態においては、9つの画面内予測信号生成方法が定義されている。これらの予測方法は、図10(a)を除いて、図8(a)〜図16(a)に示されるように13個の既再生画素(A〜M)の一部を特定の方向に引き伸ばして対象領域内の予測信号を生成する。そのため、生成される予測信号は特定の方向に強い相関を持ち、この特性は差分信号を離散コサイン変換したブロックの変換係数にも影響を与える。図8(b)は図8(a)に示される第1の画面内予測信号生成方法が選択された場合の変換係数の走査方法を示している。この場合、差分信号は縦方向に強い相関を持っており、大きな値を持つ変換係数は相関の弱い横方向、つまり予測方向に対して90度の方向に現れる可能性が高い。そこで、量子化変換係数行列(量子化変換ブロック)803内の変換係数を矢印に示すように左から右、上から下に向かって走査し、係数0〜係数15の並びとなる1次元データを生成する。図9(b)のブロック903は図9(a)に示される第2の画面内予測信号生成方法が選択された場合の変換係数の走査方法を示している。図8(b)の場合と同様に予測方向に90度の方向、つまり縦方向に大きな値を持つ変換係数が現れる可能性が高いため、量子化変換ブロック903内の変換係数を矢印に示すように上から下、左から右に向かって走査し、係数0〜係数15の並びとなる1次元データを生成する。図10(b)では、8個の再生画素の平均値が対象ブロック内の各画素の予測信号となる。この場合には、予測方向に偏りはないため、変換係数の低周波成分から高周波成分に向かってジグザグに走査する。同様に図11(b)、図12(b)、図13(b)、図14(b)、図15(b)、図16(b)については、図8(b)や図9(b)と同様に予測方向に対して90度の方向に変換係数を走査する。
Here, FIG. 8B, FIG. 9B, FIG. 10B, FIG. 11B, FIG. 12B, FIG. 13B, FIG. 14B, and FIG. 15B. Referring to FIG. 16B, a scanning method of the conversion coefficient in each of the
次に、本発明における変換係数の逆走査方法について説明する。ここでは、図1のスイッチ107にて画面内予測を選択した場合について説明する。図6に示すように、逆走査器130(図1にも示す)は、9つの画面内予測信号生成方法に対して用意された逆走査器601〜609、逆走査方法選択器622、及びスイッチ623を備えている。逆走査方法選択器622は、図3の走査方法選択器と同様の機能を持つ。つまり、L125経由で選択された画面内予測信号生成方法を指示するモード情報が逆走査方法選択器622に送られると、逆走査方法選択器622は、モード情報に従って、スイッチ623を切り替える。これにより、量子化変換係数に関する1次元データの変換係数列は、L130経由で逆走査器601〜609のいずれかに入力される。各逆走査器601〜609は、それぞれ、図8(b)、図9(b)、図10(b)、図11(b)、図12(b)、図13(b)、図14(b)、図15(b)、図16(b)に示す矢印の順に従って、入力された量子化変換係数に関する1次元データの変換係数を、量子化変換係数行列(量子化変換ブロック)上にマッピングする。量子化変換ブロックは、L131経由で図1の逆量子化器111に出力される。なお、画面間予測を選択した場合の説明は割愛するが(図示なし)、予測方法を指示するモード情報に画面間予測と画面間予測の判定結果を含めるようにすれば、画面間予測にも対応できる。画面間予測用の逆走査器を用いる(走査順序としては、例えば、図10(b)で説明するジグザグ走査が採用される、画面間予測用の逆走査器を別途用意しても良い)。
Next, the conversion coefficient reverse scanning method of the present invention will be described. Here, a case where intra prediction is selected with the
図4は、本発明の実施形態に係る画像符号化装置100における画面内符号化処理を示す流れ図である。ステップ402では、対象ブロックに直に隣接する複数の既再生画素(例えば図8(a)の801)をフレームメモリから取得し、9つの画面内予測信号生成方法について、対象ブロックの予測信号を生成する。そして、対象ブロックの信号との差分値が最小となる1つの予測信号生成方法を選択する。ステップ403では、対象ブロックの信号と予測信号との差分信号を生成し、ステップ404にて、差分信号にDCTを施し、変換係数行列を生成する。ステップ405では、変換係数行列の各変換係数を量子化する。続いて、ステップ406では、ステップ402で選択した予測信号生成方法に対応する走査方法を図8(b)〜図16(b)から選択し、量子化変換係数行列内の変換係数を1次元データに並べ替える。量子化された変換係数、及び、ステップ402にて選択した予測信号生成方法を指示するモード情報は、エントロピー符号化される(ステップ407)。最後に、ステップ408にて、上記符号化されたモード情報及び量子化変換係数を出力する。
FIG. 4 is a flowchart showing the intra-frame encoding processing in the
次に、本発明の逆走査方法を実施する画像復号装置ならびに復号方法について説明する。図5は本発明の実施形態に係る画像復号装置500のブロック図を示す。画像復号装置500は、入力端子500A、エントロピー復号器501、逆走査器513、逆量子化器502、逆変換器503、加算器504、画面内予測信号生成器505、フレームメモリ(画像保存手段)506、画面内予測信号生成方法取得器507、画面間予測信号生成器508、切り替えスイッチ509、及び出力端子512を備えている。
Next, an image decoding apparatus and a decoding method that implement the reverse scanning method of the present invention will be described. FIG. 5 shows a block diagram of an
以上のように構成された画像復号装置500について、以下その動作を述べる。上述した方法で圧縮符号化された圧縮データは入力端子500Aから入力される。この圧縮データには、画像を複数のブロックに分割された対象ブロックの予測残差信号の符号化データ及び予測信号生成方法を指示するモード情報が含まれている。エントロピー復号器501にて、圧縮データより、対象ブロックの残差信号の符号化データ、予測信号生成方法を指示するモード情報(フレーム内予測の場合はさらに画面内予測信号生成方法を指示するモード情報を含む)、量子化パラメータ、フレーム間予測の場合はさらに動き情報(動きベクトル)を抽出し、復号する。対象ブロックの残差信号の符号化データ、すなわち量子化変換係数の1次元データは、逆走査器513にて、量子化変換係数行列に逆走査し、ラインL513経由で逆量子化器502に出力される。なお、逆走査器513における逆走査方法については後で説明するが、選択した予測方法に応じて異なる方法が用いられる。量子化変換行列内の量子化変換係数は逆量子化器502では量子化パラメータ(ラインL511c経由)をもとに逆量子化され、ラインL503経由で逆変換器503に出力される。逆変換器503では、逆量子化により得られた変換係数行列に逆離散コサイン変換を施す。次にラインL511b経由で予測信号生成方法を指示するモード情報に含まれる画面内予測と画面間予測の切り替え情報が切り替えスイッチ509に送られる。画面間予測を行なう場合、切り替えスイッチ509は端子510aに倒される。復元の対象となる対象ブロックに対する動きベクトルはラインL511a経由で画面間予測信号生成器508に送られ、フレームメモリ506にアクセスし動きベクトルによって指定された予測信号を生成する。画面内予測を行なう場合、切り替えスイッチ509は端子510bに倒される。この場合、ラインL511d経由で予測信号生成方法を指示するモード情報に含まれる画面内予測信号生成方法を指示するモード情報が画面内予測信号生成器505に送られる。画面内予測信号生成器505では、フレームメモリ506から対象ブロックに直に接する既再生画素群を取得し、モード情報に対応する画面内予測信号生成方法(図8(a)から図16(a)のいずれか)にて予測信号を生成する。画面間予測信号生成器508や画面内予測信号生成器505より生成された予測信号はラインL510経由で加算器504に送られ、復元された残差信号に加算され、対象ブロック信号を再生し、ラインL512経由で出力すると同時にフレームメモリ506に格納される。
The operation of the
次に本発明に係る逆走査器513について説明する。逆走査器513の機能は、図1の逆走査器130と同じである。まず、図5のスイッチ509にて画面内予測を選択される場合について説明する。図6に示すように、逆走査器513は、9つの画面内予測信号生成方法に対して用意された逆走査器601〜609、逆走査方法選択器622、及びスイッチ623を備えている。L511d経由で選択された画面内予測信号生成方法を指示するモード情報が逆走査方法選択器622に送られると、逆走査方法選択器622は、モード情報に従って、スイッチ623を切り替える。これにより、図5のエントロピー復号器501から出力される量子化変換係数に関する1次元データの変換係数列は、L503経由で逆走査器601〜609のいずれかに入力される。各逆走査器601〜609は、それぞれ、図8(b)、図9(b)、図10(b)、図11(b)、図12(b)、図13(b)、図14(b)、図15(b)、図16(b)に示す矢印の順に従って、入力された量子化変換係数の1次元データの変換係数を、量子化変換係数行列(量子化変換ブロック)上にマッピングする。量子化変換ブロックは、L513経由で図5の逆量子化器502に出力される。図5のスイッチ509にて画面間予測を選択される場合については、画面内予測と画面間予測の切り替え情報を、予測信号生成方法を指示するモード情報に含めることで対応できる。図10(b)に示す矢印の順に従って、入力された量子化変換係数の1次元データの変換係数を、変換ブロック上にマッピングする(図示なし)。この際、逆走査器513に、画面間予測用の逆走査器を別途用意しても良い。
Next, the
図7は、本発明の実施形態に係る画像復号装置500における画面内復号処理を示す流れ図である。ステップ702では、圧縮データから対象ブロックの復号処理に要するデータを入力する。ステップ703では、ステップ702で取得した対象ブロックの圧縮データをエントロピー復号し、量子化変換係数と予測信号生成方法を指示するモード情報を復元する。ステップ704では、復元したモード情報に対応する逆走査方法により、量子化変換係数の1次元データを逆走査し、量子化変換係数行列に復元する。ステップ705では、復元した量子化変換係数を逆量子化し、変換係数行列を復元する。ステップ705では、復元した変換係数行列はステップ706にて逆DCT処理され、対象ブロックの差分信号が復元される。最後にステップ707にて、復元した差分信号と復元したモード情報に従って生成した画面内予測信号を加算し、対象ブロックの再生信号を生成する。
FIG. 7 is a flowchart showing an intra-screen decoding process in the
次に、コンピュータを本発明に係る画像符号化装置として動作させるための画像符号化プログラム、及び、コンピュータを本発明に係る画像復号装置として動作させるための画像復号プログラムについて説明する。図22は画像符号化プログラムP100の構成を、記録媒体10と共に示す図であり、図23は画像復号プログラムP500の構成を、記録媒体10と共に示す図である。このように画像符号化プログラムP100及び画像復号プログラムP500は、記録媒体10に格納されて提供される。記録媒体10としては、フレキシブルディスク、CD−ROM、DVD、あるいはROM等の記録媒体、あるいは半導体メモリ等が例示される。
Next, an image encoding program for operating a computer as an image encoding device according to the present invention and an image decoding program for operating a computer as an image decoding device according to the present invention will be described. FIG. 22 is a diagram showing the configuration of the image encoding program P100 together with the
図22に示すように、画像符号化プログラムP100は、本発明に係る画像符号化装置が備える領域分割手段に相当する領域分割モジュールP101と、予測信号生成手段に相当する予測信号生成モジュールP102と、残差信号生成手段に相当する残差信号生成モジュールP103と、変換手段に相当する変換モジュールP104と、走査手段に相当する走査モジュールP105と、符号化手段に相当する符号化モジュールP106と、復号手段に相当する復号モジュールP107と、逆走査手段に相当する逆走査モジュールP108と、逆変換手段に相当する逆変換モジュールP109と、画像復元手段に相当する画像復元モジュールP110と、画像保存手段に相当する画像保存モジュールP111とを備えている。 As shown in FIG. 22, an image encoding program P100 includes an area dividing module P101 corresponding to an area dividing unit included in an image encoding apparatus according to the present invention, a prediction signal generating module P102 corresponding to a prediction signal generating unit, Residual signal generation module P103 corresponding to residual signal generation means, conversion module P104 corresponding to conversion means, scanning module P105 corresponding to scanning means, encoding module P106 corresponding to encoding means, and decoding means A decoding module P107 corresponding to the above, a reverse scanning module P108 corresponding to the reverse scanning means, an inverse conversion module P109 corresponding to the reverse conversion means, an image restoration module P110 corresponding to the image restoration means, and an image storage means. And an image storage module P111.
また、図23に示すように、画像復号プログラムP500は、本発明に係る画像復号装置が備える復号手段に相当する復号モジュールP501と、予測信号生成手段に相当する予測信号生成モジュールP502と、逆走査手段に相当する逆走査モジュールP503と、逆変換手段に相当する逆変換モジュールP504と、画像復元手段に相当する画像復元モジュールP505と、画像保存手段に相当する画像保存モジュールP506とを備えている。 As shown in FIG. 23, the image decoding program P500 includes a decoding module P501 corresponding to decoding means included in the image decoding apparatus according to the present invention, a prediction signal generation module P502 corresponding to prediction signal generation means, and reverse scanning. A reverse scanning module P503 corresponding to the means, an inverse conversion module P504 corresponding to the reverse conversion means, an image restoration module P505 corresponding to the image restoration means, and an image saving module P506 corresponding to the image saving means.
図17は、記録媒体に記録されたプログラムを実行するためのコンピュータのハードウェア構成を示す図であり、図18は、記録媒体に記憶されたプログラムを実行するためのコンピュータの斜視図である。コンピュータとして、CPUを具備しソフトウエアによる処理や制御を行なうDVDプレーヤ、セットトップボックス、携帯電話などを含む。 FIG. 17 is a diagram illustrating a hardware configuration of a computer for executing a program recorded in a recording medium, and FIG. 18 is a perspective view of the computer for executing a program stored in the recording medium. Examples of the computer include a DVD player, a set-top box, a mobile phone, and the like that have a CPU and perform processing and control by software.
図17に示すように、コンピュータ30は、フレキシブルディスクドライブ装置、CD−ROMドライブ装置、DVDドライブ装置等の読取装置12と、オペレーティングシステムを常駐させた作業用メモリ(RAM)14と、記録媒体10に記憶されたプログラムを記憶するメモリ16と、ディスプレイといった表示装置18と、入力装置であるマウス20及びキーボード22と、データ等の送受を行うための通信装置24と、プログラムの実行を制御するCPU26とを備えている。コンピュータ30は、記録媒体10が読取装置12に挿入されると、読取装置12から記録媒体10に格納された画像符号化プログラムP100及び画像復号プログラムP500にアクセス可能になり、当該画像符号化プログラムP100及び画像復号プログラムP500によって、本発明に係る画像符号化装置・画像復号装置として動作することが可能になる。
As shown in FIG. 17, the
図18に示すように、画像符号化プログラムもしくは画像復号プログラムは、搬送波に重畳されたコンピュータデータ信号40としてネットワークを介して提供されるものであってもよい。この場合、コンピュータ30は、通信装置24によって受信した画像符号化プログラムもしくは画像復号プログラムをメモリ16に格納し、当該画像符号化プログラムもしくは画像復号プログラムを実行することができる。
As shown in FIG. 18, the image encoding program or the image decoding program may be provided via a network as a computer data signal 40 superimposed on a carrier wave. In this case, the
以上のように本発明における変換係数の走査方法ならびに逆走査方法によれば、特定の方向に強い相関を持つ予測信号の差分符号化において、予測方向等の特徴に応じて変換係数の走査方法ならびに逆走査方法を切り替えることが可能となるため、符号化効率が向上する。 As described above, according to the transform coefficient scanning method and the reverse scanning method of the present invention, in the differential encoding of a prediction signal having a strong correlation in a specific direction, the transform coefficient scanning method and the Since the reverse scanning method can be switched, the encoding efficiency is improved.
上記では、予測方向に対して90度の方向に変換係数を走査しているが、走査方法は、量子化変換係数行列内の変換係数を符号化する順番を定めるものであり、その順番は符号化効率を高める走査方法であればよい。従って、最適な角度は、予測方法や画像の特徴に応じて異なるものであり、限定されるものではない。また、図8(b)〜図16(b)では、量子化変換係数行列の走査は1本線で実施されているが、最適な走査方法は、予測方法や画像の特徴に応じて異なるものであり、数本の組み合わせで変換係数の1次元データを走査する場合もある。また、特定の量子化変換係数を0に既定するような場合には、必ずしも量子化変換係数内の全ての変換係数を走査する必要もない。逆走査方法も、走査方法を逆にたどって、量子化変換係数の1次元データを量子化変換係数行列に復元するものであり、走査方法と同じく、上記の実施形態の方法には限定されない。 In the above, the transform coefficients are scanned in the direction of 90 degrees with respect to the prediction direction. However, the scanning method determines the order in which transform coefficients in the quantized transform coefficient matrix are encoded. Any scanning method may be used as long as the efficiency is improved. Therefore, the optimum angle differs depending on the prediction method and the image characteristics, and is not limited. Further, in FIGS. 8B to 16B, the quantization transform coefficient matrix is scanned on a single line, but the optimum scanning method differs depending on the prediction method and the image characteristics. In some cases, one-dimensional data of conversion coefficients may be scanned with several combinations. Also, when a specific quantized transform coefficient is set to 0, it is not always necessary to scan all the transform coefficients in the quantized transform coefficient. The reverse scanning method also reverses the scanning method and restores the one-dimensional data of the quantized transform coefficients into the quantized transform coefficient matrix, and is not limited to the method of the above-described embodiment, like the scan method.
上記の実施形態では、複数の予測信号の生成方法に対する走査方法ならびに逆走査方法は予め定めているが、シーケンス単位やフレーム単位、あるいはブロック単位で符号化してもよい。 In the above embodiment, a scanning method and a reverse scanning method for a plurality of prediction signal generation methods are predetermined, but encoding may be performed in sequence units, frame units, or block units.
シーケンス単位やフレーム単位では、予め定めた逆走査方法を用いるか、あるいは逆走査方法を指示するデータを送るかを示すフラグを送る。この際、予測信号生成方法毎にフラグを送っても良いし、複数の予測信号生成方法毎に(すべての予測信号生成方法を含む)フラグを送っても良い。逆走査方法を指示するデータのフォーマットとしては、1次元データの各変換係数と逆走査後の量子化変換係数行列内における座標との対応を、量子化変換係数の復号順に並べる場合が考えられるが、このフォーマットには限定されない。例えば、量子化変換係数行列内の各係数のindexを予め決めておき、座標の代わりに該indexを符号化してもよいし、量子化変換係数行列内の各係数を所定の順番に並べ、その順序で1次元データとの対応を符号化するようにしてもよい。さらに、逆走査方法を指示するデータを送るのではなく、予め定めた複数の逆走査方法にそれぞれ識別番号を与えておき、各予測信号生成方法に対応する逆走査方法の識別情報を選択的に送る方法も考えられる。 In sequence units and frame units, a flag indicating whether to use a predetermined reverse scanning method or to send data instructing the reverse scanning method is sent. At this time, a flag may be sent for each prediction signal generation method, or a flag (including all prediction signal generation methods) may be sent for each of a plurality of prediction signal generation methods. As a data format for instructing the reverse scanning method, there is a case where the correspondence between each transform coefficient of the one-dimensional data and the coordinates in the quantized transform coefficient matrix after the reverse scan is arranged in the decoding order of the quantized transform coefficients. The format is not limited to this. For example, the index of each coefficient in the quantized transform coefficient matrix may be determined in advance, and the index may be encoded instead of the coordinates, or each coefficient in the quantized transform coefficient matrix is arranged in a predetermined order, The correspondence with the one-dimensional data may be encoded in order. Further, instead of sending data instructing the reverse scanning method, identification numbers are given to a plurality of predetermined reverse scanning methods, and the identification information of the reverse scanning method corresponding to each prediction signal generation method is selectively selected. A method of sending is also conceivable.
ブロック単位では、上記のように逆走査方法を符号化してもよいが、予測信号生成方法に対応した逆走査方法を用いるか、又は、デフォルトの逆走査方法(例えば図10(b))を用いるか、のいずれかを示す識別情報を送っても良い。識別情報には、シーケンス単位あるいはフレーム単位で送った逆走査方法を示すデータを選択肢に含んでも良いし、さらに、識別情報には、逆走査方法を示すデータを送るという選択肢を含んでも良い。識別情報が逆走査方法を示すデータを送ることを示すブロックでは、識別情報に続いて、逆走査方法を示すデータが伝送される。なお、これら4種類のいずれかの2つあるいは3つの組み合わせで識別情報を構成してもよい。 In the block unit, the reverse scanning method may be encoded as described above, but the reverse scanning method corresponding to the prediction signal generation method is used, or the default reverse scanning method (for example, FIG. 10B) is used. Or identification information indicating either of them may be sent. The identification information may include data indicating the reverse scanning method sent in sequence units or frame units, and the identification information may include the option of transmitting data indicating the reverse scanning method. In the block indicating that the identification information transmits data indicating the reverse scanning method, the data indicating the reverse scanning method is transmitted following the identification information. Note that the identification information may be configured by any two or three combinations of these four types.
このように逆走査方法に関する情報をフレームやブロック単位で送る場合には、符号化側ではテキスチャ信号の特徴に基づいて、各予測信号生成方法に対応する逆走査方法を決める必要がある。その手順としては、まず、候補となる走査方法を実際に試してみて、符号量が少ない方法を選択する。そして、適切な走査方法の対となる逆走査方法をデコーダに通知するという方法がある。復号側では、復号された予測信号生成方法を指示するモード情報と逆走査方法に関する情報から、各予測信号生成方法に対応する逆走査方法を選択し、復元した量子化変換係数の1次元データから量子化変換係数行列を生成する。 In this way, when information on the reverse scanning method is sent in units of frames or blocks, the encoding side needs to determine a reverse scanning method corresponding to each prediction signal generation method based on the characteristics of the texture signal. As the procedure, first, a candidate scanning method is actually tried and a method with a small code amount is selected. Then, there is a method of notifying a decoder of a reverse scanning method that is a pair of appropriate scanning methods. On the decoding side, a reverse scanning method corresponding to each prediction signal generation method is selected from mode information indicating the decoded prediction signal generation method and information on the reverse scanning method, and the restored one-dimensional data of the quantized transform coefficients is selected. Generate a quantized transform coefficient matrix.
本発明の実施は、予測信号生成方法の数には限定されないし、生成される予測信号が特定の特徴を有する場合には、走査方法ならびに逆走査方法切り替えの効果は期待できる。 The implementation of the present invention is not limited to the number of prediction signal generation methods, and when the generated prediction signal has specific characteristics, the effect of switching between the scanning method and the reverse scanning method can be expected.
本実施形態では予測信号生成と同じく量子化変換係数行列(量子化変換ブロック)を4×4画素としているが、それ以外の画素数(例えば8×8画素)からなるブロックを量子化変換ブロックとしてもよい。また、変換ブロックのサイズを予測信号生成の対象ブロックと異なるサイズにしてもよい。変換ブロックのサイズが対象ブロックのサイズよりも小さい場合、予測方向の違いが変換係数に与える影響は予測に用いる既再生画素から空間的に離れるほど小さくなる。このように予測方向の影響が小さい量子化変換ブロックに対しては、一般的なジグザグ走査を用いるように走査方法を設定してもよい。 In this embodiment, the quantization transformation coefficient matrix (quantization transformation block) is 4 × 4 pixels as in the case of the prediction signal generation, but a block composed of other numbers of pixels (for example, 8 × 8 pixels) is used as the quantization transformation block. Also good. Further, the size of the transform block may be different from the target block for generating the prediction signal. When the size of the transform block is smaller than the size of the target block, the influence of the difference in the prediction direction on the transform coefficient becomes smaller as it is spatially separated from the already-reproduced pixels used for prediction. As described above, the scanning method may be set to use a general zigzag scanning for the quantized transform block having a small influence on the prediction direction.
上記では差分信号の変換方法として離散コサイン変換(DCT)を用いているが、変換方法はDCTには限定されない。H.264に定義されるような整数変換でもよいし、KLT等の別の変換方法を用いてもよいし、あるいは周波数変換を行わなくてよい。この際、適用される量子化変換係数行列の走査方法ならびに量子化変換係数の1次元データの逆走査方法は、変換方法によって異なる。例えば、周波数変換を行わない場合には、既再生画素から空間的に離れた画素ほど予測差分値が大きくなる傾向があるため、図8(b)〜図16(b)に示した矢印を逆方向に走査し(走査方法)、量子化変換係数の1次元データを矢印の逆方向から量子化変換係数行列にマッピングする(逆走査方法)手順が効果的と考えられる。また、本発明は、エントロピー符号化の方法にも限定されない。算術符号化や可変長符号化など、あらゆる方法が適用可能である。また、量子化器が存在しない場合にも適用可能である。この場合には、量子化変換行列並びに量子化変換係数の1次元データは、それぞれ変換行列並びに変換係数の1次元データに置き換えられる。さらに、周波数変換を行わない場合には、差分行列(差分ブロック)並びに差分信号の1次元データに置き換えられる。 In the above description, discrete cosine transform (DCT) is used as a differential signal conversion method, but the conversion method is not limited to DCT. H. Integer conversion as defined in H.264 may be used, another conversion method such as KLT may be used, or frequency conversion may not be performed. At this time, the applied scanning method of the quantized transform coefficient matrix and the inverse scanning method of the one-dimensional data of the quantized transform coefficients differ depending on the transform method. For example, when frequency conversion is not performed, the prediction difference value tends to increase as the pixel is spatially separated from the already-reproduced pixel. Therefore, the arrows shown in FIGS. 8B to 16B are reversed. It is considered effective to scan in the direction (scanning method) and map the one-dimensional data of the quantized transform coefficients from the reverse direction of the arrow to the quantized transform coefficient matrix (reverse scan method). Further, the present invention is not limited to the entropy encoding method. All methods such as arithmetic coding and variable-length coding are applicable. The present invention is also applicable when no quantizer is present. In this case, the one-dimensional data of the quantized transform matrix and the quantized transform coefficient are replaced with the one-dimensional data of the transform matrix and the transform coefficient, respectively. Further, when frequency conversion is not performed, the difference matrix (difference block) and the one-dimensional data of the difference signal are replaced.
図1では、走査器を変換器ならびに量子化器とは別に設けているが、変換器あるいは量子化器に含まれるような構成であってもよいし、量子化器に変換器に含まれる構成でも本発明の走査方法は適用可能である。同様に、図1と図5の逆走査器は逆変換器あるいは逆量子化器に含まれるような構成であってもよいし、逆量子化器に逆変換器が含まれる構成でも本発明の逆走査方法は適用可能である。また、図1と図5は、画面内予測信号生成器への再生済み信号の入力はフレームメモリから行う構成となっているが、フレームメモリを介さずに加算器113(図1)や加算器504(図5)から行う構成であっても、本発明の逆走査方法は適用できる。 In FIG. 1, the scanner is provided separately from the converter and the quantizer. However, the scanner may be included in the converter or the quantizer, or the quantizer may be included in the converter. However, the scanning method of the present invention is applicable. Similarly, the inverse scanner of FIGS. 1 and 5 may be configured to be included in an inverse transformer or an inverse quantizer, or may be configured to include an inverse transformer in the inverse quantizer. A reverse scanning method is applicable. In FIGS. 1 and 5, the reproduced signal is input to the intra prediction signal generator from the frame memory, but the adder 113 (FIG. 1) or the adder is used without going through the frame memory. The reverse scanning method of the present invention can be applied even in the configuration performed from 504 (FIG. 5).
100…画像符号化装置、101…入力端子、102…ブロック分割器、103…画面間予測信号生成方法決定器、104…画面間予測信号生成器、105…画面内予測信号生成方法決定器、106…画面内予測信号生成器、107…切り替えスイッチ、108…減算器、109…変換器、110…量子化器、111…逆量子化器、112…逆変換器、113…加算器、114…フレームメモリ、115…エントロピー符号化器、116…出力端子、129…走査器、130…逆走査器、500…画像復号装置、500A…入力端子、501…エントロピー復号器、502…逆量子化器、503…逆変換器、504…加算器、505…画面内予測信号生成器、506…フレームメモリ、508…画面間予測信号生成器、509…切り替えスイッチ、512…出力端子、513…逆走査器。
DESCRIPTION OF
Claims (2)
前記複数の領域のうちの処理対象である対象領域に含まれる対象画素信号に対する予測信号を生成する予測信号生成手段と、
前記予測信号と前記対象画素信号との残差信号を生成する残差信号生成手段と、
前記残差信号生成手段により生成された残差信号に対して変換と量子化の両方又は一方を行い、変換係数行列又は量子化された変換係数行列を生成する変換手段と、
前記変換手段により生成された変換係数行列又は量子化された変換係数行列を走査して、変換係数又は量子化された変換係数の1次元データを生成する走査手段と、
前記走査手段により生成された変換係数又は量子化された変換係数の1次元データを符号化する符号化手段と、
前記変換係数又は量子化された変換係数の1次元データを復元する復号手段と、
前記復号手段により復号された残差信号に関する変換係数又は量子化された変換係数の1次元データを逆走査して、変換係数行列又は量子化された変換係数行列を生成する逆走査手段と、
前記逆走査手段により生成された前記変換係数行列に逆変換を行うか、又は、前記逆走査手段により生成された量子化された変換係数行列に逆量子化と逆変換の両方若しくは逆量子化のみを行うことで、再生残差信号を復元する逆変換手段と、
前記予測信号生成手段により生成された前記予測信号と前記逆変換手段により復元された再生残差信号とを加算することによって、前記対象画素信号を復元する画像復元手段と、
前記復元された対象画素信号を蓄積する画像保存手段と、を備え、
前記予測信号生成手段は、前記画像保存手段に蓄積されている既再生の画素を参照して、異なる予測信号生成方法で複数のテキスチャ信号を生成し、生成した複数のテキスチャ信号のうち、所定の評価規則に照らし前記対象画素信号との相関が最も高いテキスチャ信号を、対象領域の予測信号として選択する予測方法決定手段を含み、
前記符号化手段は、前記予測方法決定手段により選択されたテキスチャ信号を生成する予測信号生成方法を指示するモード情報を符号化し、
前記走査手段は、用意された複数の走査方法の中から、前記予測方法決定手段により選択されたテキスチャ信号を生成する予測信号生成方法と変換ブロックサイズとに対応する走査方法を用いて、前記変換係数又は量子化された変換係数の1次元データを生成し、
前記逆走査手段は、用意された複数の逆走査方法の中から、前記モード情報と前記変換ブロックサイズとに対応する逆走査方法を用いて、前記復元された変換係数又は量子化された変換係数の1次元データを逆走査して、再生残差信号の変換係数行列又は量子化された変換係数行列を生成し、
前記符号化手段は、量子化された変換係数の1次元データを符号化する場合、当該量子化された変換係数を、1以上の大きさを持つ有意係数と連続する0係数の数に分けて符号化する、
ことを特徴とする画像符号化装置。 Area dividing means for dividing the input image into a plurality of areas;
Prediction signal generation means for generating a prediction signal for a target pixel signal included in a target region that is a processing target of the plurality of regions;
Residual signal generating means for generating a residual signal between the prediction signal and the target pixel signal;
Transforming means for performing transforming and / or quantization on the residual signal generated by the residual signal generating means and generating a transform coefficient matrix or a quantized transform coefficient matrix;
Scanning means for scanning the transform coefficient matrix or quantized transform coefficient matrix generated by the transform means to generate one-dimensional data of the transform coefficient or quantized transform coefficient;
Encoding means for encoding the transform coefficient generated by the scanning means or the one-dimensional data of the quantized transform coefficient;
Decoding means for restoring one-dimensional data of the transform coefficient or the quantized transform coefficient;
Reverse scanning means for reverse-scanning the one-dimensional data of the transform coefficient or quantized transform coefficient related to the residual signal decoded by the decoding means, and generating a transform coefficient matrix or a quantized transform coefficient matrix;
Perform inverse transform on the transform coefficient matrix generated by the inverse scanning means, or perform both inverse quantization and inverse transform on the quantized transform coefficient matrix generated by the inverse scanning means, or only inverse quantization By performing inverse transformation means for restoring the reproduction residual signal,
Image restoration means for restoring the target pixel signal by adding the prediction signal generated by the prediction signal generation means and the reproduction residual signal restored by the inverse transformation means;
Image storage means for storing the restored target pixel signal,
The prediction signal generation unit generates a plurality of texture signals by using different prediction signal generation methods with reference to the already reproduced pixels accumulated in the image storage unit, and among the generated plurality of texture signals, a predetermined texture signal is generated. A prediction method determining means for selecting a texture signal having the highest correlation with the target pixel signal in light of the evaluation rule as a prediction signal of the target region;
The encoding means encodes mode information indicating a prediction signal generation method for generating a texture signal selected by the prediction method determination means,
The scanning unit uses the prediction signal generation method for generating the texture signal selected by the prediction method determination unit and the scanning method corresponding to the conversion block size from among the plurality of prepared scanning methods. Generate one-dimensional data of coefficients or quantized transform coefficients,
The reverse scanning means uses the reverse scanning method corresponding to the mode information and the conversion block size from among a plurality of prepared reverse scanning methods, to restore the restored transform coefficient or quantized transform coefficient. The one-dimensional data is reverse-scanned to generate a transform coefficient matrix or a quantized transform coefficient matrix of the reproduction residual signal,
When encoding the one-dimensional data of the quantized transform coefficient, the encoding means divides the quantized transform coefficient into the number of 0 coefficients that are continuous with a significant coefficient having a magnitude of 1 or more. Encoding,
An image encoding apparatus characterized by that.
圧縮データの中から処理対象である対象領域に関する残差信号の符号化データを抽出し、残差信号に関わる変換係数の1次元データを復元する復号手段と、
前記対象領域に含まれる対象画素信号に対する予測信号を生成する予測信号生成手段と、
前記復号手段により復号された残差信号に関する変換係数又は量子化された変換係数の1次元データを逆走査して、変換係数行列又は量子化された変換係数行列を生成する逆走査手段と、
前記逆走査手段により生成された前記変換係数行列に逆変換を行うか、又は、前記逆走査手段により生成された量子化された変換係数行列に逆量子化と逆変換の両方若しくは逆量子化のみを行うことで、再生残差信号を復元する逆変換手段と、
前記予測信号生成手段により生成された前記予測信号と前記逆変換手段により復元された再生残差信号とを加算することによって、前記対象領域の画素信号を復元する画像復元手段と、
前記復元された対象画素信号を蓄積する画像保存手段と、を備え、
前記復号手段は、圧縮データの中から、予測信号生成方法を指示するモード情報を抽出して復元し、
前記予測信号生成手段は、前記画像保存手段に蓄積されている既再生の画素を参照して異なるテキスチャ信号を生成するための複数の予測信号生成方法の中から、前記復号手段により復号された前記モード情報に対応する予測信号生成方法を特定し、特定した予測信号生成方法により前記対象領域の予測信号を生成し、
前記逆走査手段は、用意された複数の逆走査方法の中から、前記復号手段により復元された前記モード情報と変換ブロックサイズとに対応する逆走査方法を用いて、前記再生残差信号の変換係数行列又は量子化された変換係数行列を生成する、
ことを特徴とする画像復号装置。 An image decoding device for decoding compressed data obtained by encoding by the image encoding device according to claim 2,
Decoding means for extracting encoded data of a residual signal related to a target region to be processed from compressed data, and restoring one-dimensional data of transform coefficients related to the residual signal;
Prediction signal generation means for generating a prediction signal for a target pixel signal included in the target region;
Reverse scanning means for reverse-scanning the one-dimensional data of the transform coefficient or quantized transform coefficient related to the residual signal decoded by the decoding means, and generating a transform coefficient matrix or a quantized transform coefficient matrix;
Perform inverse transform on the transform coefficient matrix generated by the inverse scanning means, or perform both inverse quantization and inverse transform on the quantized transform coefficient matrix generated by the inverse scanning means, or only inverse quantization By performing inverse transformation means for restoring the reproduction residual signal,
Image restoration means for restoring the pixel signal of the target area by adding the prediction signal generated by the prediction signal generation means and the reproduction residual signal restored by the inverse transformation means;
Image storage means for storing the restored target pixel signal,
The decoding means extracts and restores mode information indicating a prediction signal generation method from the compressed data,
The prediction signal generation means is a plurality of prediction signal generation methods for generating different texture signals with reference to already reproduced pixels stored in the image storage means, and the decoding signal decoded by the decoding means. Specify a prediction signal generation method corresponding to the mode information, generate a prediction signal of the target region by the specified prediction signal generation method,
The reverse scanning means converts the reproduction residual signal using a reverse scanning method corresponding to the mode information and the conversion block size restored by the decoding means from among a plurality of prepared reverse scanning methods. Generate a coefficient matrix or a quantized transform coefficient matrix,
An image decoding apparatus characterized by that.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013191046A JP5646713B2 (en) | 2013-09-13 | 2013-09-13 | Image coding apparatus, method and program, and image decoding apparatus, method and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013191046A JP5646713B2 (en) | 2013-09-13 | 2013-09-13 | Image coding apparatus, method and program, and image decoding apparatus, method and program |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012109663A Division JP2012170140A (en) | 2012-05-11 | 2012-05-11 | Image encoder and image decoder |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014224289A Division JP5893711B2 (en) | 2014-11-04 | 2014-11-04 | Image coding apparatus, method and program, and image decoding apparatus, method and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014014163A true JP2014014163A (en) | 2014-01-23 |
JP5646713B2 JP5646713B2 (en) | 2014-12-24 |
Family
ID=50109521
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013191046A Active JP5646713B2 (en) | 2013-09-13 | 2013-09-13 | Image coding apparatus, method and program, and image decoding apparatus, method and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5646713B2 (en) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09149420A (en) * | 1995-11-27 | 1997-06-06 | Graphics Commun Lab:Kk | Method and device for compressing dynamic image |
JP2003250157A (en) * | 2002-01-07 | 2003-09-05 | Samsung Electronics Co Ltd | Optimal scanning method for transform coefficients in coding/decoding of still image and moving image |
JP2006191628A (en) * | 2004-12-31 | 2006-07-20 | Microsoft Corp | Adaptive coefficient scan order |
WO2007043583A1 (en) * | 2005-10-11 | 2007-04-19 | Matsushita Electric Industrial Co., Ltd. | Image encoding device, image decoding device, and method thereof |
WO2007046644A1 (en) * | 2005-10-21 | 2007-04-26 | Electronics And Telecommunications Research Institute | Apparatus and method for encoding and decoding moving picture using adaptive scanning |
WO2007063472A2 (en) * | 2005-11-30 | 2007-06-07 | Koninklijke Philips Electronics N.V. | Encoding method and apparatus applying coefficient reordering |
WO2008120434A1 (en) * | 2007-03-28 | 2008-10-09 | Panasonic Corporation | Decoding circuit, decoding method, encoding circuit, and encoding method |
JP2010530183A (en) * | 2007-06-15 | 2010-09-02 | クゥアルコム・インコーポレイテッド | Adaptive coefficient scanning in video coding |
-
2013
- 2013-09-13 JP JP2013191046A patent/JP5646713B2/en active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09149420A (en) * | 1995-11-27 | 1997-06-06 | Graphics Commun Lab:Kk | Method and device for compressing dynamic image |
JP2003250157A (en) * | 2002-01-07 | 2003-09-05 | Samsung Electronics Co Ltd | Optimal scanning method for transform coefficients in coding/decoding of still image and moving image |
JP2006191628A (en) * | 2004-12-31 | 2006-07-20 | Microsoft Corp | Adaptive coefficient scan order |
WO2007043583A1 (en) * | 2005-10-11 | 2007-04-19 | Matsushita Electric Industrial Co., Ltd. | Image encoding device, image decoding device, and method thereof |
WO2007046644A1 (en) * | 2005-10-21 | 2007-04-26 | Electronics And Telecommunications Research Institute | Apparatus and method for encoding and decoding moving picture using adaptive scanning |
WO2007063472A2 (en) * | 2005-11-30 | 2007-06-07 | Koninklijke Philips Electronics N.V. | Encoding method and apparatus applying coefficient reordering |
WO2008120434A1 (en) * | 2007-03-28 | 2008-10-09 | Panasonic Corporation | Decoding circuit, decoding method, encoding circuit, and encoding method |
JP2010530183A (en) * | 2007-06-15 | 2010-09-02 | クゥアルコム・インコーポレイテッド | Adaptive coefficient scanning in video coding |
Non-Patent Citations (1)
Title |
---|
JPN6012002421; Xiaopeng Fan et al.: 'A novel coefficient scanning scheme for directional spatial prediction-based image compression' Proceedings of Multimedia and Expo (ICME '03) Vol.2, 2003, pp.II - 557-560, IEEE * |
Also Published As
Publication number | Publication date |
---|---|
JP5646713B2 (en) | 2014-12-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2009027541A (en) | Image encoding device and its method and program, and image decoding device and its method and program | |
JP6535780B2 (en) | Image prediction decoding device and image prediction decoding method | |
JP4213646B2 (en) | Image encoding device, image encoding method, image encoding program, image decoding device, image decoding method, and image decoding program. | |
KR101717510B1 (en) | Device, method and program for image prediction encoding, device, method and program for image prediction decoding, and encoding/decoding system and method | |
KR100776182B1 (en) | Video encoding method, video decoding method, video encoding program, video decoding program, video encoding apparatus, and video decoding apparatus | |
JP5188875B2 (en) | Image predictive encoding device, image predictive decoding device, image predictive encoding method, image predictive decoding method, image predictive encoding program, and image predictive decoding program | |
KR20190016982A (en) | Method and apparatus for encoding intra prediction information | |
JP2017130969A (en) | Method of generating restoration block | |
JP2014534752A (en) | Video decoding device | |
KR20130096757A (en) | Image predict coding method, image predict coding device, image predict coding program, image predict decoding method, image predict decoding device, and image predict decoding program | |
MX2015003512A (en) | Video prediction encoding device, video prediction encoding method, video prediction decoding device and video prediction decoding method. | |
US20190335175A1 (en) | Coding device and decoding device which allow encoding and decoding of non-square blocks | |
JP6503014B2 (en) | Moving picture coding method and moving picture decoding method | |
JP6109354B2 (en) | Image decoding apparatus, method and program | |
JP5893711B2 (en) | Image coding apparatus, method and program, and image decoding apparatus, method and program | |
JP5646713B2 (en) | Image coding apparatus, method and program, and image decoding apparatus, method and program | |
JP2012170140A (en) | Image encoder and image decoder | |
CN111164975B (en) | Image data encoding and decoding | |
JP6510084B2 (en) | Moving picture decoding method and electronic apparatus | |
JP2020074624A (en) | Moving picture coding device and moving picture decoding method | |
WO2019081930A1 (en) | Image data encoding and decoding | |
KR20180041833A (en) | Video coding method and apparatus using most probable mode list of intra | |
CN114830644A (en) | Image encoding method and image decoding method | |
CN114830643A (en) | Image encoding method and image decoding method | |
CN114830641A (en) | Image encoding method and image decoding method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140723 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140729 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140912 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141007 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141105 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5646713 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |