JP2014222936A - Image decoding device, image decoding method, image encoding/decoding method and image decoding program - Google Patents
Image decoding device, image decoding method, image encoding/decoding method and image decoding program Download PDFInfo
- Publication number
- JP2014222936A JP2014222936A JP2014149570A JP2014149570A JP2014222936A JP 2014222936 A JP2014222936 A JP 2014222936A JP 2014149570 A JP2014149570 A JP 2014149570A JP 2014149570 A JP2014149570 A JP 2014149570A JP 2014222936 A JP2014222936 A JP 2014222936A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- prediction
- inter
- intra
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
本発明は、画像を圧縮して符号化する場合の画像符号化技術に関し、特に、画像内における相関のある情報から符号対象を予測し、予測誤差を符号化することで符号化効率の向上を図る画像復号装置、画像復号方法、画像符号化復号方法及び画像復号プログラムに関する。 The present invention relates to an image encoding technique in the case of compressing and encoding an image, and in particular, predicts a coding target from correlated information in the image and encodes a prediction error to improve encoding efficiency. The present invention relates to an image decoding device, an image decoding method, an image encoding / decoding method, and an image decoding program.
従来の画像符号化において符号化効率を向上させる方式としては、時間冗長性を削減する方法と空間冗長性を削減する方法が存在した。
時間冗長性を削減する方法としては、フレーム差分方式や動き補償方式がある。フレーム差分方式は、連続する２枚の画像を単純に減算し差分を符号化するものである。
動き補償方式は、参照フレームに対して動きベクトルを適用することで符号対象フレームの近似画像を生成し、符号対象フレームとの差分を符号化する。この動き補償方式は、画像間の相違を小さくした上で符号化するため、フレーム差分方式より符号化効率の面で優れている。
その一方、動き補償方式で用いる動きベクトルの推定方法は、時間冗長度の削減を可能とするものの、静止画には利用できないという課題があった。
As a method for improving the coding efficiency in the conventional image coding, there are a method for reducing temporal redundancy and a method for reducing spatial redundancy.
As a method for reducing temporal redundancy, there are a frame difference method and a motion compensation method. In the frame difference method, two consecutive images are simply subtracted and the difference is encoded.
In the motion compensation method, an approximate image of an encoding target frame is generated by applying a motion vector to a reference frame, and a difference from the encoding target frame is encoded. This motion compensation method is superior to the frame difference method in terms of encoding efficiency because encoding is performed after reducing differences between images.
On the other hand, the motion vector estimation method used in the motion compensation method has a problem that it can not be used for still images, although it can reduce time redundancy.
符号化効率の向上のための空間冗長性削減方法としては、例えば直交変換係数を量子化する方式が存在する。この方式は、直交変換は画素信号を周波数領域に写像し、エネルギーを低域に集中させるものである。この方式によれば、人間の視覚特性が高域に敏感でないことを利用して、高域成分を量子化で除去することで符号化効率を上げることが可能となる。 As a spatial redundancy reduction method for improving the coding efficiency, for example, there is a method of quantizing orthogonal transform coefficients. In this method, orthogonal transformation maps a pixel signal to a frequency domain and concentrates energy in a low frequency. According to this method, it is possible to increase the coding efficiency by removing the high frequency component by quantization using the fact that the human visual characteristic is not sensitive to the high frequency.
また、符号化を行う場合、特許文献１に示されるように、符号化の処理対象となっている領域の周囲に存在する符号化済みブロックに対して局部復号を行うことで復号信号を生成し、この復号信号を用いて面内予測（イントラ予測）を行うことで予測信号を生成し、符号化対象となっているブロック内の信号成分と、生成した予測信号との差分によって得られる残差信号に対して、所定の直交変換および量子化を行うことで空間冗長性削減し、符号化効率の改善を図ることが一般的に行われている。 In addition, when encoding is performed, as shown in Patent Document 1, a decoded signal is generated by performing local decoding on an encoded block existing around a region to be encoded. The prediction signal is generated by performing in-plane prediction (intra prediction) using this decoded signal, and the residual obtained by the difference between the signal component in the block to be encoded and the generated prediction signal In general, a signal is subjected to predetermined orthogonal transformation and quantization to reduce spatial redundancy and improve coding efficiency.
上述した直交変換と量子化の組み合わせや空間予測方法による空間冗長性削減方法は、フレーム内の空間冗長性を削減するが、同一フレームの異なる色信号については独立して処理するため、色信号の冗長性まで削減することはできないという課題があった。 The spatial redundancy reduction method using the combination of orthogonal transformation and quantization and the spatial prediction method described above reduces spatial redundancy in a frame, but different color signals in the same frame are processed independently, There was a problem that redundancy could not be reduced.
本発明は上記事情に鑑みて提案されたもので、画像を分離して得られた複数の色信号の中から基準となる基準信号を適応的に選択し、この基準信号から他の信号（被予測信号）を予測することで、被予測信号の情報量を削減し符号化効率を向上させる画像復号装置、画像復号方法、画像符号化復号方法及び画像復号プログラムを提供することを目的としている。 The present invention has been proposed in view of the above circumstances, and a reference signal serving as a reference is adaptively selected from a plurality of color signals obtained by separating images, and another signal (covered signal) is selected from the reference signal. An object of the present invention is to provide an image decoding device, an image decoding method, an image encoding / decoding method, and an image decoding program that reduce the amount of information of a signal to be predicted and improve the encoding efficiency by predicting the prediction signal.
上記目的を達成するため本発明は、複数の画素から構成される単位ブロックの各画素に対して信号内予測される各画素との間で差分処理を行って得られた信号内予測残差信号について直交変換・量子化・符号化を行って単位ブロック毎に符号化を行うに際し、単位ブロック内の信号内予測残差信号を一つの基準信号と被予測信号で構成される複数信号に分離し、信号間予測を行うことで色信号の冗長性の削減を可能とする。 In order to achieve the above object, the present invention provides an intra-signal prediction residual signal obtained by performing a difference process between each pixel of a unit block composed of a plurality of pixels and each pixel predicted in the signal. When performing orthogonal transform / quantization / encoding for each unit block, the intra-signal prediction residual signal in the unit block is separated into a plurality of signals composed of one reference signal and a predicted signal. By performing inter-signal prediction, it is possible to reduce the redundancy of color signals.
請求項１は、複数画素を有する複数の単位ブロックから構成される入力画像信号を直交変換・量子化・符号化した信号の復号を行う画像復号装置において、
再構成画像信号を基に各画素に対して信号内予測するための信号内予測情報に基づいて、色信号に分離した信号からの基準信号の選択及び各被予測信号への信号間予測の適用の是非を決定する信号間予測手段を備え、
前記信号間予測の情報及び前記信号内予測情報から信号間補償及び信号内補償を行って復号される画像信号を得ることを特徴としている。
An image decoding apparatus that decodes a signal obtained by orthogonally transforming, quantizing, and encoding an input image signal composed of a plurality of unit blocks each having a plurality of pixels.
Based on intra-signal prediction information for intra-signal prediction for each pixel based on the reconstructed image signal, selection of a reference signal from signals separated into color signals and application of inter-signal prediction to each predicted signal With inter-signal prediction means to determine the pros and cons of
An image signal to be decoded is obtained by performing inter-signal compensation and intra-signal compensation from the inter-signal prediction information and the intra-signal prediction information.
請求項２は、複数画素を有する複数の単位ブロックから構成される入力画像信号を直交変換・量子化・符号化した信号の復号を行う画像復号装置において、
色信号に分離された信号から符号化された予測情報を基に変化に富んだ信号を基準信号として選択して信号間予測信号を取得する信号間補償手段と、
前記予測情報から得た信号内予測情報と再構成画像信号から信号内予測信号を取得する信号内補償手段と、を備え、
前記基準信号、信号間予測信号及び信号内予測信号から信号間補償及び信号内補償を行って復号される画像信号を得ることを特徴としている。
An image decoding apparatus that decodes a signal obtained by orthogonally transforming, quantizing, and encoding an input image signal composed of a plurality of unit blocks each having a plurality of pixels.
Inter-signal compensation means for selecting a signal rich in change based on prediction information encoded from a signal separated into color signals as a reference signal and obtaining an inter-signal prediction signal;
Intra-signal prediction information obtained from the prediction information and in-signal compensation means for obtaining an intra-signal prediction signal from a reconstructed image signal, and
An image signal to be decoded is obtained by performing inter-signal compensation and intra-signal compensation from the reference signal, the inter-signal prediction signal, and the intra-signal prediction signal.
請求項３は、請求項２の画像復号装置において、前記変化に富んだ信号の判定について、近傍画素の分散または振幅、平均が最大となることにより行う請求項２の画像復号装置。
The image decoding device according to
請求項４は、請求項２の画像復号装置において、前記変化に富んだ信号の判定について、色信号に分離された信号の近傍画素同士の分散または振幅、平均が最大となることにより行うことを特徴としている。 According to a fourth aspect of the present invention, in the image decoding apparatus according to the second aspect, the determination of the signal rich in change is performed by maximizing the variance, amplitude, or average of neighboring pixels of the signal separated into color signals. It is a feature.
請求項５は、複数画素を有する複数の単位ブロックから構成される入力画像信号を直交変換・量子化・符号化した信号の復号を行う画像復号装置において、
符号化された予測情報を基に色信号に分離された信号から基準信号、被予測信号、各信号間予測の適用の可否を復号して信号間予測情報を取得する信号間予測手段と、
前記予測情報から信号内予測情報を取得する信号内予測手段と、を備え、
前記基準信号、各被予測信号、各信号間予測の適用の可否及び前記信号内予測情報から信号間補償及び信号内補償を行って復号される画像信号を得ることを特徴としている。
An image decoding device for decoding a signal obtained by orthogonally transforming, quantizing, and encoding an input image signal composed of a plurality of unit blocks having a plurality of pixels,
Inter-signal prediction means for decoding the reference signal, the signal to be predicted, and the applicability of inter-signal prediction from the signal separated into color signals based on the encoded prediction information to obtain inter-signal prediction information;
Intra-signal prediction means for acquiring intra-signal prediction information from the prediction information, and
An image signal to be decoded is obtained by performing inter-signal compensation and intra-signal compensation from the reference signal, each predicted signal, applicability of inter-signal prediction and the intra-signal prediction information.
請求項６は、複数画素を有する複数の単位ブロックから構成される入力画像信号を直交変換・量子化・符号化した信号の復号を行う画像復号方法において、
再構成画像信号を基に各画素に対して信号内予測するための信号内予測情報に基づいて、色信号に分離した信号からの基準信号の選択及び各被予測信号への信号間予測の適用の是非を決定する手順と、
前記信号間予測の情報及び前記信号内予測情報から信号間補償及び信号内補償を行って復号される画像信号を得る手順とを含むことを特徴としている。
An image decoding method for decoding a signal obtained by orthogonally transforming, quantizing, and encoding an input image signal composed of a plurality of unit blocks having a plurality of pixels,
Based on intra-signal prediction information for intra-signal prediction for each pixel based on the reconstructed image signal, selection of a reference signal from signals separated into color signals and application of inter-signal prediction to each predicted signal The procedure for determining the right or wrong of
And a procedure for obtaining an image signal to be decoded by performing inter-signal compensation and intra-signal compensation from the inter-signal prediction information and the intra-signal prediction information.
請求項７は、複数画素を有する複数の単位ブロックから構成される入力画像信号を直交変換・量子化・符号化した信号の復号を行う画像復号方法において、
色信号に分離された信号から符号化された予測情報を基に変化に富んだ信号を基準信号として選択して信号間予測信号を取得するとともに、前記予測情報から得た信号内予測情報と再構成画像信号から信号内予測信号を取得する手順と、
前記基準信号、信号間予測信号及び信号内予測信号から信号間補償及び信号内補償を行って復号される画像信号を得る手順とを含むことを特徴としている。
An image decoding method for decoding a signal obtained by orthogonally transforming, quantizing, and encoding an input image signal composed of a plurality of unit blocks having a plurality of pixels,
Based on the prediction information encoded from the signals separated into color signals, a signal rich in change is selected as a reference signal to acquire an inter-signal prediction signal, and the intra-signal prediction information obtained from the prediction information A procedure for obtaining an intra-signal prediction signal from a constituent image signal;
And a procedure for obtaining an image signal to be decoded by performing inter-signal compensation and intra-signal compensation from the reference signal, the inter-signal prediction signal, and the intra-signal prediction signal.
請求項８は、請求項７の画像復号方法において、
前記変化に富んだ信号の判定について、近傍画素の分散または振幅、平均が最大となることにより行うことを特徴としている。
The determination of the signal rich in change is performed by maximizing the dispersion or amplitude and average of neighboring pixels.
請求項９は、請求項７の画像復号方法において、
前記変化に富んだ信号の判定について、色信号に分離された信号の近傍画素同士の分散または振幅、平均が最大となることにより行うことを特徴としている。
Claim 9 is the image decoding method of claim 7,
The determination of the signal rich in change is performed by maximizing the variance, amplitude, and average of neighboring pixels of the signal separated into color signals.
請求項１０は、複数画素を有する複数の単位ブロックから構成される入力画像信号を直交変換・量子化・符号化した信号の復号を行う画像復号方法において、
符号化された予測情報を基に色信号に分離された信号から基準信号、被予測信号、各信号間予測の適用の可否を復号して信号間予測情報を取得するとともに、前記予測情報から信号内予測情報を取得する手順と、
前記基準信号、各被予測信号、各信号間予測の適用の可否及び前記信号内予測情報から信号間補償及び信号内補償を行って復号される画像信号を得る手順とを含むことを特徴としている。
An image decoding method for decoding a signal obtained by orthogonally transforming, quantizing, and encoding an input image signal composed of a plurality of unit blocks each having a plurality of pixels,
The inter-signal prediction information is acquired by decoding the reference signal, the signal to be predicted, and the applicability of inter-signal prediction from the signal separated into color signals based on the encoded prediction information, and the signal from the prediction information The procedure to obtain the forecast information,
And a procedure for obtaining an image signal to be decoded by performing inter-signal compensation and intra-signal compensation from the intra-signal prediction information, and whether or not to apply the reference signal, each signal to be predicted, inter-signal prediction. .
請求項１１の画像符号化復号方法は、
直交変換・量子化された画像信号を復号することで得られた符号化済領域に該当する再構成画像信号を基に前記入力画像信号の符号化対象領域に該当する各画素に対して信号内予測するための信号内予測情報を算出する手順と、
前記信号内予測手段からの前記信号内予測情報と前記再構成画像信号とから信号内予測信号を得る手順と、
符号化対象領域となっている入力画像信号と前記信号内予測信号との差分処理により得られた信号内予測残差信号について基準信号と被予測信号とに分離し基準信号の各画素に対応する被予測信号の各画素について信号間予測するための信号間予測情報を算出する手順と、
直交変換・量子化された画像信号を復号することで得られた復号信号内予測残差信号と前記信号間予測手段からの信号間予測情報とから符号化対象領域の信号間予測信号を得る手順と、
前記信号内予測残差信号と前記信号間予測信号との差分処理を行って得られた信号間予測残差信号について直交変換・量子化・符号化を行うことで前記被予測信号の各画素の符号化を行う手順と、を有し、
前記信号間予測情報における基準信号及び被予測信号は、前記信号内予測残差信号を色信号に分離した分離信号であり、
続いて、請求項６、７、１０のいずれか１項に記載された画像復号方法の各手順を実行することで復号される画像信号を得ることを特徴としている。
The image encoding / decoding method of
Based on the reconstructed image signal corresponding to the encoded region obtained by decoding the orthogonally transformed and quantized image signal, the signal in the signal corresponding to the encoding target region of the input image signal. A procedure for calculating in-signal prediction information for prediction;
Obtaining an intra-signal prediction signal from the intra-signal prediction information from the intra-signal prediction means and the reconstructed image signal;
The intra-signal prediction residual signal obtained by the difference process between the input image signal that is the encoding target region and the intra-signal prediction signal is separated into the reference signal and the predicted signal and corresponds to each pixel of the reference signal. A procedure for calculating inter-signal prediction information for inter-signal prediction for each pixel of the predicted signal;
A procedure for obtaining an inter-signal prediction signal in an encoding target region from an intra-decoded prediction residual signal obtained by decoding an orthogonally transformed and quantized image signal and inter-signal prediction information from the inter-signal prediction means When,
By performing orthogonal transform / quantization / coding on the inter-signal prediction residual signal obtained by performing the difference process between the intra-signal prediction residual signal and the inter-signal prediction signal, each pixel of the predicted signal is obtained. And a procedure for performing encoding,
The reference signal and the signal to be predicted in the inter-signal prediction information are separated signals obtained by separating the intra-signal prediction residual signal into color signals,
Subsequently, an image signal to be decoded is obtained by executing each procedure of the image decoding method according to any one of
請求項１２の画像復号プログラムは、請求項６乃至請求項１０のいずれか１項に記載の各手順をコンピュータに実行させることを特徴としている。 An image decoding program according to a twelfth aspect causes a computer to execute each procedure according to any one of the sixth to tenth aspects.
本発明によれば、画像復号装置において、画像信号を分離して得られた複数の信号の中から基準となる基準信号を適応的に選択し、その他の信号を基準信号から予測することで、空間冗長性を削減して被予測信号の情報量を削減し、符号化効率を向上させることができる。
また、基準信号及び被予測信号を色信号に分離した分離信号で信号間予測を行うことで、色信号の冗長性の削減を可能とする。
分離した信号から基準信号の選択及び各被予測信号への信号間予測の適用の可否の組み合わせを決定する信号間予測情報について、適用する信号の組み合わせを符号量及び歪み量から算出される符号化コストを最小化するように選定することで、適正な信号予測を行うことができる。
According to the present invention, in the image decoding apparatus, adaptively selecting a reference signal serving as a reference from among a plurality of signals obtained by separating an image signal, and predicting other signals from the reference signal, It is possible to reduce the amount of information of the signal to be predicted by reducing the spatial redundancy and improve the coding efficiency.
Further, by performing inter-signal prediction using a separated signal obtained by separating the reference signal and the predicted signal into color signals, it is possible to reduce the redundancy of the color signals.
For inter-signal prediction information that determines a combination of selection of a reference signal from separated signals and applicability of inter-signal prediction to each predicted signal, encoding in which a combination of applied signals is calculated from a code amount and a distortion amount By selecting so as to minimize the cost, an appropriate signal prediction can be performed.
本発明による画像符号化装置の実施形態の一例について、図１及び図２を参照しながら説明する。
本発明の画像符号化装置は、従来から存在する複数の画素から構成される単位ブロックの各画素に対して、符号化済画素から信号内予測される各画素との間で差分処理を行って得られた信号内予測残差信号について直交変換・量子化・符号化を行って単位ブロック毎に符号化を行う画像符号化装置に対して、前記単位ブロック内の信号内予測残差信号を一つの基準信号と被予測信号で構成される複数信号に分離し、複数の信号間の信号を予測する機能を付加した構成を特徴とするものである。
An example of an embodiment of an image encoding device according to the present invention will be described with reference to FIGS.
The image coding apparatus according to the present invention performs difference processing between each pixel of a unit block composed of a plurality of existing pixels and each pixel predicted in the signal from the coded pixel. The obtained intra-prediction residual signal is subjected to orthogonal transform / quantization / encoding to perform encoding for each unit block. It is characterized in that it is separated into a plurality of signals composed of one reference signal and a signal to be predicted, and a function for predicting signals between the plurality of signals is added.
すなわち、本発明の画像符号化装置は、図１に示すように、直交変換で周波数領域に変換する変換手段１と、直交変換係数を量子化する量子化手段２と、量子化された直交変換係数を可変長符号化する符号化手段３と、量子化された直交変換係数を逆量子化する逆量子化手段４と、逆量子化された直交変換係数を逆変換する逆変換手段５と、空間冗長性を削減する信号内予測情報を決定する信号内予測手段６と、空間冗長性を予測して信号内予測信号を再構成する信号内補償手段７とを備えた画像符号化装置に対して、複数の信号間の信号を予測する信号間予測手段８及び信号間予測信号を得る信号間補償手段９を備えて構成されている。 That is, as shown in FIG. 1, the image coding apparatus of the present invention includes a transforming means 1 for transforming into a frequency domain by orthogonal transform, a quantizing means 2 for quantizing orthogonal transform coefficients, and a quantized orthogonal transform. Encoding means 3 for variable-length encoding the coefficients, inverse quantization means 4 for inversely quantizing the quantized orthogonal transform coefficients, inverse transform means 5 for inversely transforming the inversely quantized orthogonal transform coefficients, For an image coding apparatus including intra-signal prediction means 6 for determining intra-signal prediction information for reducing spatial redundancy, and intra-signal compensation means 7 for reconstructing an intra-signal prediction signal by predicting spatial redundancy. The inter-signal prediction means 8 for predicting signals between a plurality of signals and the inter-signal compensation means 9 for obtaining inter-signal prediction signals are provided.
第一の差分器１１は、空間冗長性を削減するもので、符号化対象領域の画素について、入力画像信号と、信号内補償手段７から送られる符号化済画素から予測された信号内予測信号との差分を計算する。差分して得られた信号内予測残差信号は、信号間予測手段８及び第二の差分器１２にそれぞれ送られる。
The
第二の差分器１２は、信号間冗長性を削減するもので、符号化対象領域の画素について、第一の差分器１１から送られる信号内予測残差信号と、信号間補償手段９から送られる符号化済画素から予測された信号間予測信号との差分を計算する。差分して得られた信号間予測残差信号は、変換手段１に送られる。
The
第一の加算器１３は、信号間冗長性を補償するもので、逆変換手段５から送られる再生（復号）された信号間予測残差信号と、信号間補償手段９から送られる信号間予測信号との合計を計算することで信号内予測残差信号を再構成（復号）する。加算して得られた信号内予測残差信号は、信号間予測手段８，信号間補償手段９，第二の加算器１４にそれぞれ送られる。
The
第二の加算器１４は、信号間冗長性を補償するもので、第一の加算器１３から送られる信号内予測残差信号と、信号内補償手段７から送られる信号内予測信号との合計を計算することで符号化済画素に対応する画像信号（再構成画像信号）を再構成する。加算して得られた再構成画素信号は、信号内予測手段６及び信号内補償手段７にそれぞれ送られる。
The
変換手段１へは、入力画像及び第二の差分器１２から送られる信号間予測誤差信号が入力され、直交変換によって周波数領域に変換し、直交変換によって得られた変換係数を量子化手段２に出力する。直交変換としてはＤＣＴ乃至ＤＣＴの近似変換またはＤＷＴなどを利用することができる。
入力画像の各ピクチャ（フレーム）は、予め規定された数の画素（例えば、３２×３２画素、１６×１６画素、８×８画素、４×４画素あるいはそれらの組み合わせ）から構成される単位ブロックに分割され、単位ブロック毎に符号化が行われる。入力画像の各ピクチャ（フレーム）は、図２に示すように、例えば色空間においてＲＧＢ信号に分離されるＲ信号フレーム２０，Ｇ信号フレーム３０，Ｂ信号フレーム４０から構成される。各単位ブロックは、Ｒ信号ブロック２１に対して、空間的に対応するＧ信号ブロック及びＢ信号ブロックを有して構成されている。
An input image and an inter-signal prediction error signal sent from the
Each picture (frame) of the input image is a unit block composed of a predetermined number of pixels (for example, 32 × 32 pixels, 16 × 16 pixels, 8 × 8 pixels, 4 × 4 pixels, or a combination thereof). And is encoded for each unit block. As shown in FIG. 2, each picture (frame) of the input image is composed of, for example, an
従前の方法で画像符号化を行う場合、ＲＧＢ信号の各フレームについて、信号内予測信号に基づいて空間冗長性を削減する処理のみが行われていた。例えば、Ｒ信号ブロック２１の画像に輪郭や模様等（斜線部分）が存在するような場合、画像内における相関のある周囲の情報から符号対象を予測し、予測誤差を符号化することが行われている。
本例では、変換手段１に対して、各ピクチャが単位ブロックに分割された入力画像が入力され、変換手段１では、ＲＧＢの各信号ブロックの各画素の信号若しくは、第二の差分器１２から入力される信号間予測残差信号に基づいて空間的に対応する各画素との間で求めた差分値を変換することで信号間冗長性を削減する処理が行われる。
When image coding is performed by the conventional method, only processing for reducing spatial redundancy is performed for each frame of the RGB signal based on the intra-signal prediction signal. For example, when the image of the
In this example, an input image obtained by dividing each picture into unit blocks is input to the conversion unit 1, and the conversion unit 1 receives signals from each pixel of each RGB signal block or the
量子化手段２は、変換手段１から送られた変換係数を量子化する。量子化によって得られた量子化値は、符号化手段３及び逆量子化手段４に出力される。
量子化処理に用いられる量子化パラメータは、定数値の組み合わせとして設定することが可能である。または、変換係数の情報量に応じて制御することで出力するビットレートを一定に保つことも可能である。
The
The quantization parameter used for the quantization process can be set as a combination of constant values. Alternatively, the output bit rate can be kept constant by controlling according to the information amount of the transform coefficient.
符号化手段３は、量子化手段２から送られた量子化された変換係数を符号化し、符号情報として出力する。符号化は、符号間の冗長性を取り除く可変長符号又は算術符号などを利用することができる。 The encoding means 3 encodes the quantized transform coefficient sent from the quantization means 2 and outputs it as code information. For the encoding, a variable length code or an arithmetic code that removes redundancy between codes can be used.
逆量子化手段４は、量子化処理の逆の手順を行うことで、量子化手段２から送られた量子化された変換係数を逆量子化する。逆量子化によって得られた量子化誤差を含む変換係数は逆変換手段５に送られる。 The inverse quantization means 4 inversely quantizes the quantized transform coefficient sent from the quantization means 2 by performing the reverse procedure of the quantization process. The transform coefficient including the quantization error obtained by the inverse quantization is sent to the inverse transform means 5.
逆変換手段５は、直交変換の逆の手順を行うことで、逆量子化手段４から送られた量子化誤差を含む変換係数を逆直交変換する。逆変換によって得られた量子化誤差を含む信号間予測残差信号は第一の加算器１３に送られる。
The inverse transform unit 5 performs an inverse orthogonal transform on the transform coefficient including the quantization error sent from the
次に、本発明の画像符号化装置の特徴的構成である変換手段１に入力される信号間予測残差信号を得るために第二の差分器１２に入力される信号間予測信号の算出について説明する。
信号間予測信号の算出は、信号内予測手段６及び信号内補償手段７に対して、第一の加算器１３を介して信号内予測残差信号が入力される信号間予測手段８及び信号間補償手段９を設けることで行われる。以下、信号内予測手段６，信号内補償手段７，信号間予測手段８及び信号間補償手段９の各機能について説明する。
Next, the calculation of the inter-signal prediction signal input to the
The inter-signal prediction signal is calculated by calculating the inter-signal prediction means 8 and the inter-signal prediction means 6 and the intra-signal compensation means 7 to which the intra-signal prediction residual signal is input via the
信号内予測手段６は、空間冗長性を削減する信号内予測情報を決定するものであり、第二の加算器１４から送られた量子化誤差を含む符号化済画素に対応する再構成画素信号を基に、入力信号を近似するための信号内予測情報を決定する。決定された信号内予測情報は信号内補償手段７及び符号化手段３に送られる。図１中、量子化手段２への線は省略しているが、信号内予測情報の一部は量子化され符号化される。
信号内予測については、従来から各種方法が行われている。例えば一例として、規格化されているＨ．２６４のイントラ予測を利用する場合は、各イントラ予測モードで個別に符号化し、符号量と歪量から算出される符号化コストを最小化するイントラ予測モード（レート歪み最適化法）を選択し、信号内予測情報とする。例えば、図２において、Ｒ信号ブロック（単位ブロック）２１の符号化を行う場合、既に符号化されている同じＲ信号フレーム２１における斜線部分の画像（特に、直上や左部の画像）２２から予測して信号内予測情報を求める。
The intra-signal prediction means 6 determines intra-signal prediction information for reducing spatial redundancy, and a reconstructed pixel signal corresponding to an encoded pixel including a quantization error sent from the
Various methods have been conventionally used for intra-signal prediction. For example, as an example, the standardized H.264 standard. When using H.264 intra prediction, an intra prediction mode (rate distortion optimization method) that individually encodes each intra prediction mode and minimizes the coding cost calculated from the code amount and the distortion amount is selected. This is assumed to be intra-signal prediction information. For example, in FIG. 2, when encoding an R signal block (unit block) 21, prediction is performed from an image (particularly, an image directly above or to the left) 22 in a hatched portion in the same encoded
信号内補償手段７は、空間冗長性を予測して信号内予測信号を再構成するものであり、信号内予測手段６から送られる信号内予測情報と第二の加算器１４から送られる再構成画素信号から当該領域の信号内予測信号を生成する。信号内予測信号は第一の差分器１１及び第二の加算器１４に送られる。
The intra-signal compensation means 7 predicts spatial redundancy and reconstructs the intra-signal prediction signal. The intra-signal prediction information sent from the intra-signal prediction means 6 and the reconfiguration sent from the
信号間予測手段８は、信号間冗長性を削減する信号間予測情報を決定するものである。
信号間予測手段８は、前記単位ブロック内の信号内予測残差信号を一つの基準信号と被予測信号で構成される複数信号に分離することで複数の信号間の信号を予測する。
信号間予測手段８は、第一の加算器１３から送られた量子化誤差を含む信号内予測残差信号を基に、第一の差分器１１から送られた信号内予測残差信号を近似するための係数を算出する。
算出された予測係数は、信号間予測情報として信号間補償手段９及び符号化手段３に送られる。図１中、量子化手段２への線は省略しているが、信号間予測情報の一部は量子化され符号化される。
The inter-signal prediction means 8 determines inter-signal prediction information for reducing inter-signal redundancy.
The
The inter-signal prediction means 8 approximates the intra-signal prediction residual signal sent from the
The calculated prediction coefficient is sent to the inter-signal compensation unit 9 and the
以下、信号間予測手段８による予測係数の算出及び信号間補償手段９による信号間予測信号の生成手順について、図３を参照しながら説明する。
先ず、信号間予測手段８において、予測係数の算出には入力された信号を複数の信号に分離する（ステップ５１）。信号を分離する種類や数は問わないが、一例として上述したように、単位ブロックを色空間のＲＧＢ信号に分離する。また、色空間の信号に分離する場合、ＹＵＶ信号，ＹＣｂＣｒ信号等の色空間の信号を利用することも可能である。
Hereinafter, the calculation procedure of the prediction coefficient by the
First, in the inter-signal prediction means 8, the input signal is separated into a plurality of signals for calculation of the prediction coefficient (step 51). The type and number of signals are not limited, but as described above, as an example, the unit block is separated into RGB signals in the color space. In addition, when separating into color space signals, it is also possible to use color space signals such as YUV signals and YCbCr signals.
次に、分離された信号を信号間予測手段８の基準となる基準信号と予測される被予測信号とに分類するとともに、被予測信号に対して信号間予測情報の適用の可否を判断し（ステップ５２）、基準信号から信号間予測情報を算出する（ステップ５３）。基準信号と被予測信号は、いずれも単一であっても複数であっても良い。基準信号は予め決定したものを固定して使用してもよいし、また、領域など一定範囲で基準信号を変化させるようにしてもよい。 Next, the separated signals are classified into a reference signal as a reference of the inter-signal prediction means 8 and a predicted signal to be predicted, and whether or not the inter-signal prediction information can be applied to the predicted signal ( Step 52), inter-signal prediction information is calculated from the reference signal (step 53). Both the reference signal and the signal to be predicted may be single or plural. A predetermined reference signal may be used in a fixed manner, or the reference signal may be changed within a certain range such as a region.
例えば、入力画像に対してＲＧＢ信号で信号分離を行った場合、木の葉等の緑が多い画像に対しては、Ｇ信号を基準信号とすることで、被予測信号の滑らかさを正確に再現できるため被予測信号と予測信号との差を小さくして符号化の効率化を図ることができる。
すなわち、画像信号として変化の大きい信号を基準信号として選択することで、画質向上を図ることができる。逆に、画像信号として変化の大きい信号は符号量も多く占めるため、変化の大きい信号を被予測信号として選択することで、符号量削減を図ることができる。
For example, when signal separation is performed on an input image using RGB signals, the smoothness of the signal to be predicted can be accurately reproduced by using the G signal as a reference signal for images with many green leaves such as leaves. Therefore, it is possible to reduce the difference between the signal to be predicted and the prediction signal to improve the encoding efficiency.
That is, image quality can be improved by selecting a signal having a large change as an image signal as a reference signal. On the contrary, since a signal with a large change as an image signal occupies a large amount of code, the code amount can be reduced by selecting a signal with a large change as a predicted signal.
被予測信号を求めるに際しては、基準信号からの信号間予測を適用するかどうかの選択が行われる。この選択は、信号間予測情報等を考慮したレート歪み最適化法で決める。
信号間予測情報の算出は、単位ブロック毎に予測可能とし、予測する場合は単位ブロック内の画素信号毎に予測の有無を設定可能とすることが好ましい。
In obtaining the signal to be predicted, whether to apply inter-signal prediction from the reference signal is selected. This selection is determined by a rate distortion optimization method considering inter-signal prediction information and the like.
The calculation of the inter-signal prediction information is preferably predictable for each unit block, and in the case of prediction, it is preferable that the presence / absence of prediction can be set for each pixel signal in the unit block.
基準信号を領域などに応じて変化させる場合は、基準信号の選定及び信号予測を適用するかどうかを表す情報を符号化（明示）することも、符号化しない（暗示する）ことも可能である。
明示する場合は、全ての信号を個別に符号化し符号量と歪量から算出される符号化コストを最小化する信号を選択し、その信号を表す情報を信号間予測情報に含める。被予測信号を限定する場合も同様に、その信号を表す情報を信号間予測情報に含める。例えば、符号化コストは、符号量をＲ、歪量をＤとした場合、重み和（Ｒ＋λＤ）で算出する。
When the reference signal is changed depending on the region or the like, it is possible to encode (express) or not (implicit) information indicating selection of the reference signal and whether to apply signal prediction. .
When clearly indicating, all signals are individually encoded, a signal that minimizes the encoding cost calculated from the code amount and the distortion amount is selected, and information representing the signal is included in the inter-signal prediction information. Similarly, when the signal to be predicted is limited, information representing the signal is included in the inter-signal prediction information. For example, the encoding cost is calculated as a weight sum (R + λD), where R is the code amount and D is the distortion amount.
すなわち、ＲＧＢの各色信号に対して、基準信号の選定及び信号間予測の適用の可否については、下のような１０通りの組み合わせが存在する。
（１）Rを基準信号とする（基準），G信号間予測を適用する（適用），B適用
（２）R基準，G適用，B信号間予測を適用しない（非適用）
（３）R基準，G非適用，B適用
（４）G基準，R適用，B適用
（５）G基準，R適用，B非適用
（６）G基準，R非適用，B適用
（７）B基準，G適用，R適用
（８）B基準，G適用，R非適用
（９）B基準，G非適用，R適用
（10）非適用
これらの全ての符号化コストを求め、符号化コストが最小となるものを選択することで、ＲＧＢ信号に対する基準信号の選定、及び、各被予測信号に対する信号予測の適用の可否を判断することができる。
In other words, for the RGB color signals, there are the following 10 combinations as to whether or not the reference signal can be selected and inter-signal prediction can be applied.
(1) R is used as a reference signal (reference), G signal prediction is applied (applied), B is applied (2) R criterion, G is applied, B signal prediction is not applied (not applied)
(3) R standard, G non-application, B application (4) G standard, R application, B application (5) G standard, R application, B non-application (6) G standard, R non-application, B application (7) B standard, G application, R application (8) B standard, G application, R non application (9) B standard, G non application, R application (10) non application By selecting the signal having the smallest value, it is possible to determine whether or not the selection of the reference signal for the RGB signal and the application of the signal prediction to each predicted signal can be performed.
この場合（明示する場合）は、信号間予測情報に対して、例えば基準信号がＲＧＢのどの信号であるか表示する２ビットと、被予測信号について信号間予測を適用するかどうか表示する２ビットで表現し、可変長符号化で符号化できる。 In this case (when specified), for example, 2 bits indicating whether the reference signal is RGB or not, and 2 bits indicating whether the inter-signal prediction is applied to the predicted signal with respect to the inter-signal prediction information. And can be encoded by variable length encoding.
一方、暗示する場合は、変化に富んだ信号を基準信号として用いると予測の精度が向上するので、近傍画素の分散又は振幅、平均が最大となる信号を選択し、復号側も同様の手段で基準信号を選択することで、その信号を表す情報を信号間予測情報に含めないようにする。
または、変化に富んだ信号を被予測信号として用いると符号化効率が向上するので、基準信号と被予測信号との近傍画素同士の分散又は振幅、平均が最大となる信号を選択し、復号側も同様の手段で被予測信号を選択することで、その信号を表す情報を信号間予測情報に含めないようにする。
または、信号内予測が原画像の高い相関を損なわないモードを選択していれば、信号内予測誤差信号に信号間の冗長性が残るため、信号内予測情報に基づいて信号間予測の適用の是非を決定することもできる。
On the other hand, in the case of implied, if a signal rich in change is used as a reference signal, the accuracy of prediction is improved. Therefore, a signal that maximizes the variance or amplitude and average of neighboring pixels is selected, and the decoding side uses the same means. By selecting the reference signal, information representing the signal is not included in the inter-signal prediction information.
Alternatively, if a signal rich in change is used as the predicted signal, the encoding efficiency is improved. Therefore, the signal having the maximum variance, amplitude, and average between neighboring pixels of the reference signal and the predicted signal is selected and decoded. In addition, by selecting a signal to be predicted by the same means, information representing the signal is not included in the inter-signal prediction information.
Alternatively, if a mode in which intra-signal prediction does not impair the high correlation of the original image is selected, redundancy between signals remains in the intra-signal prediction error signal. You can also decide what you want.
前記信号間予測手段は，分離した信号から基準信号と被予測信号の組み合わせを決定する場合に、予め入力信号と最適な組み合わせを統計的に機械学習させておき、生成された辞書をもとに入力された信号に対する基準信号及び組み合わせを推定するように構成してもよい。機械学習には公知のDecision Tree やRandom Forest，Neural Network など任意の識別器を用いることができる。識別器に用いる特徴量としては、符号化対象領域の近傍画素情報や信号内予測情報、入力画像信号そのものを用いる。動画像の符号化においては、辞書を予め作成しておくだけでなく、一定のフレーム毎若しくはカット点毎に上述の符号化コスト（発生符号量と歪量との重み和から算出される値）を最小化する最適な組み合わせを全探索し逐次学習を適用しても良い。 The inter-signal prediction means statistically machine-learns an optimal combination of the input signal and the input signal in advance when determining a combination of the reference signal and the signal to be predicted from the separated signals, and based on the generated dictionary. You may comprise so that the reference signal and combination with respect to the input signal may be estimated. Any classifier such as a known Decision Tree, Random Forest, or Neural Network can be used for machine learning. As the feature amount used for the discriminator, neighboring pixel information of the encoding target region, intra-signal prediction information, and the input image signal itself are used. In encoding moving images, not only a dictionary is created in advance, but also the above-mentioned encoding cost (a value calculated from the sum of weights of generated code amount and distortion amount) for each fixed frame or cut point. It is also possible to apply full-time learning by searching for an optimal combination that minimizes.
次に、基準信号が決定され、信号間予測を適用する場合に、基準信号から被予測信号を近似するための予測式と予測係数について説明する。
一例として、ＹＵＶ信号の色空間の信号に分離し、Ｙ信号を基準信号、Ｕ信号及びＶ信号を被予測信号とする場合、予測手段は線形結合の乗数ａ及び補正値ｂを予測係数とし、小領域単位で推定できる。ある小領域Ｒに属する座標ベクトルｘのＵ信号及びＶ信号の予測式は数１で与えられる。
Next, when a reference signal is determined and inter-signal prediction is applied, a prediction formula and a prediction coefficient for approximating a signal to be predicted from the reference signal will be described.
As an example, when the YUV signal is separated into a color space signal, the Y signal is a reference signal, and the U signal and the V signal are prediction signals, the prediction means uses a linear combination multiplier a and a correction value b as prediction coefficients, Can be estimated in small area units. A prediction formula for the U signal and the V signal of the coordinate vector x belonging to a certain small region R is given by Equation 1.
ここで、Ｙ（ｘ），Ｕ（ｘ），Ｖ（ｘ）は、それぞれＹＵＶ信号の画素値を表す。（）内のｘはベクトルである。ただし、基準信号には誤差の伝播を防ぐため量子化誤差が含まれている。 Here, Y (x), U (x), and V (x) each represent a pixel value of the YUV signal. X in () is a vector. However, the reference signal includes a quantization error to prevent error propagation.
予測係数は、予測誤差の２乗を最小にするように推定する。
具体的にＵ信号に対する予測係数ａｕ及びｂｕについて、算出方法の一例を述べる。予測誤差の２乗Ｅ2は、数２で表される。
The prediction coefficient is estimated so as to minimize the square of the prediction error.
Specifically, an example of a calculation method for the prediction coefficients a u and b u for the U signal will be described. The square E 2 of the prediction error is expressed by
このとき、２乗誤差Ｅｕ 2の係数ａ及びｂによる偏微分は数３で表される。
At this time, the partial differentiation of the square error E u 2 by the coefficients a and b is expressed by
ここで、ｎは小領域Ｒに属する画素数を表す。
２乗誤差Ｅ2を最小化するには数３が「０」になることが必要なので、数４を解けば、予測係数ａｕ及びｂｕを算出できる。
Here, n represents the number of pixels belonging to the small region R.
Since
数４を解くと２乗誤差Ｅ2を最小にする乗数ａｕと補正値ｂｕは数５で求められる。
When
なお、補正値ｂｕは乗数ａｕを用いて導出できるので、乗数ａｕを量子化して符号化する場合は、量子化誤差を含む乗数で補正値を算出することで予測精度を向上させることが可能となる。
上述の計算では、Ｕ信号に対する予測係数ａｕ及びｂｕを求めたが、Ｖ信号に対する予測係数ａｖ及びｂｖも数５のＵ（ベクトルｘ）をＶ（ベクトルｘ）に差し替えるだけで同様の方式を用いることが可能である。
Since the correction value b u can be derived using a multiplier a u, when encoding quantized multiplier a u is possible to improve the prediction accuracy by calculating the correction value in multiplier including a quantization error Is possible.
In the above calculation, the prediction coefficients a u and b u for the U signal are obtained, but the prediction coefficients a v and b v for the V signal are the same by simply replacing U (vector x) in Formula 5 with V (vector x). It is possible to use this method.
信号間補償手段９は、信号間冗長性を予測して信号間予測信号を再構成するもので、信号間予測手段８からの信号間予測情報と、第一の加算器１３からの信号内予測残差信号とから信号間予測信号を得る（ステップ５４）。すなわち、信号間補償手段９は、信号間予測手段８から送られる信号間予測情報と第一の加算器１３から送られる信号間予測残差信号から被予測信号を近似する信号間予測信号を生成する。生成された信号間予測信号は、第一の加算器１３及び第二の差分器１２に出力される。
上述の例で、信号間予測手段８が線形結合を利用し、信号間予測情報が乗数ａおよび補正値ｂから構成されている場合は、予測信号は上述した数１で生成される。
The inter-signal compensation means 9 predicts inter-signal redundancy and reconstructs the inter-signal prediction signal. The inter-signal prediction information from the inter-signal prediction means 8 and the intra-signal prediction from the
In the above example, when the inter-signal prediction means 8 uses linear combination and the inter-signal prediction information is composed of the multiplier a and the correction value b, the prediction signal is generated by the above-described formula 1.
上述した構成の画像符号化装置によれば、変換手段１で各単位ブロックの符号化対象領域の画素についての変換を行うに際して、色空間で分離された信号（ＲＧＢ信号，ＹＵＶ信号，ＹＣｂＣｒ信号等）について、第二の差分器１２から入力される信号間予測誤差信号に基づいて空間的に対応する各画素の差分値を変換し、量子化手段２及び符号化手段３により符号化される。
変換手段１に入力される信号間予測誤差信号は、既に符号化された画像領域の再生画素信号及び再生された信号内予測誤差信号から信号内予測及び信号間予測を行うことで算出する。
According to the image encoding apparatus having the above-described configuration, when the conversion unit 1 performs conversion on the pixels in the encoding target area of each unit block, signals separated in the color space (RGB signal, YUV signal, YCbCr signal, etc.) ), The difference value of each spatially corresponding pixel is converted based on the inter-signal prediction error signal input from the
The inter-signal prediction error signal input to the conversion means 1 is calculated by performing intra-signal prediction and inter-signal prediction from the regenerated pixel signal of the already encoded image region and the regenerated intra-signal prediction error signal.
すなわち、単位ブロックの符号化対象領域の各画素信号について符号化を行う場合、符号化対象画素の周辺の符号化済の画素信号について、逆量子化手段４及び逆変換手段５を介することで、信号間予測残差信号を再生し、第一の加算器１３及び第二の加算器１４を介して信号内予測残差信号を再生し、信号内予測手段６及び信号内補償手段７に出力される。同時に、第一の加算器１３を介して信号内予測残差信号が再生され、信号間予測手段８及び信号間補償手段９に出力される。
That is, when encoding is performed for each pixel signal in the encoding target region of the unit block, the encoded pixel signal around the encoding target pixel is passed through the
信号内予測手段６へは、入力画像が入力され、信号内予測情報により信号内補償手段７で信号内予測信号が生成され、第一の差分器１１に出力される。
第一の差分器１１では、入力画像と信号内予測信号の差分により信号内予測残差信号が生成され、信号間予測手段８及び第二の差分器１２に出力される。
An input image is input to the
In the
信号間予測手段８では、第一の差分器１１からの信号内予測残差信号と、第一の加算器１３からの信号内予測残差信号により信号間予測情報が算出されて信号間予測信号が生成され、第二の差分器１２に出力される。
第二の差分器１２では、第一の差分器１１からの信号内予測残差信号と信号間予測信号の差分により信号間予測残差信号が生成され、この信号間予測残差信号が変換手段１に入力されることで、既に符号化された画像領域の画素信号からのイントラ予測を行うとともに、色空間における基準信号から他の信号を予測して被予測信号とすることで、空間冗長性を削減して被予測信号の情報量を削減し、符号化効率を向上させることができる。
In the inter-signal prediction means 8, inter-signal prediction information is calculated from the intra-signal prediction residual signal from the
In the
上述した画像符号化装置によれば、入力信号を複数の信号に分離し、基準となる信号から他の信号を予測して被予測信号における情報の発生量を削減する信号予測を採用することで、高い符号化効率が可能となる。また、時間的冗長性などを削減する従来の予測方式と組み合わせることが可能であり、更なる符号化効率の向上を図ることが可能となる。
また、上述した信号間予測残差信号について直交変換・量子化・符号化を行って得られる符号列は符号化手段３から出力されるが、画像復号装置（図示せず）において、前記符号列を基に復号、逆量子化、逆変換して得られる信号間残差信号と、前記信号間予測信号と、前記信号内予測信号を使用して画像符号化装置と逆の処理を行うことで復号することができる。
すなわち、前記信号間予測残差信号について直交変換・量子化・符号化を行うことで得られた符号列に対して復号を行う画像復号装置において、図１の画像符号化装置と逆の処理を行うに際して、逆量子化手段４及び逆変換手段５により信号間予測残差信号を得て信号内補償（信号内補償手段７）及び信号間補償（信号間補償手段９）を行う場合に、信号内予測手段６及び信号間予測手段８でパラメータとして求めた係数を取得し、信号間予測信号及び信号内予測信号から画像符号化装置と同様の信号間補償及び信号内補償を行うことで、復号されて映像出力となる画像信号（再構成画素信号）を得ることができる。
According to the above-described image encoding device, the input signal is separated into a plurality of signals, and other signals are predicted from the reference signal to employ signal prediction that reduces the amount of information generated in the predicted signal. High encoding efficiency is possible. Further, it can be combined with a conventional prediction method that reduces temporal redundancy and the like, and it is possible to further improve the coding efficiency.
In addition, a code string obtained by performing orthogonal transform, quantization, and coding on the inter-signal prediction residual signal described above is output from the encoding means 3, but in the image decoding device (not shown), the code string By using the inter-signal residual signal obtained by decoding, inverse quantization, and inverse transform based on the signal, the inter-signal prediction signal, and the intra-signal prediction signal, a process reverse to that of the image encoding device is performed. Can be decrypted.
That is, in the image decoding apparatus that performs decoding on a code string obtained by performing orthogonal transform, quantization, and encoding on the inter-signal prediction residual signal, the reverse process of the image encoding apparatus in FIG. 1 is performed. When performing the inter-signal compensation residual signal (intra-signal compensation unit 7) and the inter-signal compensation (inter-signal compensation unit 9) by obtaining the inter-signal prediction residual signal by the
１…変換手段、 ２…量子化手段、 ３…符号化手段、 ４…逆量子化手段、 ５…逆変換手段、 ６…信号内予測手段、 ７…信号内補償手段、 ８…信号間予測手段、 ９…信号間補償手段、 １１…第一の差分器、 １２…第二の差分器、 １３…第一の加算器、 １４…第二の加算器、 ２０…Ｒ信号フレーム、 ２１…Ｒ信号ブロック（単位ブロック）。 DESCRIPTION OF SYMBOLS 1 ... Conversion means, 2 ... Quantization means, 3 ... Coding means, 4 ... Inverse quantization means, 5 ... Inverse conversion means, 6 ... Intra-signal prediction means, 7 ... Intra-signal compensation means, 8 ... Inter-signal prediction means 9 ... Inter-signal compensation means, 11 ... First differencer, 12 ... Second differencer, 13 ... First adder, 14 ... Second adder, 20 ... R signal frame, 21 ... R signal Block (unit block).
Claims (12)
再構成画像信号を基に各画素に対して信号内予測するための信号内予測情報に基づいて、色信号に分離した信号からの基準信号の選択及び各被予測信号への信号間予測の適用の是非を決定する信号間予測手段を備え、
前記信号間予測の情報及び前記信号内予測情報から信号間補償及び信号内補償を行って復号される画像信号を得る
ことを特徴とする画像復号装置。 In an image decoding device that decodes a signal obtained by orthogonal transform / quantization / encoding an input image signal composed of a plurality of unit blocks having a plurality of pixels,
Based on intra-signal prediction information for intra-signal prediction for each pixel based on the reconstructed image signal, selection of a reference signal from signals separated into color signals and application of inter-signal prediction to each predicted signal With inter-signal prediction means to determine the pros and cons of
An image decoding apparatus characterized by obtaining an image signal to be decoded by performing inter-signal compensation and intra-signal compensation from the inter-signal prediction information and the intra-signal prediction information.
色信号に分離された信号から符号化された予測情報を基に変化に富んだ信号を基準信号として選択して信号間予測信号を取得する信号間補償手段と、
前記予測情報から得た信号内予測情報と再構成画像信号から信号内予測信号を取得する信号内補償手段と、を備え、
前記基準信号、信号間予測信号及び信号内予測信号から信号間補償及び信号内補償を行って復号される画像信号を得る
ことを特徴とする画像復号装置。 In an image decoding device that decodes a signal obtained by orthogonal transform / quantization / encoding an input image signal composed of a plurality of unit blocks having a plurality of pixels,
Inter-signal compensation means for selecting a signal rich in change based on prediction information encoded from a signal separated into color signals as a reference signal and obtaining an inter-signal prediction signal;
Intra-signal prediction information obtained from the prediction information and in-signal compensation means for obtaining an intra-signal prediction signal from a reconstructed image signal, and
An image decoding apparatus, wherein an image signal to be decoded is obtained by performing inter-signal compensation and intra-signal compensation from the reference signal, inter-signal prediction signal, and intra-signal prediction signal.
符号化された予測情報を基に色信号に分離された信号から基準信号、被予測信号、各信号間予測の適用の可否を復号して信号間予測情報を取得する信号間予測手段と、
前記予測情報から信号内予測情報を取得する信号内予測手段と、を備え、
前記基準信号、各被予測信号、各信号間予測の適用の可否及び前記信号内予測情報から信号間補償及び信号内補償を行って復号される画像信号を得る
ことを特徴とする画像復号装置。 In an image decoding device that decodes a signal obtained by orthogonal transform / quantization / encoding an input image signal composed of a plurality of unit blocks having a plurality of pixels,
Inter-signal prediction means for decoding the reference signal, the signal to be predicted, and the applicability of inter-signal prediction from the signal separated into color signals based on the encoded prediction information to obtain inter-signal prediction information;
Intra-signal prediction means for acquiring intra-signal prediction information from the prediction information, and
An image decoding apparatus characterized by obtaining an image signal to be decoded by performing inter-signal compensation and intra-signal compensation from the reference signal, each predicted signal, applicability of inter-signal prediction, and intra-signal prediction information.
再構成画像信号を基に各画素に対して信号内予測するための信号内予測情報に基づいて、色信号に分離した信号からの基準信号の選択及び各被予測信号への信号間予測の適用の是非を決定する手順と、
前記信号間予測の情報及び前記信号内予測情報から信号間補償及び信号内補償を行って復号される画像信号を得る手順とを含む
ことを特徴とする画像復号方法。 In an image decoding method for decoding an input image signal composed of a plurality of unit blocks having a plurality of pixels and performing orthogonal transformation, quantization, and encoding,
Based on intra-signal prediction information for intra-signal prediction for each pixel based on the reconstructed image signal, selection of a reference signal from signals separated into color signals and application of inter-signal prediction to each predicted signal The procedure for determining the right or wrong of
And a procedure for obtaining an image signal to be decoded by performing inter-signal compensation and intra-signal compensation from the inter-signal prediction information and the intra-signal prediction information.
色信号に分離された信号から符号化された予測情報を基に変化に富んだ信号を基準信号として選択して信号間予測信号を取得するとともに、前記予測情報から得た信号内予測情報と再構成画像信号から信号内予測信号を取得する手順と、
前記基準信号、信号間予測信号及び信号内予測信号から信号間補償及び信号内補償を行って復号される画像信号を得る手順とを含む
ことを特徴とする画像復号方法。 In an image decoding method for decoding an input image signal composed of a plurality of unit blocks having a plurality of pixels and performing orthogonal transformation, quantization, and encoding,
Based on the prediction information encoded from the signals separated into color signals, a signal rich in change is selected as a reference signal to acquire an inter-signal prediction signal, and the intra-signal prediction information obtained from the prediction information A procedure for obtaining an intra-signal prediction signal from a constituent image signal;
And a procedure of obtaining an image signal to be decoded by performing inter-signal compensation and intra-signal compensation from the reference signal, the inter-signal prediction signal, and the intra-signal prediction signal.
符号化された予測情報を基に色信号に分離された信号から基準信号、被予測信号、各信号間予測の適用の可否を復号して信号間予測情報を取得するとともに、前記予測情報から信号内予測情報を取得する手順と、
前記基準信号、各被予測信号、各信号間予測の適用の可否及び前記信号内予測情報から信号間補償及び信号内補償を行って復号される画像信号を得る手順とを含む
ことを特徴とする画像復号方法。 In an image decoding method for decoding an input image signal composed of a plurality of unit blocks having a plurality of pixels and performing orthogonal transformation, quantization, and encoding,
The inter-signal prediction information is acquired by decoding the reference signal, the signal to be predicted, and the applicability of inter-signal prediction from the signal separated into color signals based on the encoded prediction information, and the signal from the prediction information The procedure to obtain the forecast information,
And a step of obtaining an image signal to be decoded by performing inter-signal compensation and intra-signal compensation from the reference signal, each predicted signal, applicability of inter-signal prediction, and intra-signal prediction information. Image decoding method.
前記信号内予測手段からの前記信号内予測情報と前記再構成画像信号とから信号内予測信号を得る手順と、
符号化対象領域となっている入力画像信号と前記信号内予測信号との差分処理により得られた信号内予測残差信号について基準信号と被予測信号とに分離し基準信号の各画素に対応する被予測信号の各画素について信号間予測するための信号間予測情報を算出する手順と、
直交変換・量子化された画像信号を復号することで得られた復号信号内予測残差信号と前記信号間予測手段からの信号間予測情報とから符号化対象領域の信号間予測信号を得る手順と、
前記信号内予測残差信号と前記信号間予測信号との差分処理を行って得られた信号間予測残差信号について直交変換・量子化・符号化を行うことで前記被予測信号の各画素の符号化を行う手順と、を有し、
前記信号間予測情報における基準信号及び被予測信号は、前記信号内予測残差信号を色信号に分離した分離信号であり、
続いて、請求項６、７、１０のいずれか１項に記載された画像復号方法の各手順を実行することで復号される画像信号を得る
ことを特徴とする画像符号化復号方法。 Based on the reconstructed image signal corresponding to the encoded region obtained by decoding the orthogonally transformed and quantized image signal, the signal in the signal corresponding to the encoding target region of the input image signal. A procedure for calculating in-signal prediction information for prediction;
Obtaining an intra-signal prediction signal from the intra-signal prediction information from the intra-signal prediction means and the reconstructed image signal;
The intra-signal prediction residual signal obtained by the difference process between the input image signal that is the encoding target region and the intra-signal prediction signal is separated into the reference signal and the predicted signal and corresponds to each pixel of the reference signal. A procedure for calculating inter-signal prediction information for inter-signal prediction for each pixel of the predicted signal;
A procedure for obtaining an inter-signal prediction signal in an encoding target region from an intra-decoded prediction residual signal obtained by decoding an orthogonally transformed and quantized image signal and inter-signal prediction information from the inter-signal prediction means When,
By performing orthogonal transform / quantization / coding on the inter-signal prediction residual signal obtained by performing the difference process between the intra-signal prediction residual signal and the inter-signal prediction signal, each pixel of the predicted signal is obtained. And a procedure for performing encoding,
The reference signal and the signal to be predicted in the inter-signal prediction information are separated signals obtained by separating the intra-signal prediction residual signal into color signals,
Subsequently, an image signal to be decoded is obtained by executing each procedure of the image decoding method according to claim 6, 7, or 10.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014149570A JP2014222936A (en) | 2014-07-23 | 2014-07-23 | Image decoding device, image decoding method, image encoding/decoding method and image decoding program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014149570A JP2014222936A (en) | 2014-07-23 | 2014-07-23 | Image decoding device, image decoding method, image encoding/decoding method and image decoding program |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013217818A Division JP5667269B2 (en) | 2013-10-18 | 2013-10-18 | Image encoding device, image decoding device, image encoding / decoding device, image encoding / decoding method, and image encoding / decoding program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2014222936A true JP2014222936A (en) | 2014-11-27 |
Family
ID=52122211
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014149570A Pending JP2014222936A (en) | 2014-07-23 | 2014-07-23 | Image decoding device, image decoding method, image encoding/decoding method and image decoding program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2014222936A (en) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004343774A (en) * | 2003-05-16 | 2004-12-02 | Samsung Electronics Co Ltd | Video encoding/decoding method and apparatus using residue prediction of video |
| JP2006310941A (en) * | 2005-04-26 | 2006-11-09 | Kddi Corp | Image coding device |
| JP2008537402A (en) * | 2005-04-18 | 2008-09-11 | サムスン エレクトロニクス カンパニー リミテッド | Video encoding or decoding method and apparatus |
| JP2008306719A (en) * | 2007-06-11 | 2008-12-18 | Samsung Electronics Co Ltd | Method and apparatus for encoding and decoding video by using inter color compensation |
| JP2009518940A (en) * | 2006-07-04 | 2009-05-07 | サムスン エレクトロニクス カンパニー リミテッド | Image encoding method and apparatus, decoding method and apparatus |
| JP2009529845A (en) * | 2006-03-13 | 2009-08-20 | サムスン エレクトロニクス カンパニー リミテッド | Method and apparatus for encoding moving picture by adaptively applying optimal prediction mode, and method and apparatus for decoding moving picture |
| JP2009543423A (en) * | 2006-07-04 | 2009-12-03 | サムスン エレクトロニクス カンパニー リミテッド | Video encoding / decoding method and apparatus |
-
2014
- 2014-07-23 JP JP2014149570A patent/JP2014222936A/en active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004343774A (en) * | 2003-05-16 | 2004-12-02 | Samsung Electronics Co Ltd | Video encoding/decoding method and apparatus using residue prediction of video |
| JP2008537402A (en) * | 2005-04-18 | 2008-09-11 | サムスン エレクトロニクス カンパニー リミテッド | Video encoding or decoding method and apparatus |
| JP2006310941A (en) * | 2005-04-26 | 2006-11-09 | Kddi Corp | Image coding device |
| JP2009529845A (en) * | 2006-03-13 | 2009-08-20 | サムスン エレクトロニクス カンパニー リミテッド | Method and apparatus for encoding moving picture by adaptively applying optimal prediction mode, and method and apparatus for decoding moving picture |
| JP2009518940A (en) * | 2006-07-04 | 2009-05-07 | サムスン エレクトロニクス カンパニー リミテッド | Image encoding method and apparatus, decoding method and apparatus |
| JP2009543423A (en) * | 2006-07-04 | 2009-12-03 | サムスン エレクトロニクス カンパニー リミテッド | Video encoding / decoding method and apparatus |
| JP2008306719A (en) * | 2007-06-11 | 2008-12-18 | Samsung Electronics Co Ltd | Method and apparatus for encoding and decoding video by using inter color compensation |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5421757B2 (en) | Image encoding device | |
| KR102015374B1 (en) | Methods of determination for chroma quantization parameter and apparatuses for using the same | |
| KR101974261B1 (en) | Encoding method and apparatus comprising convolutional neural network(cnn) based in-loop filter, and decoding method and apparatus comprising convolutional neural network(cnn) based in-loop filter | |
| KR101362757B1 (en) | Method and apparatus for image encoding and decoding using inter color compensation | |
| JP5646641B2 (en) | Method for coding a block of an image and method for reconstructing a block of an image | |
| JP5545783B2 (en) | Method for decoding a stream of encoded data representing an image sequence and method for encoding an image sequence | |
| US20180249162A1 (en) | Method and apparatus for decoding a video using an intra prediction | |
| US20150189276A1 (en) | Video encoding method and apparatus, video decoding method and apparatus, and programs therefor | |
| JP6356913B2 (en) | Method and apparatus for decoding / encoding a video signal using a transformation derived from a graph template | |
| JP7402280B2 (en) | Video decoding device, video decoding method and program | |
| KR20100046202A (en) | Method for processing images and the corresponding electronic device | |
| KR101874015B1 (en) | Methods and apparatus for video transform encoding/decoding | |
| JP5909149B2 (en) | COLOR CONVERTER, ENCODER AND DECODER, AND PROGRAM THEREOF | |
| JP6042001B2 (en) | Moving picture coding apparatus and moving picture coding method | |
| KR102059842B1 (en) | Method and apparatus for performing graph-based transformation using generalized graph parameters | |
| US10212436B2 (en) | Image encoding apparatus, image decoding apparatus and image transmission method | |
| KR20130046377A (en) | Methods for coding and reconstructing a pixel block and corresponding devices | |
| WO2014084674A2 (en) | Intra prediction method and intra prediction apparatus using residual transform | |
| JP6564315B2 (en) | Encoding device, decoding device, and program | |
| JP2019134284A (en) | Encoding apparatus, decoding apparatus, encoding method, and decoding method | |
| JP5667269B2 (en) | Image encoding device, image decoding device, image encoding / decoding device, image encoding / decoding method, and image encoding / decoding program | |
| JP2014222936A (en) | Image decoding device, image decoding method, image encoding/decoding method and image decoding program | |
| WO2013038888A1 (en) | Image encoding device and image decoding device | |
| WO2012118359A2 (en) | Method for determining color difference component quantization parameter and device using the method | |
| KR102506115B1 (en) | Method for generating quantization table |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150722 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150729 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150928 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20151104 |