JP2013098713A - Video encoding device, video decoding device, video encoding method, and video decoding method - Google Patents
Video encoding device, video decoding device, video encoding method, and video decoding method Download PDFInfo
- Publication number
- JP2013098713A JP2013098713A JP2011239042A JP2011239042A JP2013098713A JP 2013098713 A JP2013098713 A JP 2013098713A JP 2011239042 A JP2011239042 A JP 2011239042A JP 2011239042 A JP2011239042 A JP 2011239042A JP 2013098713 A JP2013098713 A JP 2013098713A
- Authority
- JP
- Japan
- Prior art keywords
- prediction
- block
- coding
- image
- intra
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
この発明は、動画像を高効率で符号化を行う動画像符号化装置及び動画像符号化方法と、高効率で符号化されている動画像を復号する動画像復号装置及び動画像復号方法とに関するものである。 The present invention relates to a moving image encoding apparatus and moving image encoding method for encoding a moving image with high efficiency, a moving image decoding apparatus and a moving image decoding method for decoding a moving image encoded with high efficiency, and It is about.
例えば、MPEG(Moving Picture Experts Group)や「ITU−T H.26x」などの国際標準映像符号化方式では、入力映像フレームを矩形のブロック(符号化ブロック)に分割し、その符号化ブロックに対して、符号化済みの画像信号を用いる予測処理を実施することで予測画像を生成し、その符号化ブロックと予測画像の差分である予測誤差信号をブロック単位に直交変換や量子化処理を行うことで、情報圧縮を行うようにしている。 For example, in an international standard video encoding method such as MPEG (Moving Picture Experts Group) or “ITU-T H.26x”, an input video frame is divided into rectangular blocks (encoded blocks), and the encoded blocks are divided. In addition, a prediction image is generated by performing a prediction process using an encoded image signal, and a prediction error signal that is a difference between the encoded block and the prediction image is subjected to orthogonal transform or quantization processing in units of blocks. Therefore, information compression is performed.
例えば、国際標準方式であるMPEG−4 AVC/H.264(ISO/IEC 14496−10|ITU−T H.264)では、符号化済みの近傍画素からのイントラ予測処理又は近接フレーム間での動き補償予測処理を行っている(例えば、非特許文献1を参照)。
MPEG−4 AVC/H.264において、輝度のイントラ予測モードでは、ブロック単位に、複数の予測モードの中から1つの予測モードを選択することができる。
図16は輝度のブロックサイズが4×4画素の場合のイントラ予測モードを示す説明図である。
図16では、ブロック内の白丸が符号化対象の画素を表し、黒丸は予測に用いる画素である符号化済みの画素を表している。輝度のブロックサイズが4×4画素の場合には、モード0からモード8の9つのイントラ予測モードが規定されている。
For example, MPEG-4 AVC / H. H.264 (ISO / IEC 14496-10 | ITU-T H.264) performs intra prediction processing from encoded neighboring pixels or motion compensation prediction processing between adjacent frames (for example, Non-Patent Document 1). See).
MPEG-4 AVC / H. In H.264, in the luminance intra prediction mode, one prediction mode can be selected from a plurality of prediction modes for each block.
FIG. 16 is an explanatory diagram showing an intra prediction mode in the case where the luminance block size is 4 × 4 pixels.
In FIG. 16, white circles in the block represent pixels to be encoded, and black circles represent encoded pixels that are pixels used for prediction. When the luminance block size is 4 × 4 pixels, nine intra prediction modes from
図16において、モード2は平均値予測を行うモードであり、ブロックの上と左の隣接画素の平均値で、ブロック内の画素を予測するものである。
モード2以外のモードは方向性予測を行うモードである。モード0は垂直方向予測であり、ブロックの上の隣接画素を垂直方向に繰り返すことで予測画像を生成するものである。例えば、縦縞模様のときにはモード0が選択される。
モード1は水平方向予測であり、ブロックの左の隣接画素を水平方向に繰り返すことで予測画像を生成するものである。例えば、横縞模様のときにはモード1が選択される。
モード3からモード8は、ブロックの上又は左の符号化済みの画素を用いて、所定の方向(矢印が示す方向)に補間画素を生成して予測画像を生成するものである。
In FIG. 16,
Modes other than
In
ここで、イントラ予測を適用する輝度のブロックサイズは、4×4画素、8×8画素、16×16画素の中から選択することができ、8×8画素の場合には、4×4画素と同様に、9つのイントラ予測モードが規定されている。ただし、予測に用いる画素については、符号化済みの画素そのものではなく、これらの画素に対してフィルタ処理を施したものを用いている。
これに対し、16×16画素の場合には、平均値予測、垂直方向予測及び水平方向予測に係るイントラ予測モードに加えて、Plane予測と呼ばれる4つのイントラ予測モードが規定されている。
Plane予測に係るイントラ予測モードは、ブロックの上と左の符号化済みの隣接画素を斜め方向に内挿補間して生成された画素を予測値とするモードである。
Here, the luminance block size to which the intra prediction is applied can be selected from 4 × 4 pixels, 8 × 8 pixels, and 16 × 16 pixels, and in the case of 8 × 8 pixels, 4 × 4 pixels. Similarly, nine intra prediction modes are defined. However, the pixels used for prediction are not encoded pixels themselves but those obtained by performing filter processing on these pixels.
On the other hand, in the case of 16 × 16 pixels, in addition to intra prediction modes related to average value prediction, vertical direction prediction, and horizontal direction prediction, four intra prediction modes called “plane prediction” are defined.
The intra prediction mode related to the Plane prediction is a mode in which a pixel generated by interpolating the upper and left encoded adjacent pixels in the block in an oblique direction is a prediction value.
方向性予測を行うイントラ予測モードは、例えば、45度など、モードによって予め定められた方向で予測値を生成するため、ブロック内のオブジェクトの境界(エッジ)の方向が、予測モードが示す方向と一致する場合、予測効率が高くなって符号量を削減することができる。
しかし、エッジの方向と予測モードが示す方向との間に僅かにずれが生じていたり、方向が一致していても符号化対象ブロック内のエッジが僅かに歪んで(揺らぐ、曲がる等)いたりすると、局所的に大きな予測誤差が発生してしまい、予測効率が極端に低下することがある。
このような予測効率の低下を防ぐために、8×8画素の方向性予測では、符号化済みの隣接画素に対して平滑化処理を施したものを用いて予測処理を行うことで、平滑化された予測画像を生成し、予測方向の僅かなずれや、エッジに僅かな歪みが生じている場合に発生する予測誤差を低減させている。
In the intra prediction mode in which the directionality prediction is performed, for example, a prediction value is generated in a direction predetermined by the mode such as 45 degrees. Therefore, the direction of the boundary (edge) of the object in the block is the direction indicated by the prediction mode. If they match, the prediction efficiency increases and the amount of codes can be reduced.
However, if there is a slight deviation between the direction of the edge and the direction indicated by the prediction mode, or the edge in the encoding target block is slightly distorted (fluctuates, bends, etc.) even if the directions match. A large prediction error may occur locally, and the prediction efficiency may be extremely reduced.
In order to prevent such a decrease in prediction efficiency, in the 8 × 8 pixel direction prediction, smoothing is performed by performing a prediction process using a smoothed process performed on an encoded adjacent pixel. The prediction image generated is generated, and the prediction error that occurs when the prediction direction slightly shifts or the edge has a slight distortion is reduced.
従来の画像符号化装置は以上のように構成されているので、平滑化された予測画像を生成すれば、予測方向の僅かなずれや、エッジに僅かな歪みが生じても、発生する予測誤差を低減することができる。しかし、非特許文献1では、8×8画素のブロック以外には平滑化処理を実施しておらず、8×8画素のブロックにおいても一通りの平滑化処理だけである。
実際には、8×8画素以外のサイズのブロックでも同様に、予測画像と符号化対象画像の絵柄が似ていても、エッジの僅かなミスマッチによって、局所的に大きな予測誤差が発生して、予測効率の大幅な低下が生じることがある課題があった。
また、同一サイズのブロックにおいても、予測モードが異なると、ブロック内で予測誤差が発生し易い箇所や、予測誤差を低減するのに適している処理が異なるにもかかわらず、一通りの平滑化処理しか用意されていないため、予測誤差を十分に低減することができないことがある課題があった。
Since the conventional image encoding apparatus is configured as described above, if a smoothed prediction image is generated, a prediction error that occurs even if a slight shift in the prediction direction or a slight distortion occurs in the edge Can be reduced. However, in Non-Patent
Actually, even in a block having a size other than 8 × 8 pixels, even if the pattern of the predicted image and the image to be encoded are similar, a large prediction error occurs locally due to a slight mismatch of edges, There has been a problem that the prediction efficiency may be significantly reduced.
Even in the same size block, if the prediction mode is different, a smoothing process is performed regardless of the location where the prediction error is likely to occur in the block and the processing suitable for reducing the prediction error. Since only the processing is prepared, there is a problem that the prediction error may not be sufficiently reduced.
特に、図16におけるモード3やモード7のような方向性予測(右上から左下方向の方向性予測)では、予測に用いるブロックの上の隣接画素からの距離が離れるブロックの左端の画素の予測信号と、隣接する符号化済み画素信号との間で不連続となり易く、ブロックの境界で歪みが発生してしまうことがある課題があった。ブロックの境界での歪みは、モード8のように、左下から右上方向の方向性予測におけるブロックの上端のブロック境界でも生じる。
さらに、平均値予測による予測を行う場合には、ブロック内の予測値を全てブロックに隣接する画素の平均値とするため、ブロック境界に位置する画素の予測信号が周囲の符号化済み画素信号に対して不連続な信号となり易いため、ブロックの境界部分に歪みが発生しやすいという課題があった。
In particular, in the directionality prediction (direction prediction from the upper right to the lower left direction) as in
Furthermore, when performing prediction based on average value prediction, the prediction value of the pixel located at the block boundary is used as the surrounding encoded pixel signal so that all the prediction values in the block are the average value of the pixels adjacent to the block. On the other hand, there is a problem that distortion tends to occur at the boundary portion of the block because the signal tends to be discontinuous.
この発明は上記のような課題を解決するためになされたもので、局所的に発生する予測誤差を低減して、画像品質を高めることができる動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法を得ることを目的とする。 The present invention has been made to solve the above-described problems, and is a moving image encoding device, a moving image decoding device, and a moving image capable of reducing locally generated prediction errors and improving image quality. It is an object to obtain an encoding method and a moving image decoding method.
この発明に係る動画像符号化装置は、イントラ予測手段が、予め用意されている1以上のフィルタの中から所定のフィルタを選択し、そのフィルタを用いて、フレーム内予測処理を実施して生成している予測画像のブロック境界に対するフィルタ処理を実施し、フィルタ処理後の予測画像を差分画像生成手段に出力するようにしたものである。 In the moving picture coding apparatus according to the present invention, the intra prediction means generates a filter by selecting a predetermined filter from one or more filters prepared in advance and performing an intra-frame prediction process using the filter. The filter processing is performed on the block boundary of the predicted image being processed, and the predicted image after the filter processing is output to the difference image generation means.
この発明によれば、イントラ予測手段が、予め用意されている1以上のフィルタの中から所定のフィルタを選択し、そのフィルタを用いて、フレーム内予測処理を実施して生成している予測画像のブロック境界に対するフィルタ処理を実施し、フィルタ処理後の予測画像を差分画像生成手段に出力するように構成したので、局所的に発生する予測誤差を低減して、画像品質を高めることができる効果がある。 According to the present invention, the intra prediction unit selects a predetermined filter from one or more filters prepared in advance, and uses the filter to perform an intra-frame prediction process to generate a predicted image Since the filter processing for the block boundary is performed and the prediction image after the filter processing is output to the difference image generation means, the effect of reducing the locally generated prediction error and improving the image quality There is.
実施の形態1.
図1はこの発明の実施の形態1による動画像符号化装置を示す構成図である。
図1において、ブロック分割部1は入力画像として映像信号を入力すると、その入力画像を符号化制御部2により決定された最大サイズの符号化ブロックである最大符号化ブロックに分割するとともに、符号化制御部2により決定された上限の階層数に至るまで、その最大符号化ブロックを階層的に各符号化ブロックへ分割する処理を実施する。
即ち、ブロック分割部1は入力画像を符号化制御部2により決定された分割に応じて各符号化ブロックに分割して、その符号化ブロックを出力する処理を実施する。また、各符号化ブロックは予測処理単位となる1つないし複数の予測ブロックに分割される。
なお、ブロック分割部1はブロック分割手段を構成している。
1 is a block diagram showing a moving picture coding apparatus according to
In FIG. 1, when a video signal is input as an input image, the
In other words, the
The
符号化制御部2は予測処理が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定することで、各々の符号化ブロックのサイズを決定する処理を実施する。
また、符号化制御部2は選択可能な1以上の符号化モード(1以上のイントラ符号化モード、1以上のインター符号化モード)の中から、ブロック分割部1から出力される符号化ブロックに適用する符号化モードを選択する処理を実施する。選択手法の例としては、選択可能な1以上の符号化モードの中から、ブロック分割部1から出力される符号化ブロックに対する符号化効率が最も高い符号化モードを選択する手法がある。
また、符号化制御部2は符号化効率が最も高い符号化モードがイントラ符号化モードである場合、そのイントラ符号化モードで符号化ブロックに対するイントラ予測処理を実施する際に用いるイントラ予測パラメータを予測処理単位である予測ブロック毎に決定し、符号化効率が最も高い符号化モードがインター符号化モードである場合、そのインター符号化モードで符号化ブロックに対するインター予測処理を実施する際に用いるインター予測パラメータを予測処理単位である予測ブロック毎に決定する処理を実施する。
さらに、符号化制御部2は変換・量子化部7及び逆量子化・逆変換部8に与える予測差分符号化パラメータを決定する処理を実施する。
なお、符号化制御部2は符号化制御手段を構成している。
The
In addition, the
In addition, when the coding mode having the highest coding efficiency is the intra coding mode, the
Further, the
The
切換スイッチ3は符号化制御部2により決定された符号化モードがイントラ符号化モードであれば、ブロック分割部1から出力された符号化ブロックをイントラ予測部4に出力し、符号化制御部2により決定された符号化モードがインター符号化モードであれば、ブロック分割部1から出力された符号化ブロックを動き補償予測部5に出力する処理を実施する。
If the coding mode determined by the
イントラ予測部4は切換スイッチ3から出力された符号化ブロックに対応する符号化モードとして、符号化制御部2によりイントラ符号化モードが選択された場合、その符号化ブロックの予測処理を行う際の予測処理単位である予測ブロック毎に、イントラ予測用メモリ10に格納されている局所復号画像を参照しながら、符号化制御部2により決定されたイントラ予測パラメータを用いたイントラ予測処理(フレーム内予測処理)を実施してイントラ予測画像を生成する処理を実施する。
ただし、イントラ予測部4は、上記のイントラ予測画像を生成した後、予め用意されている1以上のフィルタの中から、動画像復号装置により上記イントラ予測画像と同一のイントラ予測画像が生成される時点で既知である各種パラメータの状態に応じてフィルタを選択し、そのフィルタを用いて、そのイントラ予測画像のブロック境界に対するフィルタ処理を実施して、フィルタ処理後のイントラ予測画像を減算部6及び加算部9に出力する。
なお、イントラ予測部4及びイントラ予測用メモリ10からイントラ予測手段が構成されている。
When the intra control mode is selected by the
However, after the intra prediction image is generated, the
The
具体的には、各種パラメータとして、次の4個のパラメータがあり、4個のパラメータの中の少なくとも1つ以上のパラメータの状態に応じてフィルタが一意に決定される。
・パラメータ(1)
上記の予測画像のブロックサイズ
・パラメータ(2)
符号化制御部2により決定された量子化パラメータ
・パラメータ(3)
予測画像を生成する際に用いる参照画素とフィルタ処理対象画素の距離
・パラメータ(4)
符号化制御部2により決定されたイントラ予測パラメータ
Specifically, there are the following four parameters as various parameters, and a filter is uniquely determined according to the state of at least one of the four parameters.
・ Parameter (1)
Block size parameter of the predicted image (2)
Quantization parameter / parameter (3) determined by the
Distance and parameter between reference pixel and filter processing target pixel used when generating predicted image (4)
Intra prediction parameters determined by the
動き補償予測部5は切換スイッチ3から出力された符号化ブロックに対応する符号化モードとして、符号化制御部2によりインター符号化モードが選択された場合、符号化ブロックと動き補償予測フレームメモリ12に格納されている1フレーム以上の局所復号画像を予測処理単位である予測ブロック単位に比較して動きベクトルを探索し、その動きベクトルと符号化制御部2により決定されたインター予測パラメータを用いて、その符号化ブロックに対するインター予測処理(動き補償予測処理)を予測ブロック単位に実施してインター予測画像を生成する処理を実施する。
なお、動き補償予測部5及び動き補償予測フレームメモリ12から動き補償予測手段が構成されている。
When the inter coding mode is selected by the
The motion
減算部6はブロック分割部1より出力された符号化ブロックから、イントラ予測部4により生成されたイントラ予測画像、または、動き補償予測部5により生成されたインター予測画像を減算して、その減算結果である差分画像を示す予測差分信号を変換・量子化部7に出力する処理を実施する。なお、減算部6は差分画像生成手段を構成している。
変換・量子化部7は符号化制御部2により決定された予測差分符号化パラメータを参照して、減算部6から出力された予測差分信号に対する直交変換処理(例えば、DCT(離散コサイン変換)やDST(離散サイン変換)、予め特定の学習系列に対して基底設計がなされているKL変換等の直交変換処理)を実施して変換係数を算出するとともに、その予測差分符号化パラメータを参照して、その変換係数を量子化し、量子化後の変換係数である圧縮データを逆量子化・逆変換部8及び可変長符号化部13に出力する処理を実施する。なお、変換・量子化部7は画像圧縮手段を構成している。
The
The transform /
逆量子化・逆変換部8は符号化制御部2により決定された予測差分符号化パラメータを参照して、変換・量子化部7から出力された圧縮データを逆量子化するとともに、その予測差分符号化パラメータを参照して、逆量子化後の圧縮データである変換係数に対する逆直交変換処理を実施して、減算部6から出力された予測差分信号に相当する局所復号予測差分信号を算出する処理を実施する。
加算部9は逆量子化・逆変換部8により算出された局所復号予測差分信号と、イントラ予測部4により生成されたイントラ予測画像、または、動き補償予測部5により生成されたインター予測画像とを加算して、ブロック分割部1から出力された符号化ブロックに相当する局所復号画像を算出する処理を実施する。
The inverse quantization /
The
イントラ予測用メモリ10は加算部9により算出された局所復号画像を格納する記録媒体である。
ループフィルタ部11は加算部9により算出された局所復号画像に対して、所定のフィルタ処理を実施して、フィルタ処理後の局所復号画像を出力する処理を実施する。
動き補償予測フレームメモリ12はフィルタ処理後の局所復号画像を格納する記録媒体である。
The
The
The motion compensated
可変長符号化部13は変換・量子化部7から出力された圧縮データと、符号化制御部2の出力信号(最大符号化ブロック内のブロック分割情報、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ又はインター予測パラメータ)と、動き補償予測部5から出力された動きベクトル(符号化モードがインター符号化モードである場合)とを可変長符号化してビットストリームを生成する処理を実施する。なお、可変長符号化部13は可変長符号化手段を構成している。
The variable
図1の例では、動画像符号化装置の構成要素であるブロック分割部1、符号化制御部2、切換スイッチ3、イントラ予測部4、動き補償予測部5、減算部6、変換・量子化部7、逆量子化・逆変換部8、加算部9、イントラ予測用メモリ10、ループフィルタ部11、動き補償予測フレームメモリ12及び可変長符号化部13のそれぞれが専用のハードウェア(例えば、CPUを実装している半導体集積回路や、ワンチップマイコンなど)で構成されているものを想定しているが、動画像符号化装置がコンピュータで構成される場合、ブロック分割部1、符号化制御部2、切換スイッチ3、イントラ予測部4、動き補償予測部5、減算部6、変換・量子化部7、逆量子化・逆変換部8、加算部9、ループフィルタ部11及び可変長符号化部13の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのCPUが当該メモリに格納されているプログラムを実行するようにしてもよい。
図2はこの発明の実施の形態1による動画像符号化装置の処理内容(動画像符号化方法)を示すフローチャートである。
In the example of FIG. 1, a
FIG. 2 is a flowchart showing the processing contents (moving image coding method) of the moving image coding apparatus according to
図3はこの発明の実施の形態1による動画像復号装置を示す構成図である。
図3において、可変長復号部31は図1の動画像符号化装置により生成されたビットストリームを入力すると、そのビットストリームから圧縮データ、ブロック分割情報、符号化モード、イントラ予測パラメータ(符号化モードがイントラ符号化モードである場合)、インター予測パラメータ(符号化モードがインター符号化モードである場合)、予測差分符号化パラメータ及び動きベクトル(符号化モードがインター符号化モードである場合)を可変長復号する処理を実施する。なお、可変長復号部31は可変長復号手段を構成している。
FIG. 3 is a block diagram showing a moving picture decoding apparatus according to
In FIG. 3, when the variable
逆量子化・逆変換部32は可変長復号部31により可変長復号された予測差分符号化パラメータを参照して、可変長復号部31により可変長復号された圧縮データを逆量子化するとともに、その予測差分符号化パラメータを参照して、逆量子化後の圧縮データである変換係数に対する逆直交変換処理を実施して、図1の逆量子化・逆変換部8から出力された局所復号予測差分信号と同一の復号予測差分信号を算出する処理を実施する。なお、逆量子化・逆変換部32は差分画像生成手段を構成している。
The inverse quantization /
切換スイッチ33は可変長復号部31により可変長復号された符号化モードがイントラ符号化モードであれば、可変長復号部31により可変長復号されたイントラ予測パラメータをイントラ予測部34に出力し、可変長復号部31により可変長復号された符号化モードがインター符号化モードであれば、可変長復号部31により可変長復号されたインター予測パラメータ及び動きベクトルを動き補償部35に出力する処理を実施する。
The
イントラ予測部34は可変長復号部31により可変長復号されたブロック分割情報から特定される復号ブロック(図1の動画像符号化装置の「符号化ブロック」に相当するブロック)に係る符号化モードがイントラ符号化モードである場合、その復号ブロックの予測処理を行う際の予測処理単位である予測ブロック毎に、イントラ予測用メモリ37に格納されている復号画像を参照しながら、切換スイッチ33から出力されたイントラ予測パラメータを用いたイントラ予測処理(フレーム内予測処理)を実施してイントラ予測画像を生成する処理を実施する。
ただし、イントラ予測部34は上記のイントラ予測画像を生成した後、予め用意されている1以上のフィルタの中から、そのイントラ予測画像を生成した時点で既知である各種パラメータの状態に応じてフィルタを選択し、そのフィルタを用いて、そのイントラ予測画像のブロック境界に対するフィルタ処理を実施して、フィルタ処理後のイントラ予測画像を加算部36に出力する。
なお、イントラ予測部34及びイントラ予測用メモリ37からイントラ予測手段が構成されている。
The
However, after the
The
具体的には、各種パラメータとして、次の4個のパラメータがあり、4個のパラメータの中の少なくとも1つ以上のパラメータの状態に応じてフィルタが一意に決定される。
ただし、使用するパラメータは、予め、図1の動画像符号化装置と同一のパラメータに決められている。即ち、動画像符号化装置側でイントラ予測部4がパラメータ(3)及び(4)を用いてフィルタ処理を行う場合、動画像復号装置側も同様に、イントラ予測部34がパラメータ(3)及び(4)を用いてフィルタ処理を行うように、動画像符号化装置及び動画像復号装置で使用するパラメータが統一されている。
・パラメータ(1)
上記の予測画像のブロックサイズ
・パラメータ(2)
可変長復号部31により可変長復号された量子化パラメータ
・パラメータ(3)
予測画像を生成する際に用いる参照画素とフィルタ処理対象画素の距離
・パラメータ(4)
可変長復号部31により可変長復号されたイントラ予測パラメータ
Specifically, there are the following four parameters as various parameters, and a filter is uniquely determined according to the state of at least one of the four parameters.
However, the parameters to be used are determined in advance as the same parameters as those in the moving picture encoding apparatus in FIG. That is, when the
・ Parameter (1)
Block size parameter of the predicted image (2)
Quantization parameter / parameter (3) variable length decoded by the variable
Distance and parameter between reference pixel and filter processing target pixel used when generating predicted image (4)
Intra prediction parameters variable length decoded by the variable
動き補償部35は可変長復号部31により可変長復号されたブロック分割情報から特定される復号ブロックに係る符号化モードがインター符号化モードである場合、上記復号ブロックの予測処理を行う際の予測処理単位である予測ブロック毎に、動き補償予測フレームメモリ39に格納されている復号画像を参照しながら、切換スイッチ33から出力された動きベクトルとインター予測パラメータを用いたインター予測処理(動き補償予測処理)を実施してインター予測画像を生成する処理を実施する。
なお、動き補償部35及び動き補償予測フレームメモリ39から動き補償予測手段が構成されている。
The
The
加算部36は逆量子化・逆変換部32により算出された復号予測差分信号と、イントラ予測部34により生成されたイントラ予測画像、または、動き補償部35により生成されたインター予測画像とを加算して、図1の加算部9から出力された局所復号画像と同一の復号画像を算出する処理を実施する。なお、加算部36は復号画像生成手段を構成している。
The
イントラ予測用メモリ37は加算部36により算出された復号画像を格納する記録媒体である。
ループフィルタ部38は加算部36により算出された復号画像に対して、所定のフィルタ処理を実施して、フィルタ処理後の復号画像を出力する処理を実施する。
動き補償予測フレームメモリ39はフィルタ処理後の復号画像を格納する記録媒体である。
The
The
The motion compensated
図3の例では、動画像復号装置の構成要素である可変長復号部31、逆量子化・逆変換部32、切換スイッチ33、イントラ予測部34、動き補償部35、加算部36、イントラ予測用メモリ37、ループフィルタ部38及び動き補償予測フレームメモリ39のそれぞれが専用のハードウェア(例えば、CPUを実装している半導体集積回路や、ワンチップマイコンなど)で構成されているものを想定しているが、動画像復号装置がコンピュータで構成される場合、可変長復号部31、逆量子化・逆変換部32、切換スイッチ33、イントラ予測部34、動き補償部35、加算部36及びループフィルタ部38の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのCPUが当該メモリに格納されているプログラムを実行するようにしてもよい。
図4はこの発明の実施の形態1による動画像復号装置の処理内容(動画像復号方法)を示すフローチャートである。
In the example of FIG. 3, the variable
FIG. 4 is a flowchart showing the processing contents (moving image decoding method) of the moving image decoding apparatus according to
次に動作について説明する。
この実施の形態1では、映像の各フレーム画像を入力画像として、符号化済みの近傍画素からのイントラ予測又は近接フレーム間での動き補償予測を実施して、得られた予測差分信号に対して直交変換・量子化による圧縮処理を施し、その後、可変長符号化を行ってビットストリームを生成する動画像符号化装置と、その動画像符号化装置から出力されるビットストリームを復号する動画像復号装置について説明する。
Next, the operation will be described.
In the first embodiment, each frame image of a video is used as an input image, intra prediction from encoded neighboring pixels or motion compensation prediction between adjacent frames is performed, and an obtained prediction difference signal is obtained. A video encoding device that performs compression processing by orthogonal transform / quantization and then performs variable length encoding to generate a bitstream, and a video decoding that decodes the bitstream output from the video encoding device The apparatus will be described.
図1の動画像符号化装置は、映像信号の空間・時間方向の局所的な変化に適応して、映像信号を多様なサイズのブロックに分割して、フレーム内・フレーム間適応符号化を行うことを特徴としている。
一般的に、映像信号は、空間・時間的に信号の複雑さが局所的に変化する特性を有している。空間的に見ると、ある映像フレーム上では、例えば、空や壁などのような比較的広い画像領域中で均一な信号特性を有する絵柄もあれば、人物や細かいテクスチャを含む絵画など、小さい画像領域内で複雑なテクスチャパターンを有する絵柄も混在することがある。
時間的に見ても、空や壁は局所的に時間方向の絵柄の変化は小さいが、動く人物や物体は、その輪郭が時間的に剛体・非剛体の運動をするため、時間的な変化が大きい。
The moving picture coding apparatus in FIG. 1 performs intra-frame / inter-frame adaptive coding by dividing a video signal into blocks of various sizes in response to local changes in the spatial and temporal directions of the video signal. It is characterized by that.
In general, a video signal has a characteristic that the complexity of the signal changes locally in space and time. When viewed spatially, a small image, such as a picture with a uniform signal characteristic in a relatively wide image area such as the sky or a wall, or a picture containing a person or fine texture, on a video frame. A pattern having a complicated texture pattern in the region may be mixed.
Even when viewed temporally, the change in the pattern of the sky and the wall locally in the time direction is small, but because the outline of the moving person or object moves rigidly or non-rigidly in time, the temporal change Is big.
符号化処理は、時間・空間的な予測によって、信号電力やエントロピーの小さい予測差分信号を生成して、全体の符号量を削減する処理を行うが、予測に用いるパラメータをできるだけ大きな画像信号領域に均一に適用できれば、当該パラメータの符号量を小さくすることができる。
一方、時間的・空間的に変化の大きい画像信号パターンに対して、同一の予測パラメータを大きな画像領域に適用すると、予測の誤りが増えてしまうため、予測差分信号の符号量が増加してしまう。
したがって、時間的・空間的に変化が大きい領域では、同一の予測パラメータを適用して予測処理を行うブロックサイズを小さくして、予測に用いるパラメータのデータ量を増やし、予測差分信号の電力・エントロピーを低減する方が望ましい。
In the encoding process, a prediction difference signal with small signal power and entropy is generated by temporal and spatial prediction to reduce the overall code amount. However, the parameters used for the prediction are set as large as possible in the image signal region. If it can be applied uniformly, the code amount of the parameter can be reduced.
On the other hand, if the same prediction parameter is applied to a large image region with respect to an image signal pattern having a large temporal and spatial change, the number of prediction differential signals increases because prediction errors increase. .
Therefore, in a region where the temporal and spatial changes are large, the block size for performing the prediction process by applying the same prediction parameter is reduced, the amount of parameter data used for prediction is increased, and the power and entropy of the prediction difference signal are increased. It is desirable to reduce
この実施の形態1では、このような映像信号の一般的な性質に適応した符号化を行うため、最初に所定の最大ブロックサイズから予測処理等を開始し、階層的に映像信号の領域を分割し、分割した領域毎に予測処理や、その予測差分の符号化処理を適応化させる構成をとるようにしている。 In the first embodiment, in order to perform coding adapted to the general characteristics of such a video signal, first, prediction processing or the like is started from a predetermined maximum block size, and the video signal region is divided hierarchically. In addition, the prediction process and the encoding process of the prediction difference are adapted for each divided area.
図1の動画像符号化装置が処理対象とする映像信号フォーマットは、輝度信号と2つの色差信号からなるYUV信号や、ディジタル撮像素子から出力されるRGB信号等の任意の色空間のカラー映像信号のほか、モノクロ画像信号や赤外線画像信号など、映像フレームが水平・垂直2次元のディジタルサンプル(画素)列から構成される任意の映像信号とする。
ただし、各画素の階調は、8ビットでもよいし、10ビットや12ビットなどの階調でもよい。
The video signal format to be processed by the moving image encoding apparatus of FIG. 1 is a color video signal in an arbitrary color space such as a YUV signal composed of a luminance signal and two color difference signals, or an RGB signal output from a digital image sensor. In addition to the above, it is assumed that the video frame is an arbitrary video signal including a horizontal / vertical two-dimensional digital sample (pixel) sequence, such as a monochrome image signal or an infrared image signal.
However, the gradation of each pixel may be 8 bits or 10 bits or 12 bits.
以下の説明では、便宜上、特に断らない限り、入力画像の映像信号はYUV信号であるとし、かつ、2つの色差成分U,Vが輝度成分Yに対して、サブサンプルされた4:2:0フォーマットの信号を扱う場合について述べる。
また、映像信号の各フレームに対応する処理データ単位を「ピクチャ」と称する。
この実施の形態1では、「ピクチャ」は順次走査(プログレッシブスキャン)された映像フレーム信号として説明を行うが、映像信号がインタレース信号である場合、「ピクチャ」は映像フレームを構成する単位であるフィールド画像信号であってもよい。
In the following description, for convenience, unless otherwise specified, it is assumed that the video signal of the input image is a YUV signal, and the two color difference components U and V are subsampled with respect to the luminance component Y 4: 2: 0. The case of handling format signals will be described.
A processing data unit corresponding to each frame of the video signal is referred to as a “picture”.
In the first embodiment, “picture” is described as a video frame signal that is sequentially scanned (progressive scan). However, when the video signal is an interlaced signal, “picture” is a unit constituting a video frame. It may be a field image signal.
最初に、図1の動画像符号化装置の処理内容を説明する。
まず、符号化制御部2は、符号化対象となるピクチャ(カレントピクチャ)の符号化に用いる最大符号化ブロックのサイズと、最大符号化ブロックを階層分割する階層数の上限を決定する(図2のステップST1)。
最大符号化ブロックのサイズの決め方としては、例えば、入力画像の映像信号の解像度に応じて、全てのピクチャに対して同一のサイズを定めてもよいし、入力画像の映像信号の局所的な動きの複雑さの違いをパラメータとして定量化して、動きの激しいピクチャには、小さいサイズを定める一方、動きが少ないピクチャには、大きいサイズを定めるようにしてもよい。
分割階層数の上限の決め方としては、例えば、入力画像の映像信号の解像度に応じて、全てのピクチャに対して同一の階層数を定める方法や、入力画像の映像信号の動きが激しい場合には、階層数を深くして、より細かい動きが検出できるように設定し、動きが少ない場合には、階層数を抑えるように設定する方法などがある。
First, the processing contents of the moving picture encoding apparatus in FIG. 1 will be described.
First, the
As a method of determining the size of the maximum coding block, for example, the same size may be determined for all the pictures according to the resolution of the video signal of the input image, or the local motion of the video signal of the input image The size difference may be quantified as a parameter, and a small size may be determined for a picture with high motion, while a large size may be determined for a picture with little motion.
For example, the upper limit of the number of division layers can be determined by, for example, determining the same number of layers for all pictures according to the resolution of the video signal of the input image, or when the motion of the video signal of the input image is severe There is a method in which the number of hierarchies is increased so that finer movements can be detected, and when there are few movements, the number of hierarchies is set to be suppressed.
また、符号化制御部2は、利用可能な1以上の符号化モードの中から、階層的に分割される各々の符号化ブロックに対応する符号化モードを選択する(ステップST2)。
即ち、符号化制御部2は、最大符号化ブロックサイズの画像領域毎に、先に定めた分割階層数の上限に至るまで、階層的に符号化ブロックサイズを有する符号化ブロックに分割して、各々の符号化ブロックに対する符号化モードを決定する。
符号化モードには、1つないし複数のイントラ符号化モード(総称して「INTRA」と称する)と、1つないし複数のインター符号化モード(総称して、「INTER」と称する)とがあり、符号化制御部2は、当該ピクチャで利用可能な全ての符号化モード、または、そのサブセットの中から、各々の符号化ブロックに対応する符号化モードを選択する。
Also, the
That is, the
There are one or more intra coding modes (collectively referred to as “INTRA”) and one or more inter coding modes (collectively referred to as “INTER”). The
ただし、後述するブロック分割部1により階層的に分割される各々の符号化ブロックは、さらに予測処理を行う単位である1つないし複数の予測ブロックに分割され、予測ブロックの分割状態も符号化モードの中に情報として含まれる。
符号化制御部2による符号化モードの選択方法は、公知の技術であるため詳細な説明を省略するが、例えば、利用可能な任意の符号化モードを用いて、符号化ブロックに対する符号化処理を実施して符号化効率を検証し、利用可能な複数の符号化モードの中で、最も符号化効率がよい符号化モードを選択する方法などがある。
However, each coding block that is hierarchically divided by the
Since the encoding mode selection method by the
また、符号化制御部2は、各々の符号化ブロック毎に、差分画像が圧縮される際に用いられる量子化パラメータ及び変換ブロックサイズを決定するとともに、予測処理が実施される際に用いられる予測パラメータ(イントラ予測パラメータ又はインター予測パラメータ)を決定する。
ただし、符号化ブロックがさらに予測処理を行う予測ブロック単位に分割される場合は、予測ブロック毎に予測パラメータ(イントラ予測パラメータ又はインター予測パラメータ)を選択することができる。
さらに、符号化モードがイントラ符号化モードである符号化ブロックにおいては、詳細は後述するが、イントラ予測処理を行う際に予測ブロックに隣接する符号化済みの画素を用いることから、予測ブロック単位に符号化を行う必要があるため、選択可能な変換ブロックサイズは予測ブロックのサイズ以下に制限される。
In addition, the
However, when the encoded block is further divided into prediction block units for which prediction processing is performed, a prediction parameter (intra prediction parameter or inter prediction parameter) can be selected for each prediction block.
Furthermore, in the coding block whose coding mode is the intra coding mode, the details will be described later. However, since encoded pixels adjacent to the prediction block are used when performing the intra prediction process, the prediction block unit is used. Since it is necessary to perform encoding, the selectable transform block size is limited to the size of the prediction block or less.
符号化制御部2は、量子化パラメータ及び変換ブロックサイズを含む予測差分符号化パラメータを変換・量子化部7、逆量子化・逆変換部8及び可変長符号化部13に出力する。
また、符号化制御部2は、イントラ予測パラメータを必要に応じてイントラ予測部4に出力する。
また、符号化制御部2は、インター予測パラメータを必要に応じて動き補償予測部5に出力する。
The
Also, the
Also, the
ブロック分割部1は、入力画像として映像信号を入力すると、その入力画像を符号化制御部2により決定された最大符号化ブロックサイズに分割し、さらに、分割した最大符号化ブロックを符号化制御部2により決定された符号化ブロックへ階層的に分割して、その符号化ブロックを出力する。
When a video signal is input as an input image, the
ここで、図5は最大符号化ブロックが階層的に複数の符号化ブロックに分割される例を示す説明図である。
図5において、最大符号化ブロックは、「第0階層」と記されている輝度成分が(L0,M0)のサイズを有する符号化ブロックである。
最大符号化ブロックを出発点として、4分木構造で別途定める所定の深さまで、階層的に分割を行うことによって符号化ブロックを得るようにしている。
深さnにおいては、符号化ブロックはサイズ(Ln,Mn)の画像領域である。
ただし、LnとMnは、同じであってもよいし、異なっていてもよいが、図5では、Ln=Mnのケースを示している。
Here, FIG. 5 is an explanatory diagram showing an example in which the maximum coding block is hierarchically divided into a plurality of coding blocks.
In FIG. 5, the maximum coding block is a coding block whose luminance component described as “0th layer” has a size of (L 0 , M 0 ).
Starting from the maximum coding block, a coding block is obtained by performing hierarchical division to a predetermined depth separately defined by a quadtree structure.
At depth n, the coding block is an image area of size (L n , M n ).
However, L n and M n may be the same or different, but FIG. 5 shows a case of L n = M n .
以降、符号化制御部2により決定される符号化ブロックサイズは、符号化ブロックの輝度成分におけるサイズ(Ln,Mn)と定義する。
4分木分割を行うため、常に、(Ln+1,Mn+1)=(Ln/2,Mn/2)が成立する。
なお、RGB信号など、全ての色成分が同一サンプル数を有するカラー映像信号(4:4:4フォーマット)では、全ての色成分のサイズが(Ln,Mn)になるが、4:2:0フォーマットを扱う場合、対応する色差成分の符号化ブロックサイズは(Ln/2,Mn/2)になる。
Hereinafter, the coding block size determined by the
Since quadtree partitioning is performed, (L n + 1 , M n + 1 ) = (L n / 2, M n / 2) always holds.
Note that in a color video signal (4: 4: 4 format) in which all color components have the same number of samples, such as RGB signals, the size of all color components is (L n , M n ), but 4: 2. : When the 0 format is handled, the encoding block size of the corresponding color difference component is (L n / 2, M n / 2).
以降、第n階層の符号化ブロックをBnで表し、符号化ブロックBnで選択可能な符号化モードをm(Bn)で表すものとする。
複数の色成分からなるカラー映像信号の場合、符号化モードm(Bn)は、色成分毎に、それぞれ個別のモードを用いるように構成されてもよいし、全ての色成分に対し共通のモードを用いるように構成されてもよい。以降、特に断らない限り、YUV信号、4:2:0フォーマットの符号化ブロックの輝度成分に対する符号化モードを指すものとして説明を行う。
Hereinafter, the coding block of the n hierarchy expressed in B n, denote the encoding modes selectable by the coding block B n with m (B n).
In the case of a color video signal composed of a plurality of color components, the encoding mode m (B n ) may be configured to use an individual mode for each color component, or common to all color components. It may be configured to use a mode. Hereinafter, unless otherwise specified, description will be made assuming that it indicates a coding mode for a luminance component of a coding block of a YUV signal and 4: 2: 0 format.
符号化ブロックBnは、図6に示すように、ブロック分割部1によって、予測処理単位を表す1つないし複数の予測ブロックに分割される。
以降、符号化ブロックBnに属する予測ブロックをPi n(iは、第n階層における予測ブロック番号)と表記する。図5にはP0 0とP1 0の例を示している。
符号化ブロックBn内の予測ブロックの分割が、どのようになされているかは、符号化モードm(Bn)の中に情報として含まれる。
予測ブロックPi nは、全て符号化モードm(Bn)に従って予測処理が行われるが、予測ブロックPi n毎に、個別の予測パラメータ(イントラ予測パラメータ又はインター予測パラメータ)を選択することができる。
As shown in FIG. 6, the encoded block B n is divided by the
Hereinafter, a prediction block belonging to the coding block B n is denoted as P i n (i is a prediction block number in the n-th layer). FIG. 5 shows an example of P 0 0 and P 1 0 .
How the prediction block is divided in the coding block Bn is included as information in the coding mode m ( Bn ).
All the prediction blocks P i n are subjected to prediction processing according to the encoding mode m (B n ), and it is possible to select individual prediction parameters (intra prediction parameters or inter prediction parameters) for each prediction block P i n. it can.
符号化制御部2は、最大符号化ブロックに対して、例えば、図6に示すようなブロック分割状態を生成して、符号化ブロックを特定する。
図6(a)の点線で囲まれた矩形が各符号化ブロックを表し、各符号化ブロック内にある斜線で塗られたブロックが各予測ブロックの分割状態を表している。
図6(b)は、図6(a)の例について、階層分割によって符号化モードm(Bn)が割り当てられる状況を4分木グラフで示したものである。図6(b)の□で囲まれているノードは、符号化モードm(Bn)が割り当てられたノード(符号化ブロック)である。
この4分木グラフの情報は符号化モードm(Bn)と共に符号化制御部2から可変長符号化部13に出力されて、ビットストリームに多重化される。
For example, the
A rectangle surrounded by a dotted line in FIG. 6A represents each coding block, and a block painted with diagonal lines in each coding block represents a division state of each prediction block.
FIG. 6B shows, in a quadtree graph, a situation in which the encoding mode m (B n ) is assigned by hierarchical division in the example of FIG. 6A. Nodes surrounded by squares in FIG. 6B are nodes (encoding blocks) to which the encoding mode m (B n ) is assigned.
Information of the quadtree graph is output from the
切換スイッチ3は、符号化制御部2により決定された符号化モードm(Bn)がイントラ符号化モードである場合(m(Bn)∈INTRAの場合)、ブロック分割部1から出力された符号化ブロックBnをイントラ予測部4に出力する。
一方、符号化制御部2により決定された符号化モードm(Bn)がインター符号化モードである場合(m(Bn)∈INTERの場合)、ブロック分割部1から出力された符号化ブロックBnを動き補償予測部5に出力する。
The
On the other hand, when the encoding mode m (B n ) determined by the
イントラ予測部4は、符号化制御部2により決定された符号化モードm(Bn)がイントラ符号化モードであり(m(Bn)∈INTRAの場合)、切換スイッチ3から符号化ブロックBnを受けると(ステップST3)、イントラ予測用メモリ10に格納されている局所復号画像を参照しながら、符号化制御部2により決定されたイントラ予測パラメータを用いて、その符号化ブロックBn内の各予測ブロックPi nに対するイントラ予測処理を実施して、イントラ予測画像PINTRAi nを生成する(ステップST4)。
なお、動画像復号装置がイントラ予測画像PINTRAi nと全く同じイントラ予測画像を生成する必要があるため、イントラ予測画像PINTRAi nの生成に用いられたイントラ予測パラメータは、符号化制御部2から可変長符号化部13に出力されて、ビットストリームに多重化される。
イントラ予測部4の処理内容の詳細は後述する。
In the
Incidentally, since it is necessary to video decoding device generates exactly the same intra prediction image and the intra prediction image P INTRAi n, intra prediction parameters used for generating the intra prediction image P INTRAi n is from encoding
Details of processing contents of the
動き補償予測部5は、符号化制御部2により決定された符号化モードm(Bn)がインター符号化モードであり(m(Bn)∈INTERの場合)、切換スイッチ3から符号化ブロックBnを受けると(ステップST3)、その符号化ブロックBn内の各予測ブロックPi nと動き補償予測フレームメモリ12に格納されているフィルタ処理後の局所復号画像を比較して動きベクトルを探索し、その動きベクトルと符号化制御部2により決定されたインター予測パラメータを用いて、その符号化ブロックBn内の各予測ブロックPi nに対するインター予測処理を実施して、インター予測画像PINTERi nを生成する(ステップST5)。
なお、動画像復号装置がインター予測画像PINTERi nと全く同じインター予測画像を生成する必要があるため、インター予測画像PINTERi nの生成に用いられたインター予測パラメータは、符号化制御部2から可変長符号化部13に出力されて、ビットストリームに多重化される。
また、動き補償予測部5により探索された動きベクトルも可変長符号化部13に出力されて、ビットストリームに多重化される。
The motion-compensated
Incidentally, since it is necessary to video decoding device generates exactly the same inter prediction image and the inter-predicted image P INTERi n, inter prediction parameters used for generating the inter prediction image P INTERi n is from encoding
In addition, the motion vector searched by the motion
減算部6は、ブロック分割部1から符号化ブロックBnを受けると、その符号化ブロックBn内の予測ブロックPi nから、イントラ予測部4により生成されたイントラ予測画像PINTRAi n、または、動き補償予測部5により生成されたインター予測画像PINTERi nのいずれか一方を減算して、その減算結果である差分画像を示す予測差分信号ei nを変換・量子化部7に出力する(ステップST6)。
変換・量子化部7は、減算部6から予測差分信号ei nを受けると、符号化制御部2により決定された予測差分符号化パラメータを参照して、その予測差分信号ei nに対する直交変換処理(例えば、DCT(離散コサイン変換)やDST(離散サイン変換)、予め特定の学習系列に対して基底設計がなされているKL変換等の直交変換処理)を実施して、変換係数を算出する。
また、変換・量子化部7は、その予測差分符号化パラメータを参照して、その変換係数を量子化し、量子化後の変換係数である圧縮データを逆量子化・逆変換部8及び可変長符号化部13に出力する(ステップST7)。
When receiving the prediction difference signal e i n from the
In addition, the transform /
逆量子化・逆変換部8は、変換・量子化部7から圧縮データを受けると、符号化制御部2により決定された予測差分符号化パラメータを参照して、その圧縮データを逆量子化する。
また、逆量子化・逆変換部8は、その予測差分符号化パラメータを参照して、逆量子化後の圧縮データである変換係数に対する逆直交変換処理(例えば、逆DCT、逆DST、逆KL変換など)を実施して、減算部6から出力された予測差分信号ei nに相当する局所復号予測差分信号を算出して加算部9に出力する(ステップST8)。
When receiving the compressed data from the transform /
Further, the inverse quantization /
加算部9は、逆量子化・逆変換部8から局所復号予測差分信号を受けると、その局所復号予測差分信号と、イントラ予測部4により生成されたイントラ予測画像PINTRAi n、または、動き補償予測部5により生成されたインター予測画像PINTERi nのいずれか一方を加算することで、局所復号画像を算出する(ステップST9)。
なお、加算部9は、その局所復号画像をループフィルタ部11に出力するとともに、その局所復号画像をイントラ予測用メモリ10に格納する。
この局所復号画像が、以降のイントラ予測処理の際に用いられる符号化済みの画像信号になる。
Upon receiving the local decoded prediction difference signal from the inverse quantization /
The adding
This locally decoded image becomes an encoded image signal used in the subsequent intra prediction processing.
ループフィルタ部11は、加算部9から局所復号画像を受けると、その局所復号画像に対して、所定のフィルタ処理を実施して、フィルタ処理後の局所復号画像を動き補償予測フレームメモリ12に格納する(ステップST10)。
なお、ループフィルタ部11によるフィルタ処理は、入力される局所復号画像の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、1ピクチャ分の局所復号画像が入力された後に1ピクチャ分まとめて行ってもよい。
また、所定のフィルタ処理の例としては、符号化ブロック境界の不連続性(ブロックノイズ)が目立たなくなるようにブロック境界をフィルタリングする処理、映像信号が示す入力画像と局所復号画像との間の誤差が最小となるように局所復号画像の歪みを補償するフィルタ処理などが挙げられる。これらフィルタ処理は2種類以上行ってもよい。
ただし、映像信号が示す入力画像と局所復号画像との間の誤差が最小となるように局所復号画像の歪みを補償するフィルタ処理を行う場合には、映像信号をループフィルタ部11で参照する必要があるため、映像信号がループフィルタ部11に入力されるように図1の動画像符号化装置を変更する必要がある。
When the
Note that the filter processing by the
In addition, examples of the predetermined filter processing include processing for filtering the block boundary so that the discontinuity (block noise) of the encoded block boundary is not conspicuous, and an error between the input image indicated by the video signal and the locally decoded image For example, a filter process for compensating for distortion of the locally decoded image so as to minimize the error. Two or more types of these filter processes may be performed.
However, when performing filter processing to compensate for distortion of the local decoded image so that an error between the input image indicated by the video signal and the locally decoded image is minimized, the video signal needs to be referred to by the
ステップST3〜ST9の処理は、階層的に分割された全ての符号化ブロックBnに対する処理が完了するまで繰り返し実施され、全ての符号化ブロックBnに対する処理が完了すると、ステップST13の処理に移行する(ステップST11,ST12)。 The processes of steps ST3 to ST9 are repeatedly performed until the processes for all the coding blocks Bn divided hierarchically are completed, and when the processes for all the coding blocks Bn are completed, the process proceeds to the process of step ST13. (Steps ST11 and ST12).
可変長符号化部13は、変換・量子化部7から出力された圧縮データと、符号化制御部2から出力された最大符号化ブロック内のブロック分割情報(図6(b)を例とする4分木情報)、符号化モードm(Bn)及び予測差分符号化パラメータと、符号化制御部2から出力されたイントラ予測パラメータ(符号化モードがイントラ符号化モードである場合)又はインター予測パラメータ(符号化モードがインター符号化モードである場合)と、動き補償予測部5から出力された動きベクトル(符号化モードがインター符号化モードである場合)とを可変長符号化して、それらの符号化結果を示すビットストリームを生成する(ステップST13)。
The variable
次に、イントラ予測部4の処理内容を詳細に説明する。
図7は符号化ブロックBn内の各予測ブロックPi nが選択可能なイントラ予測パラメータであるイントラ予測モードの一例を示す説明図である。ただし、NIはイントラ予測モード数を表す。
図7では、イントラ予測モードのインデックス値と、そのイントラ予測モードが示す予測方向ベクトルを示しており、図7の例では、選択可能なイントラ予測モードの個数が増えるに従って、予測方向ベクトル同士の相対角度が小さくなるように設計されている。
Next, the processing content of the
Figure 7 is an explanatory diagram showing an example of the intra prediction mode is an intra prediction parameters each prediction block P i n is selectable within a coding block B n. However, N I is the number of intra prediction modes.
FIG. 7 shows an index value of an intra prediction mode and a prediction direction vector indicated by the intra prediction mode. In the example of FIG. 7, as the number of selectable intra prediction modes increases, Designed to reduce the angle.
イントラ予測部4は、上述したように、予測ブロックPi nのイントラ予測パラメータを参照して、その予測ブロックPi nに対するイントラ予測処理を実施して、イントラ予測画像PINTRAi nを生成するが、ここでは、輝度信号における予測ブロックPi nのイントラ予測信号を生成するイントラ処理について説明する。
予測ブロックPi nのサイズをli n×mi n画素とする。
図8はli n=mi n=4の場合の予測ブロックPi n内の画素の予測値を生成する際に用いる画素の一例を示す説明図である。
図8では、予測ブロックPi nの上の符号化済みの画素(2×li n+1)個と、左の符号化済みの画素(2×mi n)個を予測に用いる画素としているが、予測に用いる画素は、図8に示す画素より多くても少なくてもよい。
また、図8では、予測ブロックPi nの近傍の1行又は1列分の画素を予測に用いているが、2行又は2列、あるいは、それ以上の画素を予測に用いてもよい。
The size of the prediction block P i n is assumed to be l i n × m i n pixels.
FIG. 8 is an explanatory diagram illustrating an example of a pixel used when generating a prediction value of a pixel in the prediction block P i n when l i n = m i n = 4.
In FIG. 8, the encoded pixels (2 × l i n +1) and the left encoded pixels (2 × m i n ) on the prediction block P i n are used as prediction pixels. However, the number of pixels used for prediction may be more or less than the pixels shown in FIG.
Further, in FIG. 8, it is used to predict one line or pixel of one column in the vicinity of the predicted
予測ブロックPi nに対するイントラ予測モードのインデックス値が2(平均値予測)の場合には、予測ブロックPi nの上に隣接する符号化済み画素と予測ブロックPi nの左に隣接する符号化済み画素の平均値を予測ブロックPi n内の画素の予測値として予測画像を生成する。
予測ブロックPi nに対するイントラ予測モードのインデックス値がNI−1(平面(Planar)予測)の場合には、予測ブロックPi nの上に隣接する符号化済み画素と予測ブロックPi nの左に隣接する符号化済み画素を用いて、これら画素と予測ブロックPi n内の予測対象画素との距離に応じて内挿した値を予測値として予測画像を生成する。
イントラ予測モードのインデックス値が2(平均値予測)とNI−1(平面予測)以外の場合には、インデックス値が示す予測方向ベクトルυp=(dx,dy)に基づいて、予測ブロックPi n内の画素の予測値を生成する。
図12に示すように、予測ブロックPi nの左上画素を原点として、予測ブロックPi n内の相対座標を(x,y)と設定すると、予測に用いる参照画素の位置は、下記のLと隣接画素の交点になる。
Code index value of the intra prediction mode for prediction block P i n is the case of 2 (average prediction) is adjacent to the left of the prediction block P i predicted block P i n the encoded pixels adjacent to the upper side of the n generating a prediction image the mean value of the reduction already pixel as a prediction value of the pixels in the prediction block P i n.
Prediction index value of the intra prediction mode for the block P i n is in the case of N I -1 (planes (Planar) prediction) is the prediction block P i predicted block P i n the encoded pixels adjacent to the upper side of the n using encoded pixels adjacent to the left, to generate a prediction image of interpolated values according to the distance of the pixel and the prediction pixel in the prediction block P i n as the predicted value.
When the index value in the intra prediction mode is other than 2 (average value prediction) and N I −1 (plane prediction), the prediction block P is based on the prediction direction vector ν p = (dx, dy) indicated by the index value. Generate predicted values for pixels in i n .
As shown in FIG. 12, as the origin at the upper left pixel of the prediction block P i n, setting the relative coordinates of the prediction block P i n as (x, y), the position of the reference pixels used for prediction, the following L And the intersection of adjacent pixels.
参照画素が整数画素位置にある場合には、その整数画素を予測対象画素の予測値とし、参照画素が整数画素位置にない場合には、参照画素に隣接する整数画素から生成される補間画素を予測値とする。
図8の例では、参照画素は整数画素位置にないので、参照画素に隣接する2画素から内挿したものを予測値とする。なお、隣接する2画素のみではなく、隣接する2画素以上の画素から補間画素を生成して予測値としてもよい。
補間処理に用いる画素を多くすることで補間画素の補間精度を向上させる効果がある一方、補間処理に要する演算の複雑度が増加することから、演算負荷が大きくても高い符号化性能を要求する動画像符号化装置の場合には、より多くの画素から補間画素を生成するようにした方がよい。
When the reference pixel is at the integer pixel position, the integer pixel is set as the prediction value of the prediction target pixel. When the reference pixel is not at the integer pixel position, an interpolation pixel generated from the integer pixel adjacent to the reference pixel is selected. Estimated value.
In the example of FIG. 8, since the reference pixel is not located at the integer pixel position, a value interpolated from two pixels adjacent to the reference pixel is set as the predicted value. Note that an interpolation pixel may be generated not only from two adjacent pixels but also from two or more adjacent pixels, and used as a predicted value.
While increasing the number of pixels used in the interpolation process has the effect of improving the interpolation accuracy of the interpolated pixels, it increases the complexity of the calculation required for the interpolation process, requiring high coding performance even when the calculation load is large. In the case of a video encoding device, it is better to generate interpolation pixels from more pixels.
そして、上記の手順によって生成された予測ブロックPi n内の予測値で構成される予測画像を中間予測画像と定義し、その中間予測画像に対して後述するフィルタ処理を行うことで、最終的なイントラ予測画像Pi nを取得し、そのイントラ予測画像Pi nを減算部6及び加算部9に出力する。
また、イントラ予測画像Pi nの生成に用いられたイントラ予測パラメータは、ビットストリームに多重化するために可変長符号化部13に出力する。
Then, the predicted image composed of prediction values in the prediction block P i n generated by the above procedure was defined as intermediate prediction image, by performing a filtering process to be described later with respect to the intermediate prediction image, finally It acquires an intra prediction image P i n, and outputs the intra prediction image P i n to the
Further, the intra prediction parameters used for generating the intra prediction image P i n outputs to the variable
以下、具体的なフィルタ処理について説明する。
予め用意されている少なくとも一つ以上のフィルタの中から、使用するフィルタを後述する手法で選択し、中間予測画像の各画素に対して、下記の式(2)に従ってフィルタ処理を行う。
Hereinafter, specific filter processing will be described.
A filter to be used is selected from at least one or more filters prepared in advance by a method described later, and filter processing is performed on each pixel of the intermediate predicted image according to the following equation (2).
式(2)において、an(n=0,1,・・・,N)は、参照画素にかかる係数(a0,a1,・・・,aN−1)とオフセット係数aNから構成されるフィルタ係数である。
pn(n=0,1,・・・,N−1)は、フィルタ処理対象画素p0を含むフィルタの参照画素を表している。Nは任意の参照画素数である。
s(pn)は各参照画素の輝度値、sハット(p0)はフィルタ処理対象画素p0におけるフィルタ処理後の輝度値を示している。
ただし、フィルタ係数はオフセット係数aNがないものとして構成してもよい。また、予測ブロックPi n内にある各参照画素の輝度値s(pn)については、中間予測画像の各画素の輝度値としてもよいし、フィルタ処理済み画素位置のみフィルタ処理後の輝度値とするようにしてもよい。
In equation (2), a n (n = 0, 1,..., N) is obtained from the coefficients (a 0 , a 1 ,..., A N−1 ) and offset coefficients a N applied to the reference pixels. It is a configured filter coefficient.
p n (n = 0, 1,..., N−1) represents the reference pixel of the filter including the filter processing target pixel p 0 . N is an arbitrary number of reference pixels.
s (p n ) represents the luminance value of each reference pixel, and s hat (p 0 ) represents the luminance value after filtering in the filtering target pixel p 0 .
However, the filter coefficients may be configured that there is no offset coefficient a N. Further, the luminance value s (p n ) of each reference pixel in the prediction block P i n may be the luminance value of each pixel of the intermediate prediction image, or the luminance value after filtering only at the filtered pixel position. You may make it.
予測ブロックPi nの外となる各参照画素の輝度値s(pn)については、符号化済み領域ならば、符号化後の輝度値(復号される輝度値)、まだ符号化が行われていない領域ならば、上記で定義した予測ブロックPi n内にある各参照画素の輝度値s(pn)及び符号化済み領域の符号化後の輝度値の中から、所定の手順で代用する信号値を選択する(例えば、候補となる画素の中で、最も近い位置にある信号値を選択する)。 If the luminance value s (p n ) of each reference pixel outside the prediction block P i n is an encoded region, the encoded luminance value (decoded luminance value) is still encoded. If it is not a region, a predetermined procedure is used to substitute the luminance value s (p n ) of each reference pixel in the prediction block P i n defined above and the luminance value after encoding of the encoded region. The signal value to be selected is selected (for example, the signal value at the closest position among the candidate pixels is selected).
上記のフィルタ処理を行う際、下記の4つのパラメータ(1)〜(4)を考慮して、フィルタを選択するように構成する。
(1)予測ブロックPi nのサイズ(li n×mi n)
(2)予測誤差符号化パラメータに含まれている量子化パラメータ
(3)中間予測画像の生成時に使用する参照画素(図8に示す“参照画素”)とフィルタ処理対象画素との距離
(4)中間予測画像を生成した際のイントラ予測モードのインデックス値
When performing the above filter processing, the filter is selected in consideration of the following four parameters (1) to (4).
(1) Prediction block P i n size (l i n × m i n )
(2) Quantization parameter included in prediction error encoding parameter (3) Distance between reference pixel ("reference pixel" shown in FIG. 8) used at the time of generating an intermediate prediction image and pixel to be filtered (4) Intra prediction mode index value when the intermediate prediction image is generated
上記のパラメータの組み合わせのそれぞれに対して、予め用意したフィルタ群の中から適切なフィルタの対応付けをしておくことで、上記のパラメータに応じたフィルタの適応選択を実現することができる。
このとき、あるパラメータの組み合わせに対して“フィルタ処理なし”と対応付けてフィルタ処理を実施しないケースを用意してもよい。
また、4つのパラメータ(1)〜(4)は、動画像復号装置側でも既知のパラメータであることから、上記のフィルタ処理を行うために必要な符号化すべき付加情報は一切発生しない。
なお、上記の説明では、必要な数のフィルタを予め用意して適応選択することで、フィルタの切り替えを行っているが、上記フィルタ選択パラメータの値に応じてフィルタが算出されるようにフィルタを上記フィルタ選択パラメータの関数として定義することで、フィルタの切り替えを実現するようにしてもよい。
Appropriate filter selection according to the above parameters can be realized by associating an appropriate filter from a group of filters prepared in advance with each of the above parameter combinations.
At this time, a case may be prepared in which filter processing is not performed in association with “no filter processing” for a certain combination of parameters.
Further, since the four parameters (1) to (4) are known parameters on the moving picture decoding apparatus side, no additional information to be encoded necessary for performing the above-described filter processing is generated.
In the above description, the filter is switched by preparing and adaptively selecting a necessary number of filters in advance, but the filter is calculated so that the filter is calculated according to the value of the filter selection parameter. The filter switching may be realized by defining the function as a function of the filter selection parameter.
上記の説明では、4つのパラメータ(1)〜(4)を考慮して、フィルタを選択するように構成するものを示したが、4つのパラメータ(1)〜(4)のうち、少なくとも1つ以上のパラメータを考慮して、フィルタを選択するように構成してもよい。
以下、パラメータ(3),(4)を用いた場合について具体的に説明する。
In the above description, the filter is selected in consideration of the four parameters (1) to (4). However, at least one of the four parameters (1) to (4) is shown. A filter may be selected in consideration of the above parameters.
Hereinafter, the case where parameters (3) and (4) are used will be described in detail.
一般に、中間予測画像の生成に用いる予測ブロックPi nに隣接する符号化済み画素(図8に示す“予測に用いる画素”)から遠い画素程、中間予測画像と入力画像との間にエッジ等のずれが生じ易い。
特に、図7におけるイントラ予測モードのインデックス値が4,25,13,24,7,23,12,22となる右上から左下方向の方向性予測では、ブロックの左端の画素と隣接する符号化済み画素との間で不連続になり易く、ブロックの境界に歪みが発生してしまう場合が多い。
同様に、図7におけるイントラ予測モードのインデックス値が5,33,17,32,9,31,16,30となる左下から右上方向の方向性予測でも、ブロックの上端の境界に歪みが発生し易い。
Generally, farther pixel from the prediction block P i encoded pixels adjacent to n (8 "pixels used in prediction") used for generating the intermediate prediction image, such as edges between the intermediate predicted image and the input image Deviation is likely to occur.
In particular, in the directional prediction from the upper right to the lower left in which the index value of the intra prediction mode in FIG. 7 is 4, 25, 13, 24, 7, 23, 12, and 22, the coding is adjacent to the pixel at the left end of the block. It tends to be discontinuous with pixels, and distortion often occurs at block boundaries.
Similarly, in the direction prediction from the lower left to the upper right direction in which the index value of the intra prediction mode in FIG. 7 is 5, 33, 17, 32, 9, 31, 16, 30, distortion occurs at the upper boundary of the block. easy.
したがって、この実施の形態1では、「(3)中間予測画像の生成時に使用する参照画素とフィルタ処理対象画素との距離」が予測方向に沿って最も離れる画素(右上から左下方向の方向性予測でのブロックの左端の画素、左下から右上方向の方向性予測でのブロックの上端の画素)に対して、「(4)中間予測画像を生成した際のイントラ予測モードのインデックス値」に応じたフィルタ処理を行うことで、予測ブロックの境界に発生する歪みを低減させるようにする。 Therefore, in the first embodiment, the “(3) distance between the reference pixel used when generating the intermediate predicted image and the pixel to be filtered” is the farthest pixel along the prediction direction (directional prediction from the upper right to the lower left direction). In accordance with “(4) Index value of intra prediction mode when generating intermediate prediction image” for the pixel at the left end of the block at, and the pixel at the top end of the block in the direction prediction from the lower left to the upper right direction) By performing the filtering process, distortion generated at the boundary of the prediction block is reduced.
図9はフィルタ処理の参照画素配置を示す説明図である。
図9では、イントラ予測モードのインデックス値が4,25,13,24,7,23,12,22となる予測モードをグループ(1)、イントラ予測モードのインデックス値が5,33,17,32,9,31,16,30となる予測モードをグループ(2)に分類し、フィルタ処理対象画素p0と参照画素p1との間の垂直方向(グループ(1))または水平方向(グループ(2))の画素のずれをdで表している。
図9の例では、d=3を表している。そして、図9のフィルタ処理対象画素p0に対し、参照画素数Nを2、オフセット係数aNは無効として、式(2)にしたがったフィルタ処理を行う。
FIG. 9 is an explanatory diagram showing the reference pixel arrangement of the filter processing.
In FIG. 9, the prediction mode in which the index value of the intra prediction mode is 4, 25, 13, 24, 7, 23, 12, 22 is group (1), and the index value of the intra prediction mode is 5, 33, 17, 32. classifies
In the example of FIG. 9, d = 3 is represented. Then, the filtering process according to the equation (2) is performed on the filtering target pixel p 0 in FIG. 9 with the reference pixel number N being 2 and the offset coefficient a N being invalid.
上記より、フィルタ処理対象画素p0毎や予測モード毎にパラメータdや、フィルタ係数a0,a1の画素配置を適応的に切り替えることで、予測画像の歪みを高精度に補償するフィルタ処理を実現することができる。 As described above, the filter processing for compensating the distortion of the predicted image with high accuracy by adaptively switching the pixel d of the parameter d and the filter coefficients a 0 and a 1 for each filter processing target pixel p 0 and each prediction mode. Can be realized.
下記のフィルタ係数a0,a1は一例である。
a0=3/4,a1=1/4
予測方向に沿った参照画素p1を用いた平滑化フィルタ処理を行うことで、予測方向への画素値の連続性が向上し、ブロック境界の歪みを軽減することができる。
パラメータdの一例は下記の通りである。
d=1:
図7のインデックス値が4,5,25,33,13,17の予測モード
d=2:
図7のインデックス値が24,32,7,9の予測モード
d=3:
図7のインデックス値が23,31の予測モード
d=6:
図7のインデックス値が12,16の予測モード
d=16:
図7のインデックス値が22,30の予測モード
The following filter coefficients a 0 and a 1 are examples.
a 0 = 3/4, a 1 = ¼
By performing the smoothing filter process using the reference pixels p 1 along the prediction direction, improves the continuity of pixel values in the prediction direction, it is possible to reduce the distortion of the block boundary.
An example of the parameter d is as follows.
d = 1:
Prediction mode with index values of 4, 5, 25, 33, 13, 17 in FIG. 7 d = 2:
Prediction mode with index values of 24, 32, 7, and 9 in FIG. 7 d = 3:
Prediction mode with
Prediction mode with
Prediction mode with index values of 22 and 30 in FIG.
一般にパラメータdを予測方向になるべく沿うように実数精度で与えることで高精度なフィルタ処理を実現することができるが、dが整数でないときに周囲の符号化済み画素からdの位置にある仮想画素を生成する処理が必要となるため、演算処理の簡易化を目的に上記例ではdを整数値に近似している。このようにすることで仮想画素を生成する処理は発生しない。また、一般的に画素間が離れるほど相関が低くなることを考慮し、整数値近似する際にdが小さい値を取りやすいように、上記例での整数値近似には四捨五入を用いず五捨六入を用いている(六捨七入、七捨八入でも近似結果は同じとなる)。ただし、整数値近似の手法は、この限りではない。 In general, high-accuracy filter processing can be realized by providing the parameter d with real number accuracy so as to follow the prediction direction. However, when d is not an integer, the virtual pixel located at the position d from the surrounding encoded pixels Therefore, in the above example, d is approximated to an integer value for the purpose of simplifying the arithmetic processing. By doing so, processing for generating virtual pixels does not occur. In consideration of the fact that the correlation generally decreases as the distance between the pixels increases, the integer value approximation in the above example is rounded off without using rounding so that it is easy to take a small value when performing integer value approximation. Six rounds are used (approximation results are the same even when rounded off and rounded off). However, the integer value approximation method is not limited to this.
上記のフィルタ処理において、一般的に画素間が離れるほど相関が低くなることを考慮してdの値が一定値以上となるイントラ予測モードでは、フィルタ処理を行なわないようにしてもよい。
このようにすることで、フィルタ処理を行う予測モードを限定することができ、フィルタ処理による演算負荷の増加を軽減することができる。グループ(1)、(2)の方向性予測において、簡易化した場合の一例は下記の通りである。
d=1:
図7のインデックス値が4,5,25,33,13,17の予測モード
d=2:
図7のインデックス値が24,32,7,9の予測モード
フィルタ処理なし:
図7のインデックス値が23,31,12,16,22,30の予測モード
In the above filtering process, the filtering process may not be performed in the intra prediction mode in which the value of d is a certain value or more in consideration of the fact that the correlation generally decreases as the distance between pixels increases.
By doing in this way, the prediction mode which performs a filter process can be limited, and the increase in the calculation load by a filter process can be reduced. In the direction prediction of the groups (1) and (2), an example when simplified is as follows.
d = 1:
Prediction mode with index values of 4, 5, 25, 33, 13, 17 in FIG. 7 d = 2:
Prediction mode with index values of 24, 32, 7, and 9 in FIG. 7 No filter processing:
Prediction mode with index values of 23, 31, 12, 16, 22, and 30 in FIG.
また、上記のフィルタ処理では、予測モードによってパラメータdの異なるフィルタ処理を行うため、予測モードによるフィルタの切り替え処理が必要となる。したがって、フィルタ処理を行う予測モードに対して一律に同じdの値のフィルタ処理を行うようにしてもよい。
このようにすることで、フィルタ処理の性能は下がるが、用意するフィルタはdの値が固定化された1種類のフィルタだけで済み、簡易なフィルタ処理を実現することができる。グループ(1)、(2)の方向性予測において、d=1に固定した場合の一例は下記の通りである。
d=1:
図7のインデックス値が4,5,25,33,13,17,24,32,7,9の
予測モード
フィルタ処理なし:
図7のインデックス値が23,31,12,16,22,30の予測モード
Moreover, in said filter process, since the filter process from which parameter d differs with prediction modes is performed, the filter switching process by a prediction mode is needed. Therefore, the same d value filter process may be performed uniformly for the prediction mode in which the filter process is performed.
By doing so, the performance of the filter processing is lowered, but the prepared filter is only one type of filter with the value of d fixed, and simple filter processing can be realized. In the direction prediction of the groups (1) and (2), an example when d = 1 is fixed is as follows.
d = 1:
Prediction mode with index values of 4, 5, 25, 33, 13, 17, 24, 32, 7, 9 in FIG. 7 No filter processing:
Prediction mode with index values of 23, 31, 12, 16, 22, and 30 in FIG.
なお、これまでに述べたフィルタ処理は、ブロックの境界に隣接する画素のみフィルタ処理するようにしているが、ブロックの境界に隣接する画素以外のブロック境界周辺の予測ブロック内の画素も隣接ブロックの画素を用いたフィルタ処理を行うようにしてもよい。このようにすることで、予測ブロック境界に隣接する画素だけでなくその境界周辺の画素も隣接ブロックとの相関を高めることができる。 In the filter processing described so far, only the pixels adjacent to the block boundary are filtered. However, the pixels in the prediction block around the block boundary other than the pixels adjacent to the block boundary are also included in the adjacent block. You may make it perform the filter process using a pixel. In this way, not only the pixels adjacent to the prediction block boundary but also the pixels around the boundary can increase the correlation with the adjacent block.
また、図10に示すようにフィルタ処理を行う画素毎に「(3)中間予測画像の生成時に使用する参照画素とフィルタ処理対象画素との距離」が異なる。
したがって、この距離が遠い画素程、ブロック境界の歪みが発生し易いため、図11に示すように、フィルタ係数a0,a1を画素位置によって変更するようにしてもよい。
グループ(1)の方向性予測に対するフィルタ処理の一例は下記の通りである。ただし、座標(x,y)は図12の通りとし、グループ(2)については下記の式(3)(4)のyをxに置き替えた式で表される。
Further, as shown in FIG. 10, “(3) the distance between the reference pixel used when generating the intermediate predicted image and the pixel to be filtered” differs for each pixel on which the filtering process is performed.
Accordingly, since the pixel having a longer distance is more likely to be distorted at the block boundary, the filter coefficients a 0 and a 1 may be changed depending on the pixel position as shown in FIG.
An example of filter processing for the directionality prediction of group (1) is as follows. However, the coordinates (x, y) are as shown in FIG. 12, and the group (2) is expressed by an expression in which y in the following expressions (3) and (4) is replaced with x.
上記のグループ(1),(2)の方向性予測と同様に、イントラ予測モードのインデックス値が2で表される平均値予測による予測を行う場合には、ブロック内の予測値を全てブロックに隣接する画素の平均値とするため、ブロック境界に位置する画素の予測信号が周囲の符号化済み画素に対して不連続な信号になり易く、ブロックの境界部分に歪みが発生し易い。 Similar to the directional prediction of the groups (1) and (2) above, when performing prediction based on the average value prediction in which the index value of the intra prediction mode is represented by 2, all prediction values in the block are converted into blocks. Since the average value of adjacent pixels is used, the prediction signal of the pixel located at the block boundary is likely to be a discontinuous signal with respect to the surrounding encoded pixels, and distortion is likely to occur at the boundary portion of the block.
そこで、図13に示す領域毎に下記のフィルタ処理を行う。ただし、下記のフィルタの参照画素配置は図14の通りである。
・領域A(予測ブロックPi nの左上の画素)
a0=1/2,a1=1/4,a2=1/4(参照画素数N=3)
・領域B(領域A以外の予測ブロックPi nの上端の画素)
a0=3/4,a2=1/4(参照画素数N=2)
・領域C(領域A以外の予測ブロックPi nの左端の画素)
a0=3/4,a1=1/4(参照画素数N=2)
・領域D(領域A、B,C以外の予測ブロックPi nの画素)
フィルタ処理なし
Therefore, the following filter processing is performed for each region shown in FIG. However, the reference pixel arrangement of the following filter is as shown in FIG.
· Area A (the upper left pixel of the prediction block P i n)
a 0 = 1/2, a 1 = 1/4, a 2 = 1/4 ( the number of reference pixels N = 3)
- region B (the upper end of the pixel of the prediction block P i n other than the region A)
a 0 = 3/4, a 2 = ¼ (reference pixel number N = 2)
· Area C (the leftmost pixel of the prediction block P i n other than the region A)
a 0 = 3/4, a 1 = ¼ (reference pixel number N = 2)
- area D (region A, B, pixels of the predicted block P i n non-C)
No filtering
また、イントラ予測モードのインデックス値がNI−1で表される平面予測においても平均値予測と同じフィルタ処理を行ってもよい。このようにすることで、平面予測を行ったブロックの境界が平滑化されて連続性を高めることができる。 It may also be subjected to the same filtering as the average value prediction even plane prediction index value of the intra prediction mode is represented by N I -1. By doing in this way, the boundary of the block which performed plane prediction is smoothed, and continuity can be improved.
処理の簡易化のため、上記のグループ(1),(2)の方向性予測や、平均値予測、平面予測におけるフィルタ処理を行うブロックサイズを限定するようにしてもよい。
さらに、限定するブロックサイズは予測モード毎に定めてもよい。その場合、予測モードとブロックサイズに基づいたテーブルを参照する形でフィルタ処理を切り替えるようにしてもよい。
For simplification of processing, the block size for performing filter processing in the directionality prediction, average value prediction, and plane prediction of the groups (1) and (2) may be limited.
Furthermore, the block size to be limited may be determined for each prediction mode. In that case, the filtering process may be switched by referring to a table based on the prediction mode and the block size.
図15はイントラ予測モードインデックスと予測ブロックサイズの組み合わせ毎に、どのフィルタを使用するかを決めるテーブルの一例を示す説明図である。
図15において、“0”がフィルタ処理なし、“1”がd=1,a0=3/4,a1=1/8とする方向性予測へのフィルタ処理、“2”がd=2,a0=3/4,a1=1/8とする方向性予測へのフィルタ処理、“3”が上述した平均値予測及び平面予測におけるフィルタ処理とする。
このように、パラメータ(3),(4)だけでなく、パラメータ「(1)予測ブロックPi nのサイズ(li n×mi n)」も考慮したフィルタ処理を行うことで、フィルタ処理を行うケースを抑えて処理負荷を軽減することができる。
ただし、フィルタ処理の実装の形態としては、テーブル参照によって対応するフィルタインデックスのフィルタを選択する形で実装されているものに限るものではなく、予測ブロックPi nのサイズ及び予測モードのインデックス毎に実行するフィルタ処理が直接実装されている形態でもよい。
このように、テーブルを参照する形でなくても、フィルタ処理を行った結果得られる予測画像が等価であれば、実装の形態は問わない。
FIG. 15 is an explanatory diagram illustrating an example of a table that determines which filter is used for each combination of an intra prediction mode index and a prediction block size.
In FIG. 15, “0” is no filter processing, “1” is d = 1, a 0 = 3/4, a 1 = 1/8 filter processing, and “2” is d = 2. , A 0 = 3/4, filter processing for directional prediction with a 1 = 1/8, and “3” is the filtering processing in the above-described average value prediction and plane prediction.
Thus, the parameters (3), as well as (4), the parameter "(1) the size of the prediction block P i n (l i n × m i n) " also by performing consideration to filtering, the filter processing Can reduce the processing load.
However, as a mounting in the form of filtering it is not limited to what is implemented in the form of selecting a filter corresponding filter index by table lookup, each index size and the prediction mode of the prediction block P i n The filter processing to be executed may be directly mounted.
Thus, even if it is not the form which refers to a table, if the prediction image obtained as a result of performing a filter process is equivalent, the form of mounting will not be ask | required.
また、ブロックサイズを制限しない場合においても、予測モードに基づいたテーブル参照によるフィルタ処理を構成してもよいし、予測モード毎に実行するフィルタ処理が直接実装されている形態でもよい。
このように、テーブルを参照する形でなくても、フィルタ処理を行った結果得られる予測画像が等価であれば、実装の形態は問わない。
Even when the block size is not limited, a filter process based on a table based on the prediction mode may be configured, or a filter process executed for each prediction mode may be directly implemented.
Thus, even if it is not the form which refers to a table, if the prediction image obtained as a result of performing a filter process is equivalent, the form of mounting will not be ask | required.
さらに、一般的に量子化パラメータが大きい(量子化ステップサイズが大きい)ほど、符号化済み画像に量子化誤差が生じ易いため、グループ(1)の方向性予測における予測ブロックの左端でのブロック歪みや、グループ(2)の方向性予測における予測ブロックの上端でのブロック歪みが発生し易くなる。
したがって、上述したフィルタ処理について、「(2)予測誤差符号化パラメータに含まれている量子化パラメータ」を考慮して量子化パラメータが大きいほど、フィルタ係数a0の値を小さくして、フィルタ係数a1の値を大きくするようにしてもよい。
このようにすることで、ブロック歪みが生じ易い量子化パラメータが大きい場合においても、ブロック歪みを効率的に低減することができる。
Furthermore, generally, the larger the quantization parameter (the larger the quantization step size), the more likely that quantization errors occur in the encoded image. Therefore, block distortion at the left end of the prediction block in the directionality prediction of group (1). In addition, block distortion at the upper end of the prediction block in the directionality prediction of the group (2) is likely to occur.
Therefore, in the above-described filter processing, the value of the filter coefficient a 0 is reduced as the quantization parameter is larger in consideration of “(2) quantization parameter included in the prediction error coding parameter”. a The value of 1 may be increased.
By doing in this way, even when the quantization parameter which is easy to produce block distortion is large, block distortion can be reduced efficiently.
なお、先に説明したMPEG−4 AVC/H.264における8×8画素のブロックのイントラ予測時に参照画像に対して施される平滑化処理と同様に、イントラ予測部4において、予測ブロックPi nの中間予測画像を生成する際の参照画素を、予測ブロックPi nに隣接する符号化済み画素を平滑化処理した画素とするように構成した場合であっても、上述の例と同様の中間予測画像に対するフィルタ処理を行うことができる。
Note that the MPEG-4 AVC / H. Similar to the smoothing process performed on the reference image at the time of 8 × 8 pixel block intra prediction of the 264, the
上述した処理によって、予測ブロックPi n内の輝度信号の全ての画素に対する予測画素を生成して、イントラ予測画像PINTRAi nを出力する。
なお、イントラ予測画像PINTRAi nの生成に用いられたイントラ予測パラメータ(イントラ予測モード)は、ビットストリームに多重化するために可変長符号化部13に出力される。
Through the above-described processing, prediction pixels for all the pixels of the luminance signal in the prediction block P i n are generated, and the intra prediction image P INTRAin n is output.
Incidentally, the intra prediction parameters used for generating the intra prediction image P INTRAi n (intra prediction mode) is output to the variable
予測ブロックPi nの色差信号に対しても、輝度信号と同様の手順で、イントラ予測パラメータ(イントラ予測モード)に基づくイントラ予測処理を実施し、イントラ予測画像の生成に用いられたイントラ予測パラメータを可変長符号化部13に出力する。
ただし、色差信号のイントラ予測については、上記で説明したフィルタ処理を、輝度信号と同様に行うものとして構成してもよいし、行わないものとして構成してもよい。
さらに、色差信号で選択可能なイントラ予測パラメータ(イントラ予測モード)は輝度信号と異なっていてもよい。例えば、YUV信号4:2:0フォーマットの場合、色差信号(U、V信号)は、輝度信号(Y信号)に対して解像度を水平方向、垂直方向共に1/2に縮小した信号であり、輝度信号に比べて画像信号の複雑性が低く予測が容易であることから、選択可能なイントラ予測パラメータは輝度信号よりも少ない数としてイントラ予測パラメータを符号化するのに要する符号量の削減や、予測処理の低演算化を図ってもよい。
Even for the color difference signal of the prediction block P i n, in the same procedure as the luminance signal, the intra prediction processing based on the intra prediction parameters (intra prediction mode) performed, the intra prediction parameters used for generating the intra prediction image Is output to the variable
However, for intra prediction of color difference signals, the filter processing described above may or may not be performed in the same manner as the luminance signal.
Furthermore, the intra prediction parameter (intra prediction mode) that can be selected by the color difference signal may be different from that of the luminance signal. For example, in the case of the YUV signal 4: 2: 0 format, the color difference signal (U, V signal) is a signal obtained by reducing the resolution to 1/2 in both the horizontal direction and the vertical direction with respect to the luminance signal (Y signal). Since the complexity of the image signal is low and the prediction is easy compared to the luminance signal, the number of intra prediction parameters that can be selected is smaller than the luminance signal, and the amount of code required to encode the intra prediction parameter can be reduced. The computation of the prediction process may be reduced.
次に、図3の動画像復号装置の処理内容を具体的に説明する。
可変長復号部31は、図1の動画像符号化装置により生成されたビットストリームを入力すると、そのビットストリームに対する可変長復号処理を実施して(図4のステップST21)、1フレーム以上のピクチャから構成されるシーケンス単位、あるいは、ピクチャ単位にフレームサイズの情報を復号する。
Next, the processing contents of the moving picture decoding apparatus in FIG. 3 will be specifically described.
When the variable
可変長復号部31は、図1の動画像符号化装置の符号化制御部2により決定された最大符号化ブロックサイズ及び分割階層数の上限を動画像符号化装置と同様の手順で決定する(ステップST22)。
例えば、最大符号化ブロックサイズや分割階層数の上限が映像信号の解像度に応じて決められた場合には、復号したフレームサイズ情報に基づいて、動画像符号化装置と同様の手順で最大符号化ブロックサイズを決定する。
最大符号化ブロックサイズ及び分割階層数の上限が、動画像符号化装置側でビットストリームに多重化されている場合には、ビットストリームから復号した値を用いる。
以降、動画像復号装置では、上記最大符号化ブロックサイズを最大復号ブロックサイズと称し、最大符号化ブロックを最大復号ブロックと称する。
可変長復号部31は、決定された最大復号ブロック単位に、図6で示されるような最大復号ブロックの分割状態を復号する。復号された分割状態に基づき、階層的に復号ブロック(図1の動画像符号化装置の「符号化ブロック」に相当するブロック)を特定する(ステップST23)。
The variable
For example, when the maximum encoding block size and the upper limit of the number of division layers are determined according to the resolution of the video signal, the maximum encoding is performed in the same procedure as the moving image encoding apparatus based on the decoded frame size information. Determine the block size.
When the maximum encoding block size and the upper limit of the number of division layers are multiplexed in the bit stream on the moving image encoding device side, values decoded from the bit stream are used.
Hereinafter, in the video decoding apparatus, the maximum encoded block size is referred to as a maximum decoded block size, and the maximum encoded block is referred to as a maximum decoded block.
The variable
次に、可変長復号部31は、復号ブロックに割り当てられている符号化モードを復号する。復号した符号化モードに含まれる情報に基づき、復号ブロックをさらに1つないし複数の予測処理単位である予測ブロックに分割し、予測ブロック単位に割り当てられている予測パラメータを復号する(ステップST24)。
Next, the variable
即ち、可変長復号部31は、復号ブロックに割り当てられている符号化モードがイントラ符号化モードである場合、復号ブロックに含まれており、予測処理単位となる1つ以上の予測ブロック毎にイントラ予測パラメータを復号する。
一方、復号ブロックに割り当てられている符号化モードがインター符号化モードである場合、復号ブロックに含まれており、予測処理単位となる1つ以上の予測ブロック毎にインター予測パラメータ及び動きベクトルを復号する(ステップST24)。
That is, when the encoding mode assigned to the decoding block is the intra encoding mode, the variable
On the other hand, when the coding mode assigned to the decoding block is the inter coding mode, the inter prediction parameter and the motion vector are decoded for each one or more prediction blocks included in the decoding block and serving as a prediction processing unit. (Step ST24).
さらに、可変長復号部31は、復号ブロックを予測差分符号化パラメータに含まれる変換ブロックサイズの情報に基づき、変換処理単位となる1つないし複数の変換ブロックに分割し、変換ブロック毎に圧縮データ(変換・量子化後の変換係数)を復号する(ステップST24)。
Further, the variable
切換スイッチ33は、可変長復号部31により可変長復号された符号化モードm(Bn)がイントラ符号化モードであれば(m(Bn)∈INTRAの場合)、可変長復号部31により可変長復号された予測ブロック単位のイントラ予測パラメータをイントラ予測部34に出力する。
一方、可変長復号部31により可変長復号された符号化モードm(Bn)がインター符号化モードであれば(m(Bn)∈INTERの場合)、可変長復号部31により可変長復号された予測ブロック単位のインター予測パラメータ及び動きベクトルを動き補償部35に出力する。
If the encoding mode m (B n ) variable-length decoded by the variable-
On the other hand, (the case of m (B n) ∈INTER) variable length decoded coding mode m (B n) is if the inter coding mode by the variable
イントラ予測部34は、可変長復号部31により可変長復号された符号化モードm(Bn)がイントラ符号化モード(m(Bn)∈INTRA)である場合(ステップST25)、切換スイッチ33から出力された予測ブロック単位のイントラ予測パラメータを受け取って、図1のイントラ予測部4と同様の手順で、イントラ予測用メモリ37に格納されている復号画像を参照しながら、上記イントラ予測パラメータを用いた復号ブロックBn内の各予測ブロックPi nに対するイントラ予測処理を実施して、イントラ予測画像PINTRAi nを生成する(ステップST26)。
即ち、イントラ予測部34は、上記のイントラ予測画像PINTRAi nを生成後、図1のイントラ予測部4と同一の手法で、予め用意されている1以上のフィルタの中から、そのイントラ予測画像PINTRAi nを生成した時点で既知である各種パラメータの状態に応じてフィルタを選択し、そのフィルタを用いて、そのイントラ予測画像PINTRAi nに対するフィルタ処理を実施して、フィルタ処理後のイントラ予測画像PINTRAi nを最終的なイントラ予測画像としている。
即ち、イントラ予測部4におけるフィルタ選択に使用するパラメータと同一のパラメータを用いて、イントラ予測部4におけるフィルタ選択手法と同一の手法でフィルタを選択し、フィルタ処理を行う。
When the coding mode m (B n ) variable-length decoded by the variable-
That is, the
That is, using the same parameter as the parameter used for filter selection in the
動き補償部35は、可変長復号部31により可変長復号された符号化モードm(Bn)がインター符号化モード(m(Bn)∈INTER)である場合(ステップST25)、切換スイッチ33から出力された予測ブロック単位の動きベクトルとインター予測パラメータを受け取って、動き補償予測フレームメモリ39に格納されているフィルタ処理後の復号画像を参照しながら、その動きベクトルとインター予測パラメータを用いた復号ブロックBn内の各予測ブロックPi nに対するインター予測処理を実施してインター予測画像PINTERi nを生成する(ステップST27)。
When the coding mode m (B n ) variable-length decoded by the variable-
逆量子化・逆変換部32は、可変長復号部31から圧縮データ及び予測差分符号化パラメータを受けると、図1の逆量子化・逆変換部8と同様の手順で、その予測差分符号化パラメータを参照して、その圧縮データを逆量子化する。
また、その予測差分符号化パラメータを参照して、逆量子化後の圧縮データである変換係数に対する逆直交変換処理を実施して、図1の逆量子化・逆変換部8から出力された局所復号予測差分信号と同一の復号予測差分信号を算出する(ステップST28)。
When receiving the compressed data and the prediction difference encoding parameter from the variable
In addition, referring to the prediction difference encoding parameter, the inverse orthogonal transform process is performed on the transform coefficient that is the compressed data after the inverse quantization, and the local output from the inverse quantization /
加算部36は、逆量子化・逆変換部32により算出された復号予測差分信号と、イントラ予測部34により生成されたイントラ予測画像PINTRAi n、または、動き補償部35により生成されたインター予測画像PINTERi nのいずれか一方を加算して復号画像を算出し、その復号画像をループフィルタ部38に出力するとともに、その復号画像をイントラ予測用メモリ37に格納する(ステップST29)。
この復号画像が、以降のイントラ予測処理の際に用いられる復号済みの画像信号になる。
This decoded image becomes a decoded image signal used in the subsequent intra prediction processing.
ループフィルタ部38は、全ての復号ブロックBnに対するステップST23〜ST29の処理が完了すると(ステップST30)、加算部36から出力された復号画像に対して、所定のフィルタ処理を実施して、フィルタ処理後の復号画像を動き補償予測フレームメモリ39に格納する(ステップST31)。
なお、ループフィルタ部38によるフィルタ処理は、入力される復号画像の最大復号ブロックあるいは個々の復号ブロック単位で行ってもよいし、1ピクチャ分の復号画像が入力された後に1ピクチャ分まとめて行ってもよい。
また、所定のフィルタ処理の例としては、符号化ブロック境界の不連続性(ブロックノイズ)が目立たなくなるようにブロック境界をフィルタリングする処理、復号画像の歪みを補償するフィルタ処理などが挙げられる。これらフィルタ処理は2種類以上行ってもよく、ループフィルタ部11と同じフィルタ処理を行う。
この復号画像が、動き補償予測用の参照画像となり、また、再生画像となる。
Note that the filter processing by the
Examples of the predetermined filter process include a process of filtering the block boundary so that the discontinuity (block noise) of the encoded block boundary becomes inconspicuous, and a filter process that compensates for distortion of the decoded image. Two or more types of these filter processes may be performed, and the same filter process as that of the
This decoded image becomes a reference image for motion compensation prediction and also becomes a reproduced image.
以上で明らかなように、この実施の形態1によれば、動画像符号化装置のイントラ予測部4がフレーム内の符号化済みの画像信号を用いて、フレーム内予測処理を実施することでイントラ予測画像を生成する際、予め用意されている1以上のフィルタの中から、フィルタ処理対象ブロックの符号化に係る各種パラメータの状態に応じてフィルタを選択し、そのフィルタを用いて、予測ブロックPi nの境界に対するフィルタ処理を実施するように構成したので、予測ブロックPi nの境界に発生する歪みを低減して、画像品質を高めることができる効果を奏する。
As is apparent from the above, according to the first embodiment, the
また、この実施の形態1によれば、イントラ予測部4が、(1)パーティションPi nのサイズ(li n×mi n)、(2)予測誤差符号化パラメータに含まれている量子化パラメータ、(3)中間予測画像の生成時に使用する参照画素とフィルタ処理対象画素との距離、(4)中間予測画像を生成した際のイントラ予測モードのインデックス値の中で、少なくとも1つ以上のパラメータを考慮して、フィルタを選択するように構成したので、方向性予測や平均値予測、平面予測を行った際に隣接する符号化済み信号との連続性が失われることによって生じるブロックの境界部分の予測誤差を抑制する効果が得られ、予測効率を改善することができる効果を奏する。
Further, according to the first embodiment, a quantum
この実施の形態1によれば、動画像復号装置のイントラ予測部34がフレーム内の復号済みの画像信号を用いて、フレーム内予測処理を実施することでイントラ予測画像を生成する際、予め用意されている1以上のフィルタの中から、フィルタ処理対象ブロックの復号に係る各種パラメータの状態に応じてフィルタを選択し、そのフィルタを用いて、予測画像に対するフィルタ処理を実施するように構成したので、フィルタ処理対象ブロックの境界に発生する歪みを低減して、動画像符号化装置側で生成されたイントラ予測画像と同一のイントラ予測画像を動画像復号装置側でも生成することができる効果を奏する。
According to the first embodiment, the
また、この実施の形態1によれば、イントラ予測部34が、(1)パーティションPi nのサイズ(li n×mi n)、(2)予測誤差符号化パラメータに含まれている量子化パラメータ、(3)中間予測画像の生成時に使用する参照画素とフィルタ処理対象画素との距離、(4)中間予測画像を生成した際のイントラ予測モードのインデックス値の中で、少なくとも1つ以上のパラメータを考慮して、フィルタを選択するように構成したので、方向性予測や平均値予測、平面予測を行った際に隣接する符号化済み信号との連続性が失われることによって生じるブロックの境界部分の予測誤差を抑制する効果が得られ、動画像符号化装置側で生成されたイントラ予測画像と同一のイントラ予測画像を動画像復号装置側でも生成することができる効果を奏する。
Further, according to the first embodiment, the
なお、本願発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。 In the present invention, any constituent element of the embodiment can be modified or any constituent element of the embodiment can be omitted within the scope of the invention.
1 ブロック分割部(ブロック分割手段)、2 符号化制御部(符号化制御手段)、3 切換スイッチ、4 イントラ予測部(イントラ予測手段)、5 動き補償予測部(動き補償予測手段)、6 減算部(差分画像生成手段)、7 変換・量子化部(画像圧縮手段)、8 逆量子化・逆変換部、9 加算部、10 イントラ予測用メモリ(イントラ予測手段)、11 ループフィルタ部、12 動き補償予測フレームメモリ(動き補償予測手段)、13 可変長符号化部(可変長符号化手段)、31 可変長復号部(可変長復号手段)、32 逆量子化・逆変換部(差分画像生成手段)、33 切換スイッチ、34 イントラ予測部(イントラ予測手段)、35 動き補償部(動き補償予測手段)、36 加算部(復号画像生成手段)、37 イントラ予測用メモリ(イントラ予測手段)、38 ループフィルタ部、39 動き補償予測フレームメモリ(動き補償予測手段)。 1 block division unit (block division unit), 2 encoding control unit (encoding control unit), 3 selector switch, 4 intra prediction unit (intra prediction unit), 5 motion compensation prediction unit (motion compensation prediction unit), 6 subtraction Unit (difference image generation unit), 7 transform / quantization unit (image compression unit), 8 inverse quantization / inverse transform unit, 9 addition unit, 10 intra prediction memory (intra prediction unit), 11 loop filter unit, 12 Motion compensation prediction frame memory (motion compensation prediction means), 13 variable length coding section (variable length coding means), 31 variable length decoding section (variable length decoding means), 32 inverse quantization / inverse transform section (difference image generation Means), 33 selector switch, 34 intra prediction unit (intra prediction unit), 35 motion compensation unit (motion compensation prediction unit), 36 addition unit (decoded image generation unit), 37 intra prediction Measurement memory (intra prediction means), 38 loop filter section, 39 motion compensation prediction frame memory (motion compensation prediction means).
Claims (12)
上記イントラ予測手段は、予め用意された1以上のフィルタの中から所定のフィルタを選択し、上記フィルタを用いて、フレーム内予測処理を実施して生成している予測画像のブロック境界に対するフィルタ処理を実施し、フィルタ処理後の予測画像を上記差分画像生成手段に出力することを特徴とする動画像符号化装置。 Determine the maximum size of the coding block that is the processing unit when the coding process is performed, and determine the upper limit number of layers when the coding block of the maximum size is hierarchically divided and can be used. Coding control means for selecting a coding mode corresponding to each coding block divided hierarchically from among one or more coding modes; and a maximum size determined by the coding control means for an input image. And a block dividing means for dividing the encoded block hierarchically up to the upper limit number of layers determined by the encoding control means, and a code divided by the block dividing means When the intra coding mode is selected by the coding control means as the coding mode corresponding to the coding block, the coding block is predicted. For each prediction block that is a prediction processing unit, intra prediction means for generating a prediction image by performing intra-frame prediction processing corresponding to the intra coding mode, the coded block divided by the block dividing means, and the above Difference image generation means for generating a difference image from the prediction image generated by the intra prediction means, and image compression means for compressing the difference image generated by the difference image generation means and outputting compressed data of the difference image A bit stream in which the compressed data output from the image compression means and the encoding mode selected by the encoding control means are variable-length encoded, and the compressed data and the encoded data of the encoding mode are multiplexed. Variable length encoding means for generating
The intra prediction means selects a predetermined filter from one or more filters prepared in advance, and performs filter processing on a block boundary of a predicted image generated by performing intra-frame prediction processing using the filter And a prediction image after the filter process is output to the difference image generation means.
差分画像生成手段は、上記ブロック分割手段により分割された符号化ブロックとイントラ予測手段又は上記動き補償予測手段により生成された予測画像との差分画像を生成することを特徴とする請求項1記載の動画像符号化装置。 When the inter coding mode is selected by the coding control unit as the coding mode corresponding to the coding block divided by the block dividing unit, the prediction block that is a prediction processing unit when performing the coding block prediction process A motion compensation prediction unit is provided that generates a prediction image by performing a motion compensation prediction process for the prediction block using a reference image for each
The difference image generation means generates a difference image between the encoded block divided by the block division means and a prediction image generated by the intra prediction means or the motion compensation prediction means. Video encoding device.
画像圧縮手段は、上記符号化制御手段により決定された変換ブロックサイズ単位で、差分画像生成手段により生成された差分画像の変換処理を実施するとともに、上記符号化制御手段により決定された量子化パラメータを用いて、上記差分画像の変換係数を量子化することで、量子化後の変換係数を上記差分画像の圧縮データとして出力し、
可変長符号化手段は、上記画像圧縮手段から出力された圧縮データ及び上記符号化制御手段により選択された符号化モードを可変長符号化する際、上記符号化制御手段により決定されたイントラ予測パラメータ又はインター予測パラメータと、量子化パラメータ及び変換ブロックサイズとを可変長符号化して、上記圧縮データ、上記符号化モード、上記イントラ予測パラメータ又は上記インター予測パラメータ、上記量子化パラメータ及び上記変換ブロックサイズの符号化データが多重化されたビットストリームを生成することを特徴とする請求項2記載の動画像符号化装置。 The encoding control means determines, for each encoding block, a quantization parameter and a transform block size used when the difference image is compressed, and an intra prediction parameter used when the prediction process is performed or Inter prediction parameters are determined for each prediction block of the coding block,
The image compression means performs the conversion process of the difference image generated by the difference image generation means in the unit of the transform block size determined by the encoding control means, and the quantization parameter determined by the encoding control means , And quantize the transform coefficient of the difference image, to output the quantized transform coefficient as compressed data of the difference image,
The variable-length coding unit is configured to perform the variable-length coding on the compressed data output from the image compression unit and the coding mode selected by the coding control unit, and the intra prediction parameter determined by the coding control unit. Alternatively, the inter prediction parameter, the quantization parameter, and the transform block size are subjected to variable length coding, and the compressed data, the coding mode, the intra prediction parameter or the inter prediction parameter, the quantization parameter, and the transform block size are encoded. 3. The moving picture encoding apparatus according to claim 2, wherein a bit stream in which encoded data is multiplexed is generated.
イントラ予測手段は、上記テーブルを参照して、フィルタ処理に用いるフィルタを選択することを特徴とする請求項4記載の動画像符号化装置。 The size of the block for which intra prediction is performed, the quantization parameter determined by the encoding control means, the distance between the reference pixel used for generating the predicted image and the pixel to be filtered, and the intra prediction determined by the encoding control means For each combination to be considered when selecting a filter among the parameters, a filter selection table indicating the filter used for the filter processing is prepared.
5. The moving picture coding apparatus according to claim 4, wherein the intra prediction means selects a filter to be used for the filtering process with reference to the table.
上記イントラ予測手段は、予め用意された1以上のフィルタの中から所定のフィルタを選択し、上記フィルタを用いて、フレーム内予測処理を実施して生成された予測画像のブロック境界に対するフィルタ処理を実施し、フィルタ処理後の予測画像を上記復号画像生成手段に出力することを特徴とする動画像復号装置。 Variable-length decoding means for variable-length decoding compressed data and coding modes related to each coding block hierarchically divided from the encoded data multiplexed into the bitstream, and variable-length decoding by the variable-length decoding means When the coding mode related to the coded block is the intra coding mode, an intra-frame corresponding to the intra coding mode is provided for each prediction block serving as a prediction processing unit when performing the prediction processing of the coding block. Intra prediction means for generating a prediction image by performing a prediction process, difference image generation means for generating a difference image before compression from compressed data related to an encoded block variable length decoded by the variable length decoding means, and A decoded image is generated by adding the difference image generated by the difference image generation means and the prediction image generated by the intra prediction means. And a decoded image generation unit that,
The intra prediction means selects a predetermined filter from one or more filters prepared in advance, and performs a filter process on a block boundary of a predicted image generated by performing an intra-frame prediction process using the filter. A moving picture decoding apparatus that performs and outputs a predicted image after filter processing to the decoded image generation means.
復号画像生成手段は、差分画像生成手段により生成された差分画像とイントラ予測手段又は上記動き補償予測手段により生成された予測画像とを加算して復号画像を生成することを特徴とする請求項6記載の動画像復号装置。 When the coding mode related to the coding block that has been variable-length decoded by the variable-length decoding means is the inter coding mode, a reference image is provided for each prediction block that is a prediction processing unit when performing the prediction processing of the coding block. Using a motion compensation prediction unit that performs a motion compensation prediction process on the prediction block to generate a prediction image;
The decoded image generation means adds the difference image generated by the difference image generation means and the prediction image generated by the intra prediction means or the motion compensation prediction means to generate a decoded image. The moving picture decoding apparatus described.
差分画像生成手段は、上記可変長復号手段により可変長復号された符号化ブロックに係る量子化パラメータを用いて、当該符号化ブロックに係る圧縮データを逆量子化し、上記変換ブロックサイズ単位で、逆量子化後の圧縮データの逆変換処理を実施することで、圧縮前の差分画像を生成することを特徴とする請求項7記載の動画像復号装置。 The variable length decoding means performs variable length decoding on the compressed data, coding mode, intra prediction parameter or inter prediction parameter, quantization parameter, and transform block size related to each coding block from the coded data multiplexed in the bitstream. And
The difference image generation means dequantizes the compressed data related to the coding block using the quantization parameter related to the coding block variable-length decoded by the variable length decoding means, 8. The moving picture decoding apparatus according to claim 7, wherein a difference image before compression is generated by performing an inverse transform process of the compressed data after quantization.
イントラ予測手段は、上記テーブルを参照して、フィルタ処理に用いるフィルタを選択することを特徴とする請求項9記載の動画像復号装置。 The size of the block for which intra prediction is performed, the quantization parameter variable-length decoded by the variable-length decoding means, the distance between the reference pixel used for generating the predicted image and the pixel to be filtered, and the variable-length decoding by the variable-length decoding means For each combination to be considered when selecting a filter from among the intra prediction parameters, a filter selection table indicating a filter used for the filter processing is prepared.
10. The moving picture decoding apparatus according to claim 9, wherein the intra prediction means selects a filter to be used for the filtering process with reference to the table.
上記イントラ予測処理ステップでは、予め用意された1以上のフィルタの中から所定のフィルタを選択し、上記フィルタを用いて、フレーム内予測処理を実施して生成している予測画像のブロック境界に対するフィルタ処理を実施し、フィルタ処理後の予測画像を上記差分画像生成手段に出力することを特徴とする動画像符号化方法。 The encoding control means determines the maximum size of the encoding block that is a processing unit when the encoding process is performed, and sets the upper limit number of layers when the encoding block of the maximum size is hierarchically divided. An encoding control processing step for determining and selecting an encoding mode corresponding to each encoding block to be hierarchically divided from one or more encoding modes that can be used; Is divided into encoded blocks of the maximum size determined in the encoding control processing step, and the encoded blocks are hierarchically divided until the upper limit number of hierarchies determined in the encoding control processing step is reached. The block division processing step and the intra prediction means, the coding mode corresponding to the coding block divided in the block division processing step is used as the coding mode. When the intra coding mode is selected in the control processing step, intra-frame prediction processing corresponding to the intra coding mode is performed for each prediction block that is a prediction processing unit when performing the prediction processing of the coding block. And an intra prediction processing step for generating a prediction image, and a difference in which the difference image generation means generates a difference image between the encoded block divided in the block division processing step and the prediction image generated in the intra prediction processing step. The image generation processing step, the image compression means compresses the difference image generated in the difference image generation processing step, and outputs compressed data of the difference image, and the variable length encoding means The compressed data output in the image compression processing step and the encoding mode selected in the encoding control processing step And-length coding, a variable length coding process steps encoded data of the compressed data and the encoding mode to generate a multiplexed bit stream,
In the intra prediction processing step, a filter for a block boundary of a prediction image generated by selecting a predetermined filter from one or more filters prepared in advance and performing intra-frame prediction processing using the filter is used. A moving picture encoding method comprising: performing processing, and outputting a predicted image after filter processing to the difference image generation unit.
上記イントラ予測処理ステップでは、予め用意された1以上のフィルタの中から所定のフィルタを選択し、上記フィルタを用いて、フレーム内予測処理を実施して生成している予測画像のブロック境界に対するフィルタ処理を実施し、フィルタ処理後の予測画像を上記復号画像生成手段に出力することを特徴とする動画像復号方法。 Variable length decoding means, variable length decoding processing step for variable length decoding compressed data and coding mode related to each coding block hierarchically divided from the coded data multiplexed into the bitstream, and intra prediction When the coding mode related to the coding block subjected to variable length decoding in the variable length decoding processing step is the intra coding mode, the prediction block serving as a prediction processing unit when performing the prediction processing of the coding block In each case, an intra prediction processing step for generating a predicted image by performing an intra-frame prediction process corresponding to the intra coding mode, and a coding in which the difference image generating means is variable length decoded in the variable length decoding processing step. The difference image generation processing step for generating a difference image before compression from the compressed data relating to the block, and the decoded image generation means include the difference And a decoded image generation processing step of adding the prediction image generated by the differential image and the intra prediction processing steps generated by the image generation processing step of generating a decoded image,
In the intra prediction processing step, a filter for a block boundary of a prediction image generated by selecting a predetermined filter from one or more filters prepared in advance and performing intra-frame prediction processing using the filter is used. A moving picture decoding method comprising: performing processing, and outputting a predicted image after filter processing to the decoded picture generation unit.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011239042A JP2013098713A (en) | 2011-10-31 | 2011-10-31 | Video encoding device, video decoding device, video encoding method, and video decoding method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011239042A JP2013098713A (en) | 2011-10-31 | 2011-10-31 | Video encoding device, video decoding device, video encoding method, and video decoding method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013098713A true JP2013098713A (en) | 2013-05-20 |
Family
ID=48620235
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011239042A Pending JP2013098713A (en) | 2011-10-31 | 2011-10-31 | Video encoding device, video decoding device, video encoding method, and video decoding method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2013098713A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018530959A (en) * | 2015-09-10 | 2018-10-18 | エルジー エレクトロニクス インコーポレイティド | Intra prediction method and apparatus in video coding system |
WO2020001325A1 (en) * | 2018-06-26 | 2020-01-02 | 中兴通讯股份有限公司 | Image encoding method, decoding method, encoder, decoder and storage medium |
-
2011
- 2011-10-31 JP JP2011239042A patent/JP2013098713A/en active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018530959A (en) * | 2015-09-10 | 2018-10-18 | エルジー エレクトロニクス インコーポレイティド | Intra prediction method and apparatus in video coding system |
US10574984B2 (en) | 2015-09-10 | 2020-02-25 | Lg Electronics Inc. | Intra prediction method and device in video coding system |
WO2020001325A1 (en) * | 2018-06-26 | 2020-01-02 | 中兴通讯股份有限公司 | Image encoding method, decoding method, encoder, decoder and storage medium |
US11909963B2 (en) | 2018-06-26 | 2024-02-20 | Zte Corporation | Image encoding method, decoding method, encoder, and decoder |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6261660B2 (en) | Image encoding device, image decoding device, image encoding method, and image decoding method | |
JP6091583B2 (en) | Image encoding device, image decoding device, image encoding method, image decoding method, and encoded data | |
JP2014123988A (en) | Image decoder and image decoding method | |
JPWO2014163200A1 (en) | Color image encoding device, color image decoding device, color image encoding method, and color image decoding method | |
JP2014090327A (en) | Moving image encoder, moving image decoder, moving image encoding method and moving image decoding method | |
JP2014090326A (en) | Moving image encoder, moving image decoder, moving image encoding method and moving image decoding method | |
JP2013098713A (en) | Video encoding device, video decoding device, video encoding method, and video decoding method | |
JP2013098715A (en) | Moving image encoder, moving image decoder, moving image encoding method and moving image decoding method |