JP2013090120A - Image coding method, image decoding method, image coder, image decoder, and program thereof - Google Patents

Image coding method, image decoding method, image coder, image decoder, and program thereof Download PDF

Info

Publication number
JP2013090120A
JP2013090120A JP2011228552A JP2011228552A JP2013090120A JP 2013090120 A JP2013090120 A JP 2013090120A JP 2011228552 A JP2011228552 A JP 2011228552A JP 2011228552 A JP2011228552 A JP 2011228552A JP 2013090120 A JP2013090120 A JP 2013090120A
Authority
JP
Japan
Prior art keywords
intra prediction
signal
reference pixel
size
generating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2011228552A
Other languages
Japanese (ja)
Inventor
Shohei Matsuo
翔平 松尾
Yukihiro Bando
幸浩 坂東
Takeshi Ito
健 伊藤
Masayuki Takamura
誠之 高村
Atsushi Shimizu
淳 清水
Hirohisa Jozawa
裕尚 如澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2011228552A priority Critical patent/JP2013090120A/en
Publication of JP2013090120A publication Critical patent/JP2013090120A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

PROBLEM TO BE SOLVED: To improve coding efficiency by reducing an intra prediction error by introducing adaptive reference pixel generation processing according to a coding condition in intra prediction.SOLUTION: An intra prediction block size reading unit 505 reads the size of an intra prediction block. An interpolation filter selection unit 506 sets the tap length of the interpolation filter required to generate a reference pixel, on the basis of the size of the intra prediction block. A reference pixel value generation unit 507 performs file processing using an interpolation filter of the set tap length, and generates an intra reference pixel value to use for generation of an intra prediction signal.

Description

本発明は,高能率画像信号符号化/復号方法に関し,特にイントラ予測を用いて画像を符号化または復号する技術に関するものである。   The present invention relates to a high-efficiency image signal encoding / decoding method, and more particularly to a technique for encoding or decoding an image using intra prediction.

動画像符号化のアルゴリズムは,フレーム間符号化(インター符号化)とフレーム内符号化(イントラ符号化)に大別される。フレーム間符号化は動画像内の時間方向の相関を利用して,情報圧縮を図るアプローチである。代表例は,動き補償を用いたフレーム間予測である。一方,フレーム内符号化は,フレーム内の相関を用いて,情報圧縮を図るアプローチである。JPEG,MPEG−2では,離散コサイン変換(DCT)を用いたアプローチが,JPEG2000では,離散ウェーブレット変換を用いたアプローチがとられている。   The moving image coding algorithms are roughly classified into interframe coding (inter coding) and intraframe coding (intra coding). Interframe coding is an approach for compressing information by using the correlation in the time direction in a moving image. A typical example is inter-frame prediction using motion compensation. On the other hand, intra-frame coding is an approach for compressing information using intra-frame correlation. In JPEG and MPEG-2, an approach using discrete cosine transform (DCT) is used, and in JPEG 2000, an approach using discrete wavelet transform is taken.

H.264/AVCでは,前述の変換符号化に加えて,空間方向の予測が行われる(非特許文献1参照)。空間次元で同一の画面内から予測を行う画面内予測である。この画面内予測はブロック単位で行われ,H.264/MPEG−4 AVCでは,輝度信号に対して,3種類のブロックサイズ(4×4,8×8,16×16)が利用可能となっている。また,各ブロックサイズでは,それぞれ複数の予測モードが選択可能である。4×4と8×8のブロックサイズの場合には9種類のモード,16×16のブロックサイズの場合には4種類のモードが用意されている。色差信号に対しては,8×8のブロックサイズのみが利用可能であり,予測方向に関しては輝度信号に対する16×16ブロックの場合と同じである。ただし,モード番号と予測方向の対応付けが異なる。   H. In H.264 / AVC, prediction in the spatial direction is performed in addition to the above-described transform coding (see Non-Patent Document 1). In-screen prediction in which prediction is performed from the same screen in the spatial dimension. This intra prediction is performed on a block basis. In H.264 / MPEG-4 AVC, three types of block sizes (4 × 4, 8 × 8, 16 × 16) can be used for luminance signals. In each block size, a plurality of prediction modes can be selected. Nine types of modes are prepared for 4 × 4 and 8 × 8 block sizes, and four types of modes are prepared for 16 × 16 block sizes. For color difference signals, only an 8 × 8 block size is available, and the prediction direction is the same as for 16 × 16 blocks for luminance signals. However, the association between the mode number and the prediction direction is different.

これらの各種ブロックサイズとモードにおいて,どの場合でも例外なく,画面内予測で生成される画素は,隣接するブロック上の符号化対象ブロックに最近傍の画素の値を変化させずに,同じ値をコピーする。   In these various block sizes and modes, in all cases, the pixels generated by intra prediction are the same value without changing the value of the nearest pixel to the encoding target block on the adjacent block. make a copy.

具体的な例として,符号化対象ブロックが輝度信号の4×4ブロック,垂直予測(予測モード0)の場合を,図12に示す。また,以下では特に断りがない場合には,輝度信号を前提として説明を行う。図12(A)に示されるように,符号化対象ブロックの左上にあるブロックからX,上にあるブロックからA,B,C,D,右上にあるブロックからE,F,G,H,そして左にあるブロックからI,J,K,Lに示す画素の値を予測に用いる。予測モード0は,垂直方向の予測のため,Aの値(73)を真下に続く4画素にコピーする。以下,同様にBの値(79),Cの値(86),Dの値(89)を,それぞれ真下に続く4画素にコピーする。この結果,符号化対象ブロックの予測画素値は,予測モード0の場合,図12(B)に示すようになる。   As a specific example, FIG. 12 shows a case where the encoding target block is a 4 × 4 block of luminance signal and vertical prediction (prediction mode 0). In the following description, a luminance signal is assumed unless otherwise specified. As shown in FIG. 12 (A), X from the upper left block of the encoding target block, A, B, C, D from the upper block, E, F, G, H from the upper right block, and The pixel values indicated by I, J, K, and L from the block on the left are used for prediction. In prediction mode 0, the value of A (73) is copied to the four pixels immediately below for prediction in the vertical direction. Thereafter, similarly, the B value (79), the C value (86), and the D value (89) are respectively copied to the four pixels immediately below. As a result, the prediction pixel value of the encoding target block is as shown in FIG.

符号化対象ブロックの存在する位置によっては,参照すべきブロックがない場合が存在する。その場合には128の値を代入するか,もしくは隣の画素の値を代入することで予測を可能としている。例えば,画面の一番上の行に存在するブロックでは,XからHまでの9画素は常に参照することができないため,128を用いる。また,左上と上のブロックは存在するが,右上が存在しない場合には,Dの有する値をE,F,G,Hに代入して予測画素を生成する。   Depending on the position where the encoding target block exists, there may be no block to be referred to. In that case, prediction is possible by substituting the value of 128 or the value of the adjacent pixel. For example, in the block in the top row of the screen, since 9 pixels from X to H cannot always be referred to, 128 is used. If the upper left and upper blocks exist but the upper right does not exist, the prediction pixel is generated by substituting the value of D into E, F, G, and H.

H.264/AVCのイントラ予測改善のアプローチとして,8方向の予測方向を細分化し,33方向の予測方向をサポートした手法が提案されている。この手法は,予測方向の粒度の粗さに起因する予測誤差を低減させることを狙ったものである。   H. As an approach for improving the intra prediction of H.264 / AVC, a method that subdivides eight prediction directions and supports 33 prediction directions has been proposed. This method aims to reduce the prediction error due to the coarseness of the granularity in the prediction direction.

大久保榮, 角野眞也, 菊池義浩, 鈴木輝彦:“H.264/AVC教科書改訂三版”,インプレス, pp.110-116,2009Jun Okubo, Shinya Tsuno, Yoshihiro Kikuchi, Teruhiko Suzuki: “H.264 / AVC textbook revised third edition”, Impress, pp.110-116, 2009

前述のイントラ予測は,参照画素の生成が予測性能に大きな影響を及ぼす。斜め方向の予測(水平・垂直・DC予測以外の予測)の場合,参照画素値は,小数画素位置の画素値となる。この画素値の生成には,2タップの双線形フィルタによる補間処理が用いられる。前記フィルタは,符号化条件(量子化ステップ幅など)によらず,タップ長およびフィルタ係数は固定値を用いる。しかし,参照画素値は当該ブロックの近傍に位置する復号画素値であるため,符号化条件によりその特性は変化する。このため,従来のイントラ予測では,符号化条件に応じた参照画素値の特性の変化が十分考慮されておらず,符号化効率の向上に改良の余地を残す。   In the above-described intra prediction, the generation of reference pixels greatly affects the prediction performance. In the case of prediction in an oblique direction (prediction other than horizontal / vertical / DC prediction), the reference pixel value is the pixel value at the decimal pixel position. This pixel value is generated by interpolation using a 2-tap bilinear filter. The filter uses fixed values for the tap length and the filter coefficient regardless of the encoding condition (quantization step width, etc.). However, since the reference pixel value is a decoded pixel value located in the vicinity of the block, its characteristic changes depending on the encoding condition. For this reason, in the conventional intra prediction, the change in the characteristic of the reference pixel value according to the encoding condition is not sufficiently considered, and there is room for improvement in improving the encoding efficiency.

本発明はかかる事情に鑑みてなされたものであって,イントラ予測に用いる参照画素に着目し,符号化条件に応じた適応的な参照画素生成処理を導入することで,イントラ予測誤差を低減し,高能率なイントラ符号化方法を確立することを目的とする。   The present invention has been made in view of such circumstances, and pays attention to reference pixels used for intra prediction, and introduces an adaptive reference pixel generation process according to encoding conditions, thereby reducing intra prediction errors. The purpose is to establish a highly efficient intra coding method.

まず,用語を定義する。以下,イントラ予測を用いて符号化を行う領域をイントラ予測ブロックと呼び,イントラ予測に用いる参照画素をイントラ参照画素と呼ぶ。   First, define terms. Hereinafter, a region where encoding is performed using intra prediction is referred to as an intra prediction block, and a reference pixel used for intra prediction is referred to as an intra reference pixel.

本発明では,イントラ参照画素に対して,適応的なフィルタ選択に基づき,イントラ予測の参照画素値を生成し,イントラ予測残差の低減を図る。   In the present invention, a reference pixel value for intra prediction is generated for an intra reference pixel based on adaptive filter selection, and the intra prediction residual is reduced.

まず,符号化対象のイントラ予測ブロックに対して,イントラ参照画素の存在領域(以後,イントラ参照画素領域と呼ぶ)を同定する。イントラ参照画素は,イントラ予測ブロックの近傍画素であり,イントラ予測ブロックのサイズとイントラ予測モードに応じて定まる。   First, an intra reference pixel existence region (hereinafter referred to as an intra reference pixel region) is identified for an intra prediction block to be encoded. The intra reference pixel is a neighboring pixel of the intra prediction block, and is determined according to the size of the intra prediction block and the intra prediction mode.

図1に,イントラ参照画素の例を示す。図1(A)は,イントラ予測モードが,垂直方向予測の場合のイントラ参照画素の例を示し,図1(B)は,イントラ予測モードが,水平方向予測の場合のイントラ参照画素の例を示している。   FIG. 1 shows an example of an intra reference pixel. FIG. 1A shows an example of an intra reference pixel when the intra prediction mode is vertical prediction, and FIG. 1B shows an example of an intra reference pixel when the intra prediction mode is horizontal prediction. Show.

図1において,正方領域が画素にあたる。また,P0が符号化対象ブロック内の画素,P1が符号化済みの画素,P2,P3が符号化対象ブロック内の画素群に対するイントラ参照画素を表している。このように,参照画素はイントラ予測モードによって異なる。準備された全てのイントラ予測モードを実現するために必要なイントラ参照画素が存在する領域をイントラ参照画素領域と呼ぶ。イントラ参照画素領域の例を,図1(C)に示す。   In FIG. 1, a square area corresponds to a pixel. P0 represents a pixel in the encoding target block, P1 represents an encoded pixel, and P2 and P3 represent an intra reference pixel for a pixel group in the encoding target block. Thus, the reference pixel differs depending on the intra prediction mode. A region where intra reference pixels necessary for realizing all the prepared intra prediction modes exists is referred to as an intra reference pixel region. An example of the intra reference pixel region is shown in FIG.

斜め方向イントラ予測(水平方向予測・垂直方向予測・DC予測以外の予測)の場合,イントラ参照画素領域内の画素値に対して補間処理を行い,イントラ参照画素を生成する。この生成において,復号画像の特性に影響を与える符号化パラメータに基づき,補間に用いるフィルタを適応的に選択し,イントラ予測誤差の低減を図る。   In the case of oblique intra prediction (prediction other than horizontal prediction / vertical prediction / DC prediction), interpolation processing is performed on pixel values in the intra reference pixel area to generate intra reference pixels. In this generation, a filter to be used for interpolation is adaptively selected based on coding parameters that affect the characteristics of the decoded image to reduce intra prediction errors.

この補間フィルタの選択では,イントラ予測ブロックのサイズが大きいほど,長いタップ長の補間フィルタを選択し,また,イントラ予測ブロックの量子化パラメータが小さいほど長いタップ長の補間フィルタを選択する。   In this selection of the interpolation filter, the longer the intra prediction block size is, the longer the tap length interpolation filter is selected, and the smaller the intra prediction block quantization parameter is, the longer the tap length interpolation filter is selected.

これは,イントラ予測ブロックのサイズが大きいほど,ブロック全体の画像の複雑さが増すためであり,長いタップ長の補間フィルタを用いることにより,予測精度の高い参照画素の生成が可能になるからである。一方,イントラ予測ブロックのサイズが小さければ,短いタップ長の補間フィルタでも十分に予測精度を維持することができる。また,イントラ予測ブロックの量子化パラメータが小さい場合,画像は複雑な模様を有していることが多く,予測精度の高い参照画素の生成には,長いタップ長の補間フィルタが適切である。一方,イントラ予測ブロックの量子化パラメータが大きい場合,平坦な画像であることが多いため,短いタップ長の補間フィルタでも予測精度を維持することができる。   This is because the larger the size of an intra prediction block, the more complex the image of the entire block. By using a long tap length interpolation filter, it is possible to generate reference pixels with high prediction accuracy. is there. On the other hand, if the size of the intra prediction block is small, the prediction accuracy can be sufficiently maintained even with an interpolation filter having a short tap length. In addition, when the quantization parameter of the intra prediction block is small, the image often has a complex pattern, and an interpolation filter with a long tap length is appropriate for generating reference pixels with high prediction accuracy. On the other hand, when the quantization parameter of the intra prediction block is large, since the image is often flat, the prediction accuracy can be maintained even with an interpolation filter having a short tap length.

詳しくは本発明は,空間的な画素間予測を用いて予測信号を生成し,その予測信号と原信号との残差信号に対して非可逆符号化処理を適用する画像符号化において,イントラ予測の参照画素に対して,イントラ予測ブロックのサイズもしくはイントラ予測ブロックの量子化パラメータのいずれか一方,またはその双方に基づき,該参照画素の生成に必要な補間フィルタのタップ長を設定し,設定されたタップ長の補間フィルタを用いて,参照画素を生成するフィルタ処理を行い,生成された参照画素を用いて,指定されたイントラ予測モードに対応するイントラ予測信号を生成し,生成されたイントラ予測信号と原信号との差分信号によりイントラ予測誤差信号を生成し,前記イントラ予測誤差信号を非可逆符号化処理の対象として符号化することを特徴とする。   Specifically, the present invention generates intra-prediction signals using spatial inter-pixel prediction, and intra prediction in image coding in which irreversible encoding processing is applied to a residual signal between the prediction signal and the original signal. For each reference pixel, the tap length of the interpolation filter necessary to generate the reference pixel is set and set based on either the size of the intra prediction block and / or the quantization parameter of the intra prediction block. The filter processing for generating the reference pixel is performed using the interpolation filter having the tap length, the intra prediction signal corresponding to the designated intra prediction mode is generated using the generated reference pixel, and the generated intra prediction is generated. An intra prediction error signal is generated from a difference signal between the signal and the original signal, and the intra prediction error signal is encoded as a target for irreversible encoding processing. It is characterized in.

また,本発明は,空間的な画素間予測を用いて予測信号を生成し,その予測信号と原信号との残差信号を用いて画像復号する画像復号において,入力した符号化ストリーム中のイントラ予測誤差信号,イントラ予測モードおよびイントラ予測ブロックのサイズを復号し,イントラ予測モードおよびイントラ予測ブロックのサイズに基づき,イントラ予測の参照画素を同定し,イントラ予測の参照画素に対して,イントラ予測ブロックのサイズもしくはイントラ予測ブロックの量子化パラメータのいずれか一方,またはその双方に基づき,該参照画素の生成に必要な補間フィルタのタップ長を設定し,設定されたタップ長の補間フィルタを用いて,参照画素を生成するフィルタ処理を行い,生成された参照画素を用いて,復号されたイントラ予測モードに対応するイントラ予測信号を生成し,生成されたイントラ予測信号と前記イントラ予測誤差信号とを用いて,復号対象領域の復号信号を生成することを特徴とする。   In addition, the present invention generates a prediction signal using spatial inter-pixel prediction, and performs image decoding using a residual signal between the prediction signal and an original signal. The prediction error signal, the intra prediction mode, and the size of the intra prediction block are decoded, the reference pixel for intra prediction is identified based on the size of the intra prediction mode and the intra prediction block, and the intra prediction block for the reference pixel for the intra prediction. The tap length of the interpolation filter necessary for generating the reference pixel is set based on one or both of the size of the block and the quantization parameter of the intra prediction block, and using the interpolation filter of the set tap length, A filter process for generating a reference pixel is performed, and a decoded intra prediction is generated using the generated reference pixel. Generates an intra prediction signal corresponding to the mode, the the generated intra prediction signal using the intra prediction error signal, and generates a decoded signal of the decoding target area.

また,本発明は,前記画像符号化または前記画像復号において,前記補間フィルタのタップ長を設定する場合に,前記イントラ予測ブロックのサイズが小さい場合に比べて大きい場合のほうが長いタップ長を設定,または前記イントラ予測ブロックの量子化パラメータで示される量子化ステップサイズが大きい場合に比べて小さい場合のほうが長いタップ長を設定することを特徴とする。   Further, in the present invention, when setting the tap length of the interpolation filter in the image encoding or the image decoding, a longer tap length is set when the size of the intra prediction block is larger than when the size of the intra prediction block is small. Alternatively, a longer tap length is set when the quantization step size indicated by the quantization parameter of the intra prediction block is smaller than when the quantization step size is large.

本発明により,予測対象画素値に近いイントラ参照画素値を生成することが可能となる。この結果,イントラ予測誤差の低減を通して,符号量の低減が可能となる。   According to the present invention, it is possible to generate an intra reference pixel value close to a prediction target pixel value. As a result, the code amount can be reduced through reduction of the intra prediction error.

イントラ参照画素の例を示す図である。It is a figure which shows the example of an intra reference pixel. 本発明を適用する動画像符号化装置の一構成例を示す図である。It is a figure which shows one structural example of the moving image encoder to which this invention is applied. 本発明を適用する動画像復号装置の一構成例を示す図である。It is a figure which shows one structural example of the moving image decoding apparatus to which this invention is applied. イントラ予測処理部の構成例を示す図である。It is a figure which shows the structural example of an intra prediction process part. イントラ予測処理のフローチャートである。It is a flowchart of an intra prediction process. 参照画素生成部の第1の構成例を示す図である。It is a figure which shows the 1st structural example of a reference pixel production | generation part. イントラ参照画素生成処理(例1)のフローチャートである。It is a flowchart of an intra reference pixel production | generation process (example 1). 参照画素生成部の第2の構成例を示す図である。It is a figure which shows the 2nd structural example of a reference pixel production | generation part. イントラ参照画素生成処理(例2)のフローチャートである。It is a flowchart of an intra reference pixel production | generation process (example 2). 動画像符号化装置をコンピュータとソフトウェアプログラムとを用いて実現する場合のシステムの構成例を示す図である。It is a figure which shows the structural example of the system in the case of implement | achieving a moving image encoder using a computer and a software program. 動画像復号装置をコンピュータとソフトウェアプログラムとを用いて実現する場合のシステムの構成例を示す図である。It is a figure which shows the structural example of the system in the case of implement | achieving a moving image decoding apparatus using a computer and a software program. 従来の画面内予測における画素生成方法の例を示す図である。It is a figure which shows the example of the pixel production | generation method in the conventional intra prediction.

本発明は,動画像符号化装置(図2)および動画像復号装置(図3)におけるイントラ予測処理部(図2の101および図3の202)に関する技術である。同イントラ予測処理部は,符号化装置・復号装置で共通する処理を行う。   The present invention relates to a technique relating to an intra prediction processing unit (101 in FIG. 2 and 202 in FIG. 3) in a video encoding device (FIG. 2) and a video decoding device (FIG. 3). The intra prediction processing unit performs a process common to the encoding device and the decoding device.

以下では,まず本発明が適用される動画像符号化装置および動画像復号装置の例を示し,その後に,本発明の改良箇所であるイントラ予測処理部の詳細な説明を行う。   In the following, an example of a moving picture coding apparatus and a moving picture decoding apparatus to which the present invention is applied will be shown first, and then an intra prediction processing unit which is an improved portion of the present invention will be described in detail.

〔動画像符号化装置の構成例〕
図2は,本発明を適用する動画像符号化装置の一構成例を示す図である。動画像符号化装置100において,本実施形態は,特にイントラ予測処理部101の部分が従来技術と異なる部分であり,他の部分は,H.264その他のエンコーダとして用いられている従来の一般的な動画像符号化装置の構成と同様である。
[Configuration example of moving image encoding apparatus]
FIG. 2 is a diagram illustrating a configuration example of a moving image encoding apparatus to which the present invention is applied. In the moving image encoding apparatus 100, in the present embodiment, the part of the intra prediction processing unit 101 is different from the prior art, and the other part is H.264. It is the same as that of the structure of the conventional general moving image encoder used as H.264 other encoders.

動画像符号化装置100は,符号化対象の映像信号を入力し,入力映像信号のフレームをブロックに分割してブロックごとに符号化し,そのビットストリームを符号化ストリームとして出力する。この符号化のため,予測残差信号生成部103は,入力映像信号とイントラ予測処理部101あるいはインター予測処理部102の出力である予測信号との差分を求め,それを予測残差信号として出力する。変換処理部104は,予測残差信号に対して離散コサイン変換(DCT)等の直交変換を行い,変換係数を出力する。量子化処理部105は,変換係数を量子化し,その量子化された変換係数を出力する。エントロピー符号化処理部113は,量子化された変換係数をエントロピー符号化し,符号化ストリームとして出力する。   The video encoding apparatus 100 receives a video signal to be encoded, divides a frame of the input video signal into blocks, encodes each block, and outputs the bit stream as an encoded stream. For this encoding, the prediction residual signal generation unit 103 obtains a difference between the input video signal and the prediction signal output from the intra prediction processing unit 101 or the inter prediction processing unit 102, and outputs the difference as a prediction residual signal. To do. The transform processing unit 104 performs orthogonal transform such as discrete cosine transform (DCT) on the prediction residual signal and outputs a transform coefficient. The quantization processing unit 105 quantizes the transform coefficient and outputs the quantized transform coefficient. The entropy encoding processing unit 113 entropy encodes the quantized transform coefficient and outputs it as an encoded stream.

一方,量子化された変換係数は,逆量子化処理部106にも入力され,ここで逆量子化される。逆変換処理部107は,逆量子化処理部106の出力である変換係数を逆直交変換し,予測残差復号信号を出力する。   On the other hand, the quantized transform coefficient is also input to the inverse quantization processing unit 106 where it is inversely quantized. The inverse transform processing unit 107 performs inverse orthogonal transform on the transform coefficient output from the inverse quantization processing unit 106, and outputs a prediction residual decoded signal.

復号信号生成部108では,この予測残差復号信号とイントラ予測処理部101あるいはインター予測処理部102の出力である予測信号とを加算し,符号化した符号化対象ブロックの復号信号を生成する。この復号信号は,イントラ予測処理部101あるいはインター予測処理部102において参照画像として用いるために,フレームメモリ109に格納される。なお,インター予測処理部102において参照する場合には,インループフィルタ処理部110において,フレームメモリ109に格納した画像を入力して,符号化歪を低減するフィルタリング処理を行い,このフィルタリング処理後の画像を参照画像として用いる。   The decoded signal generation unit 108 adds the prediction residual decoded signal and the prediction signal output from the intra prediction processing unit 101 or the inter prediction processing unit 102 to generate a decoded signal of the encoded block to be encoded. This decoded signal is stored in the frame memory 109 for use as a reference image in the intra prediction processing unit 101 or the inter prediction processing unit 102. In addition, when referring in the inter prediction process part 102, in the in-loop filter process part 110, the image stored in the frame memory 109 is input, the filtering process which reduces an encoding distortion is performed, and after this filtering process Use the image as a reference image.

イントラ予測処理部101において設定された予測モード等の情報は,イントラ予測情報格納部112に格納され,さらに,エントロピー符号化処理部113においてエントロピー符号化され,符号化ストリームとして出力される。インター予測処理部102において設定された動きベクトル等の情報は,インター予測情報格納部111に格納され,さらに,エントロピー符号化処理部113においてエントロピー符号化され,符号化ストリームとして出力される。   Information such as the prediction mode set in the intra prediction processing unit 101 is stored in the intra prediction information storage unit 112, further entropy-coded in the entropy coding processing unit 113, and output as an encoded stream. Information such as a motion vector set in the inter prediction processing unit 102 is stored in the inter prediction information storage unit 111, further entropy-coded in the entropy coding processing unit 113, and output as an encoded stream.

〔動画像復号装置の構成例〕
図3は,本発明を適用する動画像復号装置の一構成例を示す図である。動画像復号装置200において,本実施形態は,特にイントラ予測処理部202の部分が従来技術と異なる部分であり,他の部分は,H.264/AVCなどのデコーダとして用いられている従来の一般的な動画像復号装置の構成と同様である。
[Configuration example of video decoding device]
FIG. 3 is a diagram illustrating a configuration example of a moving picture decoding apparatus to which the present invention is applied. In the moving picture decoding apparatus 200, in the present embodiment, the part of the intra prediction processing unit 202 is different from the prior art, and the other part is H.264. The configuration is the same as that of a conventional general video decoding device used as a decoder such as H.264 / AVC.

動画像復号装置200は,図2に示す動画像符号化装置100により符号化された符号化ストリームを入力して復号することにより復号画像の映像信号を出力する。この復号のため,エントロピー復号処理部201は,符号化ストリームを入力し,復号対象ブロックの量子化変換係数をエントロピー復号するとともに,イントラ予測に関する情報およびインター予測に関する情報を復号する。インター予測に関する情報を復号した結果は,インター予測情報格納部209に格納され,イントラ予測に関する情報を復号した結果は,イントラ予測情報格納部210に格納される。   The moving picture decoding apparatus 200 inputs and decodes the encoded stream encoded by the moving picture encoding apparatus 100 shown in FIG. 2, and outputs a video signal of a decoded image. For this decoding, the entropy decoding processing unit 201 receives an encoded stream, entropy-decodes the quantized transform coefficient of the decoding target block, and decodes information related to intra prediction and information related to inter prediction. The result of decoding information related to inter prediction is stored in the inter prediction information storage unit 209, and the result of decoding information related to intra prediction is stored in the intra prediction information storage unit 210.

逆量子化処理部204は,量子化変換係数を入力し,それを逆量子化して復号変換係数を出力する。逆変換処理部205は,復号変換係数に逆直交変換を施し,予測残差復号信号を出力する。復号信号生成部206は,予測残差復号信号とイントラ予測処理部202あるいはインター予測処理部203の出力である予測信号とを加算し,復号対象ブロックの復号信号を生成する。この復号信号は,イントラ予測処理部202あるいはインター予測処理部203において参照画像として用いるために,フレームメモリ207に格納される。なお,インター予測処理部203において参照する場合には,インループフィルタ処理部208において,フレームメモリ207に格納した画像を入力して,符号化歪を低減するフィルタリング処理を行い,このフィルタリング処理後の画像を参照画像として用いる。最終的にフィルタリング処理後の画像が,映像信号として出力される。   The inverse quantization processing unit 204 receives the quantized transform coefficient, inversely quantizes it, and outputs a decoded transform coefficient. The inverse transform processing unit 205 performs inverse orthogonal transform on the decoded transform coefficient, and outputs a prediction residual decoded signal. The decoded signal generation unit 206 adds the prediction residual decoded signal and the prediction signal output from the intra prediction processing unit 202 or the inter prediction processing unit 203, and generates a decoded signal of the decoding target block. This decoded signal is stored in the frame memory 207 for use as a reference image in the intra prediction processing unit 202 or the inter prediction processing unit 203. In addition, when referring in the inter prediction process part 203, the image stored in the frame memory 207 is input in the in-loop filter process part 208, the filtering process which reduces an encoding distortion is performed, and after this filtering process, Use the image as a reference image. Finally, the filtered image is output as a video signal.

〔イントラ予測処理部の構成例〕
本実施形態は,図2のイントラ予測処理部101または図3のイントラ予測処理部202におけるイントラ予測処理に関する技術である。
[Configuration example of intra prediction processing unit]
The present embodiment is a technique related to intra prediction processing in the intra prediction processing unit 101 in FIG. 2 or the intra prediction processing unit 202 in FIG. 3.

図4に,イントラ予測処理部の構成例を示す。図4に示すイントラ予測処理部は,動画像符号化装置100および動画像復号装置200で共通する処理を行う。   FIG. 4 shows a configuration example of the intra prediction processing unit. The intra prediction processing unit illustrated in FIG. 4 performs a process common to the video encoding device 100 and the video decoding device 200.

ブロック位置同定部301は,イントラ予測ブロックのフレーム内での位置を同定する。参照画素生成部302は,イントラ予測モード,イントラ予測ブロックのフレーム内での位置を入力として,同ブロックに対するイントラ参照画素を生成する。イントラ予測値生成部303は,イントラ予測モードおよびイントラ参照画素を入力として,同イントラ予測モードに対応する予測を行い,イントラ予測値を出力する。   The block position identification unit 301 identifies the position of the intra prediction block in the frame. The reference pixel generation unit 302 receives the intra prediction mode and the position of the intra prediction block in the frame, and generates an intra reference pixel for the block. The intra prediction value generation unit 303 receives the intra prediction mode and the intra reference pixel, performs prediction corresponding to the intra prediction mode, and outputs an intra prediction value.

〔イントラ予測処理のフロー〕
図5は,図4に示すイントラ予測処理部が実行するイントラ予測処理のフローチャートである。
[Intra prediction process flow]
FIG. 5 is a flowchart of intra prediction processing executed by the intra prediction processing unit shown in FIG.

まず,ステップS101では,イントラ予測ブロックのフレーム内での位置を同定する。次に,ステップS102では,イントラ予測モード,イントラ予測ブロックのフレーム内での位置を入力として,同ブロックに対するイントラ参照画素を生成する。次に,ステップS103では,イントラ予測モードおよびイントラ参照画素を入力として,同イントラ予測モードに対応する予測を行い,イントラ予測値を生成して出力する。   First, in step S101, the position of the intra prediction block in the frame is identified. Next, in step S102, an intra reference pixel for the block is generated with the intra prediction mode and the position of the intra prediction block in the frame as inputs. Next, in step S103, the intra prediction mode and the intra reference pixel are input, prediction corresponding to the intra prediction mode is performed, and an intra prediction value is generated and output.

〔参照画素生成部の構成例1〕
図6は,図4に示すイントラ予測処理部における参照画素生成部302の第1の構成例を示している。参照画素生成部302は,次のような構成によりイントラ参照画素生成処理を行う。
[Configuration example 1 of reference pixel generation unit]
FIG. 6 illustrates a first configuration example of the reference pixel generation unit 302 in the intra prediction processing unit illustrated in FIG. The reference pixel generation unit 302 performs intra reference pixel generation processing with the following configuration.

復号画素値記憶部501は,参照画素生成に必要な復号画素値を記憶する。このとき,例えばH.264/AVCのように,復号画素値に対してローパスフィルタなどのノイズ低減のためのフィルタを施してから保存してもよい。具体的には,図12において,Aの値をそのままコピーするのではなく,(X+2×A+B)>>2,(A+2×B+C)>>2などの処理である(>>は右ビットシフト操作を示す)。復号画素値読込み部502は,イントラ予測モードを入力として,イントラ予測モードに応じて,復号画素値記憶部501で記憶した復号画素値を読み込む。予測モード判定部503は,イントラ予測モード,および,復号画素値読込み部502で読み込んだ復号画素値を入力として,同予測モードに用いる参照画素を生成するために小数画素位置の補間が必要かどうかを判定し,必要でない場合,同復号画素位置からイントラ予測に必要な参照画素値を選択する。そうでなければ,イントラ予測ブロックサイズ読込み部505の処理に移動する。   The decoded pixel value storage unit 501 stores a decoded pixel value necessary for generating a reference pixel. At this time, for example, H.R. The decoded pixel value may be stored after being subjected to a noise reduction filter such as a low-pass filter as in H.264 / AVC. Specifically, in FIG. 12, the value of A is not copied as it is, but processing such as (X + 2 × A + B) >> 2, (A + 2 × B + C) >> 2 (>> is a right bit shift operation) Showing). The decoded pixel value reading unit 502 receives the intra prediction mode, and reads the decoded pixel value stored in the decoded pixel value storage unit 501 according to the intra prediction mode. Whether the prediction mode determination unit 503 receives the intra prediction mode and the decoded pixel value read by the decoded pixel value reading unit 502, and whether interpolation of the decimal pixel position is necessary to generate a reference pixel used in the prediction mode If it is not necessary, a reference pixel value necessary for intra prediction is selected from the decoded pixel position. Otherwise, the process proceeds to the process of the intra prediction block size reading unit 505.

本実施形態において,図6に点線枠で示したイントラ予測ブロックサイズ記憶部504,イントラ予測ブロックサイズ読込み部505,補間フィルタ選択部506の部分が,従来技術と異なる部分である。   In the present embodiment, the portions of the intra prediction block size storage unit 504, the intra prediction block size reading unit 505, and the interpolation filter selection unit 506, which are indicated by the dotted frame in FIG. 6, are different from the prior art.

イントラ予測ブロックサイズ記憶部504は,イントラ予測の対象となっているブロック(イントラ予測ブロック)のサイズを記憶する。H.264/AVCの場合,ブロックサイズとしては,4×4,8×8,16×16の三種類がある。なお,本実施形態では,これらのサイズに限らず,例えば32×32というようなブロックサイズを対象としてもよい。   The intra prediction block size storage unit 504 stores the size of a block (intra prediction block) that is a target of intra prediction. H. In the case of H.264 / AVC, there are three types of block sizes: 4 × 4, 8 × 8, and 16 × 16. In the present embodiment, not only these sizes but also block sizes such as 32 × 32 may be targeted.

イントラ予測ブロックサイズ読込み部505は,イントラ予測ブロックサイズ記憶部504で記憶したイントラ予測ブロックのサイズを読み込む。   The intra prediction block size reading unit 505 reads the size of the intra prediction block stored in the intra prediction block size storage unit 504.

補間フィルタ選択部506は,イントラ予測ブロックのサイズおよびイントラ予測モードを入力として,イントラ予測ブロックのサイズおよびイントラ予測モードに応じて,イントラ参照画素の生成に用いる補間フィルタを選択する。特に,この補間フィルタの選択では,イントラ予測ブロックのサイズが大きいほど,長いタップ長の補間フィルタを選択する。例えば,ブロックサイズが4×4,8×8の場合,タップ長が2,4の補間フィルタを選択し,ブロックサイズが16×16,32×32というような場合には,タップ長が6〜8,もしくはそれ以上の補間フィルタを選択する。   The interpolation filter selection unit 506 receives an intra prediction block size and an intra prediction mode as inputs, and selects an interpolation filter used for generating an intra reference pixel according to the size of the intra prediction block and the intra prediction mode. In particular, in the selection of this interpolation filter, an interpolation filter having a longer tap length is selected as the size of the intra prediction block is larger. For example, when the block size is 4 × 4, 8 × 8, an interpolation filter with a tap length of 2 or 4 is selected, and when the block size is 16 × 16 or 32 × 32, the tap length is 6 to 4. Select 8 or more interpolation filters.

参照画素値生成部507は,イントラ予測モード,復号画素値読込み部502で読み込んだ復号画素値,および補間フィルタ選択部506で選択された補間フィルタを入力として,選択された補間フィルタを用いた補間処理により,イントラ予測に必要な参照画素値を生成する。   The reference pixel value generation unit 507 receives the intra prediction mode, the decoded pixel value read by the decoded pixel value reading unit 502, and the interpolation filter selected by the interpolation filter selection unit 506, and performs interpolation using the selected interpolation filter. By processing, reference pixel values necessary for intra prediction are generated.

なお,従来技術では,イントラ予測ブロックサイズの読込みなどを行うことなく,単に予測モード判定部503の出力するイントラ予測モードを入力として,イントラ予測モードに応じて,イントラ参照画素の生成に用いる補間フィルタを選択している点が,本実施形態と異なる。   In the prior art, an interpolation filter used for generating an intra reference pixel according to an intra prediction mode by simply inputting an intra prediction mode output from the prediction mode determination unit 503 without reading the intra prediction block size. This is different from the present embodiment.

〔イントラ参照画素生成処理(例1)のフロー〕
図7は,イントラ参照画素生成処理(例1)のフローチャートである。以下,図4に示す参照画素生成部302が実行するイントラ参照画素生成処理の第1の例を,図7に従って詳細に説明する。
[Flow of Intra Reference Pixel Generation Process (Example 1)]
FIG. 7 is a flowchart of intra reference pixel generation processing (example 1). Hereinafter, a first example of the intra reference pixel generation process executed by the reference pixel generation unit 302 illustrated in FIG. 4 will be described in detail with reference to FIG.

まず,ステップS201では,イントラ予測モードを読み込む。次に,ステップS202では,イントラ予測モードを入力として,参照画素生成に必要な復号画素値を読み込む。ステップS203では,イントラ予測モードを入力として,同予測モードに用いる参照画素を生成するために小数画素位置の補間が必要かどうかを判定し,補間が必要な場合,ステップS205の処理に移動する。そうでなければ,ステップS204の処理に移動する。   First, in step S201, the intra prediction mode is read. Next, in step S202, the intra prediction mode is input, and a decoded pixel value necessary for reference pixel generation is read. In step S203, the intra prediction mode is input, and it is determined whether or not the interpolation of the decimal pixel position is necessary to generate the reference pixel used in the prediction mode. If the interpolation is necessary, the process proceeds to step S205. Otherwise, the process proceeds to step S204.

ステップS204では,イントラ予測モード,および,ステップS202で読み込んだ復号画素値を入力として,同復号画素値から,イントラ予測に必要な参照画素値を選択し,それをイントラ参照画素とする。   In step S204, the intra prediction mode and the decoded pixel value read in step S202 are input, a reference pixel value necessary for intra prediction is selected from the decoded pixel value, and is set as an intra reference pixel.

一方,小数画素位置の補間が必要な場合,ステップS205では,イントラ予測の対象となっているブロック(イントラ予測ブロック)のサイズを読み込む。H.264/AVCの場合,ブロックサイズとしては,4×4,8×8,16×16の三種類があるが,それ以上のブロックサイズがあってもよい。   On the other hand, if interpolation of decimal pixel positions is necessary, the size of the block (intra prediction block) that is the target of intra prediction is read in step S205. H. In the case of H.264 / AVC, there are three types of block sizes, 4 × 4, 8 × 8, and 16 × 16, but there may be block sizes larger than that.

ステップS206では,イントラ予測ブロックのサイズおよびイントラ予測モードを入力として,イントラ予測ブロックのサイズおよびイントラ予測モードに応じて,イントラ参照画素の生成に用いる補間フィルタを選択する。この補間フィルタの選択では,イントラ予測ブロックのサイズが小さい場合に比べて大きい場合のほうが長いタップ長の補間フィルタを選択する。   In step S206, the size of the intra prediction block and the intra prediction mode are input, and an interpolation filter used to generate the intra reference pixel is selected according to the size of the intra prediction block and the intra prediction mode. In this interpolation filter selection, an interpolation filter having a longer tap length is selected when the size of the intra prediction block is larger than when the size of the intra prediction block is small.

ステップS207では,イントラ予測モード,ステップS202で読み込んだ復号画素値,およびステップS206で選択された補間フィルタを入力として,補間フィルタを用いた補間処理により,イントラ予測に必要な参照画素値を生成する。   In step S207, the intra prediction mode, the decoded pixel value read in step S202, and the interpolation filter selected in step S206 are input, and a reference pixel value necessary for intra prediction is generated by interpolation processing using the interpolation filter. .

図7において従来技術と異なるのは,点線枠で示したステップS205,S206の部分であり,従来技術では,補間フィルタは,イントラ予測モードを入力として,単にイントラ予測モードに応じて,イントラ参照画素の生成に用いる補間フィルタを選択していた。本実施形態では,イントラ予測モードだけではなく,イントラ予測のブロックサイズを読み込み,イントラ予測ブロックのサイズおよびイントラ予測モードに応じて,イントラ参照画素の生成に用いる補間フィルタを選択する点が従来技術と異なる。   In FIG. 7, what is different from the prior art is steps S205 and S206 indicated by a dotted frame. In the prior art, the interpolation filter receives an intra prediction mode as an input, and simply receives an intra reference pixel according to the intra prediction mode. An interpolation filter to be used for the generation of was selected. In this embodiment, not only the intra prediction mode but also the intra prediction block size is read, and the interpolation filter used for generating the intra reference pixel is selected according to the size of the intra prediction block and the intra prediction mode. Different.

〔参照画素生成部の構成例2〕
図8は,図4に示すイントラ予測処理部における参照画素生成部302の第2の構成例を示している。参照画素生成部302は,図8に示すような構成によりイントラ参照画素生成処理を行うこともできる。
[Configuration Example 2 of Reference Pixel Generation Unit]
FIG. 8 illustrates a second configuration example of the reference pixel generation unit 302 in the intra prediction processing unit illustrated in FIG. The reference pixel generation unit 302 can also perform intra reference pixel generation processing with the configuration shown in FIG.

図8において,復号画素値記憶部511,復号画素値読込み部512,予測モード判定部513,参照画素値生成部517が行う処理は,図6で説明したものと同様である。   In FIG. 8, the processes performed by the decoded pixel value storage unit 511, the decoded pixel value reading unit 512, the prediction mode determination unit 513, and the reference pixel value generation unit 517 are the same as those described in FIG.

本実施形態の場合,量子化ステップサイズ記憶部514は,イントラ予測の対象となっているブロック(イントラ予測ブロック)の量子化に用いる量子化ステップサイズを示すパラメータ(QPパラメータと呼ぶ) を記憶する。   In the present embodiment, the quantization step size storage unit 514 stores a parameter (referred to as a QP parameter) indicating a quantization step size used for quantization of a block (intra prediction block) that is a target of intra prediction. .

量子化ステップサイズ読込み部515は,量子化ステップサイズ記憶部514で記憶したQPパラメータを読み込む。補間フィルタ選択部516は,QPパラメータおよびイントラ予測モードを入力として,QPパラメータおよびイントラ予測モードに応じて,イントラ参照画素の生成に用いる補間フィルタを選択する。特に,この補間フィルタの選択では,あらかじめ定められたQPパラメータとタップ長との対応情報に従って,QPパラメータが小さいほど,長いタップ長の補間フィルタを選択する。   The quantization step size reading unit 515 reads the QP parameter stored in the quantization step size storage unit 514. The interpolation filter selection unit 516 receives the QP parameter and the intra prediction mode, and selects an interpolation filter used for generating an intra reference pixel according to the QP parameter and the intra prediction mode. In particular, in this interpolation filter selection, an interpolation filter having a longer tap length is selected as the QP parameter is smaller in accordance with predetermined correspondence information between the QP parameter and the tap length.

〔イントラ参照画素生成処理(例2)のフロー〕
図9は,イントラ参照画素生成処理(例2)のフローチャートである。以下,図4に示す参照画素生成部302が実行するイントラ参照画素生成処理の第2の例を,図9に従って説明する。
[Flow of Intra Reference Pixel Generation Processing (Example 2)]
FIG. 9 is a flowchart of intra reference pixel generation processing (example 2). Hereinafter, a second example of the intra reference pixel generation process executed by the reference pixel generation unit 302 illustrated in FIG. 4 will be described with reference to FIG.

図9に示すステップS211〜S214,S217で行う処理は,図7で説明したステップS201〜S204,S207で行う処理と同様である。   The processes performed in steps S211 to S214 and S217 shown in FIG. 9 are the same as the processes performed in steps S201 to S204 and S207 described in FIG.

本実施形態の場合,ステップS215では,イントラ予測の対象となっているブロック(イントラ予測ブロック)の量子化に用いる量子化ステップサイズを示すパラメータ(QPパラメータと呼ぶ)を読み込む。   In the present embodiment, in step S215, a parameter (referred to as a QP parameter) indicating a quantization step size used for quantization of a block (intra prediction block) that is a target of intra prediction is read.

次に,ステップS216では,QPパラメータおよびイントラ予測モードを入力として,イントラ予測ブロックのサイズおよびイントラ予測モードに応じて,イントラ参照画素の生成に用いる補間フィルタを選択する。この補間フィルタの選択では,QPパラメータが大きい場合に比べて小さい場合のほうが長いタップ長の補間フィルタを選択する。   In step S216, the QP parameter and the intra prediction mode are input, and an interpolation filter used for generating an intra reference pixel is selected according to the size of the intra prediction block and the intra prediction mode. In this interpolation filter selection, an interpolation filter having a longer tap length is selected when the QP parameter is smaller than when the QP parameter is large.

以上,イントラ予測ブロックのサイズに応じて補間フィルタを選択する例と,量子化パラメータに応じて補間フィルタを選択する例について説明したが,これらの双方を考慮して,補間フィルタのタップ長を設定することもできる。例えば,イントラ予測ブロックの量子化パラメータの大きさが同じ場合,イントラ予測ブロックのサイズが大きいほど,タップ長の長い補間フィルタを設定する。また,イントラ予測ブロックのサイズが同じ場合,量子化パラメータが小さいほど,タップ長の長い補間フィルタを設定する。例えば,あらかじめ各イントラ予測ブロックのサイズと量子化パラメータ値との組み合わせに対して,どのタップ長のどのような補間フィルタを用いるかを示す対応情報を,イントラ予測モードごとにテーブル化して記憶しておき,このテーブルをもとに補間フィルタを選択することにより,適切な補間フィルタを適応的に選択する実施も可能である。   The example of selecting the interpolation filter according to the size of the intra prediction block and the example of selecting the interpolation filter according to the quantization parameter have been described above. The tap length of the interpolation filter is set in consideration of both of them. You can also For example, when the size of the quantization parameter of the intra prediction block is the same, an interpolation filter having a longer tap length is set as the size of the intra prediction block is larger. In addition, when the size of the intra prediction block is the same, an interpolation filter having a longer tap length is set as the quantization parameter is smaller. For example, correspondence information indicating which interpolation filter of which tap length is used for each combination of the size of each intra prediction block and the quantization parameter value is stored in a table for each intra prediction mode. It is also possible to adaptively select an appropriate interpolation filter by selecting an interpolation filter based on this table.

以上の動画像符号化,復号の処理は,コンピュータとソフトウェアプログラムとによっても実現することができ,そのプログラムをコンピュータ読み取り可能な記録媒体に記録することも,ネットワークを通して提供することも可能である。   The above moving image encoding and decoding processes can be realized by a computer and a software program, and the program can be recorded on a computer-readable recording medium or provided through a network.

図10に,動画像符号化装置をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成例を示す。本システムは,プログラムを実行するCPU700と,CPU700がアクセスするプログラムやデータが格納されるRAM等のメモリ701と,カメラ等からの符号化対象の映像信号を入力する映像信号入力部702(ディスク装置等による映像信号を記憶する記憶部でもよい)と,本発明の実施形態で説明した符号化処理をCPU700に実行させるソフトウェアプログラムである動画像符号化プログラム704が格納されたプログラム記憶装置703と,CPU700がメモリ701にロードされた動画像符号化プログラム704を実行することにより生成された符号化ストリームを,例えばネットワークを介して出力する符号化ストリーム出力部705(ディスク装置等による符号化ストリームを記憶する記憶部でもよい)とが,バスで接続された構成になっている。   FIG. 10 shows an example of a hardware configuration when the moving image encoding apparatus is configured by a computer and a software program. This system includes a CPU 700 that executes a program, a memory 701 such as a RAM that stores programs and data accessed by the CPU 700, and a video signal input unit 702 that inputs a video signal to be encoded from a camera or the like (disk device). And a storage unit 703 storing a video encoding program 704 that is a software program that causes the CPU 700 to execute the encoding process described in the embodiment of the present invention, The encoded stream generated by the CPU 700 executing the moving image encoding program 704 loaded in the memory 701 is output via, for example, the encoded stream output unit 705 (stores the encoded stream by the disk device or the like). May be a storage unit) In has become connected to each other.

図11に,動画像復号装置をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成例を示す。本システムは,プログラムを実行するCPU800と,CPU800がアクセスするプログラムやデータが格納されるRAM等のメモリ801と,動画像符号化装置が本手法により符号化した符号化ストリームを入力する符号化ストリーム入力部802(ディスク装置等による符号化ストリームを記憶する記憶部でもよい)と,本発明の実施形態で説明した復号処理をCPU800に実行させるソフトウェアプログラムである動画像復号プログラム804が格納されたプログラム記憶装置803と,CPU800がメモリ801にロードされた動画像復号プログラム804を実行することにより,符号化ストリームを復号して得られた復号映像を,再生装置などに出力する復号映像データ出力部805(ディスク装置等による復号映像データを記憶する記憶部でもよい)とが,バスで接続された構成になっている。   FIG. 11 shows an example of a hardware configuration when the moving image decoding apparatus is configured by a computer and a software program. This system includes a CPU 800 that executes a program, a memory 801 such as a RAM that stores programs and data accessed by the CPU 800, and an encoded stream that is input by an encoded stream encoded by the moving image encoding apparatus according to the present method. A program in which an input unit 802 (a storage unit that stores an encoded stream by a disk device or the like) and a moving image decoding program 804 that is a software program that causes the CPU 800 to execute the decoding processing described in the embodiment of the present invention are stored. A decoded video data output unit 805 that outputs the decoded video obtained by decoding the encoded stream by the storage device 803 and the moving picture decoding program 804 loaded into the memory 801 by the CPU 800 to a playback device or the like. (Decoded video data by disk device etc. It may also be) and a storage storing unit, but become connected to each other by a bus.

以上,図面を参照して本発明の実施形態を説明してきたが,上記実施形態は本発明の例示に過ぎず,本発明が上記実施形態に限定されるものではないことは明らかである。したがって,本発明の精神および技術的範囲を逸脱しない範囲での構成要素の追加,省略,置換,その他の変更を行ってもよい。   As mentioned above, although embodiment of this invention was described with reference to drawings, the said embodiment is only the illustration of this invention, and it is clear that this invention is not limited to the said embodiment. Accordingly, additions, omissions, substitutions, and other modifications of the components may be made without departing from the spirit and technical scope of the present invention.

100 動画像符号化装置
101,202 イントラ予測処理部
200 動画像復号装置
302 参照画素生成部
501,511 復号画素値記憶部
502,512 復号画素値読込み部
503,513 予測モード判定部
504 イントラ予測ブロックサイズ記憶部
505 イントラ予測ブロックサイズ読込み部
506,516 補間フィルタ選択部
507,517 参照画素値生成部
514 量子化ステップサイズ記憶部
515 量子化ステップサイズ読込み部
DESCRIPTION OF SYMBOLS 100 Moving image encoder 101,202 Intra prediction process part 200 Moving image decoder 302 Reference pixel production | generation part 501,511 Decoded pixel value memory | storage part 502,512 Decoded pixel value reading part 503,513 Prediction mode determination part 504 Intra prediction block Size storage unit 505 Intra prediction block size reading unit 506, 516 Interpolation filter selection unit 507, 517 Reference pixel value generation unit 514 Quantization step size storage unit 515 Quantization step size reading unit

Claims (8)

空間的な画素間予測を用いて予測信号を生成し,その予測信号と原信号との残差信号に対して非可逆符号化処理を適用する画像符号化方法において,
イントラ予測の参照画素に対して,イントラ予測ブロックのサイズもしくはイントラ予測ブロックの量子化パラメータのいずれか一方,またはその双方に基づき,該参照画素の生成に必要な補間フィルタのタップ長を設定するステップと,
設定されたタップ長の補間フィルタを用いて,参照画素を生成するフィルタ処理を行うステップと,
生成された参照画素を用いて,指定されたイントラ予測モードに対応するイントラ予測信号を生成するステップと,
生成されたイントラ予測信号と原信号との差分信号によりイントラ予測誤差信号を生成するステップと,
前記イントラ予測誤差信号を非可逆符号化処理の対象として符号化するステップとを有する
ことを特徴とする画像符号化方法。
In an image encoding method that generates a prediction signal using spatial inter-pixel prediction and applies a lossy encoding process to a residual signal between the prediction signal and an original signal,
A step of setting a tap length of an interpolation filter necessary for generating the reference pixel based on either or both of the size of the intra prediction block and the quantization parameter of the intra prediction block with respect to the reference pixel of the intra prediction When,
Performing a filtering process for generating a reference pixel using an interpolation filter having a set tap length;
Generating an intra prediction signal corresponding to a designated intra prediction mode using the generated reference pixels;
Generating an intra prediction error signal from a difference signal between the generated intra prediction signal and the original signal;
And a step of encoding the intra prediction error signal as a target of irreversible encoding processing.
請求項1記載の画像符号化方法において,
前記補間フィルタのタップ長を設定するステップでは,
前記イントラ予測ブロックのサイズが小さい場合に比べて大きい場合のほうが長いタップ長を設定,または前記イントラ予測ブロックの量子化パラメータで示される量子化ステップサイズが大きい場合に比べて小さい場合のほうが長いタップ長を設定する
ことを特徴とする画像符号化方法。
The image encoding method according to claim 1,
In the step of setting the tap length of the interpolation filter,
A longer tap length is set when the size of the intra prediction block is smaller than when the size of the intra prediction block is small, or a longer tap when the quantization step size indicated by the quantization parameter of the intra prediction block is large. An image encoding method characterized by setting a length.
空間的な画素間予測を用いて予測信号を生成し,その予測信号と原信号との残差信号を用いて画像復号する画像復号方法において,
入力した符号化ストリーム中のイントラ予測誤差信号,イントラ予測モードおよびイントラ予測ブロックのサイズを復号するステップと,
イントラ予測モードおよびイントラ予測ブロックのサイズに基づき,イントラ予測の参照画素を同定するステップと,
イントラ予測の参照画素に対して,イントラ予測ブロックのサイズもしくはイントラ予測ブロックの量子化パラメータのいずれか一方,またはその双方に基づき,該参照画素の生成に必要な補間フィルタのタップ長を設定するステップと,
設定されたタップ長の補間フィルタを用いて,参照画素を生成するフィルタ処理を行うステップと,
生成された参照画素を用いて,復号されたイントラ予測モードに対応するイントラ予測信号を生成するステップと,
生成されたイントラ予測信号と前記イントラ予測誤差信号とを用いて,復号対象領域の復号信号を生成するステップとを有する
ことを特徴とする画像復号方法。
In an image decoding method for generating a prediction signal using spatial inter-pixel prediction and performing image decoding using a residual signal between the prediction signal and an original signal,
Decoding an intra prediction error signal, an intra prediction mode, and an intra prediction block size in the input encoded stream;
Identifying a reference pixel for intra prediction based on the intra prediction mode and the size of the intra prediction block;
A step of setting a tap length of an interpolation filter necessary for generating the reference pixel based on either or both of the size of the intra prediction block and the quantization parameter of the intra prediction block with respect to the reference pixel of the intra prediction When,
Performing a filtering process for generating a reference pixel using an interpolation filter having a set tap length;
Generating an intra prediction signal corresponding to the decoded intra prediction mode using the generated reference pixel;
An image decoding method comprising: generating a decoded signal of a decoding target region using the generated intra prediction signal and the intra prediction error signal.
請求項3記載の画像復号方法において,
前記補間フィルタのタップ長を設定するステップでは,
前記イントラ予測ブロックのサイズが小さい場合に比べて大きい場合のほうが長いタップ長を設定,または前記イントラ予測ブロックの量子化パラメータで示される量子化ステップサイズが大きい場合に比べて小さい場合のほうが長いタップ長を設定する
ことを特徴とする画像復号方法。
The image decoding method according to claim 3, wherein
In the step of setting the tap length of the interpolation filter,
A longer tap length is set when the size of the intra prediction block is smaller than when the size of the intra prediction block is small, or a longer tap when the quantization step size indicated by the quantization parameter of the intra prediction block is large. An image decoding method characterized by setting a length.
空間的な画素間予測を用いて予測信号を生成し,その予測信号と原信号との残差信号に対して非可逆符号化処理を適用する画像符号化装置において,
イントラ予測の参照画素に対して,イントラ予測ブロックのサイズもしくはイントラ予測ブロックの量子化パラメータのいずれか一方,またはその双方に基づき,該参照画素の生成に必要な補間フィルタのタップ長を設定する手段と,
設定されたタップ長の補間フィルタを用いて,参照画素を生成するフィルタ処理を行う手段と,
生成された参照画素を用いて,指定されたイントラ予測モードに対応するイントラ予測信号を生成する手段と,
生成されたイントラ予測信号と原信号との差分信号によりイントラ予測誤差信号を生成する手段と,
前記イントラ予測誤差信号を非可逆符号化処理の対象として符号化する手段とを備える
ことを特徴とする画像符号化装置。
In an image encoding device that generates a prediction signal using spatial inter-pixel prediction and applies an irreversible encoding process to a residual signal between the prediction signal and an original signal,
Means for setting the tap length of the interpolation filter necessary for generating the reference pixel based on either or both of the size of the intra prediction block and the quantization parameter of the intra prediction block with respect to the reference pixel of the intra prediction When,
Means for performing a filter process for generating a reference pixel using an interpolation filter of a set tap length;
Means for generating an intra prediction signal corresponding to the designated intra prediction mode using the generated reference pixel;
Means for generating an intra prediction error signal from the difference signal between the generated intra prediction signal and the original signal;
An image encoding apparatus comprising: means for encoding the intra prediction error signal as a target of lossy encoding processing.
空間的な画素間予測を用いて予測信号を生成し,その予測信号と原信号との残差信号を用いて画像復号する画像復号装置において,
入力した符号化ストリーム中のイントラ予測誤差信号,イントラ予測モードおよびイントラ予測ブロックのサイズを復号する手段と,
イントラ予測モードおよびイントラ予測ブロックのサイズに基づき,イントラ予測の参照画素を同定する手段と,
イントラ予測の参照画素に対して,イントラ予測ブロックのサイズもしくはイントラ予測ブロックの量子化パラメータのいずれか一方,またはその双方に基づき,該参照画素の生成に必要な補間フィルタのタップ長を設定する手段と,
設定されたタップ長の補間フィルタを用いて,参照画素を生成するフィルタ処理を行う手段と,
生成された参照画素を用いて,復号されたイントラ予測モードに対応するイントラ予測信号を生成する手段と,
生成されたイントラ予測信号と前記イントラ予測誤差信号とを用いて,復号対象領域の復号信号を生成する手段とを備える
ことを特徴とする画像復号装置。
In an image decoding device that generates a prediction signal using spatial inter-pixel prediction and decodes an image using a residual signal between the prediction signal and an original signal,
Means for decoding the intra prediction error signal, the intra prediction mode, and the size of the intra prediction block in the input encoded stream;
Means for identifying reference pixels for intra prediction based on the intra prediction mode and the size of the intra prediction block;
Means for setting the tap length of the interpolation filter necessary for generating the reference pixel based on either or both of the size of the intra prediction block and the quantization parameter of the intra prediction block with respect to the reference pixel of the intra prediction When,
Means for performing a filter process for generating a reference pixel using an interpolation filter of a set tap length;
Means for generating an intra prediction signal corresponding to the decoded intra prediction mode using the generated reference pixel;
An image decoding apparatus comprising: means for generating a decoded signal of a decoding target region using the generated intra prediction signal and the intra prediction error signal.
請求項1または請求項2に記載の画像符号化方法をコンピュータに実行させるための画像符号化プログラム。   An image encoding program for causing a computer to execute the image encoding method according to claim 1. 請求項3または請求項4に記載の画像復号方法をコンピュータに実行させるための画像復号プログラム。   An image decoding program for causing a computer to execute the image decoding method according to claim 3 or 4.
JP2011228552A 2011-10-18 2011-10-18 Image coding method, image decoding method, image coder, image decoder, and program thereof Pending JP2013090120A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011228552A JP2013090120A (en) 2011-10-18 2011-10-18 Image coding method, image decoding method, image coder, image decoder, and program thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011228552A JP2013090120A (en) 2011-10-18 2011-10-18 Image coding method, image decoding method, image coder, image decoder, and program thereof

Publications (1)

Publication Number Publication Date
JP2013090120A true JP2013090120A (en) 2013-05-13

Family

ID=48533617

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011228552A Pending JP2013090120A (en) 2011-10-18 2011-10-18 Image coding method, image decoding method, image coder, image decoder, and program thereof

Country Status (1)

Country Link
JP (1) JP2013090120A (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019189904A1 (en) * 2018-03-30 2019-10-03 日本放送協会 Intra prediction device, image encoding device, image decoding device, and program
WO2020059341A1 (en) * 2018-09-21 2020-03-26 Kddi株式会社 Image decoding device, image encoding device, image processing system, and program
US10841593B2 (en) 2015-06-18 2020-11-17 Qualcomm Incorporated Intra prediction and intra mode coding
US11277644B2 (en) 2018-07-02 2022-03-15 Qualcomm Incorporated Combining mode dependent intra smoothing (MDIS) with intra interpolation filter switching
US11303885B2 (en) 2018-10-25 2022-04-12 Qualcomm Incorporated Wide-angle intra prediction smoothing and interpolation
US11463689B2 (en) 2015-06-18 2022-10-04 Qualcomm Incorporated Intra prediction and intra mode coding
JP7241680B2 (en) 2016-09-28 2023-03-17 クゥアルコム・インコーポレイテッド Improved Interpolation Filters for Intra Prediction in Video Coding

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10841593B2 (en) 2015-06-18 2020-11-17 Qualcomm Incorporated Intra prediction and intra mode coding
US11463689B2 (en) 2015-06-18 2022-10-04 Qualcomm Incorporated Intra prediction and intra mode coding
JP7241680B2 (en) 2016-09-28 2023-03-17 クゥアルコム・インコーポレイテッド Improved Interpolation Filters for Intra Prediction in Video Coding
WO2019189904A1 (en) * 2018-03-30 2019-10-03 日本放送協会 Intra prediction device, image encoding device, image decoding device, and program
CN112075080A (en) * 2018-03-30 2020-12-11 日本放送协会 Intra-frame prediction device, image encoding device, image decoding device, and program
US11277644B2 (en) 2018-07-02 2022-03-15 Qualcomm Incorporated Combining mode dependent intra smoothing (MDIS) with intra interpolation filter switching
WO2020059341A1 (en) * 2018-09-21 2020-03-26 Kddi株式会社 Image decoding device, image encoding device, image processing system, and program
JP2020053724A (en) * 2018-09-21 2020-04-02 Kddi株式会社 Image decoding device, image encoding device, image processing system, and program
US11303885B2 (en) 2018-10-25 2022-04-12 Qualcomm Incorporated Wide-angle intra prediction smoothing and interpolation

Similar Documents

Publication Publication Date Title
JP5711098B2 (en) Image encoding method, image decoding method, image encoding device, image decoding device, and programs thereof
JP7051773B2 (en) Intra prediction method and encoders and decoders using it
JP6660074B2 (en) Video decoding method and apparatus
TWI782904B (en) Merging filters for multiple classes of blocks for video coding
JP5750579B2 (en) Intra prediction mode decoding method and apparatus
KR101493193B1 (en) Flexible band offset mode in sample adaptive offset in hevc
JP5625124B2 (en) Extended intra predictive coding using planar representation
JP5728671B2 (en) Video decoding device
JP2013090120A (en) Image coding method, image decoding method, image coder, image decoder, and program thereof
JP2007013298A (en) Image coding apparatus
WO2020059341A1 (en) Image decoding device, image encoding device, image processing system, and program
CN113395520B (en) Decoding prediction method, device and computer storage medium
KR101475286B1 (en) Method and apparatus for intra prediction, and apparatus for processing picture
JP2010035025A (en) Encoding device and method therefor
WO2013145174A1 (en) Video encoding method, video decoding method, video encoding device, and video decoding device
JP5814191B2 (en) Deblocking processing method, deblocking processing apparatus, program, and recording medium
KR101802304B1 (en) Methods of encoding using hadamard transform and apparatuses using the same
JP2006191287A (en) Image coding device, image coding method and image coding program