JP2011188129A

JP2011188129A - Intra prediction apparatus, encoder, decoder, and program

Info

Publication number: JP2011188129A
Application number: JP2010049704A
Authority: JP
Inventors: Kazuhisa Iguchi; 和久井口; Shinichi Sakaida; 慎一境田; Yoshiaki Shishikui; 善明鹿喰; Atsuro Ichigaya; 敦郎市ヶ谷
Original assignee: Nippon Hoso Kyokai NHK; Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2010-03-05
Filing date: 2010-03-05
Publication date: 2011-09-22
Anticipated expiration: 2030-03-05
Also published as: JP5222870B2

Abstract

<P>PROBLEM TO BE SOLVED: To perform intra prediction in any arbitrary direction without limiting the direction of intra prediction and to reduce a bit rate by preventing the direction of intra prediction from being transmitted. <P>SOLUTION: An intra prediction apparatus includes: a prediction pixel value curved surface generating unit (12, 13) for generating a prediction pixel value curved surface for approximating a pixel value of a decoded reference block adjacent to a prediction block to be predicted; and a non-direction predicting unit (14) for producing a prediction image of the prediction block based on the prediction pixel value curved surface. <P>COPYRIGHT: (C)2011,JPO&INPIT

Description

本発明は、曲面を用いてイントラ予測を行うイントラ予測装置、符号化器、復号器及びプログラムに関する。 The present invention relates to an intra prediction device, an encoder, a decoder, and a program that perform intra prediction using a curved surface.

ＭＰＥＧ−４ＡＶＣ／Ｈ．２６４方式では、インター予測（画面間予測）を用いずに符号化される画素ブロックに対して、符号化済み隣接ブロックの画素値から予測画像を生成し、その予測画像との差分を符号化するイントラ予測符号化（画面内予測符号化）が採用されている。 MPEG-4 AVC / H. In the H.264 system, for a pixel block that is encoded without using inter prediction (inter-screen prediction), a prediction image is generated from the pixel values of the encoded adjacent blocks, and a difference from the prediction image is encoded. Intra-prediction coding (intra-screen prediction coding) is employed.

図１４に、従来のＭＰＥＧ−４ＡＶＣ／Ｈ．２６４方式における符号化器４のブロック図を示す。符号化器４は、並べ替え部２１と、減算部２２と、直交変換部２３と、量子化部２４と、可変長符号化部２５と、逆量子化部２６と、逆直交変換部２７と、切替えスイッチ２８と、イントラ予測部２９と、フレームメモリ３０と、動き補償予測部３１と、加算部３２とを備える。 FIG. 14 shows a conventional MPEG-4 AVC / H. The block diagram of the encoder 4 in a H.264 system is shown. The encoder 4 includes a rearrangement unit 21, a subtraction unit 22, an orthogonal transformation unit 23, a quantization unit 24, a variable length coding unit 25, an inverse quantization unit 26, and an inverse orthogonal transformation unit 27. A changeover switch 28, an intra prediction unit 29, a frame memory 30, a motion compensation prediction unit 31, and an addition unit 32.

並べ替え部２１は、入力された映像信号を一時的に蓄積し、フレーム画像の順番を並べ替え、符号化処理に必要なフレーム画像を減算部２２及び動き補償予測部３１に出力する。 The rearrangement unit 21 temporarily stores the input video signal, rearranges the order of the frame images, and outputs the frame image necessary for the encoding process to the subtraction unit 22 and the motion compensation prediction unit 31.

動き補償予測部３１は、並べ替え部２１から供給される入力画像に対して、フレームメモリ３０から取得する参照画像を用いて動きベクトル検出を行い、得られた動きベクトルを用いて動き補償を行い、その結果得られた予測画像を、切替えスイッチ２８を介して減算部２２及び加算部３２に出力する。動きベクトルの情報は、可変長符号化部２５に出力する。 The motion compensation prediction unit 31 performs motion vector detection on the input image supplied from the rearrangement unit 21 using a reference image acquired from the frame memory 30, and performs motion compensation using the obtained motion vector. Then, the predicted image obtained as a result is output to the subtraction unit 22 and the addition unit 32 via the changeover switch 28. The motion vector information is output to the variable length coding unit 25.

減算部２２は、並べ替え部２１からの入力画像と、動き補償予測部３１又はイントラ予測部２９からの予測画像との差分画像を生成して直交変換部２３に出力する。 The subtraction unit 22 generates a difference image between the input image from the rearrangement unit 21 and the prediction image from the motion compensation prediction unit 31 or the intra prediction unit 29 and outputs the difference image to the orthogonal transformation unit 23.

直交変換部２３は、減算部２２から供給される差分画像に対して小領域の画素ブロックごとに直交変換（例えば、ＤＣＴ；ＤｉｓｃｒｅｔｅＣｏｓｉｎｅＴｒａｎｓｆｏｒｍ）を施し、直交変換係数を量子化部２４に出力する。 The orthogonal transform unit 23 subjects the difference image supplied from the subtraction unit 22 to orthogonal transform (for example, DCT; Discrete Cosine Transform) for each pixel block in the small region, and outputs the orthogonal transform coefficient to the quantization unit 24. .

量子化部２４は、直交変換部２３から入力される直交変換係数に対して量子化テーブルを選択して量子化処理を行い、可変長符号化部２５及び逆量子化部２６に出力する。 The quantization unit 24 selects a quantization table for the orthogonal transform coefficient input from the orthogonal transform unit 23, performs quantization processing, and outputs the quantization table to the variable length coding unit 25 and the inverse quantization unit 26.

可変長符号化部２５は、量子化部２４から入力される量子化された直交変換係数についてスキャンを行って可変長符号化処理を施しビットストリームを生成するとともに、動き補償予測部３１から入力される動きベクトルの情報も可変長符号化を施して出力する。 The variable length encoding unit 25 scans the quantized orthogonal transform coefficient input from the quantization unit 24 and performs variable length encoding processing to generate a bitstream, and also receives the input from the motion compensation prediction unit 31. The motion vector information is also subjected to variable length coding and output.

逆量子化部２６は、量子化部２４から入力される量子化された直交変換係数について逆量子化処理を行って逆直交変換部２７に出力する。 The inverse quantization unit 26 performs an inverse quantization process on the quantized orthogonal transform coefficient input from the quantization unit 24 and outputs the result to the inverse orthogonal transform unit 27.

逆直交変換部２７は、逆量子化部２６から入力される直交変換係数に対して逆直交変換（例えば、ＩＤＣＴ；ＩｎｖｅｒｓｅＤｉｓｃｒｅｔｅＣｏｓｉｎｅＴｒａｎｓｆｏｒｍ）を施し、加算部３２に出力する。 The inverse orthogonal transform unit 27 performs inverse orthogonal transform (for example, IDCT; Inverse Discrete Cosine Transform) on the orthogonal transform coefficient input from the inverse quantization unit 26, and outputs the result to the addition unit 32.

加算部３２は、逆直交変換部２７から得られる逆直交変換した画像と、動き補償予測部３１又はイントラ予測部２９から得られる予測画像とを加算処理して復号画像を生成し、イントラ予測部２９及びフレームメモリ３０に出力する。 The addition unit 32 adds the image obtained by the inverse orthogonal transform obtained from the inverse orthogonal transform unit 27 and the prediction image obtained from the motion compensation prediction unit 31 or the intra prediction unit 29 to generate a decoded image, and generates an intra prediction unit. 29 and the frame memory 30.

切替えスイッチ２８は、動き補償予測とイントラ予測とを切替える。 The changeover switch 28 switches between motion compensation prediction and intra prediction.

イントラ予測部２９は、既符号化ブロックを復号した画像（加算部３２の出力画像）からイントラ予測した予測画像を生成して減算部２２及び加算部３２に出力する。ここで、減算部２２では、この予測画像と原画像との差分画像を直交変換部２３に出力し、量子化部２４及び可変長符号化部２５を経て符号化する。 The intra prediction unit 29 generates a predicted image that is intra-predicted from the image obtained by decoding the already-encoded block (the output image of the addition unit 32), and outputs the prediction image to the subtraction unit 22 and the addition unit 32. Here, the subtraction unit 22 outputs the difference image between the predicted image and the original image to the orthogonal transform unit 23 and encodes it via the quantization unit 24 and the variable length coding unit 25.

イントラ予測は、４画素×４ライン単位、８画素×８ライン単位、又は１６画素×１６ライン単位で行われ、複数種類の予測モード（予測方向）（例えば、４画素×４ライン単位の予測については９種類）の中から最適な予測方向を選択する。図１５は、４画素×４ライン単位で予測する場合の予測モードを示す図である。図中の斜線付の丸は復号済みの画素を示し、白丸は予測対象の画素を示し、矢印は予測方向を示している。（ａ）の予測モード０では垂直方向予測、（ｂ）の予測モード１では水平方向予測、（ｃ）の予測モード２ではＤＣ予測、（ｄ）の予測モード３では対角左下方向予測、（ｅ）の予測モード４では対角右下方向予測、（ｆ）の予測モード５では垂直右方向予測、（ｇ）の予測モード６では水平下方向予測、（ｈ）の予測モード７では垂直左方向予測、（ｉ）の予測モード８では水平上方向予測を行う。以上が、ＭＰＥＧ−４ＡＶＣ／Ｈ．２６４方式におけるイントラ予測の技法である。 Intra prediction is performed in units of 4 pixels × 4 lines, 8 pixels × 8 lines, or 16 pixels × 16 lines, and a plurality of types of prediction modes (prediction directions) (for example, prediction in units of 4 pixels × 4 lines). Selects the optimum prediction direction from among nine types. FIG. 15 is a diagram illustrating a prediction mode when prediction is performed in units of 4 pixels × 4 lines. In the figure, hatched circles indicate decoded pixels, white circles indicate pixels to be predicted, and arrows indicate prediction directions. (A) Prediction mode 0 is vertical direction prediction, (b) Prediction mode 1 is horizontal direction prediction, (c) Prediction mode 2 is DC prediction, (d) Prediction mode 3 is diagonal lower left direction prediction, ( e) Prediction mode 4 in diagonal lower right direction prediction, (f) prediction mode 5 in vertical right direction prediction, (g) prediction mode 6 in horizontal down direction prediction, and (h) prediction mode 7 in vertical left direction. In the prediction mode 8 of (i), horizontal upward prediction is performed. The above is MPEG-4 AVC / H. This is a technique of intra prediction in the H.264 system.

また、イントラ予測の精度を上げるために、空間的に離れた画素を参照するのではなく、常に隣接する画素を参照して隣接画素間の差分値を符号化する技法や（例えば、特許文献１参照）、予測ブロックに隣接する画素の値と該ブロックから１画素以上間をおいた画素の値とに基づいてイントラ予測を行う技法が知られている（例えば、特許文献２参照）。また、画素値が一定の変化傾向を持つ絵柄の映像に対する予測性能を向上させるために、イントラ符号化における予測値として、隣接する復号画像の周波数特性を考慮した値を生成する技法が知られている（例えば、特許文献３参照）。更に、動き補償予測でイントラ予測を行い、動きベクトルは伝送せずに、復号器側でも動きベクトル検出を行う技法が知られている（例えば、特許文献４参照）。 In addition, in order to increase the accuracy of intra prediction, a technique of encoding a difference value between adjacent pixels by always referring to adjacent pixels instead of referring to spatially separated pixels (for example, Patent Document 1). And a technique for performing intra prediction based on the value of a pixel adjacent to a prediction block and the value of a pixel that is at least one pixel from the block (see, for example, Patent Document 2). Also known is a technique for generating a value that takes into account the frequency characteristics of adjacent decoded images as a prediction value in intra coding in order to improve the prediction performance for a picture image whose pixel value has a certain change tendency. (For example, see Patent Document 3). Furthermore, a technique is known in which intra prediction is performed by motion compensation prediction, and a motion vector is detected on the decoder side without transmitting a motion vector (see, for example, Patent Document 4).

特開２００９―０４９９６９号公報JP 2009-049969 A 特開２００８−２７１３７１号公報JP 2008-271371 A 特開２００８−２４５０８８号公報JP 2008-245088 A 特開２００７−０４３６５１号公報JP 2007-036551 A

しかし、従来の方向性を持ったイントラ予測方法は、あらかじめ定められたパターンの中から選択していたため、対象とする画像によっては適切なイントラ予測方向が選択できないという問題があった。また、イントラ予測の方向を伝送する必要があるため、伝送情報量が増大するという問題があった。更に、動き補償予測によりイントラ予測を行うと、復号器に膨大な演算を必要とするという問題があった。 However, since the conventional intra prediction method having directionality is selected from predetermined patterns, there is a problem that an appropriate intra prediction direction cannot be selected depending on the target image. In addition, since it is necessary to transmit the direction of intra prediction, there is a problem that the amount of transmission information increases. Furthermore, when intra prediction is performed by motion compensation prediction, there is a problem that a huge amount of computation is required for the decoder.

本発明の目的は、上記問題を解決するため、イントラ予測の方向をあらかじめ定められたパターンに限定せず、任意の方向のイントラ予測を可能とし、イントラ予測の方向を伝送しないことでビットレートを削減し、更に、膨大な演算を必要としないイントラ予測装置、符号化器、復号器及びプログラムを提供することにある。 In order to solve the above problem, the object of the present invention is not to limit the direction of intra prediction to a predetermined pattern, but enables intra prediction in an arbitrary direction, and does not transmit the direction of intra prediction, thereby reducing the bit rate. Another object of the present invention is to provide an intra prediction device, an encoder, a decoder, and a program that are reduced and do not require enormous operations.

上記課題を解決するため、本発明は、イントラ予測を行うブロックの画素値を曲面で表現する。この曲面を復号済みの画素から求める。 In order to solve the above-described problems, the present invention expresses the pixel value of a block for performing intra prediction with a curved surface. This curved surface is obtained from decoded pixels.

すなわち、本発明に係るイントラ予測装置は、予測の対象である予測ブロックに隣接する復号済みの参照ブロックの画像から、該予測ブロックの画像を予測画像として生成するイントラ予測装置であって、参照ブロックに含まれる画素を選定し、該画素の画素値を近似する予測画素値曲面を生成する予測画素値曲面生成手段と、前記予測画素値曲面に基づいて予測ブロックの予測画像を生成する無方向予測手段とを備えることを特徴とする。 That is, an intra prediction apparatus according to the present invention is an intra prediction apparatus that generates an image of a prediction block as a prediction image from an image of a decoded reference block adjacent to a prediction block that is a prediction target. A prediction pixel value curved surface generation unit that selects a pixel included in the pixel and generates a prediction pixel value curved surface that approximates the pixel value of the pixel; and non-directional prediction that generates a prediction image of a prediction block based on the prediction pixel value curved surface Means.

また、本発明に係るイントラ予測装置において、前記予測画素値曲面生成手段は、前記参照ブロックの画素値との差を示す指標が最小となる曲面を前記予測画素値曲面とし、該予測画素値曲面の係数を求める係数最適化手段を有することを特徴とする。 Further, in the intra prediction apparatus according to the present invention, the predicted pixel value curved surface generating means sets a curved surface having a minimum index indicating a difference from the pixel value of the reference block as the predicted pixel value curved surface, and the predicted pixel value curved surface. And a coefficient optimizing means for obtaining the coefficient.

また、本発明に係るイントラ予測装置において、前記係数最適化手段は、前記差を示す指標を、前記予測画素値曲面の値と前記参照ブロックの画素値との差の二乗和を最小とすることを特徴とする。 In the intra prediction apparatus according to the present invention, the coefficient optimizing unit may minimize the sum of squares of differences between the predicted pixel value curved surface value and the reference block pixel value as an index indicating the difference. It is characterized by.

また、本発明に係るイントラ予測装置において、前記係数最適化手段は、前記差を示す指標を求める際に、参照ブロック内の画素と予測ブロックとの距離に応じて重み付けすることを特徴とする。 In the intra prediction apparatus according to the present invention, the coefficient optimizing unit performs weighting according to the distance between the pixel in the reference block and the prediction block when obtaining the index indicating the difference.

また、本発明に係るイントラ予測装置において、前記重みは、前記参照ブロック内の画素と予測ブロックとの距離が大きくなるほど、小さな値とすることを特徴とする。 In the intra prediction apparatus according to the present invention, the weight is set to a smaller value as the distance between the pixel in the reference block and the predicted block increases.

また、本発明に係るイントラ予測装置において、前記無方向予測手段は、前記予測画素値曲面を表す式に予測ブロックの座標を代入して予測ブロックの予測画像を生成することを特徴とする。 In the intra prediction apparatus according to the present invention, the non-directional prediction means generates a prediction image of a prediction block by substituting the coordinates of the prediction block into an expression representing the prediction pixel value curved surface.

また、本発明に係るイントラ予測装置は、前記差を示す指標が所定の値を超えるか否かを判定する判定手段と、前記参照ブロックの画像から予測画像を生成する画面内予測手段と、前記指標が前記所定の値以下である場合には、前記無方向予測手段により生成した予測画像を出力し、前記指標が前記所定の値を超える場合には、前記画面内予測手段により生成した予測画像を出力する切替え手段と、を更に備えることを特徴とする。 The intra prediction apparatus according to the present invention includes a determination unit that determines whether or not the index indicating the difference exceeds a predetermined value, an intra-screen prediction unit that generates a predicted image from the image of the reference block, When the index is less than or equal to the predetermined value, the prediction image generated by the non-directional prediction unit is output, and when the index exceeds the predetermined value, the prediction image generated by the intra-screen prediction unit And switching means for outputting.

また、本発明に係るイントラ予測装置において、前記画面内予測手段は、前記参照ブロックの画像から予測方向を選択して予測画像を生成することを特徴とする。 In the intra prediction apparatus according to the present invention, the intra-screen prediction means generates a predicted image by selecting a prediction direction from the image of the reference block.

また、本発明に係るイントラ予測装置において、前記予測画素値曲面は、平面を含むことを特徴とする。 In the intra prediction apparatus according to the present invention, the predicted pixel value curved surface includes a plane.

また、本発明に係るイントラ予測装置は、参照ブロックの画像の高周波成分を除去するフィルタ手段を更に備えることを特徴とする。 In addition, the intra prediction apparatus according to the present invention further includes a filter unit that removes a high-frequency component of the image of the reference block.

また、本発明に係るイントラ予測装置において、前記予測画素値曲面生成手段は、複数の処理モードを有し、処理モードごとに、前記参照ブロックに含まれる画素の選定、前記予測画素値曲面を表す式、前記予測画素値曲面の係数の導出方法が異なり、前記無方向予測手段は、前記処理モードごとに予測画像を生成し、前記処理モードごとに生成した予測画像の中から最適な予測画像を判定して出力する処理モード判定手段を更に備えることを特徴とする。 In the intra prediction apparatus according to the present invention, the prediction pixel value curved surface generation unit has a plurality of processing modes, and selects a pixel included in the reference block and represents the prediction pixel value curved surface for each processing mode. The derivation method of the coefficient of the prediction pixel value curved surface is different, and the non-directional prediction means generates a prediction image for each processing mode, and selects an optimal prediction image from the prediction images generated for each processing mode. It further comprises processing mode determination means for determining and outputting.

更に、本発明に係る符号化器は、上述したイントラ予測装置を備えることを特徴とする。 Furthermore, an encoder according to the present invention includes the intra prediction apparatus described above.

更に、本発明に係る復号器は、上述したイントラ予測装置を備えることを特徴とする。 Furthermore, a decoder according to the present invention includes the above-described intra prediction device.

更に、本発明は、予測の対象である予測ブロックに隣接する復号済みの参照ブロックの画像から、該予測ブロックの画像を予測画像として生成するイントラ予測装置を構成するコンピュータに、（ａ）参照ブロックに含まれる画素を選定し、該画素の画素値を近似する予測画素値曲面を生成するステップと、（ｂ）前記予測画素値曲面に基づいて予測ブロックの予測画像を生成するステップとを実行させるためのプログラムとしても特徴付けられる。 Furthermore, the present invention provides (a) a reference block to a computer constituting an intra prediction apparatus that generates an image of a prediction block as a prediction image from an image of a decoded reference block adjacent to a prediction block to be predicted. And a step of generating a prediction pixel value curved surface approximating the pixel value of the pixel and (b) generating a prediction image of a prediction block based on the prediction pixel value curved surface are executed. It is also characterized as a program for.

本発明によれば、イントラ予測の方向が限定されないため、様々な画像に対して適したイントラ予測が可能となる。また、予測画素値を計算により求めるため、イントラ予測の方向を伝送しなくて済むようになる。また、少ない演算量で予測画素値を求めることができる。 According to the present invention, since the direction of intra prediction is not limited, intra prediction suitable for various images can be performed. Further, since the predicted pixel value is obtained by calculation, it is not necessary to transmit the direction of intra prediction. Further, the predicted pixel value can be obtained with a small amount of calculation.

本発明によるイントラ予測を行う画像ブロックを例示する図である。It is a figure which illustrates the image block which performs intra prediction by this invention. 本発明による予測画素値曲面を例示する図である。It is a figure which illustrates the prediction pixel value curved surface by this invention. 本発明による実施例１のイントラ予測装置の構成図である。It is a block diagram of the intra prediction apparatus of Example 1 by this invention. 本発明による実施例１のイントラ予測装置の構成図である。It is a block diagram of the intra prediction apparatus of Example 1 by this invention. 本発明による予測画素値曲面を求める際に参照する画像ブロックを例示する図である。It is a figure which illustrates the image block referred when calculating | requiring the prediction pixel value curved surface by this invention. 本発明による実施例１のイントラ予測装置の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the intra prediction apparatus of Example 1 by this invention. 本発明による実施例１のイントラ予測装置を備える符号化器の構成図である。It is a block diagram of an encoder provided with the intra prediction apparatus of Example 1 by this invention. 本発明による実施例１のイントラ予測装置を備える復号器の構成図である。It is a block diagram of a decoder provided with the intra prediction apparatus of Example 1 by this invention. 本発明による実施例２のイントラ予測装置の構成図である。It is a block diagram of the intra prediction apparatus of Example 2 by this invention. 本発明による実施例２のイントラ予測装置の第１の変形例の構成図である。It is a block diagram of the 1st modification of the intra prediction apparatus of Example 2 by this invention. 本発明による実施例２のイントラ予測装置の第２の変形例の構成図である。It is a block diagram of the 2nd modification of the intra prediction apparatus of Example 2 by this invention. 本発明による実施例２のイントラ予測装置の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the intra prediction apparatus of Example 2 by this invention. 本発明による実施例３のイントラ予測装置の構成図である。It is a block diagram of the intra prediction apparatus of Example 3 by this invention. 従来のＭＰＥＧ−４ＡＶＣ／Ｈ．２６４方式における符号化器のブロック図を示す図である。Conventional MPEG-4 AVC / H. 2 is a block diagram of an encoder in the H.264 scheme. FIG. 従来のＭＰＥＧ−４ＡＶＣ／Ｈ．２６４方式における４画素×４ライン単位で予測する場合の予測モードを示す図である。Conventional MPEG-4 AVC / H. It is a figure which shows the prediction mode in the case of estimating by 4 pixel x4 line unit in a H.264 system.

本発明による実施例１のイントラ予測装置について、図面を参照して説明する。 The intra prediction apparatus of Example 1 by this invention is demonstrated with reference to drawings.

図１は、本発明によるイントラ予測を行う画像ブロックを例示する図である。画像ブロックＭは、イントラ予測の対象となる画像ブロック（以下、「予測ブロック」という）である。画像ブロックＡ，Ｂ，Ｃ，Ｄは、符号化された後に復号された画像ブロックであり、予測ブロックの画素値を予測するために参照される画像ブロック（以下、「参照ブロック」という）である。各画像ブロックのサイズは、例えば、４画素×４ライン単位、８画素×８ライン単位、又は１６画素×１６ラインとする。 FIG. 1 is a diagram illustrating an image block for performing intra prediction according to the present invention. The image block M is an image block (hereinafter referred to as “prediction block”) that is a target of intra prediction. Image blocks A, B, C, and D are image blocks that have been encoded and then decoded, and are image blocks that are referred to in order to predict pixel values of a prediction block (hereinafter referred to as “reference blocks”). . The size of each image block is, for example, 4 pixels × 4 lines, 8 pixels × 8 lines, or 16 pixels × 16 lines.

図２は、本発明による実施例１の予測画素値曲面を示す図である。Ｘ軸とＹ軸は画素の原点からの距離を示し、Ｚ軸は画素値（例えば、８ビットの場合は０〜２５５の値）を示す。予測画素値曲面Ｗは、参照ブロックの画素値を近似する曲面である。予測画素値曲面Ｗ上の曲面ｗは予測ブロックＭの予測画素値からなる曲面である。予測画素値曲面Ｗにより、座標（ｘ，ｙ）の位置にある予測ブロックの画素値を予測することができる。本発明では、従来の技法のように予測方向を選択してイントラ予測を行うのではなく、予測画素値曲面Ｗを用いてイントラ予測を行う。予測画素値曲面Ｗは、参照ブロックの画素値との差を示す指標が小さくなるように生成される。ここで、差を示す指標とは、分散、差の絶対値和、差の絶対値の最小値、差の二乗和、又は差の絶対値の積や、更にこれらの画素あたりの平均値など、種々の方法によって定まる差の値の総称である。また、以下の説明における「差」という用語は、差の指標を意味するものとする。なお、予測画素値曲面Ｗは、平面である場合も含むものとする。 FIG. 2 is a diagram illustrating a predicted pixel value curved surface according to the first embodiment of the present invention. The X axis and the Y axis indicate the distance from the pixel origin, and the Z axis indicates the pixel value (for example, a value of 0 to 255 in the case of 8 bits). The predicted pixel value curved surface W is a curved surface that approximates the pixel value of the reference block. The curved surface w on the predicted pixel value curved surface W is a curved surface composed of the predicted pixel values of the predicted block M. With the prediction pixel value curved surface W, the pixel value of the prediction block at the position of the coordinates (x, y) can be predicted. In the present invention, the intra prediction is performed using the prediction pixel value curved surface W, instead of performing the intra prediction by selecting the prediction direction as in the conventional technique. The predicted pixel value curved surface W is generated so that an index indicating a difference from the pixel value of the reference block is small. Here, the index indicating the difference is the variance, the sum of the absolute value of the difference, the minimum value of the absolute value of the difference, the sum of squares of the difference, the product of the absolute value of the difference, and the average value per pixel, etc. It is a generic term for difference values determined by various methods. The term “difference” in the following description means an index of difference. Note that the predicted pixel value curved surface W includes a case where it is a plane.

以下の説明では、予測画素値曲面Ｗの一例として、ｚ＝ａｘ＋ｂｙ＋ｃで表される平面を用いる。予測画素値曲面Ｗ＝ａｘ＋ｂｙ＋ｃの各係数ａ，ｂ，ｃは、参照ブロックＡ〜Ｄに含まれる全画素又は一部の画素を選定し、該画素を用いて推定（導出）する。この推定には、例えば、最小二乗法、線型計画法、ニューラルネットワークを用いた学習法等の最適化手段を利用することができる。以下に、最小二乗法により係数を導出する例を示す。 In the following description, as an example of the predicted pixel value curved surface W, a plane represented by z = ax + by + c is used. The coefficients a, b, and c of the predicted pixel value curved surface W = ax + by + c are estimated (derived) by selecting all or some of the pixels included in the reference blocks A to D and using the pixels. For this estimation, for example, an optimization means such as a least square method, a linear programming method, or a learning method using a neural network can be used. An example in which the coefficient is derived by the least square method is shown below.

参照ブロックＡ〜Ｄに含まれる画素の座標（ｘ_ｉ，ｙ_ｉ）における画素値をｚ_ｉとする。ここで、ｉ＝１〜Ｎであり、Ｎは参照ブロックのうち、Ａ〜Ｄに含まれる全画素数である。ｚ_ｉが予測画素値曲面Ｗ＝ａｘ＋ｂｙ＋ｃに対して誤差ｐ_ｉを含むとすると、ｐ_ｉ＝ｚ_ｉ−（ａｘ_ｉ＋ｂｙ_ｉ＋ｃ）と表される。このとき、誤差の二乗和を最小化する係数ａ，ｂ，ｃの値を導出することで、予測画素値曲面Ｗが求まる。誤差の二乗和は式（１）で表される。 Let z _i be the pixel value at the coordinates (x _i , y _i ) of the pixels included in the reference blocks A to D. Here, i = 1 to N, and N is the total number of pixels included in A to D in the reference block. Assuming that z _i includes an error p _i with respect to the predicted pixel value curved surface W = ax + by + c, p _i = z _i − (ax _i + by _i + c). At this time, the predicted pixel value curved surface W is obtained by deriving the values of the coefficients a, b, and c that minimize the square sum of errors. The sum of squared errors is expressed by equation (1).

式（１）は、係数ａ，ｂ，ｃの二次式なので、係数ａ，ｂ，ｃそれぞれで偏微分した結果を０とする式（２）の連立一次方程式を解けば、誤差の二乗和を最小とする係数ａ，ｂ，ｃが求まる。

Since the equation (1) is a quadratic equation of the coefficients a, b, and c, if the simultaneous linear equations of the equation (2) in which the result of partial differentiation with respect to each of the coefficients a, b, and c is solved, the square sum of errors The coefficients a, b, and c that minimize the value are obtained.

このようにして求めた係数ａ，ｂ，ｃを代入した予測画素値曲面Ｗにより、予測ブロックＭ内の各画素位置における予測画素値を求め、四捨五入等の整数化処理、及び画素値のクリップ（例えば、対象とする画素が８ビットの場合は画素値を０〜２５５の値に制限すること）を行い、予測ブロックＭのイントラ予測値とする。 The prediction pixel value curved surface W into which the coefficients a, b, and c thus obtained are substituted is used to obtain a prediction pixel value at each pixel position in the prediction block M, and an integerization process such as rounding off and clipping of pixel values ( For example, when the target pixel is 8 bits, the pixel value is limited to a value of 0 to 255), and the intra prediction value of the prediction block M is obtained.

図３は、本発明による実施例１のイントラ予測装置１の構成図である。実施例１のイントラ予測装置１は、参照画素値積算部１２と、係数最適化部１３と、無方向予測部１４とを備える。 FIG. 3 is a configuration diagram of the intra prediction apparatus 1 according to the first embodiment of the present invention. The intra prediction apparatus 1 according to the first embodiment includes a reference pixel value integration unit 12, a coefficient optimization unit 13, and a non-directional prediction unit 14.

参照画素値積算部１２は、入力される参照ブロックＡ〜Ｄの復号画像のうち、予測画素値曲面Ｗを生成するために必要となる画素を選定し、式（２）における積算処理、すなわち、Σｚ_ｉやΣｚ_ｉｘ_ｉなどの計算を行い、積算値を係数最適化部１３に出力する。 The reference pixel value accumulating unit 12 selects a pixel necessary for generating the predicted pixel value curved surface W from the input decoded images of the reference blocks A to D, and performs an accumulation process in Expression (2), that is, Calculations such as Σz _i and Σz _i x _i are performed, and the integrated value is output to the coefficient optimization unit 13.

係数最適化部１３は、参照画素値積算部１２から入力される積算値を用いて式（２）を解き、係数ａ，ｂ，ｃを導出し、無方向予測部１４に出力する。 The coefficient optimizing unit 13 solves the equation (2) using the integrated value input from the reference pixel value integrating unit 12, derives coefficients a, b, and c, and outputs them to the non-directional predicting unit 14.

無方向予測部１４は、係数最適化部１３から入力される係数を用いて予測画素値曲面Ｗ＝ａｘ＋ｂｙ＋ｃを規定し、これに予測ブロックＭの画素の座標（ｘ，ｙ）を代入して予測画素値ｚの値を求める。その後、整数化やクリップなどの処理を行い、処理後の予測画像を出力する。 The non-directional prediction unit 14 defines the prediction pixel value curved surface W = ax + by + c using the coefficient input from the coefficient optimization unit 13, and substitutes the coordinates (x, y) of the pixel of the prediction block M for prediction. The pixel value z is obtained. Thereafter, processing such as integerization and clipping is performed, and a predicted image after processing is output.

なお、予測ブロックの位置によっては、予測画素値曲面Ｗが求まらない場合がある。例えば、参照画素数が３未満の場合や、参照画素が同一直線上に存在する場合では、予測画素値曲面Ｗ＝ａｘ＋ｂｙ＋ｃを決定することができない。そのような場合は、あらかじめ定めておいた曲面を利用して予測画素値を求めたり、あらかじめ定めておいた値を予測画素値とするなど、あらかじめ動作を規定しておけばよい。 Note that the prediction pixel value curved surface W may not be obtained depending on the position of the prediction block. For example, when the number of reference pixels is less than 3 or when the reference pixels are on the same straight line, the predicted pixel value curved surface W = ax + by + c cannot be determined. In such a case, the operation may be defined in advance, such as obtaining a predicted pixel value using a predetermined curved surface, or using a predetermined value as the predicted pixel value.

また、イントラ予測装置１は、更にノイズ低減手段を設けることも可能である。ノイズ低減手段としては、例えば、ＬＰＦ（ＬｏｗＰａｓｓＦｉｌｔｅｒ）やメディアンフィルタを用いることができる。図４は、ノイズ低減手段としてＬＰＦ１１を備えるイントラ予測装置１の構成図である。ＬＰＦ１１は、入力される参照ブロックの復号画像をフィルタ処理して高周波成分（ノイズ）を除去し、参照画素値積算部１２に出力する。ＬＰＦ１１を備えることで、参照ブロックの復号画像を平滑化してノイズの影響を減らせるので、予測画素値曲面Ｗをより適した曲面とすることができる。 In addition, the intra prediction apparatus 1 can further include noise reduction means. As the noise reduction means, for example, an LPF (Low Pass Filter) or a median filter can be used. FIG. 4 is a configuration diagram of the intra prediction apparatus 1 including the LPF 11 as noise reduction means. The LPF 11 filters the input decoded image of the reference block to remove high frequency components (noise), and outputs it to the reference pixel value integrating unit 12. By including the LPF 11, the decoded image of the reference block can be smoothed to reduce the influence of noise, so that the predicted pixel value curved surface W can be made a more suitable curved surface.

予測画素値曲面Ｗは局所的には原画素値に適合するが、広い範囲では原画素値との誤差が大きくなると考えられる。つまり、参照する画素が予測ブロックＭから離れるほど、予測画素値曲面との誤差が大きくなることが予想される。そこで、予測の際に、参照ブロックＡ〜Ｄに含まれる画素と、予測ブロックＭとの距離に応じた重みｋ_ｉを誤差に導入して、重み付き誤差ｐ_ｉ´＝ｋ_ｉ｛ｚ_ｉ−（ａｘ_ｉ＋ｂｙ_ｉ＋ｃ）｝とし、重み付き誤差ｐ_ｉ´の二乗和を最小化する係数ａ，ｂ，ｃの値を導出することで予測画素値曲面Ｗを求めてもよい。この場合、重みｋ_ｉは、予測ブロックＭとの距離が大きいほど小さな値とする。 Although the predicted pixel value curved surface W is locally adapted to the original pixel value, it is considered that an error from the original pixel value increases in a wide range. That is, it is expected that the error from the prediction pixel value curved surface increases as the pixel to be referred to is separated from the prediction block M. Therefore, when the prediction, the pixels included in the reference block to D, by introducing the weight k _i according to the distance between the predicted block M in error, weighted error _{_{p i '= k i {z}} i - The prediction pixel value curved surface W may be obtained by deriving the values of coefficients a, b, and c that minimize the sum of squares of the weighted error p _i ′, where (ax _i + by _i + c)}. In this case, the weight k _i is set to a smaller value as the distance from the prediction block M is larger.

なお、上記説明では、参照ブロックＡ〜Ｄに含まれる全画素を用いて予測画素値曲面Ｗを求めたが、復号済みの画像であれば、参照する画素は参照ブロックＡ〜Ｄの画像には限定されない。例えば、参照ブロックＡ〜Ｄ以外の画素をさらに参照することや、参照ブロックＡ〜Ｄのうちの１つのブロックのみ、あるいは２つ又は３つのブロックのみを参照することも可能である。また、図５（ａ）〜（ｄ）の斜線部で示すように、参照ブロックＡ〜Ｄのうちの一部の画素のみを参照することも可能である。一部の画素のみを参照する場合には、予測ブロックＭより少ない画素数であっても良いし、従来のＭＰＥＧ−４ＡＶＣ／Ｈ．２６４方式のイントラ予測と同じ参照画素でも良い。なお、図５（ｂ）〜（ｄ）に示すように、参照ブロックの左側と上側で参照する画素数は非対称であっても良い。さらに、予測ブロックを更に複数の小ブロックに区切り、小ブロック単位で符号化を行うことも考えられる。例えば、図５（ｅ）に示すように、予測ブロックＭ内の小ブロックＥが既に復号済みである場合には、予測ブロックＭ中の小ブロックＥ以外の領域を予測する際に、小ブロックＥの画素値を参照することもできる。このように、予測画素値曲面Ｗを求める際に参照する画素は、復号済みの画素であれば、その位置や画素数にはさまざまな組合せが可能である。本明細書では説明を容易にするため、参照ブロックＡ〜Ｄを参照画素の例として用いる。 In the above description, the predicted pixel value curved surface W is obtained using all the pixels included in the reference blocks A to D. However, if the image is a decoded image, the pixel to be referred to is the image of the reference block A to D. It is not limited. For example, it is possible to further refer to pixels other than the reference blocks A to D, to refer to only one block of the reference blocks A to D, or to only two or three blocks. Further, as shown by the hatched portions in FIGS. 5A to 5D, it is possible to refer to only some of the pixels in the reference blocks A to D. When referring to only some of the pixels, the number of pixels may be smaller than that of the prediction block M, and the conventional MPEG-4 AVC / H. The same reference pixels as in the H.264 intra prediction may be used. As shown in FIGS. 5B to 5D, the number of pixels referred to on the left side and the upper side of the reference block may be asymmetric. Furthermore, it is conceivable that the prediction block is further divided into a plurality of small blocks and encoding is performed in units of small blocks. For example, as illustrated in FIG. 5E, when the small block E in the prediction block M has already been decoded, the small block E is predicted when the region other than the small block E in the prediction block M is predicted. It is also possible to refer to the pixel value. Thus, if the pixel referred to when obtaining the predicted pixel value curved surface W is a decoded pixel, various combinations of the position and the number of pixels are possible. In this specification, for ease of explanation, reference blocks A to D are used as examples of reference pixels.

次に、実施例１のイントラ予測装置１の動作について、図６を参照して説明する。 Next, operation | movement of the intra prediction apparatus 1 of Example 1 is demonstrated with reference to FIG.

［実施例１のイントラ予測装置１の動作］
図６は、実施例１のイントラ予測装置１の動作を示すフローチャートである。まず、ステップＳ１０１にて、ＬＰＦ１１により、参照ブロックの復号画像をフィルタ処理する。なお、ステップＳ１０１は高周波成分（ノイズ）を多く含む画像に対して本発明のイントラ予測性能をより向上する効果があるが、必須のステップではない。 [Operation of Intra Prediction Device 1 of First Embodiment]
FIG. 6 is a flowchart illustrating the operation of the intra prediction apparatus 1 according to the first embodiment. First, in step S101, the decoded image of the reference block is filtered by the LPF 11. Note that step S101 has an effect of further improving the intra prediction performance of the present invention for an image including a lot of high-frequency components (noise), but is not an essential step.

ステップＳ１０２にて、参照画素値積算部１２及び係数最適化部１３により、参照ブロックを用いて予測画素値曲面Ｗの係数を導出する。なお、予測画素値曲面Ｗをどのような曲面又は平面とするかにより、係数を導出するための計算式は異なる。 In step S102, the reference pixel value integrating unit 12 and the coefficient optimizing unit 13 derive a coefficient of the predicted pixel value curved surface W using the reference block. Note that the calculation formula for deriving the coefficient differs depending on what kind of curved surface or plane the predicted pixel value curved surface W is.

ステップＳ１０３にて、無方向予測部１４により、予測ブロックＭの予測画像を生成する。 In step S103, the non-direction prediction unit 14 generates a prediction image of the prediction block M.

次に、本発明による符号化器及び復号器について、図７及び図８を参照して説明する。 Next, an encoder and a decoder according to the present invention will be described with reference to FIGS.

［符号化器及び復号器］
図７は、本発明による実施例１のイントラ予測装置１を備える符号化器の構成図である。符号器２は、従来のＭＰＥＧ−４ＡＶＣ／Ｈ．２６４方式の符号器（図１４参照）におけるイントラ予測部に代えて、本発明による実施例１のイントラ予測装置１を備える。イントラ予測装置１は、逆量子化部２６及び逆直交変換部２７を経て既符号化ブロックを復号した画像を入力し、上述したようにＬＰＦ１１、参照画素値積算部１２、係数最適化部１３、無方向予測部１４を経て生成した予測画像を、切替えスイッチ２８を介して減算部２２及び加算部３２に出力する。なお、前記のようにＬＰＦ１１は必須ではない。 [Encoder and decoder]
FIG. 7 is a configuration diagram of an encoder including the intra prediction device 1 according to the first embodiment of the present invention. The encoder 2 is a conventional MPEG-4 AVC / H. The intra prediction apparatus 1 according to the first embodiment of the present invention is provided instead of the intra prediction unit in the H.264 encoder (see FIG. 14). The intra prediction apparatus 1 inputs an image obtained by decoding an already-encoded block via the inverse quantization unit 26 and the inverse orthogonal transform unit 27, and as described above, the LPF 11, the reference pixel value integration unit 12, the coefficient optimization unit 13, The prediction image generated through the non-directional prediction unit 14 is output to the subtraction unit 22 and the addition unit 32 via the changeover switch 28. As described above, the LPF 11 is not essential.

図８は、本発明による実施例１のイントラ予測装置１を備える復号器の構成図である。復号器３は、可変長復号部４１と、逆量子化部４２と、逆直交変換部４３と、加算部４４と、イントラ予測装置１と、フレームメモリ４５と、動き補償予測部４６と、切替えスイッチ４７と、並べ替え部４８とを備える。復号器３は、従来のＭＰＥＧ−４ＡＶＣ／Ｈ．２６４方式の復号器のイントラ予測部に代えて、本発明によるイントラ予測装置１を備える。 FIG. 8 is a configuration diagram of a decoder including the intra prediction device 1 according to the first embodiment of the present invention. The decoder 3 switches between a variable length decoding unit 41, an inverse quantization unit 42, an inverse orthogonal transform unit 43, an addition unit 44, an intra prediction device 1, a frame memory 45, and a motion compensation prediction unit 46. A switch 47 and a rearrangement unit 48 are provided. The decoder 3 is a conventional MPEG-4 AVC / H. An intra prediction device 1 according to the present invention is provided instead of the intra prediction unit of the H.264 decoder.

可変長復号部４１は、フレーム間予測で符号化されたビットストリームを入力して、可変長復号処理を施し逆量子化部４２に出力するとともに、動きベクトルの情報を復号して動き補償予測部４６に出力する。 The variable length decoding unit 41 inputs a bit stream encoded by inter-frame prediction, performs variable length decoding processing, outputs the bit stream to the inverse quantization unit 42, decodes motion vector information, and motion compensation prediction unit Output to 46.

逆量子化部４２は、可変長復号部４１から入力される量子化された直交変換係数に対して逆量子化処理を施して、動き補償した差分画像の直交変換係数を取得し、逆直交変換部４３に出力する。 The inverse quantization unit 42 performs an inverse quantization process on the quantized orthogonal transform coefficient input from the variable length decoding unit 41, acquires an orthogonal transform coefficient of the motion compensated difference image, and performs an inverse orthogonal transform To the unit 43.

逆直交変換部４３は、逆量子化部４２から入力される差分画像の直交変換係数に対して、逆直交変換（例えば、ＩＤＣＴ）を施し、得られる当該差分画像を加算部４４に出力する。 The inverse orthogonal transform unit 43 performs inverse orthogonal transform (for example, IDCT) on the orthogonal transform coefficient of the difference image input from the inverse quantization unit 42, and outputs the obtained difference image to the addition unit 44.

加算部４４は、逆直交変換部４３から得られる当該差分画像と、動き補償予測部４６から入力される予測画像又はイントラ予測装置１から入力される予測画像とを加算して画像を復元し、並べ替え部４８、イントラ予測装置１、及びフレームメモリ４５に出力する。 The addition unit 44 adds the difference image obtained from the inverse orthogonal transform unit 43 and the prediction image input from the motion compensation prediction unit 46 or the prediction image input from the intra prediction device 1 to restore the image, The data is output to the rearrangement unit 48, the intra prediction apparatus 1, and the frame memory 45.

動き補償予測部４６は、フレームメモリ４５から得られる参照画像と可変長復号部４１から得られる動きベクトルとを用いて予測画像を生成し、切替えスイッチ４７を介して加算部４４に出力する。 The motion compensation prediction unit 46 generates a prediction image using the reference image obtained from the frame memory 45 and the motion vector obtained from the variable length decoding unit 41, and outputs the prediction image to the addition unit 44 via the changeover switch 47.

並べ替え部４８は、加算部４４から入力される復元された復号画像の各フレームを表示フレーム順に並べ替えて出力する。 The rearrangement unit 48 rearranges the frames of the restored decoded image input from the addition unit 44 in the order of display frames and outputs the rearranged frames.

イントラ予測装置１は、逆量子化部４２及び逆直交変換部４３を経て復号した画像を入力し、上述したようにＬＰＦ１１、参照画素値積算部１２、係数最適化部１３、無方向予測部１４を経て生成した予測画像を切替えスイッチ４７を介して加算部４４に出力する。なお、式（２）におけるｘ_ｉ，ｙ_ｉは既知の座標なので、Σｘ_ｉやΣｙ_ｉなどの計算は復号時に参照画素値積算部１２で行う必要はなく、復号器３にあらかじめ設定しておくことができる。したがって、復号器で本発明によるイントラ予測装置１を用いる場合、予測画素値曲面Ｗは非常に少ない演算量で求めることが可能である。なお、前記のようにＬＰＦ１１は必須ではない。 The intra prediction apparatus 1 receives an image decoded through the inverse quantization unit 42 and the inverse orthogonal transform unit 43, and as described above, the LPF 11, the reference pixel value integration unit 12, the coefficient optimization unit 13, and the non-directional prediction unit 14 The prediction image generated through the above is output to the adding unit 44 via the changeover switch 47. Since x _i and y _i in equation (2) are known coordinates, calculations such as Σx _i and Σy _i do not need to be performed by the reference pixel value accumulating unit 12 at the time of decoding, and are set in the decoder 3 in advance. be able to. Therefore, when the intra prediction apparatus 1 according to the present invention is used in the decoder, the predicted pixel value curved surface W can be obtained with a very small amount of calculation. As described above, the LPF 11 is not essential.

なお、図７に示した本発明による符号化器のイントラ予測装置１及び図８に示した復号器の本発明による符号化器のイントラ予測装置１を、後述する実施例２又は３のイントラ予測装置１に置き換えることができることは勿論である。 The intra prediction apparatus 1 of the encoder according to the present invention shown in FIG. 7 and the intra prediction apparatus 1 of the encoder according to the present invention of the decoder shown in FIG. Of course, the device 1 can be replaced.

次に、本発明による実施例２のイントラ予測装置について、図面を参照して説明する。なお、実施例１と同様な構成要素には同一の参照番号を付して説明を省略する。 Next, the intra prediction apparatus of Example 2 by this invention is demonstrated with reference to drawings. In addition, the same reference number is attached | subjected to the component similar to Example 1, and description is abbreviate | omitted.

エッジを含む画像のような変化が急峻な画像などでは、予測画素値曲面Ｗと、参照ブロックＡ〜Ｄ内の画素との誤差又は重み付き誤差が大きくなり、予測画素値曲面Ｗを用いたイントラ予測値は適切でない可能性がある。そのため、実施例２のイントラ予測装置１は、予測画素値曲面Ｗを用いたイントラ予測値が適切でない場合には、従来（例えば、ＭＰＥＧ−４ＡＶＣ／Ｈ．２６４方式）の予測方法により、参照ブロックの画素値を用いたイントラ予測値に切替える。この場合、符号化器と復号器の双方で同じ誤差又は重み付き誤差を計算可能なため、本発明によるイントラ予測値と従来のイントラ予測値とを切替えるためのフラグを復号器に対して送信する必要がない。 In an image such as an image including an edge that has a sharp change, an error or a weighted error between the predicted pixel value curved surface W and the pixels in the reference blocks A to D becomes large, and an intra using the predicted pixel value curved surface W is used. Predicted values may not be appropriate. Therefore, when the intra prediction value using the prediction pixel value curved surface W is not appropriate, the intra prediction apparatus 1 according to the second embodiment refers to the conventional prediction method (for example, MPEG-4 AVC / H.264 system). Switch to the intra prediction value using the pixel value of the block. In this case, since the same error or weighted error can be calculated by both the encoder and the decoder, a flag for switching between the intra prediction value according to the present invention and the conventional intra prediction value is transmitted to the decoder. There is no need.

図９は、本発明による実施例２のイントラ予測装置１の構成図である。実施例２のイントラ予測装置１は、ＬＰＦ１１と、参照画素値積算部１２と、係数最適化部１３と、無方向予測部１４と、画面内予測部１５と、判定部１６と、切替え部１７とを備える。実施例２のイントラ予測装置１は、実施例１のイントラ予測装置１（図４参照）と比較して、更に、画面内予測部１５と、判定部１６と、切替え部１７とを備える点で相違する。 FIG. 9 is a configuration diagram of the intra prediction apparatus 1 according to the second embodiment of the present invention. The intra prediction apparatus 1 according to the second embodiment includes an LPF 11, a reference pixel value integration unit 12, a coefficient optimization unit 13, a non-directional prediction unit 14, an in-screen prediction unit 15, a determination unit 16, and a switching unit 17. With. The intra prediction device 1 of the second embodiment is further provided with an intra-screen prediction unit 15, a determination unit 16, and a switching unit 17, as compared with the intra prediction device 1 (see FIG. 4) of the first embodiment. Is different.

画面内予測部１５は、復号画素値を入力し、予測画素値曲面Ｗを用いないで予測する方式（例えば、従来のＭＰＥＧ−４ＡＶＣ／Ｈ．２６４方式）により、予測ブロックＭの予測画像を求める。 The in-screen prediction unit 15 inputs a decoded pixel value and predicts the prediction image of the prediction block M by a method (for example, the conventional MPEG-4 AVC / H.264 method) that predicts without using the prediction pixel value curved surface W. Ask.

判定部１６は、予測画素値曲面Ｗを求める際に参照した画素の全部又は一部の画素と、該画素に対応する、無方向予測部１４から入力される予測画素値曲面Ｗの値との差を求め、差が閾値を超えるか否かを判定する。一部の画素のみ利用する場合には、予測ブロックＭに近い画素を利用するのが好適である。また、差を求める際に、予測ブロックＭとの距離に応じた重み付けを行ってもよい。この場合、予測ブロックＭとの距離が遠い画素ほど重みを小さくする（差に与える影響を小さくする）のが好適である。ここで求める「差」として、上述したように、差の二乗和などの様々な指標を用いることができる。また、係数最適化部１３で予測画画素値曲面Ｗを求めるときに使用する指標と、判定部１６で使用する指標とは同一の指標である必要はない。 The determination unit 16 includes all or a part of the pixels referred to when the predicted pixel value curved surface W is obtained, and the value of the predicted pixel value curved surface W input from the non-directional prediction unit 14 corresponding to the pixel. A difference is obtained, and it is determined whether or not the difference exceeds a threshold value. When only some pixels are used, it is preferable to use pixels close to the prediction block M. Moreover, when calculating | requiring a difference, you may weight according to the distance with the prediction block M. FIG. In this case, it is preferable to reduce the weight (reducing the effect on the difference) for the pixels that are farther from the prediction block M. As the “difference” obtained here, as described above, various indexes such as the sum of squares of the differences can be used. Further, the index used when the coefficient optimization unit 13 obtains the predicted image pixel value curved surface W and the index used by the determination unit 16 do not have to be the same index.

切替え部１７は、判定部１６の判定結果により、差が閾値以下である場合には無方向予測部１４で求めた予測画素値を出力し、閾値より大きい場合には画面内予測部１５で求めた予測画素値を出力するように切替える。この閾値は、固定値でも良いし、可変値でも良い。可変値とする場合は、例えば予測ブロックの量子化特性値（量子化ステップ）など、符号化側と復号側で共通に得られる情報の関数として閾値を定義すると、閾値のための情報を復号側に送信する必要がないので好適である。 Based on the determination result of the determination unit 16, the switching unit 17 outputs the predicted pixel value obtained by the non-directional prediction unit 14 when the difference is equal to or smaller than the threshold value, and obtains the predicted pixel value by the in-screen prediction unit 15 when the difference is larger than the threshold value. The predicted pixel value is switched to be output. This threshold value may be a fixed value or a variable value. In the case of a variable value, for example, if a threshold value is defined as a function of information commonly obtained on the encoding side and decoding side, such as the quantization characteristic value (quantization step) of the prediction block, the information for the threshold value is decoded side This is preferable because it is not necessary to transmit to the network.

図１０に、実施例２のイントラ予測装置１の第１の変形例を示す。この変形例では、判定部１６に予測ブロックＭの原画像及び無方向予測部１４で求めた予測画像を入力し、原画像の画素値と予測画像の画素値との差が閾値より大きいか否かを判定し、閾値より大きい場合には、切替え部１７により画面内予測部１５で求めた予測画像を出力する。この場合は、判定部１６は判定結果を示すフラグを復号器に送信する機能も有する。また、復号器の判定部１６では差の計算は必要なく、受信した判定結果にしたがって切り替え部１７を動作させる機能だけを有する。 FIG. 10 illustrates a first modification of the intra prediction device 1 according to the second embodiment. In this modified example, the original image of the prediction block M and the prediction image obtained by the non-directional prediction unit 14 are input to the determination unit 16, and whether or not the difference between the pixel value of the original image and the pixel value of the prediction image is greater than a threshold value. If it is larger than the threshold, the switching unit 17 outputs the predicted image obtained by the in-screen prediction unit 15. In this case, the determination unit 16 also has a function of transmitting a flag indicating the determination result to the decoder. Further, the determination unit 16 of the decoder does not need to calculate a difference, and has only a function of operating the switching unit 17 according to the received determination result.

図１１に、実施例２のイントラ予測装置１の第２の変形例を示す。この変形例では、判定部１６に予測ブロックＭの原画像、無方向予測部１４で求めた予測画像、及び画面内予測部１５で求めた予測画像を入力し、無方向予測部１４で求めた予測画像の画素値と画面内予測部１５で求めた予測画像の画素値のどちらが原画像の画素値との差が小さいかを判定し、切替え部１７により、原画像の画素値との差が小さいほうの予測画像を出力する。この場合も、判定部１６は判定結果を示すフラグを復号器に送信する機能も有する。また、復号器の判定部１６では差の計算は必要なく、受信した判定結果にしたがって切り替え部１７を動作させる機能だけを有する。 FIG. 11 illustrates a second modification of the intra prediction device 1 according to the second embodiment. In this modified example, the original image of the prediction block M, the prediction image obtained by the non-direction prediction unit 14, and the prediction image obtained by the in-screen prediction unit 15 are input to the determination unit 16 and obtained by the non-direction prediction unit 14. It is determined which one of the pixel value of the predicted image and the pixel value of the predicted image obtained by the in-screen prediction unit 15 is smaller than the pixel value of the original image, and the switching unit 17 determines the difference between the pixel value of the original image and the pixel value of the original image. The smaller predicted image is output. Also in this case, the determination unit 16 also has a function of transmitting a flag indicating the determination result to the decoder. Further, the determination unit 16 of the decoder does not need to calculate a difference, and has only a function of operating the switching unit 17 according to the received determination result.

次に、実施例２のイントラ予測装置１の動作について、図１２を参照して説明する。 Next, operation | movement of the intra prediction apparatus 1 of Example 2 is demonstrated with reference to FIG.

［実施例２のイントラ予測装置１の動作］
図１２は、実施例２のイントラ予測装置１の動作を示すフローチャートである。実施例１のイントラ予測装置１の動作（図６参照）と同様に、ステップＳ２０１にて、ＬＰＦ１１により、復号画像をフィルタ処理し、ステップＳ２０２にて、参照画素値積算部１２及び係数最適化部１３により、参照ブロックを用いて予測画素値曲面Ｗの係数を導出し、ステップＳ２０３にて、無方向予測部１４により、予測ブロックＭの予測画像を生成する。なお、ステップＳ２０１は、高周波成分（ノイズ）を多く含む画像に対して、本発明のイントラ予測性能を向上する効果があるが、必須のステップではない。 [Operation of Intra Prediction Device 1 of Embodiment 2]
FIG. 12 is a flowchart illustrating the operation of the intra prediction apparatus 1 according to the second embodiment. Similar to the operation of the intra prediction apparatus 1 according to the first embodiment (see FIG. 6), in step S201, the LPF 11 filters the decoded image, and in step S202, the reference pixel value integrating unit 12 and the coefficient optimizing unit. 13, the coefficient of the prediction pixel value curved surface W is derived using the reference block, and the prediction image of the prediction block M is generated by the non-directional prediction unit 14 in step S <b> 203. In addition, although step S201 has the effect of improving the intra prediction performance of this invention with respect to the image containing many high frequency components (noise), it is not an essential step.

ステップＳ２０４にて、判定部１６により、ステップＳ２０３にて生成した予測画像の画素値と、参照ブロックＡ〜Ｄの画素値との差を求め、差が閾値を超えるか否かを判定する。 In step S204, the determination unit 16 obtains a difference between the pixel value of the predicted image generated in step S203 and the pixel values of the reference blocks A to D, and determines whether the difference exceeds a threshold value.

ステップＳ２０５にて、差が閾値以下であると判定した場合には処理をステップＳ２０６に進め、差が閾値よりも大きいと判定した場合には処理をステップＳ２０７に進める。 If it is determined in step S205 that the difference is equal to or smaller than the threshold value, the process proceeds to step S206. If it is determined that the difference is greater than the threshold value, the process proceeds to step S207.

ステップＳ２０６にて、切替え部１７により、ステップＳ２０３にて生成した予測画像を出力する。 In step S206, the switching unit 17 outputs the predicted image generated in step S203.

ステップＳ２０７にて、切替え部１７により、他方式（例えば、従来のＭＰＥＧ−４ＡＶＣ／Ｈ．２６４方式）により生成した予測画像を出力する。なお、他方式による予測画像は、予測画素値曲面Ｗを用いた予測画像の生成と並行して、画面内予測部１５により生成される。 In step S207, the switching unit 17 outputs a predicted image generated by another method (for example, the conventional MPEG-4 AVC / H.264 method). In addition, the prediction image by another system is produced | generated by the prediction part 15 in a screen in parallel with the production | generation of the prediction image using the prediction pixel value curved surface W. FIG.

実施例２のイントラ予測装置１によれば、予測画素値曲面Ｗを用いて生成した予測画像と、従来の方向を選択して生成した予測画像とを切替えることができるので、エッジを含むような画像に対しても適切な予測画像を生成することができるようになる。 According to the intra prediction apparatus 1 of the second embodiment, a prediction image generated using the prediction pixel value curved surface W and a prediction image generated by selecting a conventional direction can be switched. An appropriate predicted image can be generated for the image.

次に、本発明による実施例３のイントラ予測装置について、図１３を参照して説明する。なお、実施例１と同様な構成要素には同一の参照番号を付して説明を省略する。 Next, the intra prediction apparatus of Example 3 by this invention is demonstrated with reference to FIG. In addition, the same reference number is attached | subjected to the component similar to Example 1, and description is abbreviate | omitted.

実施例３のイントラ予測装置１は、参照する画素の位置をどこにするか、予測画素値曲面Ｗの式としてどのような式を用いるか、及び予測画素値曲面の最適化手段（最小二乗法、線型計画法、ニューラルネットワークを用いた学習法等）としていずれを採用するかについて、複数の処理モードを用意し、予測ブロックごとにどの処理モードを選択するかを切替えるようにする。図１３は、本発明による実施例３のイントラ予測装置１を示す構成図である。ここでは、複数（ｎ個）の実施例１のイントラ予測装置１と、処理モード判定部１８とを備える例を示すが、イントラ予測装置１として、実施例２のイントラ予測装置１を備える構成とすることができることは勿論である。 The intra prediction apparatus 1 according to the third embodiment determines where the position of the pixel to be referenced is, what kind of expression is used as the expression of the prediction pixel value curved surface W, and optimization means (the least square method, A plurality of processing modes are prepared as to which one is adopted as a linear programming method, a learning method using a neural network, etc., and the processing mode to be selected is switched for each prediction block. FIG. 13: is a block diagram which shows the intra prediction apparatus 1 of Example 3 by this invention. Here, although an example including a plurality (n) of intra prediction apparatuses 1 according to the first embodiment and the processing mode determination unit 18 is illustrated, the intra prediction apparatus 1 includes the intra prediction apparatus 1 according to the second embodiment. Of course it can be done.

ＬＰＦ１１及び無方向予測部１４の構成は各処理モードで同一であるが、参照画素値積算部１２及び／又は係数最適化部１３の構成又は演算方法は処理モードごとに異なる。参照画素値積算部１２の処理モードとしては、例えば、参照ブロックとしてＡ〜Ｄのすべてを用いるモード、Ａだけを用いるモード、Ｂだけを用いるモード、Ｃだけを用いるモード、Ｄだけを用いるモード、Ａ・Ｂ・Ｄだけを用いるモードなどが考えられる。さらに、参照画素は、必ずしも予測ブロックに隣接している必要はない。また、この実施例ではＬＰＦ１１及び無方向予測部１４の構成は各処理モードで同一としたが、フィルタの種類や有無、予測画素値曲面の式などは処理モード毎に異なるものとして良いことは勿論である。すなわち、各処理モード毎に、参照する画素の位置が符号化器と復号器で共通でありさえすれば良い。 The configurations of the LPF 11 and the non-directional prediction unit 14 are the same in each processing mode, but the configurations or calculation methods of the reference pixel value integration unit 12 and / or the coefficient optimization unit 13 are different for each processing mode. The processing mode of the reference pixel value integrating unit 12 is, for example, a mode using all of A to D as a reference block, a mode using only A, a mode using only B, a mode using only C, a mode using only D, A mode using only A, B, and D can be considered. Furthermore, the reference pixel does not necessarily have to be adjacent to the prediction block. In this embodiment, the configurations of the LPF 11 and the non-directional prediction unit 14 are the same in each processing mode. However, the type of filter, presence / absence, prediction pixel value curved surface expression, and the like may be different for each processing mode. It is. That is, it is only necessary that the position of the pixel to be referenced is common between the encoder and the decoder for each processing mode.

処理モード判定部１８は、複数の処理モードにより生成された予測画像の中から最適な予測画像を選択して出力する。例えば、符号化効率が最大となる予測画像、又は予測画素値曲面Ｗを求める際に参照した画素の全部又は一部の画素と、該画素に対応する、無方向予測部１４から入力される予測画素値曲面Ｗの値との差が最小である予測画像、又は予測ブロックＭの予測画像の画素値と予測ブロックＭの原画像の画素値との差が最小である予測画像を選択する。 The processing mode determination unit 18 selects and outputs an optimal prediction image from prediction images generated in a plurality of processing modes. For example, all or some of the pixels referred to when obtaining the prediction image or the prediction pixel value curved surface W with the maximum encoding efficiency, and prediction input from the non-directional prediction unit 14 corresponding to the pixels A prediction image having the smallest difference from the value of the pixel value curved surface W or a prediction image having the smallest difference between the pixel value of the prediction image of the prediction block M and the pixel value of the original image of the prediction block M is selected.

また、処理モード判定部１８は、処理モード１〜ｎのうちのいずれの処理モードを選択したかを示すフラグを出力する。ただし、符号化器及び復号器に本実施例のイントラ予測装置１を用いた場合、符号化器と復号器との間で処理モードを決定する規則を定めておけば、フラグを伝送する必要はない。例えば、参照ブロックＡ〜Ｄの分散値が大きい場合には、分散値の影響の小さな最適化手段を用いる処理モードを選択するなど、処理モードを復号画像から推定することも可能である。また、予測画素値曲面Ｗの式や、参照画素の位置については、あらかじめ定めておいたものから選択する以外に、フレーム毎などのタイミングで別途伝送しても良い。処理モードを送信する符号化器に対応する復号器においては、処理モード判定部１８は受信した前記フラグにもとづき、１〜ｎの処理モードを選択する機能を有する。 Further, the processing mode determination unit 18 outputs a flag indicating which of the processing modes 1 to n has been selected. However, when the intra prediction apparatus 1 of the present embodiment is used for an encoder and a decoder, it is necessary to transmit a flag if a rule for determining a processing mode is defined between the encoder and the decoder. Absent. For example, when the variance values of the reference blocks A to D are large, it is also possible to estimate the processing mode from the decoded image, such as selecting a processing mode that uses an optimization unit that is less influenced by the variance value. In addition, the formula of the predicted pixel value curved surface W and the position of the reference pixel may be separately transmitted at a timing such as for each frame in addition to selecting from the predetermined ones. In the decoder corresponding to the encoder that transmits the processing mode, the processing mode determination unit 18 has a function of selecting the processing modes 1 to n based on the received flag.

実施例３のイントラ予測装置１によれば、複数の処理モードの中から所望の予測画像を選択できるので、さまざまな画像に対して、画像ごとに最適な予測画像を生成することができるようになる。 According to the intra prediction device 1 of the third embodiment, since a desired predicted image can be selected from a plurality of processing modes, an optimal predicted image can be generated for each image with respect to various images. Become.

ここで、イントラ予測装置１として機能させるために、コンピュータを好適に用いることができる。実施例１のイントラ予測装置１を機能させるコンピュータは、ＬＰＦ１１と、参照画素値積算部１２と、係数最適化部１３と、無方向予測部１４とを機能させるための制御部を、ＣＰＵ（中央演算処理装置）と記憶部とで実現でき、そのようなコンピュータに、ＣＰＵによって所定のプログラムを実行させることにより、ＬＰＦ１１と、参照画素値積算部１２と、係数最適化部１３と、無方向予測部１４の有する機能を実現させることができる。 Here, in order to function as the intra prediction apparatus 1, a computer can be used suitably. The computer that causes the intra prediction apparatus 1 of the first embodiment to function includes a CPU (central control unit) for causing the LPF 11, the reference pixel value integrating unit 12, the coefficient optimizing unit 13, and the non-directional predicting unit 14 to function. It can be realized by an arithmetic processing unit) and a storage unit, and by causing such a computer to execute a predetermined program by the CPU, the LPF 11, the reference pixel value integrating unit 12, the coefficient optimizing unit 13, and the non-directional prediction The function of the unit 14 can be realized.

同様に実施例２のイントラ予測装置１として機能させるコンピュータは、ＬＰＦ１１と、参照画素値積算部１２と、係数最適化部１３と、無方向予測部１４と、画面内予測部１５と、判定部１６と、切替え部１７とを機能させるための制御部を、ＣＰＵと記憶部とで実現でき、そのようなコンピュータに、ＣＰＵによって所定のプログラムを実行させることにより、ＬＰＦ１１と、参照画素値積算部１２と、係数最適化部１３と、無方向予測部１４と、画面内予測部１５と、判定部１６と、切替え部１７の有する機能を実現させることができる。 Similarly, the computer that functions as the intra prediction apparatus 1 according to the second embodiment includes the LPF 11, the reference pixel value integrating unit 12, the coefficient optimizing unit 13, the non-directional predicting unit 14, the intra-screen predicting unit 15, and the determining unit. 16 and a control unit for causing the switching unit 17 to function can be realized by a CPU and a storage unit, and by causing such a computer to execute a predetermined program by the CPU, the LPF 11 and the reference pixel value integrating unit 12, the coefficient optimization unit 13, the non-directional prediction unit 14, the intra-screen prediction unit 15, the determination unit 16, and the switching unit 17 can be realized.

同様に実施例３のイントラ予測装置１として機能させるコンピュータは、複数のＬＰＦ１１、参照画素値積算部１２、係数最適化部１３、及び無方向予測部１４と、処理モード判定部１８とを機能させるための制御部を、ＣＰＵと記憶部とで実現でき、そのようなコンピュータに、ＣＰＵによって所定のプログラムを実行させることにより、複数のＬＰＦ１１、参照画素値積算部１２、係数最適化部１３、及び無方向予測部１４と、処理モード判定部１８の有する機能を実現させることができる。 Similarly, a computer that functions as the intra prediction apparatus 1 according to the third embodiment causes the plurality of LPFs 11, the reference pixel value integration unit 12, the coefficient optimization unit 13, the non-directional prediction unit 14, and the processing mode determination unit 18 to function. The control unit can be realized by a CPU and a storage unit, and by causing such a computer to execute a predetermined program by the CPU, a plurality of LPFs 11, a reference pixel value integrating unit 12, a coefficient optimizing unit 13, and The functions of the non-direction prediction unit 14 and the processing mode determination unit 18 can be realized.

また、符号器２として機能させるために、コンピュータを好適に用いることができる。そのようなコンピュータは、イントラ予測装置１と、並べ替え部２１と、減算部２２と、直交変換部２３と、量子化部２４と、可変長符号化部２５と、逆量子化部２６と、逆直交変換部２７と、切替えスイッチ２８と、フレームメモリ３０と、動き補償予測部３１と、加算部３２とを機能させるための制御部を、ＣＰＵと記憶部とで実現でき、そのようなコンピュータに、ＣＰＵによって所定のプログラムを実行させることにより、イントラ予測装置１と、並べ替え部２１と、減算部２２と、直交変換部２３と、量子化部２４と、可変長符号化部２５と、逆量子化部２６と、逆直交変換部２７と、切替えスイッチ２８と、フレームメモリ３０と、動き補償予測部３１と、加算部３２の有する機能を実現させることができる。 Moreover, in order to function as the encoder 2, a computer can be used suitably. Such a computer includes an intra prediction device 1, a rearrangement unit 21, a subtraction unit 22, an orthogonal transformation unit 23, a quantization unit 24, a variable length coding unit 25, an inverse quantization unit 26, A control unit for causing the inverse orthogonal transform unit 27, the changeover switch 28, the frame memory 30, the motion compensation prediction unit 31, and the addition unit 32 to function can be realized by a CPU and a storage unit. By causing the CPU to execute a predetermined program, the intra prediction device 1, the rearrangement unit 21, the subtraction unit 22, the orthogonal transformation unit 23, the quantization unit 24, the variable length coding unit 25, The functions of the inverse quantization unit 26, the inverse orthogonal transform unit 27, the changeover switch 28, the frame memory 30, the motion compensation prediction unit 31, and the addition unit 32 can be realized.

さらに、復号器３として機能させるために、コンピュータを好適に用いることができる。そのようなコンピュータは、イントラ予測装置１と、可変長復号部４１と、逆量子化部４２と、逆直交変換部４３と、加算部４４と、フレームメモリ４５と、動き補償予測部４６と、切替えスイッチ４７と、並べ替え部４８とを機能させるための制御部を、ＣＰＵと記憶部とで実現でき、そのようなコンピュータに、ＣＰＵによって所定のプログラムを実行させることにより、イントラ予測装置１と、可変長復号部４１と、逆量子化部４２と、逆直交変換部４３と、加算部４４と、フレームメモリ４５と、動き補償予測部４６と、切替えスイッチ４７と、並べ替え部４８の有する機能を実現させることができる。 Furthermore, in order to function as the decoder 3, a computer can be suitably used. Such a computer includes an intra prediction device 1, a variable length decoding unit 41, an inverse quantization unit 42, an inverse orthogonal transform unit 43, an addition unit 44, a frame memory 45, a motion compensation prediction unit 46, A control unit for causing the changeover switch 47 and the rearrangement unit 48 to function can be realized by a CPU and a storage unit, and by causing the computer to execute a predetermined program by the CPU, The variable length decoding unit 41, the inverse quantization unit 42, the inverse orthogonal transform unit 43, the addition unit 44, the frame memory 45, the motion compensation prediction unit 46, the changeover switch 47, and the rearrangement unit 48. Functions can be realized.

上述の実施例は、代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。従って、本発明は、上述の実施例によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、各画像ブロックのサイズ及び予測画素値曲面は、上述の値及び式に限定されるものではなく、本発明を適用する画像サイズ等に合わせて好適な値及び式を用いることができる。 Although the above embodiments have been described as representative examples, it will be apparent to those skilled in the art that many changes and substitutions can be made within the spirit and scope of the invention. Therefore, the present invention should not be construed as being limited by the above-described embodiments, and various modifications and changes can be made without departing from the scope of the claims. For example, the size of each image block and the predicted pixel value curved surface are not limited to the values and formulas described above, and suitable values and formulas can be used according to the image size to which the present invention is applied.

このように、本発明によれば、様々な画像に対して適したイントラ予測が可能となるので、画像を符号化又は復号する任意の用途に有用である。 As described above, according to the present invention, it is possible to perform intra prediction suitable for various images, which is useful for any application for encoding or decoding an image.

１イントラ予測装置
１１ＬＰＦ
１２参照画素値積算部
１３係数最適化部
１４無方向予測部
１５画面内予測部
１６判定部
１７切替え部
１８処理モード判定部
２符号化器
３復号器 1 Intra prediction device 11 LPF
DESCRIPTION OF SYMBOLS 12 Reference pixel value integration part 13 Coefficient optimization part 14 Non-directional prediction part 15 In-screen prediction part 16 Judgment part 17 Switching part 18 Processing mode determination part 2 Encoder 3 Decoder

Claims

An intra prediction device that generates an image of a prediction block as a prediction image from an image of a decoded reference block adjacent to a prediction block to be predicted,
A predicted pixel value curved surface generating means for selecting a pixel included in the reference block and generating a predicted pixel value curved surface approximating the pixel value of the pixel;
Non-directional prediction means for generating a prediction image of a prediction block based on the prediction pixel value curved surface;
An intra prediction apparatus comprising:

The predicted pixel value curved surface generating means includes coefficient optimization means for obtaining a coefficient of the predicted pixel value curved surface by using a curved surface having a minimum index indicating a difference from the pixel value of the reference block as the predicted pixel value curved surface. The intra prediction apparatus according to claim 1, wherein:

3. The intra prediction according to claim 2, wherein the coefficient optimization unit uses an index indicating the difference as a sum of squares of a difference between a value of the prediction pixel value curved surface and a pixel value of the reference block. 4. apparatus.

The intra prediction apparatus according to claim 2, wherein the coefficient optimization unit performs weighting according to a distance between a pixel in a reference block and a prediction block when obtaining an index indicating the difference. .

The intra prediction apparatus according to claim 4, wherein the weight is set to a smaller value as a distance between a pixel in the reference block and a prediction block increases.

The said non-directional prediction means produces | generates the prediction image of a prediction block by substituting the coordinate of a prediction block for the formula showing the said prediction pixel value curved surface, The prediction block of Claim 1 characterized by the above-mentioned. Intra prediction device.

Determination means for determining whether or not the index indicating the difference exceeds a predetermined value;
In-screen prediction means for generating a predicted image from the image of the reference block;
When the index is less than or equal to the predetermined value, the prediction image generated by the non-directional prediction unit is output, and when the index exceeds the predetermined value, the prediction generated by the intra-screen prediction unit Switching means for outputting an image;
The intra prediction apparatus according to claim 2, further comprising:

The intra prediction apparatus according to claim 7, wherein the intra prediction unit generates a predicted image by selecting a prediction direction from the image of the reference block.

The intra prediction apparatus according to claim 1, wherein the prediction pixel value curved surface includes a plane.

The intra prediction apparatus according to claim 1, further comprising a filter unit that removes a high-frequency component of the image of the reference block.

The predicted pixel value curved surface generating means has a plurality of processing modes, and for each processing mode, selection of a pixel included in the reference block, an expression representing the predicted pixel value curved surface, or a coefficient of the predicted pixel value curved surface The derivation method is different,
The non-directional prediction means generates a predicted image for each processing mode,
The intra prediction apparatus according to claim 1, further comprising a processing mode determination unit that selects and outputs a prediction image from prediction images generated for each processing mode.

The encoder provided with the intra prediction apparatus as described in any one of Claims 1-11.

A decoder comprising the intra prediction device according to any one of claims 1 to 11.

From a decoded reference block image adjacent to a prediction block to be predicted, an image of the prediction block is generated as a predicted image to a computer constituting an intra prediction apparatus.
(A) selecting a pixel included in the reference block and generating a predicted pixel value curved surface approximating the pixel value of the pixel;
(B) generating a prediction image of a prediction block based on the prediction pixel value curved surface;
A program for running