JP2012119892A - Intra prediction device, encoder, decoder and program - Google Patents

Intra prediction device, encoder, decoder and program Download PDF

Info

Publication number
JP2012119892A
JP2012119892A JP2010267114A JP2010267114A JP2012119892A JP 2012119892 A JP2012119892 A JP 2012119892A JP 2010267114 A JP2010267114 A JP 2010267114A JP 2010267114 A JP2010267114 A JP 2010267114A JP 2012119892 A JP2012119892 A JP 2012119892A
Authority
JP
Japan
Prior art keywords
image
unit
orthogonal transform
block
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010267114A
Other languages
Japanese (ja)
Other versions
JP5542636B2 (en
Inventor
Yoshiaki Shishikui
善明 鹿喰
Kazuhisa Iguchi
和久 井口
Shinichi Sakaida
慎一 境田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Nippon Hoso Kyokai NHK
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Hoso Kyokai NHK, Japan Broadcasting Corp filed Critical Nippon Hoso Kyokai NHK
Priority to JP2010267114A priority Critical patent/JP5542636B2/en
Publication of JP2012119892A publication Critical patent/JP2012119892A/en
Application granted granted Critical
Publication of JP5542636B2 publication Critical patent/JP5542636B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

PROBLEM TO BE SOLVED: To retain continuity of alternating-current components between a reference pixel and a prediction pixel and perform intra prediction with less influence of noise components.SOLUTION: An intra prediction device creates a processing block including a reference block and a prediction block at which an initial value of a prediction image is set, performs, one or more times, creation of an orthogonal transformation coefficient of the processing block, correction of the orthogonal transformation coefficient, inverse orthogonal transformation of the corrected orthogonal transformation coefficient and correction of the inverse orthogonal transformed image, and creates a prediction image from the inverse orthogonal transformed image. The intra prediction device includes a reference image analysis part 10 detecting an edge of an image of the reference block and a control part 19 controlling creation of the prediction image based on the detection result of the reference image analysis part 10.

Description

本発明は、復号済みの画素値から符号化対象の画素値を外挿により予測するものであり、特に画像の交流成分の連続性を損なわない予測が可能なイントラ予測装置、符号化器、復号器、及びプログラムに関する。   The present invention predicts a pixel value to be encoded from decoded pixel values by extrapolation, and in particular, an intra-prediction device, an encoder, and a decoding capable of prediction without impairing the continuity of the AC component of an image Device and program.

ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４方式（ＩＳＯ/ＩＥＣ １４４９６−１０／ＩＴＵ−Ｔ Ｒｅｃ．Ｈ．２６４）では、インター予測（画面間予測）のほか、符号化対象の画像ブロックに対して、符号化済み隣接ブロックの画素値から予測画像を生成し、その予測画像との差分を符号化するイントラ予測符号化（画面内予測符号化）が採用されている。   MPEG-4 AVC / H. In the H.264 system (ISO / IEC 14496-10 / ITU-T Rec. H.264), in addition to inter prediction (inter-screen prediction), the pixel value of an adjacent block that has been encoded is determined for an image block to be encoded. Intra-prediction coding (intra-screen prediction coding) that generates a prediction image and encodes a difference from the prediction image is employed.

図１０に、従来のＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４方式における符号化器４のブロック図を示す。符号化器４は、減算部３１と、直交変換部３２と、量子化部３３と、可変長符号化部３４と、逆量子化部３５と、逆直交変換部３６と、切替えスイッチ３７と、イントラ予測部３８と、フレームメモリ３９と、動き補償予測部４０と、加算部４１とを備える。   FIG. 10 shows a conventional MPEG-4 AVC / H. The block diagram of the encoder 4 in a H.264 system is shown. The encoder 4 includes a subtraction unit 31, an orthogonal transformation unit 32, a quantization unit 33, a variable length coding unit 34, an inverse quantization unit 35, an inverse orthogonal transformation unit 36, a changeover switch 37, An intra prediction unit 38, a frame memory 39, a motion compensation prediction unit 40, and an addition unit 41 are provided.

動き補償予測部４０は、入力画像に対して、フレームメモリ３９から取得する参照画像を用いて動きベクトル検出を行い、得られた動きベクトルを用いて動き補償を行い、その結果得られた予測画像を、切替えスイッチ３７を介して減算部３１及び加算部４１に出力する。また、動き補償予測部４０は、動きベクトルの情報を可変長符号化部３４に出力する。   The motion compensation prediction unit 40 performs motion vector detection on the input image using the reference image acquired from the frame memory 39, performs motion compensation using the obtained motion vector, and obtains the predicted image obtained as a result. Is output to the subtracting unit 31 and the adding unit 41 via the changeover switch 37. In addition, the motion compensation prediction unit 40 outputs motion vector information to the variable length encoding unit 34.

減算部３１は、入力画像と、動き補償予測部４０又はイントラ予測部３８からの予測画像との差分画像を生成して直交変換部３２に出力する。   The subtraction unit 31 generates a difference image between the input image and the prediction image from the motion compensation prediction unit 40 or the intra prediction unit 38 and outputs the difference image to the orthogonal transformation unit 32.

直交変換部３２は、減算部３１から供給される差分画像に対して小領域の画素ブロックごとに直交変換（例えば、ＤＣＴ；Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）を施し、直交変換係数を量子化部３３に出力する。   The orthogonal transform unit 32 performs orthogonal transform (for example, DCT; Discrete Cosine Transform) for each pixel block in the small region on the difference image supplied from the subtraction unit 31 and outputs the orthogonal transform coefficient to the quantization unit 33. .

量子化部３３は、直交変換部３２から入力される直交変換係数に対して量子化テーブルを選択して量子化処理を行い、可変長符号化部３４及び逆量子化部３５に出力する。   The quantization unit 33 selects a quantization table for the orthogonal transform coefficient input from the orthogonal transform unit 32, performs quantization processing, and outputs the quantization table to the variable length coding unit 34 and the inverse quantization unit 35.

可変長符号化部３４は、量子化部３３から入力される量子化された直交変換係数についてスキャンを行って可変長符号化処理を施しビットストリームを生成するとともに、動き補償予測部４１から入力される動きベクトルの情報も可変長符号化を施して外部に出力する。   The variable length encoding unit 34 scans the quantized orthogonal transform coefficient input from the quantization unit 33 and performs variable length encoding processing to generate a bitstream, and also receives the input from the motion compensation prediction unit 41. The motion vector information is also subjected to variable length coding and output to the outside.

逆量子化部３５は、量子化部３３から入力される量子化された直交変換係数について逆量子化処理を行って逆直交変換部３６に出力する。   The inverse quantization unit 35 performs an inverse quantization process on the quantized orthogonal transform coefficient input from the quantization unit 33 and outputs the result to the inverse orthogonal transform unit 36.

逆直交変換部３６は、逆量子化部３５から入力された直交変換係数に対して逆直交変換（例えば、ＩＤＣＴ；Ｉｎｖｅｒｓｅ Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）を施し、加算部４１に出力する。   The inverse orthogonal transform unit 36 performs inverse orthogonal transform (for example, IDCT; Inverse Discrete Cosine Transform) on the orthogonal transform coefficient input from the inverse quantization unit 35 and outputs the result to the addition unit 41.

加算部４１は、逆直交変換部３６から得られる逆直交変換した画像と、動き補償予測部４０又はイントラ予測部３８から得られる予測画像とを加算処理して復号画像を生成し、イントラ予測部３８及びフレームメモリ３９に出力する。   The addition unit 41 adds the image obtained by the inverse orthogonal transformation obtained from the inverse orthogonal transformation unit 36 and the prediction image obtained from the motion compensation prediction unit 40 or the intra prediction unit 38 to generate a decoded image, and generates an intra prediction unit. 38 and the frame memory 39.

切替えスイッチ３７は、動き補償予測とイントラ予測とを切替える。   The changeover switch 37 switches between motion compensation prediction and intra prediction.

イントラ予測部３８は、既符号化ブロックを復号した画像（加算部４１の出力画像）からイントラ予測した予測画像を生成して減算部３１及び加算部４１に出力する。ここで、減算部３１では、この予測画像と原画像との差分画像を直交変換部３２に出力し、量子化部３３及び可変長符号化部３４を経て符号化する。   The intra prediction unit 38 generates a prediction image predicted intra from the image obtained by decoding the already-encoded block (the output image of the addition unit 41), and outputs the prediction image to the subtraction unit 31 and the addition unit 41. Here, the subtraction unit 31 outputs the difference image between the predicted image and the original image to the orthogonal transform unit 32 and encodes it via the quantization unit 33 and the variable length coding unit 34.

イントラ予測は、４画素×４ライン単位、８画素×８ライン単位、又は１６画素×１６ライン単位で行われ、複数種類の予測モード（予測方向）（例えば、４画素×４ライン単位の予測については９種類）の中から最適な予測方向を選択する。図１１は、４画素×４ライン単位で予測する場合の予測モードを示す図である。図中の斜線付の丸は復号済みの画素を示し、白丸は予測対象の画素を示し、矢印は予測方向を示している。（ａ）の予測モード０では垂直方向予測、（ｂ）の予測モード１では水平方向予測、（ｃ）の予測モード２ではＤＣ予測、（ｄ）の予測モード３では対角左下方向予測、（ｅ）の予測モード４では対角右下方向予測、（ｆ）の予測モード５では垂直右方向予測、（ｇ）の予測モード６では水平下方向予測、（ｈ）の予測モード７では垂直左方向予測、（ｉ）の予測モード８では水平上方向予測を行う。以上が、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４方式におけるイントラ予測の技法である。   Intra prediction is performed in units of 4 pixels × 4 lines, 8 pixels × 8 lines, or 16 pixels × 16 lines, and a plurality of types of prediction modes (prediction directions) (for example, prediction in units of 4 pixels × 4 lines). Selects the optimum prediction direction from among nine types. FIG. 11 is a diagram illustrating a prediction mode when prediction is performed in units of 4 pixels × 4 lines. In the figure, hatched circles indicate decoded pixels, white circles indicate pixels to be predicted, and arrows indicate prediction directions. (A) Prediction mode 0 is vertical direction prediction, (b) Prediction mode 1 is horizontal direction prediction, (c) Prediction mode 2 is DC prediction, (d) Prediction mode 3 is diagonal lower left direction prediction, ( e) Prediction mode 4 in diagonal lower right direction prediction, (f) prediction mode 5 in vertical right direction prediction, (g) prediction mode 6 in horizontal down direction prediction, and (h) prediction mode 7 in vertical left direction. In the prediction mode 8 of (i), horizontal upward prediction is performed. The above is MPEG-4 AVC / H. This is a technique of intra prediction in the H.264 system.

また、イントラ予測の精度を上げるために、空間的に離れた画素を参照するのではなく、常に隣接する画素を参照して隣接画素間の差分値を符号化する技法や（例えば、特許文献１参照）、予測ブロックに隣接する画素の値と該予測ブロックから１画素以上間をおいた画素の値とに基づいてイントラ予測を行う技法が知られている（例えば、特許文献２参照）。また、画素値が一定の変化傾向を持つ絵柄の映像に対する予測性能を向上させるために、イントラ符号化における予測値として、隣接する復号画像の周波数特性を考慮した値を生成する技法が知られている（例えば、特許文献３参照）。   In addition, in order to increase the accuracy of intra prediction, a technique of encoding a difference value between adjacent pixels by always referring to adjacent pixels instead of referring to spatially separated pixels (for example, Patent Document 1). And a technique for performing intra prediction based on the value of a pixel adjacent to a prediction block and the value of a pixel between the prediction block and one or more pixels is known (see, for example, Patent Document 2). Also known is a technique for generating a value that takes into account the frequency characteristics of adjacent decoded images as a prediction value in intra coding in order to improve the prediction performance for a picture image whose pixel value has a certain change tendency. (For example, see Patent Document 3).

特開２００９−０４９９６９号公報JP 2009-049969 A 特開２００８−２７１３７１号公報JP 2008-271371 A 特開２００８−２４５０８８号公報JP 2008-245088 A

しかし、従来の方向性を持ったイントラ予測方法は、復号済みの隣接画素の値と予測対象画素の値とが直流的な意味で連続であることを仮定しており、交流的な意味での連続性は仮定していなかった。また、特許文献３に記載の技法は交流成分も含んだ予測を行うものではあるが、参照画素と予測画素との間に交流的（位相的）な連続性はない。そのため、参照画像が周期性のあるパターンの一部であるような場合には、交流成分を考慮した高度な予測を行うことができなかった。また、復号済みの画像に含まれる符号化歪みや原画像に含まれる雑音成分が、予測値にそのまま影響を及ぼしてしまうという問題があった。   However, the conventional intra prediction method with directionality assumes that the value of the decoded adjacent pixel and the value of the prediction target pixel are continuous in a DC sense, and in an AC sense. Continuity was not assumed. Further, although the technique described in Patent Document 3 performs prediction including an AC component, there is no AC (phase) continuity between the reference pixel and the prediction pixel. For this reason, when the reference image is a part of a periodic pattern, it has not been possible to perform advanced prediction considering the AC component. In addition, there is a problem that the coding distortion included in the decoded image and the noise component included in the original image directly affect the predicted value.

本発明の目的は、上記問題を解決するため、参照画素と予測画素との間で交流成分の連続性を損なわない予測を行うとともに、雑音成分の影響の少ない予測を行うイントラ予測装置、符号化器、復号器、及びプログラムを提供することにある。   In order to solve the above-described problem, an object of the present invention is to provide an intra-prediction device that performs prediction that does not impair the continuity of the AC component between the reference pixel and the prediction pixel, and performs prediction with less influence of the noise component, and encoding. A decoder, a decoder, and a program.

上記課題を解決するため、本発明に係るイントラ予測装置は、予測ブロックに隣接する復号済みの参照ブロックの画像から、予測ブロックの予測画像を生成するイントラ予測装置であって、予測画像の初期値を予測ブロックに設定する予測画像初期値設定部と、参照ブロックと前記初期値が設定された予測ブロックからなる処理ブロックを生成する処理ブロック生成部と、前記処理ブロックの画像に対して直交変換を行って直交変換係数を生成する直交変換部と、前記直交変換部によって生成された直交変換係数の絶対値を、高周波領域において元の値よりも小さい値に修正する係数修正部と、前記修正された直交変換係数に対して逆直交変換を行って画像を生成する逆直交変換部と、前記逆直交変換部によって生成された画像のうち、前記参照ブロック内の画像領域を元の復号済みの画像の画素値に修正し、該修正した画像を前記直交変換部に供給する画像修正部と、前記逆直交変換部によって生成された画像から予測ブロックの画像を抽出して予測画像を生成する予測画像抽出部と、前記画像修正部、前記直交変換部、前記係数修正部、及び前記逆直交変換部による一連の処理の繰り返しを終了する所定の条件を満たすか否かを判定し、該所定の条件を満たしていないと判定した場合には、該一連の処理を繰り返し実行させるために前記逆直交変換部によって生成された画像を前記画像修正部に供給し、該所定の条件を満たしていると判定した場合には、該一連の処理の繰り返しを終了して前記逆直交変換部によって生成された画像を前記予測画像抽出部に供給する分岐部と、前記参照ブロックの画像のエッジを検出するエッジ検出部と、前記エッジ検出部の検出結果に基づいて前記予測画像の生成を制御する制御部と、を備えることを特徴とする。   In order to solve the above problems, an intra prediction apparatus according to the present invention is an intra prediction apparatus that generates a prediction image of a prediction block from an image of a decoded reference block adjacent to the prediction block, and an initial value of the prediction image A prediction image initial value setting unit that sets a prediction block, a processing block generation unit that generates a processing block including a reference block and a prediction block in which the initial value is set, and an orthogonal transform on the image of the processing block An orthogonal transform unit that generates an orthogonal transform coefficient, a coefficient correction unit that corrects the absolute value of the orthogonal transform coefficient generated by the orthogonal transform unit to a value smaller than the original value in a high frequency region, and the correction. Among the images generated by the inverse orthogonal transform unit, an inverse orthogonal transform unit that performs inverse orthogonal transform on the orthogonal transform coefficient and generates an image, An image correction unit that corrects an image area in a reference block to a pixel value of an original decoded image, supplies the corrected image to the orthogonal transform unit, and a prediction block from the image generated by the inverse orthogonal transform unit A predetermined condition for terminating the repetition of a series of processes by the predicted image extracting unit that extracts the image and generating a predicted image, and the image correcting unit, the orthogonal transform unit, the coefficient correcting unit, and the inverse orthogonal transform unit When it is determined that the predetermined condition is not satisfied, the image generated by the inverse orthogonal transform unit is repeatedly sent to the image correction unit to repeatedly execute the series of processes. A branching unit that terminates the series of processes and supplies the image generated by the inverse orthogonal transform unit to the predicted image extraction unit when it is determined that the predetermined condition is satisfied. , An edge detector for detecting edges in an image of the serial reference block, characterized in that it comprises a control unit for controlling the generation of the predicted image based on a detection result of the edge detection unit.

さらに、本発明に係るイントラ予測装置において、前記エッジ検出部は、前記参照ブロックの画像にエッジが含まれるかを判定し、エッジが含まれる場合にはエッジの位置情報を生成し、前記制御部は、前記エッジの位置情報に基づいて、前記処理ブロック生成部が生成する参照ブロックのサイズを決定することを特徴とする。   Further, in the intra prediction apparatus according to the present invention, the edge detection unit determines whether an edge is included in the image of the reference block, and if the edge is included, generates edge position information, and the control unit Determines the size of the reference block generated by the processing block generation unit based on the position information of the edge.

さらに、本発明に係るイントラ予測装置において、前記エッジ検出部は、前記参照ブロックの画像にエッジが含まれるかを判定し、エッジが含まれる場合にはエッジの位置情報を生成し、前記制御部は、前記処理ブロック生成部が生成する参照ブロックのサイズを変更せずに、前記エッジの位置情報に基づいて、前記画像修正部が画素値を修正する画像領域を決定することを特徴とする。   Further, in the intra prediction apparatus according to the present invention, the edge detection unit determines whether an edge is included in the image of the reference block, and if the edge is included, generates edge position information, and the control unit Is characterized in that, without changing the size of the reference block generated by the processing block generation unit, the image correction unit determines an image region whose pixel value is corrected based on the position information of the edge.

さらに、本発明に係るイントラ予測装置において、前記制御部は、前記エッジ検出部が前記エッジを検出した場合には、前記エッジを検出しなかった場合に比べて、前記係数修正部が直交変換係数を修正する高周波領域が小さくなるように決定することを特徴とする。   Furthermore, in the intra prediction apparatus according to the present invention, the control unit may include an orthogonal transform coefficient when the edge detection unit detects the edge as compared with a case where the edge is not detected. It is characterized in that it is determined so that the high-frequency region for correcting is reduced.

さらに、本発明に係るイントラ予測装置において、前記係数修正部は、前記直交変換部によって生成した直交変換係数の絶対値を、最高次の直交変換係数を含む高周波領域において元の値よりも小さい値に修正し、前記繰り返し実行するたびに、直交変換係数を修正する高周波領域の面積を繰り返し前の面積以下とすることを特徴とする。   Further, in the intra prediction apparatus according to the present invention, the coefficient correction unit is configured to reduce the absolute value of the orthogonal transform coefficient generated by the orthogonal transform unit to a value smaller than the original value in a high frequency region including the highest order orthogonal transform coefficient. Each time it is repeatedly executed, the area of the high-frequency region for correcting the orthogonal transform coefficient is made equal to or less than the area before the repetition.

さらに、本発明に係るイントラ予測装置において、前記画像修正部は、前記参照ブロック内であって前記予測ブロックに隣接する画像を含む画像領域を元の復号済みの画像の画素値に修正し、前記繰り返し実行するたびに、画素値を修正する画像領域の面積を繰り返し前の面積以下とすることを特徴とする。   Further, in the intra prediction device according to the present invention, the image correction unit corrects an image area including an image adjacent to the prediction block in the reference block to a pixel value of an original decoded image, Each time it is repeatedly executed, the area of the image region whose pixel value is corrected is set to be equal to or smaller than the area before the repetition.

さらに、本発明に係るイントラ予測装置において、前記一連の処理の繰り返しを終了する所定の条件は、該一連の処理の回数が所定回数以上、又は該一連の処理後の参照ブロックの画像と該一連の処理を行う前の参照ブロックの画像との画素値の差が所定の閾値以下であることを特徴とする。   Furthermore, in the intra prediction apparatus according to the present invention, the predetermined condition for ending the series of processing is that the number of times of the series of processing is equal to or greater than the predetermined number of times, or an image of the reference block after the series of processing and the sequence. The difference in pixel value from the image of the reference block before performing the process is not more than a predetermined threshold value.

また、本発明に係る符号化器は、上述したイントラ予測装置を備えることを特徴とする。   Also, an encoder according to the present invention includes the intra prediction device described above.

また、本発明に係る復号器は、上述したイントラ予測装置を備えることを特徴とする。   A decoder according to the present invention includes the above-described intra prediction device.

また、本発明は、予測ブロックに隣接する復号済みの参照ブロックの画像から、予測ブロックの予測画像を生成するイントラ予測装置として機能するコンピュータに、（ａ）参照ブロックの画像のエッジを検出するステップと、（ｂ）予測画像の初期値を予測ブロックに設定するステップと、（ｃ）前記参照ブロックと前記初期値が設定された予測ブロックからなる処理ブロックを生成するステップと、（ｄ）前記処理ブロックの画像に対して直交変換を行って直交変換係数を生成するステップと、（ｅ）前記ステップ（ｄ）によって生成された直交変換係数の絶対値を、高周波領域において元の値よりも小さい値に修正するステップと、（ｆ）前記ステップ（ｅ）によって修正された直交変換係数に対して逆直交変換を行って画像を生成するステップと、（ｇ）前記ステップ（ｄ）からステップ（ｆ）の一連の処理の繰り返しを終了する所定の条件を満たすか否かを判定するステップと、（ｈ）前記ステップ（ｇ）により、前記所定の条件を満たしていないと判定した場合には、前記ステップ（ｆ）によって生成された画像のうち、前記参照ブロック内の画像領域を元の復号済みの画像の画素値に修正し、前記ステップ（ｄ）から当該ステップ（ｇ）を繰り返し行うステップと、（ｉ）前記ステップ（ｇ）により、前記所定の条件を満たしていると判定した場合には、前記一連の処理の繰り返しを終了して前記ステップ（ｆ）によって生成された画像から予測ブロックの画像を抽出して予測画像を生成するステップと、（ｊ）前記ステップ（ａ）によって得られたエッジを含まないように、前記ステップ（ｈ）において画素値を修正する画像領域を決定するステップと、を実行させるためのプログラムとしても特徴付けられる。   In addition, the present invention provides (a) a step of detecting an edge of an image of a reference block to a computer functioning as an intra prediction device that generates a predicted image of a prediction block from an image of a decoded reference block adjacent to the prediction block. (B) setting an initial value of a predicted image in a prediction block; (c) generating a processing block including the reference block and a prediction block in which the initial value is set; and (d) the processing. A step of performing orthogonal transformation on the image of the block to generate an orthogonal transformation coefficient; and (e) a value smaller than the original value in the high frequency region, the absolute value of the orthogonal transformation coefficient generated by the step (d). And (f) generating an image by performing inverse orthogonal transform on the orthogonal transform coefficient modified in the step (e). A step, (g) determining whether or not a predetermined condition for ending the repetition of a series of processes from step (d) to step (f) is satisfied, and (h) the step (g) When it is determined that the predetermined condition is not satisfied, the image area in the reference block is corrected to the pixel value of the original decoded image among the images generated in the step (f), and the step (D) repeatedly performing the step (g), and (i) if it is determined in step (g) that the predetermined condition is satisfied, the repetition of the series of processes is terminated. Extracting a prediction block image from the image generated in step (f) to generate a prediction image; and (j) not including the edge obtained in step (a). As also characterized as a program for executing the steps of: determining an image area to correct the pixel value in said step (h).

本発明によれば、参照画素と予測画素との間で交流成分の連続性が損なわれない予測を行うことができる。また、復号済みの画像に含まれる符号化歪みや原画像に含まれる雑音成分の影響の少ない予測を行うことができる。   According to the present invention, it is possible to perform prediction without impairing the continuity of the AC component between the reference pixel and the prediction pixel. In addition, it is possible to perform prediction with little influence of coding distortion included in a decoded image and noise components included in an original image.

また、参照画素にエッジが含まれているかの分析結果に基づいてパラメータを設定することにより、参照画像に応じて適切な予測画像を生成することができる。   In addition, by setting a parameter based on the analysis result of whether the reference pixel includes an edge, an appropriate predicted image can be generated according to the reference image.

本発明による実施例１の符号化側のイントラ予測装置の構成を示すブロック図である。It is a block diagram which shows the structure of the intra prediction apparatus by the side of the encoding of Example 1 by this invention. 本発明による実施例１のイントラ予測装置の処理を説明する図である。It is a figure explaining the process of the intra estimation apparatus of Example 1 by this invention. 本発明による実施例１のイントラ予測装置の参照画像分析に基づく制御に係る構成を示すブロック図である。It is a block diagram which shows the structure which concerns on the control based on the reference image analysis of the intra prediction apparatus of Example 1 by this invention. 本発明による実施例１のイントラ予測装置の参照領域の修正を説明する図である。It is a figure explaining correction of the reference field of the intra prediction device of Example 1 by the present invention. 本発明による実施例１の復号側のイントラ予測装置の構成を示すブロック図である。It is a block diagram which shows the structure of the intra prediction apparatus by the side of the decoding of Example 1 by this invention. 本発明による実施例１のイントラ予測装置の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the intra prediction apparatus of Example 1 by this invention. 本発明による実施例１のイントラ予測装置を備える符号化器の構成を示すブロック図である。It is a block diagram which shows the structure of an encoder provided with the intra prediction apparatus of Example 1 by this invention. 本発明による実施例１のイントラ予測装置を備える復号器の構成を示すブロック図である。It is a block diagram which shows the structure of a decoder provided with the intra prediction apparatus of Example 1 by this invention. 本発明による実施例２のイントラ予測装置の参照画像分析に基づく制御に係る構成を示すブロック図である。It is a block diagram which shows the structure concerning the control based on the reference image analysis of the intra prediction apparatus of Example 2 by this invention. 従来のＭＰＥＧ４ ＡＶＣ／Ｈ．２６４方式における符号化器の構成を示すブロック図である。Conventional MPEG4 AVC / H. 2 is a block diagram illustrating a configuration of an encoder in the H.264 scheme. FIG. 従来のＭＰＥＧ４ ＡＶＣ／Ｈ．２６４方式における４画素×４ライン単位で予測する場合の予測モードを示す図である。Conventional MPEG4 AVC / H. It is a figure which shows the prediction mode in the case of estimating by 4 pixel x4 line unit in a H.264 system.

２つの制約条件（パラメータ）を交互に適用して徐々に適切な結果を得る方法として、例えば凸射影法（ＰＯＣＳ）が知られている。凸射影法では、２つの制約条件を満たす集合が凸集合の場合、繰り返しにより収束していくことが保証されている。本発明によるイントラ予測装置は、交流成分も含め、復号済みの画像との連続性を損なわず、かつ雑音成分の影響の少ない予測を行うために、予測画像の直交変換係数の高周波領域を所定の値に修正する、予測画像に隣接する参照画像が演算により変化した場合には元の値に修正する、という２つの制約条件を用いる。   For example, a convex projection method (POCS) is known as a method of obtaining two or more constraints (parameters) alternately to obtain an appropriate result gradually. In the convex projection method, when a set satisfying two constraint conditions is a convex set, it is guaranteed to converge by repetition. The intra prediction apparatus according to the present invention uses a predetermined high-frequency region of an orthogonal transform coefficient of a predicted image in order to perform prediction with less influence of noise components and without losing continuity with decoded images including AC components. Two constraint conditions are used: correction to a value, and correction to an original value when a reference image adjacent to a predicted image is changed by calculation.

予測には、予測画素の隣接画素だけでなく、一定の領域をもつ復号済み画素を活用し、ＤＣＴやＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）などの直交変換を用いる。そして、２つの制約条件の調和のために射影の繰り返しを行う。多数の隣接する参照画素を用い、かつ低周波成分を重視した予測を行うため、雑音の影響を軽減することができる。   For the prediction, not only a pixel adjacent to the prediction pixel but also a decoded pixel having a certain region is used, and orthogonal transformation such as DCT or FFT (Fast Fourier Transform) is used. Then, the projection is repeated to harmonize the two constraints. Since the prediction using a large number of adjacent reference pixels and emphasizing the low frequency component is performed, the influence of noise can be reduced.

具体的には、予測画像及び参照画像を含んだブロックに対して、直交変換、逆直交変換を、制約条件に近づけるための画像修正を施しながら繰り返し行う。理想的には、繰り返しの結果、参照画素に対応する画素の値は参照画素の値になり、予測画素に対応する画素の値は参照画素の値と直流的及び交流的に連続するものになればよい。しかし、このような状態に収束する保証はなく、また、収束するとしても繰り返しが多数となり演算量が増大するため、徐々に制約条件を緩和することにより、妥当な演算量で有効な結果を得るのが好適である。   Specifically, the orthogonal transformation and the inverse orthogonal transformation are repeatedly performed on the block including the predicted image and the reference image while performing image correction to approximate the constraint condition. Ideally, as a result of repetition, the value of the pixel corresponding to the reference pixel becomes the value of the reference pixel, and the value of the pixel corresponding to the prediction pixel should be continuous with the value of the reference pixel in a direct current and alternating current manner. That's fine. However, there is no guarantee that it will converge in such a state, and even if it converges, the number of iterations will increase and the amount of computation will increase. Therefore, by gradually relaxing the constraint conditions, an effective result can be obtained with a reasonable amount of computation. Is preferred.

以下、本発明による実施例について、図面を参照して詳細に説明する。   Hereinafter, embodiments according to the present invention will be described in detail with reference to the drawings.

図１は、本発明による実施例１の符号化側のイントラ予測装置の構成を示すブロック図である。イントラ予測装置１は、参照画像分析部１０と、予測画像初期値設定部１１と、処理ブロック生成部１２と、直交変換部１３と、係数修正部１４と、逆直交変換部１５と、予測画像抽出部１８と、制御部１９と、制御パラメータ伝送部２０とを備える。   FIG. 1 is a block diagram illustrating a configuration of an encoding-side intra prediction apparatus according to a first embodiment of the present invention. The intra prediction apparatus 1 includes a reference image analysis unit 10, a predicted image initial value setting unit 11, a processing block generation unit 12, an orthogonal transform unit 13, a coefficient correction unit 14, an inverse orthogonal transform unit 15, and a predicted image. An extraction unit 18, a control unit 19, and a control parameter transmission unit 20 are provided.

後述する繰り返し処理を行う場合には、イントラ予測装置１は、更に分岐部１６と画像修正部１７とを備える。繰り返し処理を行わない場合でも一定の効果を得ることができるが、繰り返し処理を行うことで、より一層、交流成分の不連続性を低減することができる。以下の説明においては、繰り返し処理を行う場合について説明する。   When performing an iterative process described later, the intra prediction device 1 further includes a branching unit 16 and an image correcting unit 17. Even when the repetitive processing is not performed, a certain effect can be obtained. However, the discontinuity of the AC component can be further reduced by performing the repetitive processing. In the following description, a case where the iterative process is performed will be described.

図２は、本発明による実施例１のイントラ予測装置１の処理を説明する図である。具体的には、図２（ａ）及び図２（ｃ）は、イントラ予測装置１で行う処理の単位となる処理ブロックＰを例示する図である。図２（ｂ）及び図２（ｄ）は、処理ブロックＰの周波数領域を示す図であり、左上の領域は低周波成分を示し、右下の領域は高周波成分を示す。画像ブロックＸは、イントラ予測の対象となる画像ブロック（以下、「予測ブロック」という）である。画像ブロックＤ，Ｂ，Ａは、符号化された後に復号された画像ブロックであり、予測ブロックの画素値を予測するために参照される画像ブロック（以下、「参照ブロック」という）である。また、以下の説明において、参照ブロックＤ，Ｂ，Ａ内の画像をそれぞれ参照画像ｄ，ｂ，ａといい、予測ブロックＸ内の画像を予測画像ｘという。   FIG. 2 is a diagram for explaining processing of the intra prediction apparatus 1 according to the first embodiment of the present invention. Specifically, FIG. 2A and FIG. 2C are diagrams illustrating a processing block P that is a unit of processing performed in the intra prediction apparatus 1. 2B and 2D are diagrams showing the frequency region of the processing block P. The upper left region shows a low frequency component, and the lower right region shows a high frequency component. The image block X is an image block (hereinafter referred to as “prediction block”) that is a target of intra prediction. The image blocks D, B, and A are image blocks that have been encoded and then decoded, and are image blocks that are referred to in order to predict pixel values of the prediction block (hereinafter referred to as “reference blocks”). In the following description, the images in the reference blocks D, B, and A are referred to as reference images d, b, and a, respectively, and the image in the prediction block X is referred to as a predicted image x.

各ブロックのサイズは予め設定されており、図２（ａ）に示すように、参照ブロックＤはｋ画素×ｍライン、参照ブロックＢはｌ画素×ｍライン、参照ブロックＡはｋ画素×ｎライン、予測ブロックＸはｌ画素×ｎライン、処理ブロックＰは（ｋ＋ｌ）画素×（ｍ＋ｎ）ラインである。   The size of each block is set in advance. As shown in FIG. 2A, the reference block D is k pixels × m lines, the reference block B is 1 pixel × m lines, and the reference block A is k pixels × n lines. The prediction block X is 1 pixel × n lines, and the processing block P is (k + 1) pixels × (m + n) lines.

予測画像初期値設定部１１は、制御部１９の指示に基づき、予測画像ｘの初期値として、参照画像ｄ，ｂ，ａの全部又は一部の画素値から得られる値を設定する。例えば参照画像ｄ，ｂ，ａの画素値の平均値を初期値とするのが、直流成分が保持され好適である。また、予測ブロックＸに隣接する画素の平均値を初期値としたり、従来のＭＰＥＧ４ ＡＶＣ／Ｈ．２６４方式によるイントラ予測の結果を初期値としたりすることもできる。そして、この初期値を処理ブロック生成部１２に出力する。   The predicted image initial value setting unit 11 sets values obtained from all or part of the pixel values of the reference images d, b, and a as initial values of the predicted image x based on instructions from the control unit 19. For example, it is preferable that the average value of the pixel values of the reference images d, b, and a is the initial value because the DC component is retained. In addition, an average value of pixels adjacent to the prediction block X is used as an initial value, or the conventional MPEG4 AVC / H. The result of intra prediction by the H.264 method can be used as an initial value. Then, this initial value is output to the processing block generator 12.

処理ブロック生成部１２は、制御部１９の指示に基づき、入力される参照ブロックＤ，Ｂ，Ａ、及び予測画像初期値設定部１１から入力される予測画像ｘの初期値を用いて、図２（ａ）に示すように、参照ブロックＤ，Ｂ，Ａと初期値が設定された予測ブロックＸからなる処理ブロックＰを生成し、直交変換部１３に出力する。   Based on the instruction from the control unit 19, the processing block generation unit 12 uses the reference blocks D, B, and A that are input and the initial value of the predicted image x input from the predicted image initial value setting unit 11, as shown in FIG. As shown in (a), a processing block P including reference blocks D, B, and A and a prediction block X in which initial values are set is generated and output to the orthogonal transform unit 13.

直交変換部１３は、処理ブロック生成部１２から入力される処理ブロックＰの画像に対し、直交変換を行い、導出した直交変換係数を係数修正部１４に出力する。   The orthogonal transformation unit 13 performs orthogonal transformation on the image of the processing block P input from the processing block generation unit 12 and outputs the derived orthogonal transformation coefficient to the coefficient correction unit 14.

係数修正部１４は、参照ブロックＤ，Ｂ，Ａと予測ブロックＸの境界領域において、参照画像ｄ，ｂ，ａと予測画像ｘとの間に交流的な連続性をもたせる（不連続性を低減する）ために、制御部１９の指示に基づき、処理ブロックＰの高周波成分を抑圧する。そのため、直交変換部１３から入力される直交変換係数のうち、図２（ｂ）に示すように、高周波領域である係数修正領域Ｈの直交変換係数の絶対値を元の値よりも小さい値に修正する。係数修正領域Ｈ内の係数の数ｈは、１≦ｈ＜（ｋ＋ｌ）×（ｍ＋ｎ）である。そして、修正した直交変換係数を逆直交変換部１５に出力する。修正する値は、０とするのが高周波成分を除去するのに好適である。また、直交変換が修正される係数修正領域Ｈは、図２（ｄ）に示すように、正方形状又は長方形状としてもよい。   In the boundary region between the reference blocks D, B, A and the prediction block X, the coefficient correction unit 14 provides alternating continuity between the reference images d, b, a and the prediction image x (reducing discontinuity). Therefore, the high frequency component of the processing block P is suppressed based on an instruction from the control unit 19. Therefore, among the orthogonal transform coefficients input from the orthogonal transform unit 13, as shown in FIG. 2B, the absolute value of the orthogonal transform coefficient in the coefficient correction region H, which is a high frequency region, is set to a value smaller than the original value. Correct it. The number h of coefficients in the coefficient correction region H is 1 ≦ h <(k + 1) × (m + n). Then, the corrected orthogonal transform coefficient is output to the inverse orthogonal transform unit 15. A value to be corrected is preferably 0 in order to remove high frequency components. Further, the coefficient correction region H in which the orthogonal transformation is corrected may be a square shape or a rectangular shape as shown in FIG.

係数修正部１４は、後述する繰り返し処理によりｎ回目の処理を行う場合には、最高次の直交変換係数から順にｈｎ個の直交変換係数の絶対値を元の値よりも小さい値に修正する。ここで、係数修正領域Ｈを所定の値に修正するという制約条件を徐々に緩和させるために、処理を繰り返すごとに繰り返し後の係数修正領域Ｈの面積を繰り返し前の面積以下とし、ｈ１≧ｈ２≧…≧ｈｎとするのが好適である。 The coefficient correction unit 14 corrects the absolute values of the h n orthogonal transform coefficients in order from the highest order orthogonal transform coefficient to a value smaller than the original value when the n-th process is performed by an iterative process described later. . Here, in order to gradually relax the constraint condition that the coefficient correction region H is corrected to a predetermined value, the area of the coefficient correction region H after the repetition is made equal to or less than the area before the repetition each time the processing is repeated, and h 1 ≧ It is preferable that h 2 ≧... ≧ h n .

逆直交変換部１５は、係数修正部１４から入力される修正された直交変換係数に対し、逆直交変換を行って画像を生成し、この画像を分岐部１６に出力する。   The inverse orthogonal transform unit 15 performs an inverse orthogonal transform on the modified orthogonal transform coefficient input from the coefficient modification unit 14 to generate an image, and outputs the image to the branching unit 16.

分岐部１６は、制御部１９の指示に基づき、後述する画像の修正、及び上記の直交変換、直交変換係数の修正、逆直交変換という一連の処理を繰り返すか否かを判定する。例えば、繰り返し回数が所定の回数以下の場合には、繰り返し処理を実行させるために、逆直交変換部１５から入力される画像を画像修正部１７に出力し、繰り返し回数が所定の回数を超えた場合には、繰り返し処理を終了して逆直交変換部１５から入力される画像を予測画像抽出部１８に出力する。   Based on an instruction from the control unit 19, the branching unit 16 determines whether or not to repeat a series of processes of image correction described later and the above-described orthogonal transform, orthogonal transform coefficient correction, and inverse orthogonal transform. For example, when the number of repetitions is less than or equal to a predetermined number, the image input from the inverse orthogonal transform unit 15 is output to the image correction unit 17 in order to execute the repetition process, and the number of repetitions exceeds the predetermined number. In this case, the iterative process is terminated and the image input from the inverse orthogonal transform unit 15 is output to the predicted image extraction unit 18.

また、分岐部１６における別の判定方法として、参照ブロックＤ，Ｂ，Ａ内の領域について、現在の画素値と繰り返し処理を行う前の元の復号済みの画像の画素値との差分値を算出し、この差分値が閾値以上の場合には繰り返し処理を実行させるために、逆直交変換部１５から入力される画像を画像修正部１７に出力し、閾値より小さい場合には繰り返し処理を終了して逆直交変換部１５から入力される画像を予測画像抽出部１８に出力するようにしてもよい。差分値を算出する対象となる参照ブロックＤ，Ｂ，Ａ内の領域は、以下に説明する、画像修正部１７で修正する画像修正領域Ｇとするのが好適である。また、この判定方法による場合でも、繰り返し回数を制限するために、繰り返しの上限回数を設けるのが好適である。   Further, as another determination method in the branching unit 16, for the regions in the reference blocks D, B, and A, a difference value between the current pixel value and the pixel value of the original decoded image before the iterative process is calculated. If the difference value is greater than or equal to the threshold value, the image input from the inverse orthogonal transform unit 15 is output to the image correction unit 17 in order to execute the repetition process. If the difference value is smaller than the threshold value, the repetition process ends. The image input from the inverse orthogonal transform unit 15 may be output to the predicted image extraction unit 18. The areas in the reference blocks D, B, and A for which the difference values are calculated are preferably image correction areas G that are corrected by the image correction unit 17 described below. Even in this determination method, it is preferable to set an upper limit number of repetitions in order to limit the number of repetitions.

画像修正部１７は、境界領域において、元の参照画像ｄ，ｂ，ａと予測画像ｘとの間に交流的な連続性をもたせるために、制御部１９の指示に基づき、分岐部１６から入力される画像を修正する。高次の直交変換係数の絶対値を元の値よりも小さい値に修正して逆直交変換を行うことにより、参照ブロックＤ，Ｂ，Ａと予測ブロックＸとの境界領域における画素値の不連続性が緩和されるが、参照ブロックＤ，Ｂ，Ａの画素値は元の値から変化している。そのため、例えば、図２（ｃ）に示すように、参照ブロックＤ，Ｂ，Ａ内のうち、予測ブロックＸに隣接する画像修正領域Ｇの画素値を、参照ブロックＤ，Ｂ，Ａの元の画素値に修正する。画像修正領域Ｇ内の画素数ｇは、１≦ｇ≦ｋ×ｍ＋ｌ×ｍ＋ｋ×ｎである。そして、画素値を修正した後の処理ブロックＰを直交変換部１３に出力する。   The image correction unit 17 is input from the branching unit 16 based on an instruction from the control unit 19 in order to provide alternating continuity between the original reference image d, b, a and the predicted image x in the boundary region. Correct the image that will be displayed. Discontinuity of pixel values in the boundary region between the reference block D, B, A and the prediction block X by correcting the absolute value of the higher-order orthogonal transform coefficient to a value smaller than the original value and performing inverse orthogonal transform However, the pixel values of the reference blocks D, B, and A are changed from the original values. Therefore, for example, as illustrated in FIG. 2C, the pixel values of the image correction region G adjacent to the prediction block X in the reference blocks D, B, and A are changed to the original values of the reference blocks D, B, and A. Correct to pixel value. The number of pixels g in the image correction area G is 1 ≦ g ≦ k × m + 1 × m + k × n. Then, the processing block P after correcting the pixel value is output to the orthogonal transform unit 13.

画像修正部１７は、繰り返し処理によりｎ回目の処理を行う場合には、参照ブロックＤ，Ｂ，Ａのうち、ｇｎ個の画素からなる画像修正領域Ｇを元の画素値に修正する。ここで、参照画像ｄ，ｂ，ａが演算により変化した場合には元の値に修正するという制約条件を徐々に緩和させるために、処理を繰り返すごとに、繰り返し後の画像修正領域Ｇの面積を繰り返し前の面積以下とし、ｇ１≧ｇ２≧…≧ｇｎとするのが好適である。 Image correcting unit 17, when performing n-th process in the iteration, see block D, B, of the A, to correct the image correction region G made of g n pixels to the original pixel values. Here, in order to gradually relax the constraint condition that the reference image d, b, a is corrected to the original value when the reference image d, b, a is changed by calculation, the area of the image correction region G after the repetition is repeated each time the processing is repeated. repeating the following previous area, it is preferable to the g 1 ≧ g 2 ≧ ... ≧ g n.

予測画像抽出部１８は、分岐部１６から入力される画像に対し、予測ブロックＸの領域の画像を抽出し、イントラ予測の予測画像とする。   The predicted image extraction unit 18 extracts an image of the region of the prediction block X from the image input from the branching unit 16 and sets it as a predicted image for intra prediction.

参照画像分析部１０は、参照画像ｄ，ｂ，ａのエッジを検出し、エッジの位置情報を制御部１９に出力する。   The reference image analysis unit 10 detects edges of the reference images d, b, and a, and outputs edge position information to the control unit 19.

図３は、イントラ予測装置１の参照画像分析に基づく制御に係る構成を示すブロック図であり、参照画像分析部１０の構成と、制御部１９の一部の構成が示されている。参照画像分析部１０は、エッジ検出部１０１を備える。エッジ検出部１０１は、参照画像ｄ，ｂ，ａ内に所定の強度を超えるエッジが含まれるかを判定し、所定の強度を超えるエッジが含まれる場合には、エッジの位置情報を生成し、制御部１９に出力する。エッジ検出の手法自体は既知であるため、説明を省略する。   FIG. 3 is a block diagram illustrating a configuration relating to control based on reference image analysis of the intra prediction apparatus 1, in which a configuration of the reference image analysis unit 10 and a partial configuration of the control unit 19 are illustrated. The reference image analysis unit 10 includes an edge detection unit 101. The edge detection unit 101 determines whether an edge exceeding a predetermined intensity is included in the reference images d, b, and a. If an edge exceeding a predetermined intensity is included, edge position information is generated, Output to the control unit 19. Since the edge detection method itself is known, description thereof is omitted.

制御部１９は、予測画像ｘの初期値を規定するパラメータ（初期値を平均値とするか又はＭＰＥＧ４ ＡＶＣ／Ｈ．２６４方式によるイントラ予測結果とするかなど）を予測画像初期値設定部１１に出力し、参照ブロック（エッジ検出された場合には修正後の参照ブロック）及び予測ブロックの領域を規定するパラメータを処理ブロック生成部１２に出力し、係数修正領域Ｈを規定するパラメータ（Ｈのサイズ）及び直交変換係数の修正値を規定するパラメータを係数修正部１４に出力し、繰り返し処理を規定するパラメータ（繰り返し回数及び／又は参照ブロックの差分値の閾値）を分岐部１６に出力し、画像修正領域Ｇを規定するパラメータ（Ｇのサイズ）を画像修正部１７に出力する。また、設定した制御パラメータを制御パラメータ伝送部２０に出力する。   The control unit 19 sets a parameter that defines an initial value of the predicted image x (whether the initial value is an average value or an intra prediction result according to the MPEG4 AVC / H.264 method) to the predicted image initial value setting unit 11. And outputs a parameter that defines the area of the reference block (corrected reference block if an edge is detected) and the prediction block to the processing block generator 12, and a parameter that defines the coefficient correction area H (size of H ) And a parameter that defines the correction value of the orthogonal transform coefficient are output to the coefficient correction unit 14, and a parameter that defines the repetition process (the number of repetitions and / or the threshold value of the reference block difference value) is output to the branching unit 16. A parameter (G size) defining the correction region G is output to the image correction unit 17. Further, the set control parameter is output to the control parameter transmission unit 20.

図３を参照するに、制御部１９は、内接領域設定部１９１と、参照領域修正部１９２とを備える。内接領域設定部１９１は、エッジ検出部１０１から入力されるエッジの位置情報に基づいて、内接領域を決定し、参照領域修正部１９２に出力する。   Referring to FIG. 3, the control unit 19 includes an inscribed area setting unit 191 and a reference area correcting unit 192. The inscribed area setting unit 191 determines an inscribed area based on the edge position information input from the edge detecting unit 101, and outputs the inscribed area to the reference area correcting unit 192.

図４は、内接領域設定部１９１による内接領域の設定を説明する図であり、参照ブロックＤ，Ｂ，Ａ内に所定の強度を超えるエッジが存在する場合を示している。エッジが存在する場合には、エッジを境界として画像の性質が変わると考えられる。そこで、参照領域修正部１９２は、参照ブロックＤ，Ｂ，Ａ内に、正方形状又は長方形状のエッジの内接領域（エッジが含まれない領域）を設定する。内接領域は面積が最大となるように設定するのが好適である。   FIG. 4 is a diagram for explaining the setting of the inscribed area by the inscribed area setting unit 191 and shows a case where an edge exceeding a predetermined intensity exists in the reference blocks D, B, and A. When an edge exists, it is considered that the property of the image changes with the edge as a boundary. Therefore, the reference area correction unit 192 sets an inscribed area (area not including an edge) of a square or rectangular edge in the reference blocks D, B, and A. The inscribed region is preferably set so that the area is maximized.

参照領域修正部１９２は、参照ブロックＤ内の内接領域を参照ブロックＤ’とし、参照ブロックＢ内の内接領域を参照ブロックＢ’とし、参照ブロックＡ内の内接領域を参照ブロックＡ’とする。そして、参照領域修正部１９２は、参照ブロックＤ’，Ｂ’，Ａ’、及び予測ブロックＸの領域を示すパラメータを処理ブロック生成部１２に出力する。処理ブロック生成部１２は、参照ブロックＤ’，Ｂ’，Ａ’と予測ブロックＸからなる処理ブロックＰ’を生成し、それ以降の処理は処理ブロックＰ’を単位に行われる。   The reference area correction unit 192 sets the inscribed area in the reference block D as the reference block D ′, the inscribed area in the reference block B as the reference block B ′, and the inscribed area in the reference block A as the reference block A ′. And Then, the reference region correction unit 192 outputs parameters indicating the regions of the reference blocks D ′, B ′, A ′ and the prediction block X to the processing block generation unit 12. The processing block generation unit 12 generates a processing block P ′ including reference blocks D ′, B ′, A ′ and a prediction block X, and the subsequent processing is performed in units of the processing block P ′.

制御パラメータ伝送部２０は、制御部１９から入力される制御パラメータを外部に伝送する。また、上述したように、予測画像初期値設定部１１が従来のＭＰＥＧ４ ＡＶＣ／Ｈ．２６４方式によるイントラ予測の結果を予測画像ｘの初期値とする場合には、従来のイントラ予測モードもパラメータ情報として伝送する必要がある。なお、予測画像ｘの初期値を規定するパラメータ、係数修正領域Ｈを規定するパラメータ、直交変換係数の修正値を規定するパラメータ、繰り返し処理を規定するパラメータ、画像修正領域Ｇを規定するパラメータを固定値とする場合には、これらのパラメータを伝送する必要がなく、制御パラメータ伝送部２０は不要となる。   The control parameter transmission unit 20 transmits the control parameters input from the control unit 19 to the outside. Further, as described above, the predicted image initial value setting unit 11 performs the conventional MPEG4 AVC / H. When the result of intra prediction by the H.264 method is used as the initial value of the predicted image x, the conventional intra prediction mode needs to be transmitted as parameter information. Note that the parameter that defines the initial value of the predicted image x, the parameter that defines the coefficient correction region H, the parameter that defines the correction value of the orthogonal transform coefficient, the parameter that defines the iterative process, and the parameter that defines the image correction region G are fixed. In the case of values, it is not necessary to transmit these parameters, and the control parameter transmission unit 20 is not necessary.

図５は、本発明による実施例１の復号側のイントラ予測装置１’の構成を示すブロック図である。復号側のイントラ予測装置１’は、符号化側のイントラ予測装置１と比較して、制御パラメータ伝送部２０を備えず、制御パラメータ受信部２１を備える点が相違する。   FIG. 5 is a block diagram illustrating a configuration of the decoding-side intra prediction device 1 ′ according to the first embodiment of the present invention. The intra prediction apparatus 1 ′ on the decoding side is different from the intra prediction apparatus 1 on the encoding side in that it does not include the control parameter transmission unit 20 but includes the control parameter reception unit 21.

制御パラメータ受信部２１は、符号化側のイントラ予測装置１の制御パラメータ伝送部２０から制御パラメータを受信し、受信した制御パラメータを制御部１９に出力する。制御部１９は、制御パラメータ受信部２１から入力される制御パラメータ及び参照画像分析部１０から入力されるエッジの位置情報に基づいて決定したパラメータを、予測画像初期値設定部１１、処理ブロック生成部１２、係数修正部１４、分岐部１６、及び画像修正部１７に設定する。なお、予測画像ｘの初期値を規定するパラメータ、参照ブロックＤ，Ｂ，Ａ及び予測ブロックＸの領域を規定するパラメータ、繰り返し処理を規定するパラメータを固定値とする場合には、制御パラメータ受信部２１は不要となる。その他の各処理部における処理は、符号化側のイントラ装置１と同様であるため、説明を省略する。   The control parameter receiving unit 21 receives control parameters from the control parameter transmission unit 20 of the intra prediction apparatus 1 on the encoding side, and outputs the received control parameters to the control unit 19. The control unit 19 determines the parameters determined based on the control parameters input from the control parameter receiving unit 21 and the edge position information input from the reference image analysis unit 10, the predicted image initial value setting unit 11, the processing block generation unit 12, the coefficient correction unit 14, the branching unit 16, and the image correction unit 17 are set. In addition, when the parameter that defines the initial value of the predicted image x, the parameter that defines the areas of the reference blocks D, B, and A and the predicted block X, and the parameter that defines the repetition process are fixed values, the control parameter receiving unit 21 becomes unnecessary. The processing in each of the other processing units is the same as that of the intra device 1 on the encoding side, and thus description thereof is omitted.

復号側のイントラ予測装置１’においても、符号化側のイントラ予測装置１と同様に、参照画像分析部１０により参照画像を分析するため、符号化側からの伝送情報量を増加させることなく、画像に適したパラメータ設定を行うことができる。   Even in the intra prediction apparatus 1 ′ on the decoding side, in the same manner as the intra prediction apparatus 1 on the encoding side, the reference image analysis unit 10 analyzes the reference image, so that the amount of transmission information from the encoding side is not increased. Parameter settings suitable for the image can be performed.

［イントラ予測装置の動作］
次に、イントラ予測装置の動作を、図６を参照して説明する。図６は、本発明による実施例１のイントラ予測装置１（１’）の動作を示すフローチャートである。 [Operation of intra prediction device]
Next, the operation of the intra prediction apparatus will be described with reference to FIG. FIG. 6 is a flowchart showing the operation of the intra prediction device 1 (1 ′) according to the first embodiment of the present invention.

ステップＳ１０１にて、参照画像分析部１０により、参照画像ｄ，ｂ，ａにエッジが含まれるかを分析する。   In step S101, the reference image analysis unit 10 analyzes whether the reference images d, b, and a include an edge.

ステップＳ１０２にて、予測画像初期値設定部１１により、予測画像ｘの初期値を求め、予測ブロックＸに設定する。   In step S102, the predicted image initial value setting unit 11 obtains an initial value of the predicted image x and sets it to the predicted block X.

ステップＳ１０３にて、処理ブロック生成部１２により、ステップＳ１０１の分析により参照画像ｄ，ｂ，ａにエッジが含まれない場合には、参照ブロックＤ，Ｂ，Ａと、初期値が設定された予測ブロックＸとからなる処理ブロックＰを生成し、テップＳ１０１の分析により参照画像ｄ，ｂ，ａにエッジが含まれる場合には、参照ブロックＤ’，Ｂ’，Ａ’と、初期値が設定された予測ブロックＸとからなる処理ブロックＰ’を生成する。   In step S103, when the processing block generation unit 12 does not include an edge in the reference images d, b, and a by the analysis in step S101, the reference blocks D, B, and A and the prediction in which the initial value is set are set. When a processing block P composed of the block X is generated and an edge is included in the reference images d, b, a by the analysis of the step S101, reference blocks D ′, B ′, A ′ and initial values are set. A processing block P ′ composed of the predicted block X is generated.

ステップＳ１０４にて、直交変換部１３により、ステップＳ１０３で生成した処理ブロックＰの画像に対して直交変換を行い、直交変換係数を導出する。   In step S104, the orthogonal transform unit 13 performs orthogonal transform on the image of the processing block P generated in step S103 to derive orthogonal transform coefficients.

ステップＳ１０５にて、係数修正部１４により、ステップＳ１０４で導出した直交変換係数のうち、最高次のものから順にｈ個の直交変換係数を０に修正する。   In step S105, the coefficient correction unit 14 corrects h orthogonal transform coefficients to 0 in order from the highest order among the orthogonal transform coefficients derived in step S104.

ステップＳ１０６にて、逆直交変換部１５により、ステップＳ１０５で修正した直交変換係数に対して逆直交変換を行い、画像を生成する。   In step S106, the inverse orthogonal transform unit 15 performs inverse orthogonal transform on the orthogonal transform coefficient corrected in step S105 to generate an image.

ステップＳ１０７にて、分岐部１６により、ステップＳ１０４からステップＳ１０６の処理が所定回数繰り返して行われたか否かを判定する。繰り返しが所定回数に達していないと判定した場合には処理をステップＳ１０８に進め、繰り返しが所定回数に達していると判定した場合には処理をステップＳ１０９に進める。なお、判定方法は、上述したように閾値を判定する方法であってもよい。   In step S107, the branching unit 16 determines whether or not the processing from step S104 to step S106 has been repeated a predetermined number of times. If it is determined that the repetition has not reached the predetermined number of times, the process proceeds to step S108, and if it is determined that the repetition has reached the predetermined number of times, the process proceeds to step S109. Note that the determination method may be a method of determining a threshold value as described above.

ステップＳ１０８にて、画像修正部１７により、ステップＳ１０６で生成した画像に対して、参照ブロックＤ，Ｂ，Ａのうち予測ブロックＸに隣接するｇ個の画素値を、元の参照画素値に修正し、処理をステップＳ１０３に戻す。   In step S108, the image correction unit 17 corrects g pixel values adjacent to the prediction block X among the reference blocks D, B, and A to the original reference pixel values for the image generated in step S106. Then, the process returns to step S103.

ステップＳ１０９にて、予測画像抽出部１８により、ステップＳ１０６で生成した画像に対して、予測ブロックＸの領域の画像を抽出して予測画像を生成する。   In step S109, the predicted image extracting unit 18 extracts a region of the predicted block X from the image generated in step S106 to generate a predicted image.

［符号化器及び復号器］
図７は、本発明による実施例１のイントラ予測装置１を備える符号化器２の構成を示すブロック図である。符号器２は、従来のＭＰＥＧ４ ＡＶＣ／Ｈ．２６４方式の符号器（図１０参照）におけるイントラ予測部に代えて、本発明によるイントラ予測装置１を備える。イントラ予測装置１は、逆量子化部３５及び逆直交変換部３６を経て既符号化ブロックを復号した画像を参照画像分析部１０、予測画像初期値設定部１１、処理ブロック生成部１２、及び画像修正部１７に入力し、生成した予測画像ｘを切替えスイッチ３７を介して減算部３１及び加算部４１に出力する。制御パラメータ伝送部２０は、設定した制御パラメータを可変長符号化部３４に出力する。 [Encoder and decoder]
FIG. 7 is a block diagram illustrating a configuration of the encoder 2 including the intra prediction device 1 according to the first embodiment of the present invention. The encoder 2 is a conventional MPEG4 AVC / H. An intra prediction apparatus 1 according to the present invention is provided instead of the intra prediction unit in the H.264 encoder (see FIG. 10). The intra prediction apparatus 1 uses a reference image analysis unit 10, a predicted image initial value setting unit 11, a processing block generation unit 12, and an image obtained by decoding an already-encoded block via an inverse quantization unit 35 and an inverse orthogonal transform unit 36. The prediction image x that has been input to the correction unit 17 and generated is output to the subtraction unit 31 and the addition unit 41 via the changeover switch 37. The control parameter transmission unit 20 outputs the set control parameter to the variable length coding unit 34.

図８は、本発明による実施例１の復号側のイントラ予測装置１’を備える復号器３の構成を示すブロック図である。復号器３は、可変長復号部５１と、逆量子化部５２と、逆直交変換部５３と、加算部５４と、イントラ予測装置１’と、フレームメモリ５５と、動き補償予測部５６と、切替えスイッチ５７とを備える。復号器３は、従来のＭＰＥＧ４ ＡＶＣ／Ｈ．２６４方式の復号器のイントラ予測部に代えて、本発明によるイントラ予測装置１’を備える。   FIG. 8 is a block diagram illustrating a configuration of the decoder 3 including the decoding-side intra prediction device 1 ′ according to the first embodiment of the present invention. The decoder 3 includes a variable length decoding unit 51, an inverse quantization unit 52, an inverse orthogonal transform unit 53, an addition unit 54, an intra prediction device 1 ′, a frame memory 55, a motion compensation prediction unit 56, And a changeover switch 57. The decoder 3 is a conventional MPEG4 AVC / H. Instead of the intra prediction unit of the H.264 decoder, an intra prediction device 1 ′ according to the present invention is provided.

可変長復号部５１は、フレーム間予測で符号化されたビットストリームを入力して、可変長復号処理を施し逆量子化部５２に出力するとともに、動きベクトルの情報を復号して動き補償予測部５６に出力する。さらに、符号化器側から制御パラメータ情報が伝送された場合には、制御パラメータ情報を復号して制御パラメータ受信部２１に出力する。   The variable length decoding unit 51 receives a bit stream encoded by inter-frame prediction, performs variable length decoding processing, outputs the bit stream to the inverse quantization unit 52, and decodes motion vector information to perform motion compensation prediction unit To 56. Further, when control parameter information is transmitted from the encoder side, the control parameter information is decoded and output to the control parameter receiving unit 21.

逆量子化部５２は、可変長復号部５１から入力される量子化された直交変換係数に対して逆量子化処理を施して、動き補償した差分画像の直交変換係数を取得し、逆直交変換部５３に出力する。   The inverse quantization unit 52 performs an inverse quantization process on the quantized orthogonal transform coefficient input from the variable length decoding unit 51 to obtain an orthogonal transform coefficient of the motion compensated difference image, and performs an inverse orthogonal transform To the unit 53.

逆直交変換部５３は、逆量子化部５２から入力される差分画像の直交変換係数に対して、逆直交変換（例えば、ＩＤＣＴ）を施し、得られる当該差分画像を加算部５４に出力する。   The inverse orthogonal transform unit 53 performs inverse orthogonal transform (for example, IDCT) on the orthogonal transform coefficient of the difference image input from the inverse quantization unit 52, and outputs the obtained difference image to the addition unit 54.

加算部５４は、逆直交変換部５３から得られる当該差分画像と、動き補償予測部５６から入力される予測画像又はイントラ予測装置１’から入力される予測画像ｘとを加算して画像を復元し、イントラ予測装置１、フレームメモリ５５、及び外部に出力する。   The adding unit 54 restores the image by adding the difference image obtained from the inverse orthogonal transform unit 53 and the predicted image input from the motion compensated prediction unit 56 or the predicted image x input from the intra prediction device 1 ′. And output to the intra prediction device 1, the frame memory 55, and the outside.

動き補償予測部５６は、フレームメモリ５５から得られる参照画像と可変長復号部５１から得られる動きベクトルとを用いて予測画像を生成し、切替えスイッチ５７を介して加算部５４に出力する。   The motion compensation prediction unit 56 generates a prediction image using the reference image obtained from the frame memory 55 and the motion vector obtained from the variable length decoding unit 51, and outputs the prediction image to the addition unit 54 via the changeover switch 57.

イントラ予測装置１’は、逆量子化部５２及び逆直交変換部５３を経て復号した画像を入力し、上述したように、予測画像初期値設定部１１、処理ブロック生成部１２、直交変換部１３、係数修正部１４、逆直交変換部１５、分岐部１６、画像修正部１７、予測画像抽出部１８、及び制御部１９により予測画像ｘを生成し、この予測画像ｘを切替えスイッチ５７を介して加算部５４に出力する。   The intra prediction apparatus 1 ′ receives an image decoded through the inverse quantization unit 52 and the inverse orthogonal transform unit 53, and as described above, the predicted image initial value setting unit 11, the processing block generation unit 12, and the orthogonal transform unit 13 are input. The coefficient correction unit 14, the inverse orthogonal transform unit 15, the branching unit 16, the image correction unit 17, the predicted image extraction unit 18, and the control unit 19 generate a predicted image x, and the predicted image x is switched via the changeover switch 57. The result is output to the adder 54.

このように、実施例１のイントラ予測装置１によれば、参照画像ｄ，ｂ，ａにエッジが含まれている場合には参照ブロックＤ，Ｂ，Ａのサイズを修正することにより、参照画像ｄ，ｂ，ａにエッジが含まれている場合でも適切な予測画像ｘを生成することができるようになる。   Thus, according to the intra prediction apparatus 1 of Example 1, when the reference images d, b, and a include edges, the reference images are corrected by correcting the sizes of the reference blocks D, B, and A. Even when edges are included in d, b, and a, an appropriate predicted image x can be generated.

次に、本発明による実施例２のイントラ予測装置１について説明する。実施例１と同じ構成要素には同一の参照番号を付して説明を省略する。実施例２のイントラ予測装置１は、実施例１のイントラ予測装置１と比較して、制御部１９の参照画像分析部１０から入力される信号に基づく処理のみが相違する。   Next, the intra prediction apparatus 1 of Example 2 by this invention is demonstrated. The same components as those in the first embodiment are denoted by the same reference numerals, and description thereof is omitted. The intra prediction apparatus 1 according to the second embodiment is different from the intra prediction apparatus 1 according to the first embodiment only in processing based on a signal input from the reference image analysis unit 10 of the control unit 19.

図９は、実施例２のイントラ予測装置１の参照画像分析に基づく制御に係る構成を示すブロック図であり、参照画像分析部１０の構成と、制御部１９の一部の構成が示されている。参照画像分析部１０はエッジ検出部１０１を備え、制御部１９は内接領域設定部１９１と、係数修正領域制御部１９３と、画像修正領域制御部１９４とを備える。   FIG. 9 is a block diagram illustrating a configuration related to control based on reference image analysis of the intra prediction apparatus 1 according to the second embodiment, in which a configuration of the reference image analysis unit 10 and a partial configuration of the control unit 19 are illustrated. Yes. The reference image analysis unit 10 includes an edge detection unit 101, and the control unit 19 includes an inscribed region setting unit 191, a coefficient correction region control unit 193, and an image correction region control unit 194.

直交変換を行う単位となる処理ブロックＰのサイズが変動すると、演算処理の負担が増大する。そこで、実施例２のイントラ予測装置１では、実施例１のイントラ予測装置１と異なり、参照ブロックＤ，Ｂ，Ａのサイズは変更せず、その代わりに係数修正領域Ｈ及び画像修正領域Ｇを修正する。   When the size of the processing block P, which is a unit for performing orthogonal transformation, varies, the burden of arithmetic processing increases. Therefore, in the intra prediction apparatus 1 according to the second embodiment, unlike the intra prediction apparatus 1 according to the first embodiment, the sizes of the reference blocks D, B, and A are not changed. Instead, the coefficient correction area H and the image correction area G are set. Correct it.

具体的には、画像修正領域制御部１９４は、内接領域設定部１９１により内接領域が設定された場合には、画素修正領域Ｇを内接領域から予測ブロックＸを除いた領域とするようにパラメータを決定し、画像修正部１７に出力する。   Specifically, when the inscribed area is set by the inscribed area setting unit 191, the image correction area control unit 194 sets the pixel corrected area G as an area obtained by removing the prediction block X from the inscribed area. The parameters are determined and output to the image correction unit 17.

また、参照画像ｄ，ｂ，ａにエッジが存在する場合には、エッジを境界として画像の不連続が生じているため、処理ブロックＰの画像を直交変換すると高次の直交変換係数が現れることになる。そこで、係数修正領域制御部１９３は、内接領域設定部１９１により内接領域が設定された場合には、内接領域が設定されない場合と比較して、係数修正領域Ｈが小さくなるようにパラメータを決定し、係数修正部１４に出力する。   In addition, when there are edges in the reference images d, b, and a, discontinuity of the image occurs around the edges, and therefore, when the image of the processing block P is orthogonally transformed, a higher-order orthogonal transformation coefficient appears. become. Therefore, the coefficient correction area control unit 193 sets the parameter so that the coefficient correction area H becomes smaller when the inscribed area is set by the inscribed area setting section 191 than when the inscribed area is not set. Is output to the coefficient correction unit 14.

なお、パラメータは係数修正領域Ｈや画像修正領域Ｇのサイズそのものでなく、予め繰り返し回数ごとに設定された標準のサイズに対する増減値としてもよい。   Note that the parameter may not be the size itself of the coefficient correction area H or the image correction area G, but may be an increase / decrease value with respect to the standard size set for each repetition count.

このように、実施例２のイントラ予測装置１によれば、参照画像ｄ，ｂ，ａにエッジが含まれている場合には係数修正領域Ｈや画像修正領域Ｇのサイズを修正することにより、処理ブロックＰのサイズを変えることなく、適切な予測画像ｘを生成することができるようになる。   Thus, according to the intra prediction apparatus 1 of Example 2, when the edge is included in the reference images d, b, and a, by correcting the sizes of the coefficient correction region H and the image correction region G, An appropriate predicted image x can be generated without changing the size of the processing block P.

ここで、符号化側のイントラ予測装置１として機能させるために、コンピュータを好適に用いることができ、コンピュータに、ＣＰＵによって所定のプログラムを実行させることにより、参照画像分析部１０と、予測画像初期値設定部１１と、処理ブロック生成部１２と、直交変換部１３と、係数修正部１４と、逆直交変換部１５と、分岐部１６と、画像修正部１７と、予測画像抽出部１８と、制御部１９と、制御パラメータ伝送部２０の有する機能を実現させることができる。   Here, in order to function as the intra prediction apparatus 1 on the encoding side, a computer can be preferably used, and by causing the computer to execute a predetermined program by the CPU, the reference image analysis unit 10 and the predicted image initial stage A value setting unit 11, a processing block generation unit 12, an orthogonal transformation unit 13, a coefficient modification unit 14, an inverse orthogonal transformation unit 15, a branching unit 16, an image modification unit 17, a predicted image extraction unit 18, The functions of the control unit 19 and the control parameter transmission unit 20 can be realized.

同様に、復号側のイントラ予測装置１’として機能させるために、コンピュータを好適に用いることができ、コンピュータに、ＣＰＵによって所定のプログラムを実行させることにより、予測画像初期値設定部１１と、処理ブロック生成部１２と、直交変換部１３と、係数修正部１４と、逆直交変換部１５と、分岐部１６と、画像修正部１７と、予測画像抽出部１８と、制御部１９と、制御パラメータ受信部２１の有する機能を実現させることができる。   Similarly, in order to function as the intra prediction apparatus 1 ′ on the decoding side, a computer can be suitably used. By causing the computer to execute a predetermined program, the predicted image initial value setting unit 11 and the processing are performed. Block generation unit 12, orthogonal transformation unit 13, coefficient modification unit 14, inverse orthogonal transformation unit 15, branching unit 16, image modification unit 17, predicted image extraction unit 18, control unit 19, and control parameters The function of the receiving unit 21 can be realized.

同様に、符号化器２として機能させるために、コンピュータを好適に用いることができ、コンピュータに、ＣＰＵによって所定のプログラムを実行させることにより、符号側のイントラ予装置１と、減算部３１と、直交変換部３２と、量子化部３３と、可変長符号化部３４と、逆量子化部３５と、逆直交変換部３６と、切替えスイッチ３７とフレームメモリ３９と、動き補償予測部４０と、加算部４１の有する機能を実現させることができる。   Similarly, in order to function as the encoder 2, a computer can be suitably used. By causing the computer to execute a predetermined program by the CPU, the code-side intra prediction device 1, the subtracting unit 31, An orthogonal transform unit 32, a quantization unit 33, a variable length coding unit 34, an inverse quantization unit 35, an inverse orthogonal transform unit 36, a changeover switch 37, a frame memory 39, a motion compensation prediction unit 40, The function of the adding unit 41 can be realized.

同様に、復号器３として機能させるために、コンピュータを好適に用いることができ、コンピュータに、ＣＰＵによって所定のプログラムを実行させることにより、復号側のイントラ予測装置１と、可変長復号部５１と、逆量子化部５２と、逆直交変換部５３と、加算部５４と、フレームメモリ５５と、動き補償予測部５６と、切替えスイッチ５７の有する各機能を実現させることができる。   Similarly, in order to function as the decoder 3, a computer can be suitably used. By causing the computer to execute a predetermined program, the intra prediction device 1 on the decoding side, the variable length decoding unit 51, The functions of the inverse quantization unit 52, the inverse orthogonal transform unit 53, the addition unit 54, the frame memory 55, the motion compensation prediction unit 56, and the changeover switch 57 can be realized.

上述の実施例は、代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。従って、本発明は、上述の実施例によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、イントラ予測を行う際に、画像に応じて上述した方式による予測と従来のＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４方式による予測とを切替える、又は両方式による予測画像を生成して符号化効率の良い予測画像を判定して出力するようにしてもよい。   Although the above embodiments have been described as representative examples, it will be apparent to those skilled in the art that many changes and substitutions can be made within the spirit and scope of the invention. Therefore, the present invention should not be construed as being limited by the above-described embodiments, and various modifications and changes can be made without departing from the scope of the claims. For example, when performing intra prediction, prediction based on the above-described method and conventional MPEG-4 AVC / H. The prediction by the H.264 system may be switched, or a prediction image by both methods may be generated to determine and output a prediction image with good coding efficiency.

このように、本発明によれば、様々な画像に対して適したイントラ予測が可能となるので、画像を符号化又は復号する任意の用途に有用である。   As described above, according to the present invention, it is possible to perform intra prediction suitable for various images, which is useful for any application for encoding or decoding an image.

１，１’ イントラ予測装置
１０ 参照画像分析部
１１ 予測画像初期値設定部
１２ 処理ブロック生成部
１３ 直交変換部
１４ 係数修正部
１５ 逆直交変換部
１６ 分岐部
１７ 画像修正部
１８ 予測画像抽出部
１９ 制御部
２０ 制御パラメータ伝送部
２１ 制御パラメータ受信部
１０１ エッジ検出部
１９１ 内接領域設定部
１９２ 参照領域修正部
１９３ 係数修正領域制御部
１９４ 画像修正領域制御部
２ 符号化器
３ 復号器 1, 1 ′ Intra Prediction Device 10 Reference Image Analysis Unit 11 Predicted Image Initial Value Setting Unit 12 Processing Block Generation Unit 13 Orthogonal Transform Unit 14 Coefficient Correction Unit 15 Inverse Orthogonal Transform Unit 16 Branching Unit 17 Image Correction Unit 18 Predictive Image Extraction Unit 19 Control unit 20 Control parameter transmission unit 21 Control parameter reception unit 101 Edge detection unit 191 Inscribed region setting unit 192 Reference region modification unit 193 Coefficient modification region control unit 194 Image modification region control unit 2 Encoder 3 Decoder

Claims (10)

予測ブロックに隣接する復号済みの参照ブロックの画像から、予測ブロックの予測画像を生成するイントラ予測装置であって、
予測画像の初期値を予測ブロックに設定する予測画像初期値設定部と、
参照ブロックと前記初期値が設定された予測ブロックからなる処理ブロックを生成する処理ブロック生成部と、
前記処理ブロックの画像に対して直交変換を行って直交変換係数を生成する直交変換部と、
前記直交変換部によって生成された直交変換係数の絶対値を、高周波領域において元の値よりも小さい値に修正する係数修正部と、
前記修正された直交変換係数に対して逆直交変換を行って画像を生成する逆直交変換部と、
前記逆直交変換部によって生成された画像のうち、前記参照ブロック内の画像領域を元の復号済みの画像の画素値に修正し、該修正した画像を前記直交変換部に供給する画像修正部と、
前記逆直交変換部によって生成された画像から予測ブロックの画像を抽出して予測画像を生成する予測画像抽出部と、
前記画像修正部、前記直交変換部、前記係数修正部、及び前記逆直交変換部による一連の処理の繰り返しを終了する所定の条件を満たすか否かを判定し、該所定の条件を満たしていないと判定した場合には、該一連の処理を繰り返し実行させるために前記逆直交変換部によって生成された画像を前記画像修正部に供給し、該所定の条件を満たしていると判定した場合には、該一連の処理の繰り返しを終了して前記逆直交変換部によって生成された画像を前記予測画像抽出部に供給する分岐部と、
前記参照ブロックの画像のエッジを検出するエッジ検出部と、
前記エッジ検出部の検出結果に基づいて前記予測画像の生成を制御する制御部と、
を備えることを特徴とするイントラ予測装置。 An intra prediction device that generates a prediction image of a prediction block from an image of a decoded reference block adjacent to the prediction block,
A predicted image initial value setting unit that sets an initial value of the predicted image in a predicted block;
A processing block generation unit that generates a processing block including a reference block and a prediction block in which the initial value is set;
An orthogonal transform unit that performs orthogonal transform on the image of the processing block to generate an orthogonal transform coefficient;
A coefficient correction unit that corrects the absolute value of the orthogonal transform coefficient generated by the orthogonal transform unit to a value smaller than the original value in a high-frequency region;
An inverse orthogonal transform unit that generates an image by performing inverse orthogonal transform on the modified orthogonal transform coefficient;
An image correcting unit that corrects an image area in the reference block of the image generated by the inverse orthogonal transform unit to a pixel value of an original decoded image, and supplies the corrected image to the orthogonal transform unit; ,
A predicted image extraction unit that extracts a predicted block image from the image generated by the inverse orthogonal transform unit and generates a predicted image;
It is determined whether or not a predetermined condition for ending the repetition of a series of processes by the image correction unit, the orthogonal transform unit, the coefficient correction unit, and the inverse orthogonal transform unit is satisfied, and the predetermined condition is not satisfied In the case where it is determined that the image generated by the inverse orthogonal transform unit is supplied to the image correction unit in order to repeatedly execute the series of processing, and it is determined that the predetermined condition is satisfied A branching unit that finishes repeating the series of processes and supplies the image generated by the inverse orthogonal transform unit to the predicted image extraction unit;
An edge detector for detecting an edge of the image of the reference block;
A control unit that controls generation of the predicted image based on a detection result of the edge detection unit;
An intra prediction apparatus comprising: 前記エッジ検出部は、前記参照ブロックの画像にエッジが含まれるかを判定し、エッジが含まれる場合にはエッジの位置情報を生成し、
前記制御部は、前記エッジの位置情報に基づいて、前記処理ブロック生成部が生成する参照ブロックのサイズを決定することを特徴とする、請求項１に記載のイントラ予測装置。 The edge detection unit determines whether an edge is included in the image of the reference block, and generates an edge position information when the edge is included,
The intra prediction apparatus according to claim 1, wherein the control unit determines a size of a reference block generated by the processing block generation unit based on position information of the edge. 前記エッジ検出部は、前記参照ブロックの画像にエッジが含まれるかを判定し、エッジが含まれる場合にはエッジの位置情報を生成し、
前記制御部は、前記処理ブロック生成部が生成する参照ブロックのサイズを変更せずに、前記エッジの位置情報に基づいて、前記画像修正部が画素値を修正する画像領域を決定することを特徴とする、請求項１に記載のイントラ予測装置。 The edge detection unit determines whether an edge is included in the image of the reference block, and generates an edge position information when the edge is included,
The control unit determines an image region in which the image correction unit corrects a pixel value based on the position information of the edge without changing the size of the reference block generated by the processing block generation unit. The intra prediction apparatus according to claim 1. 前記制御部は、前記エッジ検出部が前記エッジを検出した場合には、前記エッジを検出しなかった場合に比べて、前記係数修正部が直交変換係数を修正する高周波領域が小さくなるように決定することを特徴とする、請求項３に記載のイントラ予測装置。   The controller determines that the high-frequency region in which the coefficient correction unit corrects the orthogonal transform coefficient is smaller when the edge detection unit detects the edge than when the edge detection unit does not detect the edge. The intra prediction apparatus according to claim 3, wherein: 前記係数修正部は、前記直交変換部によって生成した直交変換係数の絶対値を、最高次の直交変換係数を含む高周波領域において元の値よりも小さい値に修正し、前記繰り返し実行するたびに、直交変換係数を修正する高周波領域の面積を繰り返し前の面積以下とすることを特徴とする、請求項１から４のいずれか一項に記載のイントラ予測装置。   The coefficient correction unit corrects the absolute value of the orthogonal transformation coefficient generated by the orthogonal transformation unit to a value smaller than the original value in a high frequency region including the highest-order orthogonal transformation coefficient, and each time it is repeatedly executed, The intra prediction apparatus according to any one of claims 1 to 4, wherein an area of the high-frequency region for correcting the orthogonal transform coefficient is set to be equal to or smaller than an area before the repetition. 前記画像修正部は、前記参照ブロック内であって前記予測ブロックに隣接する画像を含む画像領域を元の復号済みの画像の画素値に修正し、前記繰り返し実行するたびに、画素値を修正する画像領域の面積を繰り返し前の面積以下とすることを特徴とする、請求項１から５のいずれか一項に記載のイントラ予測装置。   The image correction unit corrects an image area including an image adjacent to the prediction block in the reference block to a pixel value of an original decoded image, and corrects the pixel value each time the execution is repeated. The intra prediction apparatus according to claim 1, wherein an area of the image region is equal to or less than an area before repetition. 前記一連の処理の繰り返しを終了する所定の条件は、該一連の処理の回数が所定回数以上、又は該一連の処理後の参照ブロックの画像と該一連の処理を行う前の参照ブロックの画像との画素値の差が所定の閾値以下であることを特徴とする、請求項１から６のいずれか一項に記載のイントラ予測装置。   The predetermined condition for terminating the repetition of the series of processes is that the number of the series of processes is equal to or greater than the predetermined number, or an image of the reference block after the series of processes and an image of the reference block before the series of processes are performed. The intra prediction apparatus according to claim 1, wherein the difference between the pixel values is equal to or less than a predetermined threshold value. 請求項１から７のいずれか一項に記載のイントラ予測装置を備えることを特徴とする符号化器。   The encoder provided with the intra prediction apparatus as described in any one of Claim 1 to 7. 請求項１から７のいずれか一項に記載のイントラ予測装置を備えることを特徴とする復号器。   A decoder comprising the intra prediction device according to any one of claims 1 to 7. 予測ブロックに隣接する復号済みの参照ブロックの画像から、予測ブロックの予測画像を生成するイントラ予測装置として機能するコンピュータに、
（ａ）参照ブロックの画像のエッジを検出するステップと、
（ｂ）予測画像の初期値を予測ブロックに設定するステップと、
（ｃ）前記参照ブロックと前記初期値が設定された予測ブロックからなる処理ブロックを生成するステップと、
（ｄ）前記処理ブロックの画像に対して直交変換を行って直交変換係数を生成するステップと、
（ｅ）前記ステップ（ｄ）によって生成された直交変換係数の絶対値を、高周波領域において元の値よりも小さい値に修正するステップと、
（ｆ）前記ステップ（ｅ）によって修正された直交変換係数に対して逆直交変換を行って画像を生成するステップと、
（ｇ）前記ステップ（ｄ）からステップ（ｆ）の一連の処理の繰り返しを終了する所定の条件を満たすか否かを判定するステップと、
（ｈ）前記ステップ（ｇ）により、前記所定の条件を満たしていないと判定した場合には、前記ステップ（ｆ）によって生成された画像のうち、前記参照ブロック内の画像領域を、元の復号済みの画像の画素値に修正し、前記ステップ（ｄ）から当該ステップ（ｇ）を繰り返し行うステップと、
（ｉ）前記ステップ（ｇ）により、前記所定の条件を満たしていると判定した場合には、前記一連の処理の繰り返しを終了して前記ステップ（ｆ）によって生成された画像から予測ブロックの画像を抽出して予測画像を生成するステップと、
（ｊ）前記ステップ（ａ）によって得られたエッジを含まないように、前記ステップ（ｈ）において画素値を修正する画像領域を決定するステップと、
を実行させるためのプログラム。 A computer functioning as an intra prediction device that generates a predicted image of a prediction block from an image of a decoded reference block adjacent to the prediction block,
(A) detecting an edge of the image of the reference block;
(B) setting an initial value of the predicted image in the predicted block;
(C) generating a processing block including the reference block and a prediction block in which the initial value is set;
(D) performing orthogonal transform on the image of the processing block to generate orthogonal transform coefficients;
(E) correcting the absolute value of the orthogonal transform coefficient generated by the step (d) to a value smaller than the original value in a high-frequency region;
(F) performing an inverse orthogonal transform on the orthogonal transform coefficient modified in the step (e) to generate an image;
(G) determining whether or not a predetermined condition for ending the repetition of a series of processes from step (d) to step (f) is satisfied;
(H) If it is determined in step (g) that the predetermined condition is not satisfied, the image region in the reference block is decoded from the image generated in step (f). Correcting the pixel value of the completed image and repeating the step (g) from the step (d);
(I) When it is determined in step (g) that the predetermined condition is satisfied, the series of processing is terminated and the predicted block image is generated from the image generated in step (f). Extracting a prediction image to generate a prediction image;
(J) determining an image region in which the pixel value is corrected in the step (h) so as not to include the edge obtained in the step (a);
A program for running
JP2010267114A 2010-11-30 2010-11-30 Intra prediction apparatus, encoder, decoder, and program Expired - Fee Related JP5542636B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010267114A JP5542636B2 (en) 2010-11-30 2010-11-30 Intra prediction apparatus, encoder, decoder, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010267114A JP5542636B2 (en) 2010-11-30 2010-11-30 Intra prediction apparatus, encoder, decoder, and program

Publications (2)

Publication Number Publication Date
JP2012119892A true JP2012119892A (en) 2012-06-21
JP5542636B2 JP5542636B2 (en) 2014-07-09

Family

ID=46502261

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010267114A Expired - Fee Related JP5542636B2 (en) 2010-11-30 2010-11-30 Intra prediction apparatus, encoder, decoder, and program

Country Status (1)

Country Link
JP (1) JP5542636B2 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007523512A (en) * 2003-10-24 2007-08-16 ソニー エレクトロニクス インク Optimal space-time conversion to suppress the quantization noise propagation phenomenon
WO2009090884A1 (en) * 2008-01-18 2009-07-23 Panasonic Corporation Image encoding method and image decoding method
WO2009110753A2 (en) * 2008-03-05 2009-09-11 Samsung Electronics Co., Ltd. Method and apparatus for image intra prediction
JP5174062B2 (en) * 2010-03-05 2013-04-03 日本放送協会 Intra prediction apparatus, encoder, decoder, and program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007523512A (en) * 2003-10-24 2007-08-16 ソニー エレクトロニクス インク Optimal space-time conversion to suppress the quantization noise propagation phenomenon
WO2009090884A1 (en) * 2008-01-18 2009-07-23 Panasonic Corporation Image encoding method and image decoding method
WO2009110753A2 (en) * 2008-03-05 2009-09-11 Samsung Electronics Co., Ltd. Method and apparatus for image intra prediction
JP5174062B2 (en) * 2010-03-05 2013-04-03 日本放送協会 Intra prediction apparatus, encoder, decoder, and program

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CSNJ201010090096; 杉本和夫　他: '高解像度映像に対する超高圧縮符号化方式の開発' ＦＩＴ２０１０（第９回情報科学技術フォーラム）講演論文集　第３分冊 Ｉ-０２９, 20100820, ｐｐ．３０９-３１０, 社団法人電子情報通信学会 *
JPN6014006893; Ｋａｚｕｈｉｓａ　Ｉｇｕｃｈｉ　ｅｔ　ａｌ．: 'Ｐｅｒｆｏｒｍａｎｃｅ　ｒｅｐｏｒｔ　ｏｆ　Ｉｔｅｒａｔｉｖｅ　Ａｄｊｕｓｔｍｅｎｔ　Ｉｎｔｒａ　Ｐｒｅｄｉｃｔｉｏｎ' Ｊｏｉｎｔ　Ｃｏｌｌａｂｏｒａｔｉｖｅ　Ｔｅａｍ　ｏｎ　Ｖｉｄｅｏ　Ｃｏｄｉｎｇ　（ＪＣＴ-ＶＣ）　ｏｆ　ＩＴＵ-Ｔ　ＳＧ１６　ＷＰ３　ａｎｄ　ＩＳＯ／ＩＥＣ　ＪＴＣ１／ＳＣ２９／ＷＧ１１ ＪＣＴＶＣ-Ｂ０２７, 201007, ｐｐ．１-４, ２ｎｄ　Ｍｅｅｔｉｎｇ：　Ｇｅｎｅｖａ，　ＣＨ *
JPN6014006894; 杉本和夫　他: '高解像度映像に対する超高圧縮符号化方式の開発' ＦＩＴ２０１０（第９回情報科学技術フォーラム）講演論文集　第３分冊 Ｉ-０２９, 20100820, ｐｐ．３０９-３１０, 社団法人電子情報通信学会 *

Also Published As

Publication number Publication date
JP5542636B2 (en) 2014-07-09

Similar Documents

Publication Publication Date Title
US9053544B2 (en) Methods and apparatuses for encoding/decoding high resolution images
CA2935336C (en) Video decoder, video encoder, video decoding method, and video encoding method
JP6535744B2 (en) Image coding apparatus, image decoding apparatus, and programs therefor
KR101653039B1 (en) An appratus for scaling a resoltion using decoding information and a method thereof
WO2014139394A1 (en) Video coding method using at least evaluated visual quality and related video coding apparatus
JP4937224B2 (en) Image encoding device
US9094687B2 (en) Video encoder and video decoder
JP2011015171A (en) Coding apparatus, control method for the same, and computer program
JP2006304107A (en) Coding device and program applied thereto
JP2010130558A (en) Video encoding apparatus and video encoding method
KR101623064B1 (en) Video encoding device, video encoding method and video encoding program
JP2011166592A (en) Image encoding device, and image decoding device
JP2011188129A (en) Intra prediction apparatus, encoder, decoder, and program
JP5174062B2 (en) Intra prediction apparatus, encoder, decoder, and program
JP2010183162A (en) Motion picture encoder
JP2009164915A (en) Image encoding method, image decoding method, image encoder, image decoder, and image encoding program, image decoding program, and computer-readable recording medium recording the programs
JP5509048B2 (en) Intra prediction apparatus, encoder, decoder, and program
JP5542636B2 (en) Intra prediction apparatus, encoder, decoder, and program
WO2012117900A1 (en) Encoding device
JP2007110409A (en) Image processing device and program for making computer perform image processing method
JP2011130192A (en) Encoder and image converting apparatus
JP2013121044A (en) Image encoder and image encoding method
JP5222878B2 (en) Intra prediction apparatus, encoder, decoder, and program
JP5298060B2 (en) Prediction vector generator, encoding device, decoding device, and program
JP5202558B2 (en) Intra prediction apparatus, encoder, decoder, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130625

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140225

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140319

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140408

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140507

R150 Certificate of patent or registration of utility model

Ref document number: 5542636

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees