JP2004200991A

JP2004200991A - Image encoding method, image decoding method, image encoder, image decoder, image encoding program, image decoding program, recording medium with the image recording program, and recording medium with image decording program recorded thereon

Info

Publication number: JP2004200991A
Application number: JP2002366632A
Authority: JP
Inventors: Hideaki Kimata; 英明木全; Yoshiyuki Yashima; 由幸八島
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2002-12-18
Filing date: 2002-12-18
Publication date: 2004-07-15
Anticipated expiration: 2022-12-18
Also published as: JP4290972B2

Abstract

<P>PROBLEM TO BE SOLVED: To relieve an arithmetic processing load required for computing a weight coefficient for generating processing of a predicted image when using prediction encoding to encode the image by each of regions resulting from dividing a screen image. <P>SOLUTION: In generating a prediction image of a present region, a direct prediction image generating section 106 generates a prediction image of prediction image generating target pixels on the basis of decoded image information in a region having already been encoded and decoded. A quasi-direct prediction image generating section 105 generates a prediction image on the basis of decoded image information in a region having already been encoded and decoded and prediction image information. An indirect prediction image generating section 104 generates a prediction image on the basis of prediction image information. A prediction image generation selection section 101 discriminates whether or not a decoded image exists and whether or not the prediction image exists at close pixel positions as to the prediction image generation target pixels and selects any of the direct prediction image generating section 106, the quasi-direct prediction image generating section 105, and the indirect prediction image generating section 104. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は，画像符号化，復号に関する技術であり，特に，画面を分割した領域毎に，既に符号化し復号した領域の復号画像から予測する符号化方式において，周囲の領域の画像情報からの重み付け計算によって予測画像を作成する際における，重み付け係数の計算に必要な演算処理負荷を軽減することを可能とした画像符号化方法，画像復号方法，画像符号化装置および画像復号装置に関する。
【０００２】
【従来の技術】
画像の符号化では一般的に，画面を複数の領域に分割し，領域毎に直交変換を行う。例えば静止画像の国際標準符号化方式ＪＰＥＧでは，画面を縦横１６画素のマクロブロックに分割して，マクロブロック毎にＤＣＴを行い，ＤＣＴ係数を量子化しエントロピー符号化する。さらに，静止画像の符号化の場合と，動画像において領域をフレーム内符号化する場合には，現マクロブロックの画像情報と周囲のマクロブロックの画像情報との間の相関を利用した予測符号化が適用される。
【０００３】
この予測方法は，一般的に２種類に分類できる。第１の方法では，マクロブロック等の領域でＤＣＴしたＤＣＴ係数を，周囲の既に符号化した領域のＤＣＴ係数から予測する。現領域の符号化対象となるＤＣＴ係数値は，予測値からの差分となる。例えば動画像符号化方式Ｈ．２６３のフレーム内符号化では，縦横８画素のブロックをＤＣＴし，そのＤＣ成分とＡＣ成分を上または左のブロックのＤＣＴ係数から予測する（例えば，非特許文献１参照）。
【０００４】
第２の方法では，マクロブロック等の領域内の画像情報を，周囲の既に符号化した領域の復号画像から予測する。現領域の符号化対象となるＤＣＴ係数値は，予測値からの差分の画像情報をＤＣＴした際のＤＣＴ係数となる。例えば動画像符号化方式Ｈ．２６Ｌのフレーム内符号化では，縦横４画素のブロック内の画像情報を，周囲の既に符号化し復号したブロックの復号画像の画像情報から予測し，予測値との差分をＤＣＴする。
【０００５】
第２の方法では周囲の復号画像から画像情報を予測するため，フレーム間予測符号化方式と同様な予測誤差の符号化方法を用いることができる。例えばＤＣＴ係数を量子化する方法やエントロピー符号化方法を共通化することができる。例えばＨ．２６Ｌでは，縦横１６画素のマクロブロックを縦横４画素の４×４ブロックに分割し，４×４ブロック毎に周囲の復号画像から予測画像を作成する。そして予測誤差をＤＣＴする。
【０００６】
周囲の復号画像から予測画像を作成する方法としては，４×４ブロック毎に図１に示すような８方向から１方向を選択して，選択した方向における各画素に対応した位置の復号画像を使用する。図２に示すように，現４×４ブロックに対して復号画像が配置しているとすると，例えば方向１では，ブロック内各画素の復号画像を式（１）に従って求める。また例えば方向４では，式（２）に従って求める。
【０００７】
なお，演算記号＞＞は，右へのビットシフトを示す。この方法では，図１におけるどの方向から予測するのかを示すイントラ予測モード情報をさらに符号化する必要がある。
【０００８】
ａ，ｅ，ｉ，ｍ＝Ａ
ｂ，ｆ，ｊ，ｎ＝Ｂ
ｃ，ｇ，ｋ，ｏ＝Ｃ
ｄ，ｈ，ｌ，ｐ＝Ｄ ……式（１）
ｍ＝（Ｊ＋２Ｋ＋Ｌ＋２）＞＞２
ｉ，ｎ＝（Ｉ＋２Ｊ＋Ｋ＋２）＞＞２
ｅ，ｊ，ｏ＝（Ｑ＋２Ｉ＋Ｊ＋２）＞＞２
ａ，ｆ，ｋ，ｐ＝（Ａ＋２Ｑ＋Ｉ＋２）＞＞２
ｂ，ｇ，ｌ＝（Ｑ＋２Ａ＋Ｂ＋２）＞＞２
ｃ，ｈ＝（Ａ＋２Ｂ＋Ｃ＋２）＞＞２
ｄ＝（Ｂ＋２Ｃ＋Ｄ＋２）＞＞２ ……式（２）
周囲のブロックの復号画像から直接予測値を求める第２の予測方法では，周囲のブロックと現ブロックにまたがって鋭いエッジ等の急激な輝度の変化がある場合に，エッジの位置に合わせて予測画像を作成できるため，第１の予測方法よりも符号化効率を向上することができる。
【０００９】
【非特許文献１】
"Joint Committee Draft (CD) of Joint Video Specification (ITU-T Rec. H.264｜ISO/IEC 14496-10)", Joint Video Team (JVT) of ISO/IEC MPEG &ITU-T VCEG Meeting, 2002.
【００１０】
【発明が解決しようとする課題】
ある画素と周囲の画素との間の画像情報の相関の大きさは，一般的に画素間の距離に依存しており，距離が大きくなるほど相関が小さくなると考えられる。従って，周囲のブロックの復号画像から予測する方法では，予測に使用する周囲のブロックの，復号画像の画像情報の重み付け平均を，現ブロック内の各画素の予測値に使用すると予測効率が高くなると考えられる。
【００１１】
この重み付け平均の方法は，現ブロック内画素位置と，予測に使用する復号画像の画素位置との距離に従って重み付けすればよい。例えば，図２に示す縦横４画素のブロック内画素ｏを画素ｏよりも上または左に位置する画素Ａ〜Ｃ，Ｉ〜Ｌ，Ｑ，から予測する場合には，式（３）によって計算できる。ここでα_j（ｊ＝１，…，８）は画素ｏと周囲の各画素との距離に応じた重み付け係数であり，式（３）の場合には実数で与えられる。
【００１２】
ｏ＝α₁Ａ＋α₂Ｂ＋α₃Ｃ＋α₄Ｉ＋α₅Ｊ＋α₆Ｋ＋α₇Ｌ＋α₈Ｑ ……式（３）
現ブロック内画素と周囲の復号画像の画素との間の距離を，実数を使用せずに分数で表現して，図２に示すブロック内画素ｐを予測する場合には，式（４）のようになる。式（４）の場合には，乗算が８回，加算が８回，除算が１回必要となる。
【００１３】
ｐ＝（β₁Ａ＋β₂Ｂ＋β₃Ｃ＋β₄Ｉ＋β₅Ｊ＋β₆Ｋ＋β₇Ｌ＋β₈Ｑ）／γ ……式（４）
この重み付け係数は，画像中の最初の４×４ブロックの予測画像を作成するときに１度だけ計算を行うか，あるいは予め計算しておいた値を記憶しておけばよい。しかしながら，式（４）に示されるような，重み付け計算と復号画像情報との乗算と，それらの加算については，画面内のすべての画素に対して行う必要がある。
【００１４】
このように周囲の画像情報からの重み付け計算では，各画素間の距離に依存した重み付け係数の計算と，重み付け係数と画像情報の乗算と加算を多く実行する必要があり，演算処理負荷が非常に大きくなる問題がある。
【００１５】
本発明は上記問題点の解決を図り，画面を分割した領域毎に，既に符号化し復号した領域の復号画像から予測する符号化方式において，周囲の領域の画像情報からの重み付け計算によって予測画像を作成する際における，重み付け係数の計算に必要な演算処理負荷を軽減することを目的とする。
【００１６】
【課題を解決するための手段】
以上の課題を解決するため，本発明は以下の方法を用いる。
【００１７】
第１の発明は，画面を分割した領域毎に予測符号化を用いて符号化する画像符号化方法であって，現領域の予測画像を作成するときに，既に符号化し復号した領域の復号画像情報から画像情報を作成する直接予測画像作成ステップと，既に符号化し復号した領域の復号画像情報と，直接予測画像作成ステップで作成した画像情報とから画像情報を作成する準直接予測画像作成ステップと，直接予測画像作成ステップまたは準直接予測画像作成ステップで作成した画像情報から画像情報を作成する間接予測画像作成ステップとのうち，いずれかを選択して実行することを特徴とする。
【００１８】
第２の発明は，画面を分割した領域毎に予測符号化を用いて復号する画像復号方法であって，現領域の予測画像を作成するときに，既に符号化し復号した領域の復号画像情報から画像情報を作成する直接予測画像作成ステップと，既に符号化し復号した領域の復号画像情報と，直接予測画像作成ステップで作成した画像情報とから画像情報を作成する準直接予測画像作成ステップと，直接予測画像作成ステップまたは準直接予測画像作成ステップで作成した画像情報から画像情報を作成する間接予測画像作成ステップとのうち，いずれかを選択して実行することを特徴とする。
【００１９】
本発明によれば，領域外周以外の位置の予測画像を復号画像からではなく，隣接した画素位置の予測画像から作成することができる。これにより領域内の，すべての画素の予測画像を直接復号画像から作成する必要がなくなり，演算処理負荷を軽減することができる。例えば図２に示す４×４ブロックで，画素の予測画像を上と左の画素位置の画像情報から作成する場合には次のように動作する。いずれの画素の予測画像ｔも式（５）に従って計算する。ここでＳは，上の画素位置の復号画像情報または予測画像情報を示し，Ｔは左の画素位置の復号画像情報または予測画像情報を示す。
【００２０】
ｔ＝（β₁Ｓ＋β₂Ｔ）／γ ……式（５）
（ステップ１）画素ａの予測画像を復号画像ＡとＩから作成する。
（ステップ２）画素ｂの予測画像を上に隣接する復号画像Ｂと，左に隣接する画素ａの予測画像から作成する。同様な処理を画素ｃ，ｄに対しても行い，予測画像を作成する。
（ステップ３）画素ｅの予測画像を上に隣接する画素ａの予測画像と，左に隣接する復号画像Ｊから作成する。同様な処理を画素ｉ，ｍに対しても行い，予測画像を作成する。
（ステップ４）画素ｆの予測画像を上に隣接する画素ｂの予測画像と，左に隣接する画素ｅの予測画像から作成する。同様な処理を画素ｇ，ｈ，ｊ，ｋ，ｌ，ｎ，ｏ，ｐに対しても行い，予測画像を作成する。
【００２１】
このような手順で予測画像を作成すると，結果的に距離に応じて復号画像を重み付けして求めた予測画像を得ることができる。変数β₁とβ₂とγを適当に設定することにより，異なる重み付けを行うことが可能である。単純な線形の平均の場合には，式（５）の代わりに，以下の式（６）を使うことによりさらに演算処理負荷を軽減することが可能である。
【００２２】
ｔ＝（Ｓ＋Ｔ＋１）＞＞１ ……式（６）
【００２３】
【発明の実施の形態】
以下，図面を用いて本発明の実施の形態を説明する。上と左の画像情報から予測画像を作成する場合の例を示す。縦横８画素の画面の画像を４×４ブロックに分割し，ブロック毎に予測誤差を求めてＤＣＴするものとする。画面の左上，右上，左下，右下の順序でブロックを符号化するものとする。
【００２４】
まず，画像符号化装置の説明を行う。図３に本発明の実施の形態に係る画像符号化装置の概要を示す。画像符号化装置１００は，復号画像を蓄積する復号画像メモリ１１０と，予測画像を蓄積する予測画像メモリ１０３と，復号画像メモリ１１０に蓄積されている画像情報から予測画像情報を作成する直接予測画像作成部１０６と，復号画像メモリ１１０に蓄積されている画像情報と，予測画像メモリ１０３に蓄積されている画像情報とから予測画像情報を作成する準直接予測画像作成部１０５と，予測画像メモリ１０３に蓄積されている画像情報から予測画像情報を作成する間接予測画像作成部１０４と，直接予測画像作成部１０６と準直接予測画像作成部１０５と間接予測画像作成部１０４のうちいずれかを選択する予測画像作成選択部１０１と，予測画像と現画像から予測誤差を求める予測誤差作成部１０２と，予測誤差を符号化する予測誤差符号化部１０７と，予測誤差符号化データを復号し予測誤差情報を求める予測誤差復号部１０８と，予測画像と予測誤差から復号画像を作成する復号画像作成部１０９とを備える。
【００２５】
直接予測画像作成部１０６では，予測する画素の上に位置する画像情報Ｓと左に位置する画像情報Ｔを復号画像メモリ１１０から読み込み，式（６）に従って予測画像を作成する。そして，作成した予測画像を予測画像メモリ１０３に蓄積する。復号画像メモリ１１０に上または左に位置する画像情報が蓄積されていない場合には，直接予測画像作成部１０６において，ＳまたはＴを１２８の値に設定して式（６）の計算を行う。
【００２６】
準直接予測画像作成部１０５では，予測する画素の上に位置する画像情報Ｓを復号画像メモリ１１０または予測画像メモリ１０３から読み込む。復号画像メモリ１１０に復号画像がある場合には復号画像メモリ１１０から読み込み，復号画像メモリ１１０に復号画像がない場合には予測画像メモリ１０３から読み込む。予測する画素の左に位置する画像情報Ｔについても同様にして画像情報を読み込む。そして，式（６）に従って予測画像を作成し，作成した予測画像を予測画像メモリ１０３に蓄積する。復号画像メモリ１１０と予測画像メモリ１０３のどちらにも，上または左に位置する画像情報が蓄積されていない場合には，準直接予測画像作成部１０５において，ＳまたはＴを１２８の値に設定して式（６）の計算を行う。
【００２７】
間接予測画像作成部１０４では，予測する画素の上に位置する画像情報Ｓと左に位置する画像情報Ｔを予測画像メモリ１０３から読み込み，式（６）に従って予測画像を作成する。そして，作成した予測画像を予測画像メモリ１０３に蓄積する。
【００２８】
ブロック内画素の予測画像は，図２におけるａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈ，ｉ，ｊ，ｋ，ｌ，ｍ，ｎ，ｏ，ｐの順序で作成するものとする。予測画像作成選択部１０１は，図４に示す動作フローに従って，直接予測画像作成部１０６か，準直接予測画像作成部１０５か，間接予測画像作成部１０４のいずれかを選択する。
【００２９】
すなわち，予測画像作成選択部１０１は，図４に示すように，上と左の双方に復号画像があるかを判断し（ステップＳ１１），復号画像がある場合には，直接予測画像作成部１０６を選択し（ステップＳ１２），復号画像から対象画素の予測画像を作成する（ステップＳ１３）。上と左に復号画像がない場合には，上と左の双方に予測画像があるかを判断し（ステップＳ１４），予測画像がある場合には，間接予測画像作成部１０４を選択し（ステップＳ１５），予測画像から対象画素の予測画像を作成する（ステップＳ１６）。
【００３０】
また，上と左に予測画像がない場合には，上と左のいずれかに復号画像があり，上と左のいずれかに予測画像があるかを判断し（ステップＳ１７），上と左のいずれかに復号画像があり，上と左のいずれかに予測画像がある場合には，準直接予測画像作成部１０５を選択し（ステップＳ１８），復号画像と予測画像から対象画素の予測画像を作成する（ステップＳ１９）。
【００３１】
そうでない場合には，上と左のいずれかに復号画像があるかを判断し（ステップＳ２０），上と左のいずれかに復号画像がある場合には，直接予測画像作成部１０６を選択し（ステップＳ２１），復号画像と値１２８から対象画素の予測画像を作成する（ステップＳ２２）。
【００３２】
上と左のいずれにも復号画像がない場合には，上と左のいずれかに予測画像があるかを判断する（ステップＳ２３）。上と左のいずれかに予測画像がある場合には，準直接予測画像作成部１０５を選択し（ステップＳ２４），予測画像と値１２８から対象画素の予測画像を作成する（ステップＳ２５）。上と左のいずれにも予測画像がない場合には，直接予測画像作成部１０６を選択し（ステップＳ２６），値１２８から対象画素の予測画像を作成する（ステップＳ２７）。
【００３３】
本発明においては，例えば，図２に示す画素位置ａに対して直接予測画像作成部１０６を選択し，画素位置ｂ，ｃ，ｄ，ｅ，ｉ，ｍに対して準直接予測画像作成部１０５を選択し，画素位置ｆ，ｇ，ｈ，ｊ，ｋ，ｌ，ｎ，ｏ，ｐに対して間接予測画像作成部１０４を選択することになる。予測誤差符号化部１０７は，予測誤差をＤＣＴし量子化するものとする。予測誤差復号部１０８は，予測誤差符号化データを逆量子化し逆ＤＣＴするものとする。
【００３４】
このような前提で，図５に示すように縦横８画素画面の画像を分割した縦横４画素の各ブロックＢ１，Ｂ２，Ｂ３，Ｂ４の符号化を，図５に従って説明する。まず，図５（Ａ）に示す左上のブロックＢ１の符号化を行う。画素ａについて，予測画像作成選択部１０１は直接予測画像作成部１０６を選択する。直接予測画像作成部１０６は，ＳとＴの値を１２８に設定して予測画像を作成する。画素ｂについて，予測画像作成選択部１０１は準直接予測画像作成部１０５を選択する。準直接予測画像作成部１０５は，Ｓの値を１２８に設定し，Ｔを予測画像メモリ１０３から読み込んで予測画像を作成する。画素ｃ，ｄについても画素ｂと同様に予測画像を作成する。
【００３５】
次に画素ｅについて，予測画像作成選択部１０１は準直接予測画像作成部１０５を選択する。準直接予測画像作成部１０５はＴの値を１２８に設定し，Ｓを予測画像メモリ１０３から読み込んで予測画像を作成する。画素ｆについて，予測画像作成選択部１０１は間接予測画像作成部１０４を選択する。間接予測画像作成部１０４は，ＳとＴの値を予測画像メモリ１０３から読み込んで予測画像を作成する。画素ｇ，ｈについて，画素ｆと同様に予測画像を作成する。次に画素ｉについて，画素ｅと同様に予測画像を作成し，画素ｊ，ｋ，ｌについて，画素ｆと同様に予測画像を作成する。最後に画素ｍについて，画素ｅと同様に予測画像を作成し，画素ｎ，ｏ，ｐについて，画素ｆと同様に予測画像を作成する。
【００３６】
以上により作成された予測画像と現画像との間で，予測誤差作成部１０２は予測誤差を作成し，予測誤差符号化部１０７は予測誤差をＤＣＴし量子化する。予測誤差復号部１０８は，予測誤差符号化データを逆量子化し逆ＤＣＴして予測誤差を求める。復号画像作成部１０９は，予測誤差復号部１０８で復号した予測誤差と予測画像から復号画像を作成し，復号画像メモリ１１０に蓄積する。
【００３７】
次に，図５（Ｂ）に示す右上のブロックＢ２の符号化を行う。左上のブロックＢ１については，復号画像メモリ１１０に復号画像が存在する。画素ａについて，予測画像作成選択部１０１は直接予測画像作成部１０６を選択する。直接予測画像作成部１０６はＳの値を１２８に設定し，Ｔの値を復号画像メモリ１１０から読み込んで予測画像を作成する。画素ｂについて，予測画像作成選択部１０１は準直接予測画像作成部１０５を選択する。準直接予測画像作成部１０５は，Ｓの値を１２８に設定し，Ｔを予測画像メモリ１０３から読み込んで予測画像を作成する。画素ｃ，ｄについても画素ｂと同様に予測画像を作成する。
【００３８】
次に画素ｅについて，予測画像作成選択部１０１は準直接予測画像作成部１０５を選択する。準直接予測画像作成部１０５はＴを復号画像メモリ１１０から読み込み，Ｓを予測画像メモリ１０３から読み込んで予測画像を作成する。画素ｆについて，予測画像作成選択部１０１は間接予測画像作成部１０４を選択する。間接予測画像作成部１０４は，ＳとＴの値を予測画像メモリ１０３から読み込んで予測画像を作成する。画素ｇ，ｈについて，画素ｆと同様に予測画像を作成する。
【００３９】
次に画素ｉについて，画素ｅと同様に予測画像を作成し，画素ｊ，ｋ，ｌについて，画素ｆと同様に予測画像を作成する。最後に画素ｍについて，画素ｅと同様に予測画像を作成し，画素ｎ，ｏ，ｐについて，画素ｆと同様に予測画像を作成する。
【００４０】
以上により作成された予測画像と現画像との間で予測誤差作成部１０２は予測誤差を作成し，予測誤差符号化部１０７は予測誤差をＤＣＴし量子化する。予測誤差復号部１０８は，予測誤差符号化データを逆量子化し逆ＤＣＴして予測誤差を求める。復号画像作成部１０９は，予測誤差復号部１０８で復号した予測誤差と予測画像から復号画像を作成し復号画像メモリ１１０に蓄積する。
【００４１】
次に図５（Ｃ）に示す左下のブロックＢ３の符号化を行う。画素ａについて，予測画像作成選択部１０１は直接予測画像作成部１０６を選択する。直接予測画像作成部１０６はＴの値を１２８に設定し，Ｓの値を復号画像メモリ１１０から読み込んで予測画像を作成する。画素ｂについて，予測画像作成選択部１０１は準直接予測画像作成部１０５を選択する。準直接予測画像作成部１０５は，Ｓを復号画像メモリ１１０から読み込み，Ｔを予測画像メモリ１０３から読み込んで予測画像を作成する。画素ｃ，ｄについても画素ｂと同様に予測画像を作成する。
【００４２】
次に画素ｅについて，予測画像作成選択部１０１は準直接予測画像作成部１０５を選択する。準直接予測画像作成部１０５はＴの値を１２８に設定し，Ｓを予測画像メモリ１０３から読み込んで予測画像を作成する。画素ｆについて，予測画像作成選択部１０１は間接予測画像作成部１０４を選択する。間接予測画像作成部１０４は，ＳとＴの値を予測画像メモリ１０３から読み込んで予測画像を作成する。画素ｇ，ｈについて，画素ｆと同様に予測画像を作成する。次に画素ｉについて，画素ｅと同様に予測画像を作成し，画素ｊ，ｋ，ｌについて，画素ｆと同様に予測画像を作成する。最後に画素ｍについて，画素ｅと同様に予測画像を作成し，画素ｎ，ｏ，ｐについて，画素ｆと同様に予測画像を作成する。
【００４３】
以上により作成された予測画像と現画像との間で，予測誤差作成部１０２は予測誤差を作成し，予測誤差符号化部１０７は予測誤差をＤＣＴし量子化する。予測誤差復号部１０８は，予測誤差符号化データを逆量子化し逆ＤＣＴして予測誤差を求める。復号画像作成部１０９は，予測誤差復号部１０８で復号した予測誤差と予測画像から復号画像を作成し復号画像メモリ１１０に蓄積する。
【００４４】
次に，図５（Ｄ）に示す右下のブロックＢ４の符号化を行う。画素ａについて，予測画像作成選択部１０１は直接予測画像作成部１０６を選択する。直接予測画像作成部１０６はＴとＳの値を復号画像メモリ１１０から読み込んで予測画像を作成する。画素ｂについて，予測画像作成選択部１０１は準直接予測画像作成部１０５を選択する。準直接予測画像作成部１０５はＳを復号画像メモリ１１０から読み込み，Ｔを予測画像メモリ１０３から読み込んで予測画像を作成する。画素ｃ，ｄについても画素ｂと同様に予測画像を作成する。
【００４５】
次に画素ｅについて，予測画像作成選択部１０１は準直接予測画像作成部１０５を選択する。準直接予測画像作成部１０５はＴを復号画像メモリ１１０から読み込み，Ｓを予測画像メモリ１０３から読み込んで予測画像を作成する。画素ｆについて，予測画像作成選択部１０１は間接予測画像作成部１０４を選択する。間接予測画像作成部１０４は，ＳとＴの値を予測画像メモリ１０３から読み込んで予測画像を作成する。画素ｇ，ｈについて，画素ｆと同様に予測画像を作成する。次に画素ｉについて，画素ｅと同様に予測画像を作成し，画素ｊ，ｋ，ｌについて，画素ｆと同様に予測画像を作成する。最後に画素ｍについて，画素ｅと同様に予測画像を作成し，画素ｎ，ｏ，ｐについて，画素ｆと同様に予測画像を作成する。
【００４６】
以上により作成された予測画像と現画像との間で，予測誤差作成部１０２は予測誤差を作成し，予測誤差符号化部１０７は予測誤差をＤＣＴし量子化する。予測誤差復号部１０８は，予測誤差符号化データを逆量子化し逆ＤＣＴして予測誤差を求める。復号画像作成部１０９は，予測誤差復号部１０８で復号した予測誤差と予測画像から復号画像を作成し復号画像メモリ１１０に蓄積する。以上により縦横８画素の画像の符号化が完了する。
【００４７】
次に画像復号装置の説明を行う。図６に本発明の実施の形態に係る画像復号装置の概要を示す。画像復号装置２００は，復号画像を蓄積する復号画像メモリ２０８と，予測画像を蓄積する予測画像メモリ２０３と，復号画像メモリ２０８に蓄積されている画像情報から予測画像情報を作成する直接予測画像作成部２０６と，復号画像メモリ２０８に蓄積されている画像情報と，予測画像メモリ２０３に蓄積されている画像情報から予測画像情報を作成する準直接予測画像作成部２０５と，予測画像メモリ２０３に蓄積されている画像情報から予測画像情報を作成する間接予測画像作成部２０４と，直接予測画像作成部２０６と準直接予測画像作成部２０５と間接予測画像作成部２０４のうちいずれかを選択する予測画像作成選択部２０１と，予測誤差符号化データを復号し予測誤差情報を求める予測誤差復号部２０２と，予測画像と予測誤差から復号画像を作成する復号画像作成部２０７とを備える。各部の動作は画像符号化装置１００と同様である。
【００４８】
このような前提で縦横８画素の画面の画像を分割した縦横４画素の各ブロックの符号化データを次のように復号する。まず図５（Ａ）に示す左上のブロックＢ１の復号を行う。画素ａについて，予測画像作成選択部２０１は直接予測画像作成部２０６を選択する。直接予測画像作成部２０６はＳとＴの値を１２８に設定して予測画像を作成する。画素ｂについて，予測画像作成選択部２０１は準直接予測画像作成部２０５を選択する。準直接予測画像作成部２０５は，Ｓの値を１２８に設定し，Ｔを予測画像メモリ２０３から読み込んで予測画像を作成する。画素ｃ，ｄについても画素ｂと同様に予測画像を作成する。
【００４９】
次に画素ｅについて，予測画像作成選択部２０１は準直接予測画像作成部２０５を選択する。準直接予測画像作成部２０５はＴの値を１２８に設定し，Ｓを予測画像メモリ２０３から読み込んで予測画像を作成する。画素ｆについて，予測画像作成選択部２０１は間接予測画像作成部２０４を選択する。間接予測画像作成部２０４は，ＳとＴの値を予測画像メモリ２０３から読み込んで予測画像を作成する。画素ｇ，ｈについて，画素ｆと同様に予測画像を作成する。次に画素ｉについて，画素ｅと同様に予測画像を作成し，画素ｊ，ｋ，ｌについて，画素ｆと同様に予測画像を作成する。最後に画素ｍについて，画素ｅと同様に予測画像を作成し，画素ｎ，ｏ，ｐについて，画素ｆと同様に予測画像を作成する。
【００５０】
予測誤差復号部２０２は，予測誤差符号化データを逆量子化し逆ＤＣＴして予測誤差を求める。復号画像作成部２０７は，予測誤差復号部２０２で復号した予測誤差と予測画像から復号画像を作成し復号画像メモリ２０８に蓄積する。
【００５１】
次に図５（Ｂ）に示す右上のブロックＢ２の復号を行う。画素ａについて，予測画像作成選択部２０１は直接予測画像作成部２０６を選択する。直接予測画像作成部２０６はＳの値を１２８に設定し，Ｔの値を復号画像メモリ２０８から読み込んで予測画像を作成する。画素ｂについて，予測画像作成選択部２０１は準直接予測画像作成部２０５を選択する。準直接予測画像作成部２０５は，Ｓの値を１２８に設定し，Ｔを予測画像メモリ２０３から読み込んで予測画像を作成する。画素ｃ，ｄについても画素ｂと同様に予測画像を作成する。
【００５２】
次に画素ｅについて，予測画像作成選択部２０１は準直接予測画像作成部２０５を選択する。準直接予測画像作成部２０５はＴを復号画像メモリ２０８から読み込み，Ｓを予測画像メモリ２０３から読み込んで予測画像を作成する。画素ｆについて，予測画像作成選択部２０１は間接予測画像作成部２０４を選択する。間接予測画像作成部２０４は，ＳとＴの値を予測画像メモリ２０３から読み込んで予測画像を作成する。画素ｇ，ｈについて，画素ｆと同様に予測画像を作成する。次に画素ｉについて，画素ｅと同様に予測画像を作成し，画素ｊ，ｋ，ｌについて，画素ｆと同様に予測画像を作成する。最後に画素ｍについて，画素ｅと同様に予測画像を作成し，画素ｎ，ｏ，ｐについて，画素ｆと同様に予測画像を作成する。
【００５３】
予測誤差復号部２０２は，予測誤差符号化データを逆量子化し逆ＤＣＴして予測誤差を求める。復号画像作成部２０７は，予測誤差復号部２０２で復号した予測誤差と予測画像から復号画像を作成し復号画像メモリ２０８に蓄積する。
【００５４】
次に図５（Ｃ）に示す左下のブロックＢ３の復号を行う。画素ａについて，予測画像作成選択部２０１は直接予測画像作成部２０６を選択する。直接予測画像作成部２０６はＴの値を１２８に設定し，Ｓの値を復号画像メモリ２０８から読み込んで予測画像を作成する。画素ｂについて，予測画像作成選択部２０１は準直接予測画像作成部２０５を選択する。準直接予測画像作成部２０５はＳを復号画像メモリ２０８から読み込み，Ｔを予測画像メモリ２０３から読み込んで予測画像を作成する。画素ｃ，ｄについても画素ｂと同様に予測画像を作成する。
【００５５】
次に画素ｅについて，予測画像作成選択部２０１は準直接予測画像作成部２０５を選択する。準直接予測画像作成部２０５はＴの値を１２８に設定し，Ｓを予測画像メモリ２０３から読み込んで予測画像を作成する。画素ｆについて，予測画像作成選択部２０１は間接予測画像作成部２０４を選択する。間接予測画像作成部２０４は，ＳとＴの値を予測画像メモリ２０３から読み込んで予測画像を作成する。画素ｇ，ｈについて，画素ｆと同様に予測画像を作成する。次に画素ｉについて，画素ｅと同様に予測画像を作成し，画素ｊ，ｋ，ｌについて，画素ｆと同様に予測画像を作成する。最後に画素ｍについて，画素ｅと同様に予測画像を作成し，画素ｎ，ｏ，ｐについて，画素ｆと同様に予測画像を作成する。
【００５６】
予測誤差復号部２０２は，予測誤差符号化データを逆量子化し逆ＤＣＴして予測誤差を求める。復号画像作成部２０７は，予測誤差復号部２０２で復号した予測誤差と予測画像から復号画像を作成し復号画像メモリ２０８に蓄積する。
【００５７】
次に図５（Ｄ）に示す右下のブロックＢ４の復号を行う。画素ａについて，予測画像作成選択部２０１は直接予測画像作成部２０６を選択する。直接予測画像作成部２０６はＴとＳの値を復号画像メモリ２０８から読み込んで予測画像を作成する。画素ｂについて，予測画像作成選択部２０１は準直接予測画像作成部２０５を選択する。準直接予測画像作成部２０５はＳを復号画像メモリ２０８から読み込み，Ｔを予測画像メモリ２０３から読み込んで予測画像を作成する。画素ｃ，ｄについても画素ｂと同様に予測画像を作成する。
【００５８】
次に画素ｅについて，予測画像作成選択部２０１は準直接予測画像作成部２０５を選択する。準直接予測画像作成部２０５はＴを復号画像メモリ２０８から読み込み，Ｓを予測画像メモリ２０３から読み込んで予測画像を作成する。画素ｆについて，予測画像作成選択部２０１は間接予測画像作成部２０４を選択する。間接予測画像作成部２０４は，ＳとＴの値を予測画像メモリ２０３から読み込んで予測画像を作成する。画素ｇ，ｈについて，画素ｆと同様に予測画像を作成する。次に画素ｉについて，画素ｅと同様に予測画像を作成し，画素ｊ，ｋ，ｌについて，画素ｆと同様に予測画像を作成する。最後に画素ｍについて，画素ｅと同様に予測画像を作成し，画素ｎ，ｏ，ｐについて，画素ｆと同様に予測画像を作成する。
【００５９】
予測誤差復号部２０２は，予測誤差符号化データを逆量子化し逆ＤＣＴして予測誤差を求める。復号画像作成部２０７は，予測誤差復号部２０２で復号した予測誤差と予測画像から復号画像を作成し復号画像メモリ２０８に蓄積する。以上により縦横８画素の画像の復号が完了する。
【００６０】
以上の画像符号化装置１００，画像復号装置２００が行う処理は，コンピュータとソフトウェアプログラムとによっても実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録することも，ネットワークを通して提供することも可能である。
【００６１】
なお，本実施の形態では，上と左の画像情報から式（６）に従って予測画像を求めたが，式（５）を使って予測画像を求めてもよい。変数β₁とβ₂とγを予め適切に設定しておくことにより，自由度の高い重み付けを行うことが可能である。また上と左だけではなく，例えば左上や右上の画素位置の画像情報を予測画像の作成に利用してもよい。
【００６２】
また，従来のイントラ予測モード情報を符号化する予測画像作成方法と本発明を組み合わせるのも好適である。例えば鋭いエッジが存在するようなブロックではイントラ予測モードを同時に符号化する方法を使い，滑らかに輝度情報が変化するブロックでは本発明の予測方法を使うと，より予測効率を向上させ符号化効率を向上させることができる。この場合には，本発明の方法を使用するのか，従来のイントラ予測モードを使う方法を使用するのかを指定する情報も合わせて符号化する必要がある。
【００６３】
以上のように本発明によれば，周囲の画像情報からの重み付け計算によって予測画像を作成する際に，重み付け係数の計算に必要な演算処理負荷を軽減することができる。
【００６４】
【発明の効果】
本発明によれば，画面を分割した領域毎に，既に符号化し復号した領域の復号画像から予測する符号化方式において，周囲の領域の画像情報からの重み付け計算によって予測画像を作成する際における，重み付け係数の計算に必要な演算処理負荷を軽減することができる。
【図面の簡単な説明】
【図１】イントラ予測モードの予測方向の例を示す図である。
【図２】縦横４画素ブロック内の画像配置を示す図である。
【図３】画像符号化装置の構成例を示す図である。
【図４】予測画像作成選択部の動作フローを示す図である。
【図５】本実施の形態による画像符号化，復号の例を説明する図である。
【図６】画像復号装置の構成例を示す図である。
【符号の説明】
１００画像符号化装置
１０１予測画像作成選択部
１０２予測誤差作成部
１０３予測画像メモリ
１０４間接予測画像作成部
１０５準直接予測画像作成部
１０６直接予測画像作成部
１０７予測誤差符号化部
１０８予測誤差復号部
１０９復号画像作成部
１１０復号画像メモリ
２００画像復号装置
２０１予測画像作成選択部
２０２予測誤差復号部
２０３予測画像メモリ
２０４間接予測画像作成部
２０５準直接予測画像作成部
２０６直接予測画像作成部
２０７復号画像作成部
２０８復号画像メモリ[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a technique relating to image encoding and decoding. In particular, in an encoding method for predicting a decoded image of an area which has already been encoded and decoded for each area obtained by dividing a screen, weighting from image information of surrounding areas is performed. The present invention relates to an image encoding method, an image decoding method, an image encoding device, and an image decoding device capable of reducing a calculation processing load required for calculating a weighting coefficient when a predicted image is created by calculation.
[0002]
[Prior art]
Generally, in image coding, a screen is divided into a plurality of regions, and orthogonal transformation is performed for each region. For example, in the international standard encoding method JPEG of a still image, a screen is divided into macroblocks of 16 pixels in length and width, DCT is performed for each macroblock, and DCT coefficients are quantized and entropy-coded. Furthermore, in the case of coding a still image and in the case of intra-frame coding of a region in a moving image, predictive coding using the correlation between the image information of the current macroblock and the image information of surrounding macroblocks. Is applied.
[0003]
This prediction method can be generally classified into two types. In the first method, DCT coefficients obtained by DCT in a region such as a macroblock are predicted from DCT coefficients in a surrounding already coded region. The DCT coefficient value to be encoded in the current area is a difference from the predicted value. For example, a moving picture coding scheme H.264. In the intra-frame encoding of H.263, DCT is performed on a block of 8 pixels vertically and horizontally, and its DC component and AC component are predicted from the DCT coefficients of the upper or left block (for example, see Non-Patent Document 1).
[0004]
In the second method, image information in a region such as a macroblock is predicted from a decoded image in a surrounding already coded region. The DCT coefficient value to be encoded in the current area is a DCT coefficient when image information of a difference from the predicted value is DCT. For example, a moving picture coding scheme H.264. In the 26L intra-frame encoding, image information in a block of 4 pixels vertically and horizontally is predicted from the image information of the decoded image of the surrounding already encoded and decoded block, and the difference from the predicted value is DCT.
[0005]
In the second method, since the image information is predicted from the surrounding decoded image, a coding method of a prediction error similar to the inter-frame prediction coding method can be used. For example, a method for quantizing DCT coefficients and an entropy coding method can be shared. For example, H. In 26L, a macroblock of 16 pixels in the vertical and horizontal directions is divided into 4 × 4 blocks of 4 pixels in the vertical and horizontal directions, and a predicted image is created from surrounding decoded images every 4 × 4 blocks. Then, the prediction error is subjected to DCT.
[0006]
As a method of creating a prediction image from surrounding decoded images, one direction is selected from eight directions as shown in FIG. 1 for each 4 × 4 block, and a decoded image at a position corresponding to each pixel in the selected direction is selected. use. As shown in FIG. 2, assuming that a decoded image is arranged for the current 4 × 4 block, for example, in the direction 1, the decoded image of each pixel in the block is obtained according to Expression (1). Further, for example, in the direction 4, it is obtained according to the equation (2).
[0007]
The operation symbol >> indicates a bit shift to the right. In this method, it is necessary to further encode intra prediction mode information indicating from which direction in FIG. 1 to perform prediction.
[0008]
a, e, i, m = A
b, f, j, n = B
c, g, k, o = C
d, h, l, p = D Equation (1)
m = (J + 2K + L + 2) >> 2
i, n = (I + 2J + K + 2) >> 2
e, j, o = (Q + 2I + J + 2) >> 2
a, f, k, p = (A + 2Q + I + 2) >> 2
b, g, l = (Q + 2A + B + 2) >> 2
c, h = (A + 2B + C + 2) >> 2
d = (B + 2C + D + 2) >> 2 Equation (2)
In the second prediction method of directly obtaining a predicted value from a decoded image of a surrounding block, when there is a sharp change in luminance such as a sharp edge between the surrounding block and the current block, the prediction image is adjusted to the position of the edge. Can be generated, so that coding efficiency can be improved as compared with the first prediction method.
[0009]
[Non-patent document 1]
"Joint Committee Draft (CD) of Joint Video Specification (ITU-T Rec. H.264 ｜ ISO / IEC 14496-10)", Joint Video Team (JVT) of ISO / IEC MPEG & ITU-T VCEG Meeting, 2002.
[0010]
[Problems to be solved by the invention]
The magnitude of the correlation of image information between a certain pixel and surrounding pixels generally depends on the distance between pixels, and it is considered that the correlation decreases as the distance increases. Therefore, in the method of predicting from the decoded image of the surrounding block, if the weighted average of the image information of the decoded image of the surrounding block used for prediction is used for the predicted value of each pixel in the current block, the prediction efficiency becomes high. Conceivable.
[0011]
In this weighted averaging method, weighting may be performed according to the distance between the pixel position in the current block and the pixel position of the decoded image used for prediction. For example, when predicting the pixel o in the block of 4 pixels vertically and horizontally shown in FIG. 2 from the pixels A to C, I to L, and Q located above or to the left of the pixel o, the calculation can be performed by equation (3). . Where α _j (J = 1,..., 8) are weighting coefficients according to the distance between the pixel o and each of the surrounding pixels, and are given as real numbers in the case of Expression (3).
[0012]
o = α ₁ A + α _Two B + α _Three C + α _Four I + α _Five J + α ₆ K + α ₇ L + α ₈ Q: Equation (3)
When predicting the pixel p in the block shown in FIG. 2 by expressing the distance between the pixel in the current block and the pixels of the surrounding decoded image as a fraction without using a real number, the following equation (4) is used. Become like In the case of equation (4), eight multiplications, eight additions, and one division are required.
[0013]
p = (β ₁ A + β _Two B + β _Three C + β _Four I + β _Five J + β ₆ K + β ₇ L + β ₈ Q) / γ Equation (4)
The weighting coefficient may be calculated only once when a predicted image of the first 4 × 4 block in the image is created, or a value calculated in advance may be stored. However, the weighting calculation, the multiplication of the decoded image information, and the addition thereof, as shown in Expression (4), need to be performed for all the pixels in the screen.
[0014]
As described above, in the weighting calculation from the surrounding image information, it is necessary to calculate the weighting coefficient depending on the distance between each pixel, and to multiply and add the weighting coefficient and the image information in a large amount. There is a problem of growing.
[0015]
SUMMARY OF THE INVENTION The present invention solves the above-described problems, and in a coding method for predicting a decoded image of an already encoded and decoded area for each divided area of a screen, a prediction image is calculated by weighting from image information of surrounding areas. An object of the present invention is to reduce a calculation processing load required for calculating a weighting coefficient at the time of creation.
[0016]
[Means for Solving the Problems]
In order to solve the above problems, the present invention uses the following method.
[0017]
A first invention is an image encoding method for encoding by using predictive encoding for each area obtained by dividing a screen, and when creating a predicted image of a current area, a decoded image of an area which has already been encoded and decoded. A direct prediction image generation step of generating image information from information, a quasi direct prediction image generation step of generating image information from decoded image information of an area which has already been encoded and decoded, and image information generated in the direct prediction image generation step; And an indirect predicted image generating step of generating image information from the image information generated in the direct predicted image generating step or the quasi-direct predicted image generating step.
[0018]
A second invention is an image decoding method for decoding by using predictive coding for each of divided areas of a screen. When a predicted image of a current area is created, a decoded image information of an already coded and decoded area is used. A direct prediction image generation step for generating image information, a quasi-direct prediction image generation step for generating image information from decoded image information of an area which has already been encoded and decoded, and image information generated in the direct prediction image generation step; The method is characterized by selecting and executing one of a predicted image creating step and an indirect predicted image creating step of creating image information from the image information created in the quasi-direct predicted image creating step.
[0019]
According to the present invention, a predicted image at a position other than the outer periphery of a region can be created not from a decoded image but from a predicted image at an adjacent pixel position. As a result, it is not necessary to directly create a predicted image of all pixels in the region from the decoded image, and the calculation processing load can be reduced. For example, when a predicted image of a pixel is created from the image information at the upper and left pixel positions in the 4 × 4 block shown in FIG. 2, the following operation is performed. The predicted image t of any pixel is calculated according to equation (5). Here, S indicates decoded image information or predicted image information at the upper pixel position, and T indicates decoded image information or predicted image information at the left pixel position.
[0020]
t = (β ₁ S + β _Two T) / γ Equation (5)
(Step 1) A predicted image of the pixel a is created from the decoded images A and I.
(Step 2) A predicted image of the pixel b is created from the decoded image B adjacent to the upper side and the predicted image of the pixel a adjacent to the left side. Similar processing is performed on the pixels c and d to create a predicted image.
(Step 3) A predicted image of the pixel e is created from the predicted image of the pixel a adjacent above and the decoded image J adjacent to the left. Similar processing is performed on the pixels i and m to create a predicted image.
(Step 4) A predicted image of the pixel f is created from the predicted image of the pixel b adjacent above and the predicted image of the pixel e adjacent to the left. Similar processing is performed on the pixels g, h, j, k, l, n, o, and p to create a predicted image.
[0021]
When a predicted image is created in such a procedure, a predicted image obtained by weighting the decoded image according to the distance can be obtained as a result. Variable β ₁ And β _Two By setting と and γ appropriately, different weights can be performed. In the case of a simple linear average, the calculation processing load can be further reduced by using the following equation (6) instead of the equation (5).
[0022]
t = (S + T + 1) >> 1 Equation (6)
[0023]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings. An example in which a predicted image is created from upper and left image information will be described. It is assumed that an image of a screen of 8 pixels in length and width is divided into 4 × 4 blocks, and a DCT is performed by obtaining a prediction error for each block. The blocks are coded in the order of upper left, upper right, lower left, and lower right of the screen.
[0024]
First, the image encoding device will be described. FIG. 3 shows an outline of an image encoding apparatus according to the embodiment of the present invention. The image coding apparatus 100 includes a decoded image memory 110 for storing a decoded image, a predicted image memory 103 for storing a predicted image, and a direct predicted image for creating predicted image information from the image information stored in the decoded image memory 110. A creating unit 106; a quasi-direct predicted image creating unit 105 that creates predicted image information from image information stored in the decoded image memory 110 and image information stored in the predicted image memory 103; Selected from among the indirect predicted image creating unit 104, the direct predicted image creating unit 106, the quasi-direct predicted image creating unit 105, and the indirect predicted image creating unit 104 that creates the predicted image information from the image information stored in the A prediction image creation / selection unit 101; a prediction error creation unit 102 for obtaining a prediction error from a prediction image and a current image; Comprising an error coding unit 107, a prediction error decoding unit 108 for obtaining the prediction error information by decoding the prediction error coded data, a decoded image generating unit 109 to create a decoded image from the predicted image and the prediction error.
[0025]
The direct predicted image creation unit 106 reads the image information S located above the pixel to be predicted and the image information T located leftward from the decoded image memory 110, and creates a predicted image according to equation (6). Then, the created predicted image is stored in the predicted image memory 103. When the image information located at the upper or left side is not stored in the decoded image memory 110, S or T is set to a value of 128 in the direct prediction image creation unit 106, and the calculation of Expression (6) is performed.
[0026]
The quasi-direct predicted image creation unit 105 reads the image information S located above the pixel to be predicted from the decoded image memory 110 or the predicted image memory 103. If there is a decoded image in the decoded image memory 110, it is read from the decoded image memory 110, and if there is no decoded image in the decoded image memory 110, it is read from the predicted image memory 103. Image information T is similarly read for image information T located to the left of the pixel to be predicted. Then, a predicted image is created according to the equation (6), and the created predicted image is stored in the predicted image memory 103. If neither the decoded image memory 110 nor the predicted image memory 103 stores the image information located on the upper or left side, the quasi-direct predicted image generator 105 sets S or T to a value of 128. Equation (6) is calculated.
[0027]
The indirect predicted image creation unit 104 reads the image information S located above the pixel to be predicted and the image information T located leftward from the predicted image memory 103, and creates a predicted image according to equation (6). Then, the created predicted image is stored in the predicted image memory 103.
[0028]
The predicted image of the pixel in the block is created in the order of a, b, c, d, e, f, g, h, i, j, k, l, m, n, o, and p in FIG. . The predicted image creation selection unit 101 selects one of the direct predicted image creation unit 106, the quasi-direct predicted image creation unit 105, and the indirect predicted image creation unit 104 according to the operation flow shown in FIG.
[0029]
That is, as shown in FIG. 4, the predicted image creation selecting unit 101 determines whether there is a decoded image on both the upper side and the left side (step S11). Is selected (step S12), and a predicted image of the target pixel is created from the decoded image (step S13). If there is no decoded image on the top and left, it is determined whether there is a predicted image on both the top and left (step S14). If there is a predicted image, the indirect predicted image creation unit 104 is selected (step S14). S15), a predicted image of the target pixel is created from the predicted image (step S16).
[0030]
If there is no predicted image on the top and left, it is determined whether there is a decoded image on either the top or left, and whether there is a predicted image on either the top or left (step S17). If there is a decoded image in any of them and there is a predicted image in either the upper or left side, the quasi-direct predicted image creating unit 105 is selected (step S18), and the predicted image of the target pixel is extracted from the decoded image and the predicted image It is created (step S19).
[0031]
Otherwise, it is determined whether there is a decoded image on either the top or the left (step S20). If there is a decoded image on either the top or the left, the predicted image creation unit 106 is directly selected. (Step S21), a predicted image of the target pixel is created from the decoded image and the value 128 (Step S22).
[0032]
If there is no decoded image on either the top or the left, it is determined whether there is a predicted image on either the top or the left (step S23). If there is a predicted image on either the upper or left side, the quasi-direct predicted image generator 105 is selected (step S24), and a predicted image of the target pixel is generated from the predicted image and the value 128 (step S25). If there is no predicted image on either the top or the left, the predicted image creation unit 106 is directly selected (step S26), and a predicted image of the target pixel is created from the value 128 (step S27).
[0033]
In the present invention, for example, the direct prediction image generation unit 106 is selected for the pixel position a shown in FIG. 2, and the quasi direct prediction image generation unit 105 is selected for the pixel positions b, c, d, e, i, and m. Is selected, and the indirect prediction image creation unit 104 is selected for the pixel positions f, g, h, j, k, l, n, o, and p. The prediction error encoding unit 107 performs DCT and quantizes the prediction error. The prediction error decoding unit 108 dequantizes the prediction error encoded data and performs inverse DCT.
[0034]
Under such a premise, the encoding of each of the blocks B1, B2, B3, and B4 of 4 pixels in the vertical and horizontal directions obtained by dividing the image of the screen of 8 pixels in the vertical and horizontal directions will be described with reference to FIG. First, an upper left block B1 shown in FIG. 5A is encoded. For the pixel a, the predicted image creation selection unit 101 directly selects the predicted image creation unit 106. The direct prediction image creation unit 106 creates a prediction image by setting the values of S and T to 128. For the pixel b, the predicted image creation selection unit 101 selects the quasi-direct predicted image creation unit 105. The quasi-direct predicted image creation unit 105 sets the value of S to 128, reads T from the predicted image memory 103, and creates a predicted image. A predicted image is created for pixels c and d in the same manner as for pixel b.
[0035]
Next, for the pixel e, the predicted image creation selection unit 101 selects the quasi-direct predicted image creation unit 105. The quasi-direct predicted image creating unit 105 sets the value of T to 128, reads S from the predicted image memory 103, and creates a predicted image. For the pixel f, the predicted image creation selection unit 101 selects the indirect predicted image creation unit 104. The indirect predicted image creation unit 104 reads the values of S and T from the predicted image memory 103 to create a predicted image. A predicted image is created for pixels g and h in the same manner as for pixel f. Next, a predicted image is created for pixel i in the same manner as pixel e, and a predicted image is created for pixels j, k, and l in the same manner as pixel f. Finally, a predicted image is created for pixel m in the same manner as pixel e, and a predicted image is created for pixels n, o, and p in the same manner as pixel f.
[0036]
The prediction error creation unit 102 creates a prediction error between the created prediction image and the current image, and the prediction error encoding unit 107 DCTs and quantizes the prediction error. The prediction error decoding unit 108 obtains a prediction error by performing inverse quantization and inverse DCT on the prediction error encoded data. The decoded image creation unit 109 creates a decoded image from the prediction error and the prediction image decoded by the prediction error decoding unit 108 and stores the decoded image in the decoded image memory 110.
[0037]
Next, the upper right block B2 shown in FIG. 5B is encoded. For the upper left block B1, a decoded image exists in the decoded image memory 110. For the pixel a, the predicted image creation selection unit 101 directly selects the predicted image creation unit 106. The direct predicted image creating unit 106 sets the value of S to 128, reads the value of T from the decoded image memory 110, and creates a predicted image. For the pixel b, the predicted image creation selection unit 101 selects the quasi-direct predicted image creation unit 105. The quasi-direct predicted image creation unit 105 sets the value of S to 128, reads T from the predicted image memory 103, and creates a predicted image. A predicted image is created for pixels c and d in the same manner as for pixel b.
[0038]
Next, for the pixel e, the predicted image creation selection unit 101 selects the quasi-direct predicted image creation unit 105. The quasi-direct predicted image creation unit 105 reads T from the decoded image memory 110 and reads S from the predicted image memory 103 to create a predicted image. For the pixel f, the predicted image creation selection unit 101 selects the indirect predicted image creation unit 104. The indirect predicted image creation unit 104 reads the values of S and T from the predicted image memory 103 to create a predicted image. A predicted image is created for pixels g and h in the same manner as for pixel f.
[0039]
Next, a predicted image is created for pixel i in the same manner as pixel e, and a predicted image is created for pixels j, k, and l in the same manner as pixel f. Finally, a predicted image is created for pixel m in the same manner as pixel e, and a predicted image is created for pixels n, o, and p in the same manner as pixel f.
[0040]
The prediction error creation unit 102 creates a prediction error between the created prediction image and the current image, and the prediction error encoding unit 107 DCTs and quantizes the prediction error. The prediction error decoding unit 108 obtains a prediction error by performing inverse quantization and inverse DCT on the prediction error encoded data. The decoded image creation unit 109 creates a decoded image from the prediction error and the prediction image decoded by the prediction error decoding unit 108 and stores the decoded image in the decoded image memory 110.
[0041]
Next, the lower left block B3 shown in FIG. 5C is encoded. For the pixel a, the predicted image creation selection unit 101 directly selects the predicted image creation unit 106. The direct predicted image creation unit 106 sets the value of T to 128 and reads the value of S from the decoded image memory 110 to create a predicted image. For the pixel b, the predicted image creation selection unit 101 selects the quasi-direct predicted image creation unit 105. The quasi-direct predicted image creation unit 105 reads S from the decoded image memory 110 and reads T from the predicted image memory 103 to create a predicted image. A predicted image is created for pixels c and d in the same manner as for pixel b.
[0042]
Next, for the pixel e, the predicted image creation selection unit 101 selects the quasi-direct predicted image creation unit 105. The quasi-direct predicted image creating unit 105 sets the value of T to 128, reads S from the predicted image memory 103, and creates a predicted image. For the pixel f, the predicted image creation selection unit 101 selects the indirect predicted image creation unit 104. The indirect predicted image creation unit 104 reads the values of S and T from the predicted image memory 103 to create a predicted image. A predicted image is created for pixels g and h in the same manner as for pixel f. Next, a predicted image is created for pixel i in the same manner as pixel e, and a predicted image is created for pixels j, k, and l in the same manner as pixel f. Finally, a predicted image is created for pixel m in the same manner as pixel e, and a predicted image is created for pixels n, o, and p in the same manner as pixel f.
[0043]
The prediction error creation unit 102 creates a prediction error between the created prediction image and the current image, and the prediction error encoding unit 107 DCTs and quantizes the prediction error. The prediction error decoding unit 108 obtains a prediction error by performing inverse quantization and inverse DCT on the prediction error encoded data. The decoded image creation unit 109 creates a decoded image from the prediction error and the prediction image decoded by the prediction error decoding unit 108 and stores the decoded image in the decoded image memory 110.
[0044]
Next, the lower right block B4 shown in FIG. 5D is encoded. For the pixel a, the predicted image creation selection unit 101 directly selects the predicted image creation unit 106. The direct predicted image creation unit 106 reads the values of T and S from the decoded image memory 110 and creates a predicted image. For the pixel b, the predicted image creation selection unit 101 selects the quasi-direct predicted image creation unit 105. The quasi-direct predicted image creation unit 105 reads S from the decoded image memory 110 and reads T from the predicted image memory 103 to create a predicted image. A predicted image is created for pixels c and d in the same manner as for pixel b.
[0045]
Next, for the pixel e, the predicted image creation selection unit 101 selects the quasi-direct predicted image creation unit 105. The quasi-direct predicted image creation unit 105 reads T from the decoded image memory 110 and reads S from the predicted image memory 103 to create a predicted image. For the pixel f, the predicted image creation selection unit 101 selects the indirect predicted image creation unit 104. The indirect predicted image creation unit 104 reads the values of S and T from the predicted image memory 103 to create a predicted image. A predicted image is created for pixels g and h in the same manner as for pixel f. Next, a predicted image is created for pixel i in the same manner as pixel e, and a predicted image is created for pixels j, k, and l in the same manner as pixel f. Finally, a predicted image is created for pixel m in the same manner as pixel e, and a predicted image is created for pixels n, o, and p in the same manner as pixel f.
[0046]
The prediction error creation unit 102 creates a prediction error between the created prediction image and the current image, and the prediction error encoding unit 107 DCTs and quantizes the prediction error. The prediction error decoding unit 108 obtains a prediction error by performing inverse quantization and inverse DCT on the prediction error encoded data. The decoded image creation unit 109 creates a decoded image from the prediction error and the prediction image decoded by the prediction error decoding unit 108 and stores the decoded image in the decoded image memory 110. Thus, the encoding of the image of 8 pixels vertically and horizontally is completed.
[0047]
Next, the image decoding apparatus will be described. FIG. 6 shows an outline of the image decoding apparatus according to the embodiment of the present invention. The image decoding apparatus 200 includes a decoded image memory 208 for storing a decoded image, a predicted image memory 203 for storing a predicted image, and a direct predicted image generation for generating predicted image information from the image information stored in the decoded image memory 208. Unit 206, a quasi-direct predicted image creation unit 205 that creates predicted image information from image information stored in the decoded image memory 208, and image information stored in the predicted image memory 203, and stored in the predicted image memory 203. Indirectly predicted image creation unit 204 that creates predicted image information from image information that has been set, a predicted image that selects one of direct predicted image creation unit 206, quasi direct predicted image creation unit 205, and indirect predicted image creation unit 204 A creation / selection unit 201, a prediction error decoding unit 202 that decodes prediction error coded data and obtains prediction error information, And a decoded image generation unit 207 to create a decoded image from the difference. The operation of each unit is the same as that of the image encoding device 100.
[0048]
Under such a premise, the encoded data of each block of 4 pixels vertically and horizontally divided from the image of the screen of 8 pixels vertically and horizontally is decoded as follows. First, the upper left block B1 shown in FIG. 5A is decoded. For the pixel a, the predicted image creation selection unit 201 directly selects the predicted image creation unit 206. The direct predicted image creation unit 206 creates a predicted image by setting the values of S and T to 128. For the pixel b, the predicted image creation selection unit 201 selects the quasi-direct predicted image creation unit 205. The quasi-direct predicted image creation unit 205 sets the value of S to 128, reads T from the predicted image memory 203, and creates a predicted image. A predicted image is created for pixels c and d in the same manner as for pixel b.
[0049]
Next, for the pixel e, the predicted image creation selection unit 201 selects the quasi-direct predicted image creation unit 205. The quasi-direct predicted image creation unit 205 sets the value of T to 128, reads S from the predicted image memory 203, and creates a predicted image. For the pixel f, the predicted image creation selection unit 201 selects the indirect predicted image creation unit 204. The indirect predicted image creation unit 204 reads the values of S and T from the predicted image memory 203 and creates a predicted image. A predicted image is created for pixels g and h in the same manner as for pixel f. Next, a predicted image is created for pixel i in the same manner as pixel e, and a predicted image is created for pixels j, k, and l in the same manner as pixel f. Finally, a predicted image is created for pixel m in the same manner as pixel e, and a predicted image is created for pixels n, o, and p in the same manner as pixel f.
[0050]
The prediction error decoding unit 202 obtains a prediction error by performing inverse quantization and inverse DCT on the encoded prediction error data. The decoded image creation unit 207 creates a decoded image from the prediction error decoded by the prediction error decoding unit 202 and the prediction image, and stores the decoded image in the decoded image memory 208.
[0051]
Next, decoding of the upper right block B2 shown in FIG. 5B is performed. For the pixel a, the predicted image creation selection unit 201 directly selects the predicted image creation unit 206. The direct prediction image creation unit 206 sets the value of S to 128 and reads the value of T from the decoded image memory 208 to create a prediction image. For the pixel b, the predicted image creation selection unit 201 selects the quasi-direct predicted image creation unit 205. The quasi-direct predicted image creation unit 205 sets the value of S to 128, reads T from the predicted image memory 203, and creates a predicted image. A predicted image is created for pixels c and d in the same manner as for pixel b.
[0052]
Next, for the pixel e, the predicted image creation selection unit 201 selects the quasi-direct predicted image creation unit 205. The quasi-direct predicted image creation unit 205 reads T from the decoded image memory 208 and reads S from the predicted image memory 203 to create a predicted image. For the pixel f, the predicted image creation selection unit 201 selects the indirect predicted image creation unit 204. The indirect predicted image creation unit 204 reads the values of S and T from the predicted image memory 203 and creates a predicted image. A predicted image is created for pixels g and h in the same manner as for pixel f. Next, a predicted image is created for pixel i in the same manner as pixel e, and a predicted image is created for pixels j, k, and l in the same manner as pixel f. Finally, a predicted image is created for pixel m in the same manner as pixel e, and a predicted image is created for pixels n, o, and p in the same manner as pixel f.
[0053]
The prediction error decoding unit 202 obtains a prediction error by performing inverse quantization and inverse DCT on the encoded prediction error data. The decoded image creation unit 207 creates a decoded image from the prediction error decoded by the prediction error decoding unit 202 and the prediction image, and stores the decoded image in the decoded image memory 208.
[0054]
Next, the lower left block B3 shown in FIG. 5C is decoded. For the pixel a, the predicted image creation selection unit 201 directly selects the predicted image creation unit 206. The direct predicted image creation unit 206 sets the value of T to 128 and reads the value of S from the decoded image memory 208 to create a predicted image. For the pixel b, the predicted image creation selection unit 201 selects the quasi-direct predicted image creation unit 205. The quasi-direct predicted image creation unit 205 reads S from the decoded image memory 208 and reads T from the predicted image memory 203 to create a predicted image. A predicted image is created for pixels c and d in the same manner as for pixel b.
[0055]
Next, for the pixel e, the predicted image creation selection unit 201 selects the quasi-direct predicted image creation unit 205. The quasi-direct predicted image creation unit 205 sets the value of T to 128, reads S from the predicted image memory 203, and creates a predicted image. For the pixel f, the predicted image creation selection unit 201 selects the indirect predicted image creation unit 204. The indirect predicted image creation unit 204 reads the values of S and T from the predicted image memory 203 and creates a predicted image. A predicted image is created for pixels g and h in the same manner as for pixel f. Next, a predicted image is created for pixel i in the same manner as pixel e, and a predicted image is created for pixels j, k, and l in the same manner as pixel f. Finally, a predicted image is created for pixel m in the same manner as pixel e, and a predicted image is created for pixels n, o, and p in the same manner as pixel f.
[0056]
The prediction error decoding unit 202 obtains a prediction error by performing inverse quantization and inverse DCT on the encoded prediction error data. The decoded image creation unit 207 creates a decoded image from the prediction error decoded by the prediction error decoding unit 202 and the prediction image, and stores the decoded image in the decoded image memory 208.
[0057]
Next, the lower right block B4 shown in FIG. 5D is decoded. For the pixel a, the predicted image creation selection unit 201 directly selects the predicted image creation unit 206. The direct predicted image creation unit 206 reads the values of T and S from the decoded image memory 208 and creates a predicted image. For the pixel b, the predicted image creation selection unit 201 selects the quasi-direct predicted image creation unit 205. The quasi-direct predicted image creation unit 205 reads S from the decoded image memory 208 and reads T from the predicted image memory 203 to create a predicted image. A predicted image is created for pixels c and d in the same manner as for pixel b.
[0058]
Next, for the pixel e, the predicted image creation selection unit 201 selects the quasi-direct predicted image creation unit 205. The quasi-direct predicted image creation unit 205 reads T from the decoded image memory 208 and reads S from the predicted image memory 203 to create a predicted image. For the pixel f, the predicted image creation selection unit 201 selects the indirect predicted image creation unit 204. The indirect predicted image creation unit 204 reads the values of S and T from the predicted image memory 203 and creates a predicted image. A predicted image is created for pixels g and h in the same manner as for pixel f. Next, a predicted image is created for pixel i in the same manner as pixel e, and a predicted image is created for pixels j, k, and l in the same manner as pixel f. Finally, a predicted image is created for pixel m in the same manner as pixel e, and a predicted image is created for pixels n, o, and p in the same manner as pixel f.
[0059]
The prediction error decoding unit 202 obtains a prediction error by performing inverse quantization and inverse DCT on the encoded prediction error data. The decoded image creation unit 207 creates a decoded image from the prediction error decoded by the prediction error decoding unit 202 and the prediction image, and stores the decoded image in the decoded image memory 208. Thus, decoding of the image of 8 pixels in length and width is completed.
[0060]
The processing performed by the image encoding device 100 and the image decoding device 200 can be realized by a computer and a software program, and the program can be recorded on a computer-readable recording medium or provided through a network. Is also possible.
[0061]
In the present embodiment, the predicted image is obtained from the upper and left image information according to Expression (6), but the predicted image may be obtained using Expression (5). Variable β ₁ And β _Two By appropriately setting in advance and γ, weighting with a high degree of freedom can be performed. Further, not only the upper and left sides but also the image information at the upper left and upper right pixel positions, for example, may be used for creating the predicted image.
[0062]
It is also preferable to combine the present invention with a conventional predicted image creation method for encoding intra prediction mode information. For example, in a block having a sharp edge, a method of simultaneously coding the intra prediction mode is used, and in a block in which luminance information changes smoothly, the prediction method of the present invention is used to further improve the prediction efficiency and improve the coding efficiency. Can be improved. In this case, it is necessary to encode information specifying whether to use the method of the present invention or the method using the conventional intra prediction mode.
[0063]
As described above, according to the present invention, when a predicted image is created by weighting calculation from surrounding image information, the calculation processing load required for calculating the weighting coefficient can be reduced.
[0064]
【The invention's effect】
According to the present invention, in a coding method for predicting from a decoded image of a region already coded and decoded for each region obtained by dividing a screen, when a predicted image is created by weighting calculation from image information of a surrounding region, The calculation processing load required for calculating the weighting coefficient can be reduced.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating an example of a prediction direction in an intra prediction mode.
FIG. 2 is a diagram showing an image arrangement in a vertical and horizontal four pixel block.
FIG. 3 is a diagram illustrating a configuration example of an image encoding device.
FIG. 4 is a diagram illustrating an operation flow of a prediction image creation selection unit.
FIG. 5 is a diagram illustrating an example of image encoding and decoding according to the present embodiment.
FIG. 6 is a diagram illustrating a configuration example of an image decoding device.
[Explanation of symbols]
100 image encoding device
101 prediction image creation selection unit
102 Prediction error generator
103 prediction image memory
104 Indirect prediction image creation unit
105 Quasi-direct prediction image creation unit
106 Direct prediction image creation unit
107 prediction error encoding unit
108 prediction error decoding unit
109 Decoded image creation unit
110 Decoded image memory
200 Image decoding device
201 Prediction image creation selection unit
202 prediction error decoding unit
203 Predictive image memory
204 Indirect prediction image creation unit
205 Quasi-direct prediction image creation unit
206 Direct prediction image creation unit
207 Decoded image creation unit
208 Decoded image memory

Claims

An image encoding method for encoding using a predictive encoding for each of the divided regions of a screen.
A direct predicted image creating step of creating image information of a predicted image from decoded image information of an already encoded and decoded area;
A quasi-direct predicted image creating step of creating image information of a predicted image from the decoded image information of the already encoded and decoded area and the image information created in the direct predicted image creating step;
An indirect predictive image creating step of creating image information of a predictive image from the image information created in the direct predictive image creating step or the quasi direct predictive image creating step,
An image coding method, wherein a predicted image is created by selecting one of the direct predicted image creating step, the quasi direct predicted image creating step, and the indirect predicted image creating step.

An image decoding method for decoding by using predictive coding for each area obtained by dividing a screen.
A direct predicted image creating step of creating image information of a predicted image from decoded image information of an already encoded and decoded area;
A quasi-direct predicted image creating step of creating image information of a predicted image from the decoded image information of the already encoded and decoded area and the image information created in the direct predicted image creating step;
An indirect predictive image creating step of creating image information of a predictive image from the image information created in the direct predictive image creating step or the quasi direct predictive image creating step,
An image decoding method comprising selecting any one of the direct predicted image creating step, the quasi direct predicted image creating step, and the indirect predicted image creating step to create a predicted image.

An image coding apparatus for coding, using a prediction error between a decoded image of an already coded region and a decoded image of a previously coded region, for each region obtained by dividing the screen,
A direct prediction image generation unit that generates image information of a prediction image from decoded image information of an area that has already been encoded and decoded;
A quasi-direct predicted image creating unit for creating image information of a predicted image from the decoded image information of the already encoded and decoded area and the image information created by the direct predicted image creating unit;
An indirect predicted image generating unit that generates image information of a predicted image from the image information generated by the direct predicted image generating unit or the quasi direct predicted image generating unit;
A prediction image creation selection unit that selects any of the direct prediction image creation unit, the quasi direct prediction image creation unit, and the indirect prediction image creation unit;
A predicted image memory for storing predicted images,
A prediction error generator for calculating a prediction error from the predicted image and the current image;
A prediction error encoding unit for encoding the prediction error,
A prediction error decoding unit for decoding the prediction error encoded data to obtain prediction error information;
A decoded image creation unit for creating a decoded image from the predicted image and the prediction error;
An image encoding device, comprising: a decoded image memory for storing a decoded image.

An image decoding apparatus for decoding, using a decoded image of an already decoded area, for each area obtained by dividing a screen,
A direct prediction image creation unit for creating image information of a prediction image from decoded image information of an already decoded region;
A quasi-direct predicted image creating unit for creating image information of a predicted image from the decoded image information of the already decoded area and the image information created by the direct predicted image creating unit;
An indirect predicted image generating unit that generates image information of a predicted image from the image information generated by the direct predicted image generating unit or the quasi direct predicted image generating unit;
A prediction image creation selection unit that selects any of the direct prediction image creation unit, the quasi direct prediction image creation unit, and the indirect prediction image creation unit;
A prediction error decoding unit for decoding the prediction error encoded data to obtain prediction error information;
A predicted image memory for storing predicted images,
A decoded image creation unit for creating a decoded image from the predicted image and the prediction error;
An image decoding device, comprising: a decoded image memory for storing a decoded image.

An image encoding program for encoding an image using predictive encoding for each area obtained by dividing a screen by a computer,
A direct prediction image creation process for creating image information of a prediction image from decoded image information of a region already encoded and decoded,
A quasi-direct predicted image creating process for creating image information of a predicted image from the decoded image information of the already encoded and decoded region and the image information created in the direct predicted image creating process;
An indirect predicted image creation process for creating image information of a predicted image from the image information created in the direct predicted image creation process or the quasi-direct predicted image creation process;
When creating a predicted image of the current region, a process of selecting any of the direct predicted image creation process, the quasi-direct predicted image creation process, and the indirect predicted image creation process,
An image encoding program to be executed by a computer.

An image decoding program for decoding an image by using a predictive coding for each area obtained by dividing a screen by a computer,
A direct prediction image creation process for creating image information of a prediction image from decoded image information of a region already encoded and decoded,
A quasi-direct predicted image creating process for creating image information of a predicted image from the decoded image information of the already encoded and decoded region and the image information created in the direct predicted image creating process;
An indirect predicted image creation process for creating image information of a predicted image from the image information created in the direct predicted image creation process or the quasi-direct predicted image creation process;
When creating a predicted image of the current region, a process of selecting any of the direct predicted image creation process, the quasi-direct predicted image creation process, and the indirect predicted image creation process,
An image decoding program to be executed by a computer.

A computer-readable recording medium storing an image encoding program for encoding an image using predictive encoding for each area obtained by dividing a screen by a computer,
A direct prediction image creation process for creating image information of a prediction image from decoded image information of a region already encoded and decoded,
A quasi-direct predicted image creating process for creating image information of a predicted image from the decoded image information of the already encoded and decoded region and the image information created in the direct predicted image creating process;
An indirect predicted image creation process for creating image information of a predicted image from the image information created in the direct predicted image creation process or the quasi-direct predicted image creation process;
When creating a predicted image of the current region, a process of selecting any of the direct predicted image creation process, the quasi-direct predicted image creation process, and the indirect predicted image creation process,
A recording medium storing an image encoding program to be executed by a computer.

A computer-readable recording medium that stores an image decoding program for decoding an image using predictive coding for each area obtained by dividing a screen by a computer,
A direct prediction image creation process for creating image information of a prediction image from decoded image information of a region already encoded and decoded,
A quasi-direct predicted image creating process for creating image information of a predicted image from the decoded image information of the already encoded and decoded region and the image information created in the direct predicted image creating process;
An indirect predicted image creation process for creating image information of a predicted image from the image information created in the direct predicted image creation process or the quasi-direct predicted image creation process;
When creating a predicted image of the current region, a process of selecting any of the direct predicted image creation process, the quasi-direct predicted image creation process, and the indirect predicted image creation process,
A recording medium on which an image decoding program to be executed by a computer is recorded.