JP2009033245A - 画像符号化装置、画像符号化方法及びプログラム - Google Patents

Abstract

【課題】高い符号化効率で、高速にフレーム内予測を行うことができ、隣接画素の符号化歪量を算出し、低ビットレートにおける視覚的劣化を低減する画像符号化装置を提供することを目的とする。
【解決手段】入力ピクチャに対して符号化対象ブロック毎にフレーム内予測符号化を行う画像符号化装置において、前記符号化対象ブロックに隣接する画素間の相関を推定する画像特徴抽出手段１０１と、前記画像特徴抽出手段１０１から入力された特徴を用いて、複数の予測モードから使用候補となる予測モードを（全予測モード−１）個以下に絞り込む予測モード絞込み手段１０２とを備えた。これにより、画像特徴に基づいて、予測モードを絞り込むことにより、処理負荷を低減しつつ、符号化効率を向上することができる。
【選択図】図１

Description

本発明は、対象ブロック毎に、既に符号化し復号化した領域の復号画像から予測するフレーム内予測において、画像を符号化して高速に好適な符号化データを得る画像符号化装置及び画像符号化方法等に関する。

動画像を圧縮するとき、一般的に動画像を輝度成分と色差成分とに分けて符号化する。従来の動画像圧縮のための国際標準技術は、一つの動画像を各々輝度と色差成分とに分けて符号化する。

まず一枚のピクチャを他のピクチャを参照せずに符号化した後に、このピクチャを参照して時間軸上に以後のピクチャを動きの予測および補償を利用して予測符号化する。他のピクチャを参照せずに符号化することをフレーム内符号化、他のピクチャを参照して動きの予測および補償を利用して符号化することをフレーム間符号化と呼んでいる。

通常、フレーム内符号化およびフレーム間符号化は、全て離散コサイン変換（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ：ＤＣＴ）、量子化、エントロピー符号化を通じて損失圧縮される。このとき、フレーム内符号化では、ピクチャ間予測をしないため、圧縮効率を上げるために画面内予測方法を利用することがある。

ＩＳＯ／ＩＥＣにおいて規格化されたＭＰＥＧ−４、ＩＴＵ−Ｔにおいて規格化されたＨ．２６３＋による動画像圧縮方式では、フレーム内予測符号化において、画面内の相関を利用して予測符号化する技術を提示している。なお、ＩＳＯ／ＩＥＣは、「Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ／Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｅｌｅｃｔｒｏｔｅｃｈｎｉｃａｌ Ｃｏｍｍｉｓｓｉｏｎ」である。ＭＰＥＧは、「Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ」である。ＩＴＵ−Ｔは、「Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ−Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ」である。

一般に、この技術はＡＣ／ＤＣ予測と呼ばれており、垂直方向８画素、水平方向８画素（以下、８×８と表記する）単位のブロックを設定する。そして、各ブロックをＤＣＴ／量子化する。その後にＤＣ（Ｄｉｒｅｃｔ Ｃｕｒｒｅｎｔ）値およびＡＣ（Ａｌｔｅｒｎａｔｉｏｎ Ｃｕｒｒｅｎｔ）値を周辺ブロックのＤＣ値およびＡＣ値を参照して予測符号化することによって圧縮効率を上げる。

また、２００３年３月、ＩＳＯ／ＩＥＣのＭＰＥＧとＩＴＵ−ＴのＶＣＥＧ（Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）とが、共同でＪＶＴ（Ｊｏｉｎｔ Ｖｉｄｅｏ Ｔｅａｍ）を組織して新しいビデオ符号化標準の勧告を行った。ＩＳＯ／ＩＥＣでは、「ＭＰＥＧ−４ Ｐａｒｔ１０／ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）」という名称で、ＩＴＵ−ＴではＨ．２６４という名称で勧告化されている。この勧告でもフレーム内符号化するときに、画面内の相関を利用して予測符号化を行う技術を提示しており、一般にフレーム内予測と呼ばれている。

フレーム内予測では、輝度成分において１３種類の予測モードが規定されており、予測モードは予測するブロックの単位と予測値生成式を決定する。また、色差成分においては４種類の予測モードが規定されている。

輝度成分では、４×４または１６×１６のブロック単位で予測するが、４×４の場合には９つの予測方法があり、Ｉｎｔｒａ４×４ＰｒｅｄＭｏｄｅ＝０〜８と表し、これを予測モードと呼んでいる。

１６×１６の場合には４つの予測方法があり、予測モードはＩｎｔｒａ１６×１６ＰｒｅｄＭｏｄｅ＝０〜３となる。各予測モードの番号は予測対象ブロックを予測する方向によって異なっており、番号が小さい予測モード程使用される頻度が高いとされている。

図２に４×４における予測モードの番号と予測方向の関係を示す。Ｉｎｔｒａ４×４ＰｒｅｄＭｏｄｅ＝２は平均値予測である。

図３は４×４のブロックの図であり、一ブロックは一画素を表しており、大文字で表記されている画素Ａ、Ｂ、Ｃ、・・・は参照に使用される画素（以下、参照画素と表記する）、小文字で表記されている画素ａ、ｂ、ｃ、・・・は予測対象画素である。

参照画素Ａ、Ｂ、Ｃ、・・・の輝度値をＰ（Ａ）、Ｐ（Ｂ）、Ｐ（Ｃ）、・・・、予測対象画素ａ、ｂ、ｃ、・・・に対する予測値をＰｒｅｄ（ａ）、Ｐｒｅｄ（ｂ）、Ｐｒｅｄ（ｃ）、・・・と表すと、各予測モードにおける予測値は次のように算出される。
なお、Ｐｒｅｄ（ＡＬＬ）はブロック内の全画素の予測値を示し、＞＞１は右に１ビットシフト演算を行うことを示している。

＜Ｉｎｔｒａ４×４ＰｒｅｄＭｏｄｅ＝０＞
Ｐｒｅｄ（ａ）＝Ｐｒｅｄ（ｅ）＝Ｐｒｅｄ（ｉ）＝Ｐｒｅｄ（ｍ）＝Ｐ（Ａ）
Ｐｒｅｄ（ｂ）＝Ｐｒｅｄ（ｆ）＝Ｐｒｅｄ（ｊ）＝Ｐｒｅｄ（ｎ）＝Ｐ（Ｂ）
Ｐｒｅｄ（ｃ）＝Ｐｒｅｄ（ｇ）＝Ｐｒｅｄ（ｋ）＝Ｐｒｅｄ（ｏ）＝Ｐ（Ｃ）
Ｐｒｅｄ（ｄ）＝Ｐｒｅｄ（ｈ）＝Ｐｒｅｄ（ｌ）＝Ｐｒｅｄ（ｐ）＝Ｐ（Ｄ）

＜Ｉｎｔｒａ４×４ＰｒｅｄＭｏｄｅ＝１＞
Ｐｒｅｄ（ａ）＝Ｐｒｅｄ（ｂ）＝Ｐｒｅｄ（ｃ）＝Ｐｒｅｄ（ｄ）＝Ｐ（Ａ）
Ｐｒｅｄ（ｅ）＝Ｐｒｅｄ（ｆ）＝Ｐｒｅｄ（ｇ）＝Ｐｒｅｄ（ｈ）＝Ｐ（Ｂ）
Ｐｒｅｄ（ｉ）＝Ｐｒｅｄ（ｊ）＝Ｐｒｅｄ（ｋ）＝Ｐｒｅｄ（ｌ）＝Ｐ（Ｃ）
Ｐｒｅｄ（ｍ）＝Ｐｒｅｄ（ｎ）＝Ｐｒｅｄ（ｏ）＝Ｐｒｅｄ（ｐ）＝Ｐ（Ｄ）

＜Ｉｎｔｒａ４×４ＰｒｅｄＭｏｄｅ＝２＞
［ピクチャの先頭の場合］
Ｐｒｅｄ（ＡＬＬ）＝１２８
［ピクチャの上端の場合］
Ｐｒｅｄ（ＡＬＬ）＝｛Ｐ（Ｉ）＋Ｐ（Ｊ）＋Ｐ（Ｋ）＋Ｐ（Ｌ）＋２｝＞＞２
［ピクチャの左端の場合］
Ｐｒｅｄ（ＡＬＬ）＝｛Ｐ（Ａ）＋Ｐ（Ｂ）＋Ｐ（Ｃ）＋Ｐ（Ｄ）＋２｝＞＞２
［上記以外の場合］
Ｐｒｅｄ（ＡＬＬ）＝｛Ｐ（Ａ）＋Ｐ（Ｂ）＋Ｐ（Ｃ）＋Ｐ（Ｄ）＋Ｐ（Ｉ）＋Ｐ（Ｊ）＋Ｐ（Ｋ）＋Ｐ（Ｌ）＋４｝＞＞３

＜Ｉｎｔｒａ４×４ＰｒｅｄＭｏｄｅ＝３＞
Ｐｒｅｄ（ａ）＝｛Ｐ（Ａ）＋２Ｐ（Ｂ）＋Ｐ（Ｃ）＋２｝＞＞２
Ｐｒｅｄ（ｂ）＝Ｐｒｅｄ（ｅ）＝｛Ｐ（Ｂ）＋２Ｐ（Ｃ）＋Ｐ（Ｄ）＋２｝＞＞２
Ｐｒｅｄ（ｃ）＝Ｐｒｅｄ（ｆ）＝Ｐｒｅｄ（ｉ）＝｛Ｐ（Ｃ）＋２Ｐ（Ｄ）＋Ｐ（Ｅ）＋２｝＞＞２
Ｐｒｅｄ（ｄ）＝Ｐｒｅｄ（ｇ）＝Ｐｒｅｄ（ｊ）＝Ｐｒｅｄ（ｍ）＝｛Ｐ（Ｄ）＋２Ｐ（Ｅ）＋Ｐ（Ｆ）＋２｝＞＞２
Ｐｒｅｄ（ｈ）＝Ｐｒｅｄ（ｋ）＝Ｐｒｅｄ（ｎ）＝｛Ｐ（Ｅ）＋２Ｐ（Ｆ）＋Ｐ（Ｇ）＋２｝＞＞２
Ｐｒｅｄ（ｌ）＝Ｐｒｅｄ（ｏ）＝｛Ｐ（Ｆ）＋２Ｐ（Ｇ）＋Ｐ（Ｈ）＋２｝＞＞２
Ｐｒｅｄ（ｐ）＝｛３Ｐ（Ｇ）＋Ｐ（Ｈ）＋２｝＞＞２

＜Ｉｎｔｒａ４×４ＰｒｅｄＭｏｄｅ＝４＞
Ｐｒｅｄ（ａ）＝Ｐｒｅｄ（ｆ）＝Ｐｒｅｄ（ｋ）＝Ｐｒｅｄ（ｐ）＝｛Ｐ（Ａ）＋２Ｐ（Ｍ）＋Ｐ（Ｉ）＋２｝＞＞２
Ｐｒｅｄ（ｂ）＝Ｐｒｅｄ（ｇ）＝Ｐｒｅｄ（ｉ）＝｛Ｐ（Ｍ）＋２Ｐ（Ａ）＋Ｐ（Ｂ）＋２｝＞＞２
Ｐｒｅｄ（ｃ）＝Ｐｒｅｄ（ｈ）＝｛Ｐ（Ａ）＋２Ｐ（Ｂ）＋Ｐ（Ｃ）＋２｝＞＞２
Ｐｒｅｄ（ｄ）＝｛Ｐ（Ｃ）＋２Ｐ（Ｄ）＋Ｐ（Ｅ）＋２｝＞＞２
Ｐｒｅｄ（ｅ）＝Ｐｒｅｄ（ｊ）＝Ｐｒｅｄ（ｏ）＝｛Ｐ（Ｍ）＋２Ｐ（Ｉ）＋Ｐ（Ｊ）＋２｝＞＞２
Ｐｒｅｄ（ｉ）＝Ｐｒｅｄ（ｎ）＝｛Ｐ（Ｉ）＋２Ｐ（Ｊ）＋Ｐ（Ｋ）＋２｝＞＞２
Ｐｒｅｄ（ｍ）＝｛Ｐ（Ｊ）＋２Ｐ（Ｋ）＋Ｐ（Ｌ）＋２｝＞＞２

＜Ｉｎｔｒａ４×４ＰｒｅｄＭｏｄｅ＝５＞
Ｐｒｅｄ（ａ）＝Ｐｒｅｄ（ｊ）＝｛Ｐ（Ｍ）＋Ｐ（Ａ）＋１｝＞＞１
Ｐｒｅｄ（ｂ）＝Ｐｒｅｄ（ｋ）＝｛Ｐ（Ａ）＋Ｐ（Ｂ）＋１｝＞＞１
Ｐｒｅｄ（ｃ）＝Ｐｒｅｄ（ｌ）＝｛Ｐ（Ｂ）＋Ｐ（Ｃ）＋１｝＞＞１
Ｐｒｅｄ（ｄ）＝｛Ｐ（Ｃ）＋Ｐ（Ｄ）＋１｝＞＞１
Ｐｒｅｄ（ｆ）＝Ｐｒｅｄ（ｏ）＝｛Ｐ（Ｍ）＋２Ｐ（Ａ）＋Ｐ（Ｂ）＋２｝＞＞２
Ｐｒｅｄ（ｇ）＝Ｐｒｅｄ（ｐ）＝｛Ｐ（Ａ）＋２Ｐ（Ｂ）＋Ｐ（Ｃ）＋２｝＞＞２
Ｐｒｅｄ（ｈ）＝｛Ｐ（Ｂ）＋２Ｐ（Ｃ）＋Ｐ（Ｄ）＋２｝＞＞２
Ｐｒｅｄ（ｅ）＝Ｐｒｅｄ（ｎ）＝｛Ｐ（Ｉ）＋２Ｐ（Ｍ）＋Ｐ（Ａ）＋２｝＞＞２
Ｐｒｅｄ（ｉ）＝｛Ｐ（Ｊ）＋２Ｐ（Ｉ）＋Ｐ（Ｍ）＋２｝＞＞２
Ｐｒｅｄ（ｍ）＝｛Ｐ（Ｋ）＋２Ｐ（Ｊ）＋Ｐ（Ｉ）＋２｝＞＞２

＜Ｉｎｔｒａ４×４ＰｒｅｄＭｏｄｅ＝６＞
Ｐｒｅｄ（ａ）＝Ｐｒｅｄ（ｇ）＝｛Ｐ（Ｍ）＋Ｐ（Ｉ）＋１｝＞＞１
Ｐｒｅｄ（ｅ）＝Ｐｒｅｄ（ｋ）＝｛Ｐ（Ｉ）＋Ｐ（Ｊ）＋１｝＞＞１
Ｐｒｅｄ（ｉ）＝Ｐｒｅｄ（ｏ）＝｛Ｐ（Ｊ）＋Ｐ（Ｋ）＋１｝＞＞１
Ｐｒｅｄ（ｍ）＝｛Ｐ（Ｋ）＋Ｐ（Ｌ）＋１｝＞＞１
Ｐｒｅｄ（ｉ）＝Ｐｒｅｄ（ｌ）＝｛Ｐ（Ｍ）＋２Ｐ（Ｉ）＋Ｐ（Ｊ）＋２｝＞＞２
Ｐｒｅｄ（ｊ）＝Ｐｒｅｄ（ｐ）＝｛Ｐ（Ｉ）＋２Ｐ（Ｊ）＋Ｐ（Ｋ）＋２｝＞＞２
Ｐｒｅｄ（ｎ）＝｛Ｐ（Ｊ）＋２Ｐ（Ｋ）＋Ｐ（Ｌ）＋２｝＞＞２
Ｐｒｅｄ（ｂ）＝Ｐｒｅｄ（ｈ）＝｛Ｐ（Ａ）＋２Ｐ（Ｍ）＋Ｐ（Ｉ）＋２｝＞＞２
Ｐｒｅｄ（ｃ）＝｛Ｐ（Ｂ）＋２Ｐ（Ａ）＋Ｐ（Ｍ）＋２｝＞＞２
Ｐｒｅｄ（ｄ）＝｛Ｐ（Ｃ）＋２Ｐ（Ｂ）＋Ｐ（Ａ）＋２｝＞＞２

＜Ｉｎｔｒａ４×４ＰｒｅｄＭｏｄｅ＝７＞
Ｐｒｅｄ（ａ）＝｛Ｐ（Ａ）＋Ｐ（Ｂ）＋１｝＞＞１
Ｐｒｅｄ（ｂ）＝Ｐｒｅｄ（ｉ）＝｛Ｐ（Ｂ）＋Ｐ（Ｃ）＋１｝＞＞１
Ｐｒｅｄ（ｃ）＝Ｐｒｅｄ（ｊ）＝｛Ｐ（Ｃ）＋Ｐ（Ｄ）＋１｝＞＞１
Ｐｒｅｄ（ｄ）＝Ｐｒｅｄ（ｋ）＝｛Ｐ（Ｄ）＋Ｐ（Ｅ）＋１｝＞＞１
Ｐｒｅｄ（ｌ）＝｛Ｐ（Ｅ）＋Ｐ（Ｆ）＋１｝＞＞１
Ｐｒｅｄ（ｅ）＝｛Ｐ（Ａ）＋２Ｐ（Ｂ）＋Ｐ（Ｃ）＋２｝＞＞２
Ｐｒｅｄ（ｆ）＝Ｐｒｅｄ（ｍ）＝｛Ｐ（Ｂ）＋２Ｐ（Ｃ）＋Ｐ（Ｄ）＋２｝＞＞２
Ｐｒｅｄ（ｇ）＝Ｐｒｅｄ（ｎ）＝｛Ｐ（Ｃ）＋２Ｐ（Ｄ）＋Ｐ（Ｅ）＋２｝＞＞２
Ｐｒｅｄ（ｈ）＝Ｐｒｅｄ（ｏ）＝｛Ｐ（Ｄ）＋２Ｐ（Ｅ）＋Ｐ（Ｆ）＋２｝＞＞２
Ｐｒｅｄ（ｐ）＝｛Ｐ（Ｅ）＋２Ｐ（Ｆ）＋Ｐ（Ｇ）＋２｝＞＞２

＜Ｉｎｔｒａ４×４ＰｒｅｄＭｏｄｅ＝８＞
Ｐｒｅｄ（ａ）＝｛Ｐ（Ｉ）＋Ｐ（Ｊ）＋１｝＞＞１
Ｐｒｅｄ（ｅ）＝Ｐｒｅｄ（ｃ）＝｛Ｐ（Ｊ）＋Ｐ（Ｋ）＋１｝＞＞１
Ｐｒｅｄ（ｉ）＝Ｐｒｅｄ（ｇ）＝｛Ｐ（Ｋ）＋Ｐ（Ｌ）＋１｝＞＞１
Ｐｒｅｄ（ｂ）＝｛Ｐ（Ｉ）＋２Ｐ（Ｊ）＋Ｐ（Ｋ）＋２｝＞＞２
Ｐｒｅｄ（ｆ）＝Ｐｒｅｄ（ｄ）＝｛Ｐ（Ｊ）＋２Ｐ（Ｋ）＋Ｐ（Ｌ）＋２｝＞＞２
Ｐｒｅｄ（ｊ）＝Ｐｒｅｄ（ｈ）＝｛Ｐ（Ｊ）＋３Ｐ（Ｋ）＋２｝＞＞２
Ｐｒｅｄ（ｋ）＝Ｐｒｅｄ（ｌ）＝Ｐｒｅｄ（ｍ）＝Ｐｒｅｄ（ｎ）＝Ｐｒｅｄ（ｏ）＝Ｐｒｅｄ（ｐ）＝Ｐ（Ｌ）

また、１６×１６の場合の予測モードの番号と予測方向の関係は、Ｉｎｔｒａ１６×１６ＰｒｅｄＭｏｄｅ＝０は垂直予測、Ｉｎｔｒａ１６×１６ＰｒｅｄＭｏｄｅ＝１は水平予測である。また、Ｉｎｔｒａ１６×１６ＰｒｅｄＭｏｄｅ＝２は平均値予測、Ｉｎｔｒａ１６×１６ＰｒｅｄＭｏｄｅ＝３は平面予測となっている。

図４に１６×１６のブロックの図を示す。画素（ｘ、ｙ）の画素値をＰ（ｘ、ｙ）、画素（ｘ、ｙ）に対する予測値をＰｒｅｄ（ｘ、ｙ）と表すと、各予測モードにおける予測値は次のように算出される。

＜Ｉｎｔｒａ１６×１６ＰｒｅｄＭｏｄｅ＝０＞
Ｐｒｅｄ（ｘ、ｙ）＝Ｐ（ｘ、−１） （ｘ＝０〜１５、ｙ＝０〜１５）

＜Ｉｎｔｒａ１６×１６ＰｒｅｄＭｏｄｅ＝１＞
Ｐｒｅｄ（ｘ、ｙ）＝Ｐ（−１、ｙ） （ｘ＝０〜１５、ｙ＝０〜１５）

＜Ｉｎｔｒａ１６×１６ＰｒｅｄＭｏｄｅ＝２＞
［ピクチャの先頭の場合］
Ｐｒｅｄ（ｘ、ｙ）＝１２８ （ｘ＝０〜１５、ｙ＝０〜１５）
［ピクチャの上端の場合］
Ｐｒｅｄ（ｘ、ｙ）＝｛ΣＰ（−１、ｙ）＋８｝＞＞４ （ｘ＝０〜１５、ｙ＝０〜１５）
［ピクチャの左端の場合］
Ｐｒｅｄ（ｘ、ｙ）＝｛ΣＰ（ｘ、−１）＋８｝＞＞４ （ｘ＝０〜１５、ｙ＝０〜１５）
［上記以外の場合］
Ｐｒｅｄ（ｘ、ｙ）＝｛ΣＰ（ｘ、−１）＋ΣＰ（−１、ｙ）＋１６｝＞＞５ （ｘ＝０〜１５、ｙ＝０〜１５）

＜Ｉｎｔｒａ１６×１６ＰｒｅｄＭｏｄｅ＝３＞
Ｐｒｅｄ（ｘ、ｙ）＝｛ａ＋ｂ×（ｘ−７）＋ｃ×（ｙ−７）＋１６｝＞＞５
（ｘ＝０〜１５、ｙ＝０〜１５）
ａ＝１６×｛（Ｐ（−１、１５）＋Ｐ（１５、−１））
ｂ＝（５×Ｈ＋３２）＞＞６
ｃ＝（５×Ｖ＋３２）＞＞６
Ｈ＝Ｐ（８、−１）−Ｐ（６、−１）＋２Ｐ（９、−１）−２Ｐ（５、−１）＋３Ｐ（１０、−１）−３Ｐ（４、−１）＋４Ｐ（１１、−１）−４Ｐ（３、−１）＋５Ｐ（１２、−１）−５Ｐ（２、−１）―６Ｐ（１３、−１）―６Ｐ（１、−１）＋７Ｐ（１４、−１）−７Ｐ（０、−１）＋８Ｐ（１５、−１）−８（−１、−１）
Ｖ＝Ｐ（−１、８）−Ｐ（−１、６）＋２Ｐ（−１、９）−２Ｐ（−１、５）＋３Ｐ（−１、１０）−３Ｐ（−１、４）＋４Ｐ（−１、１１）−４Ｐ（−１、３）＋５Ｐ（−１、１２）−５Ｐ（−１、２）―６Ｐ（−１、１３）―６Ｐ（−１、１）＋７Ｐ（−１、１４）−７Ｐ（−１、０）＋８Ｐ（−１、１５）−８Ｐ（−１、−１）

また、色差成分の場合には、輝度成分の１６×１６で予測する方法と同様に４つの予測方向を使用するが、ブロックサイズは８×８のブロックを使用する。ただし、色差成分の８×８で予測する方法は、輝度成分で１６×１６を使用して予測する方法とは予測モードの番号と予測方向が異なる。色差成分の８×８予測ではｉｎｔｒａ＿ｃｈｒｏｍａ＿ｐｒｅｄ＿ｍｏｄｅ＝０は平均値予測である。

また、ｉｎｔｒａ＿ｃｈｒｏｍａ＿ｐｒｅｄ＿ｍｏｄｅ＝１が水平予測、ｉｎｔｒａ＿ｃｈｒｏｍａ＿ｐｒｅｄ＿ｍｏｄｅ＝２が垂直予測、ｉｎｔｒａ＿ｃｈｒｏｍａ＿ｐｒｅｄ＿ｍｏｄｅ＝３が平面予測となっている。

図５に８×８のブロック図を示す。１６×１６のときと同様に、各予測モードにおける予測値は次のように算出される。

＜ｉｎｔｒａ＿ｃｈｒｏｍａ＿ｐｒｅｄ＿ｍｏｄｅ＝０＞
［ピクチャの先頭の場合］
Ｐｒｅｄ（ｘ、ｙ）＝１２８ （ｘ＝０〜７、ｙ＝０〜７）
［ピクチャの上端の場合］
Ｐｒｅｄ（ｘ、ｙ）＝｛ΣＰ（−１、ｙ）＋２｝＞＞２ （ｘ＝０〜７、ｙ＝０〜７）
［ピクチャの左端の場合］
Ｐｒｅｄ（ｘ、ｙ）＝｛ΣＰ（ｘ、−１）＋２｝＞＞２ （ｘ＝０〜７、ｙ＝０〜７）
［上記以外の場合］
Ｐｒｅｄ（ｘ、ｙ）＝｛ΣＰ（ｘ、−１）＋ΣＰ（−１、ｙ）＋４｝＞＞３ （ｘ＝０〜７、ｙ＝０〜７）

＜ｉｎｔｒａ＿ｃｈｒｏｍａ＿ｐｒｅｄ＿ｍｏｄｅ＝１＞
Ｐｒｅｄ（ｘ、ｙ）＝Ｐ（−１、ｙ） （ｘ＝０〜７、ｙ＝０〜７）

＜ｉｎｔｒａ＿ｃｈｒｏｍａ＿ｐｒｅｄ＿ｍｏｄｅ＝２＞
Ｐｒｅｄ（ｘ、ｙ）＝Ｐ（ｘ、−１） （ｘ＝０〜７、ｙ＝０〜７）

＜ｉｎｔｒａ＿ｃｈｒｏｍａ＿ｐｒｅｄ＿ｍｏｄｅ＝３＞
Ｐｒｅｄ（ｘ、ｙ）＝｛ａ＋ｂ×（ｘ−３）＋ｃ×（ｙ−３）＋１６｝＞＞５
（ｘ＝０〜７、ｙ＝０〜７）
ａ＝１６×｛（Ｐ（−１、７）＋Ｐ（７、−１））
ｂ＝（１７×Ｈ＋１６）＞＞５
ｃ＝（１７×Ｖ＋１６）＞＞５
Ｈ＝Ｐ（４、−１）−Ｐ（２、−１）＋２Ｐ（５、−１）−２Ｐ（１、−１）＋３Ｐ（６、−１）−３Ｐ（０、−１）＋４Ｐ（７、−１）−４Ｐ（−１、−１）
Ｖ＝Ｐ（−１、４）−Ｐ（−１、２）＋２Ｐ（−１、５）−２Ｐ（−１、１）＋３Ｐ（−１、６）−３Ｐ（−１、０）＋４Ｐ（−１、７）−４Ｐ（−１、−１）

さらに、ＪＶＴでは、静止画像符号化処理も含めた、Ｈ．２６４／ＡＶＣ Ｆｉｄｅｌｉｔｙ Ｒａｎｇｅ Ｅｘｔｅｎｓｉｏｎｓ Ａｍｅｎｄｍｅｎｔも策定中である。

この拡張案では、輝度成分での８×８のブロックを使用する画面内予測方法が提案されている。輝度成分で８×８のブロックを使用して予測する方法では４×４のブロックを使用して予測する方法と同様に、予測方向によって９つの予測方法があり、予測モードと予測方向は４×４の場合と同じである。予測値も４×４と同様に算出する。

このように、フレーム内予測には多くの予測モードが規定されているが、どの予測モードを使用すれば効率が良いかを選択する方法は勧告では規定されていない。

実際に最も効率の良いブロックサイズと予測方向を決定するには、全ての予測モードで一旦予測した結果から最も効率の良い予測モードに決定する方法が考えられる。しかし、全ての予測モードで一旦予測する方法では処理負荷が増大するため、ハードウェアでは回路規模、ソフトウェアでは計算量が増大し、リアルタイムで符号化することは困難になる。

そこで、従来、符号化対象ブロックに属する画素から符号化対象ブロックに対する相関を推定し、相関に応じて予測モードを限定し、限定された予測モードの中で一旦予測を行って最も効率の良い予測モードを決定する技術がある（特許文献１参照）。

しかし、この技術では、処理負荷を低減できるが、本来フレーム内予測に使用される参照画素ではなく、符号化対象ブロックに属する画素から符号化対象ブロックに対する相関を推定しているため、符号化効率は悪くなってしまう。

この問題を解決するために、本来フレーム内予測に使用される参照画素から相関を推定する技術（従来技術１）がある。

特開２００４−３０４７２４号公報

しかしながら、上述した従来技術では、符号化効率は良くなるが、符号化対象ブロックの一つ前の符号化対象ブロックに対する局所復号化が終了してからでないと相関を推定できないため、高速に処理を行えないという問題がある。

また、プレーンなカラー背景に線や文字が重畳したグラフィックス画像や、窓枠など縦線、横線などが多い自然画像を符号化すると、低ビットレートにおいては、符号化対象ブロック毎に最適な予測モードを選択する。そのため、局所的な符号化歪を生じる予測モードを選択してしまうことがある。

この結果、横方向や縦方向に伸びる符号化歪がニセ色として視覚的に認識されやすくなる。

そこで、本発明は、高い符号化効率で、高速にフレーム内予測を行うことができ、隣接画素の符号化歪量を算出し、低ビットレートにおける視覚的劣化を低減する画像符号化装置を提供することを目的とする。

本発明の画像符号化装置は、入力ピクチャに対して符号化対象ブロック毎にフレーム内予測符号化を行う画像符号化装置において、前記符号化対象ブロックに隣接する画素間の相関を推定する画像特徴抽出手段と、前記画像特徴抽出手段から入力された特徴を用いて、複数の予測モードから使用候補となる予測モードを（全予測モード−１）個以下に絞り込む予測モード絞込み手段と、を備えることを特徴とする。
また、本発明の画像符号化装置は、入力ピクチャに対して符号化対象ブロック毎にフレーム内予測符号化を行う画像符号化装置において、前記符号化対象ブロックに隣接する符号化済み画素の符号化歪みを推定する画像特徴抽出手段と、前記画像特徴抽出手段から入力された特徴を用いて、複数の予測モードから使用候補となる予測モードを（全予測モード−１）個以下に絞り込む予測モード絞込み手段と、を備えることを特徴とする。
また、本発明の画像符号化装置は、入力ピクチャに対して符号化対象ブロック毎にフレーム内予測符号化を行う画像符号化装置において、前記符号化対象ブロックに隣接する画素間の相関と前記符号化対象ブロックに隣接する符号化済み画素の符号化歪みとを推定する画像特徴抽出手段と、前記画像特徴抽出手段から入力された特徴を用いて、複数の予測モードから使用候補となる予測モードを（全予測モード−１）個以下に絞り込む予測モード絞込み手段と、を備えることを特徴とする。
また、本発明の画像符号化方法は、入力ピクチャに対して符号化対象ブロック毎にフレーム内予測符号化を行う画像符号化方法において、前記符号化対象ブロックに隣接する画素間の相関を推定する画像特徴抽出工程と、前記画像特徴抽出工程から入力された特徴を用いて、複数の予測モードから使用候補となる予測モードを（全予測モード−１）個以下に絞り込む予測モード絞込み工程と、を有することを特徴とする。
また、本発明のプログラムは、入力ピクチャに対して符号化対象ブロック毎にフレーム内予測符号化を行う画像符号化装置としてコンピュータを機能させるためのプログラムであって、前記符号化対象ブロックに隣接する画素間の相関を推定する画像特徴抽出手段と、前記画像特徴抽出手段から入力された特徴を用いて、複数の予測モードから使用候補となる予測モードを（全予測モード−１）個以下に絞り込む予測モード絞込み手段としてコンピュータを機能させるためのプログラムである。

本発明によれば、少ない処理負荷で高速に符号化効率の高いフレーム内予測符号化を行うことができる。
また、隣接画素の符号化歪量を算出し、該符号化歪量に応じて符号化歪の生じやすいイントラ予測モードの使用を禁止することで、低ビットレートにおける視覚的劣化を低減することができる。

以下、本発明の実施の形態について図面を参照しながら詳細に説明する。
（第１の実施の形態）
図１は請求項１に示すフレーム内予測符号化手段の一構成図である。本実施例は入力ピクチャに対して符号化対象ブロック毎にフレーム内予測符号化を行う画像符号化装置である。また、前記符号化対象ブロックに隣接する画素間の相関を推定する画像特徴抽出手段を備える。また、前記画像特徴抽出手段から入力された特徴を用いて、複数の予測モードから使用候補となる予測モードを（全予測モード−１）個以下に絞り込む予測モード絞込み手段を備える。

同図において、１０１は画像特徴抽出手段、１０２は予測モード絞込み手段、１０３はイントラ予測手段、１０４は予測モード決定手段である。以下、処理について説明する。説明を分かりやすくするために、ブロック単位は４×４に限定して説明する。

前記画像特徴抽出手段１０１には入力ピクチャが入力される。前記画像特徴抽出手段１０１は入力ピクチャの符号化対象ブロック（図３におけるａ〜ｐ）上部に隣接する画素（図３におけるＡ〜Ｄ）から変化量ΔＶを算出する。また、符号化対象ブロック左部に隣接する画素（図３におけるＩ〜Ｌ）の画素から変化量ΔＨを算出し、前記予測モード絞込み手段１０２に出力する。

前記予測モード絞込み手段１０２は、ΔＶとΔＨの変化量を比較し、ΔＶの変化量が大きい場合には、符号化対象ブロックは上部隣接画素との相関が高いと判断する。また、主に上部隣接画素を参照する予測モードＩｎｔｒａ４×４＝０、２、３、５、７に使用する予測モードを限定する。ΔＨの変化量が大きい場合には、符号化対処ブロックは左部隣接画像との相関が高いと判断し、主に左部隣接画素を参照する予測モードＩｎｔｒａ４×４＝１、２、４、６、８に使用する予測モードを限定する。

前記イントラ予測手段１０３では、前記予測モード絞込み手段１０２によって限定された予測モード、入力ピクチャ、参照画素を入力とする。そして、複数の限定された予測モードについてそれぞれ、該参照画素から勧告通りの予測値を算出し、該入力ピクチャと該予測値の差分である予測誤差を算出する。

また、予測誤差を算出する際、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｕｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）等の予測モード決定指標値も同時に算出しておく。前記予測誤差、予測値、予測モード決定指標値は、前記予測モード決定手段１０４に出力される。

前記予測モード決定手段１０４では、前記予測モード決定指標値に基づいて、予測モードを決定する。例えば、ＳＡＤの値が最小の予測モードに決定する。前記予測モード決定手段１０４は決定した予測モードに応じた、予測誤差、予測値を出力する。

以上、説明したように本発明の画像符号化装置において、画像特徴に基づいて、予測モードを絞り込むことにより、処理負荷を低減しつつ、符号化効率を向上することができる。本実施形態ではブロック単位を４×４の場合に限定して説明をしたが、１６×１６、８×８の場合でも同様のことがいえることは明らかである。

(第２の実施の形態)
図６は請求項２に示すフレーム内予測符号化手段の一構成図である。同図において、１０１は画像特徴抽出手段、１０２は予測モード絞込み手段、１０３はイントラ予測手段、１０４は予測モード決定手段である。以下、処理について説明する。説明を分かりやすくするために、ブロック単位は４×４に限定して説明する。

前記画像特徴抽出手段１０１には入力ピクチャと参照画素（符号化済み画素）が入力される。参照画素は、一旦符号化されたデータを局所復号化したものである。

前記画像特徴抽出手段１０１は、入力ピクチャの符号化対象ブロックと該符号化対象ブロック上部に隣接する画素（図３におけるＡ〜Ｄ）に位置する参照画素から符号化歪Ｄｖを算出する。そして、該符号化対象ブロック左部に隣接する画素（図３におけるＩ〜Ｌ）に位置する参照画素から符号化歪Ｄｈを算出し、前記予測モード絞込み手段１０２へ出力する。

前記予測モード絞込み手段１０２は、前記符号化歪ＤｖとＤｈに基づき、Ｄｖが大きく垂直方向に符号化歪が激しく発生していると判断した場合、Ｉｎｔｒａ４×４＝１、２、３、４、５、６、７、８に使用する予測モードを限定する。そして、Ｄｈが大きく水平方向に符号化歪が激しく発生していると判断した場合、Ｉｎｔｒａ４×４＝０、２、３、４、５、６、７、８に使用する予測モードを限定する。

前記イントラ予測手段１０３では、前記予測モード絞込み手段１０２によって限定された予測モード、入力ピクチャ、参照画素を入力とする。そして、複数の限定された予測モードについてそれぞれ、該参照画素から勧告通りの予測値を算出し、該入力ピクチャと該予測値の差分である予測誤差を算出する。また、予測誤差を算出する際、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｕｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）等の予測モード決定指標値も同時に算出しておく。

前記予測誤差、予測値、予測モード決定指標値は、前記予測モード決定手段１０４に出力される。前記予測モード決定手段１０４では、前記予測モード決定指標値に基づいて、予測モードを決定する。例えば、ＳＡＤの値が最小の予測モードに決定する。前記予測モード決定手段１０４は決定した予測モードに応じた、予測誤差、予測値を出力する。

以上、説明したように本発明の画像符号化装置において、隣接画素の符号化歪量を算出し、該符号化歪量に応じて符号化歪の生じやすいイントラ予測モードの使用を禁止することで、低ビットレートにおける視覚的劣化を低減することができる。本実施形態ではブロック単位を４×４の場合に限定して説明をしたが、１６×１６、８×８の場合でも同様のことがいえることは明らかである。

(第３の実施の形態)
図６は請求項３に示すフレーム内予測符号化手段の一構成図である。同図において、１０１は画像特徴抽出手段、１０２は予測モード絞込み手段、１０３はイントラ予測手段、１０４は予測モード決定手段である。以下、処理について説明する。説明を分かりやすくするために、ブロック単位は４×４に限定して説明する。

前記画像特徴抽出手段１０１には入力ピクチャと参照画素が入力される。前記画像特徴抽出手段１０１は入力ピクチャの符号化対象ブロック（図３におけるａ〜ｐ）上部に隣接する画素（図３におけるＡ〜Ｄ）から変化量ΔＶを算出する。そして、符号化対象ブロック左部に隣接する画素（図３におけるＩ〜Ｌ）の画素から変化量ΔＨを算出し、前記予測モード絞込み手段１０２に出力する。

また、前記画像特徴抽出手段１０１は、入力ピクチャの符号化対象ブロックと該符号化対象ブロック上部に隣接する画素（図３におけるＡ〜Ｄ）に位置する参照画素から符号化歪Ｄｖを算出する。該符号化対象ブロック左部に隣接する画素（図３におけるＩ〜Ｌ）に位置する参照画素から符号化歪Ｄｈを算出し、前記予測モード絞込み手段１０２へ出力する。

前記予測モード絞込み手段１０２は、ΔＶとΔＨの変化量と前記符号化歪ＤｖとＤｈに基づき、ΔＶの変化量が大きくＤｖ、Ｄｈがあまり大きくない場合には、予測モードＩｎｔｒａ４×４＝０、２、３、５、７に使用する予測モードを限定する。ΔＨの変化量が大きくＤｖ、Ｄｈがあまり大きくない場合には、予測モードＩｎｔｒａ４×４＝１、２、４、６、８に使用する予測モードを限定する。ΔＶの変化量が大きくＤｖも大きい場合には、予測モードＩｎｔｒａ４×４＝２、３、５、７に使用する予測モードを限定する。ΔＨの変化量が大きくＤｈが大きい場合には、予測モードＩｎｔｒａ４×４＝２、４、６、８に使用する予測モードを限定する。

前記イントラ予測手段１０３では、前記予測モード絞込み手段によって限定された予測モード、入力ピクチャ、参照画素を入力とし、複数の限定された予測モードについてそれぞれ、該参照画素から勧告通りの予測値を算出する。そして、該入力ピクチャと該予測値の差分である予測誤差を算出する。

また、予測誤差を算出する際、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｕｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）等の予測モード決定指標値も同時に算出しておく。前記予測誤差、予測値、予測モード決定指標値は、前記予測モード決定手段１０４に出力される。

前記予測モード決定手段１０４では、前記予測モード決定指標値に基づいて、予測モードを決定する。例えば、ＳＡＤの値が最小の予測モードに決定する。前記予測モード決定手段１０４は決定した予測モードに応じた、予測誤差、予測値を出力する。

以上、説明したように本発明の画像符号化装置において、画像特徴に基づいて、予測モードを絞り込むことにより、処理負荷を低減しつつ、符号化効率を向上することができる。また、隣接画素の符号化歪量を算出し、該符号化歪量に応じて符号化歪の生じやすいイントラ予測モードの使用を禁止することで、低ビットレートにおける視覚的劣化を低減することができる。本実施形態ではブロック単位を４×４の場合に限定して説明をしたが、１６×１６、８×８の場合でも同様のことがいえることは明らかである。

なお、本発明はハード構成による実現のみならず、コンピュータを本発明の画像符号化装置として動作（機能）させるプログラムにて実現されても良い。

本発明の第１の実施の形態に係るフレーム内予測符号化手段の構成図である。 ４×４サイズのブロックにおける予測モードの番号と予測方向の関係を説明するための図である。 ４×４サイズのブロックを示す図である。 １６×１６サイズのブロックを示す図である。 ８×８サイズのブロックを示す図である。 本発明の第２及び第３の実施の形態に係るフレーム内予測符号化手段の構成図である。

符号の説明

１０１ 画像特徴抽出手段
１０２ 予測モード絞込み手段
１０３ イントラ予測手段
１０４ 予測モード決定手段

Claims (5)

1. 入力ピクチャに対して符号化対象ブロック毎にフレーム内予測符号化を行う画像符号化装置において、
   前記符号化対象ブロックに隣接する画素間の相関を推定する画像特徴抽出手段と、
   前記画像特徴抽出手段から入力された特徴を用いて、複数の予測モードから使用候補となる予測モードを（全予測モード−１）個以下に絞り込む予測モード絞込み手段と、を備えることを特徴とする画像符号化装置。
2. 入力ピクチャに対して符号化対象ブロック毎にフレーム内予測符号化を行う画像符号化装置において、
   前記符号化対象ブロックに隣接する符号化済み画素の符号化歪みを推定する画像特徴抽出手段と、
   前記画像特徴抽出手段から入力された特徴を用いて、複数の予測モードから使用候補となる予測モードを（全予測モード−１）個以下に絞り込む予測モード絞込み手段と、を備えることを特徴とする画像符号化装置。
3. 入力ピクチャに対して符号化対象ブロック毎にフレーム内予測符号化を行う画像符号化装置において、
   前記符号化対象ブロックに隣接する画素間の相関と前記符号化対象ブロックに隣接する符号化済み画素の符号化歪みとを推定する画像特徴抽出手段と、
   前記画像特徴抽出手段から入力された特徴を用いて、複数の予測モードから使用候補となる予測モードを（全予測モード−１）個以下に絞り込む予測モード絞込み手段と、を備えることを特徴とする画像符号化装置。
4. 入力ピクチャに対して符号化対象ブロック毎にフレーム内予測符号化を行う画像符号化方法において、
   前記符号化対象ブロックに隣接する画素間の相関を推定する画像特徴抽出工程と、
   前記画像特徴抽出工程から入力された特徴を用いて、複数の予測モードから使用候補となる予測モードを（全予測モード−１）個以下に絞り込む予測モード絞込み工程と、を有することを特徴とする画像符号化方法。
5. 入力ピクチャに対して符号化対象ブロック毎にフレーム内予測符号化を行う画像符号化装置としてコンピュータを機能させるためのプログラムであって、
   前記符号化対象ブロックに隣接する画素間の相関を推定する画像特徴抽出手段と、
   前記画像特徴抽出手段から入力された特徴を用いて、複数の予測モードから使用候補となる予測モードを（全予測モード−１）個以下に絞り込む予測モード絞込み手段としてコンピュータを機能させるためのプログラム。

Images