JP2009212790A - 予測モード選択装置および画像符号化装置 - Google Patents

Abstract

【課題】 符号化効率が低い予測モードが選択されるという問題があった。
【解決手段】 入力画像の処理対象ブロックとその隣接ブロックの画像データから特徴量を算出する特徴量算出部と、処理対象ブロック内部の基準点から複数の各予測方向に位置する隣接ブロックと処理対象ブロックの各特徴量に基づいて、予測方向に対応する類似度を算出する類似度算出部と、複数の予測方向の類似度が高い方から所定個の類似度に対応する予測方向を選択する予測方向選択部と、選択した所定個の各予測方向に対応する処理対象ブロックの予測画像データを生成する予測画像生成部と、所定個の予測方向に対応する予測画像データと処理対象ブロックの画像データに基づいて、予測モードを判定する評価値を算出する評価値算出部、算出した評価値に基づいて、処理対象ブロックに対する予測モードを判定する予測モード判定部とを備えた。
【選択図】 図１

Description

この発明は、予測モード選択装置および画像符号化装置に関するものである。

近年の画像・映像のデジタル化に伴い、ＪＰＥＧ、ＭＰＥＧ等の画像や映像の圧縮符号化が広く普及している。その中でも、Ｈ．２６４動画像符号化方式は、映像データ量を効率的に削減するものとして知られている。Ｈ．２６４は、画面間予測だけでなく、画面内予測を用いたフレーム内符号化方式を採用しており、画像符号化も可能である。Ｈ．２６４の画面内予測では、１６×１６の画素からなるマクロブロックをさらに４×４、８×８、１６×１６の画素からなる３種類のブロック分割ができる。１６×１６のブロックには、４つの予測モードしか規定されていないが、４×４ブロックと８×８ブロックには、９種類の予測モードが規定されており、そのうちの１つの予測モードを選択して、隣接画素値を用いた画面内予測を行う。その後、選択した予測モードと、符号化画素と予測画素との差分を符号化して画像符号化データを作成する。

予測モードの選択方法は複数存在するが、演算量の少ない方法として予測画素を作成して原画素との差から予測モードの評価値を算出する方法が考えられる。しかし、予測画素の作成には多くの演算量を必要とするので、さまざまな演算量の削減方法が考えられている。

例えば、対象ブロックが隣接する上と左のブロックにおいて選択された予測モードから、９つの予測モードを可能性の高い順に順序づける方式がある（例えば、特許文献１）。このような順序づけによれば、可能性の高い予測モードのみ評価することが可能となり、評価に伴う予測画素の作成等の演算量が削減される。

また、例えば、対象ブロックが隣接する上と左のブロックにおいて、２つのブロックのそれぞれが対象ブロックとの間で類似が見られる場合と見られない場合の組み合わせで、予測画素を生成して予測モードの評価値を算出する処理をあらかじめ決めておいた所定数の予測モードのみに限って実行する方式がある（例えば、特許文献２）。この方式によって、評価する予測モードは３個から１個に制限される。

特表２００５−５２８０４７号公報 特開２００６−１１５４８７号公報

フレーム内予測では、予測モードの評価を行う前に、可能性の高い予測モードに絞り込む予測モード選択処理を行って演算量の削減が図られている。しかし、次に示すように、従来の予測モード選択処理では、最も符号化効率のよい予測モードが選択されない問題があった。

特許文献１の方法は、隣接ブロックの選択した予測モードから、可能性の高い予測モードを絞り込んでいるが、例えば、隣接ブロックとの間に被写体の境界がある場合は、隣接ブロックとは画像の性質が異なるため、隣接ブロックの選択した予測モードの相関が低くなってしまい、最も符号化効率のよい予測モードが選択できないという問題点がある。

一方、特許文献２の方法は、隣接するブロック間の特徴を判定しているが、符号化の対象とするブロックの上方向と左方向のブロックで、類似しているか否かを判定しているだけなので、誤判定することがある。例えば、平坦な布部分などに見られるなだらかな変化のある画像では、上方向と左方向のブロックとも類似と判定され、その結果右斜め下およびその付近が評価対象と選択される。しかし、布の起伏によって画素値に微妙な変化が生じているため、最適な予測モードは、この変化する画素値の値に近い画素値を取る予測モードになるため、必ずしも右斜め下およびその付近とは限らなくなり、最も符号化効率のよい予測モードが選択できないという問題点がある。

この発明は、上述のような課題を解決するためになされたもので、符号化するブロックとその隣接するブロックの特徴量に基づく類似度が高い予測方向の候補を絞り込み、絞り込まれた予測方向のみから予測方向を評価して符号化することにより、最も符号化効率のよい予測モードを選択できるようにすることを目的とする。

また、ブロック内の細かい画像パターンを検出して予測方向を選択することにより、その予測モードの誤判定を解消して符号化効率を向上させることを目的とする。

この発明に係る予測モード選択装置は、入力画像の処理対象ブロックとその隣接ブロックの画像データから特徴量を算出する特徴量算出部と、この特徴量算出部が算出した特徴量に基づいて、前記処理対象ブロックの画像データを予測する複数の予測方向について、前記処理対象ブロック内部の基準点から各予測方向に位置する前記隣接ブロックの特徴量と前記処理対象ブロックの特徴量に基づいて、予測方向に対応する類似度を算出する類似度算出部と、この類似度算出部が算出した前記複数の予測方向の類似度を比較して、類似度が高い方から所定個の類似度に対応する予測方向を選択する予測方向選択部と、この予測方向選択部が選択した前記所定個の各予測方向に対応する前記処理対象ブロックの予測画像データを生成する予測画像生成部と、この予測画像生成部が生成した前記所定個の予測方向に対応する予測画像データと前記処理対象ブロックの画像データに基づいて、予測モードを判定する評価値を算出する評価値算出部、この評価値算出部が算出した評価値に基づいて、前記処理対象ブロックに対する予測モードを判定する予測モード判定部とを備えたものである。

また、この発明に係る画像符号化装置は、前記予測モード選択装置を備え、この予測モード選択装置が処理対象ブロックに対して選択する予測モードに基づいて、参照画像から前記処理対象ブロックの予測画像データを生成する予測画像生成部と、この予測画像生成部が生成した前記予測モードの予測画像データと前記処理対象ブロックの画像データから予測誤差画像データを算出する予測誤差算出部と、この予測誤差算出部が算出した予測誤差画像データを直交変換してから量子化する直交変換／量子化部と、この直交変換／量子化部が直交変換してから量子化した予測誤差画像データをエントロピー符号化するエントロピー符号化部と、前記直交変換／量子化部が直交変換してから量子化した予測誤差画像データを逆量子化してから逆直交変換する逆量子化／逆直交変換部と、この逆量子化／逆直交変換部が逆量子化してから逆直交変換した予測誤差画像データと前記予測画像生成部が生成した前記予測モードの予測画像データを足し合わせて参照画像を出力する加算部と、この加算部が出力した参照画像を蓄積するフレームメモリとを備えたものである。

この発明によれば、符号化するブロックとその隣接ブロックの特徴量に基づく類似度が高い予測方向の候補を限定して絞り込み、絞り込まれた予測方向のみから予測方向を評価して符号化するため、最も符号化効率のよい予測モードを選択できるようになる効果がある。

また、この発明によれば、ブロック内の細かい画像パターンを検出して予測方向を選択するため、符号化効率を向上させることができる効果がある。

この発明における予測モード選択装置および画像符号化装置において、演算負荷を軽減し、かつ符号化効率の良いモードを選択する構成及び方法について説明する。

実施の形態１．
図１は、この発明の実施の形態１における予測モード選択装置および画像符号化装置の一例を示すブロック図である。

この発明の実施の形態１における予測モード選択装置１０ａは、次に説明する特徴量算出部１１、類似度算出部１２、予測方向選択部１３、予測画像生成部１４ａ、評価値算出部１５および予測モード判定部１６を備えたものである。特徴量算出部１１は、入力画像の処理対象ブロックとその隣接ブロックの画像データから特徴量を算出する。類似度算出部１２は、特徴量算出部１１が算出した特徴量に基づいて、処理対象ブロックの画像データを予測する複数の予測方向について、処理対象ブロック内部の基準点から各予測方向に位置する隣接ブロックの特徴量と処理対象ブロックの特徴量に基づいて、予測方向に対応する類似度を算出する。予測方向選択部１３は、類似度算出部１２が算出した複数の予測方向の類似度を比較して、類似度が高い方から所定個の類似度に対応する予測方向を選択する。予測画像生成部１４ａは、予測方向選択部１３が選択した所定個の各予測方向に対応する処理対象ブロックの予測画像データを生成する。評価値算出部１５は、予測画像生成部１４ａが生成した所定個の予測方向に対応する予測画像データと処理対象ブロックの画像データに基づいて、予測モードを判定する評価値を算出する。予測モード判定部１６は、評価値算出部１５が算出した評価値に基づいて、処理対象ブロックに対する予測モードを判定する。

また、この発明の実施の形態１における画像符号化装置は、この発明の実施の形態１における予測モード選択装置１０ａと、次に説明する予測画像生成部１０１、予測誤差算出部１０２、直交変換／量子化部１０３、エントロピー符号化部１０４、逆量子化／逆直交変換部１０５、加算部１０６およびフレームメモリ１０７を備えたものである。予測画像生成部１０１は、予測モード選択装置１０ａが処理対象ブロックに対して選択する予測モードに基づいて、参照画像から処理対象ブロックの予測画像データを生成する。予測誤差算出部１０２は、予測画像生成部１０１が生成した予測モードの予測画像データと処理対象ブロックの画像データから予測誤差画像データを算出する。直交変換／量子化部１０３は、予測誤差算出部１０２が算出した予測誤差画像データを直交変換してから量子化する。エントロピー符号化部１０４は、直交変換／量子化部１０３が直交変換してから量子化した予測誤差画像データをエントロピー符号化する。逆量子化／逆直交変換部１０５は、直交変換／量子化部１０３が直交変換してから量子化した予測誤差画像データを逆量子化してから逆直交変換する。加算部１０６は、逆量子化／逆直交変換部１０５が逆量子化してから逆直交変換した予測誤差画像データと予測画像生成部が生成した予測モードの予測画像データを足し合わせて参照画像を出力する。フレームメモリ１０７は、加算部１０６が出力した参照画像を蓄積する。

なお、画像符号化装置における処理対象ブロックとは、画像符号化装置の構成の一部として備えた予測モード選択装置１０ａにおいて予測モードを選択する処理対象ブロックであり、符号化対象のブロックである。

この発明の実施の形態１における予測モード選択装置および画像符号化装置は、Ｎ×Ｎの画素からなるブロック単位にフレーム内予測機能を持つものである。以下、図１のブロック構成に基づいて動作を説明する。

特徴量算出部１１は、原画像のＮ×Ｎの画素からなるブロック毎の平均値Ｍおよび偏差値Ｅを次に示す（式１）および（式２）に従って演算する。

ここで、ｘ，ｙは、現画像の画面内をＮ×Ｎの画素からなるブロック単位に分割した場合の、ブロックの水平方向の位置と垂直方向の位置を示す。Ａｉｊは、ブロック内の水平位置ｉ，垂直位置ｊの画素値を表す。

次に、類似度算出部１２で類似度を算出する。ここでは、Ｈ．２６４にならって、類似度を算出する予測方向は、図２に示すような２を除く０から８までの番号が付けられているものとして説明するが、この順序付けに限るわけではない。類似度を算出する対象となるブロックは、図３のブロック２００が符号化対象とすると、この符号化対象のブロック２００とその周辺の２０１から２０５までの隣接ブロックである。

類似度の算出は、位置（ｘ，ｙ）の符号化対象のブロック２００の中心を基準点として、図４の予測方向の矢印の元方向にあるブロックとの間で行うものとする。予測方向ｍの算出対象ブロックが、位置（ｘ，ｙ）の符号化対象ブロックから水平方向α（ｍ）、垂直方向β（ｍ）の隣接位置（ｘ＋α（ｍ），ｙ＋β（ｍ））にあったとすると、ｍ＝０，１，３，４の類似度Ｓ（ｍ，ｘ，ｙ）は、次に示す（式３）で算出する。ここで、類似度を算出する際に、平均値Ｍの差分と偏差値Ｅの差分の各絶対値に１を加えてから乗算することで、一方の差分が０になった場合でも、他方の差分による類似度の評価が行えるようにしている。

ここで、算出対象の位置（ｘ＋α（ｍ），ｙ＋β（ｍ））のブロックは、図４に図示したように、ｍ＝０の時にはブロック２０２、ｍ＝１の時にはブロック２０４、ｍ＝３の時にはブロック２０３、ｍ＝４の時にはブロック２０１である。

すなわち、ここでは、図４に図示したブロックに対応するα（ｍ）、β（ｍ）の組は、
ｍ＝０（ブロック２０２）
α（０）＝ ０，β（０）＝−１
ｍ＝１（ブロック２０４）
α（１）＝−１，β（１）＝ ０
ｍ＝３（ブロック２０３）
α（３）＝ １，β（３）＝−１
ｍ＝４（ブロック２０１）
α（４）＝−１，β（４）＝−１
となる。

ｍ≧５、すなわちｍ＝５，６，７，８の場合、図５の予測方向の矢印の元は、２つのブロックの境界線上にあるため、隣接する２つのブロックの特徴量の平均値を適用するものとする。予測方向ｍの算出対象ブロックが、位置（ｘ，ｙ）の符号化対象ブロックから水平方向α１（ｍ）、垂直方向β１（ｍ）および水平方向α２（ｍ）、垂直方向β２（ｍ）の隣接位置（ｘ＋α１（ｍ），ｙ＋β１（ｍ））および位置（ｘ＋α２（ｍ），ｙ＋β２（ｍ））にあったとすると、ｍ≧５の類似度Ｓ（ｍ，ｘ，ｙ）は、次に示す（式４）で算出する。

ここで、算出対象の位置（ｘ＋α１（ｍ），ｙ＋β１（ｍ））および位置（ｘ＋α２（ｍ），ｙ＋β２（ｍ））のブロックとは、図５に図示したように、ｍ＝５の時にはブロック２０１とブロック２０２、ｍ＝６の時にはブロック２０１とブロック２０４、ｍ＝７の時にはブロック２０２とブロック２０３、ｍ＝８の時にはブロック２０４とブロック２０５である。

すなわち、ここでは図５に図示したブロックに対応するα１（ｍ）、β１（ｍ）およびα２（ｍ）、β２（ｍ）の組は、
ｍ＝５（ブロック２０１，ブロック２０２）
α１（５）＝−１，β１（５）＝−１，
α２（５）＝ ０，β２（５）＝−１
ｍ＝６（ブロック２０１，ブロック２０４）
α１（６）＝−１，β１（６）＝−１，
α２（６）＝ ０，β２（６）＝−１
ｍ＝７（ブロック２０２，ブロック２０３）
α１（７）＝ ０，β１（７）＝−１，
α２（７）＝ １，β２（７）＝−１
ｍ＝８（ブロック２０４，ブロック２０５）
α１（８）＝−１，β１（８）＝ ０，
α２（８）＝−１，β２（８）＝ １
となる。

このように、符号化対象のブロック２００の中心に設定した基準点を通る予測方向の傾きをもつ直線が通過する隣接ブロックの特徴量を適用して類似度を算出する。ここで、直線が複数の隣接ブロックを通過するときには、例えば（式４）のように複数の隣接ブロックの特徴量の平均を適用して類似度を算出する。なお、ここでは２つの隣接ブロックの特徴量の平均を適用すると説明したが、例えば、各隣接ブロックを通過する直線の線分の長さの比で重み付ける加重平均を適用してもよい。

予測方向選択部１３は、予測方向評価で算出した各類似度Ｓ（ｍ，ｘ，ｙ）の値を小さい順に並べて、値の小さい予測方向を小さい順に３つ選択する。予測画像生成部１４ａは、選択された３つの予測方向について、それぞれ予測画像を参照画像である局所復号画像から生成する。評価値算出部１５は、予測画像生成部１４ａが生成した３つの予測方向に対応する予測画像と処理対象ブロックの画像データに基づいて、予測モードを判定する評価値を算出する。予測モード判定部１６は、評価値算出部１５で算出した評価値に基づいて、処理対象ブロックに対する予測モードを判定する。

このように、予測モード選択装置１０ａは、ここまで説明した特徴量算出部１１、類似度算出部１２、予測方向選択部１３、予測画像生成部１４ａ、評価値算出部１５および予測モード判定部１６を備え、符号化対象ブロックとその隣接ブロックの画像データを処理することで、処理対象ブロックに対する予測モードを選択するものである。

次に、予測画像生成部１０１は、予測モード選択装置１０ａの予測モード判定部１６から出力された処理対象ブロックに対する予測モードの予測画像を参照画像である局所復号画像から生成する。予測誤差算出部１０２は、予測画像生成部１０１で生成された予測画像について、処理対象ブロックの画像データとの差分をとった予測誤差画像を算出する。直交変換／量子化部１０３は、予測誤差算出部１０２が算出した予測誤差画像を直交変換および量子化処理する。エントロピー符号化部１０４は、直交変換および量子化処理された予測誤差画像をエントロピー符号化し、符号データを出力する。逆量子化／逆直交変換部１０５は、直交変換／量子化部１０３の出力を逆量子化／逆直交変換する。加算部１０６は、逆量子化／逆直交変換部１０５が逆量子化／逆直交変換した予測誤差画像と予測画像生成部１０１が生成した予測画像を加えて、局所復号画像を参照画像として出力する。フレームメモリ１０７は、加算部１０６が出力した参照画像である局所復号画像を蓄積し、蓄積した局所復号画像を予測画像生成部１０１と予測画像生成部１４ａに出力する。

なお、この発明の実施の形態１では、特徴量算出部１１において、ブロックの特徴量として平均値と偏差値を算出するものとして説明を行ったが、平均値または偏差値の一方のみを算出して、類似度算出部１２において、符号化対象ブロックと隣接ブロックの特徴量の差を類似度として算出してもよい。

また、評価値算出部１５において算出される評価値は、例えば予測誤差算出部１０２の処理と同様に、３つの予測方向に対応する予測画像のそれぞれについて、処理対象ブロックの画像データとの差分をとって、その差分絶対値和を評価値として適用することができるが、これに限るものではなく、他の評価方法を適用してもよい。

次に、この発明の実施の形態１の特徴量算出部１１、類似度算出部１２，予測方向選択部１３の処理を具体的な画素値を例に説明する。ここで、図６は、図３のブロック構成に対応させた画素値を示し、中央の４×４ブロックを符号化対象ブロック２００とし、上方側および左方側のブロック２０１からブロック２０５に対応させた一例について説明する。

特徴量算出部１１は、図６の画素のブロックから画素平均値を（式１）、及び画素偏差値を（式２）によって算出する。図７に画素平均値の算出結果、および図８に画素偏差値の算出結果を示す。

次に、類似度算出部１２は、ｍ＝０，１，３，４の場合の類似度を（式３）によって算出する。図９に矢印の元方向のブロックの画素平均値及び画素偏差値と、類似度の演算結果を示す。また、ｍ≧５の場合の類似度を（式４）によって算出する。図１０に矢印の元方向の２つのブロックの画素平均値及び画素偏差値と、類似度の演算結果を示す。

予測方向選択部１３では、図９および図１０に示した類似度Ｓ（ｍ，ｘ，ｙ）の小さい方から順に並べる。図１１に類似度に基づいて並べ替えた結果を示す。この図１１の場合、小さい方から上位３つの予測方向の予測モードは、５、８、１となる。

ここで、この発明の実施の形態１における画像符号化装置において、演算量が低下していることを示す。予測方法としては、Ｈ．２６４で定義されている予測画素の演算方法を用いて、４×４ブロック（１６画素）の予測を行った場合を想定する。

まず、８方向全て予測画素を算出して評価値を求めた場合の演算量を求める。
ａ）予測モード０，１は、コピーで済むので、演算量０となる。
ｂ）予測モード３，４は、３画素の重み付け加算（（Ａ＋２×Ｂ＋Ｃ）>>２）で求め、各画素毎にシフト２回、加算３回なので、１予測モード当たりシフト２×（４×４）＝３２回、加算３×（４×４）＝４８回となり、２予測モード合わせてシフト３２×２＝６４回、加算４８×２＝９６回の演算量となる。
ｃ）予測モード５，６，７，８は、画素の半分が予測モード３，４と同じ演算（（Ａ＋２×Ｂ＋Ｃ）>>２）で、半分が２画素の平均（（Ａ＋Ｂ＋１）>>１）でシフト１回、加算１回となり、１予測モード当たりシフト（２＋１）×（４×４）／２＝２４回、加算（３＋１）×（４×４）／２＝３２回となり、４予測モード合わせてシフト２４×４＝９６回、加算３２×４＝１２８回の演算量となる。

このように求まるａ），ｂ），ｃ）の各演算量を全て合計すると、１ブロック当たりシフト６４＋９６＝１６０回、加算９６＋１２８＝２２４回の演算量となる。

評価値は、予測画素値と原画素値の差分絶対値和で算出した場合で換算すると、１画素当たり差分１回、累算１回となる。（絶対値を取る処理は演算量０とする）加算２回と換算できる。これを１ブロック分算出した場合、２×（４×４）＝３２回の加算となる。これを８方向分算出するので、１ブロック当たり３２×８＝２５６回の加算となる。

よって、８方向全ての予測画素を算出して評価値を求めた場合、１ブロック当たりの演算量はシフト１６０回、加算２２４＋２５６＝４８０回となる。

次に、この発明の実施の形態１における演算負荷を算出する。まず、平均値は（式１）で算出するので、１ブロック当たりシフト１回、加算が４×４＝１６回である。偏差値は（式２）で算出するので、１画素当たり差分１回、累算１回として加算２回分となる。１ブロック当たりでは、シフト１回、加算２×（４×４）＝３２回である。合計すると、特徴量算出で、１ブロック当たりシフト２回、加算１６＋３２＝４８回。類似度の算出のためには、隣接するブロックの特徴量算出も必要となるが、画面全体のブロックにこの発明の実施の形態１で示す予測モード選択方法を実施するため、１ブロック当たりの演算負荷は１ブロック分の特徴量算出の負荷と考えてよい。

類似度の算出のうち、ｍ＝０，１，３，４の分は、（式３）に従うため１予測モード当たり減算２回、乗算１回。減算は加算と同じコストであるため、加算に換算して加算２回、乗算１回。４予測モード分で加算４×２＝８回、乗算４回。ｍ≧５の分は、（式４）に従うので１予測モード当たり加算２回、シフト２回、減算２回、乗算１回。減算を加算に換算して加算４回、シフト２回、乗算１回。４つの予測モード分で加算４×４＝１６回、シフト２×４＝８回、乗算４回。全予測モード分を合わせて１ブロック当たりシフト８回、加算２４回、乗算８回となる。

予測画素の算出にかかる演算量は、どの予測モードを選択されるかに依存するため、８予測モードの平均演算量で代用する。１予測モード平均で、シフト１６０／８＝２０回、加算２２４／８＝２８回である。これを３予測モード分演算するので、１ブロック当たりシフト２０×３＝６０回、加算２８×３＝８４回である。評価値の算出は、差分絶対値和を取るため、１方向当たり３２回の加算である。３方向分で、１ブロック当たり９６回の加算となる。

このように、この発明の実施の形態１の演算量は、１ブロック当たりシフト２＋８＋６０＝７０回、加算４８＋２４＋８４＋９６＝２５２回、乗算８回である。この発明の実施の形態１によれば、乗算８回が加算されるが、シフトの演算回数は半分以下、加算は半分程度となり、演算負荷を下げる効果がある。

次に、この発明の実施の形態１における予測モード選択装置および画像符号化装置において、２Ｎ×２Ｎの画素からなる領域の予測方法を選択する方法について説明する。

特徴量算出部１１で、以下の演算で２Ｎ×２Ｎの領域の特徴量を算出する。予測対象ブロックの位置を、ｘ，ｙとする。ｘ，ｙは画面を２Ｎ×２Ｎの領域に分割した際の水平位置と垂直位置である。２Ｎ×２Ｎの領域の平均値および偏差値は、２Ｎ×２Ｎの領域をさらに分割したＮ×Ｎの各領域について求めた平均値Ｍおよび偏差値Ｅを用いて、次に示す（式５）および（式６）の値で代用する。

類似度算出部１２では、（式５）および（式６）で求めた予測対象ブロックの特徴量と、図１２に示す符号化対象のブロック３００の中心を基準点とした予測方向の矢印の元に存在する隣接ブロックの特徴量との間で類似度を算出する。算出対象とする隣接ブロックは、予測方向０では、ブロック３０２とブロック３０３で、特徴量は平均をとり、予測方向１ではブロック３０５とブロック３０６で、特徴量は平均をとる。予測方向３ではブロック３０４、予測方向４ではブロック３０１、予測方向５はブロック３０２、予測方向６はブロック３０５、予測方向７はブロック３０３、予測方向８はブロック３０６とする。予測方向選択部１３の動作はＮ×Ｎの領域の場合の動作と同じである。

このように、２Ｎ×２Ｎの領域に対しても、類似度を算出して評価することで、予測方向を限定して予測モードの判定処理にかかる演算量を削減することができる。

このように、この発明の実施の形態１における予測モード選択装置および画像符号化装置によれば、符号化するブロックとその近接ブロックの特徴量に基づく類似度から予測方向の候補を限定して絞り込んでおき、絞り込まれた予測方向のみから予測方向を評価して符号化するため、演算負荷を軽減できるようになる。

また、この発明の実施の形態１における予測モード選択装置および画像符号化装置によれば、類似度は画像の連続する方向を示す値であるため、このような絞り込みを行なっても符号化効率の良い予測モードが選択できる。

実施の形態２．
図１３は、この発明の実施の形態２における予測モード選択装置および画像符号化装置の一例を示すブロック図である。図において、この発明の実施の形態１と同じブロックには、同一符号を付し、説明を省略する。

この発明の実施の形態２の予測モード選択装置１０ｂは、この発明の実施の形態１の予測モード選択装置１０ａに対して、画像パターン検出部２１および予測方向候補算出部２２を追加するとともに、予測画像生成部１４ａを予測画像生成部１４ｂに置き換えたものである。画像パターン検出部２１は、入力画像の処理対象ブロックの画素から画像パターンを検出する。予測方向算出部２２は、処理対象ブロックの画像データを予測する複数の予測方向に合わせてあらかじめ設定された入力画像の処理対象ブロックの画素と隣接ブロックの隣接画素とに基づく評価値を比較して、評価値が低い方から所定個の評価値に対応する予測方向を算出する。予測画像生成部１４ｂは、画像パターン検出部２１が画像パターンを検出したとき、予測方向算出部２２が算出した所定個の予測方向を選択し、画像パターン検出部２１が画像パターンを検出しなかったとき、予測方向選択部１３が選択した所定個の予測方向を選択し、選択された所定個の各予測方向に対応する処理対象ブロックの予測画像データを生成する。

また、この発明の実施の形態２における画像符号化装置は、この発明の実施の形態１における画像符号化装置が備える予測モード選択装置１０ａを、この発明の実施の形態２における予測モード選択装置１０ｂに置き換えたものである。

以下に、動作を説明する。

画像パターン検出部２１は、対象ブロックを中心とする領域にあらかじめ設定された画像パターンが現れているか、または現れていないかを検出する。画像パターンは、例えば、細かい縞模様等である。

細かい縞模様の検出は、対象とするブロックの垂直方向と水平方向に隣接する２画素文を含んだ領域に対して演算する。例えば、図１４の中央の４×４のブロックで縞模様を検出する場合について、Ａで示した行（横方向）の８つの画素値と、Ｂで示した列（縦方向）の８つの画素値を使用するものとして説明する。ここで、中央の４×４のブロックの符号化画素に対し、周囲の隣接画素には斜線を引いて図示している。なお、符号化画素および隣接画素は、白または黒で示しているが、実際には多値信号であり、各画素において、白は明るい画素、黒は暗い画素を概念的に示して説明するもので、白で示された画素同士や黒で示された画素同士は同一値に限るものではない。

通常、画素値は、８ビットとすると０〜２５５の範囲の値をとり、図１４のＡで示した行の画素値は、図１５に示すグラフの値をとるとする。ここで、８つの画素中に極小値が２つあった場合、その間隔をＤ_ｉ、値の差をＶ_ｉとする。極大値が２つあった場合、その間隔をＤ_ａ、値の差をＶ_ａとする。例えば、あらかじめ決められた間隔の閾値ＴＨ_Ｄ、値の閾値ＴＨ_Ｖの間に以下の３つの関係が同時に成り立つときに縞模様があると判定する。間隔の閾値ＴＨ_Ｄ、値の閾値ＴＨ_Ｖは、例えば、ＴＨ_Ｄ＝２、ＴＨ_Ｖ＝１０等の値を用いて判定すればよい。
|Ｄ_ｉ−Ｄ_ａ|＜ＴＨ_Ｄ
Ｖ_ｉ＜ＴＨ_Ｖ
Ｖ_ａ＜ＴＨ_Ｖ

同様に、図１４のＢで示した列の部分について判定すると、範囲内に極小値、極大値が２つ無いため、上記３つの関係が同時には成り立たず、縞模様がないと判定される。しかし、Ａで示した行の部分で縞模様があると判定されており、Ａで示した行またはＢで示した列の一方でも縞模様があると判定される場合には、ブロックに縞模様があると最終判定して通知する。なお、ここでは中央の４×４のブロックの上部の行と左部の列の画素値を例としたが、対象とする４×４のブロックの行を含む任意の行および列を含む任意の列の画素値で判定してもよい。

予測方向候補算出部２２は、画像パターン毎に定められた処理を実施し、予測方向の候補を定める。例えば、画像パターンを縞模様とした場合、縞の走る方向を検出して、それに近い予測方向を、予測方向選択部１３の予測方向の選択数と同様に、３つ選択する。

３つの予測方向の選択は、各予測方向それぞれについて、その予測方向に隣接画素値と近い値の画素値が並んでいることを判定して行なう。判定方法は、例えば、図１６に示すようなブロックの隣接画素Ａの画素値と、その隣接画素から判定する予測方向に延ばした線上にある３つまたは４つのブロック内符号化画素Ｂｎ（ｎ＝１〜３または１〜４）の各画素値との差分絶対値を累算した値を評価値とし、８つの予測方向の評価値を比較して、評価値が小さい方から対応する予測方向３つを選択する。ここで、４×４のブロックの符号化画素に対し、周囲の隣接画素には斜線を引いて図示している。なお、符号化画素および隣接画素は、白または黒で示しているが、実際には多値信号であり、図１４と同様に、各画素において、白は明るい画素、黒は暗い画素を概念的に示して説明するもので、白で示された画素同士や黒で示された画素同士は同一値に限るものではない。

ここでは、演算量への影響を考慮し、４×４ブロックで、２本の縞の起点を想定した２つの隣接画素と、それぞれと比較するブロック内画素をＮ画素（Ｎはブロックサイズ）までとする。このようにすることで、演算量を差分が２Ｎ回、累算が２Ｎ回で、加算４Ｎ回となる。８方向算出しても３２Ｎ回となり、４×４ブロックの場合で最大１２８回の加算で算出できる。

ここで、評価値を算出する隣接画素Ａとブロック内画素Ｂｎは予測方向毎にあらかじめ決定しておく。例えば、図１７および図１８は、４×４ブロックの場合の予測方向と、隣接画素Ａとブロック内符号化画素Ｂｎの位置関係を示している。図１７は、予測方向０，１，３，４の場合であり、予測方向０は縦方向の縞、予測方向１は横方向の縞で、図示した隣接画素Ａと４つのブロック内符号化画素Ｂｎ（ｎ＝１，２，３，４）から評価値を算出する。また、予測方向３は左斜め下方向への縞、予測方向４は右斜め下方向への縞で、図示した隣接画素Ａと３つのブロック内符号化画素Ｂｎ（ｎ＝１，２，３）から評価値を算出する。図１８は、いずれも斜め方向の縞を判定する予測方向５，６，７，８の場合であり、図示した隣接画素Ａと４つのブロック内符号化画素Ｂｎ（ｎ＝１，２，３，４）から評価値を算出する。

同様に、８×８ブロックや１６×１６ブロックの場合も、あらかじめ判定する予測方向毎に算出する隣接画素とブロック内画素の組を決めておき、決めた位置の画素値の差で評価値を算出し、３つの方向を選択する。

予測画像生成部１４ｂは、画像パターン検出部２１からブロック内に画像パターンが現れたか否かを通知され、ブロック内に画像パターンが現れた場合には、予測方向候補算出部２２から入力される３つの予測方向の候補を選択し、またブロック内に画像パターンが現れなかった場合には、予測方向選択部１３から入力される３つの予測方向の候補を選択して、選択された３つの予測方向について、それぞれ予測画像を参照画像である局所復号画像から生成する。

この予測画像生成部１４ｂから３つの予測方向の候補の予測画像を受ける評価値算出部１５以降の処理は、この発明の実施の形態１の予測モード選択装置および画像符号化装置で説明した処理および動作と同様であるため、説明を省略する。

このように、この発明の実施の形態２における予測モード選択装置および画像符号化装置によれば、この発明の実施の形態１における予測モード選択装置および画像符号化装置と同様に、予測方向を選択する演算負荷を軽減し、また符号化効率のよいモードを選択できる。

また、この発明の実施の形態２における予測モード選択装置および画像符号化装置によれば、類似度による評価では、４×４ブロックなどの単位で特徴量を比較するために、実際に符号化効率のよい予測方向が選択できていなかった場合には、ブロック内の細かい画像パターンを検出して予測方向を選択するようにしたので、符号化効率を向上させることができる。例えば、細かい縞柄などの画像パターンでは、縞の走る方向に予測を行えるので、符号化効率が向上する。

以上のように、この発明における予測モード選択装置および画像符号化装置によれば、符号化するブロックとその隣接ブロックの特徴量に基づく類似度が高い予測方向の候補を限定して絞り込むため、予測方向を選択する演算負荷を軽減することができる。

また、この発明における予測モード選択装置および画像符号化装置によれば、符号化するブロックとその隣接ブロックの特徴量に基づく類似度が高い予測方向の候補を限定して絞り込み、絞り込まれた予測方向のみから予測方向を評価して符号化するため、符号化効率のよい予測モードを選択できるようになる効果がある。

また、この発明における予測モード選択装置および画像符号化装置によれば、ブロック内の細かい画像パターンを検出して予測方向を選択するため、符号化効率を向上させることができる効果がある。

この発明の実施の形態１における画像符号化装置に係る構成の一例を示すブロック図である。 この発明の実施の形態１における予測方向と番号付けの一例を示すブロック図である。 この発明の実施の形態１におけるＮ×Ｎブロックにおける類似度を算出する対象とするブロックの一例を示す説明図である。 この発明の実施の形態１における予測方向ｍ＝０，１，３，４の類似度算出対象ブロックの一例を示す説明図である。 この発明の実施の形態１における予測方向ｍ＝５，６，７，８の類似度算出対象ブロックの一例を示す説明図である。 この発明の実施の形態１における画像符号化装置が扱う画像のブロックと画素値の一例を示す説明図である。 この発明の実施の形態１における図６のブロック内の画素平均値を示す説明図である。 この発明の実施の形態１における図６のブロック内の画素偏差値を示す説明図である。 この発明の実施の形態１における図６の画像から算出される予測方向ｍ＝０，１，３，４の各類似度を示す説明図である。 この発明の実施の形態１における図６の画像から算出される予測方向ｍ＝５，６，７，８の各類似度を示す説明図である。 この発明の実施の形態１における図６の画像から算出される類似度の並べ替えを示す説明図である。 この発明の実施の形態１における２Ｎ×２Ｎブロックにおける類似度を算出する対象とするブロックの一例を示す説明図である。 この発明の実施の形態２における画像符号化装置に係る構成の一例を示すブロック図である。 この発明の実施の形態２における縞模様の検出に伴うブロックの画素と隣接画素の一例を示す説明図である。 この発明の実施の形態２におけるブロックの一部から縞模様の有無の判定の一例を示す説明図である。 この発明の実施の形態２における符号化画素と隣接画素による縞模様の一例を示す説明図である。 この発明の実施の形態２における予測方向０，１，３，４の縞模様検出の一例を示す説明図である。 この発明の実施の形態２における予測方向５，６，７，８の縞模様検出の一例を示す説明図である。

符号の説明

１０ａ、１０ｂ 予測モード選択装置
１１ 特徴量算出部
１２ 類似度算出部
１３ 予測方向選択部
１４ａ、１４ｂ 予測画像生成部
１５ 評価値算出部
１６ 予測モード判定部
２１ 画像パターン検出部
２２ 予測方向候補算出部
１０１ 予測画像生成部
１０２ 予測誤差算出部
１０３ 直交変換／量子化部
１０４ エントロピー符号化部
１０５ 逆量子化／逆直交変換部
１０６ 加算部
１０７ フレームメモリ

Claims (6)

1. 入力画像の処理対象ブロックとその隣接ブロックの画像データから特徴量を算出する特徴量算出部と、
   この特徴量算出部が算出した特徴量に基づいて、前記処理対象ブロックの画像データを予測する複数の予測方向について、前記処理対象ブロック内部の基準点から各予測方向に位置する前記隣接ブロックの特徴量と前記処理対象ブロックの特徴量に基づいて、予測方向に対応する類似度を算出する類似度算出部と、
   この類似度算出部が算出した前記複数の予測方向の類似度を比較して、類似度が高い方から所定個の類似度に対応する予測方向を選択する予測方向選択部と、
   この予測方向選択部が選択した前記所定個の各予測方向に対応する前記処理対象ブロックの予測画像データを生成する予測画像生成部と、
   この予測画像生成部が生成した前記所定個の予測方向に対応する予測画像データと前記処理対象ブロックの画像データに基づいて、予測モードを判定する評価値を算出する評価値算出部、
   この評価値算出部が算出した評価値に基づいて、前記処理対象ブロックに対する予測モードを判定する予測モード判定部と
   を備えた予測モード選択装置。
2. 前記類似度算出部は、前記処理対象ブロック内部の基準点から各予測方向に位置する前記隣接ブロックが複数存在するとき、当該隣接ブロックの特徴量の平均値と前記処理対象ブロックの特徴量に基づいて、予測方向に対応する類似度を算出する
   ことを特徴とする請求項１記載の予測モード選択装置。
3. 前記特徴量算出部は、ブロック毎に複数種類の特徴量を算出し、
   前記類似度算出部は、前記特徴量算出部が算出した前記隣接ブロックの特徴量と前記処理対象ブロックの特徴量の差の絶対値を前記複数種類の特徴量毎に算出し、この算出した前記複数種類の特徴量の差の絶対値を乗算した値を類似度とする
   ことを特徴とする請求項１または請求項２記載の予測モード選択装置。
4. 前記特徴量算出部は、前記入力画像の処理対象ブロックを複数の小ブロックに分割して特徴量をそれぞれ算出し、
   前記類似度算出部は、前記特徴量算出部が算出した複数の小ブロックの特徴量の平均を前記入力画像の処理対象ブロックの特徴量とする
   ことを特徴とする請求項１ないし請求項３のいずれかに記載の予測モード選択装置。
5. 入力画像の処理対象ブロックの画素から画像パターンを検出する画像パターン検出部と、
   前記処理対象ブロックの画像データを予測する複数の予測方向に合わせてあらかじめ設定された前記入力画像の処理対象ブロックの画素と前記隣接ブロックの隣接画素とに基づく評価値を比較して、評価値が低い方から所定個の評価値に対応する予測方向を算出する予測方向算出部と
   を備え、
   前記予測画像生成部は、前記画像パターン検出部が画像パターンを検出したとき、前記予測方向算出部が算出した所定個の予測方向を選択し、前記画像パターン検出部が画像パターンを検出しなかったとき、前記予測方向選択部が選択した所定個の予測方向を選択し、この選択された前記所定個の各予測方向に対応する前記処理対象ブロックの予測画像データを生成する
   ことを特徴とする請求項１ないし請求項４のいずれかに記載の予測モード選択装置。
6. 請求項１ないし請求項５のいずれかに記載の予測モード選択装置を備え、
   この予測モード選択装置が前記処理対象ブロックに対して選択する予測モードに基づいて、参照画像から前記処理対象ブロックの予測画像データを生成する予測画像生成部と、
   この予測画像生成部が生成した前記予測モードの予測画像データと前記処理対象ブロックの画像データから予測誤差画像データを算出する予測誤差算出部と、
   この予測誤差算出部が算出した予測誤差画像データを直交変換してから量子化する直交変換／量子化部と、
   この直交変換／量子化部が直交変換してから量子化した予測誤差画像データをエントロピー符号化するエントロピー符号化部と、
   前記直交変換／量子化部が直交変換してから量子化した予測誤差画像データを逆量子化してから逆直交変換する逆量子化／逆直交変換部と、
   この逆量子化／逆直交変換部が逆量子化してから逆直交変換した予測誤差画像データと前記予測画像生成部が生成した前記予測モードの予測画像データを足し合わせて参照画像を出力する加算部と、
   この加算部が出力した参照画像を蓄積するフレームメモリと
   を備えた画像符号化装置。

Images