JP2007104117A - 画像処理装置及び画像処理方法をコンピュータに実行させるためのプログラム - Google Patents

Abstract

【課題】 減算方向の決定にかかる処理時間を短縮し、しかもイントラ予測を使って符号化された画像データの圧縮率低下を抑える。
【解決手段】 注目画素ブロックに含まれる複数の画素の画素値を、画素の配列方向に基づく複数の演算方向のいずれかに沿って演算する符号化演算部２０５、符号化演算部２０５によって実行される演算の演算方向を決定する基準予測モード決定部２０１、予測モード候補設定部２０２、予測モード決定部２０３を備え、基準予測モード決定部２０１、予測モード候補設定部２０２、予測モード決定部２０３は、注目画素ブロックと隣接し、かつ注目画素ブロックよりも先に演算方向が決定された隣接画素ブロックの演算方向に基づいて注目画素ブロックの演算方向を決定する。
【選択図】 図２

Description

本発明は、画像処理装置及び画像処理方法をコンピュータに実行させるためのプログラムに係り、特に動画像を符号化するための画像処理装置及び画像処理方法をコンピュータに実行させるためのプログラムに関する。

現在、動画像を符号化する方式の一つに、Ｈ．２６４がある。Ｈ．２６４には、１フレームの内部で予測画像を生成する、イントラ予測と呼ばれる処理がある。イントラ予測は、所定の数の画素で構成される画素ブロックごとに行われ、画像データ全体は、縦、横方向に配置される複数の画素ブロックによって構成される。イントラ予測では、画像データにおいて隣接して配置され、かつ先に符号化または復号化の処理がされた画素ブロックの画素の値をつかって未処理の画素ブロックを符号化または復号化する。

画素ブロックは、１６×１６、８×８、４×４というように、同数の画素を縦、横方向配置して構成される。イントラ予測方式で画像データを符号化する場合、符号化の対象となる画素ブロックにおいて配置される画素の例えば縦、または横といった一の配置方向を定め、この方向に沿って先に符号化された他の画素ブロックに含まれる画素の画素値から順次画素値を減算する。減算された値は、さらにＤＣＴ（離散コサイン変換）処理された後、エントロピ符号化される。

なお、上記した処理において、複数の配置方向のうち配置方向に沿って減算の結果得られる予測誤差値の総和が最も小さい方向が、減算の方向に沿う配置方向（演算方向）に設定される。このような従来技術としては、例えば、特許文献１に記載された発明が挙げられる。
なお、各画素の予測誤差値の総和.が最も小さくなる方向が減算方向に設定される理由は、予測誤差値の総和が小さいほど符号化後のデータ量が小さくなるためである。

図１０は、４×４の画素ブロックがとり得る９種類の減算方向を具体的に説明するための図である。方向が異なる９種類の減算処理は、いずれも予測モードと呼ばれ、減算方向によって予測モード０から予測モード８までの識別子が付されている。
図１０（ａ）〜（ｉ）のいずれにおいても、黒丸で示す画素１は、既に符号化されている画素ブロックの画素であって、白丸で示す画素２は、符号化の対象となる画素ブロックに含まれる画素である。また、図中に示した矢線は、各々の予測モードの減算方向を示す。イントラ予測における符号化では、図示した矢線が示す方向に沿って矢線の始端と重なる画素１の画素値から、同一の矢線と重なる複数の画素２の画素値の各々を順次減算する。

なお、図１０（ｃ）に示した予測モード２では、閉曲線ａ１、ａ２で囲んだ画素１の値の平均を、各々予測誤差値として採用する。このため、図＊（ｃ）には矢線の図示がされていない。
特許文献１等に記載された従来技術は、１つの画素ブロックについて９種類の予測モードで予測誤差値を算出し、算出された予測誤差値の総和を算出する。そして、９種類の予測モード間で総和を比較し、予測モード０〜８のうちの最小の総和を得る予測モードで画素値を減算した結果を後段の処理部に送っている。
特開２００５−１８４２４１号公報

近年、画像処理装置にはいっそうの高速処理が要求されるので、従来のイントラ予測を使った符号化の技術は、より短時間のうちに減算方向を決定し、高速に画像データを符号化することが望まれている。しかしながら、上記した従来技術は、イントラ予測の規格である９種類の予測モードの全てを使って予測誤差値を算出し、算出された予測誤差値の総和を比較して減算方向を決定している。このため、符号化後にデータ量が最小になる減算方向を正確に判定できる一方で、処理時間については考慮されていない。

本発明は、このような点に鑑みてなされたものであって、減算方向の決定にかかる処理時間を短縮することによって符号化にかかる処理の時間を短縮でき、しかもイントラ予測を使って符号化された画像データの圧縮率低下を抑えることが可能な画像処理装置及び画像処理方法をコンピュータに実行させるためのプログラムを提供することを目的とする。

以上の課題を解決するため、本発明の画像処理装置は、所定の数の画素で構成される第１画素ブロックに含まれる複数の第１画素の画素値を、第１画素の配列方向に基づく複数の演算方向のいずれかに沿って演算する演算手段と、前記演算手段によって実行される演算の演算方向を決定する演算方向決定手段と、を備え、前記演算方向決定手段は、第１画素ブロックと隣接し、かつ第１画素ブロックよりも先に演算方向が決定された第２画素ブロックの演算方向に基づいて、第１画素ブロックの演算方向を決定することを特徴とする。

このような発明によれば、所定の数の画素で構成される第１画素ブロックに含まれる複数の第１画素の画素値を、第１画素の配列方向に基づく複数の演算方向のいずれかに沿って演算する際、先に決定された第２画素ブロックの演算方向に基づいて第１画素ブロックの演算方向を決定することができる。このため、複数の演算方向のすべてについて演算を行う必要がなく、演算方向の決定にかかる処理時間を短縮することができ、ひいては符号化にかかる処理の時間を短縮できる。

また、画像データは、比較的狭い範囲では画素値の相関が比較的大きい傾向がある。このため、隣接する第２画素ブロックに符号化効率が高いとして決定された演算方向は第１画素ブロックにおいても高い符号化効率が得られる可能性が高い。このため、本発明は、イントラ予測を使って符号化された画像データの圧縮率低下を抑えることが可能になる。
また、本発明の画像処理装置は、所定の数の画素で構成される第１画素ブロックに含まれる複数の第１画素の画素値を、第１画素の配列方向に基づく複数の演算方向のいずれかに沿って演算する演算手段と、前記演算手段によって実行される演算の演算方向を決定する演算方向決定手段と、を備え、画素値が複数の色成分を含む場合、前記演算方向決定手段は、複数の色成分のうちの少なくとも一の色成分について演算方向を決定し、前記演算手段は、前記演算方向決定手段によって決定された演算方向にしたがい、他の色成分の画素の画素値を演算することを特徴とする。

このような発明によれば、所定の数の画素で構成される第１画素ブロックに含まれる複数の第１画素の画素値を、第１画素の配列方向に基づく複数の演算方向のいずれかに沿って演算する際、複数の色成分のうち一の色成分についてだけ演算し、他の色成分についても演算方向を決定することができる。このため、複数の色成分のすべてについて演算を行う必要がなく、演算方向の決定にかかる処理時間を短縮することができ、ひいては符号化にかかる処理の時間を短縮できる。

また、Ｙ、Ｕ、Ｖの３成分でなる画像データは、一般的にＵ成分及びＶ成分がＹ成分に依存することが知られている。このため、Ｙ成分の画像データについて符号化効率が高いとして決定された演算方向は他の色成分についても高い符号化効率が得られる可能性が高い。このため、本発明は、イントラ予測を使って符号化された画像データの圧縮率低下を抑えることが可能になる。

また、本発明の画像処理装置は、所定の数の画素で構成される第１画素ブロックに含まれる複数の第１画素の画素値を、第１画素の配列方向に基づく複数の演算方向のいずれかに沿って演算する演算手段と、前記演算手段によって実行される演算の演算方向を決定する演算方向決定手段と、を備え、画素値が複数の色成分を含む場合、前記演算方向決定手段は、複数の色成分のうちの少なくとも一の色成分について、第１画素ブロックと隣接し、かつ第１画素ブロックよりも先に演算方向が決定された第２画素ブロックの演算方向に基づいて第１画素ブロックの演算方向を決定し、前記演算手段は、前記演算方向決定手段によって決定された演算方向にしたがって他の色成分の画素の画素値を演算することを特徴とする。

このような発明によれば、所定の数の画素で構成される第１画素ブロックに含まれる複数の第１画素の画素値を、第１画素の配列方向に基づく複数の演算方向のいずれかに沿って演算する場合、先に決定された第２画素ブロックの演算方向に基づいて第１画素ブロックの演算方向を決定することができる。このため、複数の演算方向のすべてについて演算を行う必要がなく、演算方向の決定にかかる処理時間を短縮することができる。

さらに、このような発明によれば、一の色成分についての演算の演算方向を、先に決定された画素ブロックの演算方向に基づいて決定することができる。このため、複数の色成分のすべてについて演算を行う必要がなく、演算方向の決定にかかる処理時間を短縮することができ、ひいては符号化にかかる処理の時間を短縮できる。
画像データは、比較的狭い範囲では画素値の相関が比較的大きい傾向があるので、互いに隣接する画素ブロックにおいて一方に適した演算方向は他方においても高い符号化効率が得られる可能性が高い。また、Ｙ、Ｕ、Ｖの３成分でなる画像データは一般的にＵ成分及びＶ成分がＹ成分に依存することが知られていて、Ｙ成分の画像データに適した演算方向は他の色成分についても高い符号化効率が得られる可能性が高い。このため、本発明は、イントラ予測を使って符号化された画像データの圧縮率低下を抑えることが可能になる。

また、本発明の画像処理装置は、前記演算方向決定手段が、先に符号化された画素ブロックの演算方向を含む複数の演算方向に沿って第１画素ブロックに含まれる画素の値を演算し、演算によって得られる複数の結果のうちの最も少ないデータ量を示す結果を得る演算方向を第１画素ブロックの演算方向に決定することを特徴とする。
このような発明によれば、先に符号化された画素ブロックの演算方向ばかりでなく、その周辺の演算方向に沿っても画素の値を演算することができる。そして、得られる複数の演算の結果のうちの最も少ないデータ量を示す結果を得る演算方向を第１画素ブロックの演算方向に決定するので、より画像データの圧縮率が高い演算方向を選択することができる。

また、本発明の画像処理装置は、前記演算方向決定手段が、先に演算された画素ブロックの演算方向を含む複数の演算方向のうち、演算方向を特定するために必要なデータ量が最も少ない演算方向を第１画素ブロックの演算方向に決定することを特徴とする。
このような発明によれば、演算の結果と共に演算に使用された演算方向を復号側に送信する場合、送信されるデータ量を低減して符号化後のデータ量をいっそう低減することができる。

また、本発明の画像処理装置は、前記演算方向決定手段が、先に演算された画素ブロックの演算方向を含む複数の演算方向のうち、演算方向を特定するために必要なデータ量が最も少ない演算方向、及び最も多い演算方向を除く演算方向を第１画素ブロックの演算方向に決定することを特徴とする。
このような発明によれば、複数の演算方向のうち画像特性が特殊な画素ブロックの演算方向に基づいて他の画素ブロックの演算方向を決定する可能性を低減し、画像データの符号化効率の低下を抑えることができる。

また、本発明の画像処理方法をコンピュータに実行させるためのプログラムは、所定の数の画素で構成される第１画素ブロックに含まれる第１画素の画素値を、第１画素の配列方向に基づく複数の演算方向のいずれかに沿って演算する演算ステップと、前記演算ステップにおける演算の演算方向を決定する演算方向決定ステップと、を含み、前記演算方向決定ステップにおいて、第１画素ブロックと隣接し、かつ第１画素ブロックよりも先に演算方向が決定された第２画素ブロックの演算方向に基づいて第１画素ブロックの演算方向が決定されることを特徴とする。

このような発明によれば、所定の数の画素で構成される第１画素ブロックに含まれる複数の第１画素の画素値を、第１画素の配列方向に基づく複数の演算方向のいずれかに沿って演算する際、先に決定された第２画素ブロックの演算方向に基づいて第１画素ブロックの演算方向を決定することができる。このため、複数の演算方向のすべてについて演算を行う必要がなく、演算方向の決定にかかる処理時間を短縮することができ、ひいては符号化にかかる処理の時間を短縮できる。

また、画像データは、比較的狭い範囲では画素値の相関が比較的大きい傾向がある。このため、隣接する第２画素ブロックに符号化効率が高いとして決定された演算方向は第１画素ブロックにおいても高い符号化効率が得られる可能性が高い。このため、本発明は、イントラ予測を使って符号化された画像データの圧縮率低下を抑えることが可能になる。
また、本発明の画像処理方法をコンピュータに実行させるためのプログラムは、所定の数の画素で構成される第１画素ブロックに含まれる第１画素の画素値を、第１画素の配列方向に基づく複数の演算方向のいずれかに沿って演算する演算ステップと、前記演算ステップにおける演算の演算方向を決定する演算方向決定ステップと、を含み、画素値が複数の色成分を含む場合、演算方向決定ステップにおいて、複数の色成分のうちの少なくとも一の色成分について演算方向が決定され、前記演算ステップにおいて、前記演算方向決定ステップで決定された演算方向に沿って他の色成分の画素値が演算されることを特徴とする。

このような発明によれば、所定の数の画素で構成される第１画素ブロックに含まれる複数の第１画素の画素値を、第１画素の配列方向に基づく複数の演算方向のいずれかに沿って演算する際、複数の色成分のうち一の色成分についてだけ演算し、他の色成分についても演算方向を決定することができる。このため、複数の色成分のすべてについて演算を行う必要がなく、演算方向の決定にかかる処理時間を短縮することができ、ひいては符号化にかかる処理の時間を短縮できる。

また、Ｙ、Ｕ、Ｖの３成分でなる画像データは、一般的にＵ成分及びＶ成分がＹ成分に依存することが知られている。このため、Ｙ成分の画像データについて符号化効率が高いとして決定された演算方向は他の色成分についても高い符号化効率が得られる可能性が高い。このため、本発明は、イントラ予測を使って符号化された画像データの圧縮率低下を抑えることが可能になる。

また、本発明の画像処理方法をコンピュータに実行させるためのプログラムは、所定の数の画素で構成される第１画素ブロックに含まれる第１画素の画素値を、第１画素の配列方向に基づく複数の演算方向のいずれかに沿って演算する演算ステップと、画素値が複数の色成分を含む場合、複数の色成分のうちの少なくとも一の色成分について前記演算ステップにおける演算の演算方向を決定する演算方向決定ステップと、を含み、前記演算方向決定ステップにおいて、第１画素ブロックと隣接し、かつ第１画素ブロックよりも先に演算方向が決定された第２画素ブロックの演算方向に基づいて第１画素ブロックの演算方向が決定され、前記演算ステップにおいて、前記演算方向決定ステップで決定された演算方向に沿って他の色成分の画素値が演算されることを特徴とする。

このような発明によれば、所定の数の画素で構成される第１画素ブロックに含まれる複数の第１画素の画素値を、第１画素の配列方向に基づく複数の演算方向のいずれかに沿って演算する際、複数の色成分のうち一の色成分についてだけ演算し、他の色成分についても演算方向を決定することができる。
このため、複数の演算方向のすべてについて演算を行う必要がなく、演算方向の決定にかかる処理時間を短縮することができ、ひいては符号化にかかる処理の時間を短縮できる。さらに、このような発明によれば、一の色成分についての演算の演算方向を、先に決定された画素ブロックの演算方向に基づいて決定することができる。このため、複数の色成分のすべてについて演算を行う必要がなく、演算方向の決定にかかる処理時間を短縮することができ、ひいては符号化にかかる処理の時間を短縮できる。

画像データは、比較的狭い範囲では画素値の相関が比較的大きい傾向があるので、互いに隣接する画素ブロックにおいて一方に適した演算方向は他方においても高い符号化効率が得られる可能性が高い。また、Ｙ、Ｕ、Ｖの３成分でなる画像データは一般的にＵ成分及びＶ成分がＹ成分に依存することが知られていて、Ｙ成分の画像データに適した演算方向は他の色成分についても高い符号化効率が得られる可能性が高い。このため、本発明は、イントラ予測を使って符号化された画像データの圧縮率低下を抑えることが可能になる。

以下、図を参照して本発明にかかる画像処理装置及び画像処理方法をコンピュータに実行させるためのプログラムの実施の形態１、実施形態２を説明する。
図１は、本実施形態１、実施形態２の画像処理装置のＨ．２６４／ＡＶＣ（Advanced video coding）符号器の基本的な構成を説明するための図である。図示した構成は、ビデオ等の動画像の画像データを所定の数の画素（画素ブロック）ごとに符号化すると共に、フレーム全体を符号化する構成である。このため、図１の符号器は、画像データをＤＣＴ(Discrete Cosine Transform)変換及び量子化するＤＣＴ・量子化部１０２、量子化された画像データを符号化するエントロピ符号化部１０３を備えている。また、量子化された画像データを量子化及びＤＣＴ変換以前の状態に戻す逆量子化部（逆ＤＣＴも行う）１０５、ノイズを解消するためのデブロックフィルタ１０５、画像データを１フレーム分蓄積するフレームメモリ１０６、蓄積された画像データのフレーム間の動きを予測して補償するインター予測部１０７、画素ブロックごとに予測誤差値を算出するイントラ予測部１０１を備えている。

イントラ予測部１０１は、本実施形態１、実施形態２の画像処理装置の要部をなす構成であって、ソフトウェアの処理によってイントラ予測の予測モードを決定し、決定した予測モードによってイントラ予測を行うものである。

（実施形態１）
図２は、実施形態１のイントラ予測部１０１において予測モードを決定する機能の機能ブロック図である。図示したイントラ予測部１０１は、所定の数の画素で構成される一の画素ブロック（第１画素ブロック）に含まれる画素（第１画素）の画素値を、画素の配列方向に基づく複数の演算方向のいずれかに沿って演算する符号化演算部２０５、複数の演算方向から符号化演算部２０５によって実行される演算の演算方向を決定する基準予測モード決定部２０１、予測モード候補設定部２０２及び予測モード決定部２０３を備えている。なお、本明細書において、画素値とは１画素分の画像データを指すものとする。

実施形態１において、基準予測モード決定部２０１、予測モード候補設定部２０２及び予測モード決定部２０３は、演算方向決定手段として機能する。基準予測モード決定部２０１、予測モード候補設定部２０２及び予測モード決定部２０３は、第１画素ブロックと隣接し、かつ第１画素ブロックよりも先に演算方向が決定された第２画素ブロックの演算方向に基づいて、第１画素ブロックの演算方向を決定する。

また、実施形態１では、第１画素ブロックを、以降注目画素ブロックと記し、第２画素ブロックを隣接画素ブロックとも記すものとする。
図３は、上記した内容のうち、注目ブロックと隣接画素ブロックとの関係を説明するための図である。図３（ａ）、（ｂ）、（ｃ）のいずれにおいても、符号３０１〜３０５で示した矩形は画素ブロックを示している。なお、実施形態１の画像処理装置及びプログラムは、どのような画素ブロックに適用することも可能であるが、実施形態１にあっては、４×４のマトリックス状に画素を配置したサブブロックであるものとする。

また、図３において、画素ブロックのうち＊で示した画素ブロックが今回の処理の対象となっている注目画素ブロックであって、１〜４の数字を付して示した各画素ブロックは、隣接画素ブロックである。
実施形態１において、隣接画素ブロックは、注目画素ブロックと隣接し、注目画素ブロックよりも先に演算方向が決定されたものであればよく、図中に示した画素ブロック３０１〜３０５のいずれをいくつ採用してもよい。

図４（ａ）〜（ｅ）は、演算方向を説明するための図である。図４（ａ）に示すように、演算方向は、予め設定された９方向に設定されていて、各方向は矢線に付された０〜８の数字によって識別される（以降、矢線０、矢線１…矢線８と記す）。また、（ｂ）〜（ｅ）において、黒丸で示す画素は隣接画素ブロックの画素を、白丸で示す画素は注目画素ブロックの画素を示すものである。また、演算方向を以降予測モードと記し、矢線０、矢線１…矢線８で表される各演算方向を、以降、予測モード０、予測モード１…予測モード８と記す。ただし、予測モード２は、隣接画素ブロックの画素間の平均をとって予測誤差値とするモードであって、矢線が図示できない。

図４（ｂ）〜（ｅ）は、予測モードと演算方向との関係を説明するための図であって、（ｂ）は予測モード０の演算方向を示している。すなわち、予測モード０は、注目画素ブロックに含まれる画素の画素値を、注目画素ブロックの直上の隣接画素ブロックにおける下端の画素の画素値と順次減算するモードである。また、予測モード０では、注目画素ブロックの画素が、図中において上に位置する画素から下に位置する画素に向かう方向で隣接画素ブロックの画素と減算される。このような減算の方向を、本実施形態では、画素の配列方向に基づく演算方向と記す。

図４（ｃ）は、予測モード１の減算の方向を示している。予測モード１によれば、注目画素ブロックに含まれる画素の画素値が、矢線１で示す方向に沿って図中の左の隣接画素ブロックの右端にある画素と減算される。
また、（ｄ）は予測モード４の減算の方向を示し、（ｅ）は予測モード５の減算の方向を示している。予測モード４、予測モード５のいずれにあっても、注目画素ブロックにある画素の値が、隣接画素ブロックの端部にある画素の値から矢線が示す方向に沿って減算される。

基準予測モード決定部２０１は、隣接画素ブロックの演算方向を取得し、取得した隣接画素ブロックから基準予測モードを決定する。実施形態１では、例えば図３（ｂ）に示したように、隣接画素を３つ設定し、基準予測モード決定部２０１が３つの演算方向から１つの演算方向を基準予測モードに決定する。決定された基準予測モードは予測モード候補設定部２０２に送られ、予測モード候補設定部２０２は、基準予測モードに基づいて注目画素ブロックの符号化に使用される予測モードの候補を複数設定する。

予測モード決定部２０３は、設定された複数の予測モードの候補から１つの予測モードを符号化に使用される予測モードに決定する。決定した予測モードは、符号化演算部２０５に送られる。符号化演算部２０５は、予測モードにしたがう方向で注目画素ブロックに含まれる画素の値から隣接画素ブロックの画素の値を減算して予測誤差信号を生成する。実施形態１の画像処理装置は、生成された予測誤差信号をＤＣＴ量子化部１０２及びエントロピ符号化部１０３によって量子化、符号化する。

図５は、符号化演算部２０５による予測信号の生成について説明するための図である。図５（ａ）は、画像全体におけるサブブロックを示し、サブブロックは任意のフレームに属する注目画素ブロック６０１及び隣接画素ブロック６０２である。（ｂ）は、注目画素ブロック６０１と隣接画素ブロック６０２に含まれる画素示している。注目画素ブロック６０１の画素６０１ａは今回符号化の対象となっている画素であって、隣接画素ブロック６０２の画素６０２ａはすでに符号化済みの画素である。

画素６０１ａをＸSB（ｉ，ｊ）、画素６０２ａをＹSB（ｉ，ｊ）とすると、
予測信号ρ（ｉ，ｊ）は、ＹSB（ｉ，０）と表される（ただし０≦ｉ，ｊ≦３）。
また、予測誤差信号は、上記した画素６０１ａと予測信号ρ（ｉ，ｊ）とを使って次のように表される。
予測誤差信号ｅ（ｉ，ｊ）＝ＸSB（ｉ，ｊ）−ρ（ｉ，ｊ）
生成された予測誤差信号ｅ（ｉ，ｊ）は、ＤＣＴ量子化部１０２に出力される。

なお、決定した予測モードは、符号化演算部２０５と共に予測モード選択データ生成部２０４にも送られる。予測モード選択データ生成部２０４は、今回決定した注目画素ブロックの予測モードを後の処理の隣接画素ブロックの予測モードとするためのデータを生成し、基準予測モード決定部２０１に送る。
上記した構成において、基準予測モード決定部２０１は、例えば、基準予測モードを以下の手順で決定する。すなわち、基準予測モード決定部２０１は、隣接画素ブロックとして採用された３つの画素ブロックの予測モードが異なる場合、複数の隣接画素ブロックの予測モードのうち、予測モードを特定するために必要なデータ量が最も少ない予測モードを注目画素ブロックの予測モードに決定する。

実施形態１においては、前記したように、予測モードが０ないし８の数字に特定される。数字は、大きさによって特定必要なビット数が変わり、特定に必要なデータ量が最も少ない予測モードを採用する場合、３つの隣接画素ブロックの予測モードのうち最も少ないビット数で表現できるより小さい数字が付された予測モードが採用されることになる。
このような構成によれば、符号化されたデータに予測モードを付して生成される復号用データのデータ量がいっそう少なくなり、本実施形態の符号化効率をいっそう高めることができる。

また、基準予測モード決定部２０１は、隣接画素ブロックとして採用された３つの画素ブロックの予測モードが異なる場合、複数の隣接画素ブロックの予測モードのうち、予測モードを特定するために必要なデータ量が最も少ない予測モード及びデータ量が最も多い予測モードを除く予測モードを注目画素ブロックの予測モードに決定することができる。
このような構成によれば、隣接画素ブロックの１つが注目画素ブロックが示す画像の特性と大きく変わる特性を持つ場合であっても、この隣接画素ブロックの予測モードを採用したことによって注目画素ブロックの符号化効率の低下が大きくなることを避けることができる。

予測候補モード設定部２０２は、例えば、次のようにして決定された予測モードに基づく予測モードの候補を設定する。すなわち、基準予測モード決定部２０１が、予測モードを予測モード８に決定した場、予測候補モード設定部２０２は、予測モード８を中心にする２つの予測モード２、予測モード１を、予測モード８と共に予測モードの候補に設定する。

このような構成によれば、隣接画素ブロックの予測モードに準じて選択された１の予測モードのみならず、選択された予測モードに近い複数の予測モードから注目画素ブロックの予測モードを決定することができる。このため、注目画素ブロックのより高い符号化効率を得るのに適した予測モードを注目画素ブロックの符号化に採用することができる。
なお、基準予測モード決定部２０１によって決定された他の予測モードと予測モード候補設定部２０２によって設定される予測モードの候補との関係を以下に例示する（候補が３つ以上存在する例もある）。

予測モード 予測モード候補
１ ２、８、１、６
６ ２、１、６、４
４ ２、６、４、５
５ ２、４、５、０
０ ２、５、０、７
７ ２、０、７、３
３ ２、３、７
２ ０〜８
予測モード決定部２０３は、上記した方法によって決定された予測モード候補から、注目画素ブロックの予測モードを、例えば以下の手順で決定する。すなわち、予測モード決定部２０３は、複数の予測モード候補で注目ブロックに含まれる画素の値を演算し、得られる複数の結果のうちの最も少ないデータ量を示す結果を得る予測モードを注目画素ブロックの予測モードに決定する。

なお、このような処理における演算とは、例えば、注目画素ブロックの画素の値から隣接画素ブロックの画素の値を各予測モードにしたがって減算し、得られた減算結果の総和をいう。減算値の総和の値は、符号化後のデータのデータ量を反映する。このため、このような構成によれば、減算値の総和が最小となる予測モードを符号化の予測モードとすれば、予測モード候補のうちの符号化効率が最も高い予測モードを注目画素の予測モードにすることができる。

次に、実施形態１の画像処理方法をコンピュータに実行させるためのプログラムを説明する。
図６は、実施形態１の画像処理装置で実行される画像処理方法をコンピュータに実行させるためのプログラムのフローチャートであって、イントラ予測部１０１上で動作する。なお、図６に示したフローチャートは、先に述べた実施形態１の画像処理装置によって行われる動作のうちの１つを例示するものであって、隣接画素ブロックのうち予測モードを識別する数字が最小のビット数で表されるものを注目画素ブロックの基準予測モードとする。また、基準予測モードを含む複数の予測モードによって予測誤差信号を生成し、予測誤差信号の総和が最小になる予測モードを注目画素ブロックを符号化する際の予測モードに採用するものとする。

図６に示したように、実施形態１の画像処理装置は、基準予測モード決定部２０１が、予測モード選択データに基づいて注目画素ブロック周囲の３つの隣接画素ブロック（図中に周辺画素ブロックと記す）の予測モードを収集する（ステップＳ５０１）。そして、予測モードＭｎを１番目の隣接画素ブロックの予測モードＭ１に設定し（ステップＳ５０２）、予測モードＭ１のモード識別のための数字が３つの予測モードのうちで最も少ないビット数で表される最小モードであるか否かを判断する（ステップＳ５０３）。判断の結果、最小モードであった場合（ステップＳ５０３：Ｙｅｓ）、予測モードＭ１を基準予測モードに設定する（ステップＳ５０４）。

一方、予測モードＭ１が最小モードでない場合（ステップＳ５０３：Ｎｏ）、予測モードＭ１を２番目の隣接画素ブロックの予測モードＭ２に更新する（ステップＳ５１０）。ここで、基準予測モード決定部２０１は、実施形態１が３つの隣接画素ブロックを使って基準予測モードを決定することから、予測モードの設定回数が３回以上であるか否か判断する（ステップＳ５１１）。３回以内であった場合（ステップＳ５１１：Ｎｏ）、予測モードＭ２が最小モードであるか否か判断する（ステップＳ５０４）。また、ステップＳ５１１において、予測モードの設定回数が３回以上であると判断された場合（ステップＳ５１１：Ｙｅｓ）、次の注目画素ブロックの予測モードを収集する。

また、予測モード候補設定部２０２は、基準予測モードが決定した場合、基準予測モードを含む予測モードを予測モード候補に設定する（ステップＳ５０
５）。予測モード決定部２０３は、設定された予測モード候補の各々について、注目画素ブロックの画素の各々と隣接画素ブロックの端部にある画素との差分を算出する。そして、算出された差分の総和をとる演算を実行する（ステップＳ５０６、Ｓ５０７、Ｓ５０８）。さらに、ステップＳ５０６〜Ｓ５０８の演算によって得られた３つの総和のうち、最小の値を得た予測モード候補を注目画素ブロックの符号化に使用される予測モードに決定する（ステップＳ５０９）。

以上述べたように、実施形態１の画像処理装置及び画像処理方法をコンピュータに実行させるためにプログラムは、Ｈ．２６４のイントラ予測において、注目画素ブロックの演算方向を、先に決定された隣接画素ブロックの演算方向に基づいて決定することができる。このため、複数の色成分のすべてについて演算を行う必要がなく、演算方向の決定にかかる処理時間を短縮することができ、ひいては符号化にかかる処理の時間を短縮できる。

ところで、画像は、比較的狭い範囲においては画素値の相関が比較的大きい傾向がある。このため、互いに隣接する画素ブロックにおいて一方に適した演算方向は他方においても高い符号化効率が得られる可能性が高い。このような点から、実施形態１の画像処理装置及び画像処理方法をコンピュータに実行させるためのプログラムは、演算方向の決定にかかる時間を短縮し、しかも時間短縮による圧縮率の低下を抑えることが可能になる。

（実施形態２）
次に、本発明の画像処理装置及び画像処理方法をコンピュータに実行させるためのプログラムの実施形態２について説明する。なお、実施形態２の画像処理装置は、実施形態１で示した図１、図２と同様の構成を有する。このため、実施形態２の画像処理装置の説明において、図１、図２に示した構成の図示及び説明を省くものとする。

実施形態２の画像処理装置は、注目画素ブロックに含まれる画素値が複数の色成分を含む場合、基準予測モード決定部２０１、予測モード候補設定部２０２、予測モード決定部２０３が複数の色成分のうちの少なくとも一の色成分について予測モードを決定する。そして、符号化演算手段が、決定された予測モードにしたがい、他の色成分の画素の画素値を演算するものである。

一般的に、画像処理装置では、カラー画像の画素値をＹ，Ｕ，Ｖの３つの色成分ごとに符号化する。色成分Ｙ，Ｕ，ＶのうちＹ成分は輝度、Ｕ成分は青み、Ｖ成分は赤みを示し、Ｕ成分、Ｖ成分は共にＹ成分と強い相関を持つ。実施形態２の画像処理装置は、この点に着目したものであって、Ｙ成分を使って決定した予測モードをＵ成分、Ｖ成分の予測モードとしても適用し、本来３回行われる予測モード決定のための処理を１回にすることによって処理時間を短縮するものである。

図７（ａ）、（ｂ）は、実施形態２の画像処理装置の動作を説明するための図である。図７中に示した画像データ７０１は、ブロックの１６×１６の画素分の画素値のＹ成分の画像データである。また、画像データ７０２は、サブブロックのＵ成分の画像データであって、ブロックを８×８の画素の画素値で表す。画像データ７０３は、ブロックのＶ成分の画像データであって、Ｕ成分と同様にブロックを８×８の画素の画素値で表している。Ｙ成分の画像データに比べてＵ成分、Ｖ成分の画像データのデータ量が少ない理由は、画像データのＹ成分が画像に最も大きく影響するからである。

図７（ａ）は、Ｙ成分，Ｕ成分，Ｖ成分の各々について独立に予測モードを決定した例を示している。図示した例は、画像データ７０１のＹ成分について予測モード０、Ｕ成分、Ｖ成分についてはいずれも予測モード１が設定されている。画像データの色成分の各々について独立に予測モードを決定する場合、イントラ予測部１０１は、画像データ７０１、７０２、７０３の各々について予測誤差信号の総和を生成しなければならない。

一方、図７（ｂ）は、画像データのＹ成分について設定された予測モードをＵ成分、Ｖ成分にも適用した例を示している。図示した例では、イントラ予測部１０１が３つの色成分のうちＹ成分の画像データについてのみ予測モード０を設定する。そして、Ｕ成分、Ｖ成分についてはいずれも演算することなく予測モード０で予測誤差信号を生成し、ＤＣＴ及び量子化して符号化する。

図８は、実施形態２の画像処理装置で実行される画像処理方法をコンピュータに実行させるためのプログラムのフローチャートであって、イントラ予測部１０１上で動作する。なお、図８に示したフローチャートは、先に述べた図６に示した実施形態１の画像処理装置によって行われる予測モードの決定の処理を含むものであって、同様の処理については一部説明を省くものとする。

図８に示したように、実施形態２の画像処理装置は、Ｙ成分、Ｕ成分、Ｖ成分の３つの色成分のうちＹ成分についてだけ実施形態１と同様の方法で各注目画素の予測モードを決定する。すなわち、基準予測モード決定部２０１は、予測モード選択データに基づいて注目画素ブロック周囲の３つの隣接画素ブロック（図中に周辺画素ブロックと記す）の予測モードを収集する（ステップＳ８０１）。そして、予測モードＭｎを１番目の隣接画素ブロックの予測モードＭ１に設定し（ステップＳ８０２）、予測モードＭ１のモード識別のための数字が３つの予測モードのうちで最も少ないビット数で表される最小モードであるか否かを判断する（ステップＳ８０３）。判断の結果、最小モードであった場合（ステップＳ８０３：Ｙｅｓ）、予測モードＭ１を基準予測モードに設定する（ステップＳ８０４）。

一方、予測モードＭ１が最小モードでない場合（ステップＳ８０３：Ｎｏ）、予測モードＭ１を２番目の隣接画素ブロックの予測モードＭ２に更新する（ステップＳ８１０）。ここで、基準予測モード決定部２０１は、実施形態１が３つの隣接画素ブロックを使って基準予測モードを決定することから、予測モードの設定回数が３回以上であるか否か判断する（ステップＳ８１１）。３回以内であった場合（ステップＳ８１１：Ｎｏ）、予測モードＭ２が最小モードであるか否か判断する（ステップＳ８０４）。また、ステップＳ８１１において、予測モードの設定回数が３回以上であると判断された場合（ステップＳ８１１：Ｙｅｓ）、次の注目画素ブロックの予測モードを収集する。

また、予測モード候補設定部２０２は、基準予測モードが決定した場合、基準予測モードを含む予測モードを予測モード候補に設定する（ステップＳ８０５）。予測モード決定部２０３は、設定された予測モード候補の各々について、注目画素ブロックの画素の各々と隣接画素ブロックの端部にある画素との差分を算出する。そして、算出された差分の総和をとる演算を実行する（ステップＳ８０６、Ｓ８０７、Ｓ８０８）。さらに、ステップＳ８０６〜Ｓ８０８の演算によって得られた３つの総和のうち、最小の値を得た予測モード候補を注目画素ブロックの符号化に使用される予測モードに決定する（ステップＳ８０９）。

以上の処理の後、実施形態２では、画像データのＵ成分、Ｖ成分の予測モードをステップＳ８０９で決定した予測モードに設定し（ステップＳ８１２）、次の注目画素ブロックの符号化の処理をする。
なお、以上述べた実施形態２は、画像データのＹ成分だけを実施形態１と同様に処理して予測モードを決定している。しかし、実施形態２はこのような構成に限定されるものでなく、Ｙ成分についてだけ予測モードを決定するものであればどのような方法で予測モードを決定してもよい。したがって、実施形態２は、例えば、従来技術のように９種類の予測モードについて演算して最小モードを決定するものであってもよい。
以上述べたように、実施形態２の画像処理装置及び画像処理方法をコンピュータに実行させるためにプログラムは、複数の色成分のうち一の色成分についてだけ演算し、他の色成分についても演算方向を決定することができる。このため、複数の色成分のすべてについて演算方向を決定するための演算をする必要がなく、演算方向の決定にかかる処理時間を短縮することができ、ひいては符号化にかかる処理の時間を短縮できる。

ところで、Ｙ、Ｕ、Ｖの３成分でなる画像データは一般的にＵ成分及びＶ成分がＹ成分に依存することが知られていて、Ｙ成分の画像データに適した演算方向は他の色成分についても高い符号化効率が得られる可能性が高い。このような点から、実施形態２の画像処理装置及び画像処理方法をコンピュータに実行させるためのプログラムは、演算方向の決定にかかる時間を短縮し、しかも時間短縮による圧縮率の低下を抑えることが可能になる。

図９は、実施形態１、実施形態２の画像処理装置及びプログラムの効果を説明するための表を示した図である。図９の表は、処理Ａ、処理Ｂ、処理Ｃ、処理Ｂ＋Ｃの４つの処理について、各々基準となる符号化処理によって符号化された画像の信号に対するＰＳＮＲ（Peak Signal to Noise Ratio）の増加値（ｄＢ）を、Ｙ、Ｕ、Ｖの色成分ごとに示している。また、Ｙ、Ｕ、Ｖの色成分ごとに平均時間及び演算時間の増加率を示している。

表に記した処理Ａは、圧縮率の最も高い周知の符号化方法の一部を略する符号化方法である。処理Ａによれば、最も圧縮率が高い処理よりも処理時間が短縮できるものの、圧縮率が０．１１低減する。０．１１の圧縮率低下は実際の画像処理において問題ならない場合も多く、処理Ａは本発明の従来技術にあたる技術として多用されている。また、処理Ｂは、処理Ａと実施形態１の画像処理装置で行われる処理とを併用した処理である。処理Ｃは、処理Ａと実施形態２の画像処理装置で行われる処理とを併用した処理であり、処理Ｂ＋Ｃは、処理Ａと実施形態１、実施形態２の画像処理装置で行われる処理とを併用した処理である。

図９によれば、処理Ｂ、処理Ｃ、処理Ｂ＋Ｃは、処理Ａより演算時間が短いことが分かる。したがって、本発明の実施形態１、実施形態２は、単独で用いても併用しても符号化にかかる時間を短縮する効果を有することが分かる。また、一般的な画像処理にあっては、処理Ｂ、処理Ｃ、処理Ｂ＋ＣのＰＳＮＲの増加はＹ、Ｕ、Ｖの色成分のいずれについても許容できる範囲にある。さらに、処理Ｂ、処理Ｃ、処理Ｂ＋Ｃで符号化された画素ブロックの平均ビットの増加率は、処理Ａの基準となる符号化方法に対する増加率と実質的な差がないことが分かる。

本実施形態１、実施形態２の画像処理装置のＨ．２６４／ＡＶＣ符号器の基本的な構成を説明するための図である。 実施形態１のイントラ予測部において予測モードを決定する機能の機能ブロック図である。 本発明の実施形態１の注目ブロックと隣接画素ブロックとの関係を説明するための図である。 本発明の実施形態１の演算方向を説明するための図である。 図２に示した符号化演算部による予測信号の生成について説明するための図である。 実施形態１の画像処理装置で実行される画像処理方法をコンピュータに実行させるためのプログラムのフローチャートである。 本発明の実施形態２の画像処理装置の動作を説明するための図である。 実施形態２の画像処理装置で実行される画像処理方法をコンピュータに実行させるためのプログラムのフローチャートである。 本発明の実施形態１、実施形態２の画像処理装置及びプログラムの効果を説明するための表を示した図である。 Ｈ．２６４における一般的な減算方向を具体的に説明するための図である。

符号の説明

１０１ イントラ予測部，１０２ 量子化部，１０３ エントロピ符号化部、１０５ デブロックフィルタ，１０６ フレームメモリ，１０７ インター予測部、２０１ 基準予測モード決定部，２０２ 予測モード候補設定部、２０２ 予測候補モード設定部，２０３ 予測モード決定部、２０４予測モード選択データ生成部，２０５ 符号化演算部

Claims (9)

1. 所定の数の画素で構成される第１画素ブロックに含まれる複数の第１画素の画素値を、第１画素の配列方向に基づく複数の演算方向のいずれかに沿って演算する演算手段と、
   前記演算手段によって実行される演算の演算方向を決定する演算方向決定手段と、を備え、
   前記演算方向決定手段は、第１画素ブロックと隣接し、かつ第１画素ブロックよりも先に演算方向が決定された第２画素ブロックの演算方向に基づいて、第１画素ブロックの演算方向を決定することを特徴とする画像処理装置。
2. 所定の数の画素で構成される第１画素ブロックに含まれる複数の第１画素の画素値を、第１画素の配列方向に基づく複数の演算方向のいずれかに沿って演算する演算手段と、
   前記演算手段によって実行される演算の演算方向を決定する演算方向決定手段と、を備え、
   画素値が複数の色成分を含む場合、前記演算方向決定手段は、複数の色成分のうちの少なくとも一の色成分について演算方向を決定し、前記演算手段は、前記演算方向決定手段によって決定された演算方向にしたがい、他の色成分の画素の画素値を演算することを特徴とする画像処理装置。
3. 所定の数の画素で構成される第１画素ブロックに含まれる複数の第１画素の画素値を、第１画素の配列方向に基づく複数の演算方向のいずれかに沿って演算する演算手段と、
   前記演算手段によって実行される演算の演算方向を決定する演算方向決定手段と、を備え、
   画素値が複数の色成分を含む場合、前記演算方向決定手段は、複数の色成分のうちの少なくとも一の色成分について、第１画素ブロックと隣接し、かつ第１画素ブロックよりも先に演算方向が決定された第２画素ブロックの演算方向に基づいて第１画素ブロックの演算方向を決定し、
   前記演算手段は、前記演算方向決定手段によって決定された演算方向にしたがって他の色成分の画素の画素値を演算することを特徴とする画像処理装置。
4. 前記演算方向決定手段が、先に符号化された画素ブロックの演算方向を含む複数の演算方向に沿って第１画素ブロックに含まれる画素の値を演算し、演算によって得られる複数の結果のうちの最も少ないデータ量を示す結果を得る演算方向を第１画素ブロックの演算方向に決定することを特徴とする請求項１または２に記載の画像処理装置。
5. 前記演算方向決定手段が、先に演算された画素ブロックの演算方向を含む複数の演算方向のうち、演算方向を特定するために必要なデータ量が最も少ない演算方向を第１画素ブロックの演算方向に決定することを特徴とする請求項１または２に記載の画像処理装置。
6. 前記演算方向決定手段が、先に演算された画素ブロックの演算方向を含む複数の演算方向のうち、演算方向を特定するために必要なデータ量が最も少ない演算方向、及び最も多い演算方向を除く演算方向を第１画素ブロックの演算方向に決定することを特徴とする請求項１または２に記載の画像処理装置。
7. 所定の数の画素で構成される第１画素ブロックに含まれる第１画素の画素値を、第１画素の配列方向に基づく複数の演算方向のいずれかに沿って演算する演算ステップと、
   前記演算ステップにおける演算の演算方向を決定する演算方向決定ステップと、を含み、
   前記演算方向決定ステップにおいて、第１画素ブロックと隣接し、かつ第１画素ブロックよりも先に演算方向が決定された第２画素ブロックの演算方向に基づいて第１画素ブロックの演算方向が決定されることを特徴とする画像処理方法をコンピュータに実行させるためのプログラム。
8. 所定の数の画素で構成される第１画素ブロックに含まれる第１画素の画素値を、第１画素の配列方向に基づく複数の演算方向のいずれかに沿って演算する演算ステップと、
   前記演算ステップにおける演算の演算方向を決定する演算方向決定ステップと、を含み、
   画素値が複数の色成分を含む場合、演算方向決定ステップにおいて、複数の色成分のうちの少なくとも一の色成分について演算方向が決定され、
   前記演算ステップにおいて、前記演算方向決定ステップで決定された演算方向に沿って他の色成分の画素値が演算されることを特徴とする画像処理方法をコンピュータに実行させるためのプログラム。
9. 所定の数の画素で構成される第１画素ブロックに含まれる第１画素の画素値を、第１画素の配列方向に基づく複数の演算方向のいずれかに沿って演算する演算ステップと、
   画素値が複数の色成分を含む場合、複数の色成分のうちの少なくとも一の色成分について前記演算ステップにおける演算の演算方向を決定する演算方向決定ステップと、を含み、
   前記演算方向決定ステップにおいて、第１画素ブロックと隣接し、かつ第１画素ブロックよりも先に演算方向が決定された第２画素ブロックの演算方向に基づいて第１画素ブロックの演算方向が決定され、
   前記演算ステップにおいて、前記演算方向決定ステップで決定された演算方向に沿って他の色成分の画素値が演算されることを特徴とする画像処理方法をコンピュータに実行させるためのプログラム。

Images