JP2006165699A - 画像符号化装置および画像符号化方法 - Google Patents

Abstract

【課題】 単位ブロック毎の符号化処理における処理効率を改善し得る画像符号化装置等を提供する。
【解決手段】 各予測モードに対する評価値算出処理を、符号化対象の単位ブロックより上位の符号化済みの単位ブロックの画素を用いる処理Ｐ1と、符号化対象の単位ブロックの左側の符号化済みの単位ブロックの画素を用いる処理Ｐ2とを分け、他の単位ブロックの符号化が終了したか否かにかかわらず、実施できる処理（処理Ｐ1又は処理Ｐ2）から優先して処理する。
【選択図】 図２

Description

本発明は、画像の符号化技術に関し、特にＨ．２６４／ＡＶＣ標準の画面内予測符号化方式を用いる画像符号化技術に関する。

近年、ＡＶ情報のデジタル化が進み、映像信号をデジタル化して取り扱うことのできる機器等が広く普及しつつある。ところで、映像は膨大な情報量を有するため、記録容量や伝送効率を考慮して情報量を削減しつつ符号化することが一般的である。映像信号の符号化技術としては、「Ｈ．２６４／ＡＶＣ」という国際規格が定められている。このＨ．２６４／ＡＶＣでは、同一フレーム内での予測を行う画面内予測符号化方式が導入されている（例えば、非特許文献１、非特許文献２参照）。

Ｈ．２６４／ＡＶＣの画面内予測符号化方式のうち、複雑な画像に対して適用される、４×４画素単位の画面内予測符号化（以下「４×４画面内予測」と略称する。）は、１６×１６画素のマクロブロックを縦横に（４×４）個の単位ブロック（４画素×４画素から構成されるブロック）に分割して符号化を行う（なお、平坦な画像に対して適用される、１６×１６画素単位の画面内予測符号化を併用する場合もある）。

４×４画面内予測においては、予測方向によって異なる９種類の予測モードがあり、この中からひとつの予測モードを選択して符号化を行う。図８（ａ）〜（ｉ）は、４×４画面内予測における９種類の予測モードの概要を示す図である。

図９は、従来の４×４画面内予測における処理の概要を示す図である。図９には、各々４×４画素から構成される１６個の単位ブロック（図９では、「０」〜「１５」のブロック番号が付与されている。）が示されている。図９に示すように、各単位ブロックの符号化の順番は、その単位ブロックより前に符号化した単位ブロックの画素値を参照して上記９種類の予測モードの中から最適な予測モードを選択する関係上、原則としてブロック番号順に行われる。なお、図９においては、便宜上、ブロック番号「０」の単位ブロックを「Ｃ」、ブロック番号「１」の単位ブロックを「Ｃ＋１」等と称する（従って、ブロック番号「１５」の単位ブロックは「Ｃ＋１５」と称する）こととする。

具体的には、以下の順序で符号化が行われる。
まず、単位ブロック「Ｃ」について、上記９種類の予測モードの中から最適な予測モードを選択（即ち、予測モード０〜８について、評価値である絶対値誤差和を算出し、絶対値誤差和が最小となる予測モードを選択する。）し、選択した予測モードを用いて符号化（即ち、直交変換、量子化、逆量子化、逆直交変換の各処理）を行う。次に、単位ブロック「Ｃ＋１」について、同様の符号化を行う。以下、上記ブロック番号の順序で符号化を行っていく。

図１０は、上記従来の４×４画面内予測における具体的な処理の流れを示したブロック図である。図１０では、単位ブロック「Ｃ」から単位ブロック「Ｃ＋１５」について、ブロック番号順に各予測モードでの画素の参照、評価値算出および予測モードの選択、さらに上記の直交変換〜逆直交変換の一連の処理が実行され符号化が行われる様子が示されている。
ＤＲＡＦＴ ＩＳＯ／ＩＥＣ，１４４９６−１０：２００２（Ｅ），"Ｄｒａｆｔ ＩＴＵ−Ｔ Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ ａｎｄ Ｆｉｎａｌ Ｄｒａｆｔ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｔａｎｄａｒｄ ｏｆ Ｊｏｉｎｔ Ｖｉｄｅｏ Ｓｐｅｃｉｆｉｃａｔｉｏｎ "、２００３年５月２７日 大久保榮監修「インプレス標準教科書シリーズ Ｈ．２６４／ＡＶＣ教科書」、インプレス ネットビジネスカンパニー、２００４年８月１１日

しかしながら、４×４画面内予測では、４×４画素という小さなブロック単位で予測を行うため、それぞれのブロックを効率的に符号化することが可能であるが、上記のように、最適な予測モードを選択するためには、９種類の予測モード毎の予測誤差の総和を算出して比較する必要があり、膨大な演算量となることから、符号化処理速度を向上させる上で大きな障害となっている。

このため、上記の処理を並列に処理することも考え得るが、符号化対象の単位ブロックが参照できる画素は符号化済みの画素でなければならないという制約の下、上記のようなブロック番号順に処理を進める必要があるため、並列処理の実効が図れない。

そこで、本発明は上記の課題に鑑みてなされたものであり、４×４画面内予測を用いる符号化において、符号化処理速度を向上し得る画像符号化装置および画像符号化方法を提供することを目的とする。

上記目的を達成するため、本発明に係る画像符号化装置は、画面内予測を利用して単位ブロック毎に符号化を行う画像符号化装置であって、符号化対象ピクチャを構成する単位ブロックについての予測モードの選択のための評価値を算出し、算出された評価値に基づいて前記単位ブロック毎の予測モードを選択する予測モード選択手段と、選択された前記予測モードを利用して、前記符号化対象ピクチャを前記単位ブロック毎に符号化する画面内符号化手段とを備え、前記予測モード選択手段は、第１の単位ブロックに対する前記評価値の算出の後、前記画面内符号化手段によって当該第１の単位ブロックの符号化が終了する前に、第２の単位ブロックに対する前記評価値の算出を開始することを特徴とする。

これにより、４×４画面内予測符号化処理を並列かつ高効率で行う画像符号化装置を提供することが可能となる。

なお、本発明は、このような画像符号化装置として実現することができるだけでなく、画像符号化装置が備える特徴的な構成手段をステップとする画像符号化方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは云うまでもない。

以上のように、本発明によれば、画面内予測を用いた画像符号化にあたり、予測モードを選択するための評価値算出処理を分割し、さらに並列処理を行うことにより、高効率に符号化を行う画像符号化装置を提供することができる。

以下、本発明に係る実施の形態について、図面を参照しながら説明する。
（実施の形態１）
図１は、本実施の形態に係る画像符号化装置１００の機能構成を示すブロック図である。図１に示される画像符号化装置１００は、高効率の符号化処理を実現する画像符号化装置であり、評価値算出部１０、符号化方式選択部２０、直交変換部３０、量子化部４０、逆量子化部５０、逆直交変換部６０、フレームメモリ７０、参照画像生成部８０およびエントロピー符号化部９０を備える。図１に示されるように、画像符号化装置１００における直交変換部３０、量子化部４０、逆量子化部５０および逆直交変換部６０は、それぞれ少なくとも２系統の同一処理を行い得るＤＳＰ（Digital Signal Processor）又は回路等で構成されている。各々の複数の系統のうち、どの系統を使用して処理を行うか（即ち、一連の処理手順）は、予め決めておいてもいいし、動的に決定してもよい。なお、上記直交変換部３０〜逆直交変換部６０の個々の系統の機能構成は従来と同じであるため、詳細な説明は省略する。

評価値算出部１０は、４×４画素で構成される単位ブロック毎に、予め決められた処理手順又は動的に決定した処理手順に基づいて、予測モード０〜８について評価値たる絶対値誤差和（又は二乗誤差和）を算出する。

符号化方式選択部２０は、評価部算出部１０で算出された評価値に基づいて、単位ブロック毎に最適な予測モードを選択する。より詳細に説明すると、符号化方式選択部２０は、単位ブロック毎に予測モード０〜９について算出された評価値（絶対値誤差和など）の比較を行い、この評価値に基づいて（例えば、評価値が最小となる）予測モードを選択する。なお、符号化方式選択部２０は、量子化部４０において量子化された値に基づいて、予測モードの選択を行うこととしてもよい。

フレームメモリ７０は、逆直交変換部６０において復号された画像データを記憶する。
参照画像生成部８０は、フレームメモリ７０に記憶されている画像データを用いて、予め決められた処理手順又は動的に決定した処理手順に従って評価値算出部１０における評価値を算出するために必要な参照画像を生成する。

エントロピー符号化部９０は、符号化方式選択部２０において選択された予測モードを用いて、符号化対象のピクチャについて単位ブロック毎に符号化を行い、ビットストリームを出力する。

次に、上記のように構成される画像符号化装置１００の動作について説明する。
図２は、画像符号化装置１００の４×４画面内予測における処理の概要を示す図である。なお、参考のため、従来技術における評価値算出処理に着目した場合の処理の順番を示す符番を○内のＡ1〜Ａ6（なお、図示はしていないが、最後の番号は「Ａ32」である。）として示し、画像符号化装置１００における処理の順番を示す符番をＢ1〜Ｂ32として示している。図２では、従来技術と本発明の評価値算出処理で互いに対応するフェーズは並べて示している。つまり、従来技術において符番Ａ3の処理が開始するまでに、本発明の場合は、符番Ｂ8の処理を終えていることになる。

図２に示すように、画像符号化装置１００では、上記従来技術と異なり、符号化処理は必ずしもブロック番号順に行われない。つまり、評価値算出処理を構成する処理Ｐ1および処理Ｐ2については、ブロック番号とは無関係に、処理が可能なものから実施していく。

例えば、このマクロブロックについては初期の状態であっても、単位ブロックＣ、単位ブロックＣ＋１、単位ブロックＣ＋４および単位ブロックＣ＋５については、それぞれの上位の単位ブロックは、既に符号化処理を終えているため、これらの単位ブロックの画素のみを参照する予測モード（例えば、予測モード０、予測モード３、予測モード５および予測モード７）については、評価値を算出することが可能である。同様に、単位ブロックＣ、単位ブロックＣ＋２、単位ブロックＣ＋８および単位ブロックＣ＋１０については、それぞれの左側の単位ブロックが既に符号化処理を終えているため、これらの単位ブロックの画素のみを参照する予測モード（例えば、予測モード１、予測モード６および予測モード８）については、評価値の算出が可能である。

そこで、図２に示すように、各予測モードに対する評価値算出処理のうち、符号化対象の単位ブロックより上位の符号化済みの単位ブロックの画素を用いる処理Ｐ1と、符号化対象の単位ブロックの左側の符号化済みの単位ブロックの画素を用いる処理Ｐ2とを分け、実施できる処理（処理Ｐ1又は処理Ｐ2）から優先して処理するように決めた順番を示したのが、図２における○内の数字（即ち、Ｂ1〜Ｂ32）である。

なお、上記図２に示す○内の符番で示した順番はその一例であり、他に同等の効率的な処理を行い得る処理順もあることは云うまでもない。

図３は、上記図２の処理内容に対応するタイミングチャートである。図３においても、参考のため、上記従来のタイミングチャートを併記している。

図３に示されるように、画像符号化装置１００の場合は、上記の処理Ｐ1と処理Ｐ2とを分離させて可能な処理を優先して実施し、かつ、直交変換部３０〜逆直交変換部６０を２系統で構成したことにより、高効率の並列処理が可能となる。というのは、符号化処理を単純に２系統で並列に実施した場合（即ち、５つの単位ブロックについて符号化処理を行う場合）に比べ、時間Ｔ1だけ早期に処理を終えることができるからである。

図４は、画像符号化装置１００における評価値算出処理の手順を動的に決定する場合の処理の流れを示すフローチャートである。

最初に、符号化対象であるマクロブロックの１６×１６画素が特定されると（Ｓ１０２）、その左上隅の単位ブロックＣについて処理Ｐ1〜Ｐ7の処理を実行する（Ｓ１０４）。

このあと、単位ブロックＣ＋１〜単位ブロックＣ＋１５に対して、処理Ｐ1又は処理Ｐ2の実行が可能か否かを判断しながら、処理Ｐ1、処理Ｐ2および処理Ｐ3を行っていく（Ｓ１０６〜Ｓ１２８）。

具体的には、単位ブロックＣ＋ｉ（ｉ＝１〜１５）の４×４画素を特定し（Ｓ１０６）、処理Ｐ1が可能な場合は（Ｓ１１０：Ｙｅｓ）、単位ブロックＣ＋ｉについての処理Ｐ1を実行し（Ｓ１１２）、処理Ｐ2が可能な場合は（Ｓ１１６：Ｙｅｓ）、単位ブロックＣ＋ｉについての処理Ｐ2を実行する（Ｓ１１８）。

この後、処理Ｐ3が可能な場合（即ち、上記処理Ｐ1及び処理Ｐ2を終えている場合）は（Ｓ１２０：Ｙｅｓ）、単位ブロックＣ＋ｉについての処理Ｐ3を実行する（Ｓ１２２）。

さらに、処理Ｐ4〜処理Ｐ7までの処理が可能な場合は（Ｓ１２４：Ｙｅｓ）、単位ブロックＣ＋ｉについての処理Ｐ4〜処理Ｐ7を実行する（Ｓ１２６）。

以上の処理を、特定したマクロブロックの１６の単位ブロック全てについて実行する。
以上のように、本実施の形態に係る画像符号化装置は、符号化処理を並列かつ高効率で行うことを可能とする。

（実施の形態２）
上記実施の形態１では、単位ブロック毎に実施する評価値算出処理を予測モード種類に応じて分割することによって、並列処理の実効性を高めた実施例について説明したが、本実施の形態では、さらに高効率な符号化処理を可能とする実施例について説明する。

図５は、本実施の形態に係る画像符号化装置２００の機能構成を示すブロック図である。図５に示される画像符号化装置２００は、さらに高効率の符号化処理を実現する画像符号化装置であり、評価値算出部１１０、符号化方式選択部１２０、直交変換部３０、量子化部４０、逆量子化部５０、逆直交変換部６０、フレームメモリ７０、参照画像生成部８０およびエントロピー符号化９０を備える。

図５に示されるように、画像符号化装置２００における評価値算出部１１０〜逆直交変換部６０、及び参照画像生成部１８０は、それぞれ少なくとも２系統の同一処理を行い得るＤＳＰ（Digital Signal Processor）又は回路等で構成されている。したがって、画像符号化装置２００は、上記の実施の形態１における画像符号化装置１００に比べ、評価値算出部、符号化方式選択部及び参照画像生成部についても複数系統で構成されている。なお、各々の系統のうち、どの系統を使用して処理を行うか（即ち、一連の処理手順）については、上記実施の形態１と同様、予め決めておいてもいいし、動的に決定してもよい。なお、本画像符号化装置２００の個々の系統の機能構成は上記画像符号化装置１００と同じであるため、詳細な説明は省略する。

図６は、本画像符号化装置２００の４×４画面内予測における処理の概要を示す図である。本実施の形態においても、従来技術と同様に、各々４×４画素から構成される１６個の単位ブロックで1つのマクロブロックが構成されるものとする。

図６では、上記従来のブロック番号に関係なく、単位ブロックにおける一連の処理（上記の処理Ｐ1〜処理Ｐ7）を、単位ブロックで完結させながら行う並列処理（以下「並列処理Ａ」という。）を左側に表わし、上記実施の形態１と同様に、処理Ｐ1と処理Ｐ2とを分離して行う並列処理（以下「並列処理Ｂ」という。）をその右側に表している。図６に示すように、右側の並列処理Ｂでは、処理Ｐ1又は処理Ｐ2については、処理可能な処理を優先して実行している。

図７は、上記図６の処理内容を時間軸に沿って示したタイミングチャートである。図７には、上記２種類の並列処理（即ち、並列処理Ａ及び並列処理Ｂ）のタイミングチャートを併記している。図７に示されるように、本画像符号化装置２００の並列処理Ｂでは、処理Ｐ1と処理Ｐ2とを分離して可能な処理から実行することにより、時間Ｔ2＋Ｔ3だけ処理の短縮化が可能となり、さらに高効率な並列処理を実現することができる。

なお、画像符号化装置２００においても、動的に処理順を決定する処理は、評価値算出部、符号化方式選択部および参照画像生成部が複数系統で構成されている点については考慮する必要があるが、上記実施の形態１の場合と同様の考え方によって実現することが可能である。

以上のように、本実施の形態に係る画像符号化装置は、符号化処理を並列、かつ、極めて高効率で行うことを可能とする。

なお、上記の実施の形態１および２では、評価値算出処理等の順序を動的に決定する実施例について説明したが、予め評価値算出処理等の順序を決めておき、この順序に従って符号化を行うこととしてもよい。

なお、上記の実施の形態における各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されても良いし、一部又は全てを含むように１チップ化されても良い。（例えばメモリ以外の機能ブロックが１チップ化されていてもよい。）
ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

さらには、半導体技術の進歩又は派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

また、各機能ブロックのうち、符号化または復号化の対象となるデータを格納する手段だけ１チップ化せずに別構成としてもよい。

本発明は、画面内予測方式を用いた画像符号化装置および画像符号化方法に利用が可能である。

実施の形態１における画像符号化装置の機能構成を示すブロック図である。 実施の形態１における画像符号化装置の４×４画面内予測における処理の概要を示す図である。 上記図２の処理内容に対応するタイミングチャートである。 実施の形態１における画像符号化装置の処理の流れを示すフローチャートである。 実施の形態２における画像符号化装置の機能構成を示すブロック図である。 実施の形態２における画像符号化装置の４×４画面内予測における処理の概要を示す図である。 上記図６の処理内容に対応するタイミングチャートである。 （ａ）〜（ｉ）は、４×４画面内予測における９種類の予測モードの概要を示す図である。 従来技術における画像符号化装置の４×４画面内予測における処理の概要を示す図である。 上記図９の処理内容に対応するタイミングチャートである。

符号の説明

１０、１１０ 評価値算出部
２０、１２０ 符号化方式選択部
３０ 直交変換部
４０ 量子化部
５０ 逆量子化部
６０ 逆直交変換部
７０ フレームメモリ
８０、１８０ 参照画像生成
９０ エントロピー符号化部
１００、２００ 画像符号化装置

Claims (10)

1. 画面内予測を利用して単位ブロック毎に符号化を行う画像符号化装置であって、
   符号化対象ピクチャを構成する単位ブロックについての予測モードの選択のための評価値を算出し、算出された評価値に基づいて前記単位ブロック毎の予測モードを選択する予測モード選択手段と、
   選択された前記予測モードを利用して、前記符号化対象ピクチャを前記単位ブロック毎に符号化する画面内符号化手段とを備え、
   前記予測モード選択手段は、第１の単位ブロックに対する前記評価値の算出の後、前記画面内符号化手段によって当該第１の単位ブロックの符号化が終了する前に、第２の単位ブロックに対する前記評価値の算出を開始する
   ことを特徴とする画像符号化装置。
2. 前記予測モード選択手段は、
   一部の参照画素を用いる評価値の算出を他の参照画素を用いる評価値の算出よりも先行して実施するための順番を示す情報を取得する算出順序取得部と、
   取得された前記順番を示す情報に基づいて、前記評価値を算出する演算部とを備える
   ことを特徴とする請求項１記載の画像符号化装置。
3. 前記画面内符号化手段は、
   前記算出順序取得部において取得された順序を考慮した、符号化を行う順番を示す情報を取得する符号化順序取得部と、
   取得された前記符号化を行う順番を示す情報に基づいて、前記符号化を行う符号化部とを備える
   ことを特徴とする請求項２記載の画像符号化装置。
4. 前記画面内符号化手段は、既に符号化済みの単位ブロックに隣接する単位ブロックを優先して符号化を行う
   ことを特徴とする請求項１記載の画像符号化装置。
5. 前記画面内符号化手段は、直交変換処理、量子化処理、逆量子化処理および逆直交変換処理を同時に実行し得るユニットを複数系統有する
   ことを特徴とする請求項１記載の画像符号化装置。
6. 前記予測モード選択手段は、前記予測モードの選択を同時に実行し得るユニットを複数系統有する
   ことを特徴とする請求項１記載の画像符号化装置。
7. 前記予測モード選択手段は、量子化値によって予測モードを決定する
   ことを特徴とする請求項１記載の画像符号化装置。
8. 前記予測モード選択手段は、絶対値誤差和又は二乗誤差和を用いて前記評価値を算出する
   ことを特徴とする請求項１記載の画像符号化装置。
9. 画面内予測を利用して単位ブロック毎に符号化を行う画像符号化方法であって、
   符号化対象ピクチャを構成する単位ブロックについての予測モードの選択のための評価値を算出し、算出された評価値に基づいて前記単位ブロック毎の予測モードを選択する予測モード選択ステップと、
   選択された前記予測モードを利用して、前記符号化対象ピクチャを前記単位ブロック毎に符号化する画面内符号化ステップとを含み、
   前記予測モード選択ステップは、第１の単位ブロックに対する前記評価値の算出の後、前記画面内符号化ステップによって当該第１の単位ブロックの符号化が終了する前に、第２の単位ブロックに対する前記評価値の算出を開始する
   ことを特徴とする画像符号化方法。
10. 画面内予測を利用して単位ブロック毎に符号化を行う画像符号化装置のためのコンピュータが実行可能なプログラムであって、
    前記プログラムは、
    符号化対象ピクチャを構成する単位ブロックについての予測モードの選択のための評価値を算出し、算出された評価値に基づいて前記単位ブロック毎の予測モードを選択する予測モード選択ステップと、
    選択された前記予測モードを利用して、前記符号化対象ピクチャを前記単位ブロック毎に符号化する画面内符号化ステップとを含み、
    前記予測モード選択ステップは、第１の単位ブロックに対する前記評価値の算出の後、前記画面内符号化ステップによって当該第１の単位ブロックの符号化が終了する前に、第２の単位ブロックに対する前記評価値の算出を開始する
    ことを特徴とするプログラム。

Images