JP2006324888A - 動画像符号化装置 - Google Patents

Abstract

【課題】少ない演算量により動画像データの高能率符号化を実現する動画像符号化装置を提供する。
【解決手段】動画像データのフレームを複数のブロックに分割し、当該ブロック単位で、符号化済み参照フレームからの予測フレームと、符号化対象となる現フレームとの予測誤差信号及び動きベクトルを符号化する動画像符号化装置であって、当該ブロックを更にパーティション単位に分割するための分割形状を決定する複数のパーティションモードと、当該参照フレームを用いた動きベクトル予測方法を決定する複数の動き予測モードとの組合せを選択する選択部と、この選択部により選択されたパーティションモードと動き予測モードに基づいて、動きベクトルを算出する算出部とを備える。
【選択図】 図１

Description

本発明は、動画像符号化装置に関する。

動画像データは、一般に、データ量が大きいため、送信装置から受信装置へ伝送される際、或いは記憶装置に格納される際などには、動画像データの高能率符号化が行われる。この高能率符号化とは、あるデータ列を他のデータ列に変換する符号化であって、対象となるデータ量を圧縮する技術をいう。

動画像データの高能率符号化方法としては、動き補償フレーム間予測符号化方法が知られている（図４参照）。この符号化方法では、動画像データが時間方向に相関性が高いことを利用する。動画像を構成するフレームのうち、あるタイミングにおけるフレームデータと次のタイミングにおけるフレームデータとの類似度が高いことが多いという動画像一般の性質を利用した符号化方法である。

動き補償フレーム間予測符号化方法では、原画像がブロック（マクロブロック）に分割され、このブロック単位に、符号化済みフレームの復号画像からこの原画像ブロックと類似している領域が選択され、この類似領域と原画像ブロックの差分が求められ、他の冗長なデータが取り除かれる。そして、類似領域を指し示す動きベクトル情報と、冗長性の取り除かれた差分情報が符号化される。このように符号化されることにより、動画像データの高圧縮が実現される。

動き補償フレーム間予測符号化方法を用いたデータ伝送システムでは、例えば、以下のような処理がなされる。送信装置では、前フレームの画像から対象フレームの画像への「動き」を表す動きベクトルデータ、及びその前フレームの画像からその動きベクトルデータを用いて作成された対象フレームの予測画像と対象フレームの実際の画像との差分データが生成され、それら動きベクトルデータおよび差分データが受信装置に送出される。一方、受信装置では、受信された動きベクトルデータ及び差分データから対象フレームの画像が再生される。

このようなフレーム間予測符号化方法は、ＩＴＵ−Ｔ Ｈ．２６３／Ｈ．２６４、ＩＳＯ／ＩＥＣ ＭＰＥＧ−１／２／４などの標準方式において採用されている。また、これらの標準方式では、動きベクトルデータを符号化する方法として、予測符号が用いられている。

以下、上記標準符号化方式であるＨ．２６４／ＭＰＥＧ−４ＡＶＣについて説明する。Ｈ．２６４／ＭＰＥＧ−４ＡＶＣでは、上述のマクロブロックをさらに小さなパーティションに分割し、この分割されたパーティション単位（以降、パーティションモードという）で動きベクトルを求めることができる（図５参照）。このパーティションの分割単位は、１６×１６画素のマクロブロックパーティションとして１６×１６、１６×８、８×１６、８×８、更にこの８×８画素の場合、サブマクロブロックパーティションとして８×８、８×４、４×８、４×４から選択可能である（図６参照）。これは、通常の動画像では、大きな領域が同じ方向に動くことが多いため、常に細分化するのは無駄であり、どの単位で分割するかを選択可能としているものである。

また、Ｈ．２６４／ＭＰＥＧ−４ＡＶＣでは、予測精度を上げるために動き予測モードが設けられている。動き予測モードには、フレーム間予測をするにあたり、時間的に前の
フレームを使う方法（前方向予測）、後のフレームを使う方法（後方向予測）、双方のフレームを使う方法（両方向予測）がある。そして、フレーム間予測としてＢフレーム（Bi-directional Predicted Frame)が用いられる場合、上記パーティション毎に３種類（前
方向予測、後方向予測、 両方向予測）の動き予測モードから予測精度の高いモードが一
つ選択され、その動き予測モードにより符号化される。

また、Ｈ．２６４／ＭＰＥＧ−４ＡＶＣでは、動き補償の精度を上げるために、フル画素、１／２画素、１／４画素の精度で動きベクトル予測を行うことが可能となっている。物体の動きが整数画素単位になる確率は低いため、整数画素未満の精度(小数画素精度)での動きを利用することで動き補償の精度を上げるのを目的とする。

なお、上記動き補償予測符号化方式を用いた動画符号化装置については、以下の文献で開示されている。
特開２０００−１０２０１６号公報

しかしながら、上記Ｈ．２６４／ＭＰＥＧ−４ＡＶＣ等の従来技術による動画像データの高能率符号化方法では、全てのパーティションモード（組み合わせ総数は２５９通り）で３種類の動き予測モード及び３種類の動き補償精度を用いて動きベクトルが求められ、予測画像と符号化対象画像との差分情報がそれぞれ計算される。そして、その中から符号化効率が最適な一つの組み合わせが決定される。すなわち、従来の高能率符号化方法では、最適な符号化効率を決定するのに、莫大な演算量を有する。

本発明の目的は、少ない演算量により動画像データの高能率符号化を実現する動画像符号化装置を提供することである。

本発明は、上述した課題を解決するために以下の構成を採用する。即ち、本発明は、動画像データのフレームを複数のブロックに分割し、当該ブロック単位で、符号化済み参照フレームからの予測フレームと、符号化対象となる現フレームとの予測誤差信号及び動きベクトルを符号化する動画像符号化装置であって、当該ブロックを更にパーティション単位に分割するための分割形状を決定する複数のパーティションモードと、当該参照フレームを用いた動きベクトル予測方法を決定する複数の動き予測モードの組合せを選択する選択部と、この選択部により選択されたパーティションモードと動き予測モードに基づいて、動きベクトルを算出する算出部とを備える動画像符号化装置についてのものである。

そして、本発明に係る動画像符号化装置では、上記選択部が、フル画素以上の動き補償精度において、各パーティションモードのそれぞれについての評価値を求める評価部と、当該評価値に基づいて、選択されるべきパーティションモードとして、複数のパーティションモードのうちのいずれかを決定する決定部とを更に備える。

本発明では、パーティションモードと動き予測モードを選択するにあたり、フル画素以上の動き補償精度において、各パーティションモードのそれぞれについて評価値が求められ、その評価値に基づいてパーティションモードが選択される。

これにより、フル画素未満の動き補償精度では、既に選択されたパーティションモードにおいてのみ動きベクトルを算出すればよいため、動きベクトル算出処理に関する負担を大幅に軽減することができる。

また、本発明に係る動画像符号化装置では、上記評価部が、パーティション単位での、動きベクトルにおける各動き予測モードの予測フレームと現フレームとの画素差分情報を、各動き予測モードそれぞれについて求め、求められた各動き予測モードの画素差分情報のうち、所定の条件を満たす画素差分情報を評価要素として、各パーティションモードのそれぞれについての評価値を求める。

本発明では、上記パーティションモードを絞り込むにあたって、パーティション単位での各動き予測モードにおける動きベクトルを求め、参照フレームから各動き予測モードにおける当該動きベクトルにより予測される予測フレームと現フレームとの画素差分情報を評価要素とする評価値を各パーティションモードのそれぞれについて求める。

また、本発明に係る動画像符号化装置では、上記評価部が、パーティション単位で求められた評価要素をパーティションモード単位に正規化し、その正規化された評価要素に基づいて、前記各パーティションモードのそれぞれについての評価値を求める。

本発明では、先に算出されたパーティション単位での画素差分情報を各パーティションモードで正規化した値を評価値として、パーティションモードが決定される。

これにより、パーティションモードを絞り込むうえで、動き予測モードを考慮した評価値が用いられるため、処理負担を軽減したことによる符号化効率の悪化を防ぐことができる。

また、本発明に係る動画像符号化装置では、上記選択部が、上記決定部において決定されたパーティションモードで、フル画素未満の動き補償精度における各動き予測モードの画素差分情報を求め、当該画素差分情報が所定の条件を満たす動き予測モードを選択する。

これにより、パーティションモードを絞り込んだうえで、動き予測モードを選択することができるため、符号化処理の負荷を軽減することができる。

なお、本発明は、以上の何れかの機能を実現させるプログラムであってもよい。また、本発明は、そのようなプログラムをコンピュータが読み取り可能な記憶媒体に記録してもよい。

本発明によれば、少ない演算量により動画像データの高能率符号化を実現する動画像符号化装置を提供することができる。

[実施の形態]
以下、図面を参照して、本発明の実施形態に係る動画像符号化装置について説明する。実施形態の構成は例示であり、本発明は実施形態の構成に限定されない。

〔装置構成〕
図１は、本発明の実施形態による動画像符号化装置の構成を示す図である。以下に、本実施形態の動画像符号化装置の構成について図１を用いて説明する。本実施形態における動画像符号化装置は、動画像符号化の標準であるＨ．２６４／ＭＰＥＧ−４ＡＶＣ方式に本発明を適用した場合の例である。なお、本動画像符号化装置は、ＣＰＵ（Central Processing Unit）、各種メモリ、入出力インタフェース等を備え、このＣＰＵによって、メ
モリに記憶される制御プログラムを実行することで動画像データの符号化を行うようにし
てもよい。その場合には、以下に示す各機能部は制御プログラムによって制御される。また、以下に示す各機能部はそれぞれハードウェアとして機能するようにしてもよい。

図１に示すように、本実施形態における動画像符号化装置１００は、予測誤差信号生成部１０１、直交変換部１０２、量子化部１０３、エントロピー符号化部１０４、逆量子化部１０５、逆直交変換部１０６、復号画像生成部１０７、予測画像生成部１０８、復号画像記憶部１０９、及び動きベクトル計算部１１０を有している。各機能部についての概略を以下に説明する。

予測誤差信号生成部１０１は、入力された画像データの現フレームを１６×１６ピクセルのブロック（以降、マクロブロック（ＭＢ）という）に分割されたマクロブロックデータ（以降、ブロックデータともいう）を得て、そのブロックデータと、予測画像生成部１０８から供給される予測画像フレームのブロックデータとにより、予測誤差信号を生成する。予測誤差信号生成部１０１は、生成された予測誤差信号を直交変換部１０２に渡す。

直交変換部１０２は、入力された予測誤差信号を直交変換処理する。直交変換部１０２は、直交変換処理によって水平及び垂直方向の周波数成分に分離された信号を量子化部１０３に供給する。量子化部１０３は、直交変換部１０２の出力を量子化する。量子化部１０３は、符号化することによって当該予測誤差信号の符号量を低減し、エントロピー符号化部１０４及び逆量子化部１０５に供給する。

エントロピー符号化部１０４は、量子化部１０３からの出力をエントロピー符号化（可変長符号化）して出力する。エントロピー符号化とは、シンボルの出現頻度に応じて可変長の符号を割り当てる方式をいう。

逆量子化部１０５は、量子化部１０３の出力を逆量子化してから逆直交変換部１０６に供給する。逆直交変換部１０６は、逆量子化部１０５の出力を逆直交変換処理してから復号画像生成部１０７に供給する。これら逆量子化部１０５及び逆直交変換部１０６によって復号化処理が行われることにより、符号化前の予測誤差信号と同程度の信号が得られる。

復号画像生成部１０７は、予測画像生成部１０８で動き補償されたフレームのブロックデータと、逆量子化部１０５及び逆直交変換部１０６により復号処理された予測誤差信号とを加算することにより、現画像データフレームの予測されるブロックデータを再生し、復号画像記憶部１０９に渡す。

復号画像記憶部１０９は、渡されたブロックデータを新たな参照フレームのデータとして記憶し、予測画像生成部１０８及び動きベクトル計算部１１０に供給する。

予測画像生成部１０８は、復号画像記憶部１０９から得た参照フレームのデータを動きベクトル計算部１１０から提供される動きベクトルで動き補償することにより、動き補償された参照フレームのブロックデータを生成する。生成された参照フレームのブロックデータは、予測誤差信号生成部１０１に供給される。

動きベクトル計算部１１０は、現画像データフレームにおけるブロックデータと、復号画像記憶部１０９から得る既に符号化された参照フレームのブロックデータを用いて、動きベクトルを求める。動きベクトルとは、ブロック単位で参照フレームから現フレームに最も類似している位置を探索するブロックマッチング技術を用いて求められるブロック単位の空間的なずれを示す値である。動きベクトル計算部１１０は、求めた動きベクトルを予測画像生成部１０８に渡す。

本実施形態における動きベクトル計算部１１０は、マクロブロックの中を更にパーティションに区切り、各パーティションでそれぞれ動きベクトルを求める。パーティションの区切り方（以降、パーティションモードという）については、図５に示すような７つのパーティションモードがある。そして、これらパーティションの組み合わせにより、マクロブロックは形成される。

また、動きベクトル計算部１１０の動きベクトルの算出方式として、動き予測モード（前方向予測、後方向予測、両方向予測）（図４参照）がある。前方向予測とは、符号化対象フレーム（現画像）から前方参照フレーム（過去参照画像）への動きベクトルを用いる予測モードである。後方向予測とは、符号化対象フレーム（現画像）から後方参照フレーム（未来参照画像）への動きベクトルを用いる予測モードである。両方向予測とは、符号化対象フレーム（現画像）から前方参照フレーム（過去参照画像）と後方参照フレーム（未来参照画像）への両方の動きベクトルを用いる予測モードである。

すなわち、動きベクトル計算部１１０は、動き予測モードに応じた参照フレームを復号画像記憶部１０９から得て、それら参照フレームを用いて動きベクトルを計算する。動きベクトル計算部１１０は、前方向予測であれば、時間的に先の既に符号化された参照フレームを用い、後方向予測であれば、時間的に後の参照フレームを用い、両方向予測であれば、両方向の参照フレームを用いる。

また、動きベクトル計算部１１０は、動き補償の精度を上げるために、フル画素、１／２画素、１／４画素の動き補償精度で動きベクトルを求める。

動きベクトル計算部１１０は、上記パーティションモードの組み合わせ、動き予測モード、及び動き補償精度を用いて、予測参照画像と現画像との画素差分が最小になる最適動きベクトルを算出する。なお、本実施形態の、パーティションモード、動き予測モード、及び動き補償精度のモードは、それぞれＨ．２６４／ＭＰＥＧ−４ＡＶＣ方式に準拠したものであり、本発明はこの方式に限定されるものではない。本発明は、それぞれのモードの種類が増えた場合などにも対応可能な構成となる。

動きベクトル計算部１１０は、このような機能を実現するために、更に以下に示す詳細機能部を持つ。以下、動きベクトル計算部１１０の詳細について図２を用いて説明する。図２は、動きベクトル計算部１１０の詳細構成を示す図である。

動きベクトル計算部１１０は、動き補償精度毎に、フル画素動き探索部２００、１／２画素動き探索部２０５、１／４画素動き探索部２０６を有する。動きベクトル計算部１１０は、この構成に限定されるものではなく、例えば、２倍画素動き探索部等を更に有するようにしてもよく、動き補償精度に合わせて機能部を付加するようにしてもよい。

また、動きベクトル計算部１１０は、パーティションモード毎にパーティションモード評価値演算部２０１−２０３を有する。これら各パーティションモード評価値演算部により、各パーティションモードにおける１マクロブロック当りの評価値を算出する。図２に示す構成例では、パーティションモードＡ評価値演算部２０１、パーティションモードＢ評価値演算部２０２、及びパーティションモードＣ評価値演算部２０３が示されている。なお、上記構成は例示であり、パーティションモードは図５に示すように７種類存在するため、そのモード毎に機能部を設けるようにしてもよい。図２に示すパーティションモード評価値演算部は、図３に示す各パーティションモードに対応している。図３は、本動画像符号化装置のパーティションモードの例を示す図である。

また、動きベクトル計算部１１０は、動き予測モード毎に動き予測モード演算部２０７−２０９を有する。これら各動き予測モード演算部により、それぞれ動き予測モードに応じたＳＡＤ値が求められる。図２に示す構成例では、動き予測モードＡ演算部２０７、動き予測モードＢ演算部２０８、動き予測モードＣ演算部２０９が示されている。本実施形態では、動き予測モードＡとは前方向予測モードを、動き予測モードＢとは後方向予測モードを、動き予測モードＣとは両方向予測モードを意味する。なお、上記構成は例示であり、その他の予測モードに応じて構成を変更するようにしてもよい。

〈フル画素動き探索部〉
フル画素動き探索部２００は、復号画像記憶部１０９から前方向参照フレーム及び後方向参照フレームをそれぞれ得る。フル画素動き探索部２００は、それら参照フレームを用い、フル画素の動き補償精度で動き探索を行い、各パーティションモードでの前方向予測及び後方向予測のフル画素における最適ベクトルを求める。すなわち、フル画素動き探索部２００は、図３の例で示すパーティションモードＡ、Ｂ及びＣのそれぞれについて、前方向予測における最適動きベクトル、後方向予測における最適動きベクトルのそれぞれを求める。

フル画素動き探索部２００は、求めた最適動きベクトルを各パーティションモードに対応するパーティションモード評価値演算部に渡す。例えば、フル画素動き探索部２００は、パーティションモードＡについて求めた最適動きベクトルをパーティションモードＡ評価値演算部２０１に渡す。

〈パーティションモード評価値演算部〉
パーティションモード評価値演算部２０１−２０３は、フル画素動き探索部２００から得た当該パーティションモードに対応する前方向予測における最適動きベクトルと後方向予測における最適動きベクトルとを用いて、自身のパーティションモードにおける１マクロブロック当りの評価値を求める。この評価値演算方法については、〔動作例〕項で述べる。例えば、パーティションモードＡ評価値演算部２０１は、パーティションモードＡにおける評価値を演算する。各パーティションモード評価値演算部は、求めた評価値とフル画素動き探索部２００から受けた当該パーティションモードにおける最適動きベクトルを、それぞれパーティションモード選択部２０４に渡す。

〈パーティションモード選択部〉
パーティションモード選択部２０４は、各パーティションモード評価値演算部から、それぞれ当該パーティションモード毎の１マクロブロックあたりの評価値と、当該パーティションモードにおける前方向予測及び後方向予測それぞれの最適動きベクトルを得る。パーティションモード選択部２０４は、各パーティションモード評価値演算部から得た１マクロブロック当りの評価値を比較し、評価値が一番小さいパーティションモードを選択する。パーティションモード選択部２０４は、選択されたパーティションモード、及びそれに関する最適動きベクトルを１／２画素動き探索部２０５に渡す。

〈１／２画素動き探索部〉
１／２画素動き探索部２０５は、パーティションモード選択部２０４から、選択されたパーティションモード及びその選択されたパーティションモードにおけるフル画素の前方向予測及び後方向予測それぞれの最適動きベクトルを得る。１／２画素動き探索部２０５は、選択されたパーティションモードにおいて、１／２画素における前方向予測及び後方向予測それぞれの最適動きベクトルを求める。

そして、１／２画素動き探索部２０５は、求めた１／２画素における最適動きベクトルとパーティションモード選択部２０４から得たフル画素における最適動きベクトルを比較
し、動きベクトルが小さいほうの最適動きベクトルを前方向予測及び後方向予測のそれぞれについて選択する。例えば、前方向予測モードにおいて、フル画素における最適動きベクトルと１／２画素における最適動きベクトルを比較することにより、フル画素における最適動きベクトルがより小さい場合には、フル画素における最適動きベクトルが選択される。後方向予測モードにおいても同様に、例えば、１／２画素における最適動きベクトルのほうがフル画素における最適動きベクトルよりも小さい場合には、１／２画素における最適動きベクトルが選択される。

これにより、１／２画素動き探索部２０５は、選択された最適動きベクトル及び選択されたパーティションモードを１／４画素動き探索部２０６に渡す。

〈１／４画素動き探索部〉
１／４画素動き探索部２０６は、１／２画素動き探索部２０５から、前方向予測モード及び後方向予測モードそれぞれにおける選択されたパーティションモードでの最適動きベクトル、及び選択されたパーティションに関する情報を得る。１／４画素動き探索部２０６は、選択されたパーティションモードにおいて、１／４画素における最適動きベクトルを前方向予測モード及び後方向予測モードのそれぞれにおいて求める。

そして、１／４画素動き探索部２０６は、求めた１／４画素における最適動きベクトルと１／２画素動き探索部２０５から得た最適動きベクトルを比較し、動きベクトルが小さいほうの最適動きベクトルを選択する。これにより、１／４画素動き探索部２０６は、選択された最適動きベクトル及び選択されたパーティションモードを、それぞれ動き予測モード演算部２０７−２０９に渡す。

〈動き予測モード演算部〉
動き予測モード演算部２０７−２０９は、１／４画素動き探索部２０６から、選択されたパーティションモードに関する情報と、この選択されたパーティションモードにおける前方向予測モード及び後方向予測モードそれぞれの最適動きベクトルを得る。

動き予測モード演算部は、１／４画素動き探索部２０６から得た最適動きベクトルを用いることにより、対応する動き予測モードによって、選択されたパーティションモードにおけるパーティション毎の画素差分絶対値（ＳＡＤ）を求める。例えば、動き予測モードＡ演算部２０７は、前方向予測モードにより、参照フレームと１／４画素動き探索部２０６から得た前方向予測モードの最適動きベクトルと現フレームにおける画素差分絶対値を求める。動き予測モードＢ演算部２０８は、後方向予測モードにより、参照フレームと１／４画素動き探索部２０６から得た後方向予測モードの最適動きベクトルと現フレームにおける画素差分絶対値を求める。動き予測モードＣ演算部２０９は、両方向予測モードにより、前方向及び後方向のそれぞれの参照フレームと前方向予測モード及び後方向予測モードのそれぞれの最適動きベクトルとから画素差分絶対値を求める。

各動き予測モード演算部は、それぞれ算出されたパーティション毎のＳＡＤ値を動き予測モード選択部２１０に渡す。

〈動き予測モード選択部〉
動き予測モード選択部２１０は、各動き予測モード演算部から受けたパーティション毎のＳＡＤ値からＳＡＤ値が最小となる動き予測モードを選択する。これにより、マクロブロック毎のパーティションモードと動き予測モードの組み合わせが決定されることになる。さらに、動きベクトル計算部１１０は、上記最適なパーティションモードと動き予測モードを用いて、予測参照画像と現画像との画素差分が最小になる最適動きベクトルを求めることができる。

〔動作例〕
次に、本実施形態における動画像符号化装置の動作例として、上述したパーティションモード評価値演算部２０１−２０３における評価値演算方法について、図３を用いて以下に説明する。図３は、パーティションモードの例を示す図である。

パーティションモード評価値演算部は、フル画素動き探索部２００から得た当該パーティションモードに対応する前方向予測における最適動きベクトル、後方向予測における最適動きベクトル、及び参照フレームを用いて、自身のパーティションモードにおける１マクロブロック当りの評価値を算出する。

パーティションモードＡ評価値演算部２０１における評価値演算方法について以下に説明する。パーティションモードＡは、図３に示すようにパーティションＡ−１及びＡ−２に区切られるモードである。パーティションモードＡ評価値演算部２０１は、各パーティションについて、それぞれ、前方向予測の画素差分絶対値（ｆｗ＿ｓａｄ＿Ａｎ（ｎ＝１，２，．．．））、及び後方向予測の画素差分絶対値（ｂｗ＿ｓａｄ＿Ａｎ（ｎ＝１，２，．．．））を算出する。画素差分絶対値は、前方向予測モードであれば、時間的に前方向の参照フレームの該当ブロックと、フル画素動き探索部２００から得た前方向予測における最適動きベクトルが示す現フレームのブロックとの間における画素毎の差分の絶対値和である。

パーティションモードＡ評価値演算部２０１は、パーティションＡ−１について、前方向予測の画素差分絶対値（ｆｗ＿ｓａｄ＿Ａ１）、及び後方向予測の画素差分絶対値（ｂｗ＿ｓａｄ＿Ａ１）を算出する。同様に、パーティションＡ−２について、後方向予測の画素差分絶対値（ｆｗ＿ｓａｄ＿Ａ２）、及び後方向予測の画素差分絶対値（ｂｗ＿ｓａｄ＿Ａ２）が算出される。

次に、パーティションモードＡ評価値演算部２０１は、各パーティションについてそれぞれ前方向予測と後方向予測との画素差分絶対値の小さいほうの値を当該パーティションの評価値（Ｅ＿Ａｎ＝ｍｉｎ（ｆｗ＿ｓａｄ＿Ａｎ，ｂｗ＿ｓａｄ＿Ａｎ））として求める。すなわち、パーティションモードＡ評価値演算部２０１は、パーティションＡ−１についての評価値（Ｅ＿Ａ１＝ｍｉｎ（ｆｗ＿ｓａｄ＿Ａ１，ｂｗ＿ｓａｄ＿Ａ１））と、パーティションＡ−２についての評価値（Ｅ＿Ａ２＝ｍｉｎ（ｆｗ＿ｓａｄ＿Ａ２，ｂｗ＿ｓａｄ＿Ａ２））とを求める。

最後に、パーティションモードＡ評価値演算部２０１は、上記パーティション毎の評価値を加算し、１マクロブロック当りの評価値とする（Ｅ＿Ａ＝Ｅ＿Ａ１＋Ｅ＿Ａ２）。ここで、１マクロブロック当りの評価値を求めるのに、補正値ａ（Ｅ＿Ａ＝Ｅ＿Ａ１＋Ｅ＿Ａ２＋補正値ａ）を用いるようにしてもよい。例えば、補正値は、パーティションモード毎に予め決められた所定の値を用いるようにしてもよい。この場合、例えば、図３に示すパーティションモードＡを補正値“１”とし、パーティションモードＢを補正値“２”とし、パーティションモードＣを補正値“３”などと決めるようにしてもよい。このように、補正値は、ブロック毎の形状やその形状に応じた情報の多さに基づいて決めるようにしてもよい。

同様に、パーティションモードＢ評価値演算部２０２は、パーティションＢ−１及びＢ−２のそれぞれについて、評価値（Ｅ＿Ｂ１＝ｍｉｎ（ｆｗ＿ｓａｄ＿Ｂ１，ｂｗ＿ｓａｄ＿Ｂ１））、（Ｅ＿Ｂ２＝ｍｉｎ（ｆｗ＿ｓａｄ＿Ｂ２，ｂｗ＿ｓａｄ＿Ｂ２））を求め、上記パーティション毎の評価値を加算し、１マクロブロック当りの評価値とする（Ｅ＿Ｂ＝Ｅ＿Ｂ１＋Ｅ＿Ｂ２＋補正値ｂ）。

同様に、パーティションモードＣ評価値演算部２０３は、パーティションＣ−１、Ｃ−２、Ｃ−３及びＣ−４のそれぞれについて、評価値（Ｅ＿Ｃ１＝ｍｉｎ（ｆｗ＿ｓａｄ＿Ｃ１，ｂｗ＿ｓａｄ＿Ｃ１））、（Ｅ＿Ｃ２＝ｍｉｎ（ｆｗ＿ｓａｄ＿Ｃ２，ｂｗ＿ｓａｄ＿Ｃ２））、（Ｅ＿Ｃ３＝ｍｉｎ（ｆｗ＿ｓａｄ＿Ｃ３，ｂｗ＿ｓａｄ＿Ｃ３））、（Ｅ＿Ｃ４＝ｍｉｎ（ｆｗ＿ｓａｄ＿Ｃ４，ｂｗ＿ｓａｄ＿Ｃ４））を求め、上記パーティション毎の評価値を加算し、１マクロブロック当りの評価値とする（Ｅ＿Ｃ＝Ｅ＿Ｃ１＋Ｅ＿Ｃ２＋Ｅ＿Ｃ３＋Ｅ＿Ｃ４＋補正値ｃ）。

〈実施形態の作用効果〉
本実施形態による動画像符号化装置では、予測画像生成部１０８が予測画像フレームを生成するために用いる動きベクトルが、動きベクトル計算部１１０によって求められる。動きベクトル計算部１１０では、以下に示す内部機能部の作用により動きベクトルが算出される。

まず、フル画素動き探索部２００が、フル画素の動き補償精度で各パーティションモードにおける前方向予測及び後方向予測の最適動きベクトルを算出する。

続いて、各パーティションモード評価値演算部が、フル画素動き探索部２００から渡された当該パーティションモードにおける前方向予測及び後方向予測の最適動きベクトル、及び復号画像記憶部１０９に記憶される参照フレームを用い、各パーティションモードでの１マクロブロック当りの符号化に必要な評価値を算出する。

そして、各パーティションモード評価値演算部により求められた評価値に基づいて、パーティションモード選択部２０４が最適なパーティションモードを選択する。

以降、選択されたパーティションモードにおいて、１／２画素の動き補償精度、１／４画素の動き補償精度というふうに、それぞれの画素精度での前方向予測及び後方向予測それぞれについての最適動きベクトルが求められる。このとき、１／２画素動き探索部２０５、１／４画素動き探索部２０６では、画素精度毎の最適動きベクトルのうちより最適な動きベクトルが、前方向予測及び後方向予測それぞれについて選択される。

動き予測モード演算部では、選択されたパーティションモードにおいて、それまでに求められた前方向予測、後方向予測の最適動きベクトルが用いられ、前方向予測モード、後方向予測モード、及び両方向予測モードにおける１パーティション当りのＳＡＤ値が求められる。最終的に、動き予測モード選択部２１０が、全ての動き予測モードの中で、そのＳＡＤ値が最小となる動き予測モードを選択する。

このように、本実施形態では、フル画素の動き補償精度によって、全てのパーティションモードについて、前方向予測モード及び後方向予測モードそれぞれについての最適動きベクトルを求め、さらに、そこで求められた最適動きベクトルを使って算出された評価値を利用することにより、最適なパーティションモードを決定する。以降、選択されたパーティションモードについて、それ以外の画素の動き補償精度での各動き予測モードにおける最適動きベクトルが算出され、最適となる動き予測モードが決定される。最終的には、最適なパーティションモード、動き予測モードが決定され、それらとともに各画素における動き補償精度が考慮された、最適動きベクトルが算出される。

これにより、フル画素の動き補償精度での動きベクトル探索過程で、パーティションモードを絞り込むことができ、それ以降の画素精度での動きベクトル探索を絞り込まれたパーティションモードでのみ行えばよく、動きベクトル算出処理に関する負担を大幅に軽減
することができる。

また、本実施形態では、パーティションモードを選択するために算出される評価値として、まず、各パーティションの最適動きベクトルにおける前方向予測モード、後方向予測モードの予測画像と符号化対象画像との画素差分が計算され、差分絶対値和ＳＡＤが求められる。そして、前方向予測モードのＳＡＤ値、後方向予測モードのＳＡＤ値のうち小さいほうのＳＡＤ値が、１パーティション当りの評価値とされ、これらの評価値の１マクロブロック分の和に補正値が加えられたものを１マクロブロック当りの評価値とされる。

これにより、パーティションモードを選択するのに、動き予測モードを考慮した最適化された評価値が用いられるため、処理負担を軽減したことによる符号化効率の悪化を防ぐことができる。

また、本実施形態では、上記評価値を求めるのに利用される補正値が、動きベクトルの符号化に必要なコストやパーティションモード自体の符号化に必要なコスト等からなる。全てのパーティションモードの中で、この１マクロブロック当りの評価値が最小となるパーティションモードを選択する。

[その他]
本実施形態は次の発明を開示する。各項に開示される発明は、必要に応じて可能な限り組み合わせることができる。

（付記１）
動画像データのフレームを複数のブロックに分割し、当該ブロック単位で、符号化済み参照フレームからの予測フレームと、符号化対象となる現フレームとの予測誤差信号及び動きベクトルを符号化する動画像符号化装置において、
前記ブロックを更にパーティション単位に分割するための分割形状を決定する複数のパーティションモードと、前記参照フレームを用いた動きベクトル予測方法を決定する複数の動き予測モードとの組合せを選択する選択部と、
前記選択部により選択されたパーティションモードと動き予測モードに基づいて、動きベクトルを算出する算出部とを備え、
前記選択部は、
フル画素以上の動き補償精度において、前記各パーティションモードのそれぞれについての評価値を求める評価部と、
前記評価値に基づいて、選択されるべきパーティションモードとして、前記複数のパーティションモードのうちのいずれかを決定する決定部と、
を更に備える動画像符号化装置。

（付記２）
前記評価部は、前記パーティション単位での、動きベクトルにおける、各動き予測モードの予測フレームと前記現フレームとの画素差分情報を、各動き予測モードそれぞれについて求め、求められた各動き予測モードの画素差分情報のうち、所定の条件を満たす画素差分情報を評価要素として、前記各パーティションモードのそれぞれについての評価値を求める付記１記載の動画像符号化装置。

（付記３）
前記評価部は、パーティション単位で求められた前記評価要素を前記パーティションモード単位に正規化し、その正規化された評価要素に基づいて、前記各パーティションモードのそれぞれについての評価値を求める付記２記載の動画像符号化装置。

（付記４）
前記評価部は、前記動きベクトルに関する付随情報を示す値、又は、前記パーティションモードに関する付随情報を示す値を評価要素とし、前記各パーティションモードのそれぞれについての評価値を求める付記３記載の動画像符号化装置。

（付記５）
前記選択部は、前記決定部において決定されたパーティションモードで、フル画素未満の動き補償精度における各動き予測モードの画素差分情報を求め、当該画素差分情報が所定の条件を満たす動き予測モードを選択する、
付記２乃至４のいずれかに記載の動画像符号化装置。

（付記６）
前記画素差分情報は、前記パーティション単位での画素差分絶対値の和である、
付記５記載の動画像符号化装置。

（付記７）
動画像データのフレームを複数のブロックに分割し、当該ブロック単位で、符号化済み参照フレームからの予測フレームと、符号化対象となる現フレームとの予測誤差信号及び動きベクトルを符号化する動画像符号化方法において、
前記ブロックを更にパーティション単位に分割するための分割形状を決定する複数のパーティションモードと、前記参照フレームを用いた動きベクトル予測方法を決定する複数の動き予測モードとから、フル画素以上の動き補償精度において、当該パーティション単位での、動きベクトルにおける、各動き予測モードの予測フレームと前記現フレームとの画素差分情報に基づいて、当該複数のパーティションモードのうちのいずれかを選択するパーティションモード選択ステップと、
フル画素未満の動き補償精度において、前記選択されたパーティションモードにおける各動き予測モードの動きベクトルをそれぞれ求めるステップと、
前記求められたそれぞれの動きベクトルに基づく各動き予測モードの画素差分情報が、所定の条件を満たす動き予測モードを選択するステップと、
を有する動画像符号化方法。

（付記８）
前記パーティションモード選択ステップは、
前記パーティション単位での、動きベクトルにおける各動き予測モードの予測フレームと前記現フレームとの画素差分情報を、各動き予測モードそれぞれについて求めるステップと、
求められた各動き予測モードの画素差分情報のうち所定の条件を満たす画素差分情報を、前記パーティションモード単位に正規化し、各パーティションモードのそれぞれについての評価値とするステップと、
前記評価値に基づいて、選択されるべきパーティションモードとして、前記複数のパーティションモードのうちのいずれかを決定するステップと、
を更に有する付記７記載の動画像符号化方法。

本実施形態による動画像符号化装置の構成を示す図である。 動きベクトル計算部の詳細構成例を示す図である。 本実施形態におけるパーティションモード例を示す図である。 動画像符号化方式を示す図である。 動画像符号化方式におけるパーティションモードを示す図である。 動画像符号化方式におけるパーティション選択例を示す図である。

符号の説明

１００ 動画像符号化装置
１０１ 予測誤差信号生成部
１０２ 直交変換部
１０３ 量子化部
１０４ エントロピー符号化部
１０５ 逆量子化部
１０６ 逆直交変換部
１０７ 復号画像生成部
１０８ 予測画像生成部
１０９ 復号画像記憶部
１１０ 動きベクトル計算部
２００ フル画素動き探索部
２０１ パーティションモードＡ評価値演算部
２０２ パーティションモードＢ評価値演算部
２０３ パーティションモードＣ評価値演算部
２０４ パーティションモード選択部
２０５ １／２画素動き探索部
２０６ １／４画素動き探索部
２０７ 動き予測モードＡ演算部
２０８ 動き予測モードＢ演算部
２０９ 動き予測モードＣ演算部
２１０ 動き予測モード選択部

Claims (5)

1. 動画像データのフレームを複数のブロックに分割し、当該ブロック単位で、符号化済み参照フレームからの予測フレームと、符号化対象となる現フレームとの予測誤差信号及び動きベクトルを符号化する動画像符号化装置において、
   前記ブロックを更にパーティション単位に分割するための分割形状を決定する複数のパーティションモードと、前記参照フレームを用いた動きベクトル予測方法を決定する複数の動き予測モードとの組合せを選択する選択部と、
   前記選択部により選択されたパーティションモードと動き予測モードに基づいて、動きベクトルを算出する算出部とを備え、
   前記選択部は、
   フル画素以上の動き補償精度において、前記各パーティションモードのそれぞれについての評価値を求める評価部と、
   前記評価値に基づいて、選択されるべきパーティションモードとして、前記複数のパーティションモードのうちのいずれかを決定する決定部と、
   を更に備える動画像符号化装置。
2. 前記評価部は、前記パーティション単位での、動きベクトルにおける、各動き予測モードの予測フレームと前記現フレームとの画素差分情報を、各動き予測モードそれぞれについて求め、求められた各動き予測モードの画素差分情報のうち、所定の条件を満たす画素差分情報を評価要素として、前記各パーティションモードのそれぞれについての評価値を求める請求項１記載の動画像符号化装置。
3. 前記評価部は、パーティション単位で求められた前記評価要素を更に前記パーティションモード単位に正規化し、その正規化された評価要素に基づいて、前記各パーティションモードのそれぞれについての評価値を求める請求項２記載の動画像符号化装置。
4. 前記選択部は、前記決定部において決定されたパーティションモードで、フル画素未満の動き補償精度における各動き予測モードの画素差分情報を求め、当該画素差分情報が所定の条件を満たす動き予測モードを選択する、
   請求項２又は３記載の動画像符号化装置。
5. 動画像データのフレームを複数のブロックに分割し、当該ブロック単位で、符号化済み参照フレームからの予測フレームと、符号化対象となる現フレームとの予測誤差信号及び動きベクトルを符号化する動画像符号化方法において、
   前記ブロックを更にパーティション単位に分割するための分割形状を決定する複数のパーティションモードと、前記参照フレームを用いた動きベクトル予測方法を決定する複数の動き予測モードとから、フル画素以上の動き補償精度において、当該パーティション単位での、動きベクトルにおける、各動き予測モードの予測フレームと前記現フレームとの画素差分情報に基づいて、当該複数のパーティションモードのうちのいずれかを選択するパーティションモード選択ステップと、
   フル画素未満の動き補償精度において、前記選択されたパーティションモードにおける各動き予測モードの動きベクトルをそれぞれ求めるステップと、
   前記求められたそれぞれの動きベクトルに基づく各動き予測モードの画素差分情報が、所定の条件を満たす動き予測モードを選択するステップと、
   を有する動画像符号化方法。

Images