JP2006115487A - アドバンスドビデオ符号化の演算の複雑度を低減する空間領域情報の前処理 - Google Patents

Abstract

【課題】 アドバンスドビデオ符号化の規格に基づくインタコーディングのためのプリセグメント化方法及びイントラ符号化のためのモードプリセレクション方法を提供する。
【解決手段】 プリセグメント化方法は、アドバンスドビデオ符号化の規格に基づく後続するインター符号化処理において必要な比較の時間を短縮させるためにマクロブロックを予めセグメント化する。プリセレクション方法は、アドバンスドビデオ符号化の規格に基づく後続するイントラ符号化における演算の複雑度を低減するために、全ての可能なモードからモードを予め選択する。
【選択図】 図２

Description

本発明は、アドバンスドビデオ符号化の規格に基づくインター符号化のためのプリセグメント化方法及びイントラ符号化のためのモードプリセレクション方法に関する。詳しくは、本発明は、アドバンスドビデオ符号化の規格に基づく後続するインター符号化処理において必要な比較の時間を短縮させるためにマクロブロックを予備的にセグメント化するプリセグメント化方法及びアドバンスドビデオ符号化の規格に基づく後続するイントラ符号化における演算の複雑度を低減するために、全ての可能なモードからモードを予備的に選択するプリセレクション方法に関する。

これらの前処理により、アドバンスドビデオ符号化において、画質を維持しながら、圧縮の複雑度を低減することもできる。

近年、マルチメディア及びネットワークの技術分野のトレンドとして、高品質のビデオ情報を高速に送受信するシステムの研究に注目が集まっている。このトレンドの下で、視覚的情報の符号化の仕様が規定されている。「モーションピクチャエキスパートグループ（Moving picture expert group：以下、ＭＰＥＧという。）」は、ビデオアプリケーションのためのＭＰＥＧ−２規格を定めている。ＭＰＥＧ−２規格は、例えば、ＤＶＤに適用されている。１９９３年及び１９９９年には、「ＭＰＥＧ−４ビジュアル」又はＩＳＯ／ＩＥＤ標準１４４９６パート２とも呼ばれるＭＰＥＧ−４規格が公開された。ＭＰＥＧ−４は、オーディオ符号化と、システム問題と、関連するオーディオ／ビデオ通信とを標準化する規格である。２０００年には、「ビデオ符号化エキスパートグループ（Video coding expert group：ＶＣＥＧ）」から、所謂「Ｈ．２６４」の仕様書が発表され、「Ｈ．２６４」の最終版は、２００３年に、ジョイントビデオチーム（Joint Video Team：ＪＶＴ）から発行されている。Ｈ．２６４は、ＭＰＥＧの委員会によって、ＭＰＥＧの一部となり、ＭＰＥＧ４パート１０又は「アドバンスドビデオ符号化（Advanced Video Coding：ＡＶＣ）」とも呼ばれている。

一般に「ＭＰＥＧ４ビジュアル（すなわち、ＩＳＯ／ＩＥＤ規格１４４９６パート２）」は、「アドバンスドビデオ符号化（すなわち、ＭＰＥＧ４パート１０）」に関連している。但し、これらの２つの規格の間には、根本的な相違がある。これらは、いずれも、視覚的情報の圧縮法に関連する。但し、「ＭＰＥＧ４ビジュアル」は、長方形のフレーム、ビジュアルオブジェクト（ランダムな形状のビジュアルフレーム）及び合成ビジュアル情報の処理を含む柔軟な符号化技術及びリソースを採用している。一方、「アドバンスドビデオ符号化」では、例えば、データ圧縮の高い効率性、ビジュアルフレームの圧縮効率、ネットワーク又はビジュアルチャンネルにおける、より信頼度が高くロバストな伝送、及び視覚的情報圧縮の適用を重視する。「ＭＰＥＧ−４ビジュアル」と「アドバンスドビデオ符号化」との間の違いについては、例えば、ワイリー社（Wiley Co.）から発行されている、イアン・イー・ジー・リチャードソン（Iain E.G.Richardson）著、ＩＳＢＮ：０−４７０−８４８３７−５、「Ｈ．２６４及びＭＰＥＧ−４ビデオ圧縮（H.264 and MPEG-4 Video Compression）」に開示されている。

なお、「アドバンスドビデオ符号化」画質は、高く評価されているが、「アドバンスドビデオ符号化」の計算の複雑度は、ＭＰＥＧ−２／ＭＰＥＧ−４ビジュアルの２００％である。

「アドバンスドビデオ符号化」は、基本的に、「インター符号化処理（inter-coding process）」と、「イントラ符号化処理（intra-coding process）」とを含む。「アドバンスドビデオ符号化」規格に基づき、インター符号化処理の基本的な構成を以下に説明する。

フレームは、プログレッシブ又はインタレース的にユーザに表示される。具体例として、解像度６４０×４８０のフレームは、図１ａに示すように、各行に６４０個の画素、各列に４８０個の画素を有する。ビジュアル圧縮仕様では、フレームは、複数のマクロブロックに分割される。各マクロブロックのサイズは、１６×１６（１６画素×１６画素）である。したがって、図１ａに示すように、解像度６４０×４８０のフレームは、合計で１２００個のマクロブロックに分割され、各行に４０個のマクロブロックが存在し、各列に３０個のマクロブロックが存在する。各マクロブロック（１６×１６）は、図１ｂに示すように、１６×８、８×１６、８×８、８×４、４×８、４×４のサイズのブロックに分割することができる。「アドバンスドビデオ符号化」では、この分割を「セグメント化」と呼ぶ。通常、１６×１６のサイズに分割されたブロックは、マクロブロックと呼ばれ、８×８のサイズのブロックは、中間の正方形ブロックと呼ばれ、４×４のサイズのブロックは、小さい正方形ブロックと呼ばれる。アドバンスドビジュアル符号化では、マクロブロックの単位でビジュアル圧縮符号化を行う。ビジュアル圧縮符号化では、インター符号化処理及びイントラ符号化処理を実行し、各マクロブロックをどのように分割するかを決定する。インター符号化処理は、「動きベクトル推定」、「動的ベクトル補償」、「ビットレート／歪み最適化」のサブプロセスを含む。動的ベクトル補償は、できるだけ少ないビット数でマクロブロックを表現するように設計される。例えば、例えば、フレーム（ｉ）であるオブジェクトフレームに示すマクロブロック（ｘ，ｙ）が、例えば、フレーム（ｉ−ｎ）である前フレームに示すマクロブロックの１つ（ｘ−μｘ，ｙ−μｙ）によって表現される場合、ベクトル（μｘ，μｙ）が動きベクトルの符号化に必要な唯一の情報であり、これにより、より少ないビット数で符号化を行うことができる。単一の１６×１６マクロブロックをサブブロックに分割する手法は、２５９通りある。図１ｃ及び図１ｄは、分割されたブロックの２つの具体例を示している。８×８の中間の正方形ブロックについては、図１ｅに示すように、上から下に、１つの８×８の中間の正方形ブロック、２つの８×４のブロック、２つの４×８のブロック、４つの４×４の小さい正方形のブロックといった、４通りの可能なセグメント化法がある。各分割されたサブブロックは、最適な「絶対誤差の総和（Sum of Absolute Errors：ＳＡＥ）」及び「ビットレート」を検出するために、先のフレームにある同じサイズを有する全てのブロックを比較する必要がある。ビットレートは、分割されたブロックを表現するために何ビットが必要であるかを表す。図１ｆは、ビットレート及び最適な「絶対誤差の総和」の関係の具体例を曲線により示している。設計者は、自らの意志で、図１ｆに示すように、重み付け１次関数Ｊ＝ｆ（Ｒ）を選択した後、曲線の交差点及び曲線に基づき、Ｒ（ビットレート）及びＤ（ＳＡＥ値）を如何なる値とするのが最適であるかを判断する。このようにして、最適のＲ及びＤを有する分割されたブロックが、最良の分割されたブロックとして選択される。例えば、図１ｅに示すように、第１のセグメント化法は、８×８のブロックとして、ｍｖ（μｘ１，μｙ１）及びＳＡＥ１を提供し、第２のセグメント化法は、８×４の分割されたブロックとして、ｍｖ（μｘ２１，μｙ２１）及びＳＡＥ２１並びにｍｖ（μｘ２２，μｙ２２）及びＳＡＥ２２を提供し、第３のセグメント化法は、４×８のサブブロックとして、ｍｖ（μｘ３１，μｙ３１）及びＳＡＥ３１並びにｍｖ（μｘ３２，μｙ３２）及びＳＡＥ３２を提供し、第４のセグメント化法は、４×４のサブブロックとして、ｍｖ（μｘ４１，μｙ４１）及びＳＡＥ４１、ｍｖ（μｘ４２，μｙ４２）及びＳＡＥ４２、ｍｖ（μｘ４３，μｙ４３）及びＳＡＥ４３並びにｍｖ（μｘ４４，μｙ４４）及びＳＡＥ４４を提供する。ここで、各動きベクトルが２バイトを必要とすると仮定すると、第１のセグメント化は、ＳＡＥ１＝１００、ビットレート＝２となり、第２のセグメント化は、ＳＡＥ２１＋ＳＡＥ２２＝７５、ビットレート＝４となり、第３のセグメント化は、ＳＡＥ３１＋ＳＡＥ３２＝６５、ビットレート＝４となり、第４のセグメント化は、ＳＡＥ４１＋ＳＡＥ４２＋ＳＡＥ４３＋ＳＡＥ４４＝３０、ビットレート＝８となる。これらの値の結果は、図１ｆに表現されている。設計者は、自らの経験又は意志によって関数Ｊ＝Ｆ（Ｒ）を選択する。このグラフの交点から、２つの４×８のブロックに分割するセグメント化が最良のセグメント化であることが判定され、これにより、８×８ブロックは、２つの４×８サブブロックに分割される。

上述したインター符号化処理の演算は、複雑である。例えば、図１ｅに示す１つの８×８ブロックに分割する第１のセグメント化では、前フレームの全ての８×８に分割されたブロックと比較することによって値ｍｖ（μｘ１，μｙ１）及びＳＡＥ１が得られる。ここで、前フレーム内の全ての８×８に分割されたブロックとの比較には相当な時間が必要である。したがって、ブロックを予備的にセグメント化することができれば、比較に要する時間は、大幅に削減される。本発明は、アドバンスドビデオ符号化の規格に準拠するインター符号化処理における比較の時間を削減するためのプリセグメント化法を提供する。

次に、アドバンスドビジュアル符号化におけるイントラ符号化法について説明する。

イントラ符号化法では、ターゲットブロックに隣接する行及び列に基づき、ターゲットブロックの画素を予測する。マクロブロック（１６×１６）に対しては、図１ｇ及び図１ｈに示すように、４つの予測モード、すなわち、モード０、モード１、モード２及びモード４がある。小さい正方形ブロック（４×４）については、図１ｉ及び図１ｊに示すように、９個の予測モードがある。これらの可能なモードが実行された後にこの結果から、最適な「絶対誤差の総和」を有するモードが選択される。

本発明の目的は、演算を大幅に速めるために、幾つかのモードを予備的に選択することである。

本発明は、ビジュアル情報処理における演算速度を高めるための、アドバンスドビデオ符号化の前処理を提供する。

本発明は、インター符号化のためのプリセグメント化法及びイントラ符号化のためのモードプリセレクション法を含むアドバンスドビデオ符号化の前処理に関連する。詳しくは、本発明は、マクロブロックを予めセグメント化し、アドバンスドビデオ符号化の規格に基づく後続するインター符号化処理で必要となる比較の時間を短縮するプリセグメント化方法を提供し、及びアドバンスドビデオ符号化の規格に基づく後続するイントラ符号化における演算の複雑度を低減するために全ての可能なモードからモードを前選択するモードプリセレクション方法を提供する。

アドバンスドビデオ符号化におけるインター符号化では、同じサイズに分割されたブロックを前フレームにおけるターゲットブロックとして比較する処理は、著しく時間が掛かる処理であった。本発明は、インター符号化の前に実行され、アドバンスドビデオ符号化の規格に基づくインター符号化処理で必要な比較の時間を短縮するプリセグメント化方法を提供する。

更に、本発明の前処理は、イントラ符号化における不要なモードを排除し、これにより、イントラ符号化の演算速度を速めることができる。

以下の説明では、本発明を明瞭にするための詳細事項を開示するが、これは、本発明の範囲を制限するものではない。後述する幾つかの詳細事項を省略しても、本発明を実施できることは、当業者にとって明らかである。以下では、図面を参照して、本発明の実施形態を説明する。本発明は、この実施形態には限定されない。実施形態の修正は、本発明の精神に基づき、本発明の範囲内で様々に変更することができる。

以下、本発明に基づくプリセグメント化法の実施形態について説明する。

本発明に基づくプリセグメント化処理のフローチャートを図２に示す。ステップ１では、ＹＵＶ４：２：０のサンプルであるマクロブロック（１６×１６）が、ＣＣＩＲ６０１規格に準拠するターゲットマクロブロックとして入力される。マクロブロック（１６×１６）は、４つの８×８中間の正方形ブロックに分割され、更に、各８×８の中間の正方形ブロックは、４×４の小さい正方形ブロックに分割される。１つ８×８の中間の正方形の範囲内の４つの４×４の小さい正方形ブロックは、平均サブプロセス及び分散サブプロセス（ステップ２）及び類似性検査プロセス（ステップ３）を含む小さい正方形ブロックの類似性検査によって、より大きいブロックに併合されるか否かが判定される。以下の式１は、平均サブプロセスを示し、式２は、分散サブプロセスを示す。

Ｎは、サンプリング数を表している。

図３及び図４に示すように、類似性検査プロセス（ステップ３）では、隣接する４×４のブロックのＭ及びＶａｒを相互に比較する。

ここで、ｍ１、ｍ２は、それぞれ各隣接するブロックのためのＭ値である。ε１は、設計者によって決められた所定の値である。

ε２は、設計者によって決められた所定の値である。

ここで、ステップ２及びステップ３において、４つの中間の正方形ブロック（８×８）が生じたと判定された場合（ステップ４における判定）、すなわち４つの８×８中間の正方形ブロックに１６個の４×４の小さい正方形ブロックが現れた場合及びこの場合に限り、ステップ４、ステップ５及びステップ６の処理が必要となる。これ以外の場合、更なる併合は不要である。１つの１６×１６のマクロ正方形の範囲内の４つの８×８の中間の正方形ブロックを併合するか否かは、中間の正方形ブロックに対して、上述した式１〜４と同様の式に基づき、平均サブプロセス及び分散サブプロセス（ステップ５）及び類似性検査プロセス（ステップ６）を含む類似性検査を実行することによって判定される。この処理は、図４ａ、図４ｂ、図５ａ及び図５ｂに詳細に示している。図４ａ及び図４ｂは、図２のステップ２及びステップ３を表している。図４ａに示すように、各中間の正方形ブロック（８×８）は、記号Ｉ、ＩＩ、ＩＩＩ及びＩＶによって示される４つの部分に分割される。この可能な状況を図４ｂに示す。図５ａ及び図５ｂは、図２のステップ５及びステップ６を表している。図５ａに示すように、各マクロブロック（１６×１６）は、記号Ｉ、ＩＩ、ＩＩＩ及びＩＶによって示される４つの部分に分割される。この可能な状況を図５ｂに示す。

本発明に基づくプリセグメント化は、上述した通りである。

以下、本発明に基づくプリセレクション法について説明する。

アドバンスドビデオ符号化のイントラ符号化法は、図１ｉに示すように、４×４の小さい正方形ブロックのための９個のモードから、ベストモードを選択し、及び図１ｇに示すように、１６×１６のマクロブロックのための４個のモードからベストモードを選択する。本発明に基づくプリセレクション法では、４×４の小さい正方形ブロックのための９個の可能なモードから及び１６×１６のマクロブロックのための４個の可能なモードから不要なモードを予め除外する。

本発明に基づくマクロブロックのためのイントラ符号化のプリセレクション法は、以下の通りである。

図６に示すように、マクロブロックＡ（１６×１６）内からは、参照符号１〜７として示す７つの小さい正方形ブロック（４×４）が抽出される。４つの小さい正方形ブロック（４×４）１〜４は、類似性検査によって、マクロブロックＡに隣接するマクロブロック（１６×１６）であるＡ_ｌｅｆｔの各小さい正方形ブロック（４×４）ｅ、ｆ、ｇ、ｈと比較される。同様に、４つの小さい正方形ブロック（４×４）１、５、６、７は、類似性検査によって、マクロブロックＡに隣接しているマクロブロック（１６×１６）であるＡ_{ｕｐｐｅｒ}の各小さい正方形ブロック（４×４）ａ、ｂ、ｃ、ｄと比較される。類似性検査の結果が所定の値内である場合、重みＷ_ｉは、１に設定される。この他の場合、重みＷ_ｉは、０に設定される。行内のＷ_ｉの総和Ｗ_Ｈは、以下のように表される。

ここで、ｉ＝１，５，６，７である。
列内のＷ_ｉの総和Ｗ_Ｖは、以下のように表される。

ここで、ｉ＝１，２，３，４である。

Ｗ_Ｈ＝Ｗ_Ｖの場合、行方向及び列方向で線形予測を実行するモード４が選択される。

Ｗ_Ｈ＞Ｗ_Ｖの場合、上から下の方向に線形予測を実行するモード０が選択される。

Ｗ_Ｈ＜Ｗ_Ｖの場合、左から右の方向に線形予測を実行するモード１が選択される。

なお、マクロブロックのイントラ符号化のためのデフォルトモードは、モード２である。単にモード０、１、４のＳＡＥ値がモード２のＳＡＥ値より小さい場合のみ、Ｗ_ＨとＷ_Ｖの比較を実行する。

次に、小さい正方形ブロックのためのイントラ符号化のプリセレクション法について説明する。

図７に示すように、１６個の小さい正方形ブロックに分割されたマクロブロックにおいて、ブロック１、２、３、４、５、９、１３は、境界の小さい正方形ブロックと呼ばれ、他の小さい正方形ブロック６、７、８、１０、１１、１２、１４、１５、１６は、非境界の小さい正方形ブロックと呼ばれる。境界の小さい正方形ブロックについては、９つのモードの全ての予測処理が実行される。隣接しないブロックについては、以下のような処理を実行する。

例えば、ブロック６及びブロック５等、ターゲットブロックとその左のブロックとの間の類似差分が所定の値以下である場合、重みＷ_ｌｅｆｔは、１に設定される。同様に、例えば、ブロック６及びブロック２等、ターゲットブロックとその上のブロックとの間の類似差分が所定の値以下である場合、重みＷ_ｔｏｐは、１に設定され、これ以外の場合、０に設定される。条件は、以下の通りである。

デフォルト又はＷ_ｔｏｐ＝Ｗ_ｌｅｆｔ＝０の場合、モード２（平均（ＤＣ）モード）を実行する。

Ｗ_ｔｏｐ＝１、Ｗ_ｌｅｆｔ＝０である場合、モード０、３、７から、ＳＡＥ値が最小のベストモードを実行する。

Ｗ_ｔｏｐ＝０、Ｗ_ｌｅｆｔ＝１である場合、モード１、８からＳＡＥ値が最小のベストモードを実行する。

Ｗ_ｔｏｐ＝Ｗ_ｌｅｆｔ＝１である場合、モード４、５、６からＳＡＥ値が最小のベストモードを実行する。

換言すれば、非境界の小さい正方形ブロックと、上のブロック及び左のブロックとが類似しない場合、モード２を実行する。非境界の小さい正方形ブロックが上のブロックに類似し、及び左のブロックに類似しない場合、モード１、８からＳＡＥ値が最小のベストモードを実行する。非境界のブロックが上のブロックに類似せず、左のブロックに類似する場合、モード４、５、６からＳＡＥ値が最小のベストモードを実行する。

なお、この類似性検査は、上に示した式１及び式２に限定されない。例えば、２つの乱数を検査する際に用いられる如何なる検査法を用いても良い。

図８は、本発明に基づくプリセグメント化を示している。左側の黒い部分は、類似性のために、１６×１６マクロブロックとして分割されている。図９は、ビットレート及び歪みを最適化した後の最終的な結果を示している。図９の灰色の領域は、イントラ符号化によって処理された部分を示している。

表１は、境界併合法及び非境界併合法におけるターゲットブロックの「ピークＳＮ比」に関する実験データを示している。入力信号は、３０フレーム／秒のレートで処理され、ＩＢＰＢＰ・・・によって符号化された、解像度が７２０×４８０のビデオクオリティエキスパートグループ（Video Quality Experts Group：ＶＱＥＧ）データである。更に、正確にシミュレーションを制御するために、ＴＭ５フローレート制御アルゴリズムを適用した。この実験データから本発明によっては、画質が劣化していないことがわかる。換言すれば、本発明に基づく処理を行っても、画質は、維持される。

動的セグメントの判定、動きベクトルの推定探索及びイントラ符号化の予備的なモード選択法に基づく処理時間の比較を表２に示す。「動的セグメントの判定」の列は、ビットレート／歪みの最適化処理後の処理時間の短縮の割合を示している。「動きベクトルの推定探索」の列は、全てのモードを実行する必要がなくなったための処理時間の短縮の割合を示している。「４×４ブロックのモード選択法」の列は、類似性検査を実行した後の処理時間の短縮の割合を示している。

既知のアドバンスドビデオ符号化を説明する図である。 既知のアドバンスドビデオ符号化を説明する図である。 既知のアドバンスドビデオ符号化を説明する図である。 既知のアドバンスドビデオ符号化を説明する図である。 既知のアドバンスドビデオ符号化を説明する図である。 既知のアドバンスドビデオ符号化を説明する図である。 既知のアドバンスドビデオ符号化を説明する図である。 既知のアドバンスドビデオ符号化を説明する図である。 既知のアドバンスドビデオ符号化を説明する図である。 既知のアドバンスドビデオ符号化を説明する図である。 本発明に基づくプリセグメント化処理のフローチャートである。 本発明に基づく類似性検査を説明する図である。 本発明に基づくプリセグメント化法を説明する図である。 本発明に基づくプリセグメント化法を説明する図である。 本発明に基づくプリセグメント化法を説明する図である。 本発明に基づくプリセグメント化法を説明する図である。 本発明に基づくマクロブロック（１６×１６）のイントラ符号化を説明する図である。 本発明に基づく小さい正方形ブロック（４×４）のイントラ符号化を説明する図である。 本発明に基づくプリセグメント化を説明する図である。 ビットレート／歪み最適化処理後の最終的な画面を示す図である。

Claims (18)

1. 各マクロブロックが４つの８×８画素の中間の正方形ブロックを含み、該各８×８の中間の正方形ブロックが４つの４×４画素の小さい正方形ブロックを含むアドバンスドビデオ符号化におけるマクロブロックのプリセグメント化方法において、
   小さい正方形ブロックの類似性を検査し、隣接する小さい正方形ブロックを併合するか否かを判定する小さい正方形ブロックの類似性検査ステップと、
   上記小さい正方形ブロックの類似性検査ステップにおいて、４つの中間の正方形ブロックが得られた場合のみ、上記中間の正方形ブロックの類似性を検査し、隣接する中間の正方形ブロックを併合するか否かを判定する中間の正方形ブロックの類似性検査ステップと、
   上記検査の結果に基づき、上記セグメント化されたマクロブロックを符号化する符号化ステップとを有するプリセグメント化方法。
2. 上記小さい正方形ブロックの類似性検査ステップは、上記小さい正方形ブロックのそれぞれの平均及び分散を算出し、上記隣接する小さい正方形ブロックの間の類似性を判定することを特徴とする請求項１記載のプリセグメント化方法。
3. 上記中間の正方形ブロックの類似性検査ステップは、上記中間の正方形ブロックのそれぞれの平均及び分散を算出し、上記隣接する中間の正方形ブロックの間の類似性を判定することを特徴とする請求項１又は２記載のプリセグメント化方法。
4. 上記小さい正方形ブロックの平均は、明度の平均を表すことを特徴とする請求項２記載のプリセグメント化方法。
5. 上記小さい正方形ブロックの平均は、明度及び色度の平均を表すことを特徴とする請求項２記載のプリセグメント化方法。
6. 上記中間の正方形ブロックの平均は、明度の平均を表すことを特徴とする請求項３記載のプリセグメント化方法。
7. 上記中間の正方形ブロックの平均は、明度及び色度の平均を表すことを特徴とする請求項２記載のプリセグメント化方法。
8. 上記分散（Ｖａｒ）は、上記小さい正方形ブロック内の各画素の明度をＸ_ｉとし、上記小さい正方形ブロック内の各画素の平均をＭとして、以下の式によって表されることを特徴とする請求項２記載のプリセグメント化方法。
   

   
9. 上記分散（Ｖａｒ）は、上記中間の正方形ブロック内の各画素の明度をＸ_ｉとし、上記中間の正方形ブロック内の各画素の平均をＭとして、以下の式によって表されることを特徴とする請求項３記載のプリセグメント化方法。
   

   
10. 上記小さい正方形ブロックの類似性検査ステップは、上記中間の正方形ブロックの範囲で、該中間の正方形ブロックの各行及び各列を考慮して類似性を判定することを特徴とする請求項２記載のプリセグメント化方法。
11. （１）第１の行、第２の行、第１の列、第２の列に類似性が検出されない場合、４つの小さい正方形ブロック（４×４画素）を生成し、
    （２）第２の行のみに類似性が検出された場合、上に２つの小さい正方形ブロック（４×４画素）と、下に１つの４×８画素ブロックとを生成し、
    （３）第１の行のみに類似性が検出された場合、下に２つの小さい正方形ブロック（４×４画素）と、上に１つの４×８画素ブロックとを生成し、
    （４）第１の行及び第２の行のみに類似性が検出された場合、２つの４×８画素ブロックを生成し、
    （５）第２の列のみに類似性が検出された場合、左に２つの小さい正方形ブロック（４×４画素）と、右に１つの８×４画素ブロックとを生成し、
    （６）第１の列のみに類似性が検出された場合、右に２つの小さい正方形ブロック（４×４画素）と、左に１つの８×４画素ブロックとを生成し、
    （７）第１の列及び第２の列のみに類似性が検出された場合、２つの８×４画素ブロックを生成し、
    （８）第１の行、第２の行、第１の列、第２の列の全てに類似性が検出された場合、１つの中間の正方形ブロックを生成することを特徴とする請求項１０記載のプリセグメント化方法。
12. 上記中間の正方形ブロックの類似性検査ステップは、マクロブロックの範囲で、マクロブロックの各行及び各列を考慮して類似性を判定することを特徴とする請求項３記載のプリセグメント化方法。
13. （１）第１の行、第２の行、第１の列、第２の列に類似性が検出されない場合、４つの中間の正方形ブロック（８×８画素）を生成し、
    （２）第２の行のみに類似性が検出された場合、上に２つの中間の正方形ブロック（８×８画素）と、下に１つの８×１６画素ブロックとを生成し、
    （３）第１の行のみに類似性が検出された場合、下に２つの中間の正方形ブロック（８×８画素）と、上に１つの８×１６画素のブロックとを生成し、
    （４）第１の行及び第２の行のみに類似性が検出された場合、２つの８×１６画素ブロックを生成し、
    （５）第２の列のみに類似性が検出された場合、左に２つの左の２つの中間の正方形ブロック（８×８画素）と、右に１つの１６×８画素ブロックとを生成し、
    （６）第１の列のみに類似性が検出された場合、右に２つの中間の正方形ブロック（８×８画素）と、左に１つの１６×８画素ブロックとを生成し、
    （７）第１の列及び第２の列のみに類似性が検出された場合、２つの１６×８画素ブロックを生成し、
    （８）第１の行、第２の行、第１の列、第２の列の全てに類似性が検出された場合、１つのマクロブロックを生成することを特徴とする請求項１２記載のプリセグメント化方法。
14. 各マクロブロックが、４つの中間の正方形ブロックを含み、各中間の正方形ブロックが、左上、右上、左下、右下の順に第１のターゲットブロック、第２のターゲットブロック、第３のターゲットブロック、第４のターゲットブロックと名付けられた４つの小さい正方形ブロックを含む、アドバンスドビデオ符号化におけるマクロブロックのプリセグメント化方法において、
    第１の値として画素の明度の平均を算出し、第２の値として画素の明度の分散を算出するステップと、
    各中間の正方形ブロックの範囲内で隣接する小さい正方形ブロックの間の類似性を比較する類似性検査を実行し、隣接する小さい正方形ブロックの間の第１の値の差分が第１の所定の値より小さく、隣接する小さい正方形ブロックの間の第２の値の差分が第２の所定の値より小さい場合、併合を実行し、これ以外の場合、併合を実行しない第１の併合ステップと、
    上記第１の併合ステップにおいて、４つの中間の正方形ブロックが生成された場合にのみ、各マクロブロックの範囲内で隣接する中間の正方形ブロックの間の類似性を比較する類似性検査を実行する第２の併合ステップと、
    上記生成した各ブロックを符号化するステップとを有するプリセグメント化方法。
15. アドバンスドビデオ符号化におけるマクロブロックのイントラ符号化のモードプリセレクション方法において、
    上記マクロブロックの最も上の行及び最も左の列内の小さい正方形ブロック及び隣接する２つのマクロブロック内のこれらに隣接する小さい正方形ブロックを選択するステップと、
    上記マクロブロックの最も上の行の各正方形ブロックを隣接するマクロブロック内のそれらに隣接する小さい正方形ブロックと比較して得られた類似性を示す値を累積して行の類似値を算出し、上記マクロブロックの最も左の行の各正方形ブロックを隣接するマクロブロック内のそれらに隣接する小さい正方形ブロックと比較して得られた類似性を示す値を累積して列の類似値を算出するステップとを有し、
    上記行の類似値が上記列の類似値と等しい場合、イントラ符号化で実行されるモードとして、モード４を選択し、
    上記行の類似値が上記列の類似値より大きい場合、イントラ符号化で実行されるモードとして、モード０を選択し、
    上記行の類似値が上記列の類似値以下である場合、イントラ符号化で実行されるモードとして、モード１を選択することを特徴とするモードプリセレクション方法。
16. アドバンスドビデオ符号化におけるマクロブロックのイントラ符号化のモードプリセレクション方法において、
    上記マクロブロックの最も上の行及び最も左の列内の小さい正方形ブロックと、隣接する２つのマクロブロックにおいてこれらに隣接する小さい正方形ブロックとを選択するステップと、
    上記マクロブロックの最も上の行の各正方形ブロックを隣接するマクロブロック内のそれらに隣接する小さい正方形ブロックと比較して得られた類似性を示す値を累積して行の類似値を算出し、上記マクロブロックの最も左の行の各正方形ブロックを隣接するマクロブロック内のそれらに隣接する小さい正方形ブロックと比較して得られた類似性を示す値を累積して列の類似値を算出するステップとを有し、
    上記類似性は、平均及び分散に基づいて算出され、
    上記行の類似値が上記列の類似値と等しい場合、イントラ符号化で実行されるモードとして、モード４を選択し、
    上記行の類似値が上記列の類似値より大きい場合、イントラ符号化で実行されるモードとして、モード０を選択し、
    上記行の類似値が上記列の類似値以下である場合、イントラ符号化で実行されるモードとして、モード１を選択することを特徴とするモードプリセレクション方法。
17. アドバンスドビデオ符号化における小さい正方形ブロックのイントラ符号化のモードプリセレクション方法において、
    マクロブロック内の最も上の行及び最も左の列の小さい正方形ブロックを境界ブロックとして選択し、マクロブロック内のこの他のブロックを非境界ブロックとして選択するステップと、
    上記境界ブロックに対して、９つのモードを実行し、最小のＳＡＥ値を有する最良の境界ブロックを選択するステップと、
    非境界ブロックの類似性を検査するために、小さい正方形ブロックとその上の小さい正方形ブロックの間で類似性検査を実行し、列の類似性を判定し、小さい正方形ブロックとその左の小さい正方形ブロックの間で類似性検査を実行し、行の類似性を判定するステップとを有し、
    列の類似性も行の類似性も検出されない場合、アドバンスドビデオ符号化におけるイントラ符号化を実行するためのモードとして、モード２を選択し、
    列の類似性が検出され、行の類似性が検出されない場合、アドバンスドビデオ符号化におけるイントラ符号化を実行するためのモードとして、モード０、３、７を選択し、
    列の類似性が検出されず、行の類似性が検出された場合、アドバンスドビデオ符号化におけるイントラ符号化を実行するためのモードとして、モード１、８を選択し、
    列及び類似性も行の類似性も検出された場合、アドバンスドビデオ符号化におけるイントラ符号化を実行するためのモードとして、モード４、５、６を選択することを特徴とするモードプリセレクション方法。
18. アドバンスドビデオ符号化における小さい正方形ブロックのイントラ符号化のモードプリセレクション方法において、
    マクロブロック内の最も上の行及び最も左の列の小さい正方形ブロックを境界ブロックとして選択し、マクロブロック内のこの他のブロックを非境界ブロックとして選択するステップと、
    上記境界ブロックに対して、９つのモードを実行し、最小のＳＡＥ値を有する最良の境界ブロックを選択するステップと、
    平均及び分散に基づいて、非境界ブロックの類似性を検査するために、小さい正方形ブロックとその上の小さい正方形ブロックの間で類似性検査を実行し、列の類似性を判定し、小さい正方形ブロックとその左の小さい正方形ブロックの間で類似性検査を実行し、行の類似性を判定するステップとを有し、
    列の類似性も行の類似性も検出されない場合、アドバンスドビデオ符号化におけるイントラ符号化を実行するためのモードとして、モード２を選択し、
    列の類似性が検出され、行の類似性が検出されない場合、アドバンスドビデオ符号化におけるイントラ符号化を実行するためのモードとして、モード０、３、７を選択し、
    列の類似性が検出されず、行の類似性が検出された場合、アドバンスドビデオ符号化におけるイントラ符号化を実行するためのモードとして、モード１、８を選択し、
    列及び類似性も行の類似性も検出された場合、アドバンスドビデオ符号化におけるイントラ符号化を実行するためのモードとして、モード４、５、６を選択することを特徴とするモードプリセレクション方法。

Images