JP2007068165A - 向上した動き推定方法、該方法を利用したビデオエンコーディング方法及び装置 - Google Patents

Abstract

【課題】 ビデオ圧縮速度を向上させる方法及びそのビデオエンコーダを提供する。
【解決手段】 以前ピクチャーが持つ動きベクトルからピクチャーのグローバル動き類型を判断するステップと、グローバル動き類型に基づいて現在ピクチャーに含まれる所定の動きブロックに対する探索領域を設定するステップと、設定された探索領域内で動きベクトルを探索するステップとを含む。
【選択図】 図２

Description

本発明はビデオ圧縮に係り、より詳細には、ビデオ圧縮速度を向上させる方法及びそのビデオエンコーダに関する。

インターネットを含む情報通信技術が発達するにつれて文字、音声だけでなく画像通信が増加しつつある。既存の文字中心の通信方式では消費者の多様な欲求を満たすには足りなく、したがって、文字、映像、音楽など多様な形態の情報を収容できるマルチメディアサービスが増加しつつある。マルチメディアデータは、その量がぼう大で大容量の記録媒体を必要とし、伝送時に広い帯域幅を必要とする。したがって、文字、映像、オーディオを含むマルチメディアデータを伝送するには、圧縮コーディング技法を使用することが必須である。

データを圧縮する基本的な原理はデータの重複をなくす過程である。イメージで同じ色や客体が反復されるような空間的重複や、動映像フレームで隣接フレームがほとんど変化のない場合や、オーディオで同じ音が反復され続けるような時間的重複、または人間の視覚及び知覚能力が高い周波数に鈍感なことを考慮した心理視覚重複をなくすことによりデータを圧縮できる。一般的なビデオコーディング方法において、時間的重畳は動き推定及び動き補償技法により除去して、空間的重畳は空間的変換（ｓｐａｔｉａｌ ｔｒａｎｓｆｏｒｍ）により除去する。

ところが、現在の動き推定に関する大部分のアルゴリズムはローカル動きを基盤としている。しかし、カメラが動くか、画面をいっぱい満たす物体（ｏｂｊｅｃｔ）が動くことによりグローバル動きが発生する場合も少ない。前記グローバル動きとは、画面全体が平行移動するか、回転するか、拡大／縮小する場合のように、一つの画面を構成する各ピクセルがいかなる規則によって動くことを意味する。

図１は、従来の動き推定方法を示す図面である。従来の方法によれば、現在ピクチャーに属する動きブロック（ビデオ圧縮の単位ブロック）１３を参照ピクチャー１０上で動かしつつ、エラーないしＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ；ピクセル間の差の和）が最小となるときの動きベクトルを求める。この時、一般的に前記ブロック１３が動く範囲は、参照ピクチャー１０の全体ではなく前記ブロック１３が位置する地点１１を中心に所定のピクセルサイズを持つ探索領域１４内に限定される。なぜなら、元来の地点１１と近い位置で動きベクトルが求められる可能性が大きいだけでなく、ピクチャー全体を探索することは、演算量の面で非効率的であるためである。

図１のように、動きブロック１３が探索領域１４内で動く間にエラーを計算してそのエラーが最小となる動きベクトルを探す。この時に基準となる座標は、ｘ値は右に増加し、ｙ値は下方に増加する座標を使用する。これは、エンコーディング時に一般的に使用する座標であり、本発明ではこの座標を使用する。もし、動きブロック１３が地点１１から地点１２に移動する時にエラーが最小になったとすれば、動きベクトルは（−３，−２）に表示されうる。

このように、所定の探索領域内であらゆるピクセル位置に移動しつつ二重エラーが最小となる場合を探す従来の動き推定技法、すなわち、完全探索アルゴリズムはその計算量がかなり高い。実際にビデオエンコーダで行われる大部分の演算過程は、動き推定及び動き補償過程で演算量がかかり、特に最近のＨ．２６４のように階層的可変サイズブロックマッチング法（Ｈｉｅｒａｒｃｈｉｃａｌ Ｖａｒｉａｂｌｅ Ｓｉｚｅ Ｂｌｏｃｋ Ｍａｔｃｈｉｎｇ；ＨＶＳＢＭ）を使用するか、１／４ピクセル単位まで動きベクトルを行う（Ｑｕａｒｔｅｒ−Ｐｅｌｍｅｔｈｏｄ）場合には、その演算量がさらに急増する。

したがって、与えられた探索領域のうち可能性の高い領域からまず動きベクトルを探索することによって、ビデオエンコーダでの演算量を低減できる方法を講ずる必要がある。
韓国公開特許第２００１−０３０６５２号公報

本発明は、前記必要性を鑑みてなされたものであり、グローバル動き情報を利用してビデオ圧縮時に完全探索が持つ正確度は維持するが、探索範囲を縮めることによって計算量を低減することを目的とする。

また、本発明は、前記グローバルの動きを判断するための基準を提示することをさらに他の目的とする。

本発明の技術的課題は、以上で言及した技術的課題に制限されず、言及されていない他の技術的課題は下の記載から当業者に明確に理解されうる。

前記技術的課題を達成するための本発明の一実施形態による動き推定方法は、（ａ）以前ピクチャーが持つ動きベクトルから前記ピクチャーのグローバル動き類型（以下、ｇｍ＿ｔｙｐｅ）を判断するステップと、（ｂ）前記ｇｍ＿ｔｙｐｅに基づいて現在ピクチャーに含まれる所定の動きブロックに対する探索領域を設定するステップと、（ｃ）前記設定された探索領域内で動きベクトルを探索するステップと、を含む。

また、前記技術的課題を達成するための本発明の他の実施形態によるビデオエンコーディング方法は、参照ピクチャーを参照して現在ピクチャーの動きベクトルを求めるステップと、前記モーション推定結果で得られるモーションベクトルを利用して、参照ピクチャーをモーション補償して予測ピクチャーを生成するステップと、前記現在ピクチャーと前記予測ピクチャーとの差分を符号化するステップと、を含むビデオエンコーディング方法において、前記動きベクトルを求めるステップは、（ａ）以前ピクチャーが持つ動きベクトルから前記ピクチャーのグローバル動き類型を判断するステップと、（ｂ）前記グローバル動き類型に基づいて、現在ピクチャーに含まれる所定の動きブロックに対する探索領域を設定するステップと、（ｃ）前記設定された探索領域内で動きベクトルを探索するステップと、を含む。

そして、前記技術的課題を達成するための本発明のまた他の実施形態によるビデオエンコーダは、参照ピクチャーを参照して現在ピクチャーの動きベクトルを求めるモーション推定部と、前記モーション推定結果で得られるモーションベクトルを利用して、参照ピクチャーをモーション補償して予測ピクチャーを生成するモーション補償部と、前記現在ピクチャーと前記予測ピクチャーとの差分を符号化する手段と、を備えるビデオエンコーディング方法において、前記モーション推定部は、以前ピクチャーが持つ動きベクトルから前記ピクチャーのグローバル動き類型を判断するグローバル動き判断部と、前記グローバル動き類型に基づいて現在ピクチャーに含まれる所定の動きブロックに対する探索領域を設定する探索領域設定部と、前記設定された探索領域内で動きベクトルを探索する動きベクトル探索部と、を含む。

その他の実施例の具体的な事項は詳細な説明及び図面に含まれている。

本発明では、既存の完全探索（フルサーチ）対比５０％程度の領域に対して優先的に動きベクトルを探索することによって、ビデオエンコーダでのエンコーディング速度をかなり高めることができる。

本発明の利点及び特徴、そしてこれを達成する方法は添付された図面に基づいて詳細に後述されている実施例を参照すれば明確になる。しかし、本発明は以下で開示される実施例に限定されるものではなく、この実施例から外れて多様な形に具現でき、本明細書で説明する実施例は本発明の開示を完全にし、本発明が属する技術分野で当業者に発明の範ちゅうを完全に報せるために提供されるものであり、本発明は請求項及び発明の詳細な説明により定義されるだけである。一方、明細書全体に亙って同一な参照符号は同一な構成要素を示す。

以下、添付された図面を参照して本発明の実施形態を詳細に説明する。

本発明では、完全探索方法にグローバル動き情報を適用して探索領域のうち優先的に探索する領域を決定し、その部分から探索して誤差の基準値以下を満足すればそれ以上探索しない方法を提案しようとする。

図２は、本発明の一実施形態によるビデオエンコーダ１００の構成を示すブロック図である。ビデオエンコーダ１００は、動き推定部１１０、動き補償部１２０、差分器１２５、変換部１３０、量子化部１４０、エントロピー符号化部１５０、逆量子化部１６０、逆変換部１７０、及び加算器１７５を備えて構成できる。

動き推定部１１０は、本発明の特徴が適用された構成要素であって、計算された動きベクトルが所定数の方向クラス（以下、ｍｄ＿ｃｌａｓｓ）のうちどこに属しているかを決定する動き分類部１１３と、前記ｍｄ＿ｃｌａｓｓによってｇｍ＿ｔｙｐｅを判断するグローバル動き判断部１１４と、復元されたピクチャーＦ’及びｇｍ＿ｔｙｐｅ（フラッグ）を保存するバッファ１１５と、探索領域に前記ｇｍ＿ｔｙｐｅによって探索領域を設定する探索領域設定部１１１と、前記設定された探索領域内で動きベクトルを探索する動きベクトル探索部１１２と、を備えて構成できる。

まず、動き分類部１１３は、動きベクトル探索部１１２で求められた動きベクトルＭＶが、所定数のｍｄ＿ｃｌａｓｓのうちどこに属しているかを決定する。本発明の実施形態において、前記ｍｄ＿ｃｌａｓｓは図３に示すように総９つに分類される。もちろん、当業者によっていくらでも他の数及び方式に分類が可能である。

図３で、“ＮＯ＿ＭＯＶＥ”クラスは、動きベクトルが０である場合を表し、“ＲＩＧＨＴ”クラスは、動きベクトルが右側に向かう場合を表し、“ＬＥＦＴ”クラスは、動きベクトルが左側に向かう場合を表す。また、“ＵＰ”クラスは、動きベクトルが上方に向かう場合を、“ＤＯＷＮ”クラスは、動きベクトルが下方に向かう場合を表す。そして、“ＲＩＧＨＴ＿ＵＰ”クラス、“ＲＩＧＨＴ＿ＤＯＷＮ”クラス、“ＬＥＦＴ＿ＵＰ”クラス、及び“ＬＥＦＴ＿ＤＯＷＮ”クラスは、それぞれ動きベクトルが右上方、右下方、左上方、及び左下方に向かう場合を表す。前記クラスには、それぞれを区分するための値（value）が０から８まで割り当てられている。

ところが、実際に前記方向と正確に一致しない動きベクトル（例えば、右上方３０°を向かう動きベクトル）もありうるので、一般的な分類方法を提示する必要がある。

図４は、ｍｄ＿ｃｌａｓｓを分類する例を示す図面である。図４では、横軸をｘ軸と、縦軸をｙ軸という時、全体領域はｙ＝ｋｘ、ｙ＝（１／ｍ）ｘ、ｙ＝−ｋｘ、ｙ＝−（１／ｍ）ｘの４個の直線によって８個の領域に分けられる。前記ｋとｍは正の実数であって、いかなる値でもよく、２つの値が同じでも、異なってもよい。本発明では、ｋとｍは２とする。

前記分けられた８個の領域それぞれは一つのｍｄ＿ｃｌａｓｓを表す。例えば、上方に向かう動きベクトルを表す“ＵＰクラス”（ｍｄ＿ｃｌａｓｓ＝１）は、ｙ＝ｋｘとｙ＝−ｋｘとによって分けられる領域のうち上側領域に該当する。

実際にｘ軸成分がＸ＿ｃであり、ｙ軸成分がＹ＿ｃである動きベクトルがある時、この動きベクトルが持つｍｄ＿ｃｌａｓｓは次の表１のように整理できる。

結論的に、動き分類部１１３は図５の例から分かるように、現在ピクチャー内の複数の動きベクトル５１を複数のｍｄ＿ｃｌａｓｓ値に変換してグローバル動き判断部１１４に提供する。

グローバル動き判断部１１４は、動き分類部１１３から提供されたｍｄ＿ｃｌａｓｓによって現在ピクチャーのｇｍ＿ｔｙｐｅ（ｇｍ＿ｔｙｐｅ）を判断する。本発明の一実施形態において、ｇｍ＿ｔｙｐｅは、図６のように、８方向の並進運動類型と、２個の回転運動類型と、拡大運動類型及び縮小運動類型を含んで総１３つの類型に分けられる。

それぞれを説明すれば、まずＮＯ＿ＧＬＯＢＡＬ＿ＭＯＴＩＯＮはグローバル動きがないことを表す。ＰＡＮ＿ＲＩＧＨＴ類型、ＰＡＮ＿ＬＥＦＴ類型、ＰＡＮ＿ＵＰ類型、ＰＡＮ＿ＤＯＷＮ類型は、映像全体がそれぞれ右側、左側、上側、下側に動くことを表す。そして、ＴＩＬＴ＿ＲＩＧＨＴ＿ＵＰ類型、ＴＩＬＴ＿ＲＩＧＨＴ＿ＤＯＷＮ類型、ＴＩＬＴ＿ＬＥＦＴ＿ＵＰ類型、ＴＩＬＴ＿ＬＥＦＴ＿ＤＯＷＮ類型は、映像全体がそれぞれ右上方、右下方、左上方、左下方に動くことを表す。また、ＺＯＯＭ＿ＩＮ類型、ＺＯＯＭ＿ＯＵＴ類型は、映像全体がそれぞれ拡大、縮小することを表し、ＲＯＴＡＴＥ＿ＣＷ類型、ＲＯＴＡＴＥ＿ＣＣＷ類型は、映像全体がそれぞれ時計回り方向、逆時計回り方向に回転することを表す。それぞれのｇｍ＿ｔｙｐｅには、識別のための値が０から１４まで割り当てられる。類型１〜８は、映像全体が一方向に動くグローバルタイプであり、類型１１〜１４は、各四分面が異なる動きを示すグローバルモーションタイプである。ｇｍ＿ｔｙｐｅにはさらに他の類型が追加されてもよく、ここで提案した類型が修正／削除されることもある。

グローバル動き判断部１１４は、現在ピクチャーのｇｍ＿ｔｙｐｅを決定するために、まず現在ピクチャーを図７のように４等分して、第１ないし第４四分面を形成する。そして、グローバル動き判断部１１４は、それぞれの四分面別に代表方向を決定する。前記代表方向とは、該当四分面に属するｍｄ＿ｃｌａｓｓ値のうち最も頻度の高いｍｄ＿ｃｌａｓｓ値が示す方向を意味する。

もし、ある四分面が図５の５１のような動き方向を示したならば、これを５２のように各ブロックのｍｄ＿ｃｌａｓｓ値を求めることができる。この時、各ブロックを動きブロックの最も基本である４ｘ４ブロックに還元して最も頻度の高いｍｄ＿ｃｌａｓｓを求めることができる。図５の５２では、最も頻度の高いｍｄ＿ｃｌａｓｓ値は１であるため、該当四分面は、右側の代表方向を持つと決定される。これは、実施形態であり、四分面ではなく便宜や目的などによって他の方法でフレームを分割して分析することもできる。また４ｘ４ブロックではなく他の形態のブロックを基準とすることもできる。

このような過程を各四分面に対して行えば、一つのピクチャーは総４つの代表方向を持つようになり、グローバル動き判断部１１４は、この４つの代表方向に基づいて現在ピクチャーが属するｇｍ＿ｔｙｐｅを決定する。

前記ｇｍ＿ｔｙｐｅによる総１３つの類型のうちＮＯ＿ＧＬＯＢＡＬ＿ＭＯＴＩＯＮを除いた１２つの類型は、次の図８に図示される。図８で表示された矢印方向は前記代表方向を表す。このうちＰＡＮ＿ＲＩＧＨＴ類型からＴＩＬＴ＿ＬＥＦＴ＿ＤＯＷＮまで８つの類型は、４つの四分面がいずれも同じ方向に動くが、それ以外の４つの類型は各四分面別に方向が異なることが分かる。

このような、代表方向に基づいてグローバル動き判断部１１４でｇｍ＿ｔｙｐｅを決定する具体的なアルゴリズムは、図９のように表現できる。図９でｑｕａｒｔｅｒ１ないし４は、それぞれ第１四分面ないし第４四分面の代表方向を表すパラメータである。あらゆる四分面で同じ方向に動く場合、この方向をグローバル動き方向と判断できる（動きブロックで動き方向を決定するパラメータセットとグローバル動きタイプのパラメータセットで、０〜８までは相等しい方向を同じ値と定義する。）。この時、さらに柔軟なアルゴリズムでは４個の四分面のうち３個以上が同じ方向である場合、この方向をグローバル動きと判断する等、必要に応じて基準を調整することができる。前記アルゴリズムで図８の１２個のｇｍ＿ｔｙｐｅに該当しない場合には、規則的な動きはないと判断して、ｇｍ＿ｔｙｐｅはＮＯ＿ＧＬＯＢＡＬ＿ＭＯＴＩＯＮと設定される。

グローバル動き判断部１１４が現在ピクチャーに対して決定したｇｍ＿ｔｙｐｅ、すなわち、ｇｍ＿ｔｙｐｅは、バッファ１１５に保存され、その次のピクチャーに対する動きベクトル探索時に利用される。

次いで、次のピクチャーＦが動きベクトル探索部１１２に入力されれば、動きベクトル探索部１１２は、探索領域設定部１１１に照会して探索領域を提供される。

探索領域設定部１１１は、バッファ１１５に保存されたｇｍ＿ｔｙｐｅに基づいて、現在動きブロックの探索領域を決定する。この時、ｇｍ＿ｔｙｐｅが８以下であれば、全体映像が同じ方向に動くので、あらゆる動きブロックに同じ動き方向を適用して優先探索領域を指定する。ｇｍ＿ｔｙｐｅが１０より大きい場合、動きブロックの位置によって動き方向も変わるので、この時は、現在動きブロックのフレーム内の位置を考慮して現在動きブロックの位置が該当する領域を探し、この領域での動き方向を探して、この動き方向によって優先探索領域を指定する。前記動きブロックに対する探索領域を設定したならば、これを動きベクトル探索部１１２に提供する。

ところが、一般的にビデオシーケンス上で実際に物体が動く方向と動きベクトルの方向とは、参照ピクチャーが現在ピクチャー以前に存在するか以後に存在するかによって一致または逆になる。もし、ビデオシーケンス上の現在ピクチャー以後に存在するピクチャーを参照ピクチャーとすれば、動きベクトルと実際物体の動きとは同一でありうるが、以前に存在するピクチャーを参照ピクチャーとするならば、動きベクトルと実際物体の動きとは逆になりうる。しかし、本発明で表示するあらゆるベクトルの方向は、実際動きと関係なく動きベクトルを基準とする。したがって、実際に物体の動き方向と本発明で定義するｇｍ＿ｔｙｐｅによる方向とは逆になりうる。一つのピクチャー内でモーション探索を、同じ参照ピクチャーを基準とするならば問題にならない。しかし、もし、一つのピクチャー内のあるマクロブロックは以前ピクチャーを参照ピクチャーとし、他のマクロブロックは以後ピクチャーを参照ピクチャーとするならば、二つのうち一つのマクロブロックは、本発明のｇｍ＿ｔｙｐｅで定義された代表方向と逆方向である代表方向を持つと判断すればよい。

探索領域設定部１１１はまず、長方形状（正方形を含む）の探索領域を選択する。前記探索領域とは、従来技術のように方形状に選択され、横及び縦がピクセルサイズで表現される。前記探索領域としては、デフォルトで保存された値が使われてもよく、ユーザから入力された値が使われてもよい。

探索領域設定部１１１は、バッファ１１５に保存された以前ピクチャーのｇｍ＿ｔｙｐｅを参照して、前記探索領域を、優先権の高い優先領域と、優先権の低いそれ以外の領域とに分割する。なぜなら、現在ピクチャーのｇｍ＿ｔｙｐｅは、直前ピクチャーのｇｍ＿ｔｙｐｅと同一である可能性が高いためである。

図１０は、以前ピクチャーのｇｍ＿ｔｙｐｅのうち８つの類型に対して、探索領域を優先領域とそれ以外の領域とに分割する方式を示す。前記８つの類型では、ピクチャー内のあらゆる映像が同じ方向に動く（すなわち、並進運動を行う）と見なせるので、前記探索領域がピクチャーのうちいずれかの位置にあるかに関係なく同じ分割方式を持つ。図１０で、正方形は探索領域を、陰影で表した部分は優先領域をそれぞれ表す。

さらに詳細に説明すれば、ｇｍ＿ｔｙｐｅがＰＡＮ＿ＲＩＧＨＴである場合、グローバル動きは右側方向に向かうので、エラーが最小となる点は動き探索原点（黒点で表示される）の右側領域で発見される可能性が高い。したがって、探索原点の右側部分を、優先権を持つ領域、すなわち、優先領域と指定する。また、ｇｍ＿ｔｙｐｅがＴＩＬＴ＿ＲＩＧＨＴ＿ＵＰである場合、グローバル動きは右上方に向かうので、探索領域のうち右上方の１／２領域を優先領域と指定する。残りのｇｍ＿ｔｙｐｅも同じ方式で優先領域が指定される。

図１０のように、優先領域は探索領域の約１／２を表示し、この時、この優先領域は少なくとも探索原点を含むことが望ましい。場合によって、図１０での点線のように１／２を多少上回るように指定できる。これは一般的な場合において、動きベクトルが探索原点の周辺で求められる可能性が大きいためである。

一方、図１１のように、ｇｍ＿ｔｙｐｅのうちＺＯＯＭ＿ＩＮ、ＺＯＯＭ＿ＯＵＴ、ＲＯＴＡＴＥ＿ＣＷ、またはＲＯＴＡＴＥ＿ＣＣＷ類型を持つピクチャーは、各四分面別に代表方向が相異なるので、探索領域または動きブロックが属する四分面を把握する必要がある。

現在ピクチャー２０のｇｍ＿ｔｙｐｅがＲＯＴＡＴＥ＿ＣＷである場合を例とすれば、探索領域（黒色の方形で表示される）や動きブロックが第１四分面に属する場合、優先領域は探索領域の右下側部分に指定され、第２四分面に属する場合、優先領域は探索領域の左下側部分に指定され、第３四分面に属する場合、優先領域は探索領域の左上側部分に指定され、第４四分面に属する場合、優先領域は探索領域の右上側部分に指定される。

それ以外に、ｇｍ＿ｔｙｐｅがＺＯＯＭ＿ＩＮ、ＺＯＯＭ＿ＯＵＴ、またはＲＯＴＡＴＥ＿ＣＣＷである場合でも同じく、図１１に示すように、各四分面別に相異なる形態で優先領域が指定される。

さらに他の実施形態において、現在ピクチャーの領域を、図１１のように四分面別に区分するものではなくさらに細部的に区分する場合も考えられる。図１２を参照すれば、現在ピクチャー３０は、総１２個のセクションに細分化できる。すなわち、現在ピクチャー３０は、４個のコーナーセクション３１、３２、３３、３４と、４個の境界セクション５１、５２、５３、５４、及び４個の中心セクション４１、４２、４３、４４とに分けられうる。ただし、このように現在ピクチャーを細分化することは、既定のｇｍ＿ｔｙｐｅによって優先領域を決定するのに利用され、現在ピクチャーがいかなるｇｍ＿ｔｙｐｅを持つかを決定する過程では、図８のように４個の四分面に分けて判断する程度にも十分である。

ｇｍ＿ｔｙｐｅが決定されれば、該当ｇｍ＿ｔｙｐｅによって前記１２個の境界セクションそれぞれに対する代表方向が分かり、前記代表方向によって探索領域のうち優先領域が決定されうる。

ｇｍ＿ｔｙｐｅのうちピクチャー中の領域に関係なく一定の代表方向を持つ８つの類型の場合には、前記のような細分化された区分は必要ない。しかし、ｇｍ＿ｔｙｐｅのうちＺＯＯＭ＿ＩＮ、ＺＯＯＭ＿ＯＵＴ、ＲＯＴＡＴＥ＿ＣＷ、またはＲＯＴＡＴＥ＿ＣＣＷ類型を持つピクチャーは、セクション別にその代表方向が相異なるので、探索領域または動きブロックが属する四分面をそれぞれ把握する必要がある。

図１３は、前記４つの類型に対して各セクション別に代表ベクトルを表示した図面である。図１３から見れば、４個のコーナーセクションと４個の中心セクションとは、それぞれ対応するセクション別に同じ代表ベクトルを持つことが分かる。

図１４は、図１３の各セクション別に探索領域が異なって表示されうることを示す。ここで、４個の中心セクションは、対応する４個のコーナーセクションと同じ優先領域を持つ。

現在ピクチャー４０のｇｍ＿ｔｙｐｅがＺＯＯＭ＿ＯＵＴである場合を例とすれば、探索領域（黒色方形で表示される）や動きブロックが第１コーナーセクション（現在ピクチャーの左上位置のコーナーセクション）に属する場合、優先領域は探索領域の右下側部分に指定され、第２コーナーセクション（現在ピクチャーの右上位置のコーナーセクション）に属する場合、優先領域は探索領域の左下側部分に指定され、第３コーナーセクション（現在ピクチャーの左下位置のコーナーセクション）に属する場合、優先領域は探索領域の右上側部分に指定され、第４セクション（現在ピクチャーの左下位置のコーナーセクション）に属する場合、優先領域は探索領域の左上側部分に指定される。

また、探索領域や動きブロックが第１コーナーセクションと第２コーナーセクションとの境界セクションに属する場合、優先領域は下側部分に指定され、第２コーナーセクションと第４コーナーセクションとの境界セクションに属する場合、優先領域は左側部分に指定され、第３コーナーセクションと第４コーナーセクションとの境界セクションが属する場合、優先領域は上側部分に指定され、第１コーナーセクションと第３コーナーセクションとの境界セクションに属する場合、優先領域は右側部分に指定される。

さらに、探索領域や動きブロックが中心セクションに属する場合、優先領域は対応するコーナーセクションと同一である。

ところが、もし以前ピクチャーのｇｍ＿ｔｙｐｅがＮＯ＿ＧＬＯＢＡＬ＿ＭＯＴＩＯＮになっているか、現在ピクチャーが最初のピクチャーである場合には探索領域の優先領域を予測する根拠がないので、探索領域設定部１１１は、従来の方法と同様に動きベクトル探索部１１２をして、探索領域全体に対して動きベクトルを探索させる。

ただし、このように以前ピクチャーから予測されたグローバル動きがない場合にも、現在ピクチャーのうち一部に対しては本発明を適用できる。図１２を参照すれば、現在ピクチャー２０のうち上半面２６に対して動きベクトル探索が完了した後、下半面２７に属する動きブロック２８に対する探索領域は、前記探索が完了した上半面２６の代表方向によって定められうる。

上半面２６は、２個の四分面（第１四分面と第２四分面）から形成されているので、２つの代表方向を持つことができる。したがって、４つの代表方向によって決定されるｇｍ＿ｔｙｐｅは定められないが、２つの代表方向が一致する場合には、下半面２７でも前記代表方向と同じ方向に並進運動がおきると推測できる。

したがって、探索領域設定部１１１は、前記２個の四分面での代表方向が一致する場合には、下半面２６に属する動きブロック２８に対する探索領域及び優先領域を、前記図１０と同じ方法で決定できる。

図１２は、一つの実施形態に過ぎず、所定の四分面が持つ代表方向を利用して残りの四分面に属する動きブロックの探索領域を設定する他の方法もいくらでも可能である。例えば、第１四分面の代表方向によって残りの四分面に属する動きブロックの探索領域を設定してもよく、第１及び第３四分面の代表方向によって、残りの第２及び第４四分面に属する動きブロックの探索領域を設定してもよい。

探索領域設定部１１１は、以上のアルゴリズムによって決定された探索領域及び優先領域に関する情報を動きベクトル探索部１１２に提供する。前記情報は、例えば、動きベクトルを探索する単位、すなわち、動きブロック別に提供できる。

再びに図１に戻れば、動きベクトル探索部１１２は、探索領域設定部１１１から提供された探索領域内で動きベクトルを探索する。もし、前記提供された探索領域に別途の優先領域が指定されていなければ、動きベクトル探索部１１２は、従来の技術のように、法形状の探索領域内で動きベクトルを探索する。動きベクトルを探索する方法は前述したように、動きブロックを参照ピクチャーの探索領域内で動かしつつ前記動きブロックと、これと対応する参照ピクチャーのイメージ間のＳＡＤを最小にするベクトルとを求めることである。前記ＳＡＤは、ＭＡＤ（Ｍｅａｎ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）、その他の二つのイメージ間の差を表現するいかなる値に代替されてもよい。

一方、探索領域設定部１１１から提供された探索領域に別途の優先領域が指定されているならば、動きベクトル探索部１１２はまず、優先領域内で動きベクトルを探索する。その結果、優先領域内でいずれかのＳＡＤが所定の臨界値より小さな場合が見つけられれば、その時のベクトルを動きベクトルＭＶに選定する。もし、優先領域内で前記臨界値より小さなＳＡＤが見つけられなければ、その後には、探索領域のうち優先領域以外の領域に対して動きベクトルを探索して、前記臨界値より小さなＳＡＤが見つけられるかどうかを探す。もし、優先領域以外の領域でも前記臨界値より小さなＳＡＤが見つけられなければ、全体探索領域のうちＳＡＤが最小となる地点でのベクトルを動きベクトルＭＶに選定する。

動きベクトル探索部１１２は、このように求めた動きベクトルを動き補償部１２０及び動き分類部１１３に提供する。

動き分類部１１３は前述したように、前記提供された動きベクトルが所定数のｍｄ＿ｃｌａｓｓのうちどこに属するかを決定し、グローバル動き判断部１１４は、前記ｍｄ＿ｃｌａｓｓによってｇｍ＿ｔｙｐｅを判断してその結果をバッファ１１５に保存する。バッファ１１５に保存されたｇｍ＿ｔｙｐｅは、以後にエンコーディングされるピクチャーのビデオ圧縮のために使われる。

一方、動き補償部１２０は、動き推定部１１０から提供された動きベクトルＭＶを利用して、参照ピクチャーＦ_ｒ’を動き補償して予測ピクチャーＰを求める。もし、参照ピクチャーＦ_ｒ’が複数である場合には、複数の参照ピクチャーを動き補償した後、それぞれの加重和を予測ピクチャーＰとして使用することもある。

前記Ｆ_ｒ’でｒは、参照ピクチャーを表示し、プライム（’）は、復元されたピクチャー（エンコーディング後にデコーディングされたピクチャー）を表示する。本明細書でプライムは、このような意味として使われる。このように、参照ピクチャーとして復元されたピクチャーを利用する方式を閉ループコーディングといい、元来のピクチャーを利用する方式を開ループコーディングという。本発明では、閉ループコーディングを例として説明するが、本発明は開ループコーディングにも適用できるということは言うまでもない。

差分器１２５は、現在ピクチャーＦから前記予測ピクチャーＰを差分して計算される残差信号Ｒを変換部１３０に提供する。

変換部１３０は、前記残差信号Ｒに対して空間的変換を行うことによって変換係数Ｒ^Ｔを生成する。このような空間的変換方法には、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ウェーブレット変換などが使われうる。ＤＣＴを使用する場合、前記変換係数はＤＣＴ係数になり、ウェーブレット変換を使用する場合、前記変換係数はウェーブレット係数になる。

量子化部１４０は、前記変換係数を量子化する。前記量子化は、任意の実数値で表現される前記変換係数を不連続的な値で表す過程を意味する。例えば、量子化部１４０は、任意の実数値で表現される前記変換係数を所定の量子化ステップで割り、その結果を整数値に四捨五入する方法で量子化を行える。前記量子化ステップは、出力されるビットストリームからフィードバックされて可変的に決定できるが、その大きさによってビデオ圧縮率が変わる。

量子化部１４０によって量子化された結果、すなわち、量子化係数Ｒ^Ｑは、エントロピー符号化部１５０及び逆量子化部１６０に提供される。

逆量子化部１６０は、前記量子化係数を逆量子化する。このような逆量子化過程は、量子化過程で使われたものと同じ量子化ステップを利用して、量子化過程で生成されたインデックスからそれにマッチングされる値を復元する過程である。

逆変換部１７０は、前記逆量子化された結果を入力されて逆変換を行う。このような逆変換は、変換部１３０の変換過程の逆過程で行われ、具体的には逆ＤＣＴ変換、逆ウェーブレット変換などが使われうる。

加算器１７５は、前記逆変換された結果と前記動き補償部１２０から出力された予測ピクチャーＰとを加算することによって、復元された現在ピクチャーＦ’を生成できる。

バッファ１１５は、加算器１７５から提供される結果を保存する。したがって、バッファ１１５には、復元された現在ピクチャーＦ’だけでなく、あらかじめ復元された参照ピクチャーＦ_ｒ’も保存されうる。

一方、エントロピー符号化部１５０は、動き推定部１０５で推定された動きベクトルＭＶと、量子化部１４０から提供される圧縮されたテクスチャーＲ^Ｑを無損失符号化してビットストリームを生成する。このような無損失符号化方法には、ハフマン符号化、算術符号化、可変長符号化、その他の多様な方法が利用できる。

図２のビデオエンコーダ１００を構成する要素は、本明細書で説明された機能を行うように設計された汎用プロセッサー、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）または他のプログラム可能な論理装置、離散ゲートまたはトランジスタ論理装置、離散ハードウェア成分、またはそれらの任意の結合で具現または行われうる。汎用プロセッサーは、マイクロプロセッサーでありうるが、選択的には、そのプロセッサーは任意の従来のプロセッサー、制御器、マイクロ制御器、または状態マシンでありうる。プロセッサーはまたコンピューてィング装置の結合、例えば、ＤＳＰとマイクロプロセッサーとの結合、複数のマイクロプロセッサー、ＤＳＰコアと関連した一つ以上のマイクロプロセッサー、または任意の他のかかる構成で具現できる。

図１６は、本発明の一実施形態による動き推定方法を示すフローチャートである。

前記動き推定方法は、以前ピクチャーが持つ動きベクトルから前記ピクチャーのｇｍ＿ｔｙｐｅを判断するステップ（Ｓ１０）と、前記ｇｍ＿ｔｙｐｅに基づいて現在ピクチャーに含まれる所定の動きブロックに対する探索領域を設定するステップ（Ｓ２０）と、前記設定された探索領域内で動きベクトルを探索するステップ（Ｓ３０）とからなりうる。

細部ステップを説明すれば、動き分類部１１３は、前記以前ピクチャーが持つ動きベクトルが属するｍｄ＿ｃｌａｓｓを決定する（Ｓ１１）。前記ｍｄ＿ｃｌａｓｓは、３６０°を８等分する８個方向を含むが、前記８等分は、４個の直線ｙ＝ｋｘ、ｙ＝−ｋｘ、ｙ＝（１／ｍ）ｘ、及びｙ＝−（１／ｍ）ｘによって行われうる。前記ｋとｍは正の実数であって、二つの値が同一または異なり、望ましい値は二つとも２程度である。

それにより、グローバル動き判断部１１４は、前記ｍｄ＿ｃｌａｓｓのうち所定の領域に属するｍｄ＿ｃｌａｓｓを代表する代表方向を決定する（Ｓ１２）。前記所定の領域は、前記以前ピクチャーを４等分した領域のうち少なくとも一つを意味する。

前記代表方向は、前記所定の領域に属するｍｄ＿ｃｌａｓｓのうち頻度の最も高いｍｄ＿ｃｌａｓｓの方向、または前記所定の領域に属するｍｄ＿ｃｌａｓｓのうち動きブロックの面積を加重した頻度の最大値を持つｍｄ＿ｃｌａｓｓの方向を意味する。

そして、グローバル動き判断部１１４は、前記代表方向を参照して前記ｇｍ＿ｔｙｐｅを判断する（Ｓ１３）。前記ｇｍ＿ｔｙｐｅは、８方向の並進運動類型と、２個の回転運動類型と、拡大運動類型及び縮小運動類型を含むことができる。

Ｓ２１ステップで、前記以前ピクチャーにグローバルモーションが存在する場合（ｇｍ＿ｔｙｐｅがＮＯ＿ＧＬＯＢＡＬ＿ＭＯＴＩＯＮでない場合）に、探索領域設定部１１１はまず、ユーザの入力またはデフォルト値によって探索領域を設定する（Ｓ２２）。

そして、前記ｇｍ＿ｔｙｐｅに基づいて前記探索領域のうち優先的に動きベクトルを探索する優先領域を設定する（Ｓ２３）。

Ｓ２１ステップで、前記以前ピクチャーにグローバルモーションが存在していない場合に、探索領域設定部１１１は、現在ピクチャーのうち一部分（例：第１及び２四分面）に対してフルサーチを通じて求められたモーションベクトルから前記領域の代表方向を決定する（Ｓ２４）。そして、それにより現在ピクチャーのうち前記一部分を除いた他の部分に対しては、前記代表方向を参照して優先領域を決定する（Ｓ２５）。

前記優先領域は、探索領域のうち前記ｇｍ＿ｔｙｐｅを考慮する時、エラー（ＳＡＤまたはＭＡＤ）が最小となる可能性の大きい１／２領域を備え、探索原点をさらに含むことができる。

Ｓ３１ステップで、現在動きブロックに対して優先領域が存在すれば（Ｓ３１の例）、動きベクトル探索部１１２は、探索領域のうち優先領域に対して動きベクトルを探索する（Ｓ３２）。そして、動きベクトル探索部１１２は、前記探索結果動きベクトルを発見できなければ、前記探索領域のうち優先領域以外の領域に対して動きベクトルを探索する（Ｓ３３）。前記動きベクトルの発見如何は、前記動きブロック及び前記動きブロックに対応する参照ピクチャー上イメージの間で計算されるエラーが所定の臨界値より小さな場合の存否によって決定できる。

Ｓ３１ステップで、現在動きブロックに対して優先領域が存在していなければ（Ｓ３１のいいえ）、動きベクトル探索部１１２は、全体探索領域に対して動きベクトルを探索する（Ｓ３４）。

以上、添付図を参照して本発明の実施例を説明したが、本発明が属する技術分野で当業者ならば本発明がその技術的思想や必須特徴を変更せずとも他の具体的な形に実施されうるということが理解できるであろう。したがって、前述した実施例は全ての面で例示的なものであって、限定的なものではないと理解せねばならない。

本発明は、ビデオ圧縮速度を向上させる方法及びそのビデオエンコーダの関連技術分野に好適に用いられる。

従来の動き推定方法を示す図である。 本発明の一実施形態によるビデオエンコーダの構成を示すブロック図である。 ｍｄ＿ｃｌａｓｓの種類及びその値を示す図である。 ｍｄ＿ｃｌａｓｓを分類する例を示す図である。 動きベクトルをｍｄ＿ｃｌａｓｓ値に変換する例を示す図である。 ｇｍ＿ｔｙｐｅの種類とその値を示す図である。 ピクチャーを４等分して構成された４個の四分面を示す図である。 １２個のｇｍ＿ｔｙｐｅによって四分面別代表方向を示す図である。 ｇｍ＿ｔｙｐｅを決定する具体的なアルゴリズムの例を示す図である。 ｇｍ＿ｔｙｐｅのうち８個の類型に対して、探索領域を優先領域とそれ以外の領域とに分割する方式を示す図である。 本発明の一実施形態による、ｇｍ＿ｔｙｐｅのうち四分面別に代表方向の異なる４類型を示す図である。 本発明の他の実施形態によるピクチャーを区分する方法を示す図である。 ｇｍ＿ｔｙｐｅのうち四分面別に代表方向の異なる４類型に対して、各セクション別に代表ベクトルを表示した図である。 図１３のｇｍ＿ｔｙｐｅによって、各セクション別に探索領域が異なって表示されることを示す図である。 ピクチャーの一部分の代表方向によって、残り部分の探索領域を設定する例を示す図である。 本発明の一実施形態による動き推定方法を示すフローチャートである。

符号の説明

１００ ビデオエンコーダ
１１０ 動き推定部
１１１ 探索領域設定部
１１２ 動きベクトル探索部
１１３ 動き分類部
１１４ グローバル動き判断部
１１５ バッファ
１２０ 動き補償部
１２５ 差分器
１３０ 変換部
１４０ 量子化部
１５０ エントロピー符号化部
１６０ 逆量子化部
１７０ 逆変換部
１７５ 加算器

Claims (28)

1. （ａ）以前ピクチャーが持つ動きベクトルから前記ピクチャーのグローバル動き類型を判断するステップと、
   （ｂ）前記グローバル動き類型に基づいて現在ピクチャーに含まれる所定の動きブロックに対する探索領域を設定するステップと、
   （ｃ）前記設定された探索領域内で動きベクトルを探索するステップと、を含む動き推定方法。
2. 前記（ａ）ステップは、
   （ａ１）前記以前ピクチャーが持つ動きベクトルが属する方向クラスを決定するステップと、
   （ａ２）前記方向クラスのうち所定の領域に属する方向クラスを代表する代表方向を決定するステップと、
   （ａ３）前記代表方向を参照して前記グローバル動き類型を判断するステップと、を含む請求項１に記載の動き推定方法。
3. 前記方向クラスは、３６０°を８等分する８個の方向を含む請求項２に記載の動き推定方法。
4. 前記所定の領域は、前記以前ピクチャーを４等分した領域のうち少なくとも一つである請求項２に記載の動き推定方法。
5. 前記代表方向は、前記所定の領域に属する方向クラスのうち頻度の最も高い方向クラスの方向である請求項２に記載の動き推定方法。
6. 前記代表方向は、前記所定の領域に属する方向クラスのうち、動きブロックの面積を加重した頻度の最大値を持つ方向クラスの方向である請求項２に記載の動き推定方法。
7. 前記８等分は、４個の直線ｙ＝ｋｘ、ｙ＝−ｋｘ、ｙ＝（１／ｍ）ｘ、及びｙ＝−（１／ｍ）ｘによって行われるが、前記ｋ及びｍは正の実数である請求項３に記載の動き推定方法。
8. 前記ｋ及びｍは、２である請求項７に記載の動き推定方法。
9. 前記グローバル動き類型は、８方向の並進運動類型と、２個の回転運動類型と、拡大運動類型及び縮小運動類型を含む請求項１に記載の動き推定方法。
10. 前記動きブロックは、１６×１６、１６×８、８×１６、８×８、８×４、４×８、及び４×４のうち一つの大きさを持つ請求項１に記載の動き推定方法。
11. 前記（ｂ）ステップは、
    （ｂ１）探索領域を設定するステップと、
    （ｂ２）前記グローバル動き類型に基づいて前記探索領域のうち優先的に動きベクトルを探索する優先領域を設定するステップと、を含む請求項１に記載の動き推定方法。
12. 前記優先領域は、前記探索領域のうち前記グローバル動き類型を考慮する時にエラーが最小となる可能性の大きい１／２領域を備える請求項１１に記載の動き推定方法。
13. 前記優先領域は、探索原点を含む請求項１２に記載の動き推定方法。
14. 前記エラーは、前記動きブロック及び前記動きブロックに対応する参照ピクチャー上イメージの間で計算されるＳＡＤまたはＭＡＤである請求項１２に記載の動き推定方法。
15. 前記グローバル動き類型がないと判断される場合に、前記（ｂ）ステップは、
    （ｂ３）現在ピクチャーのうち一部分に対して既探索された動きベクトルの代表方向を決定するステップと、
    （ｂ４）前記代表方向によって前記探索領域のうち優先領域を設定するステップと、をさらに含む請求項１１に記載の動き推定方法。
16. 前記一部分は、現在ピクチャーの第１四分面及び第２四分面である請求項１５に記載の動き推定方法。
17. 前記（ｃ）ステップは、
    （ｃ１）探索領域のうち優先領域に対して動きベクトルを探索するステップと、
    （ｃ２）前記探索結果、動きベクトルを見つけられなければ、前記探索領域のうち優先領域以外の領域に対して動きベクトルを探索するステップと、を含む請求項１に記載の動き推定方法。
18. 前記動きベクトルの発見如何は、前記動きブロック及び前記動きブロックに対応する参照ピクチャー上イメージの間で計算されるエラーが所定の臨界値より小さな場合の存否によって決定される請求項１７に記載の動き推定方法。
19. 参照ピクチャーを参照して現在ピクチャーの動きベクトルを求めるステップと、
    前記モーション推定結果で得られるモーションベクトルを利用して、参照ピクチャーをモーション補償して予測ピクチャーを生成するステップと、
    前記現在ピクチャーと前記予測ピクチャーとの差分を符号化するステップと、を含むビデオエンコーディング方法において、
    前記動きベクトルを求めるステップは、
    （ａ）以前ピクチャーが持つ動きベクトルから前記ピクチャーのグローバル動き類型を判断するステップと、
    （ｂ）前記グローバル動き類型に基づいて、現在ピクチャーに含まれる所定の動きブロックに対する探索領域を設定するステップと、
    （ｃ）前記設定された探索領域内で動きベクトルを探索するステップと、を含むビデオエンコーディング方法。
20. 前記符号化するステップは、前記差分を空間的変換して変換係数を生成するステップと、
    前記変換係数を所定の量子化ステップによって量子化して量子化係数を生成するステップと、
    前記量子化係数を無損失符号化するステップと、を含請求項１９に記載のビデオエンコーディング方法。
21. 前記（ａ）ステップは、
    （ａ１）前記以前ピクチャーが持つ動きベクトルが属する方向クラスを決定するステップと、
    （ａ２）前記方向クラスのうち所定の領域に属する方向クラスを代表する代表方向を決定するステップと、
    （ａ３）前記代表方向を参照して前記グローバル動き類型を判断するステップと、を含む請求項１９に記載のビデオエンコーディング方法。
22. 前記グローバル動き類型は、８方向の並進運動類型と、２個の回転運動類型と、拡大運動類型及び縮小運動類型を含む請求項１９に記載のビデオエンコーディング方法。
23. 前記動きブロックは、１６×１６、１６×８、８×１６、８×８、８×４、４×８、及び４×４のうち一つの大きさを持つ請求項１９に記載のビデオエンコーディング方法。
24. 前記（ｂ）ステップは、
    （ｂ１）探索領域を設定するステップと、
    （ｂ２）前記グローバル動き類型に基づいて前記探索領域のうち優先的に動きベクトルを探索する優先領域を設定するステップと、を含む請求項１９に記載のビデオエンコーディング方法。
25. 前記（ｃ）ステップは、
    （ｃ１）探索領域のうち優先領域に対して動きベクトルを探索するステップと、
    （ｃ２）前記探索結果、動きベクトルを見つけられなければ、前記探索領域のうち優先領域以外の領域に対して動きベクトルを探索するステップと、を含む請求項１９に記載のビデオエンコーディング方法。
26. 参照ピクチャーを参照して現在ピクチャーの動きベクトルを求めるモーション推定部と、前記モーション推定結果で得られるモーションベクトルを利用して、参照ピクチャーをモーション補償して予測ピクチャーを生成するモーション補償部と、前記現在ピクチャーと前記予測ピクチャーとの差分を符号化する手段と、を備えるビデオエンコーディング方法において、
    前記モーション推定部は、
    以前ピクチャーが持つ動きベクトルから前記ピクチャーのグローバル動き類型を判断するグローバル動き判断部と、
    前記グローバル動き類型に基づいて現在ピクチャーに含まれる所定の動きブロックに対する探索領域を設定する探索領域設定部と、
    前記設定された探索領域内で動きベクトルを探索する動きベクトル探索部と、を備えるビデオエンコーダ。
27. 前記符号化する手段は、前記差分を空間的変換して変換係数を生成変換部と、
    前記変換係数を所定の量子化ステップによって量子化して量子化係数を生成する量子化部と、
    前記量子化係数を無損失符号化するエントロピー符号化部と、を含む請求項２６に記載のビデオエンコーダ。
28. 請求項１に記載の方法を実行するためのコンピュータ可読プログラムを記録した記録媒体。

Images