JP2004242318A - 映像ブロック分割方法及びその装置 - Google Patents

Abstract

【課題】 映像ブロック分割方法及びその装置を提供する。
【解決手段】 ３次元映像の再現に利用される中間映像の合成の前提手順であるディスパリティ推定を行うにおいて、その推定の前段階である映像ブロックの分割がクワッドツリー時差推定方式を利用して行われる場合に合成された中間映像で発生するちらつきを除去できる新しい分割基準を提示して中間映像の画質を改善する方法及びその装置。これにより、本発明は既存のブロック分割方式とは違って分割において二重臨界値を設定し、現在処理対象ブロックの以前ブロックの分割如何情報を利用するために、ブロック（フレーム）間の非常に微細な変化に対しても高品質の３次元映像の再現のための中間映像を合成できる長所がある。
【選択図】 図２Ａ

Description

本発明は映像ブロック分割方法及びその装置に係り、特に、３次元映像の再現に利用される中間映像の合成の前提手順であるディスパリティ推定を行うにおいて、その推定の前段階である映像ブロックの分割がクワッドツリー時差推定方式を利用して行われる場合に合成された中間映像で発生するちらつきを除去できる新しい分割基準を提示して中間映像の画質を改善する方法及びその装置に関する。

人間に現実性及び自然性を提供する映像及び通信システムの具現のためには人間の視覚特性に合わせて自然に再現できる３次元映像処理技術の開発が必要である。映像の３次元処理は、人間が左眼と右眼との両眼で物体を認識するにおいて奥行感（深さの距離感）を相異なって感じるという両眼時差の原理を利用するが、このような両眼映像の処理及び伝送方式は次世代映像通信分野の主要関心事となっている。

しかし、現在利用される映像の大部分がカラー及び動映像という点と通信伝送線路上の伝送率及びシステムの処理速度を鑑みれば立体映像の大きい情報量が大きい問題となる。したがって、立体映像の画質を維持すると同時に多くの情報を容易かつ効率的に圧縮する方式についての研究が必要である。

このために一般的に二映像を独立的に符号化する代わり、左右映像が互いに高い相関関係を有するという点を利用して映像内物体の変移を推定し、この変移情報及び一つの（左または右）映像だけ伝送して受信端でこれを両眼映像に補償、復元する方式が研究されている。

また、観察者の視点が移動する場合や多数の観察者がいる時、自然な立体映像を見るためには多視点映像が必要である。しかし、多視点映像をいずれも独立的に伝送するならば情報量が過多に増加するために、両眼映像伝送システムの受信端で復元された両眼映像から多視点映像を再構成（Ｉｎｔｅｒｍｅｄｉａｔｅ Ｖｉｅｗ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ；ＩＶＲ）する方式、すなわち、中間映像を合成する方式が利用されている。この時、両眼映像間の変移情報を利用して中間時点映像の変移情報を探して中間的な内挿または外挿方式で再構成できる。

一方、３次元映像の圧縮、復元は２次元映像のそれに適用されるＭＰＥＧ方式を利用して行われるが、特にデジタル放送のための３次元映像の圧縮、伝送、復元においてはデジタル放送の基本規格であるＭＰＥＧ−２方式を使用する。

ＭＰＥＧ−２は既に公知のように２次元平面映像の圧縮に主に利用され、ブロック基盤の圧縮技法を使用するが、現在３次元映像の圧縮も主にこの技法を応用して行われ、今まで提示された３次元映像の圧縮方式のうち最も圧縮効率が良い方式として知られている。

ブロック基盤の圧縮技法は固定された大きさのブロック（代表的に１６×１６ピクセル）単位で行われるが、この固定された大きさのブロックをマクロブロックといい、圧縮は、マクロブロック単位で動きが推定された後、推定に対する結果値である動きベクトル及び推定エラーが算出されることによって行われる。

前記で言及したように３次元映像の観測者に立体感を感じさせるために両眼映像から中間映像が合成されるが、２次元映像でのように固定大きさのマクロブロックを使用する場合には中間映像画質の劣化が発生する恐れがあり、特に映像内境界のブラー発生による画質の劣化は深刻な問題である。

したがって、固定大きさのマクロブロックを境界付近ではさらに小さなブロック（サブブロック）に分割することによって画質の劣化を防止できるクワッドツリー時差推定方式が多く提案された（非特許文献１、２参照）。

クワッドツリー時差推定方式は、左眼映像と右眼映像それぞれのマクロブロックの平均絶対偏差（ＭＡＤ）と前記マクロブロックが４つに分割されたサブブロックのＭＡＤとをブロックマッチングを通じて計算して、マクロブロック内サブブロックのＭＡＤ比率Ｒ_{ｍａｄｓｕｂ１}（＝サブブロックの最大ＭＡＤ値／サブブロックの最小ＭＡＤ値）が所定の臨界値より小さな場合にはマクロブロック単位で両眼映像のディスパリティを推定し、大きい場合には前記各サブブロック単位でディスパリティを再推定する方式である。ＭＡＤを求める方式は前記非特許文献１、２を含む既存の多数の文献に詳細に説明されているため、その詳細な方式の説明は省略する。

図１Ａは、クワッドツリー時差推定方式において、従来のブロック分割アルゴリズムを提示した図である。

クワッドツリー時差推定方式は前記のようにＮ×Ｎマクロブロック内（Ｎ／２）×（Ｎ／２）サブブロックのＭＡＤ比率Ｒ_{ｍａｄｓｕｂ１}が所定の臨界値を超える時、前記マクロブロックを４個の（Ｎ／２）×（Ｎ／２）サブブロックに分割してサブブロック単位でディスパリティを推定する方式である。

クワッドツリー時差推定方式による従来のブロック分割過程をより詳細に説明する。

Ｎ×Ｎマクロブロック（ディスパリティ推定の最上位ブロックであって、以下、Ｌａｒｇｅ Ｍａｃｒｏ Ｂｌｏｃｋ（ＬＭＢ）と称する）が入力されれば（Ｓ１０）、両眼映像間ブロックマッチングを実施して両眼映像間のディスパリティを推定し、この推定が正確であるかどうかを検証する。推定の正確性はＲ_{ｍａｄｓｕｂ１}により判断できるが、Ｒ_{ｍａｄｓｕｂ１}はマクロブロック（上位ブロック）内サブブロック（下位ブロック）のＭＡＤを求めてこれの最大値ＭＡＤと最小値ＭＡＤとの比を示す値であって、この比が大きいほど推定が正確でない（ブロック内領域間のディスパリティ差が大きい）ことを意味する。最も正確な推定の場合（ブロック内領域間のディスパリティ差がほとんどない）にはＲ_{ｍａｄｓｕｂ１}が１の値に近接し、これはＲ_{ｍａｄｓｕｂ１}の最小値となる。

次にＬＭＢの分割如何の判別段階（Ｓ１１）が実施されるが、これはＲ_{ｍａｄｓｕｂ１}とＬＭＢの分割判別基準値である第１臨界値Ｒ_ｔｈ１との大小を判別して行われる。Ｒ_ｔｈ１は撮像された映像の状態によるシミュレーションにより定められる値である。

Ｒ_{ｍａｄｓｕｂ１}がＲ_ｔｈ１より小さいと判別されれば、これは両眼映像間のディスパリティがあまり高くないことを意味するが、ＬＭＢは分割されず（Ｓ１１１）ＬＭＢを単位としてディスパリティが推定された後（Ｓ１６）、その次のＬＭＢに対して分割如何の判別過程が進む（Ｓ１７）。

Ｒ_{ｍａｄｓｕｂ１}がＲ_ｔｈ１より大きいと判別されれば、マクロブロックは４個の（Ｎ／２）×（Ｎ／２）サブブロック（以下、Ｍｉｄｄｌｅ Ｓｕｂ Ｂｌｏｃｋ（ＭＳＢ）と称する）に分割され（Ｓ１２）、各ＭＳＢに対して分割如何の判別過程が進む（Ｓ１３）。各ＭＳＢの分割如何の判別は、ＭＳＢ内の他のサブブロック［（Ｎ／４）×（Ｎ／４）ブロックであり、以下、Ｓｍａｌｌ Ｓｕｂ Ｂｌｏｃｋ（ＳＳＢ）と称する］のＭＡＤをそれぞれ求め、これの最大値ＭＡＤと最小値ＭＡＤとの比Ｒ_{ｍａｄｓｕｂ２}を求めてＲ_{ｍａｄｓｕｂ２}とＭＳＢの分割判別基準値である第２臨界値Ｒ_ｔｈ２との大小を判別して行われる。Ｒ_ｔｈ２もＲ_ｔｈ１のように撮像された映像の状態によるシミュレーションにより定められる値である。

Ｒ_{ｍａｄｓｕｂ２}がＲ_ｔｈ２より小さいと判別されれば、ＭＳＢは分割されず（Ｓ１４）ＭＳＢを単位としてディスパリティが推定された後（Ｓ１６）、次のＬＭＢに対して分割如何の判別過程が進む（Ｓ１７）。Ｒ_{ｍａｄｓｕｂ２}がＲ_ｔｈ２より大きいと判別されれば、ＭＳＢは４個のＳＳＢに分割された後（Ｓ１５）、ＳＳＢを単位としてディスパリティが推定された後（Ｓ１６）、次のＬＭＢに対して分割如何の判別過程が進む（Ｓ１７）。

図１Ｂに、クワッドツリー時差推定方式による分割過程の進行による各映像ブロックが一例として提示されているが、本図面には映像フレームの大きさを７２０×２８８を基準とした各ブロックが提示された。図１Ｂに提示された映像ブロックは本発明が提供する分割方式にもそのまま適用される。また、分割処理の単位において、特に飛越走査方式の映像の場合にはフレームを単位としたりフィールドを単位とすることができる。

従来の分割アルゴリズムは、このように上位ブロック内下位ブロックのＭＡＤ比率が単一臨界値を超える時、上位ブロックを４個の下位ブロックに分割して再びディスパリティを推定するためにさらに精密な中間映像を獲得可能にする。

しかし、カメラの微細な揺れ、照明の変化及びホコリなどのノイズ成分により、動きがないか複雑度が低い（動きの少ない）映像に対してもディスパリティは微細な変化を起こす場合があるが、このような映像に該当するブロックは臨界値付近値に該当するので分割如何が随時変わる場合が多い。したがって、このような映像ブロックに対して中間映像を合成する場合にはディスパリティの推定が急変する。この時、従来のブロック分割アルゴリズムはＬＭＢからＭＳＢへの分割時に、ＭＳＢからＳＳＢへの分割時にそれぞれ単一の臨界値を適用するようになるので、合成された中間映像でちらつきが発生する短所がある。

また、従来のクワッドツリー時差推定方式のブロック分割アルゴリズムは、単一な臨界値を採択することによって中間映像の画質劣化、特に境界付近でちらつきが発生する現象は防止できない問題点を内包している。
１９９８ ＳＰＩＥ論文：Ａｎｔｈｏｎｙ Ｍａｎｃｉｎｉａｎｄ Ｊａｎｕｓｚ Ｋｏｎｒａｄ "Ｒｏｂｕｓｔ Ｑｕａｄｔｒｅｅ−ｂａｓｅｄ Ｄｉｓｐａｒｉｔｙ Ｅｓｔｉｍａｔｉｏｎ ｆｏｒ ｔｈｅ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｏｆ ＩｎｔｅｒｍｅｄｉａｔｅＳｔｅｒｅｏｓｃｏｐｉｃ Ｉｍａｇｅｓ" ＩＥＥＥ ０−７８０３−６６８５−９／０１ 論文：Ｄ．Ｒ．Ｃｌｅｗｅｒ "Ｅｆｆｉｃｉｅｎｔ Ｍｕｌｔｉｖｉｅｗ Ｉｍａｇｅ Ｃｏｍｐｒｅｓｓｉｏｎ Ｕｓｉｎｇ Ｑｕａｄｔｒｅｅ Ｄｉｓｐａｒｉｔｙ Ｅｓｔｉｍａｔｉｏｎ"

したがって、本発明は前記のような問題点を解決するために創案されたものであって、本発明の目的及び解決しようとする技術的課題は、クワッドツリー時差推定方式に適用されるマクロブロック（上位ブロック）のサブブロック（下位ブロック）への分割の新しい方案を提示して、３次元映像の再生処理に必要な中間映像を合成するに当って発生するちらつきを除去できる映像のブロック分割方法及びその装置を提供することである。

このような目的及び技術的課題を達成するために、本発明が提供するクワッドツリー時差推定方式によって左眼映像と右眼映像それぞれのマクロ映像ブロック（以下、マクロブロック）をサブ映像ブロック（以下、サブブロック）に分割し、前記各サブブロックを他のサブブロックに分割する映像のブロック分割方法は、（ａ）映像フレームのマクロブロックの分割臨界値を複数設定してサブブロックへの分割如何を判別する段階と、（ｂ）前記サブブロックの分割臨界値を複数設定して前記各サブブロックの他のサブブロックへの分割如何を判別する段階とを含むことを特徴とする。

望ましくは、前記（ａ）段階は、前記マクロブロックが属する映像フレームの以前フレームに属して前記マクロブロックと同一位置にあるマクロブロック（以下、以前マクロブロック）の分割如何を参照して行われることを特徴とする。

望ましくは、前記（ｂ）段階は、以前マクロブロックに属して前記サブブロックと同一位置にあるサブブロック（以下、以前サブブロック）の分割如何を参照して行われることを特徴とする。

また、前記のような目的及び技術的課題を達成するために本発明が提供する映像ブロックの分割の他の方法は、（ａ）映像フレームのマクロブロックをサブブロックに分割するマクロブロック分割臨界値を複数設定して、前記以前マクロブロックの分割如何により前記マクロブロックの分割如何を判別する段階と、（ｂ）前記サブブロックを他のサブブロックに分割するサブブロック分割臨界値を複数設定して、前記以前サブブロックの分割如何により前記サブブロックの前記さらに他のサブブロックへの分割如何を判別する段階とを含むことを特徴とする。

また、前記のような目的及び技術的課題を達成するために本発明が提供する映像ブロックの分割装置は、映像フレームのマクロブロックのサブブロックへの分割臨界値を複数設定して前記マクロブロックの分割如何を判別するマクロブロック分割判別部と、前記各サブブロックの他のサブブロックへの分割臨界値を複数設定して前記サブブロックの分割如何を判別するサブブロック分割判別部とを含むことを特徴とする。

また、前記のような目的及び技術的課題を達成するために本発明が提供する映像ブロックの他の分割装置は、映像フレームのマクロブロックをサブブロックに分割するマクロブロック分割臨界値を複数設定して、前記以前マクロブロックの分割如何により前記マクロブロックの分割如何を判別するマクロブロック分割判別部と、前記サブブロックを他のサブブロックに分割するサブブロック分割臨界値を複数設定して、前記以前サブブロックの分割如何により前記サブブロックの前記さらに他のサブブロックへの分割如何を判別するサブブロック分割判別部とを含むことを特徴とする。

本発明を実施すれば次のような効果がある。

本発明は既存のブロック分割方式とは違って分割において二重臨界値を設定し、現在処理対象ブロックの以前ブロックの分割如何情報を利用するために、ブロック（フレーム）間の非常に微細な変化に対しても高品質の３次元映像の再現のための中間映像を合成できる長所がある。

以下、本発明の構成、作用及び最適の実施例を添付図面を参照して本発明を詳細に説明するが、図面の構成要素に参照番号を付するにおいて、同一構成要素に対してはたとえ他の図面上にあったとしても同一参照番号を付し、当該図面の説明時に必要に応じて他の図面の構成要素を引用できることをあらかじめ明らかにする。

図２Ａは、本方法発明のフローチャートであり、図２Ｂ及び図２Ｃは、本方法発明の最適の実施例のフローチャートである。

マクロブロックの分割臨界値を複数設定してサブブロックへの分割如何を判別する段階（Ｓ２０）では、処理対象の最初のＮ×Ｎ ＬＭＢに対して複数の分割臨界値が設定された後、この分割臨界値によって分割如何が判別される。以下では理解の便宜のためにＮの値を１６として説明を進める（通常的にマクロブロックは１６×１６か８×８である）。

１６×１６ＬＭＢの分割臨界値は撮像された映像の状態によるシミュレーションにより定められる値であり、２つに設定されることが望ましいが、ＬＭＢの分割可能性臨界値Ｒ_ｔｈｕ１とＬＭＢの分割確定臨界値Ｒ_ｔｈｓ１とに設定されることが望ましい（Ｓ２０１）。ブロックの分割はディスパリティ推定の正確性のためのことであるので、臨界値はディスパリティ推定の基礎である前記ＭＡＤの比に基づいて設定されることが望ましい。本発明ではＬＭＢのＭＳＢへの分割時のＭＡＤ比をＲ_{ｍａｄｓｕｂ１}に、ＭＳＢのＳＳＢへの分割時のＭＡＤ比をＲ_{ｍａｄｓｕｂ２}と定める。

この時、１６×１６ ＬＭＢの分割如何の判別（Ｓ２０）は以前１６×１６ ＬＭＢブロックの分割如何を参照して行われることがさらに望ましい。

もちろん、以前１６×１６ ＬＭＢの処理結果を参照せずに前記臨界値だけでも分割如何の確定を決定できる。例えば、Ｒ_{ｍａｄｓｕｂ１}がＲ_ｔｈｕ１に近接した場合にはＬＭＢを未分割し、Ｒ_ｔｈｓ１に近接した場合にはＬＭＢを分割するなどのＲ_{ｍａｄｓｕｂ１}の所定の基準値を設定することによって分割如何の確定を決定できる。

それにもかかわらず、以前１６×１６ ＬＭＢの分割如何を参照する理由は、前記所定の基準値設定の曖昧さ及び映像データの属性に起因するが、映像データはフレーム（ブロック）間の情報がほとんど類似した傾向を見せる属性がある。したがって、現在フレーム（ブロック）の処理は、以前フレーム（ブロック）の処理結果により影響を受けるヒステリシス特性（履歴特性）を有し、本発明はこのような映像データの属性を利用して処理対象ＬＭＢの分割如何を確定する。以前ＬＭＢの分割如何参照の意義及び理由は後述する段階でさらに明らかになる。

１６×１６ＬＭＢの分割如何の判別（Ｓ２０）は、具体的に１６×１６ＬＭＢ内８×８サブブロック（８＊８ＭＳＢ）のＭＡＤの最大値と最小値との比Ｒ_{ｍａｄｓｕｂ１}とＲ_ｔｈｕ１との大小を判別してＬＭＢの分割可能性を判別する段階（Ｓ２０２）と、Ｓ２０２段階の大小判別結果、Ｒ_{ｍａｄｓｕｂ１}が大きい場合には前記Ｒ_ｔｈｕ１、Ｒ_{ｍａｄｓｕｂ１}、Ｒ_ｔｈｓ１を比較してＬＭＢの分割如何を確定する段階（Ｓ２０３）とに分けられる。

ＬＭＢの分割可能性を判別する段階（Ｓ２０２）ではＬＭＢの臨界値Ｒ_ｔｈｕ１、Ｒ_ｔｈｓ１）が設定（Ｓ２０１）された後、Ｒ_{ｍａｄｓｕｂ１}がＲ_ｔｈｕ１より小さいかどうかを判別するが（Ｓ２０２）、もし小さいと判別されればこれはディスパリティの推定が正しくなされたこと（分割可能性がない）を意味してＬＭＢの未分割が最終確定される。

Ｓ２０２段階の判別結果、Ｒ_{ｍａｄｓｕｂ１}がＲ_ｔｈｕ１より大きいと、すなわち、分割可能性があると判別されればＬＭＢの分割如何の確定段階（Ｓ２０３）が行われるが、本発明は従来とは違ってＬＭＢが分割可能性がないと判別されても直ちに分割対象として確定せずに分割如何を確定する段階（Ｓ２０３）をさらに経る方式を採択する。

ＬＭＢの分割如何を確定するに当って本段階（Ｓ２０３）は、先ずＲ_{ｍａｄｓｕｂ１}がＲ_ｔｈｕ１とＬＭＢの分割確定臨界値Ｒ_ｔｈｓ１間に存在するかどうかを判別する（Ｓ２０３１）。存在しないと判別されればこれはＲ_{ｍａｄｓｕｂ１}がＲ_ｔｈｓ１より大きいことを意味するので、ＬＭＢの分割が確定されてＭＳＢに分割され、ＭＳＢの分割如何を判別する段階（Ｓ２１）に進む。

Ｒ_{ｍａｄｓｕｂ１}がＲ_ｔｈｕ１とＲ_ｔｈｓ１間に存在すると判別されれば、これはＬＭＢの分割または分割可能性があることを意味するが、その可能性の確定判別の正確性を追求するために、本発明では処理対象ＬＭＢが属している映像フレームの以前フレームに属してＬＭＢと同一位置にあるＬＭＢ（以下、以前ＬＭＢ）の分割如何を判別する段階（Ｓ２０３２）をさらに含め、以前ＬＭＢの分割如何を参照して処理対象ＬＭＢの分割または分割如何を確定する。

上で言及したように以前ＬＭＢの分割如何を参照する理由はＳ２０３段階を通じてさらに明らかになるが、特に、処理対象ＬＭＢの分割処理如何の確定が曖昧な場合にその意義がある。すなわち、Ｒ_{ｍａｄｓｕｂ１}がＲ_ｔｈｕ１とＲ_ｔｈｓ１間に存在する場合は従来技術で言及したようにディスパリティの微細変化が発生した場合であるが、このような映像に該当するブロックは分割臨界値付近値に該当するために分割如何の確定が曖昧な場合が多い。したがって、このような映像ブロックに対して無条件分割または未分割して中間映像を合成する場合にはちらつきが発生する恐れがあるので、以前ＬＭＢの分割如何を参照することによって分割如何確定判別の正確性を追求できる。

Ｒ_{ｍａｄｓｕｂ１}がＲ_ｔｈｕ１とＲ_ｔｈｓ１間に存在する場合（現在ＬＭＢの分割如何が曖昧な場合）に、以前ＬＭＢが分割されたと判別されれば現在のＬＭＢは分割対象として確定され、分割されていないと判別されれば現在のＬＭＢは未分割対象として確定される。Ｒ_{ｍａｄｓｕｂ１}がＲ_ｔｈｕ１とＲ_ｔｈｓ１間に存在する場合、現在のＬＭＢを無条件分割することとすれば、不要な分割によってかえって分割以後に合成される中間映像の画質が低下する恐れがあるので、以前ＬＭＢの分割如何を参照することによって不要な分割を防止できる。

以前ＬＭＢの分割如何を参照するためには、本発明が具現されるシステムに以前ＬＭＢの分割処理結果を保存するための別途の保存手段（図示せず）が必要であり、前記処理結果は、一例として下記の表１に提示されたようにテーブル状に保存できる。表１は、具体的には１フレーム当り７２０×２８８画素の映像を８１０個の１６×１６大きさのマクロブロック（ＭＳＢ）に分割した場合の以前ブロック分割情報である。

表１で‘０’は分割されていないことを意味し、‘１’は分割されたことを意味する。ＭＳＢ１〜ＭＳＢ４は各ＬＭＢのサブブロックを意味し、提示された以前ブロック分割情報は次のＬＭＢの分割如何の判別過程開始時に現在のＬＭＢ処理結果にアップデートされる。

ＬＭＢの分割如何が判別されれば、ＭＳＢの分割如何を判別する段階（Ｓ２１）が行われる。

サブブロックの分割臨界値を複数設定してサブブロックの他のサブブロックへの分割如何を判別する段階（Ｓ２１）では、処理対象の最初の１６×１６ＬＭＢがＳ２０段階により分割された８×８ ＭＳＢに対して複数の分割臨界値が設定された後、この分割臨界値によって分割如何が判別される。

この時、ＭＳＢの分割臨界値は、ＬＭＢの分割臨界値と同じく撮像された映像の状態によるシミュレーションにより定められる値であり、２つに設定されることが望ましいが、ＭＳＢの分割可能性臨界値Ｒ_ｔｈｕ２とＭＳＢの分割確定臨界値Ｒ_ｔｈｓ２とに設定されることが望ましい（Ｓ２１１）。ブロックの分割はディスパリティ推定の正確性のためことであるので、分割臨界値はＬＭＢの分割と同じく前記ＭＡＤの比に基づいて設定されることが望ましい。

この時、８×８ ＭＳＢの分割如何の判別（Ｓ２１）は、ＬＳＢ分割の場合と同じく以前８×８ ＭＳＢブロックの分割如何を参照して行われることがさらに望ましい。以前８×８ ＭＳＢの分割如何を参照する背景及び理由はＬＳＢ分割の場合と同一であるので説明を省略する。

８×８ ＭＳＢの分割如何の判別（Ｓ２１）は、具体的に８×８ ＭＳＢ内のさらに他の４×４ ＳＳＢのＭＡＤの最大値と最小値との比Ｒ_{ｍａｄｓｕｂ２}とＲ_ｔｈｕ２との大小を判別してＭＳＢの分割可能性を判別する段階（Ｓ２１２）と、Ｓ２１２段階の大小判別結果、Ｒ_{ｍａｄｓｕｂ２}が大きい場合には前記Ｒ_ｔｈｕ２、Ｒ_{ｍａｄｓｕｂ２}、Ｒ_ｔｈｓ２を比較してＭＳＢの分割如何を確定する段階（Ｓ２１３）とに分けられる。

ＭＳＢの分割可能性を判別する段階（Ｓ２１２）では、ＭＳＢの分割臨界値Ｒ_ｔｈｕ２、Ｒ_ｔｈｓ２が設定（Ｓ２１１）された後、Ｒ_{ｍａｄｓｕｂ２}がＲ_ｔｈｕ２より小さいかどうかを判別（Ｓ２１２）するが、もし小さいと判別されればこれはディスパリティの推定が正しくなされたこと（分割可能性がない）を意味してＭＳＢの未分割が最終確定される。

Ｓ２１２段階の判別結果、Ｒ_{ｍａｄｓｕｂ２}がＲ_ｔｈｕ２より大きいと、すなわち、分割可能性があると判別されれば、ＭＳＢの分割如何の確定段階（Ｓ２１３）が行われるが、本発明は従来とは違ってＭＳＢが分割可能性がないと判別されても直ちに分割対象として確定せずに分割如何を確定する段階（Ｓ２１３）をさらに経る方式を採択する。

ＭＳＢの分割如何の確定において、本段階（Ｓ２１３）は先ずＲ_{ｍａｄｓｕｂ２}がＲ_ｔｈｕ２とＭＳＢの分割確定臨界値Ｒ_ｔｈｓ２間に存在するかどうかを判別する（Ｓ２１３１）。存在しないと判別されればこれはＲ_{ｍａｄｓｕｂ２}がＲ_ｔｈｓ２より大きいことを意味するので、ＭＳＢの分割が確定されて４個のＳＳＢに分割され、次のＬＭＢの分割如何の判別過程が進む。

Ｒ_{ｍａｄｓｕｂ２}がＲ_ｔｈｕ２とＲ_ｔｈｓ２間に存在すると判別されれば、これはＭＳＢの分割可能性があることを意味するが、その可能性の確定判別の正確性を追求するためにＬＳＢの分割の場合のように、本発明では以前ＬＭＢに属して現在のＭＳＢと同一位置にあるＭＳＢ（以下、以前ＭＳＢ）の分割如何を判別する段階（Ｓ２１３２）をさらに含み、以前ＭＳＢの分割如何を参照して処理対象ＭＳＢの分割如何を確定する。

前記のように以前ＭＳＢの分割如何を参照する理由は、Ｓ２１３段階を通じてさらに明らかになるが、特に処理対象ＭＳＢの分割処理如何の確定が曖昧な場合にその意義がある。すなわち、Ｒ_{ｍａｄｓｕｂ２}がＲ_ｔｈｕ２とＲ_ｔｈｓ２間に存在する場合は従来技術で言及したようにディスパリティの微細変化が発生する場合であるが、このような映像に該当するブロックは分割臨界値付近値に該当するので分割如何の確定が曖昧な場合が多い。したがって、このような映像ブロックに対して無条件分割または未分割した後、中間映像を合成する場合にはちらつきが発生する恐れがあるので、以前ＬＭＢの分割如何を参照することによって分割如何確定判別の正確性を追求できる。

Ｒ_{ｍａｄｓｕｂ２}がＲ_ｔｈｕ２とＲ_ｔｈｓ２間に存在する場合（現在ＭＳＢの分割如何が曖昧な場合）に、以前ＭＳＢが分割されたと判別されれば現在のＭＳＢは分割対象として最終確定され、分割されていないと判別されれば現在のＭＳＢは未分割対象として最終確定される。Ｒ_{ｍａｄｓｕｂ２}がＲ_ｔｈｕ２とＲ_ｔｈｓ２間に存在する場合に現在のＭＳＢを無条件分割することとすれば、不要な分割によってかえって分割以後に合成される中間映像の画質が低下する恐れがあるので、以前ＭＳＢの分割如何を参照することによって不要な分割を防止できる。

以前ＭＳＢの分割如何を参照するためには、本発明が具現されるシステムに以前ＭＳＢの分割処理結果を保存するための別途の保存手段（図示せず）が必要であり、前記処理結果は、一例として上記の表１に提示されたようにテーブル状に保存できる。

表１に提示された以前ブロック分割情報は、次のＬＭＢの分割如何の判別過程開始時に現在のＬＭＢ処理結果にアップデートされる。

分割対象として確定されたＭＳＢは４個のＳＳＢに分割されることによってＭＳＢの分割如何の判別過程が終わり、次のＬＭＢに対して前記の分割処理過程が進む。

図３Ａは、本装置発明の構成図であり、図３Ｂ及び図３Ｃは、本装置発明の最適の実施例の構成図である。

マクロブロックの分割臨界値を複数設定してサブブロックへの分割如何を判別するマクロブロック分割判別部３０は、処理対象の最初のＮ×Ｎ ＬＭＢに対して複数の分割臨界値を設定した後、この分割臨界値によってＬＭＢの分割如何を判別する。以下では、本方法発明での場合と同じくＮの値を１６として説明を進める。

１６×１６ ＬＭＢの分割臨界値は撮像された映像の状態によるシミュレーションにより定められる値であり、本方法発明と同じく２つに設定されることが望ましいが、ＬＭＢの分割可能性臨界値Ｒ_ｔｈｕ１とＬＭＢの分割確定臨界値Ｒ_ｔｈｓ１とに設定されることが望ましい。ブロックの分割はディスパリティ推定の正確性のためであり、分割臨界値はディスパリティ推定の基礎であるＭＡＤの比に基づいて設定されることが望ましい。本装置発明においても、本方法発明との一貫性を維持するためにＬＭＢのＭＳＢへの分割時のＭＡＤ比をＲ_{ｍａｄｓｕｂ１}に、ＭＳＢのＳＳＢへの分割時のＭＡＤ比をＲ_{ｍａｄｓｕｂ２}に定める。

この時、１６×１６ ＬＭＢの分割如何の判別は以前１６×１６ ＬＭＢブロックの分割如何を参照して行われることがさらに望ましいが、その理由及び背景は本方法発明の場合と同一であるので説明を省略する。

１６×１６ ＬＭＢの分割如何の判別部３０は、１６×１６ ＬＭＢ内８×８ ＭＳＢのＭＡＤの最大値と最小値との比Ｒ_{ｍａｄｓｕｂ１}とＲ_ｔｈｕ１との大小を判別してＬＭＢの分割可能性を判別するＬＭＢ分割可能性判別部３０１と、前記大小判別結果、Ｒ_{ｍａｄｓｕｂ１}が大きい場合には前記Ｒ_ｔｈｕ１、Ｒ_{ｍａｄｓｕｂ１}、Ｒ_ｔｈｓ１を比較してＬＭＢの分割如何を確定するＬＭＢ分割確定部３０２とに分けられる。

ＬＭＢ分割可能性判別部３０１は、ＬＭＢの分割臨界値Ｒ_ｔｈｕ１、Ｒ_ｔｈｓ１を設定した後、Ｒ_{ｍａｄｓｕｂ１}がＲ_ｔｈｕ１より小さいかどうかを判別するが、もし小さいと判別すれば、これはＬＭＢの分割可能性がないことを意味するので、ＬＭＢは未分割される。

ＬＭＢ分割可能性判別部３０１が、Ｒ_{ｍａｄｓｕｂ１}がＲ_ｔｈｕ１より大きいと、すなわち、ＬＭＢが分割可能性があると判別すれば、ＬＭＢ分割確定部３０２はＬＭＢの分割如何を確定するが、先ず以前ＬＭＢ分割判別部３０２１はＲ_{ｍａｄｓｕｂ１}がＲ_ｔｈｕ１とＬＭＢの分割確定臨界値Ｒ_ｔｈｓ１間に存在するかどうかを判別した後、以前ＬＭＢが分割されたかどうかを判別する。存在しないと判別されれば、これはＲ_{ｍａｄｓｕｂ１}がＲ_ｔｈｓ１より大きいことを意味するので、ＬＭＢ分割最終確定部３０２２はＬＭＢの分割を確定する。

以前ＬＭＢ分割判別部３０２１によりＲ_{ｍａｄｓｕｂ１}がＲ_ｔｈｕ１とＲ_ｔｈｓ１間に存在すると判別されれば、ＬＭＢ分割最終確定部３０２２は、以前ＬＭＢ分割判別部３０２１により判別された以前ＬＭＢの分割如何を参照して処理対象ＬＭＢの分割または未分割如何を確定する。

前記のように、以前ＬＭＢの分割如何の参照は、特に処理対象ＬＭＢの分割処理如何の確定が曖昧な場合にその意義がある。すなわち、Ｒ_{ｍａｄｓｕｂ１}がＲ_ｔｈｕ１とＲ_ｔｈｓ１間に存在する場合は従来技術で言及したようにディスパリティの微細変化が発生した場合であるが、このような映像に該当するブロックは分割臨界値付近値に該当するので分割如何の確定が曖昧な場合が多い。したがって、このような映像ブロックに対して無条件分割または未分割した後に中間映像を合成する場合にはちらつきが発生する恐れがあるので、以前ＬＭＢの分割如何を参照することによって分割如何の確定判別の正確性を追求できる。

Ｒ_{ｍａｄｓｕｂ１}がＲ_ｔｈｕ１とＲ_ｔｈｓ１間に存在する場合に、以前ＬＭＢ分割判別部３０２１により以前ＬＭＢが分割されたと判別されれば、ＬＭＢ分割最終確定部３０２２は現在のＬＭＢを分割対象として最終確定し、分割されていないと判別されれば現在のＬＭＢを未分割対象として最終確定する。Ｒ_{ｍａｄｓｕｂ１}がＲ_ｔｈｕ１とＲ_ｔｈｓ１間に存在する場合、現在のＬＭＢを無条件分割することとすれば、不要な分割によってかえって分割以後に合成される中間映像の画質が低下する恐れがあるので、以前ＬＭＢの分割如何を参照することによって不要な分割を防止できる。

以前ＬＭＢの分割如何を参照するためには、本発明が具現されるシステムに以前ＬＭＢの分割処理結果を保存するための分割情報保存部３２が必要であり、前記処理結果は一例として上の表１に提示されたようにテーブル状に保存される。

ＬＭＢの分割如何が判別されれば、サブブロック分割判別部３１によりＭＳＢの分割如何を判別する。

ＭＳＢの分割臨界値を複数設定してＭＳＢの他のＭＳＢへの分割如何を判別するＭＳＢ分割判別部３１は、処理対象の最初の１６×１６ ＬＭＢがＬＭＢ分割判別部３１により分割された８×８ ＭＳＢに対して複数の分割臨界値を設定した後、この分割臨界値によってＭＳＢの分割如何を判別する。

８×８ ＭＳＢの分割臨界値は、ＬＭＢの分割臨界値と同じく撮像された映像の状態によるシミュレーションにより定められる値であり、本方法発明と同じく２つに設定されることが望ましいが、ＭＳＢの分割可能性臨界値Ｒ_ｔｈｕ２とＭＳＢの分割確定臨界値Ｒ_ｔｈｓ２とに設定されることが望ましい。ブロックの分割はディスパリティ推定の正確性のためのことであるため、ＭＳＢの分割臨界値は前記ＭＡＤの比に基づいて設定されることが望ましい。

この時、８×８ ＭＳＢの分割如何の判別は、以前８×８ ＭＳＢブロックの分割如何を参照して行われることがさらに望ましいが、その理由及び背景は方法発明の場合と同一であるので説明を省略する。

８×８ ＭＳＢ分割如何の判別部３１は、８×８ ＭＳＢ内の他の４×４サブブロック（８×８ ＭＳＢ）のＭＡＤの最大値と最小値との比Ｒ_{ｍａｄｓｕｂ２}とＲ_ｔｈｕ２との大小を判別してＭＳＢの分割可能性を判別するＭＳＢ分割可能性判別部３１１と、前記大小判別結果、Ｒ_{ｍａｄｓｕｂ２}が大きい場合にはＲ_ｔｈｕ２、Ｒ_{ｍａｄｓｕｂ２}、Ｒ_ｔｈｓ２を比較してＭＳＢの分割如何を確定するＭＳＢ分割確定部３１２とに分けられる。

ＭＳＢ分割可能性判別部３１１はＭＳＢの分割臨界値Ｒ_ｔｈｕ２、Ｒ_ｔｈｓ２を設定した後、Ｒ_{ｍａｄｓｕｂ２}がＲ_ｔｈｕ２より小さいかどうかを判別するが、もし小さいと判別すれば、これはＭＳＢの分割可能性がないことを意味するので、ＭＳＢは未分割される。

ＭＳＢ分割可能性判別部３１１がＲ_{ｍａｄｓｕｂ２}がＲ_ｔｈｕ２より大きいと、すなわち、ＭＳＢが分割可能性があると判別すれば、ＭＳＢ分割確定部３１２はＭＳＢの分割如何を確定するが、先ず、以前ＭＳＢ分割判別部３１２１は、Ｒ_{ｍａｄｓｕｂ２}がＲ_ｔｈｕ２とＭＳＢの分割確定臨界値Ｒ_ｔｈｓ２間に存在するかどうかを判別した後、以前マクロブロックが分割されたかどうかを判別する。存在しないと判別されれば、これはＲ_{ｍａｄｓｕｂ２}がＲ_ｔｈｓ２より大きいことを意味するので、ＭＳＢ分割最終確定部３１２２はＭＳＢの分割を確定する。

以前ＭＳＢ分割判別部３１２１によりＲ_{ｍａｄｓｕｂ２}がＲ_ｔｈｕ２とＲ_ｔｈｓ２間に存在すると判別されれば、ＭＳＢ分割最終確定部３１２２は以前ＭＳＢ分割判別部３１２１により判別された以前ＭＳＢの分割如何を参照して処理対象ＭＳＢの分割または未分割如何を確定する。

前記のように以前ＭＳＢの分割如何の参照は、特に処理対象ＭＳＢの分割処理如何の確定が曖昧な場合にその意義がある。すなわち、Ｒ_{ｍａｄｓｕｂ２}がＲ_ｔｈｕ２とＲ_ｔｈｓ２間に存在する場合は、従来技術で言及したようにディスパリティの微細変化が発生した場合であるが、このような映像に該当するブロックは分割臨界値付近値に該当するので分割如何確定が曖昧な場合が多い。したがって、このような映像ブロックに対して無条件分割または未分割した後に中間映像を合成する場合にはちらつきが発生する恐れがあるので、以前ＭＳＢの分割如何を参照することによって分割如何確定判別の正確性を追求できる。

Ｒ_{ｍａｄｓｕｂ２}がＲ_ｔｈｕ２とＲ_ｔｈｓ２間に存在する場合に、以前ＭＳＢ分割判別部３１２１により以前ＭＳＢが分割されたと判別されれば、ＭＳＢ分割最終確定部３１２２は現在のＭＳＢを分割対象として最終確定し、分割されていないと判別されれば現在のＭＳＢを未分割対象として最終確定する。Ｒ_{ｍａｄｓｕｂ２}がＲ_ｔｈｕ２とＲ_ｔｈｓ２間に存在する場合、現在のＭＳＢを無条件分割するとすれば、不要な分割によってかえって分割以後に合成される中間映像の画質が低下する恐れがあるので、以前ＭＳＢの分割如何を参照することによって不要な分割を防止できる。

以前ＭＳＢの分割如何を参照するためには、本発明が具現されるシステムに以前ＭＳＢの分割処理結果を保存するための分割情報保存部３２が必要であり、前記処理結果は一例として上記の表１に提示されたようにテーブル状に保存される。

表１に提示された以前ブロック分割情報は、次のＬＭＢの分割如何の判別過程開始時に現在のＬＭＢ処理結果にアップデートされる。

分割対象として確定されたＭＳＢは４個のＳＳＢに分割されることによってＭＳＢの分割如何の判別過程が終わり、次のＬＭＢに対して前記分割処理過程が進む。

本方法発明は、コンピュータで再生できる記録媒体にコンピュータが読取れるコードとして具現することができる。コンピュータで再生できる記録媒体はコンピュータシステムによって再生できるデータが保存されるあらゆる記録装置を含む。

コンピュータが再生できる記録媒体の例には、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気分テープ、フロッピー（登録商標）ディスク、光データ保存装置などがあり、またキャリアウェーブ（例えば、インターネットによる伝送）の形で具現されるものも含む。またコンピュータで再生できる記録媒体は、ネットワークに連結されたコンピュータシステムに分散されて分散方式でコンピュータが読取れるコードが保存されかつ実行される。

今まで本発明について望ましい実施例を中心として説明した。当業者であれば、本発明が本発明の本質的な特性から離脱しない範囲で変形された形態に具現されることを理解できる。本実施例には３次元映像の再現のための中間映像に適用される場合及び２ステップの分割過程（ＬＭＢ→ＭＳＢ→ＳＳＢ）だけ提示されているが、本発明によれば、マクロブロックの大きさによって分割過程は２ステップ以上でも具現可能であり、合わせて一般映像処理にも適用できる。したがって、開示された実施例は限定的な観点ではなく説明的な観点で考慮されねばならない。本発明の範囲は前述した説明ではなく特許請求の範囲に現れており、それと同等な範囲内にあるあらゆる差異点は本発明に含まれていると解釈されねばならない。

本発明は、映像信号の再現に利用される装置及び方法に係り、一般的にはデジタルテレビ、デジタルカメラ、ＤＶＤなど映像再生機器に適用されうる。

従来のブロック分割フローチャートである。 クワッドツリー時差推定方式による分割過程の進行にしたがう各映像ブロックを示した図である。 本方法発明のフローチャートである。 図２ＡのＳ２０段階の最適の実施例のフローチャートである。 図２ＡのＳ２１段階の最適の実施例のフローチャートである。 本装置発明の構成図である。 図３ＡのＬＭＢ分割判別部の最適の実施例の構成図である。 図３ＡのＭＳＢ分割判別部の最適の実施例の構成図である。

符号の説明

Ｓ２０ マクロブロック分割如何の判別段階
Ｓ２１ サブブロック分割如何の判別段階
Ｓ２０２ マクロブロック未分割如何の確定段階
Ｓ２０３ マクロブロック分割如何の確定段階
Ｓ２１２ サブブロック未分割如何の確定段階
Ｓ２１３ サブブロック分割如何の確定段階
３０ ＬＭＢ分割判別部
３０１ ＬＭＢ分割可能性判別部
３０２ ＬＭＢ分割確定部
３１ ＭＳＢ分割判別部
３１１ 分割可能性判別部
３１２ 分割確定部

Claims (30)

1. （ａ）映像フレームのマクロブロックの分割臨界値を複数設定してサブブロックへの分割如何を判別する段階と、
   （ｂ）前記サブブロックの分割臨界値を複数設定して前記各サブブロックの他のサブブロックへの分割如何を判別する段階とを含むことを特徴とする映像ブロックの分割方法。
2. 前記（ａ）段階は、
   前記映像フレームの以前フレームに属して前記マクロブロックと同一位置にあるマクロブロックの分割如何を参照して行われることを特徴とする請求項１に記載の映像ブロックの分割方法。
3. 前記（ｂ）段階は、
   前記映像フレームの以前フレームに属して前記サブブロックと同一位置にあるサブブロックの分割如何を参照して行われることを特徴とする請求項１に記載の映像ブロックの分割方法。
4. 前記（ａ）段階は、
   （ａ１）前記マクロブロック内サブブロックのＭＡＤの最大値と最小値との比と、前記マクロブロックの分割可能性臨界値との大小を判別して前記マクロブロックの分割可能性を判別する段階と、
   （ａ２）前記（ａ１）段階の大小の判別結果、前記ＭＡＤの最大値と最小値との比が前記マクロブロックの分割可能性臨界値より大きい場合には、前記マクロブロックの分割可能性臨界値、ＭＡＤの最大値と最小値との比、前記マクロブロックの分割確定臨界値を比較して前記マクロブロックの分割如何を確定する段階とを含むことを特徴とする請求項１または２に記載の映像ブロックの分割方法。
5. 前記（ｂ）段階は、
   （ｂ１）前記さらに他のサブブロックのＭＡＤの最大値と最小値との比と、前記サブブロックの分割可能性臨界値との大小を判別して前記サブブロックの分割可能性を判別する段階と、
   （ｂ２）前記（ｂ１）段階の大小の判別結果、前記ＭＡＤの最大値と最小値との比が前記サブブロックの分割可能性臨界値より大きい場合には、前記サブブロックの分割可能性臨界値、ＭＡＤの最大値と最小値との比、前記サブブロックの分割確定臨界値を比較して前記サブブロックの分割如何を確定する段階とを含むことを特徴とする請求項１または３に記載の映像ブロックの分割方法。
6. 前記（ａ２）段階は、
   （ａ２１）前記ＭＡＤの最大値と最小値との比が前記マクロブロックの分割可能性臨界値と前記マクロブロックの分割確定臨界値間に存在するかどうかを判別する段階と、
   （ａ２２）前記（ａ２１）段階の判別結果、存在すると判別される場合には前記以前マクロブロックが分割されたかどうかを判別する段階と、
   （ａ２３）前記（ａ２２）段階の判別結果、分割されていないと判別される場合には前記マクロブロックの未分割が最終確定され、分割されたと判別される場合には前記マクロブロックの分割が最終確定される段階とを含むことを特徴とする請求項４に記載の映像ブロックの分割方法。
7. 前記（ｂ２）段階は、
   （ｂ２１）前記ＭＡＤの最大値と最小値との比が前記サブブロックの分割可能性臨界値と前記サブブロックの分割確定臨界値間に存在するかどうかを判別する段階と、
   （ｂ２２）前記（ｂ２１）段階の判別結果、存在すると判別される場合には前記以前サブブロックが分割されたかどうかを判別する段階と、
   （ｂ２３）前記（ｂ２２）段階の判別結果、分割されていないと判別される場合には前記サブブロックの未分割が最終確定され、分割されたと判別される場合には前記サブブロックの分割が最終確定される段階とを含むことを特徴とする請求項５に記載の映像ブロックの分割方法。
8. 前記映像フレームは３次元映像の再現のための両眼映像フレームであることを特徴とする請求項１ないし３のうちいずれか一項に記載の映像ブロックの分割方法。
9. 前記分割はクワッドツリー時差推定方式による分割であることを特徴とする請求項１ないし３のうちいずれか一項に記載の映像ブロックの分割方法。
10. （ａ）映像フレームのマクロブロックをサブブロックに分割するマクロブロック分割臨界値を複数設定して、前記映像フレームの以前フレームに属して前記マクロブロックと同一位置にあるマクロブロックの分割如何により前記マクロブロックの分割如何を判別する段階と、
    （ｂ）前記サブブロックをさらに他のサブブロックに分割するサブブロック分割臨界値を複数設定して、前記以前マクロブロックに属して前記サブブロックと同一位置のサブブロックの分割如何により前記サブブロックの前記さらに他のサブブロックへの分割如何を判別する段階とを含むことを特徴とする映像ブロックの分割方法。
11. 前記（ａ）段階は、
    （ａ１）前記マクロブロック内サブブロックのＭＡＤの最大値と最小値との比と、前記マクロブロックの分割可能性臨界値との大小を判別して前記マクロブロックの分割可能性を判別する段階と、
    （ａ２）前記ＭＡＤの最大値と最小値との比が前記マクロブロックの分割可能性臨界値と前記マクロブロックの分割確定臨界値間に存在するかどうかを判別する段階と、
    （ａ３）前記（ａ２）段階の判別結果、存在すると判別される場合には前記以前マクロブロックが分割されたかどうかを判別する段階と、
    （ａ４）前記（ａ３）段階の判別結果、分割されていないと判別される場合には前記マクロブロックの未分割が最終確定され、分割されたと判別される場合には前記マクロブロックの分割が最終確定される段階とを含むことを特徴とする請求項１０に記載の映像ブロックの分割方法。
12. 前記（ｂ）段階は、
    （ｂ１）前記さらに他のサブブロックのＭＡＤの最大値と最小値との比と、前記サブブロックの分割可能性臨界値との大小を判別して前記サブブロックの分割可能性を判別する段階と、
    （ｂ２）前記ＭＡＤの最大値と最小値との比が前記サブブロックの分割可能性臨界値と前記サブブロックの分割確定臨界値間に存在するかどうかを判別する段階と、
    （ｂ３）前記（ｂ２）段階の判別結果、存在すると判別される場合には前記以前サブブロックが分割されたかどうかを判別する段階と、
    （ｂ４）前記（ｂ３）段階の判別結果、分割されていないと判別される場合には前記サブブロックの未分割が最終確定され、分割されたと判別される場合には前記サブブロックの分割が最終確定される段階とを含むことを特徴とする請求項１０に記載の映像ブロックの分割方法。
13. 前記映像フレームは３次元映像再現のための両眼映像フレームであることを特徴とする請求項１０ないし１２のうちいずれか一項に記載の映像ブロックの分割方法。
14. 前記分割はクワッドツリー時差推定方式による分割であることを特徴とする請求項１０ないし１２のうちいずれか一項に記載の映像ブロックの分割方法。
15. 請求項１または１０のうちいずれか一項の方法をコンピュータで判読でき、実行可能なプログラムコードで記録した記録媒体。
16. 映像フレームのマクロブロックのサブブロックへの分割臨界値を複数設定して前記マクロブロックの分割如何を判別するマクロブロック分割判別部と、
    前記各サブブロックのさらに他のサブブロックへの分割臨界値を複数設定して前記サブブロックの分割如何を判別するサブブロック分割判別部とを含むことを特徴とする映像ブロックの分割装置。
17. 前記マクロブロック分割判別部は、
    前記映像フレームの以前フレームに属して前記マクロブロックと同一位置にあるマクロブロックの分割如何を参照して前記マクロブロックの分割如何を判別することを特徴とする請求項１６に記載の映像ブロックの分割装置。
18. 前記サブブロック分割判別部は、
    前記映像フレームの以前フレームに属して前記サブブロックと同一位置にあるサブブロックの分割如何を参照して前記サブブロックの分割如何を判別することを特徴とする請求項１６に記載の映像ブロックの分割装置。
19. 前記マクロブロック分割判別部は、
    前記マクロブロック内サブブロックのＭＡＤの最大値と最小値との比と、前記マクロブロックの分割可能性臨界値との大小を判別して前記マクロブロックの分割可能性を判別するマクロブロック分割可能性判別部と、
    前記大小の判別結果、前記ＭＡＤの最大値と最小値との比が前記マクロブロックの分割可能性臨界値より大きい場合には、前記マクロブロックの分割可能性臨界値、ＭＡＤの最大値と最小値との比、前記マクロブロックの分割確定臨界値を比較して前記マクロブロックの分割如何を確定するマクロブロック分割確定部とを含むことを特徴とする請求項１６または１７に記載の映像ブロックの分割装置。
20. 前記サブブロック分割判別部は、
    前記さらに他のサブブロックのＭＡＤの最大値と最小値との比と、前記サブブロックの分割可能性臨界値との大小を判別して前記サブブロックの分割可能性を判別するサブブロック分割可能性判別部と、
    前記大小の判別結果、前記ＭＡＤの最大値と最小値との比が前記サブブロックの分割可能性臨界値より大きい場合には前記サブブロックの分割可能性臨界値、ＭＡＤの最大値と最小値との比、前記サブブロックの分割確定臨界値を比較して前記サブブロックの分割如何を確定するサブブロック分割確定部とを含むことを特徴とする請求項１６または１８に記載の映像ブロックの分割装置。
21. 前記マクロブロック分割確定部は、
    前記ＭＡＤの最大値と最小値との比が前記マクロブロックの分割可能性臨界値と前記マクロブロックの分割確定臨界値間に存在するかどうかを判別した後、前記以前マクロブロックが分割されたかどうかを判別する以前マクロブロック分割判別部と、
    前記以前マクロブロックが分割されていないと判別される場合には前記マクロブロックの未分割を最終確定し、分割されたと判別される場合には前記マクロブロックの分割を最終確定するマクロブロック分割最終確定部とを含むことを特徴とする請求項１９に記載の映像ブロックの分割装置。
22. 前記サブブロック分割判別部は、
    前記ＭＡＤの最大値と最小値との比が前記サブブロックの分割可能性臨界値と前記サブブロックの分割確定臨界値間に存在するかどうかを判別した後、前記以前サブブロックが分割されたかどうかを判別する以前サブブロック分割判別部と、
    前記以前サブブロックが分割されていないと判別される場合には前記サブブロックの未分割を最終確定し、分割されたと判別される場合には前記サブブロックの分割を最終確定するサブブロック分割最終確定部とを含むことを特徴とする請求項２０に記載の映像ブロックの分割装置。
23. 前記映像フレームは３次元映像の再現のための両眼映像フレームであることを特徴とする請求項１６ないし１８のうちいずれか一項に記載の映像ブロックの分割装置。
24. 前記分割はクワッドツリー時差推定方式による分割であることを特徴とする請求項１６ないし１８のうちいずれか一項に記載の映像ブロックの分割装置。
25. 映像フレームのマクロブロックをサブブロックに分割するマクロブロック分割臨界値を複数設定して、前記映像フレームの以前フレームに属して前記マクロブロックと同一位置にあるマクロブロックの分割如何により前記マクロブロックの分割如何を判別するマクロブロック分割判別部と、
    前記サブブロックをさらに他のサブブロックに分割するサブブロック分割臨界値を複数設定して、前記以前マクロブロックに属して前記サブブロックと同一位置のサブブロックの分割如何により前記サブブロックの前記さらに他のサブブロックへの分割如何を判別するサブブロック分割判別部とを含むことを特徴とする映像ブロックの分割装置。
26. 前記マクロブロック分割判別部は、
    前記マクロブロック内サブブロックのＭＡＤの最大値と最小値との比と、前記マクロブロックの分割可能性臨界値との大小を判別して前記マクロブロックの分割可能性を判別するマクロブロック分割可能性判別部と、
    前記ＭＡＤの最大値と最小値との比が前記マクロブロックの分割可能性臨界値と前記マクロブロックの分割確定臨界値間に存在するかどうかを判別した後、前記以前マクロブロックが分割されたかどうかを判別する以前マクロブロック分割判別部と、
    前記以前マクロブロックが分割されていないと判別される場合には前記マクロブロックの未分割を最終確定し、分割されたと判別される場合には前記マクロブロックの分割を最終確定するマクロブロック分割最終確定部とを含むことを特徴とする請求項２５に記載の映像ブロックの分割装置。
27. 前記サブブロック分割判別部は、
    前記さらに他のサブブロックのＭＡＤの最大値と最小値との比と、前記サブブロックの分割可能性臨界値との大小を判別して前記サブブロックの分割可能性を判別するサブブロック分割可能性判別部と、
    前記ＭＡＤの最大値と最小値との比が前記サブブロックの分割可能性臨界値と前記サブブロックの分割確定臨界値間に存在するかどうかを判別した後、前記以前サブブロックが分割されたかどうかを判別する以前サブブロック分割判別部と、
    前記以前サブブロックが分割されていないと判別される場合には前記サブブロックの未分割を最終確定し、分割されたと判別される場合には前記サブブロックの分割を最終確定するサブブロック分割最終確定部とを含むことを特徴とする請求項２５に記載の映像ブロックの分割装置。
28. 前記映像フレームは３次元映像の再現のための両眼映像フレームであることを特徴とする請求項２５ないし２７のうちいずれか一項に記載の映像ブロックの分割装置。
29. 前記分割はクワッドツリー時差推定方式による分割であることを特徴とする請求項２５ないし２７のうちいずれか一項に記載の映像ブロックの分割装置。
30. 左眼映像と右眼映像の各マクロ映像ブロックをクワッドツリー時差推定方式によってサブ映像ブロックに分割する段階と、
    前記サブ映像ブロックをさらに他のサブ映像ブロックに分割する段階とを含むことを特徴とする映像ブロックの分割方法。

Images