JP2001526477A

JP2001526477A - 画像変換および符号化技術

Info

Publication number: JP2001526477A
Application number: JP2000524763A
Authority: JP
Inventors: ハーマン、フィリップ、ヴィクター
Original assignee: ダイナミックディジタルデプスリサーチプロプライエタリーリミテッド
Priority date: 1997-12-05
Filing date: 1998-12-03
Publication date: 2001-12-18
Anticipated expiration: 2018-12-03
Also published as: US20040032980A1; CN1173296C; EP1044432A1; US7551770B2; JP4698831B2; EP2252071A2; KR100560507B1; CN1281569A; KR20010032346A; EP2252071A3; WO1999030280A1; ID27878A; US20040032488A1; CA2305735A1; EP1044432A4; US7894633B1; MY124160A; CA2305735C; US7054478B2

Abstract

(57)【要約】２Ｄ画像内の少なくとも１つの物体を識別する段階と、前記各物体に識別タグを割り当てる段階と、前記各物体に深度タグを割り当てる段階と、前記各物体の輪郭を決定しかつ定義する段階とを有することを特徴とする２Ｄ画像の立体画像への変換に使用する深度マップの作成方法。

Description

【発明の詳細な説明】

【０００１】（技術分野）本発明は、広くは、立体画像合成に関し、より詳しくは、２次元画像（２Ｄ）
を更に符号化して伝送し、立体画像表示の目的で復号化すべく２次元画像を変換
する改善された方法に関する。

【０００２】（背景技術）本件出願人は、これまでに、ＰＣＴ／ＡＵ９６／００８２０において、原２Ｄ
画像から立体ディスプレイのための左目および右目画像を作成する方法であって
、ａ.原画像内の少なくとも１つの物体を識別する段階と、ｂ.各物体を輪郭付けする段階と、ｃ.各物体の深度特性（depth characteristic）を定義する段階と、ｄ.各物体の選択された領域を、それぞれ、各物体の深度特性の関数として決定された量だけ横方向に変位させて、観察者の左右の目で見ることができる２つ
の引伸ばし画像を形成する段階とからなる方法を開示している。

【０００３】これらの段階は、個別的におよび集合的に、動的深度キューイング（Dynamic
Depth Cueing; ＤＤＣ）と呼ぶことができる。

【０００４】（発明の開示）本発明は、本件出願人に係る上記システムを更に改良するものである。

【０００５】本発明は、その一態様として、２Ｄ画像の立体画像への変換に使用する深度マ
ップの作成方法であって、２Ｄ画像内の少なくとも１つの物体を識別する段階と、前記各物体に識別タグを割り当てる段階と、前記各物体に深度タグを割り当てる段階と、前記各物体の輪郭を決定し、定義する段階とを有することを特徴とする深度マッ
プ作成方法を提供する。

【０００６】本発明は、その他の態様として、２Ｄ画像の立体画像への変換に使用する深度
マップの符号化方法において、物体に物体識別子を割り当てる段階と、前記物体に深度タグを割り当てる段階と、前記物体の輪郭を定義する段階とを有することを特徴とする深度マップの符号
化方法を提供する。

【０００７】物体の輪郭は、一連の座標、曲線および／または幾何学的形状により定義され
る。識別タグは、一意的な数値を用いると便利である．本発明の他の態様では、ベジエ曲線（bezier curves）を使用して２Ｄから３Ｄへの変換プロセスで物体の輪郭を創成させる方法を提供する。

【０００８】本発明の更に別の態様では、曲線を使用して２Ｄから３Ｄへの変換プロセスで
物体を定義する方法を提供する。

【０００９】本発明の他の態様では、幾何学的形状を使用して２Ｄから３Ｄへの変換プロセ
スで物体の輪郭を定義する方法を提供する。

【００１０】本発明の他の態様では、深度マップ情報（該情報はバーチカルブランキングイ
ンターバル（Vertical Blanking Interval）またはＭＰＥＧデータストリーム内
に含まれている）の伝送方法を提供する。

【００１１】本発明の更に別の態様では、汎用（generic）ライブラリを使用して２Ｄから３Ｄへの変換プロセスの補助を行う方法を提供する。

【００１２】（発明を実施するための最良の形態）本発明のより良き理解を与えるため、本発明の好ましい実施形態を示す添付図
面を参照して本発明を説明する。

【００１３】物体識別変換すべき２Ｄ画像での物体は、視覚による点検（inspection）を通じて、人
であるオペレータにより識別されることができる。オペレータは、一般に、コン
ピュータマウス、光ペン、スタイラスまたは他のデバイスを用いて、画像中の各
物体または物体群にタグを付し、そして、それらの物体に一意的な数値を割り当
てる。この数値は、オペレータが手動操作で創出するか、コンピュータにより特
定シーケンスで自動的に創出することができる。

【００１４】また、物体は、コンピュータを用いて完全に自動的に識別されるか、またはコ
ンピュータが物体（単一または複数）の位置を確定することをオペレータが補助
することにより半自動的に識別されることができる。

【００１５】物体を自動的に識別するため、コンピュータは、物体のサイズ、色、移動速度
、陰影、質感、輝度、ぼやけ、焦点、過去、現在および未来の画像間の差異等の
特徴を使用する。物体の識別を補助するのに、ニューラルネットワークまたはエ
キスパートシステムを使用することもできる。

【００１６】半自動物体識別では、オペレータは、当該物体が見出される画像の性質に関す
るアドバイスをコンピュータに与えることにより、コンピュータを補助すること
ができる。例えば、オペレータは、当該シーンが汎用フォーマットの「News Rea
der」のシーンであることをコンピュータにアドバイスでき、この場合には、コンピュータは、ニュースキャスターの頭部および肩部、デスクおよび背景等を配
置しようと試みる。オペレータは、想定される汎用シーンのメニューから選択で
きる。オペレータは、コンピュータによりなされた任意の物体の選択を手動操作
により無効にし、および／または、訂正、調節することができる。コンピュータ
プログラムは、例えばニューラルネットワークまたはエキスパートシステムを用
いてこれらの訂正から学習し、物体識別および番号付けの精度を連続的に改善で
きる。

【００１７】ひとたび物体が識別され、番号付けされたならば、物体は、連続フレームにわ
たって画像内で移動するときに、手動操作により、自動的にまたは半自動的にト
ラッキングされる。

【００１８】また、オペレータは、同じシーケンス上の作業、または同様なシーンの従前の
変換からの作業で、他のオペレータにより作成された物体識別情報を使用するこ
ともできる。

【００１９】物体の輪郭付け単一または複数の物体の輪郭付けは、手動により、あるいは、自動的にまたは
半自動的に決定される。

【００２０】手動操作による輪郭付けでは、オペレータは、コンピュータマウス、光ペン、
スタイラスまたは他のデバイスを用いて単一または複数の物体の輪郭をトレース
する。オペレータは、１つずつの画素ベースで物体の輪郭を選択し、直線近似ま
たは曲線近似、ベジエ曲線を使用し、あるいは、曲線形状または汎用形状のライ
ブラリからぴったり適合させることができる。また、オペレータは、既にほぼ正
確な形状になっている汎用形状のライブラリから選択し、形状を拡大縮小または
調節して、動的に適合させることができる。例えば、オペレータが人の輪郭の選
択を望む場合には、人の汎用輪郭をライブラリから検索して、手動操作により、
半自動的にまたは自動的に適宜調節することができる。また、オペレータは、円
形、楕円形、三角形、正方形等の幾何学的形状のライブラリから選択することも
できる。

【００２１】自動的輪郭付けの場合に、コンピュータは、サイズ、色、移動速度、陰影、輝
度、ぼやけ、焦点、過去、現在および未来の画像間の差異等の特徴を使用できる
。物体の輪郭を決定するのに、ニューラルネットワークまたはエキスパートシス
テムを使用することもできる。

【００２２】半自動輪郭付けでは、オペレータは、当該物体が見出される画像の性質に関す
るアドバイスをコンピュータに与えることにより、コンピュータを補助すること
ができる。例えば、オペレータは、当該シーンが汎用フォーマットの「News Rea
der」のシーンであることをコンピュータにアドバイスでき、この場合には、コンピュータは、ニュースキャスターの頭部および肩部、デスクおよび背景等を配
置しようと試みる。オペレータは、想定される汎用物体のメニューから選択でき
る。オペレータは、コンピュータによりなされたあらゆる物体の選択を手動操作
により無効にし、および／または、訂正および調節することができる。コンピュ
ータプログラムは、例えばニューラルネットワークまたはエキスパートシステム
を用いてこれらの訂正から学習し、輪郭付けの精度を連続的に改善できる。

【００２３】ひとたび物体が輪郭付けされたならば、物体は、連続フレームにわたって画像
内で移動するときに、手動操作により、あるいは、自動的にまたは半自動的にト
ラッキングされる。

【００２４】また、オペレータは、同じシーケンス上の作業、または同様なシーンの従前の
変換からの作業で、他のオペレータにより作成された物体輪郭付け情報を使用す
ることもできる。また、オペレータは、予め定義された輪郭のライブラリ（該ラ
イブラリには、円形、楕円形、三角形、正方形等の幾何学的形状が含まれる）か
ら選択し、ライブラリの輪郭を手動操作、半自動的または自動的に調節して、選
択された物体に適合させることもできる。ライブラリは、個々の輪郭（例えば、
News Reader）により、または物体（例えば、Horse Race, Evening News等）の特定ファミリに基いて、索引付けすることができる。

【００２５】深度の定義単一または複数の物体の深度は、手動操作、あるいは、自動的または半自動的
に決定できる。物体の深度は、任意の英数字、視覚、聴覚または触覚情報を用い
て割り当てられる。好ましい実施形態では、物体の深度は、物体を特定の色で陰
影付けすることにより表示される。一般に、ひとたび変換されると、観察者に最
も近い３Ｄ位置に現れる物体については白色、および観察者から最も離れた３Ｄ
距離にある物体については黒色に陰影付けされる。この規則は変えることができ
ることは明白であり、例えば、反転させたり、相対深度または絶対深度を表示す
る彩色とすることができる。

【００２６】他の実施形態では、物体の深度には数値が割り当てられる。この値は、線形ま
たは非線形に連続した正または負の数値にすることができ、単一または複数の数
字を含むことができる。好ましい実施形態では、この値は、この値を単一バイト
で符号化できるようにするため、０〜２５５の範囲内にある。ここで、２５５は
、ひとたび変換されると、観察者に最も近い３Ｄ位置に現れる物体を表し、一方
０は、観察者から最も離れた３Ｄ距離にある物体を表す。この規則は変えること
ができることは明白であり、例えば、逆転させたり、他の範囲の数字を使用する
ことができる。

【００２７】手動操作による深度定義では、オペレータは、コンピュータマウス、光ペン、
スタイラスまたは他のデバイスを使用して、物体または物体群の深度を割り当て
ることができる。オペレータは、ポインティングデバイスを物体の輪郭内に置き
、深度値を入力することにより物体の深度を割り当てることができる。深度は、
数字、英数字、または記号としてオペレータにより入力される。そして、所定範
囲の許容値からオペレータにより割り当てられるか、コンピュータにより自動的
に割り当てられる。また、オペレータは、許容深度のライブラリまたはメニュー
から物体の深度を選択できる。

【００２８】また、オペレータは、物体内に一定範囲内の深度、または時間、物体位置また
は移動速度またはこれらのファクタの任意の組合せにより変化する深度範囲を割
り当てることができる。例えば、物体は、観察者に最も近い縁部と、観察者から
最も離れた縁部とを備えたテーブルであるとする。３Ｄに変換するとき、テーブ
ルの見かけ深度はその縦方向に沿って変化しなければならない。これを達成する
ため、オペレータはテーブルを多数のセグメントに分割し、各セグメントに個々
の深度を割り当てる。あるいは、オペレータは、陰影の量がテーブルの特定位置
での深度を表すように物体に陰影付けすることにより、連続的に変化する深度を
物体内に割り当てることができる。このテーブルの例では、明るい影が近い側の
物体を表し、暗い影が遠い側の物体を表す。テーブルの例では、最も近い縁部に
明るい影が付され、最も遠い縁部に到達するまで、影は徐々に暗くなっていく。

【００２９】物体内の深度の変化は、線形でも非線形でも良く、時間、物体の位置、移動ま
たはこれらのファクタの任意の組合せに従って変化してもよい。

【００３０】物体内の深度の変化は、ランプ（ramp）型することができる。リニアランプは
、始点（Ａ）および終点（Ｂ）を有することとなる。点Ａ、Ｂにおける色が定義
される。点Ａから点Ｂへの階調度が垂線上に適用される。

【００３１】ラジアルランプ（Radial Ramp）は、中心点（Ａ）からの半径（Ｂ）までの距離を使用するが、リニアランプと同様な傾斜を定義する。

【００３２】ラジアルランプに対する簡単な拡張は、外側の縁を先細にさせるか、中心点を
可変サイズにすることができる。

【００３３】線形拡張は、垂線からの距離ではなく、線分からの距離である。この例では、
色は、線分についてのものおよび「外側（outside）」についての色が定義される。線分に沿う色が定義され、この色は「外側」の色に向かってテーパしている
。

【００３４】種々のランプは容易に符号化される。また、ランプは、より複雑な曲線、方程
式、および可変透明度等に基いて定められる。

【００３５】他の例では、フレームの一期間にわたって、物体は画像の前方から後方へと移
動する。オペレータは、第１フレームの物体についての深度、および最終または
次のシーンにおける物体の深度を割り当てることができる。次に、コンピュータ
は、物体の深度を、連続フレームにわたって、線形法または他の所定方法で補間
する。このプロセスも完全に自動化でき、これにより、コンピュータは、物体が
ある時間にわたって移動するときに、物体のサイズ変化に基いて物体の深度の変
化を割り当てる。

【００３６】自動深度定義において、コンピュータは、サイズ、色、移動速度、陰影、輝度
、ぼやけ、焦点、および過去、現在、未来間における画像の差異等の特性を使用
できる。ニューラルネットワークまたはエキスパートシステムを用いて、物体の
深度を決定することもできる。

【００３７】半自動深度定義において、オペレータは、深度が割り当てられる画像の性質に
関するアドバイスをコンピュータに与えることにより、コンピュータを補助でき
る。例えば、オペレータは、当該シーンが汎用フォーマットの「News Reader」のシーンであることをコンピュータにアドバイスでき、この場合には、コンピュ
ータは、ニュースキャスターの頭部および肩部、デスクおよび背景等を配置し、
これらを論理的深度シーケンスとして配置することを試みる。オペレータは、想
定される汎用物体および深度のメニューから選択できる。オペレータは、コンピ
ュータによりなされた任意の物体の深度を手動操作により無効にし、および／ま
たは、訂正および調節することができる。コンピュータプログラムは、例えばニ
ューラルネットワークまたはエキスパートシステムを用いてこれらの訂正から学
習し、深度割当ての精度を連続的に改善できる。

【００３８】ひとたび物体に特定深度が割り当てられたならば、物体は、連続フレームにわ
たって画像内で移動するときに、手動操作により、あるいは、自動的にまたは半
自動的にトラッキングされる。

【００３９】また、オペレータは、同じシーケンス上の作業、または同様なシーンの従前の
変換からの作業で、他のオペレータにより作成された深度定義を使用することも
できる。

【００４０】多数のオペレータビデオシーケンスをタイムリーな方法で変換するためには、多数のオペレータ
が２Ｄソースマテリアルで作業する必要がある。これらのオペレータは、同じ前
提で配置されるとしても、例えばインターネットのようなオンラインコンピュー
タサービスを用いることで、世界中のどこにでも置くことができる。このような
状況で、ソースマテリアルのセキュリティを確保するには、音声情報を除去し、
そして画像の色を変更する必要がある。これにより、物体の輪郭を決定するオペ
レータの能力に何らの影響をも与えずに、原ソースマテリアルへの著作権侵害を
防止できる。物体の輪郭の実際の選択は比較的簡単なプロセスであるので、これ
は、労働コストが低い国で行うのが最もコスト有効性に優れている。この構成を
用いる場合、変換手順は次のようにするのが便利であろう。

【００４１】１．監督オペレータが、３Ｄに変換すべきビデオシーケンスを識別し、シーケ
ンスの各フレームに番号を付す。

【００４２】２．監督オペレータが、必要に応じて、必要なセキュリティ処置を適用する。

【００４３】３．監督オペレータが、前述のようにして輪郭付けする必要のあるシーン中の
物体あるいは物体群を識別し、それぞれに一意的なタグを付す。

【００４４】４．ビデオシーケンスは、次に、適当なデジタルフォーマットに変換され、オ
ンラインサービスを介して遠隔宛先または宛先群に伝送される。長いビデオシー
ケンスだと、これは不経済であるかもしれないので、この場合には、ＣＤ−ＲＯ
Ｍまたは他のバックアップ媒体による配送が好ましい。

【００４５】５．このシーケンスは、オペレータまたはオペレータ達が物体の操作を行う遠
隔の場所で受け取られる。

【００４６】６．操作の結果として、識別された物体輪郭（このデータは後で圧縮される）
が得られるので、ファイルサイズは、一般に、原画像よりかなり小さくなるであ
ろう。この場合には、物体情報は、オンラインｅ−メールサービスを用いて監督
オペレータに便利に戻される。

【００４７】７．監督オペレータは、受け取った物体の輪郭の品質制御を行い、フレーム番
号を原ビデオソースマテリアルに一致させる。

【００４８】８．次に、監督オペレータは、物体輪郭と原ソースマテリアルを、各物体につ
いて必要な深度情報を適用する次のオペレータに渡す。

【００４９】深度情報の適用は芸術的で創作的なプロセスであるので、これは、小さいオペ
レータのグループにより、中央の位置で行うことが、本質的ではないにせよ望ま
しいことである。これはまた、長いシーケンスにわたって物体の深度の一貫性を
保証する。

【００５０】複雑な深度定義よりリアリスティックに見える３Ｄを作成するには、簡単なランプまたは線形
変化よりも複雑な深度定義を用いることが必要となることがある。これは、例え
ば樹木のような多くの深度変化をもつ複雑な内部構造を有する物体にとって特に
望まれることである。このような物体の深度マップは、物体に質感バンプマップ
を付加することにより作成できる。例えば、樹木を考慮する場合、第１段階は樹
木の輪郭の周囲をトレースし、次に樹木に深度を割り当てることである。次に、
質感バンプマップを付加して、樹木の各葉にそれ自体の深度を付与する。このよ
うな質感マップは、比較的簡単な物体に細部を付与する上で、本発明にとって有
効であると考えられる。

【００５１】しかしながら、樹木の葉または他の複雑な物体のような微細な部分については
この方法は好ましくはない。なぜならば、この方法は、樹木等が風で動いたりカ
メラアングルがフレーム毎に変化するような場合に非常に複雑化してしまうから
である。より好ましい他の方法は、原物体の輝度（あるいは、黒色または白色成
分）を用いて必要なバンプマップを創成することである。一般に、観察者に近い
物体は明るく、観察者から遠い物体は暗くなる。従って、近い要素に明るい光輝
度値を割り当て、遠い要素に暗い光輝度値を割り当てることにより、バンプマッ
プが自動的に創成される。この技術の利点は、物体自身がバンプマップの創成に
利用され、フレーム間で物体がどんな動きをしても、自動的にトラッキングされ
ることができることである。物体の他の特性を使用してバンプマップを創成する
こともでき、これらの特性として、色差、彩度、色のグループ分け、反射、陰影
、焦点、鮮鋭度等があるが、これらに限定されるものではない。

【００５２】物体の特性から得られるバンプマップ値は、物体内の深度変化範囲が、画像全
体の一般的な深度範囲と一貫性を保つように調整するのが好ましい。

【００５３】深度マップ物体を検出し、物体の輪郭を決定し、深度を割り当てるプロセスを、本発明者
は、深度マップの創成と呼ぶことにする。好ましい実施形態では、深度マップは
、関連２Ｄ画像内の物体を２５６個の個々の深度の１つに定義できるようにする
８０×６０×８ビットの解像度の濃度階調画像からなるものとする。

【００５４】あるいは、曲線の形状は、連続的なｘｙ座標と、ある線Ａ上にあって、曲線に
より結合されたこれらの点ｘ１ｙ１およびｘ２ｙ２との間の直線からの曲線の変
位との間の距離の比として定義できる。これらの点の間の曲線は、線Ａから曲線
の中間点まで測定した最大変位Ｂを有している。従って、曲線は次のように定義
される。

【００５５】曲線＝Ｂ／Ａこの曲線は、−１２８から＋１２８の値をもつことが好ましく、０は、２つの点
の間の直線を表す。曲線に割り当てられた値は２つの測定値の比であるので、同
じ曲線値が、同じＢ／Ａ比をもつ他の曲線にも割り当てられることに留意された
い。

【００５６】深度マップの符号化深度マップは多くの方法で符号化できる。好ましい実施形態では、物体番号、
深度および物体輪郭が、次のように符号化される。Ｆｉｇ３に示す人の輪郭を考
えるものとする。人には、深度２０をもつ物体番号１が割り当てられる。物体の
輪郭は、前述のようにして特定のｘ、ｙ位置に決定されている。一般に、物体輪
郭の方向が変化する箇所には、特定のマークが付される。このマークとして、英
数字、形状、色または他の視覚表示形態がある。これらの各マークは、特定のｘ
、ｙ位置を有している。好ましい実施形態では、これは、０から２５５の範囲内
にある。各ｘ、ｙの対の間に、曲線が存在する。各曲線は、全ての可能な曲線形
状のライブラリからの選択により決定される。好ましい実施形態では、各曲線は
、１バイトを用いて曲線を定義できるようにするため、一般に−１２７から＋１
２７の範囲内の値が付与される。ｘ、ｙ位置から次のｘ、ｙ位置まで時計回り方
向に進行する曲線には正の値が割り当てられ、反対に反時計回り方向に進行する
曲線には負の値が割り当てられる。他の割当てを適用することもできる。

【００５７】深度の閾値処理変換アルゴリズムに深度閾値を付加するこにより、閾値より前の物体が歪まな
いようにすることができる。これは、前景物体が後景物体と交差するときに、前
景物体の縁部に、いくつかの小さい歪みが生じることを防止する。

【００５８】好ましい変換アルゴリズムでは、深度マップを使用して、最終シーンの３Ｄプ
ロファイルを形成する連続深度マップを創成する。このプロセスに閾値が適用さ
れると、深度マップが処理されて閾値遷移点が検出され、該遷移点より上および
下の深度が独立的に処理される。

【００５９】従って、この物体の深度マップは次のように定義される。

【００６０】＜物体番号＞＜物体深度＞＜ｘ１、ｙ１、曲線１、ｘ２、ｙ２、曲線２…ｘ１
、ｙ１＞物体深度情報は、現在の物体の深度を発生させるのに必要なデータを保有して
いる。前述のように、この深度データは、単一データ、ランプ（リニア、ラジア
ル、その他）、または単一物体の深度を記述する他の方法で構成できる。次の方
法は、単一物体の深度データを符号化できる手段を示すものである。

【００６１】深度データは、単一深度値について次のように符号化される。

【００６２】＜深度フラグ１＞＜深度値＞深度データは、その深度値としてリニアランプをもつ物体について次のように
符号化される。

【００６３】＜深度フラグ２＞＜ｘ１、ｙ１、深度値１、ｘ２、ｙ２、深度値２＞ここで、物体の深度は、ｘ１、ｙ１での深度値１からｘ２、ｙ２での深度値２ま
で線形に変化する。

【００６４】深度データは、その深度値として非リニアランプをもつ物体について次のよう
に符号化される。

【００６５】＜深度フラグ３＞＜ｘ１、ｙ１、深度値１、ｘ２、ｙ２、深度値２、ガンマ＞
ここで、ガンマはｘ１、ｙ１とｘ２、ｙ２との間の範囲にわたる深度の非リニア
変化を記述する値である。

【００６６】深度データは、その深度値としてラジアルランプをもつ物体について次のよう
に符号化される。

【００６７】＜深度フラグ４＞＜ｘ１、ｙ１、深度値１、半径、深度値２＞ここで、物体はｘ１、ｙ１で深度値１を有し、深度は線形に変化するか、ｘ１、
ｙ１からラジアル画素離れた全ての点の深度値２の値まで変化する。

【００６８】物体の深度マップがひとたび伝送されたならば、物体が移動するか形状を変え
るまでは深度マップを再度伝送する必要はないことが理解されよう。物体が位置
変化をする場合にのみ、次のようにして、物体の位置にオフセットを割り当てる
ことにより、物体の新しい位置が伝送される。

【００６９】＜物体番号＞＜ｘオフセット、ｙオフセット＞同様に、物体の深度が変化し、物体の位置またはサイズは変化しない場合には、
下記のものが伝送される。

【００７０】＜物体番号＞＜深度＞また、隣接接触物体がｘ、ｙ座標を共有すること、従って、シーンの全ての物体
の深度マップを一意的に定義すべく伝送されることを要する重複部分がｘ、ｙ座
標に存在することも理解されよう。

【００７１】伝送または記憶する必要がある付加データの量を最小にするためには、深度マ
ップを有するデータを圧縮することが望まれる。圧縮は、任意の形態のデータ圧
縮アルゴリズムを使用でき、その多くは当業者に知られている。圧縮の例として
、ランレングス符号化およびハフマン符号化があるが、これらに限定されるもの
ではない。物体はフレームからフレームへとは移動しないかもしれないので、フ
レーム間の深度マップの差異を伝送することだけが必要である。フレーム間の差
異を測定および処理できるようにする技術も当業者には知られている。

【００７２】深度マップ情報は、アナログテレビジョン信号のバーチカルブランキングイン
ターバル（ＶＢＩ）、または歪みメッシュ伝送について前述したようなＭＰＥＧ
またはデジタルテレビジョン信号の他のデジタル伝送ストリームに含められるこ
とが好ましい。同様に、深度マップデータは、ＤＶＤのＶＯＢファイルに付加で
きる。

【００７３】ＶＢＩおよびＭＰＥＧデータストリームにデータを入れる方法は知られており
、好ましい実施形態は、標準テレビジョン画像内にClosed Captioning and Tele
textを含めるのに現在使用されている技術である。他の好ましい実施形態では、
データは、ＭＰＥＧデータストリームのユーザデータ領域内に含めることができ
る。

【００７４】このデータをＶＢＩまたはＭＰＥＧ２ストリームに入れる点に関し、次の計算
は同様なサイズのデータ条件を表示する。

【００７５】仮定：ＶＢＩ仕様は、３２バイト／ビデオラインを考慮に入れる画像当たりの物体の最大数＝２０物体当たりの最大Ｘ、Ｙ座標＝２０物体＃、物体深度、Ｘ、Ｙおよび形状データの各々は１バイトを要する。

【００７６】この場合には、バイト／物体＝１＋１＋３（２０）＝６２バイトとなる。従っ
て、２０個の物体のＶＢＩデータ＝２０×６２＝１２４０バイト／フレームとな
る。

【００７７】これは最悪の場合であり、実際には一般的なシーンは２００バイト／フレーム
を必要とすることに留意されたい。この値は、適当なデータ圧縮を行い、重複部
分等を考慮に入れることにより、大幅に小さくなる。

【００７８】この情報をＭＰＥＧデータストリーム内に含めることにより、ＭＰＥＧスタン
ダードは、データストリームを受信位置に配給することを可能にする。ＭＰＥＧ
ストリーム内にデータを配給する技術は、深度マップを受信デコーダに配給する
のにも使用できる。また、この情報を、ＭＰＥＧ信号のサウンドチャンネルの１
つに含めることもできる。ＭＰＥＧ信号がＣＤ−ＲＯＭまたはＤＶＤ等の媒体に
記録される場合には、この情報を別々のデジタルファイルまたはアナログファイ
ルとしてデジタルオーディオファイル内に含めることができる。ＭＰＥＧ信号は
他の手段のディスクに記録することもできる。当業者には、他の技術は明白であ
ろう。

【００７９】ＭＰＥＧデータストリームの一部として、原深度マップを伝送することもでき
る。好ましい実施形態では、深度マップの解像度は、得られる３Ｄ画像の物体の
深度の気付き得る誤差が明らかになる前に、一般に、６４０×４８０×８画素か
ら８０×６０×８画素に低下される。この解像度は、ＭＰＥＧ符号化ビデオ信号
のＤＴＣブロックサイズと同じである。従って、深度マップ情報は、３Ｄに変換
されるときに各ブロックの深度を定義するＤＴＣブロックに付加情報を付加する
ことにより、ＭＰＥＧ信号に入れることができる。また深度マップは、例えばオ
ーディオチャンネルのような前述のＭＰＥＧデータストリームまたは当業者に知
られた他の方法に含めることができる。解像度が低下された深度マップは、ＪＰ
ＥＧ、ＭＪＰＥＧ、ＭＰＥＧ等を含む（但し、これらに限定されるものではない
）標準画像圧縮技術を用いてＭＰＥＧデータストリームに入れる前に圧縮するこ
とができる。

【００８０】他の好ましい実施形態では、物体の輪郭はベジエ曲線を用いて定義される。Ｆ
ｉｇ４に示す人の輪郭を考えるものとする。ベジエ曲線は、図示のｘ、ｙ座標で
得られる輪郭に適用される。従って、物体の深度マップは次のように定義される
。

【００８１】＜物体番号＞＜物体深度＞＜ｘ１、ｙ１、ｘ１ａ、ｙ１ａ、ｘ２ｂ、ｙ２ｂ、
…ｘ１ｂ、ｙ１ｂ＞また、ベジエ曲線はＦｉｇ５に示すように、３つのｘ、ｙ座標のみを必要とす
る方法でも得ることができ、次のように定義できる。

【００８２】＜物体番号＞＜物体深度＞＜ｘ１、ｙ１、ｘ１ａ、ｙ１ａ、ｘ２、ｙ２、…ｘ
８ａ、ｙ８ａ＞この方法は、曲線を定義するのにより少数の要素で済むため好ましいものであ
る。

【００８３】他の好ましい実施形態では、物体の輪郭は幾何学的形状を用いて定義される。
Ｆｉｇ５に示す人の輪郭を考えるものとする。図示の構成になる輪郭に、幾何学
的形状が適用される。頭部を形成する円形は、ｘ１、ｙ１および半径ｒ１により
定義される。三角形は、ｘ２ａ、ｙ２ａ、ｘ２ｂ、ｙ２ｂ、ｘ２ｃ、ｙ２ｃとし
て記述され、他の多角形も同様である。各幾何学的形状は、一般的な形式、＜形状＞＜パラメータ＞をもたせることができる。従って、物体の深度マップは次のように定義される。

【００８４】＜物体番号＞＜物体深度＞＜形状１＞＜パラメータ＞…＜形状ｎ＞＜パラメー
タ＞これらのいずれかの方法（圧縮または非圧縮）を用いて創成される輪郭および
／または深度マップは、これらの関連２Ｄ画像を用いて（または用いないで）任
意の適当なアナログまたはデジタルフォーマットおよび媒体に記憶することがで
きる。記憶媒体として、フロッピディスク、ハードディスク、ＣＤ−ＲＯＭ、レ
ーザディスク、ＤＶＤ、ＲＡＭ、ＲＯＭ、磁気記録テープ、ビデオテープ、ビデ
オカセット等があるが、これらに限定されるものではない。記憶された輪郭およ
び／または深度マップは、後で呼び出され、および／または３Ｄ画像の創成のた
めの歪みメッシュの創成のためまたは更に調節および微調節すべく、深度マップ
を再構成することを可能にする。

【００８５】デコーダこれまでに、歪みメッシュを２Ｄ画像から３Ｄ画像への変換に使用できること
が開示されている。

【００８６】今では、深度マップから必要な歪みグリッドを創成することができる。この深
度マップ自体は、２Ｄビデオ内で伝送される付加情報から創成される。深度マッ
プからの歪みグリッドの創成は、リアルタイム、セミリアルタイム、またはオフ
ラインで行うことができ、局部的にまたは遠隔場所で適当な伝送媒体を介して行
うことができる。創成は、ソフトウェアまたはハードウェアで実施することがで
きる。

【００８７】かくして、２Ｄ画像の一部として歪みメッシュのサブ画素点（sub pixel poin
ts）を伝送するのではなく、深度マップの再創成に必要な情報を伝送することが
できる。この場合、深度マップはデコーダで再構成され、歪みグリッドへの変換
が行われる。これらの変換は、リアルタイム、セミリアルタイム、または遠隔の
場所からオフラインで行うことができ、ソフトウェアまたはハードウェアで実施
できる。深度マップデータから深度マップに変換し、次に歪みグリッドに変換す
る好ましい方法が、Ｆｉｇ１にソフトウェアフローチャートで、そして、Ｆｉｇ
２にハードウェアで示されている。ソフトウェア変換プロセスの個々の要素は、
次のように機能する。

【００８８】画像シーケンスソース−２Ｄフィルムまたはビデオまたはいくつかの他の画像
シーケンスソース領域および深度ソース−これは、画像シーケンスとともに送られる情報であり
、好ましい実施形態では、ＶＢＩまたはＭＰＥＧデータストリームに入れられる
。このソースは、各物体の位置、形状および深度に関する情報を含んでいる。

【００８９】深度付領域の深度マップへの適用−物体を描写するため、物体内の「領域」が
、深度情報に従って充填／陰影付けされる。陰影付けされた領域の外側の全領域
は、手を付けずに残される。このプロセスにより、原深度マップの再構成がなさ
れる。

【００９０】深度マップのぼかし−次に、任意のハードエッジを除去するため、ハードな深
度マップがぼかされる（ガウス画像、ファスト等）。ぼかしにより物体間に滑ら
かな移行部が形成され、画像のオーバーラップがなくなる。ぼかしは、水平方向
に僅かに重点が置かれる。垂直ぼかしは、画像に上下にブリーディング（bleedi
ng）することにより、停止画像が裂けないようにし、これにより近い物体と遠い
物体との間により滑らかな移行部が得られる。

【００９１】深度マップを用いた画像処理−ぼかされた深度マップは、次に、歪みグリッド
の変位のためのソースとして使用される（白色は最大変位、黒色は無変位）。水
平軸線に沿う歪み量は、任意の所与の位置での深度マップの深度に従って調整さ
れる。好ましい実施形態では、左側画像の変位は右方であり、右側画像の変位は
左方である。画像には全体的な強制視差が適用され、これにより、白い（前景）
変位物体がスクリーンレベルに収斂される。これにより、黒い（後景）領域は、
変位されない画像に等しい強制視差を有する。変位方向および強制視差は、変換
画像が表示される３Ｄディスプレイシステムの特別条件に適合するように変化さ
れる。

【００９２】ひとたび歪みグリッドが創成されると、２Ｄ画像の３Ｄ画像への変換は、すで
に開示されている方法によって行われる。

【００９３】Ｆｉｇ２には、歪みグリッドから左右別々の画像を創成するためのハードウェ
ア変換器の好ましい実施形態が示されており、これは完全デジタル化できる。Ｆ
ｉｇ２（ａ）には、このプロセスを実施する方法が示されており、次のように作
動する。

【００９４】このシステムは、同時アクセスを可能にする多ポート型の２つのラインストア
（line stores）を使用している。ビデオのラインは１つのラインに書き込まれ、一方、他のラインストアは、読み出されて出力ビデオ信号を発生する。カレン
トラインの終時に、ラインストアがスワップされる。

【００９５】深度情報はビデオ信号から抽出されて、現在画像の深度マップを再創成する。
各出力画素について、深度マップは（歪みグリッドの）画素オフセットに翻訳さ
れる。画素オフセットは、ビデオラインがラインストアから読み出されるときに
画素カウンタに付加される。画素オフセットは小数値であるため、所望の画素の
各側から画素値を読み出して、中間値を補間する必要がある。ビデオデコーダか
らの奇数／偶数フィールド信号は、フィールドシーケンスビデオ出力を制御して
、観察者のシャッターガラスを出力ビデオ信号に同期させるのに使用される。基
本回路は、このビデオフォーマットを必要とする３Ｄディスプレイ用の別々の左
右ビデオ信号を発生させるべく二重にすることができる。

【００９６】Ｆｉｇ２（ｂ）には、ＤＤＣデコーダの機能ブロック図が示されている。第１
プロセスは、ＶＢＩまたはＭＰＥＧデータストリームに挿入される入力ビデオか
ら物体データを抽出することである。抽出されたデータは、圧縮形式であり、後
にマイクロプロセッサにより、解凍される。マイクロプロセッサからの出力は、
原物体輪郭情報であり、各物体の深度情報を作成するため再び処理される。この
データは３つの回転フィールドバッファ（バッファはマイクロプロセッサにより
制御される）の組に導かれる。第１バッファは原深度マップを再び創成する。次
に、深度マップは次のバッファに導かれ、ここで水平および垂直ぼかしが適用さ
れる。ひとたびぼかしが適用されたならば、得られたデータは最終バッファに適
用され、ここで、データはＦｉｇ２（ａ）に示す深度／画素オフセット変換器に
導かれる。ひとたばデータがオフセット変換器に転送されたならば、最終バッフ
ァがクリアされて、次の深度マップを受け入れる用意が整えられる。

【００９７】Ｆｉｇ２（ｃ）には、ＤＤＣデコーダプロセスが示されている。Ｆｉｇ２（ｃ
）は、プロセスをタイミング図として示し、現在のマイクロプロセッサは全ての
復号プロセスを同時に行うことができるほど充分に高速ではないとの仮定に立っ
ている。従って、復号プロセスはパイプラインプロセスで連続的に行われる。マ
イクロプロセッサ性能が改善されると、これらのうちの多くのプロセス（全部の
プロセスではないとしても）を同時に行うことが期待される。Ｆｉｇ２（ｃ）（
１）には、４つのビデオフレームが示されており、各フレームは奇数フィールド
および偶数フィールドからなる。Ｆｉｇ２（ｃ）（２）では、フレーム４の物体
リストが創成され、一方、Ｆｉｇ２（ｃ）（３）ではフレーム４の深度マップが
創成される。Ｆｉｇ２（ｃ）（４）では水平ぼかしおよび垂直ぼかしが適用され
、Ｆｉｇ２（ｃ）（５）では、フレーム４の深度マップが出力され、バッファが
クリヤされて、次の物体リストの用意が整えられる。従って、Ｆｉｇ２（ｃ）（
５）で、フレーム４の深度マップおよび２Ｄ画像を同時に利用して、３Ｄに変換
することができる。Ｆｉｇ２（ｃ）は個々のフレームのプロセスを示し、実際に
、任意の一時点で４つの異なるフレームの深度マップがハードウェアの異なるセ
クションにより創成されることに注意されたい。

【００９８】別のデコーダ前述のように、現在利用できるマイクロプロセッサは、全部の復号化プロセス
を同時に行うことができるほど充分に高速ではない。従って、高速マイクロプロ
セッサの使用を必要としないデコーダの別の好ましい実施形態について説明する
。この別のデコーダは、２Ｄおよび３Ｄコンピュータグラフィックの処理のため
に開発された集積回路を使用する。このような専用グラフィックプロセッサは、
一秒間当たり５００,０００個以上の多角形を描写できる。これらの集積回路は大量に製造されているので安価であり、低コストのＤＤＣデコーダの製造を実現
できる。デコーダは、グラフィックプロセッサの最も簡単な多角形描写能力を使
用して、陰影が付されていない質感がマッピングされた多角形を得る。

【００９９】復号化プロセスは、あたかも手動操作で行うかのようにしてプロセスを説明す
ることにより一層容易に理解されよう。これは、Ｆｉｇ９のフローチャートおよ
びＦｉｇ１０以降の図面に示されている。プロセスは、歪んでいないメッシュを
作成し、比較的滑らかな変形を達成するのに必要な、ｘｙ平面内の多数の多角形
を使用することにより開始する。好ましい実施形態では、単位フィールド当たり
１０,０００個の多角形が一般的に使用される。Ｆｉｇ１０には、歪んでいないメッシュのセクションの一例が示されている。３Ｄ（この例では、Ｆｉｇ１１に
示すように、頂部が観察者の方向を向いている円錐体）に変換すべき物体の深度
マップが、メッシュの多角形のｚ軸が深度マップの対応画素の値に基いて定めら
れるように修正されたメッシュに適用される。これは、Ｆｉｇ１２に示されてい
る。このプロセスの次の段階は、各多角形のｚ軸方向高さを等価のｘ軸変位に翻
訳することである。これは、Ｆｉｇ１３からＦｉｇ１６に示されている。Ｆｉｇ
１３には、ｚ軸方向の高さメッシュを通るｘ軸セクションが示されている。Ｆｉ
ｇ１４では、尖点の列がｘ軸に沿って選択され、尖点（ｙ＝０）の回りで９０°
回転される。Ｆｉｇ１５は尖点（４５°）での回転の効果を示し、Ｆｉｇ１６は
９０°回転後の効果を示すものである。このプロセスは、深度マップのｚ軸高さ
をｘ変位に有効に翻訳する全てのｘ列について反復される。

【０１００】プロセスの次の段階は、Ｆｉｇ１７に示すような歪んでいないメッシュ上に原
ビデオフレームをマッピングすることである。歪んでいないメッシュは、次に、
Ｆｉｇ１８に示すように、以前に創成されたｘ軸方向変位マップに形態付け（mo
rphed）される。次に、得られたビデオ画像が、メッシュの変位《Ｆｉｇ１９》に従って膨張する。これは、本件出願人の以前の出願ＰＣＴ／ＡＵ９６／００８
２０に開示されている画像の引伸ばしと同じ効果を有する。引き伸ばされた画像
は、１対の立体画像を形成するのに使用でき、他はＦｉｇ１３の尖点を９０°だ
け回転することにより形成され、これにより、Ｆｉｇ２０に示すようなメッシュ
および対応画像が作成される。

【０１０１】２Ｄ／３Ｄグラフィックスプロセッサを用いたハードウェアでこのプロセスを
実施するとき、ｚ軸方向高さを等価のｘ軸方向変位に翻訳する段階を省略できる
。観察者に近い多角形は、観察者から離れた多角形よりも更に横方向に変位させ
るべきであることは知られているので、Ｆｉｇ１８の変位メッシュは、Ｆｉｇ１
１の深度マップから直接作成できる。これは、深度マップの濃度階調値と対応す
る各多角形の変位との間に直接的関係があるので、達成できる。この簡単化され
たプロセスがＦｉｇ２１のフローチャートに示されている。

【０１０２】別のハードウェアデコーダＦｉｇ８には、２Ｄ／３Ｄグラフィックスプロセッサに基くハードウェアＤＤ
Ｃデコーダのブロック図が示されている。ＤＤＣデータからの深度マップの抽出
および創成は、Ｆｉｇ２（ｂ）に示し、前述したように行われる。デコーダの作
動は、次の通りである。入力ビデオ信号は、ビデオストリームからＤＤＣ情報を
抽出し各ビデオフィールドの深度マップを再生するＤＤＣデータデコーダに導か
れる。またビデオ信号は、ＲＧＢ、ＹＵＶまたは他の標準ビデオフォーマットに
も変換され、二重フィールドストア内に入れられる。これは、新しいフィールド
がローディングされるのと同時に、ビデオフィールドが２Ｄ／３Ｄグラフィック
スプロセッサに読み出されることを可能にする。ＤＤＣデータデコーダからの深
度マップ出力は、２Ｄ／３Ｄグラフィックスプロセッサにより処理すべき多角形
の形状を定義する深度マップ／多角形メッシュ変換器に導かれる。グラフィック
プロセッサへの他の入力は、当該多角形が適用される質感マップとして使用され
る原２Ｄビデオ画像である。グラフィックスプロセッサからの出力は、ビデオが
インターレースフォーマットで読み出されるようにするフィールドストアに導か
れる。これは、後にＰＡＬ／ＮＴＳＣエンコーダに導かれ、ＰＡＬ／ＮＴＳＣエ
ンコーダの出力は標準フィールドシーケンス３Ｄビデオ信号となる。

【０１０３】深度マップの再使用同一シーンまたは類似シーンが再び表示される場合には同じ深度マップが再使
用される、全深度マップを受信機に伝送する必要がないことも好ましいであろう
。このため、デコーダが、以前に送られた深度マップをメモリに記憶しておけば
再使用でき、以前に送られた深度マップを再処理する必要がないため望ましい。
深度マップまたは得られる歪みメッシュはデコーダのメモリに記憶させることが
できる。このメモリは、ＲＡＭ、ＥＥＰＲＯＭ、フラッシュメモリ、磁気または
光学記憶手段からなる揮発性または不揮発性メモリで構成できるが、これらに限
定されるものではない。また、汎用深度マップおよび／または歪みグリッドをデ
コーダに記憶させることを考えることもできる。これにより、深度マップを伝送
または変換する必要なくして、頻繁に生じるシーンを変換することが可能になる
。深度マップの適用をデフォルトとするデコーダを一意的に識別するデータを、
ビデオ信号に含めることにより、正しい深度マップが選択される。また、デコー
ダに、新しい深度マップまたは別の深度マップを受け入れる能力をもたせて、深
度マップおよび／または歪みグリッドのライブラリがデコーダ内に維持されるよ
うにすることを考えることもできる。このライブラリは、ＲＡＭ、ＥＥＰＲＯＭ
、フラッシュメモリ、磁気または光学的記憶手段等（但し、これらに限定される
ものではない）の媒体内に保持できる。ビデオ信号に含まれる特定の深度マップ
または歪みグリッドを伝送することによりライブラリを更新することも考えられ
る。このような深度マップまたは歪みグリッドを含む外部または内部プラグイン
モジュールにより、およびビデオ信号、モデムまたはインターネットを介してデ
コーダにダウンロードすることにより、ライブラリを維持することを考えること
もできる。当業者には、ライブラリを維持する他の手段は明らかであろう。

【０１０４】ビデオ信号に含まれるＤＤＣデータの一般的フォーマットには、好ましい実施
形態では、デコーダに下記データの性質を表示するヘッダフラグを含めることが
できる。このフォーマットには多数の既存の規格を使用でき、次のようなフォー
マットがある。

【０１０５】＜フラグ＃＞＜デコーダにより活用されるデータ＞フラグの例として下記のものがあるが、これらに限定されるものではない。

【０１０６】フラグ１−次のデータは深度マップである。

【０１０７】フラグ２−次のデータは、存在する物体の再配置である。

【０１０８】フラグ３−次のデータは、物体の深度の変化に関するものである。

【０１０９】フラグ４−次のデータは、以前に伝送された深度マップの再使用に関するもの
である。

【０１１０】フラグ５−次のデータは、ライブラリ内での深度マップの使用に関するもので
ある。

【０１１１】フラグ６−次のデータは、ライブラリ内での深度マップの修正に関するもので
ある。

【０１１２】フラグ７−次のデータは、ライブラリ内での新しい深度マップの付加に関する
ものである。

【０１１３】フラグ８−次のデータは、既存のライブラリの深度マップの削除に関するもの
である。

【０１１４】フラグ９−次のデータは、移動視差遅延（motion parallax delays）の使用に
関するものである。

【０１１５】フラグ１０−次のデータは、強制視差（forced parallax）の使用に関するものである。

【０１１６】フラグ１１−次のデータは、数学的アルゴリズムの使用に関するものである。

【０１１７】フラグ１２−次のデータは、数学的アルゴリズムライブラリの使用に関するも
のである。

【０１１８】別の構成として、各データパケットを異なる長さとすることができ、これによ
り、各パケットを一意的に定義し、フラグの必要性を緩和させることができる。

【０１１９】前述の記載において、歪みグリッドに同じプロセスを適用できる。

【０１２０】また、ライブラリ内の指定された範囲から自動的に選択することにより、デコ
ーダが、関連する３Ｄ画像への適用に最も適した深度マップを決定できるように
することを考えることもできる。例えば、ＤＤＣデータは、デコーダに指示して
、特定の索引位置間の深度マップのライブラリまたは汎用カテゴリ、例えば、Ev
ening News、Horse Raceを検索させることもできる。これにより、デコーダは、
物体のサイズ、形状、速度、方向、色、陰影、ぼやけ等に基いて、適当なマップ
を選択することができる。

【０１２１】復号化プロセスの副次的成果として、復号化プロセス中に創成される原深度マ
ップは、２Ｄ画像および物体深度情報を必要とする３Ｄディスプレイシステムに
使用するのに適したフォーマットに利用できるようにすることができる。これら
の表示は、事実上、自動ステレオスコープおよび／または立体的なものとするこ
とができる。

【０１２２】別のアプローチあるいは、メッシュ歪みプロセスは、数学的アルゴリズムにより定義すること
もできる。このアルゴリズムはデコーダに記憶され、この場合には、ＤＤＣデー
タはアルゴリズムが適用されるパラメータからなる。例えば、次の一般的な公式
を考える。

【０１２３】 f(x,y)＝[1−exp(−｜(｜x｜−rx). dx｜)]. sin( ((PI.x) ／rx) +PI／2). [1−exp(−｜(｜y｜−ry). dy｜)]. sin( ((PI.y)／ry)＋PI／2) ここで、 PIは、定数３．１４１５９… ｜x｜は、xの絶対値 rxは、xの範囲であり、−rx≦x≦rx ryは、yの範囲であり、−ry≦y≦ry dxは、xについての減衰率 dyは、yについての減衰率である。

【０１２４】次の値が、ＤＤＣデータを介して方程式に代入されるならば、、Ｆｉｇ７の歪
みグリッドが作成される。

【０１２５】 rx＝ry＝５０ dx＝dy＝０.１ＤＤＣデータに関しては、下記が伝送される。

【０１２６】＜フラグ１１＞＜５０、５０、０.１、０.１＞また、これらのパラメータは、ライブラリの形態でデコーダのメモリに記憶さ
れ、ＤＤＣデータ内のライブラリ索引を送ることにより呼び出される。

【０１２７】ＤＤＣデータに関しては、下記が伝送される。

【０１２８】＜フラグ１２＞＜ライブラリ索引＞フラグ９の移動視差を用いた別の例を考察する。従来技術は、水平方向に移動
する２Ｄ画像が、移動視差の使用により３Ｄに変換されることを示している。画
像の移動は、カメラパンのようなカメラの水平移動によるものであることが望ま
しい。この技術では、観察者の一方の目が現在のビデオフィールドを受け、他方
の目が以前のフィールドを受ける。すなわち、各目に提供される画像間に遅延が
存在する。どちらの目が遅延画像を受けるかの選択、および遅延の大きさの選択
は、２Ｄ画像の水平移動の方向および速度に基いて定まる。遅延は、一般に、１
から４フィールドの範囲内にある。方向および遅延の選択は、２Ｄ画像内の全移
動ベクトルを考察することにより、およびベクトルの大きさ、方向および安定性
に基いてこれらのパラメータを選択することによりなされる。従来技術では、こ
れらの計算を観察箇所でリアルタイムに行う必要があり、このため大きな処理能
力を必要とする。好ましい方法は、伝送箇所で移動ベクトル、従ってフィールド
遅延の方向および大きさを計算し、次に、これらの値をビデオ信号の一部として
伝送することであることが判明している。従って、好ましい実施形態では、伝送
されるデータは次のようになる。

【０１２９】＜フラグ９＞＜方向および遅延＞ここで、＜方向および遅延＞は、一般に、−４から＋４の範囲内にある。

【０１３０】次に、ＤＤＣデコーダはこのデータを再生し、フィールド遅延の正しい大きさ
および方向を処理された画像に挿入するのにこのデータを使用する。

【０１３１】歪みメッシュはまた、可変焦点レンズおよび鮮鋭度検出アルゴリズムを用いて
、カメラにより観察される画像内の物体の深度を決定するカメラを、既存の２Ｄ
ビデオカメラまたはフィルムカメラに付加することによってもリアルタイムで得
られる。物体の深度は、各画像の画素間の相関関係が物体の深度を表示する１対
の立体カメラから得ることもできる。歪みメッシュデータを得るべく処理する前
の、これらの形状からの出力は、深度マップを創成するのに使用できる。これは
、原２Ｄ画像を処理することにより、および本願で説明した物体深度を表示すべ
く陰影を付すか他の表示を付与することにより達成される。各物体の輪郭は、物
体のサイズ、色、移動速度、陰影、質感、輝度、ぼやけ、並びに過去、現在およ
び将来の画像間の差異等の物体の特徴から得ることができる。物体の識別を補助
するのに、ニューラルネットワークまたはエキスパートシステムを使用すること
もできる。また、カメラ内の画像を変位させ、カメラの画像センサで連続画像の
物理的オフセットを得ることも提案されている。この変位は、光学的に、電子−
光学的に、機械的に、電子−機械的に、電子的に、または当業者に知られた他の
方法で行うことができる。この変位は、単一方向すなわちｘ方向に、あるいは多
方向に、連続的にまたはランダムに行うことができる。カメラセンサ上での物体
の変位は、カメラに近い物体については大きい。連続画像中の画素を相関付ける
ことにより、各物体の深度が決定される。あるいは、複数のカメラを使用するこ
ともできる。

【０１３２】シーン内の物体の深度を決定するのに、他の技術を用いることもできる。これ
らの技術として、光学、レーザ、超音波またはマイクロウェーブの原理で作動す
るレンジファインダの使用、またはシーン内の物体の投影、およびグリッドの歪
みからの物体の深度の決定等があるが、これらに限定されるものではない。

【０１３３】多数のコンピュータ援用製図（ＣＡＤ）ソフトウェアパッケージは、製図すべ
き画像のワイヤフレームモデルを作成可能にする。物体の小面の投影であるこれ
らのワイヤフレームモデルは、シーン内での物体の位置の決定に使用できる。

【０１３４】同様に、３Ｄスタジオのようなパッケージからの３Ｄ非立体画像の描写プロセ
スの一部は、カメラから各画素までの距離を出力することを可能にする。この描
写は、白色で示されるカメラへの最近接物体および黒色で示されるカメラからの
最遠方物体を有する濃度階調画像を作成できる。この濃度階調マップは、立体３
Ｄへの変換を行うための互換性のある深度マップとして使用できる。

【図面の簡単な説明】

【Ｆｉｇ１】深度マップデータから歪みグリッドへの好ましい変換方法を示す図面である。

【Ｆｉｇ２（ａ）】深度マップデータから歪みグリッドへの好ましい変換方法を示す図面である。

【Ｆｉｇ２（ｂ）】深度マップデータから歪みグリッドへの好ましい変換方法を示す図面である。

【Ｆｉｇ２（ｃ）】深度マップデータから歪みグリッドへの好ましい変換方法を示す図面である。

【Ｆｉｇ３】本発明による物体の輪郭を決定する種々の技術のうちの１つを示す図面である
。

【Ｆｉｇ４】本発明による物体の輪郭を決定する種々の技術のうちの１つを示す図面である
。

【Ｆｉｇ５】本発明による物体の輪郭を決定する種々の技術のうちの１つを示す図面である
。

【Ｆｉｇ６】本発明による物体の輪郭を決定する種々の技術のうちの１つを示す図面である
。

【Ｆｉｇ７】サンプル歪みグリッドを示す図面である。

【Ｆｉｇ８】別のデコーダのためのハードウェアデコーダを示すブロック図である。

【Ｆｉｇ９】別のデコーダの復号化プロセスを示すサンプルフロー図である。

【Ｆｉｇ１０】歪んでいないメッシュの一例を示す図面である。

【Ｆｉｇ１１】円錐体のサンプル深度マップを示す図面である。

【Ｆｉｇ１２】深度マップにより修正されたサンプルメッシュを示す図面である。

【Ｆｉｇ１３】深度マップの高さＺをＸ変位に翻訳する１つの方法を示す図面である。

【Ｆｉｇ１４】深度マップの高さＺをＸ変位に翻訳する１つの方法を示す図面である。

【Ｆｉｇ１５】深度マップの高さＺをＸ変位に翻訳する１つの方法を示す図面である。

【Ｆｉｇ１６】深度マップの高さＺをＸ変位に翻訳する１つの方法を示す図面である。

【Ｆｉｇ１７】歪んでいないメッシュ上の原フレームを示す図面である。

【Ｆｉｇ１８】Ｘ変位マップにより修正されたサンプルメッシュを示す図面である。

【Ｆｉｇ１９】原フレームメッシュと変位メッシュとのサンプル結合を示す図面である。

【Ｆｉｇ２０】別の目についての引き伸ばされたサンプル合成画像を示す図面である。

【Ｆｉｇ２１】簡単化された変位フローチャートを示す図面である。

───────────────────────────────────────────────────── フロントページの続き (81)指定国ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ，ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＧＷ，ＭＬ，ＭＲ，ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，ＧＭ，ＫＥ，ＬＳ，ＭＷ，ＳＤ，ＳＺ，ＵＧ，ＺＷ)，ＥＡ(ＡＭ，ＡＺ，ＢＹ，ＫＧ，ＫＺ，ＭＤ，ＲＵ，ＴＪ，ＴＭ) ，ＡＬ，ＡＭ，ＡＴ，ＡＵ，ＡＺ，ＢＡ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＣＡ，ＣＨ，ＣＮ，ＣＵ，ＣＺ，ＤＥ，ＤＫ，ＥＥ，ＥＳ，ＦＩ，ＧＢ，ＧＤ，ＧＥ，ＧＨ，ＧＭ，ＨＲ，ＨＵ，ＩＤ，ＩＬ，ＩＳ，ＪＰ，ＫＥ，ＫＧ，ＫＰ，ＫＲ，ＫＺ，ＬＣ，ＬＫ，ＬＲ，ＬＳ，ＬＴ，ＬＵ，ＬＶ，ＭＤ，ＭＧ，ＭＫ，ＭＮ，ＭＷ，ＭＸ，ＮＯ，ＮＺ，ＰＬ，ＰＴ，ＲＯ，ＲＵ，ＳＤ，ＳＥ，ＳＧ，ＳＩ，ＳＫ，ＳＬ，ＴＪ，ＴＭ，ＴＲ，ＴＴ，ＵＡ，ＵＧ，ＵＳ，ＵＺ，ＶＮ，ＹＵ，ＺＷＦターム(参考） 5C061 AA29 AB08 AB24 5C082 AA01 AA27 AA37 BA12 BA34 BA46 BB15 BC07 CA22 CA55 DA53 MM10

Claims

【特許請求の範囲】

【請求項１】２Ｄ画像の立体画像への変換に使用する深度マップの作成方
法であって、２Ｄ画像内の少なくとも１つの物体を識別する段階と、前記物体に識別タグを割り当てる段階と、前記物体に深度タグを割り当てる段階と、前記物体の輪郭を決定し、定義する段階とを有することを特徴とする深度マッ
プ作成方法。
【請求項２】前記物体の輪郭は、一連の座標、曲線および／または幾何学
的形状により定義されることを特徴とする請求項１記載の深度マップ作成方法。
【請求項３】前記識別タグは一意的な数値であることを特徴とする請求項
１または２記載の深度マップ作成方法。
【請求項４】前記少なくとも１つの物体を識別する段階は、２Ｄ画像と汎
用シーンのライブラリとを比較する段階を有することを特徴とする請求項１〜３
のいずれか１項記載の深度マップ作成方法。
【請求項５】前記輪郭を決定する段階は、物体を画素ごとにトレースする
ことを更に有することを特徴とする請求項１〜４のいずれか１項記載の深度マッ
プ作成方法。
【請求項６】前記輪郭を決定する段階は、物体の輪郭を近似する直線を使
用することを更に有することを特徴とする請求項１〜４のいずれか１項記載の深
度マップ作成方法。
【請求項７】前記輪郭を決定する段階は、物体の輪郭を近似する曲線近似
を使用することを更に有することを特徴とする請求項１〜４のいずれか１項記載
の深度マップ作成方法。
【請求項８】前記輪郭を決定する段階は、物体の輪郭を近似するベジエ曲
線を使用することを更に有することを特徴とする請求項１〜４のいずれか１項記
載の深度マップ作成方法。
【請求項９】前記輪郭を決定する段階は、物体と、物体の輪郭を近似する
曲線および／または汎用形状または幾何学的形状のライブラリとを比較すること
を更に有することを特徴とする請求項１〜４のいずれか１項記載の深度マップ作
成方法。
【請求項１０】前記曲線および／または汎用形状または幾何学的形状を、
物体に最も良く適合するように調整することを更に有することを特徴とする請求
項９記載の深度マップ作成方法。
【請求項１１】前記深度タグは色コードを有することを特徴とする請求項
１〜１０のいずれか１項記載の深度マップ作成方法。
【請求項１２】白色は観察者に比較的近い物体を表し、黒色は観察者から
比較的遠い物体を表すことを特徴とする請求項１１記載の深度マップ作成方法。
【請求項１３】前記深度タグは数値であることを特徴とする請求項１〜１
０のいずれか１項記載の深度マップ作成方法。
【請求項１４】前記数値は０から２５５の範囲にあることを特徴とする請
求項１３記載の深度マップ作成方法。
【請求項１５】前記少なくとも１つの物体は複数のセグメントに更に分割
され、各セグメントには深度タグが割り当てられることを特徴とする請求項１〜
１４のいずれか１項記載の深度マップ作成方法。
【請求項１６】前記深度の変化がランプ関数により定義されることを特徴
とする請求項１５記載の深度マップ作成方法。
【請求項１７】前記ランプ関数はリニアまたはラジアルランプであること
を特徴とする請求項１６記載の深度マップ作成方法。
【請求項１８】前記物体を画像の連続フレーム上にトラッキングし、それ
ぞれの各フレームの物体に深度タグを決定し、割り当てることを更に有すること
を特徴とする請求項１〜１７のいずれか１項記載の深度マップ作成方法。
【請求項１９】前記物体に質感バンプマップを付加することを更に有する
ことを特徴とする請求項１〜１８のいずれか１項記載の深度マップ作成方法。
【請求項２０】前記質感バンプマップは、物体を複数の構成部分に破断し
、各構成部分に別々の深度タグを割り当てることにより定義されることを特徴と
する請求項１９記載の深度マップ作成方法。
【請求項２１】前記質感バンプマップは、物体の個々の構成部分の輝度値
により定義されることを特徴とする請求項１９記載の深度マップ作成方法。
【請求項２２】前記質感バンプマップは、物体の個々の構成部分の色差、
彩度、色のグループ分け、反射、陰影、焦点および／または鮮鋭度により定義さ
れることを特徴とする請求項１９記載の深度マップ作成方法。
【請求項２３】各２Ｄ画像の８０×６０×８ビット解像度の濃度階調画像
を作成することを更に有することを特徴とする請求項１〜２２のいずれか１項記
載の深度マップ作成方法。
【請求項２４】ビデオシーケンスの２Ｄ画像の立体画像への変換に使用す
る深度マップの作成方法であって、ビデオシーケンスの各フレームを識別し、番号付けする段階と、ビデオシーケンス内の少なくとも１つの物体を識別する段階と、各物体に識別タグを割り当てる段階と、ビデオシーケンスを複数の部分シーケンスに分割する段階と、部分シーケンスを複数のオペレータに伝送し、各オペレータが、前記識別タグ
が前もって割り当てられた部分シーケンスの各物体について輪郭を決定し、定義
する段階と、前記複数のオペレータから前記部分シーケンスを受ける段階と、該部分シーケンスを照合して、ビデオシーケンスを再構成する段階と、各物体に深度タグを割り当てる段階とを有することを特徴とする深度マップ作
成方法。
【請求項２５】前記ビデオシーケンスが複数の部分シーケンスに分割され
る前に、セキュリティ処置をビデオシーケンスに付加する段階を更に有すること
を特徴とする請求項２４記載の深度マップ作成方法。
【請求項２６】前記セキュリティ処置は、ビデオシーケンスからオーディ
オを除去し、および／または、ビデオシーケンスの色を変更することを有するこ
とを特徴とする請求項２５記載の深度マップ作成方法。
【請求項２７】２Ｄ画像の立体画像への変換に使用する深度マップの符号
化方法であって、物体に物体識別子を割り当てる段階と、前記物体に深度タグを割り当てる段階と、物体の輪郭を定義する段階とを有することを特徴とする深度マップの符号化方
法。
【請求項２８】前記物体の輪郭は一連のｘ、ｙ座標により定義され、各ｘ
、ｙ座標は曲線により分離されることを特徴とする請求項２７記載の深度マップ
の符号化方法。
【請求項２９】前記曲線はライブラリに記憶され、一意的な番号が割り当
てられることを特徴とする請求項２８記載の深度マップの符号化方法。
【請求項３０】前記物体の輪郭はまた、各曲線の方向に関するデータを有
していることを特徴とする請求項２８または２９記載の深度マップの符号化方法
。
【請求項３１】前記各曲線はベジエ曲線であることを特徴とする請求項２
８〜３０のいずれか１項記載の深度マップの符号化方法。
【請求項３２】前記物体の輪郭は少なくとも１つの幾何学的形状により定
義されることを特徴とする請求項２７記載の深度マップの符号化方法。
【請求項３３】前記少なくとも１つの幾何学的形状は、形状の形態および
形状のパラメータにより定義されることを特徴とする請求項３２記載の深度マッ
プの符号化方法。
【請求項３４】前記物体の深度タグを符号化は、一種類の深度を割り当て、物体に深度を割り当てることを有することを特徴とする請求項２７〜３３のい
ずれか１項記載の深度マップの符号化方法。
【請求項３５】前記深度の種類には、単一値、リニアランプまたはラジア
ルランプが含まれることを特徴とする請求項３４記載の深度マップの符号化方法
。
【請求項３６】アナログテレビジョン信号のバーチカルブランキングイン
ターバルに深度マップデータを埋め込む段階を有することを特徴とする立体視覚
システムで見るための２Ｄ画像および深度マップデータを伝送する方法。
【請求項３７】デジタルテレビジョン信号のＭＰＥＧに深度マップデータ
を埋め込むことを有することを特徴とする立体視覚システムで見るための２Ｄ画
像および深度マップデータを伝送する方法。
【請求項３８】ＤＶＤのＶＯＢファイルに深度マップデータを埋め込むこ
とを有することを特徴とする立体視覚システムで見るための２Ｄ画像および深度
マップデータを伝送する方法。
【請求項３９】２Ｄ画像および該２Ｄ画像に対応する深度マップデータを
受ける段階と、深度マップデータ内で識別された物体を決定する段階と、前記物体の対応する深度を決定する段階と、深度に基いて物体に陰影を付す段階と、画像を処理して、歪み量は深度に基いて定められる歪みグリッドを形成する段
階とを有することを特徴とする深度マップデータの復号化方法。
【請求項４０】前記歪みグリッドを形成する前、物体間の移行を滑らかに
するように、深度マップをぼかすことを更に有することを特徴とする請求項３９
記載の深度マップデータの復号化方法。
【請求項４１】複数の多角形から歪んでいないメッシュを作成する段階と
、前記メッシュに深度マップを適用する段階とを有し、メッシュ内の多角形の高
さは深度マップに記録された深度に基いて定まり、多角形の高さを翻訳変位に変換して、歪みメッシュを創成する段階と、歪みメッシュを、深度マップデータに対応する２Ｄ画像に適用する段階とを更
に有することを特徴とする深度マップデータの復号化方法。
【請求項４２】深度マップのライブラリを含む深度マップデータを符号化
するデコーダであって、入力データが前記ライブラリと比較され、前記データが深度マップの前記ライ
ブラリ中の深度マップに一致しない場合に、デコーダが請求項４１に記載の方法
を用いて入力データを処理することを特徴とするデコーダ。