JP2006222978A - イメージ変換及び符号化技術 - Google Patents

Abstract

【課題】元の２Ｄイメージから、立体ディスプレイのための左目イメージ及び右目イメージを作る。
【解決手段】ａ）前記元のイメージ内の少なくとも１つの目標を特定し、ｂ）前記目標又は各目標のアウトラインを定め、ｃ）前記目標又は各目標の深度特性を定め、ｄ）前記目標又は各目標の選択領域を、これらの目標の深度特性の関数として決定された量だけそれぞれ横方向にずらし、観者の左目及び右目で見るための２つの引き伸ばされたイメージを形成する。
【選択図】図４

Description

本発明は、広くは立体イメージ合成技術に関し、より詳しくは、２次元（２Ｄ）又は３次元（３Ｄ）立体ディスプレイシステム上に立体イメージをディスプレイする目的で、２Ｄイメージを変換し、更に符号化し、伝送しかつ復号する方法に関する。

特願平０９−５２３１５１

コンパクトで高性能なビデオプロジェクションシステム、画像処理、デジタルビデオ及び液晶パネルの領域における最近の技術革新は、能動偏光ガラス及び受動偏光ガラスの両方及び単一視聴者用自動立体ディスプレイ及び多視聴者用自動立体ディスプレイの両方を使用した多くの実用的３Ｄディスプレイシステムを可能にした。３次元ディスプレイシステムは、好奇心の域を脱し、今や、娯楽、商業及び科学の分野での実用的ディスプレイシステムになりつつある。今や、これらの装置上に３Ｄ媒体をディスプレイすることが要求されている。伝統的に、この３Ｄ媒体（すなわち、異なる透視方向から見た同一景色の少なくとも２つの別々の視界についてのイメージ情報を含む、作られた媒体）を作るのに２つの方法がある。
すなわち、
１）コンピュータによる２つの別々の視界（通常は、リアルタイムでの視界）の創出、及び
２）横方向にずらして配置した２つのカメラを用いたビデオ撮影又はフィルム撮影である。

コンピュータ援用設計（ＣＡＤ）システム、シミュレータ又はビデオゲーム機器に使用するコンピュータ創成イメージの場合には、異なる透視方向から見た２つの別イメージを作ることは複雑なプロセスではない。

横方向にずらして配置した２つのカメラを用いた映画のフィルム撮影は、多年に亘って良く理解されている。しかしながら、このアプローチには多くの問題がある。フィルム撮影又はビデオ撮影する場合、２Ｄよりも３Ｄの方がかなり困難である。なぜならば、景色内の最近目標と最遠目標との許容距離（実用３Ｄ目標深度）に制限があり、かつフレーミング問題（例えば、近い目標が一方のカメラにのみ写ってしまい、従って、再生したときに３Ｄイメージ創成の不正確さが強調されてしまう問題）があるからである。他の問題は、２つのカメラからのイメージ間の待ち時間による偽３Ｄ人為結果（ｆａｌｓｅ ３Ｄ ａｒｔｅｆａｃｔｓ） を引き起こすことなく、滑らかなパン（ｐａｎ）を維持することである。

複雑さ、制作及び実施の高コスト、及び家庭用及び商業用マーケットのために製造されているものは依然として非常に少数の３Ｄディスプレイシステムに過ぎないという事実から、主要な映画又はビデオ制作者が３Ｄ媒体を作ることに対する大きな動機が存在しない。しかしながら、慣用的な２Ｄフィルムを３Ｄ態様に再処理できる技術が考えられるならば、最初から直接３Ｄでフィルム撮影するよりも遥に低いコストで、新フィルムを３Ｄフォーマットに変換できるだけでなく、２Ｄフィルム及びビデオの大量の記録集を再処理して、映画及びビデオの両マーケットに再リリースすることもできる。

しかしながら、既存の２Ｄイメージを３Ｄイメージとして見ることができるように、既存の２Ｄイメージを変換できれば好都合である。これを達成する１つの方法は、単一の２Ｄイメージを、「切り貼り（ｃｕｔ ａｎｄ ｐａｓｔｅ）」技術により左右２つの別々のイメージに変換することである。この技術では、イメージから１つの目標を「切り出し」かつ左方又は右方にずらし、次に元のイメージ上に「貼り付け」て、必要な別々のイメージを作る。しかしながら、この方法では、イメージ内の目標が正式に占拠していた領域にブランク領域が生じてしまう。

従って本発明の目的は、これらの問題の少なくとも１つを解消し又は軽減することにある。

この点に留意し、本発明は、その一態様として、元の２Ｄイメージから、立体ディスプレイのための左目イメージ及び右目イメージを作る方法において、前記元のイメージの選択領域を、決定された量及び方向だけずらすことにより引き伸ばされたイメージを創成し、この引き伸ばされたイメージが前記左目イメージ及び右目イメージを形成することを特徴とする方法を提供する。

変換された２つのイメージは、観者（ｖｉｅｗｅｒ） がその左目及び右目で見たとき、「切り貼り」技術で作られるイメージの場合に生じるブランク領域が全くない３Ｄイメージを形成する。

本願は、２Ｄ媒体の３Ｄフォーマットへの変換に包含される幾つかの重要なアルゴリズムプロセス、及びこの新しい３Ｄ媒体の通信及び記憶に適した新しい複合データフォーマットをカバーする。また、本願では、この新しい３Ｄフォーマットのリアルタイム符号化、伝送及び復号を行なう幾つかのハードウェア機器についても論じる。

本発明の技術の主要な長所は、コストを大幅に節約できること、及び媒体供給の点で優れていることである。フィルム撮影するのに１つのカメラのみを使用すればよい。２Ｄから３Ｄへの変換プロセスの性質のため、いかなる場合でも最終の２Ｄディスプレイプロセスを妨げない３Ｄの小さなパケットの付加を除き、イメージ媒体を事実上変化させることなくパッケージしかつ伝送することができる。このため、実際に、イメージ品位を低下させることなく、標準２Ｄテレビジョン上にイメージを２Ｄ又は３Ｄでディスプレイでき（必要ならばシャッタ眼鏡等を使用する）、また３Ｄテレビジョン又は他のディスプレイに３Ｄでディスプレイできる。

２Ｄから３Ｄへの変換プロセスの最終段階は、受信機でリアルタイムに完了され、従って、３Ｄイメージをディスプレイするために増大するバンド幅条件はテレビジョンデコーダに限定され、テレビジョン放送業者のチャンネル取扱い能力に悪影響を与えない。

本発明の他の態様によれば、元の２Ｄイメージを立体ディスプレイのための引き伸ばされたイメージに変換すべく、元の２Ｄイメージに施すべき変更を記述する方法が提供される。

本発明の他の態様によれば、２Ｄビデオイメージを立体ディスプレイのための引き伸ばされたイメージに変換できるように、２Ｄイメージのビデオ信号を符号化する方法が提供される。

本発明の更に別の態様によれば、２Ｄビデオイメージを立体ディスプレイのための引き伸ばされたイメージに変換できるように、符号化データを含む２Ｄイメージのビデオ信号を受けかつ該ビデオ信号から符号化データを抽出する方法が提供される。

本発明の更に別の態様によれば、２Ｄビデオイメージを符号化データで操作して、立体ディスプレイのための引き伸ばされたイメージを形成する方法が提供される。

本発明の更に別の態様によれば、元の２Ｄイメージから、立体ディスプレイ用の左目イメージ及び右目イメージを作る方法において、
ａ）前記元のイメージ内の少なくとも１つの目標を特定し、
ｂ）前記目標又は各目標のアウトラインを定め、
ｃ）前記目標又は各目標の深度特性（ｄｅｐｔｈ ｃｈａｒａｃｔｅｒｉｓｔｉｃ） を定め、
ｄ）前記目標又は各目標の選択領域を、これらの目標の深度特性の関数として決定された量だけそれぞれ横方向にずらし、観者の左目及び右目で見るための２つの引き伸ばされたイメージを形成する方法が提供される。

これらのイメージペアは、立体３Ｄ効果を無くすため、互いに鏡像関係又は同様な関係に配置することができる。

イメージは複数の目標を有し、各目標には前記それぞれの深度特性を付与できるものでもよい。イメージは個々のベースで変換されるものでもよい。或いは、ビデオ又はフィルムにおけるような一連の関連イメージを変換するものでもよい。

イメージはデジタル化され、かつイメージ上に一時的にメッシュを置くことにより電子的に引き伸ばされ又は変換されるものでもよい。メッシュは、最初は、複数の平行な横方向メッシュラインと、該横方向メッシュラインに対して直角に配置された複数の長手方向メッシュラインとを有している。メッシュのメッシュラインの各交点は、メッシュサブポイントを形成する。イメージは、メッシュを歪ませると下に横たわるイメージが引き伸ばされるように、メッシュと一緒に移動される。イメージを滑らかに引き伸ばすように、メッシュラインは連続状態に維持される。各メッシュサブポイントの元の位置からのずれ（変位）量は、元のイメージについての変換データを与える。サブポイントは横方向にずらすことができる。

メッシュサブポイントのずれは数学的アルゴリズムにより定め、これによりイメージの自動変換を行なうこともできる。この方法は、陰影、かすみ及び運動内挿データを、力パラレックス情報（ｆｏｒｃｅ ｐａｒａｌｅｘ ｉｎｆｏｒｍａｔｉｏｎ）及び運動パラレックス遅延についての視界遅延（ｆｉｅｌｄ ｄｅｌａｙ）及び方向を含む変換データに付加して更に高めることができる。

３Ｄイメージとして見ることができるイメージを伝送するのに、既存のイメージ伝送システムを使用できるようにすることは有効である。本発明は、２Ｄイメージを形成するビデオ信号を送信するイメージ伝送システムに使用できる。

本発明の他の態様によれば、イメージ内のどの目標を処理すべく選択するか、これらを如何に処理するか、これらの優先度又は他の目標及びこれらの深度特性について記述する変換／引き伸ばしプロセスから、１組の「目標スクリプティング」データを作る方法が提供される。このスクリプティングデータは、元の２Ｄイメージを再処理すべく後で使用するためコンピュータのメモリに記憶されるか、３Ｄイメージを再生すべく他の場所（この場所は、同じ２Ｄイメージを有すると仮定する）に伝送されるものでもよい。

従って本発明の他の態様によれば、２Ｄビデオイメージを形成するビデオ信号を符号化するためのエンコーダが提供され、該エンコーダは、変換データをビデオ信号に付加して符号化された信号を形成し、変換データは、ビデオイメージを立体ディスプレイのための引き伸ばされたイメージに変換すべく、ビデオイメージの選択されたそれぞれの点のずれを定める。

変換データをビデオ信号に付加することにより、符号化された信号を伝送するのに既存の伝送システムを使用できる。変換データをビデオ信号に付加するのに種々の構成を使用できる。例えば、データは、伝送されるビデオイメージの頂部及び底部においてビデオイメージのブランクライン内、又は各ラインの水平同期時間又は水平オーバースキャン領域内に含めることができる。

本発明は、既存の２Ｄビデオイメージの変換に限定されるものではない。それどころか、本発明のプロセスは、２Ｄビデオイメージの創成と同時に変換データを作るのに容易に使用できる。

従って、本発明の他の態様によれば、３Ｄ変換データで符号化された２Ｄビデオイメージを作る方法において、
複数のビデオカメラからビデオイメージを捕捉し、
それぞれの各ビデオカメラからのビデオイメージを比較して前記変換データを作り、該変換データは、立体ディスプレイのための引き伸ばされたイメージへのビデオイメージの変換を行なうためのビデオイメージのそれぞれの点のずれを定め、
前記ビデオカメラの１つからのビデオ信号と変換データとを結合して符号化されたビデオ信号を作る方法が提供される。

本発明の更に別の態様では、３Ｄ変換データで符号化された２Ｄビデオイメージを作る方法において、
ビデオカメラから左目ビデオイメージ及び右目ビデオイメージを捕捉し、
立体ビデオカメラからの左目ビデオイメージ及び右目ビデオイメージを比較して前記変換データを作り、該変換データは、立体ディスプレイのための引き伸ばされたイメージへのビデオイメージの変換を行なうためのビデオイメージのそれぞれの点のずれを定め、
前記ビデオカメラからのビデオ信号と変換データとを結合して符号化されたビデオ信号を作る方法が提供される。

本発明の他の態様によれば、３Ｄ変換データで符号化された２Ｄビデオ信号を作るシステムにおいて、
互いに横方向にずらして配置された少なくとも第１および第２のビデオカメラと、
変換データを作るための変換手段とを有し、該変換手段は、前記ビデオカメラからデータを受けかつ比較して変換データを作り、該変換データは、一方のビデオカメラからのビデオイメージのそれぞれの点のずれを定め、ビデオイメージを立体ディスプレイのための引き伸ばされたイメージに変換し、
前記一方のビデオカメラからのビデオ信号と前記変換手段からの変換データとを結合して、符号化されたビデオ信号を作るためのエンコーダ手段を更に有するシステムが提供される。

３Ｄ変換データで符号化された２Ｄビデオイメージが単一の観者のためにのみ必要である場合には、各カメラは、観者の左右の目によって見られる景色を表す。

本発明の他の態様では、３Ｄ変換データで符号化された２Ｄビデオイメージを作るシステムにおいて、
立体ビデオカメラと、
変換データを作るための変換手段とを有し、該変換手段は、前記ビデオカメラからデータを受けかつ比較して変換データを作り、該変換データは、ビデオイメージのそれぞれの点のずれを定め、ビデオイメージを立体ディスプレイのための引き伸ばされたイメージに変換し、
ビデオ信号と前記変換手段からの変換データとを結合して、符号化されたビデオ信号を作るためのエンコーダ手段を更に有するシステムが提供される。

本発明の他の態様によれば、立体ディスプレイを形成するためのビデオ信号を復号するためのデコーダであって、前記信号が２Ｄビデオイメージを形成し、ビデオイメージを変換するための変換データを更に有し、該変換データが、ビデオイメージのそれぞれの点のずれを定め、ビデオイメージを立体ディスプレイのための引き伸ばされたイメージに変換する構成のデコーダにおいて、
ａ）ビデオ信号を受ける手段と、
ｂ）変換データを読み出しかつビデオ信号を制御して変換されたビデオ信号を作るための復号手段とを有するデコーダが提供される。

このデコーダは、
ａ）ビデオ信号を別々のビデオ信号成分に変換するためのＲＧＢすなわち成分ビデオ変換器と、
ｂ）各ビデオ成分をそれぞれのデジタル信号に変換するためのＡ／Ｄ変換手段と、
ｃ）前記デジタル信号を記憶するためのデジタル記憶手段とを設けることができる。

復号（デコーダ）手段は、デジタル記憶手段の読み出し速度を制御する可変周波数クロック手段を制御し、これにより記憶手段が可変速度で読み出される。これにより、ビデオイメージが、変換データに従って引き伸ばされかつ圧縮される。

或いは、ＲＧＢすなわちビデオ成分が可変速度で記憶手段に読み込まれかつ固定速度で記憶手段から読み出されるように構成できる。

デコーダは、単一ビデオラインを処理するか、全視界又はフレームにおけるように多数のラインを処理することができる。この場合、変換データからの全メッシュが、全視界又はフレームについて計算された画素歪み（横方向のずれ）をもって復元される。

記憶手段は、デュアルポートＲＡＭラインストアの形態に構成できる。

視覚手段上で見ることができるように、読み出されたデジタル信号を変換されたビデオ信号に変換するためのＤ／Ａ変換手段を設けることができる。視覚手段として、テレビジョン又は変換されたビデオイメージを見るための他のスクリーンがある。視覚手段として、更に、変換されたビデオイメージを立体イメージとして見られるようにするため、デコーダにより制御されるシャッタ眼鏡がある。

別の構成として、デコーダには、変換された左側ビデオイメージ及び右側ビデオイメージのデジタル信号をそれぞれ記憶するための並列記憶手段を設けることができる。この場合、視覚手段として、左右のビデオイメージを同時に投影するためのディスプレイユニットがある。

デコーダ手段には、変換データをビデオ信号から分離させるための分離手段を設けることができる。

本発明の他の態様によれば、
ａ）ビデオイメージを形成するビデオ信号を変換データで符号化するためのエンコーダを有し、変換データは、ビデオイメージを立体ディスプレイ用の引き伸ばされたイメージに変換するため、ビデオイメージのそれぞれの点のずれを定め、
ｂ）変換データをビデオ信号から分離させかつ変換データの関数としてビデオ信号を変換するためのデコーダとを有する立体イメージディスプレイシステムが提供される。

本発明の更に別の態様によれば、ａ）２Ｄビデオイメージを形成するビデオ信号を復号させて立体ディスプレイを形成するためのデコーダと、ビデオイメージを変換するための変換データとを更に有し、変換データは、ビデオイメージを立体ディスプレイ用の引き伸ばされたイメージに変換するため、ビデオイメージのそれぞれの点のずれを定め、前記デコーダは、ビデオ信号を受ける手段と、変換データを読み出しかつビデオ信号を制御して変換されたビデオ信号を形成する手段とを有している多観者用立体ディスプレイシステムが提供される。

本発明の可能性のある実施形態を示す添付図面を参照して、以下に本発明を説明する。

本発明の他の実施形態も可能であり、従って、添付図面に示す特定実施形態は前述の説明の全部に取って代わるものではないと理解すべきである。

図面において、
第１図は、元のイメージと、３Ｄイメージすなわち立体イメージを得るための慣用的な左右のイメージとを示す図面である。

第２図は、元のイメージと、切り貼り技術を用いて作られる３Ｄイメージを得るための左右のイメージとを示す図面である。

第３図は、元のイメージと、本発明による力学的深度合図法により創成されたイメージとを示す図面である。

第４図は、本発明による左右のイメージ及び合成３Ｄイメージを示す図面である。

第５図は、歪みメッシュにより不連続的に歪まされたイメージを示す図面である。

第６図は、歪みメッシュにより連続的に歪まされたイメージを示す図面である。

第７図は、左側メッシュ及び右側メッシュについてのメッシュ空間ずれデータ
（ＭＳＤ）の例を示す図面である。

第８図は、本発明によるビデオイメージにＭＳＤデータを付加する方法を示すフローチャートである。

第９図は、本発明によるビデオチェインにＤＤＣデコーダを組み込む方法を示すブロック図である。

第１０図は、視界連続複合ビデオ出力を与える本発明のＤＤＣデコーダユニットの可能性ある実施形態を示すブロック図である。

第１１図は、視界並列複合ビデオ出力を与える本発明のＤＤＣデコーダユニットの可能性ある実施形態を示すブロック図である。

第１２図は、本発明によるＭＳＤデコーダの一態様を示すブロック図である。

第１３図は、ＭＳＤデータを複合ビデオ信号に符号化する方法を示すものである。

第１４図は、リアルタイムに創成されるＤＤＣ符号化されたビデオイメージを形成する構成を示すブロック図である。

第１５図は、リアルタイムに創成されるＤＤＣ符号化されたビデオイメージを形成する他の構成を示すブロック図である。

第１６図は、多観者用３Ｄシステムの作動原理を示す図面である。

第１７図は、レンズ形レンズを使用する３Ｄシステムの作動原理を示すブロック図である。

第１８図及び第１９図は、それぞれ、レンズ形レンズ組立体を使用した多プロジェクタシステムを示す図面である。

第２０図は、本発明によるＤＤＣデコーダを組み込んだ多プロジェクタシステムを示す図面である。

２Ｄすなわち「平面（ｍｏｎｏｓｃｏｐｉｃ）」ビデオ信号を３Ｄすなわち「立体（ｓｔｅ−ｒｅｏｓｃｏｐｉｃ）」ビデオ信号に変換することを可能にする本発明の方法は、以下の説明において力学的深度合図（Ｄｙｎａｍｉｃ Ｄｅｐｔｈ Ｃｕｅｉｎｇ； ＤＤＣ）法と呼び、下記の技術を含むがこれらの技術に限定されるものではない。

ａ）３Ｄ創成−２Ｄイメージを３Ｄ立体イメージペアに変換しかつ３Ｄ変換データを作る技術及び手順
ｂ）３Ｄスクリプティング−２Ｄイメージを３Ｄ立体イメージペアに変換するのに２Ｄイメージに施す必要がある変更を記述する技術。どのオブジェクトが選択されたか、それがどのように処理され、そして３Ｄデータ記憶手段に供給されるか、を記述する。

ｃ）３Ｄデータ符号化−情報を規定フォーマットで２Ｄビデオイメージに付加する技術。この結果得られる修正ビデオは、既存のビデオ記録、ビデオ編集、ビデオ送受信システムと互換性がある。

ｄ）３Ｄ規格プロコトル−３Ｄ変換データは、規定データフォーマット又は規格プロコトルを用いて２Ｄビデオに付加される。このプロコトルは、３Ｄ変換データを２Ｄ伝送に付加する世界的な標準になるであろう。

ｅ）３Ｄデータ復号化−２Ｄビデオイメージプラス変換データを受けかつ２Ｄビデオイメージに付加された情報を抽出して、３Ｄ立体イメージペアを合成する技術。

ｆ）３Ｄ合成−変換データを用いて２Ｄビデオイメージを操作し、３Ｄ立体イメージペアを合成する技術。

２Ｄイメージを模擬３Ｄイメージに変換するには、元のイメージを修正して僅かに異なる２つのイメージを作り、これらの別々のイメージを独立的に左右の目に供与する必要がある。元のイメージへの修正は、像平面（投影スクリーン又はビュースクリーンに位置している）内で目標を横方向にずらし、深度（奥行き）の印象を与えることからなる。

イメージ内の目標が、像平面に関して、観者から一層離れて見えるようにするには、左目へのイメージ内の目標を僅かに左横方向にずらしかつ右目へのイメージ内の目標を僅かに右横方向にずらす必要がある。これは、第１図に示されている。目標が観者に近づいて見えるようにするには、左目へのイメージ内の目標を右横方向にずらしかつ右目へのイメージ内の目標を左横方向にずらす必要がある。
像平面に位置させるべき目標は、両目と同じ位置でイメージ内に置かれる。

現実の目標を見る場合には、観者は焦点情報をも使用する。しかしながら、模擬３Ｄイメージではこの情報は存在せず、横方向のずれが大き過ぎると、特に目標を観者に近づけるためには、目標は２つの別々のイメージに破断されて見え、３Ｄ効果は喪失する。

左側イメージ及び右側イメージはコンピュータを用いて作ることができる。イメージは、最初にビデオデジタイザを用いてデジタル化され、得られたデータはメモリに記憶される。次に、新しい２つのイメージが創成される。

必要な横方向ずれをもつ新しい左右のイメージを創成する最も簡単な方法は、
イメージから目標を「切り出し」、これを、必要な横方向ずれを与えて「貼り付ける」方法であり、これは切り貼り技術と呼ばれる。これは、最初に、「移動」すべき目標を識別して、この位置を定め、次に、イメージから目標を「切り出し」て、これを横方向に移動させることにより行なわれる。

この簡単な技術の問題は、選択された目標がひとたび移動されると、背景も除去され、背景にブランク領域が生じる（第２図参照）。

本発明によれば、イメージ内の目標は、必要な横方向のずれを与えるべく「引き伸ばされ」、かつ元の背景細部を保有する。この結果生じるイメージの横方向歪みは数学的に平滑化されるため、この効果は、視覚的人為結果（ｖｉｓｕａｌ ａｒｔｅ−ｆａｃｔｓ ）を殆ど又は全くもたない「実」３Ｄイメージとして認識される。

イメージのこの引き伸ばし効果をより良く視覚化するため、変換すべきイメージが薄いゴムシート上に印刷されていることを想像されたい。目標に隣接するイメージの表面上の一点を選択し、これを、例えばその元の位置の右方の新しい位置へと引き伸ばす。従って、目標の右方のイメージセクションは圧縮され、かつ目標の左方のイメージセクションは引き伸ばされる（第３図参照）。観者がこれを両目で見ると、観者には目標が歪んで見える。

しかしながら、これと同様であるが反対側に引き伸ばされたイメージが他方の目に供された場合には、観者は歪んだイメージを見るどころか、３Ｄ特性をもつ目標を見ることができる。これが第４図に示されている。

イメージ内の目標の「引き伸ばし」は、電子工学的に行なわれる。各ビデオフレームにおける関心目標は、最初に、これらの概略を定めることにより特定される。各目標について、深度又はメッシュ歪み特性（ｍｅｓｈ ｄｉｓｔｏｒｔｉｏｎ ｃｈａｒａｃｔｅｒ−ｉｓｔｃ） も定める。引き伸ばしは、オペレータがイメージを引っ張ることができるようにしかつこの結果生じる３Ｄイメージの効果をリアルタイムで見ることができるようにすることにより行なわれる。オペレータの熟練及び芸術的手法の介入を用いて、得られるイメージの３Ｄインパクト及び連続するビデオシーケンスを決定できる。個々のビデオフレームは手作業（すなわち、非リアルタイム）により変換することもできるが、本発明者は、ビデオ「クリップ」を形成する一連の関連フレームを自動的（すなわち、リアルタイム）に変換させることも考えている。オペレータは、変換すべきビデオクリップの開始フレーム及び終了フレームを定める。また、開始フレーム及び終了フレームでの、像平面に対する各目標の相対深度も決定する。ビデオクリップは、クリップの各目標の開始位置及び終了位置を用いて処理され、中間フレームの必要な引き伸ばし又は操作を内挿する。

異なる深度をもつ多数のオーバーラップする目標の場合には、最前方の目標が優先される。これは、元の２Ｄイメージが単一カメラで撮られたものであり、従って、画素情報が自動的に最前方に優先されているため、本来的なことである。

イメージの「引き伸ばし」は、デジタル化されたイメージを操作することにより電子工学的に行なうことができる。メッシュ（格子）は、歪みの前に、メッシュの各行及び列の座標が（０、０）となるように、歪ませるべきイメージ上に一時的に置かれる。メッシュのｘ座標は変化され、これにより、歪められる、下に位置するイメージが得られる。メッシュラインの直ぐ下のイメージ領域だけが移動される（これでは、第５図のように不連続になってしまう）のではなく、隣接するメッシュラインも移動され、第６図のような滑らかな歪みが形成される。

歪みメッシュ（ｄｉｓｔｏｒｔｉｏｎ ｍｅｓｈ）の粗さが、３Ｄ効果のインパクトを決定する。メッシュが粗いほど、引き伸ばされる目標に近い方のより多くスプラインされた他の目標がインパクトを受ける。これにより、得られるイメージには低い３Ｄインパクトが生じる。メッシュが細かいほど、目標のエッジが鋭くなりかつ高い３Ｄ効果が得られるが、エッジの不連続性は大きくなる。歪みメッシュのオーダは、説明の目的上、１６×１６であると想定する。メッシュ上の各サブポイントの情報（すなわち、歪み後の座標位置）が符号化され、背景及び最前方目標のサブポイントが作られる。例えば、１６の異なるレベル、４つの背景及び１２の最前方目標が得られるサブポイント符号化には、４ビットが使用される。サブポイント符号化のフォーマットは、実験的に決定し、用途に適合するように調節することもできる。

別の構成として、このメッシュ歪みプロセスは、イメージの自動処理を可能にする数学的アルゴリズムにより規定することもできる。

左目のメッシュ歪みがひとたび決定されると、右目の歪みの座標は、行列のスカラー演算に−１を掛けることにより簡単に求められ（すなわち、同量だけ反対側の横方向にずらした場合）、自動的に計算できることに留意されたい。これが第７図に示されている。

歪みメッシュの各交点の相対水平オフセットから形成される行列は、メッシュ空間ずれ（Ｍｅｓｈ Ｓｐａｔｉａｌ Ｄｉｓｐｌａｃｅｍｅｎｔ；ＭＳＤ）データを規定する。

合成３Ｄイメージを完全に規定しかつ再現する上で必要な全てのことは、元の変更されていない２Ｄイメージ及びＭＳＤデータを得ることである。かくして、３Ｄイメージは、２Ｄイメージ及び関連するＭＳＤデータファイルを考慮することにより、記憶され、伝送され、創成され、編集されかつ操作される。

従って、各ビデオフレーム内のＭＳＤデータを符号化することにより、慣用的な２Ｄビデオシステムに関して３Ｄイメージを記憶しかつ伝送することができる。元の２Ｄビデオイメージが変更なく記憶されかつ伝送されるので、得られるビデオは、既存のビデオ及びテレビジョンシステムとの完全な互換性を有している。

既存の２ＤＴＶ受像機は、通常の画像をディスプレイするであろう。

観者によって感知されずかつ既存のビデオ規格との互換性を有するように、多くの既存の技術を使用してＭＳＤデータを２Ｄイメージに付加することができる。これらの技術として次のものがあるが、これらに限定されるものではない。

ａ）「文字多重（Ｔｅｌｅｔｅｘｔ）」データの付加と同様にして、ブラックレベルに設定された画像の頂部及び底部のスペアラインにＭＳＤ情報を挿入すること。

ｂ）各イメージの左右の見ることができないオーバースキャン領域における技術。

ｃ）英国放送協会（ＢＢＣ）の「同期音（ｓｏｕｎｄ ｉｎ ｓｙｎｃ）」システムのラインに沿う水平同調期間における技術。

将来、デジタルＨＤＴＶ（高品位ＴＶ）の導入により、スペアデジタルデータフレームを、ＭＳＤデータの挿入に利用できるであろう。

第８図には、ＭＳＤデータを２Ｄビデオイメージに付加してＤＤＣ符号化されたビデオフレームを形成するプロセスが示されている。

ＭＳＤデータの量は小さく、１フレーム当たり約１００バイトであると見積もられる。これは、必要ならば、ランレングス符号化又は微分符号化等の標準データ圧縮技術を用いることにより更に圧縮して記憶及び伝送することもできる。

データの量（ａｍｏｕｎｔ ｏｆ ｄａｔａ） が小さいため、必要なデータ速度（ｄａｔａ ｒａｔｅ）も低い。ＭＳＤデータは多数のフレームに亘って迅速には変化しないので、空間及び時間圧縮を用いて必要データを更に減少させることができる。ＭＳＤデータとその関連フレームとの間の正確な時間関係は重要でないので、１フレームのずれ誤差は多分許容できるであろう。

この場合も、データが少量であること、データレートが低いこと、及び整合性は厳格でないことから、各フレームにおいて１／４の情報量で、ＭＳＤデータを多数（すなわち４つ）のフレームについて送ることができるであろう。

第９図には、ＤＤＣデコーダをビデオチェーンに組み込む方法を示すブロック図が示されている。ＤＤＣデコーダの入力には、ＤＤＣ符号化されたビデオ（該ビデオは、地上波、衛星波等の既存のあらゆるビデオソースを介して得ることができる）が供給される。デコーダの１つの出力は、標準ＴＶディスプレイを駆動しかつＤＤＣデコーダにより同期化されたシャッタ眼鏡を着用した観者が３Ｄイメージを見られるようにする標準ビデオ波形（すなわち、ビデオ変調無線周波数信号）である。

ＤＤＣデコーダからは、オーストラリア国特許出願第 ６６７１８／９４ に開示されているバーチャルリアリティ（ＶＲ）ヘッドセット又は自動立体ディスプレイのような他の３Ｄディスプレイ装置を駆動するための付加出力を利用できる。

第１０図には、ＤＤＣデコーダの可能性ある１つの組込み例が示されている。
入力ビデオ信号（該信号は、複合フォーマット又はＳビデオフォーマットのＰＡＬ又はＮＴＳＣ信号を使用できる）が、複合ＲＧＢ又はコンポーネントビデオ変換器に供給される。ＲＧＢ出力すなわちコンポーネントビデオ出力はＡ／Ｄ変換器に供給され、そのデジタル出力はデュアルポートＲＡＭラインストアの入力ポートに供給される。デジタルビデオデータの各ラインは、一定速度でＲＡＭに入る。データは、ＭＳＤデコーダの出力により制御される可変周波数クロックにより決定される速度で、ラインストアから読み出される。

ラインデータを可変速度でＲＡＭから読み出す効果により、得られるビデオはＭＳＤデータに従って引き伸ばされ又は圧縮される。

次に、変換されたデータが、Ｄ／Ａ変換器及びＰＡＬ／ＮＴＳＣエンコーダに供給される。得られる３Ｄ視界連続複合ビデオ信号（３Ｄ ｆｉｅｌｄ ｓｅｑｕｅｎｔｉａｌ ｃｏｍ−ｐｏｓｉｔｅ ｖｉｄｅｏ ｓｉｇｎａｌ）は、ディスプレイに供給される（注：このプロセスは、可変速度でラインストアに読み込まれかつ固定速度で読み出されるビデオ信号でも作動できる。入力される複合ビデオ信号は、ＲＧＢ又はコンポーネントビデオ信号に変換する必要がある。なぜならば、ラインストアからの出力が可変速度で読み出されると、クロミナンス周波数が変化してディスプレイエラーを引き起こす虞れがあるからである）。

ＤＤＣ復号は、視界又はフレームストアを用いても実施できる。この場合には、ＭＳＤデータからの全メッシュは、全視界又はフレームについて計算された画素歪み（横方向のずれ）で復元する。

次に、得られるＲＧＢ又はコンポーネントビデオ出力から、３Ｄ立体イメージペアがディスプレイされる。

シャッタ眼鏡コントローラは、シャッタ眼鏡にタイミングパルスを供給する赤外光源を形成する。このコントローラは、ＰＡＬ／ＮＴＳＣエンコーダと同期される。また、コントローラは、３Ｄ符号化されていない景色の場合又は３Ｄ符号化に適していない景色の場合にはシャッタ眼鏡が開放状態を維持する指令を与え、これにより、これらのビデオシーケンス部分の場合に優れたイメージ品位が得られるようにする。

第１１図は、３Ｄ視界複合ビデオ出力を作るＤＤＣデコーダのブロック図を示す。ＭＳＤデコーダは、２つの可変速クロック（一方は左側のＲＡＭラインストア用、他方は右側のＲＡＭラインストア用である）を作る。この形式のデコーダは、本件出願人の既存の自動立体３Ｄディスプレイの視界ストアに置換するのに適している。この技術は、元の２Ｄビデオソースと同じ視界割合（ｆｉｅｌｄ ｒａｔｅ）の左右のビデオソースを形成する（すなわち、視界連続ビデオ出力（ｆｉｅｌｄ ｓｅｑ−ｕｅｎｔｉａｌ ｖｉｄｅｏ ｏｕｔｐｕｔ） が作られる。

別の構成として、非視界ビデオ出力（ｎｏｎ−ｆｉｅｌｄ ｖｉｄｅｏ ｏｕｔｐｕｔ） を、２Ｄイメージより高い解像度の走査速度で出力に作ることができる。

第１２図は、ＭＳＤデコーダの一態様を示すブロック図である。この場合、ＭＳＤデータは、ビデオ信号の最初の１６ライン（第１３図）の複合ビデオ信号に符号化される。入ってくる複合ビデオ信号は、マイクロプロセッサに垂直タイミング信号及び水平タイミング信号を与える同期分離器に供給される。また、ビデオ（信号）は、黒レベルクランプ回路、比較器及びレベルシフタに供給される。レベルシフタからの出力は、ビデオ信号のライン１〜１６の一連の符号化されたＭＳＤデータを保有するＴＴＬレベル信号である。マイクロプロセッサは、水平同期パルスを待機してループしており、ライン１の水平同期パルスを決定した後、次の１６バイトを読み取る。ＭＳＤデータが完全に読み取られるまで、同様なプロセスが次の１５ラインに反復される。受けたＭＳＤデータに基づいて、マイクロプロセッサは、連続する各ビデオラインのデジタルビデオラインストアに可変速クロックを与える。マイクロプロセッサは、ラインの同期パルスをカウントすることによりビデオラインが処理されるインデックスを維持する。

３Ｄイメージの深度知覚は、観者によって異なる。また、シャッタ眼鏡を着用して３Ｄイメージを見る場合には、３Ｄイメージの「強度」は、観察距離で調節する必要がある。３Ｄイメージの強度は、マイクロプロセッサにより供給されるアルゴリズムを介して３Ｄイメージの強度を観者が変えることができるリモートコントロール装置で変えることができる。アルゴリズムはＭＳＤ行列の各要素の大きさを変えることによって、３Ｄ効果の強度を変化させる。特定の観者の好みがひとたび入力されたならば、デコーダユニットによりこの設定を維持させることも考えられる。

ＤＤＣ符号化されたビデオイメージのリアルタイム創成には多くの技術がある。このような技術のうちの１つの技術では、カメラレンズと、付加された測距用電荷結合素子（ＣＣＤ）配列との間の距離が変えられる（第１４図）。ＣＣＤは、各目標の焦点段階が変化されたイメージをもつ一連のフレームを作る。次に、鮮鋭度検出アルゴリズムを一連のフレームに適用し、イメージの各目標についての鮮鋭度インデックスを決定する。次に、どのフレームで各目標が最も鮮鋭であるかを決定する（これは、当該目標が位置する焦点面を示す）。次に、この情報を使用してＭＳＤデータを形成する。

第１５図は、２つのビデオカメラを使用して別々の左目イメージ及び右目イメージを創成する他の技術を示す。各カメラからの輝度情報はデジタル化されて、ラインストアに供給される。自動相関器又は同様な作動機器が、２つのラインストア内のビットパターン（左右で１６要素）を比較して、ふさわしいペアを探す。イメージ内の目標を表すビデオパターン間の差（距離）を用いてＭＳＤデータを作る。１つのカメラ出力とＭＳＤデータとを結合して、ＤＤＣ符号化されたビデオをリアルタイムに作る。

別の構成として、２つのビデオカメラの代わりに、立体ビデオカメラを使用することもできる。

ＤＤＣを使用して、既存の非アイトラッキング自動立体３Ｄ多観者用システムの重大な欠点を解消することができる。これらのシステムは、第１６図に示すように、左右のイメージの反復シーケンスを作ることにより３Ｄイメージを形成する。各連続イメージ間の距離は６５ｍｍであり、これは観者の眼間距離に等しい。従って、位置Ａに居る観者は正しいシーケンスの３Ｄイメージを見るであろう。

しかしながら、観者が横方向に３２ｍｍ移動して位置Ｂに居るとすると、この場合には、右目で左側イメージを見て、左目で右側イメージを見ることになる（すなわち、観者は「反転３Ｄ」イメージを見ることになる）。この反転３Ｄイメージは、観者に非常な不快感を与え、短時間でも観者に疲労感すなわち頭痛を引き起こす。

殆どの多観者用自動立体イメージシステムはこの欠点を有している。より詳しくは、殆どのシステムは、レンズ形レンズ（ｌｅｎｔｉｃｕｌａｒ ｌｅｎｓｅｓ）及び格子形イメージセパレータを用いている。第１７図には、レンズ形レンズを使用した多観者用自動立体イメージシステムが示されている。左側プロジェクタからのイメージは第１レンズ形レンズを通って、マットスクリーンの表面上に合焦される。第２レンズ形レンズがこのイメージを再合焦させ、観察距離の位置に光の垂直ストライプを形成する。右側イメージを含む第２プロジェクタも第１レンズ形レンズを照射するが、両プロジェクタ間の横方向のずれのため、観者の平面において得られる右目イメージは左目イメージから６５ｍｍずれている。６５ｍｍ間隔を隔てた左右イメージのこの交互シーケンスが反復される。

正しい位置に居る観者は正しい３Ｄイメージを見られるが、前述のように観者が不正確な位置に移動すると、反転３Ｄイメージを見ることになる。

実際に、レンズ形レンズを使用する３Ｄイメージシステムを見るべく最初に座るとき、観者が正しい３Ｄイメージを見るか反転３Ｄイメージを見るかを決定することは困難である。観者は、不快感を覚えるまで、正しくない位置に居ることに気付かない。

また、観者が長時間に亘って正しい観察位置を維持することは困難である。また、観者は、第２レンズ形レンズから正しい距離に居ることも必要である。正しくない距離で見ると、フリンジ効果及びクロストーク効果が生じ易くなるからである。

レンズ形レンズを使用するシステムに付随する他の問題は解像度である。解像度は、全レンズ形レンズの各「レンズ素子」のピッチ（約１ｍｍ）により制限される。

左右だけのイメージを投影する代わりに、第１８図に示すように、多数（例えば４つ）のプロジェクタを用いたレンズ形レンズを使用するイメージシステムにより、一連のイメージ１、２、３、４（各イメージは６５ｍｍの間隔を隔てている）を作ることを考える。元の景色は、同じシーケンス及び間隔を隔てた４つのカメラを用いて記録されている。位置Ａ、Ｂ又はＤに居る観者は正しい３Ｄイメージを見るが、位置Ｃに居る観者は反転３Ｄイメージを見る。

これは、許容できる３Ｄイメージを、横方向に３倍の距離で見ることができるため、従前の左右システムに比べ大きな改善である。観者は、従前の左右システムと同様に、不快感を覚えるまで、位置Ｄが反転３Ｄイメージを与えることに気付かない。

ここで、プロジェクタ４を「無」イメージ（黒）に置換すると（第１９図）、位置Ａ、Ｂは前と同様であるが、位置Ｃでは、右目に平面イメージを作りかつ左目に黒色イメージを作り、不快感を覚えることなく見続けることができる。同様に、位置Ｄも平面イメージを作るが、この場合も反転３Ｄ効果は生じない。かくして、本発明者は、５０％の観者位置で正しい３Ｄイメージが作られ、かつ５０％の観者位置で僅かに劣っているが不快でないイメージが作られ、反転３Ｄ効果を無くすことができるシステムを得た。

プロジェクタの個数を増大させかつ無イメージを設けることにより、正しい３Ｄイメージが見られる横方向距離を増大できかつ反転３Ｄ効果を無くすことができる。

しかしながら、このような多プロジェクタシステムを実施することは実用的でないと考えられる。なぜならば、先ず、プロジェクタの個数が増大すると、各プロジェクタにビデオイメージを与えるのに必要な伝送／記録バンド幅が実用的なものでなくなるからである。

このアプローチの制限は、ＤＤＣ符号化された２Ｄイメージを伝送しかつＤＤＣ を用いて必要数の投影イメージを合成することにより解決できる。ＤＤＣデコーダ内には広いバンド幅が要求されるが、送信機及び／又は記録機器には元の２Ｄバンド幅が維持される。

第２０図には、ＤＤＣデコーダ及びレンズ形レンズを使用する多観者用イメージシステムが示されている。

ＤＤＣ符号化／復号化は、次のように、元のイメージの極左から極右に至る可能イメージ範囲を表すビデオイメージのシーケンスを作ることを可能にする。

〔Ｌ、Ｌ１ 、Ｌ２ ・・・Ｒ２ 、Ｒ１ 、Ｒ〕
要するに、幾つかの用途は次のように説明される。

ＤＤＣすなわち力学的深度合図（Ｄｙｎａｍｉｃ Ｄｅｐｔｈ Ｃｕｅｉｎｇ）は、変換の中間段階にある２Ｄから３Ｄへの変換プロセスから得られるデータ形式についての用語である。この段階では、データは、元のビデオ信号と、デジタル又はアナログ形式に符号化されたデータパケットとからなり、変換仕事を完了すべく特定電子ハードウェア及び／又はソフトウェアに命令する必要がある全ては、この付加データである。合成３Ｄ情報は、視界連続（すなわち左／右）形ビデオフォーマット、２つの別々のビデオストリーム、ライン・ビー・ラインシステム（ａ ｌｉｎｅ ｂｅ ｌ−ｉｎｅ ｓｙｓｔｅｍ）（すなわち、左側視界から１ライン、右側視界から１ライン）又は有効な他の何らかのフォーマットの形態にすることができる。

変換データパケットのフォーマットの入念な設計により、標準ＴＶ上にディスプレイされたときに付加データに気付かないように、この付加データを含めることができる。かくして、既存のテレビジョン設備を変更することなく３Ｄテレビジョン送信を行なうことができる。デコーダは、視覚装置（すなわちＴＶ）の近くに配置できかつ本質的に、伝送信号を遮断し、復号しかつＴＶに出力してこれを見るための「ブラックボックス」である。従って、各ＴＶに「ブラックボックス」を付加することにより、既存の２ＤペイＴＶ又はＴＶ網構造の改良が簡単化される。

多イメージ形自動立体３Ｄディスプレイシステム用媒体の供給について説明する。これらのシステムは、僅かに異なる斜視図による多イメージを供給することに基づいている。これらのシステムは、異なる斜視図の個数が大きい（例えば、８〜１６）と、非常に多くの観者が見ることができるようになる点で非常に有効である。これらの主な欠点は、同時に利用するための非常に多くの異なる景図を必要とするので、高度なビデオ圧縮技術を用いたとしても、媒体の供給が非常に困難なことである。しかしながら、ＤＤＣデコーダを用いて３Ｄ媒体を創成するならば、要求された数と同数の個々の斜視図を創成できる。また、通常の２Ｄイメージと同様、ＴＶやビデオデコーダのような機器を作ることができる。観者は、伝送されたイメージについてのいかなる変化も気付かない。

ＤＤＣ符号化された標準２Ｄビデオイメージは、次のような特徴を有する。

・ＤＤＣ符号化された２Ｄイメージは、ＴＶ及びビデオレコーダのような標準ビデオ機器に、通常の２Ｄイメージとして受信できる。観者は、伝送されたイメージについてのいかなる変化も気付かない。

・ＤＤＣ符号化されたイメージは、既存の全てのビデオ、編集、記録、受信及び送信システム及び技術との完全な互換性を有している。従って、ＤＤＣ符号化された２Ｄイメージは、既存の全てのビデオ技術及びテレビジョン技術に対して使用できる。

・ＤＤＣ符号化された２Ｄビデオは、カラーＴＶ及びステレオサウンドの導入と同様にして市場に投入できる。ＤＤＣデコーダを備えたＴＶセット（観者が適当な視覚眼鏡を用いるもの）又は３ＤＴＶセットでは３Ｄイメージがディスプレイされる。

・ＤＤＣ符号化は景色間のシームレス遷移が可能であり、これは３Ｄ符号化の場合にも有効でありかつ２Ｄでディスプレイする場合にも有効である。この遷移部は、観者が気付くことはない。

・ＤＤＣ符号化されたビデオは、既存の全ての３Ｄディスプレイ機器にディスプレイできかつ多観者用システムとして適している。

・ＤＤＣ符号化は、元のビデオソースのライン及び視界規格を保有する。

・ＤＤＣ符号化は、左／右視界連続フォーマットでの３Ｄビデオイメージを符号化する場合のように、イメージ更新周波数（ｉｍａｇｅ ｕｐｄａｔｅ ｆｒｅｑｕｅｎｃｙ） を低下させることはない。

第１図は、元のイメージと、３Ｄイメージすなわち立体イメージを得るための慣用的な左右のイメージとを示す図面である。 第２図は、元のイメージと、切り貼り技術を用いて作られる３Ｄイメージを得るための左右のイメージとを示す図面である。 第３図は、元のイメージと、本発明による力学的深度合図法により創成されたイメージとを示す図面である。 第４図は、本発明による左右のイメージ及び合成３Ｄイメージを示す図面である。 第５図は、歪みメッシュにより不連続的に歪まされたイメージを示す図面である。 第６図は、歪みメッシュにより連続的に歪まされたイメージを示す図面である。 第７図は、左側メッシュ及び右側メッシュについてのメッシュ空間ずれデータ（ＭＳＤ）の例を示す図面である。 第８図は、本発明によるビデオイメージにＭＳＤデータを付加する方法を示すフローチャートである。 第９図は、本発明によるビデオチェインにＤＤＣデコーダを組み込む方法を示すブロック図である。 第１０図は、視界連続複合ビデオ出力を与える本発明のＤＤＣデコーダユニットの可能性ある実施形態を示すブロック図である。 第１１図は、視界並列複合ビデオ出力を与える本発明のＤＤＣデコーダユニットの可能性ある実施形態を示すブロック図である。 第１２図は、本発明によるＭＳＤデコーダの一態様を示すブロック図である。 第１３図は、ＭＳＤデータを複合ビデオ信号に符号化する方法を示すものである。 第１４図は、リアルタイムに創成されるＤＤＣ符号化されたビデオイメージを形成する構成を示すブロック図である。 第１５図は、リアルタイムに創成されるＤＤＣ符号化されたビデオイメージを形成する他の構成を示すブロック図である。 第１６図は、多観者用３Ｄシステムの作動原理を示す図面である。 第１７図は、レンズ形レンズを使用する３Ｄシステムの作動原理を示すブロック図である。 第１８図は、レンズ形レンズ組立体を使用した多プロジェクタシステムを示す図面である。 第１９図は、レンズ形レンズ組立体を使用した多プロジェクタシステムを示す図面である。 第２０図は、本発明によるＤＤＣデコーダを組み込んだ多プロジェクタシステムを示す図面である。

Claims (43)

1. 元の２Ｄイメージから、立体ディスプレイのための左目イメージ及び右目イメージを作る方法において、前記元のイメージの選択領域を、決定された量及び方向だけずらすことにより引き伸ばされたイメージを創成し、この引き伸ばされたイメージが前記左目イメージ及び右目イメージを形成することを特徴とする方法。
2. 元の２Ｄイメージから、立体ディスプレイのための左目イメージ及び右目イメージを作る方法において、
   ａ）前記元のイメージ内の少なくとも１つの目標を特定し、
   ｂ）前記目標又は各目標のアウトラインを定め、
   ｃ）前記目標又は各目標の深度特性を定め、
   ｄ）前記目標又は各目標の選択領域を、これらの目標の深度特性の関数として決定された量だけそれぞれ横方向にずらし、観者の左目及び右目で見るための２つの引き伸ばされたイメージを形成することを特徴とする方法。
3. 前記元の２Ｄイメージが形成された部分をずらして、イメージ内にいかなる
   黒領域も生じないようにすることを特徴とする請求の範囲第１項又は第２項に記載の方法。
4. 前記引き伸ばされたイメージの一方が、他方の前記引き伸ばされたイメージの鏡像イメージであることを特徴とする請求の範囲第１項〜第３項のいずれか１項に記載の方法。
5. 前記各目標には、別々の深度特性が与えられることを特徴とする請求の範囲第２項に記載の方法。
6. 複数の２Ｄイメージが変換されることを特徴とする請求の範囲第１項〜第５項のいずれか１項に記載の方法。
7. デジタル化された２Ｄイメージから、立体ディスプレイのための左目イメージ及び右目イメージを作る方法において、
   前記デジタル化されたイメージ上にメッシュを形成し、該メッシュが、最初は、複数の平行な横方向メッシュラインと、複数の平行な長手方向メッシュラインとを備え、前記横方向メッシュラインが前記長手方向メッシュラインに対して直角に配置されかつ複数のサブポイントを形成すべく交差し、
   前記サブポイントを移動させることによりメッシュを歪ませ、下に横たわるイメージを引き伸ばすことを特徴とする方法。
8. 互いに隣接するサブポイント間の前記メッシュラインは、全ての歪みの終時に連続した状態を維持していることを特徴とする請求の範囲第７項に記載の方法。
9. 前記サブポイントは、横方向にずれてメッシュを歪ませることを特徴とする請求の範囲第７項又は第８項に記載の方法。
10. 各サブポイントの歪み量を使用して、元の２Ｄイメージを立体ディスプレイのための左目イメージ及び右目イメージに変換できるようにするデータを作り、該データは、イメージ内のどの目標を処理すべきであるか、前記目標を如何に処理すべきであるか、他の目標に対する前記目標の優先度、及び前記目標の深度特性を規定することを特徴とする請求の範囲第７項〜第９項のいずれか１項に記載の方法。
11. 前記各サブポイントに要求される歪みを定める数学的アルゴリズムを創出することを特徴とする請求の範囲第１０項に記載の方法。
12. 前記元の２Ｄイメージ及び変換データは、標準２Ｄ技術に沿って伝送できることを特徴とする請求の範囲第１０項又は第１１項に記載の方法。
13. 立体ディスプレイのための左目イメージ及び右目イメージへの２Ｄビデオ信号の変換を補助すべく、変換データを用いて２Ｄビデオ信号を符号化する方法において、
    前記ビデオ信号に変換データを付加して符号化された信号を作り、前記変換データは、ビデオイメージを立体ディスプレイ用の引き伸ばされたイメージに変換すを特徴とする方法。
14. 前記変換データは、伝送すべき標準２Ｄイメージの頂部及び／又は底部のブランクライン内で伝送されることを特徴とする請求の範囲第１３項に記載の方法。
15. 前記変換データは、伝送すべき標準２Ｄイメージの水平同期時間内に伝送されることを特徴とする請求の範囲第１３項に記載の方法。
16. 前記変換データは、伝送すべき標準２Ｄイメージの各ラインの水平オーバースキャン領域内で伝送されることを特徴とする請求の範囲第１３項に記載の方法。
17. ３Ｄ変換データで符号化された２Ｄビデオイメージを作る方法において、
    複数のビデオカメラからビデオイメージを捕捉し、
    それぞれの各ビデオカメラからのビデオイメージを比較して前記変換データを作り、該変換データは、立体ディスプレイのための左目イメージ及び右目イメージへのビデオイメージの変換を行なうためのビデオイメージのそれぞれの点のずれを定め、
    前記ビデオカメラの１つからのビデオ信号と変換データとを結合して符号化されたビデオ信号を作ることを特徴とする方法。
18. 立体ディスプレイを形成するためのビデオ信号を符号化する方法において、
    前記ビデオ信号を受け、該ビデオ信号は２Ｄビデオイメージ及び該ビデオイメージを変換するための変換データを有し、該変換データは、ビデオイメージを、立体ディスプレイ用の引き伸ばされたイメージに変換するためのビデオイメージのそれぞれの点のずれを定め、
    前記ビデオ信号から変換データを読み出し、
    前記変換データに従って前記２Ｄビデオイメージ内の目標をずらすことにより、ディスプレイ用２Ｄビデオイメージから左目イメージ及び右目イメージを作ることを特徴とする方法。
19. 前記２ＤビデオイメージをＲＧＢ成分に変換し、
    各成分をデジタル信号に変換し、
    左目イメージ及び右目イメージを作る前に前記デジタル信号を記憶することを特徴とする請求の範囲第１８項に記載の方法。
20. 前記デジタル信号は、変換データの関数として、可変速度で記憶部から読み出されることを特徴とする請求の範囲第１８項又は第１９項に記載の方法。
21. 前記デジタル信号は、変換データの関数として、可変速度で記憶部に読み込まれることを特徴とする請求の範囲第１８項又は第１９項に記載の方法。
22. 前記デジタル信号は、アナログシステム上で見るためアナログに変換されることを特徴とする請求の範囲第１８項〜第２１項のいずれか１項に記載の方法。
23. 前記変換データは前記ビデオ信号から分離されることを特徴とする請求の範囲第１８項〜第２１項のいずれか１項に記載の方法。
24. 元の２Ｄイメージから立体ディスプレイ用の左目イメージ及び右目イメージを作るシステムにおいて、前記元のイメージの領域を選択する手段と、前記選択領域を決定された量及び方向だけずらして引き伸ばされたイメージを創成する手段とを有し、前記引き伸ばされたイメージは前記左目イメージ及び右目イメージを形成することを特徴とするシステム。
25. 元の２Ｄイメージから立体ディスプレイのための左目イメージ及び右目イメージを作るシステムにおいて、
    前記元のイメージ内の目標を特定する手段と、
    各目標の深度特性を定める手段と、
    各目標の選択領域を、各目標の深度特性の関数として決定された量だけ横方向にずらし、観者の左目及び右目で見るための２つの引き伸ばされたイメージを形成する手段とを有することを特徴とするシステム。
26. 一方の引き伸ばされたイメージの鏡像イメージを創成する手段を有することを特徴とする請求の範囲第２４項又は第２５項に記載のシステム。
27. 前記深度特性を定める手段は、イメージの各目標について別々の深度特性を定めることができることを特徴とする請求の範囲第２４項〜第２６項のいずれか１項に記載のシステム。
28. 複数の２Ｄイメージを変換できることを特徴とする請求の範囲第２４項〜第２７項のいずれか１項に記載のシステム。
29. ３Ｄ変換データで符号化された２Ｄビデオ信号を作るシステムにおいて、
    互いに横方向にずらして配置された少なくとも第１および第２のビデオカメラと、
    変換データを作るための変換手段とを有し、該変換手段は、前記ビデオカメラからデータを受けかつ比較して変換データを作り、該変換データは、一方のビデオカメラからのビデオイメージのそれぞれの点のずれを定め、ビデオイメージを立体ディスプレイのための引き伸ばされたイメージに変換し、
    前記一方のビデオカメラからのビデオ信号と前記変換手段からの変換データとを結合して、符号化されたビデオ信号を作るためのエンコーダ手段を更に有することを特徴とするシステム。
30. 立体ディスプレイを形成するためのビデオ信号を復号するためのデコーダで
    あって、前記信号が２Ｄビデオイメージを形成し、ビデオイメージを変換するための変換データを更に有し、該変換データが、ビデオイメージのそれぞれの点のずれを定め、ビデオイメージを立体ディスプレイのための引き伸ばされたイメージに変換する構成のデコーダにおいて、
    ａ）ビデオ信号を受ける手段と、
    ｂ）変換データを読み出しかつビデオ信号を制御して変換されたビデオ信号
    を作るための復号手段とを有することを特徴とするデコーダ。
31. ａ）ビデオ信号を別々のビデオ信号成分に変換するためのＲＧＢすなわち成分ビデオ変換器と、
    ｂ）各ビデオ成分をそれぞれのデジタル信号に変換するためのＡ／Ｄ変換手段と、
    ｃ）前記デジタル信号を記憶するためのデジタル記憶手段とを有することを特徴とする請求の範囲第３０項に記載のデコーダ。
32. 前記デコーダは、デジタル記憶手段の読み出し速度を制御する可変周波数クロック手段を制御するように構成され、これにより前期記憶手段が可変速度で読み出されて、変換データに従って２Ｄイメージを変換することを特徴とする請求の範囲第３０項又は第３１項に記載のデコーダ。
33. 前記デコーダは、デジタル記憶手段の読み出し速度を制御する可変周波数クロック手段を制御するように構成され、これにより、ＲＧＢすなわちビデオ成分が可変速度で記憶手段に読み込まれて、変換データに従って２Ｄイメージを変換することを特徴とする請求の範囲第３０項又は第３１項に記載のデコーダ。
34. 前記記憶手段はデュアルポートＲＡＭラインストアの形態をなしていることを特徴とする請求の範囲第３０項〜第３３項のいずれか１項に記載のデコーダ。
35. 単一ビデオラインを処理することを特徴とする請求の範囲第３０項〜第３４項のいずれか１項に記載のデコーダ。
36. 多ビデオラインを処理することを特徴とする請求の範囲第３０項〜第３４項のいずれか１項に記載のデコーダ。
37. 視覚手段上で見ることができるように、読み出されたデジタル信号を変換されたビデオ信号に変換するためのＤ／Ａ変換手段が設けられていることを特徴とする請求の範囲第３０項〜第３６項のいずれか１項に記載のデコーダ。
38. 変換された左側ビデオイメージ及び右側ビデオイメージのデジタル信号をそれぞれ記憶するための並列記憶手段を有していることを特徴とする請求の範囲第３０項〜第３６項のいずれか１項に記載のデコーダ。
39. 前記変換されたデータをビデオ信号から分離するための分離手段を有していることを特徴とする請求の範囲第３０項〜第３８項のいずれか１項に記載のデコーダ。
40. ａ）ビデオイメージを形成するビデオ信号を変換データで符号化するためのエンコーダを有し、変換データは、ビデオイメージを立体ディスプレイ用の引き伸ばされたイメージに変換するため、ビデオイメージのそれぞれの点のずれを定め、
    ｂ）変換データをビデオ信号から分離させかつ変換データの関数としてビデオ信号を変換するためのデコーダとを有することを特徴とする立体イメージディスプレイシステム。
41. ビデオ信号を復号させて立体ディスプレイを形成するためのデコーダと、ビデオ信号は２Ｄビデオイメージを形成し、さらに、ビデオイメージを変換するための変換データを有し、変換データは、ビデオイメージを立体ディスプレイ用の引き伸ばされたイメージに変換するため、ビデオイメージのそれぞれの点のずれを定め、前記デコーダは、ビデオ信号を受ける手段と、変換データを読み出しかつビデオ信号を制御して変換されたビデオ信号を形成する手段とを有していることを特徴とする多観者用立体ディスプレイシステム。
42. ３Ｄ変換データで符号化された２Ｄビデオイメージを作る方法において、
    立体ビデオカメラから左目ビデオイメージ及び右目ビデオイメージを捕捉し、
    立体ビデオカメラからの左目ビデオイメージ及び右目ビデオイメージを比較して前記変換データを作り、該変換データは、立体ディスプレイのための左目イメージ及び右目イメージへのビデオイメージの変換を行なうためのビデオイメージのそれぞれの点のずれを定め、
    前記ビデオカメラからのビデオ信号と変換データとを結合して符号化されたビデオ信号を作ることを特徴とする方法。
43. ３Ｄ変換データで符号化された２Ｄビデオイメージを作るシステムにおいて、
    立体ビデオカメラと、
    変換データを作るための変換手段とを有し、該変換手段は、前記ビデオカメラからデータを受けかつ比較して変換データを作り、該変換データは、ビデオイメージを立体ディスプレイのための引き伸ばされたイメージに変換するための、ビデオイメージのそれぞれの点のずれを定め、
    ビデオ信号と前記変換手段からの変換データとを結合して、符号化されたビデオ信号を作るためのエンコーダ手段を更に有することを特徴とするシステム。
    

Images