JP2001515287A - 画像処理方法および装置 - Google Patents

Abstract

(57)【要約】 モノスコープ画像を受信するように構成された入力手段（１）と、モノスコープ画像のシーケンスの第１の画像と第２の画像との間にいくらかの連続性があるかどうかを決定する予備解析手段と、連続性があるモノスコープ画像を受信し、かつ画像を解析し、モーションの速度および方向、および物体の奥行、サイズおよび位置を決定する二次解析手段（２）と、予備解析手段または二次解析手段から受信されたデータに基づいてモノスコープ画像を処理する第１の処理手段（３）と、第１の処理手段から受信された画像をさらに処理できる第２の処理手段と、処理画像を立体ディスプレイシステム（５）に転送できる伝送手段（４）とを含む、三次元で見るためにモノスコープ画像を変換する画像変換システム。

Description

【発明の詳細な説明】

発明の分野 本発明は、一般に立体画像システム、特に立体ディスプレイのためのモノスコ
ープ一連の画像からの立体画像対の合成に関するものである。本発明は、モノス
コープソースをデジタル化し、それをモーションに対して解析し、立体画像対を
生成し、立体効果を最適化し、立体画像対を伝送するかあるいは記憶し、それか
ら立体画像対を立体ディスプレイ装置上に表示できる、立体画像を生成するため
の５層方法にも指向できる。 背景技術 従来のモノスコープディスプレイシステムあるいは二次元（２Ｄ）ディスプレ
イシステムよりも見る人にとってよりリアルな画像を作り出す立体ディスプレイ
システムあるいは三次元（３Ｄ）ディスプレイシステムの出現によって、一連の
立体画像は３Ｄディスプレイシステム上で見られるように利用できることが必要
である。この点で、立体ディスプレイ装置上で見るための一連の立体画像を生成
するように処理できる多数のモノスコープ画像ソース、例えば既存の２Ｄフイル
ムあるいはビデオが存在する。 立体的に見るためのこのような一連のモノスコープ画像を変換する、以前から
存在する方法では、容認できるような結果を生じない。フイルムおよびビデオに
おける他の試みにおいては、「モーション視差（Ｍｏｔｉｏｎ Ｐａｒａｌｌａ
ｘ）」の立体奥行キューを再現する技術が使用された。これらの技術は、横方向
、左または右のモーションが一連の画像にある場合、追跡する目に表わされる一
連の画像に対して遅延を生じさせることを含む。他の試みにおいては、奥行の認
識を与えるために、左右の目に対する画像の「横方向シフト（Ｌａｔｅｒａｌ
Ｓｈｉｆｔｉｎｇ）」が使用された。 しかしながら、これらの２つの技術には限界があり、一般に特定の用途だけに
適している。例えば、モーション視差（Ｍｏｔｉｏｎ Ｐａｒａｌｌａｘ）技術
は、左右のモーションを有するシーンに対してだけ優れており、静止シーンの立
体の画質向上に対しては限られた値しか有しない。横方向シフト（Ｌａｔｅｒａ
ｌ Ｓｈｉｆｔｉｎｇ）技術は、あるシーンに対して全体的な奥行効果を生じさ
せるだけで、さまざまな奥行きがある異なる物体を、その物体が存在していると
ころの奥行きにおいて認識することができない。これらの２つの技術の組み合わ
せであっても大部分の２Ｄフイルムあるいはビデオに対して限られた立体効果を
与えるだけである。 いくつかの既存のアプローチはこれらの技術の限界を示している。画像が垂直
モーションおよびある程度の横方向モーションを有し、追跡する目に表された画
像に遅延が与えられた場合、結果として、左右の視野間に大きな垂直不均衡を生
じることが多々あり、一連の画像を見るのに不快感を与える。同一のシーンにお
いて左右に移動する物体のように、逆モーションを有するシーンも見るのに不快
感を与える。これらの方法についての実施例には、いろいろな奥行の物体が画像
にある場合、物体の前景から後景への滑らかな遷移よりもむしろ、別個の奥行層
を有する物体の、明らかな「カードボードカットアウト（Ｃａｒｄ Ｂｏｒｄ
Ｃｕｔ−ｏｕｔ）」現象が見られる。 これらのアプローチにおいては、全ての画像シーケンスに適するにするための
、もしくは、見る人の不快感の問題を解決するための、もしくは、見る人各々あ
るいはディスプレイ装置に対する立体効果を最適化するための、システムまたは
方法を開発する試みは成功していない。 発明の目的 したがって、一連のモノスコープ画像を立体画像対に変換するための改良され
た方法を有するシステム、および改良された一連の立体画像を見る人に提供する
システムが必要とされている。 本発明の目的は、このような改良された方法を有するシステムを提供すること
にある。 発明の概要 上記の問題に対処するために、本発明は、一つの態様において、一連のモノス
コープ画像を解析し、画像におけるモーション特性を決定するステップと、任意
の検出されたモーションと所定の範囲のモーションカテゴリーとを比較するステ
ップと、モーションカテゴリーに応じて少なくとも一つの処理方法を用いて一連
のモノスコープ画像を処理し、立体画像対を形成させるステップとを含む、一連
のモノスコープ画像を処理し、立体画像対にする方法を提供する。 他の態様において、本発明は、一連のモノスコープ画像を受像できる入力手段
と、一連の画像を解析し、画像カテゴリーを決定する解析手段と、立体的に見る
ために選択画像カテゴリーの関数として、一連のモノスコープ画像を立体画像対
に変換できる変換手段とを含む立体システムを提供する。 理想的には、入力手段はまた、一連のモノスコープ画像を取り込み、デジタル
化する手段を含む。 好ましくは、画像解析手段は、画像におけるモーションの速度および方向、奥
行、サイズおよび位置および背景を決定できる。 他の態様では、本発明は、立体画像を最適化し、立体効果をさらに改善させる
方法を提供し、この処理は一般に伝送、記憶および表示の前段階で適用される。 さらに他の態様では、本発明は、見る人の基準点を画像に追加することによっ
て立体画像対を改善させる方法を提供する。 さらに他の態様では、本発明は、各画像を複数の領域に拡大縮小するステップ
と、第１の画像の各領域と第２の画像の対応しかつ隣接する領域とを比較し、前
記第１の画像と前記第２の画像間のモーションの特性を決定するステップとを含
む立体画像対に変換するための一連のモノスコープ画像を解析する方法を提供す
る。 好ましくは、モーションベクトルは、検出されたモーションの特性と、モーシ
ョン無しから完全なシーン変化に及ぶ所定のモーションカテゴリーとの比較に基
づいて、各画像に対して定義される。 さらに他の態様では、本発明は、一連のモノスコープ画像を受像するように構
成された入力手段と、一連のモノスコープ画像シーケンスの第１の画像と第２の
画像との間に連続性がいくらかあるかどうかを決定する予備解析手段と、連続性
がある一連のモノスコープ画像を受像し、かつ一連の画像を解析し、モーション
の速度および方向、物体の奥行、サイズおよび位置の少なくとも一つを決定する
二次解析手段と、二次解析手段の予備解析手段から受信されたデータに基づいて
一連のモノスコープ画像を処理する第１の処理手段とを含む、三次元で見るため
の一連のモノスコープ画像を変換する画像変換システムを提供する。 好ましくは、第１の処理手段から受信された一連の画像をさらに処理できる第
２の処理手段が含まれる。理想的には、システムは、一連の処理画像を立体ディ
スプレイシステムあるいは記憶手段に転送できる伝送手段も含む。 好ましくは、一連の変換画像を立体ディスプレイ装置に伝送するよりも前に第
２の処理手段から受信された一連の画像の画質を任意に高めるために第３の処理
手段が提供される。 さらに他の態様では、本発明は、モノスコープ画像を受信するように構成され
た第１の層と、モノスコープ画像を受信し、かつ画像データを作るためにモノス
コープ画像を解析するように構成された第２の層と、画像データの関数として選
択された少なくとも一つの所定の技術を使用してモノスコープ画像から立体画像
対を作るように構成された第３の層と、立体画像対を立体ディスプレイ手段に転
送するように構成された第４の層と、立体ディスプレイ手段からなる第５の層と
を含む、三次元で見るためのモノスコープ画像を変換する方法を提供する。 好ましくは、第１の層はさらに、一連の任意のアナログ画像を一連のデジタル
画像に変換するように構成される。さらに、第２の層は、好ましくは、あるシー
ンにおける任意の物体を検出し、任意の、このようなモーションの速度および方
向に関する決定を行うように構成される。便宜的には、任意のこのような解析よ
りも前に画像は圧縮されてもよい。 好ましくは、第３の層は、立体画像対を立体ディスプレイ手段に伝送するより
も前に立体画像対の画質をさらに高める最適化工程をさらに含む。便宜的には、
第４の層は、後になってから立体ディスプレイ手段上に表示するために立体画像
対を記憶する記憶手段も含む。 長所 本発明のプロセスは、いかなる工程でも中断され、後で継続させるために記憶
され、あるいは必要な場合、他の場所で継続させるために伝送できることが評価
される。 本発明は、下記を含む多くの特有な長所を有する変換技術を提供する。 １）リアルタイムまたは非リアルタイム変換 一連のモノスコープ画像を立体画像対に変換できる機能は、リアルタイムまた
は非リアルタイムで実行できる。一連の画像を手動で扱うためにオペレータ介入
を利用してもよい。一例として、フイルムあるいはビデオの変換が挙げられる。
ここでは、その立体効果のためにオペレータによってあらゆるシーケンスがテス
トされ、最適化されてもよい。 ２）立体画質向上を含む技術 本発明は、複数の技術を使用し、立体画像対を生成するためのモーション視差
および横方向シフト（強制視差）の基本技術をさらに高める。これらの技術は、
物体解析、タグ付け、トラッキングおよびモーフィング、視差ゾーン、基準点、
モーション合成および視差変調の技術の使用を含むが、これに限定されない。 ３）逆３Ｄの検出および補正 逆３Ｄは、画像のモーション特性を解析することによって３Ｄ生成処理の一部
として理想的に検出される。そのとき、見る人の不快感を最少にするように逆３
Ｄを最少にするために補正技術を使用してもよい。 ４）伝送および記憶を含む全ての用途における使用法 本発明は、広い範囲の用途に応用できる技術を開示し、モノスコープアプリケ
ーションに立体変換プロセスを適用する全工程を説明している。一方、本発明は
、画像処理装置および立体ディスプレイ装置の両方がほぼ同じ位置に置かれてい
る３Ｄ生成のための技術を説明している。他方、ある位置における立体画像対の
生成およびその伝送、記憶および遠隔位置でのその後の表示といった技術が定義
されている。 ５）任意の立体ディスプレイ装置と併用できる 本発明は、いかなる立体ディスプレイ装置にも適用でき、理想的には内蔵型の
調節機構を有する。３Ｄ生成方法は、立体効果を最適化するためにディスプレイ
装置の種類も考慮にいれることができる。 詳細な説明 本発明は、個人の全視覚認識機能を使用する立体画像を、見る人に提供するこ
とを目的としている。したがって、脳がこのような一連の画像を解釈するのに必
要な奥行キューを提供する必要がある。 序論 人間は、目および脳に関する生理学的な処理および心理学的な処理の複雑な組
み合わせによって知覚する。視覚認識は、短期および長期の記憶力の使用に関わ
り、我々の感覚によって定義づけされている、既知の経験されたリアリティを用
いて可視情報を解釈できる。例えば、空間および遠近のカルテシアン法則によれ
ば、物体が見る人から離れてより遠くに移動すればするほど、益々物体はより小
さくなる。換言すれば、脳は、物体が大きい場合、物体は見る人に接近し、物体
が小さい場合、物体がある程度の距離離れていると予想する。これは、先ず第一
に物体のサイズを知ることに基づいた学習済み処理である。可視情報で表すこと
ができる他のモノスコープのあるいは小さな奥行キューは、例えば、陰影、ピン
ぼけ、テクスチュア、光、大気である。 これらの奥行キューは、‘遠近３Ｄ’ビデオゲームおよびコンピュータグラフ
ィックスの製作で使用されて大いに役立つ。しかしながら、立体効果を実現する
際のこれらの技術に関する問題は、認識された奥行が定量化できないことである
。すなわち、それは２Ｄ環境の２Ｄ物体を表示するための幻影である。このよう
なディスプレイは、両眼の視野が同一であるために、立体画像を示していないの
で、リアルに見えない。 奥行キュー 一連の立体画像は実世界ビジュアルを再現する試みであり、奥行を定量化でき
るように一連の‘遠近３Ｄ’画像よりも非常に多くの可視情報を必要とする。立
体奥行キューあるいは主要な奥行キューは人の視覚認識を三次元で刺激できるよ
うにこの付加データを提供する。これらの主要な奥行キューは下記のように説明
される。 １）網膜差異−両眼がわずかに異なる視野を見るという事実のことをいう。こ
れは物体を人の顔の前に保ち、後景に焦点を合わせることによって容易に示すこ
とができる。一旦目が後景に焦点を合わせると、あたかも顔の前に実際２つの物
体があるかのように見える。差異は、重ねられた一連の網膜画像の対応する左右
の像点間の水平距離である。視差は観察された一連の画像間の実際の空間変位で
ある。 ２）モーション視差−見る人により接近しているこれらの物体は、たとえより
離れた物体と同じ速度で移動するとしてもより速く移動するように見える。した
がって、相対移動は小さな奥行キューである。しかし、横方向移動の主要な立体
奥行キューはモーション視差の生成物である。右から左へ移動する画像のモーシ
ョンの場合、右目は前進する目であるのに対して、左目は追跡する目になり、そ
の結果その画像は遅延される。この遅れは我々の視覚認識機構の通常の機能であ
る。左から右へのモーションの場合、右目は追跡する目になる。この遅延の効果
は、網膜差異（目に対して２つの異なる視野）を生成することであり、両眼視差
と認識されて、モーション視差として知られている立体キューを提供する。 ３）調整−目は、神経・筋肉の活動によって目のレンズを圧縮するか（接近し
た物体に対してはより凸面の形状）あるいは目のレンズを拡大するか（遠い物体
に対してはより凸面でない形状）のいずれかによって物体に鋭い焦点を合わせる
。神経・筋肉の活動の量および種類は画像の奥行に対する立体キューである。 ４）集中性−物体の一連の画像を目の中心視覚領域の照準に合わせる目の神経
・筋肉系の応答であり、一つの物体だけを見るようにする。例えば、腕の長さの
ところで維持した指を両眼で見て、ゆっくりと顔の方へ近づける場合、目は内側
に回転（集中）し、指がより接近することを示す。すなわち、指までの奥行は減
少している。 目の集中性応答は通常視力の調整能力に生理学的にリンクしている。立体的に
見る際に、見る人が‘固定平面（Ｆｉｘａｔｉｏｎ Ｐｌａｎｅ）’（目が一点
に集中される）に適応できない場合、不快感を経験するかもしれない。‘固定の
平面’は通常スクリーン平面である。 概説−５層方式 本発明は、任意のモノスコープ入力を取り入れ、それを改良された立体出力に
変換できるシステムを記載している。説明を容易にするために、この全システム
は、多数の独立層あるいはプロセスに分解できる。すなわち、 層１−モノスコープ画像入力（一般的にはビデオ入力） 層２−画像解析 層３−３Ｄ生成 層４−３Ｄメディア（伝送あるいは記憶） 層５−３Ｄディスプレイ 図１は、立体変換方法へのトップダウン方式を示しており、ビデオあるいは若
干の他のモノスコープ画像ソースが入力され、一連の画像が解析され、立体画像
対が生成され、伝送されおよび／または記憶され、それから立体ディスプレイ上
に表示される。各層はモノスコープ画像入力から立体ディスプレイに至る全シス
テムの独立プロセスを示している。一方、いろいろな層が独立して動作してもよ
いことがわかる。 用途 一般に、５層全ては、モノスコープ画像入力から特定の用途のためにディスプ
レイされるまで使用される。例えば、このシステムは劇場あるいは映画で使用さ
れてもよい。このような用途では、２Ｄビデオ入力はビデオソースに対してアナ
ログあるいはデジタル形式をとることができる。その後、これらのソースは解析
され、任意のモーションの速度および方向を決定する。次に、この処理は３Ｄ画
像を作り出すためにリアルタイムあるいは非リアルタイムのいずれかで実行され
る。これは、境界、視差修正、逆３Ｄ解析、シェーディング、および／またはテ
クチュアリングの使用によってさらに最適化できる。その後、一連の３Ｄ画像は
、記憶されてもよいしあるいはシャッタガラス、偏光ガラスあるいは自動立体デ
ィスプレイを含む３Ｄディスプレイに伝送されてもよい。 このシステムはケーブルＴＶシステムあるいは有料ＴＶシステムと併用するよ
うに構成してもよい。この用途では、２Ｄビデオ入力は、ＶＴＲ、レーザディス
ク、あるいは他のデジタルソースであってもよい。更に３Ｄの生成および／また
は最適化はリアルタイムあるいは非リアルタイムで行われてもよい。さらに、３
Ｄメディア層は、便宜的にケーブルあるいは衛星を介する伝送の形をとり、ＴＶ
、ビデオプロジェクタ、あるいは自動立体ディスプレイ上に３Ｄディスプレイを
使用可能にする。 このシステムも、マルチメディアのビデオアーケードゲームあるいは地上ＴＶ
あるいはネットワークＴＶと併用されてもよい。用途に応じて、２Ｄビデオ入力
層は、ゲームプロセッサから一連のソースモノスコープ画像、レーザディスクか
らビデオ、ＶＴＲからビデオ、ネットワーク、若干の他のデジタル記憶装置ある
いはデジタルソースもしくはテレシネ処理からビデオを得てもよい。３Ｄ生成は
、リアルタイムあるいは非リアルタイムで行われ、中央変換サイトにあるコンピ
ュータによって、ユーザのコンピュータ内に、または中央プロセッサ上に、ある
いは他の画像プロセッサ上に生成される。そして、一連の立体画像はビデオある
いは他のデジタル記憶装置に記憶され、その後、映画館に配信されたりローカル
ネットワークによって伝送される。これらの一連の立体画像も、ローカル伝送、
あるいはその代わりとしてＶＨＦ／ＵＨＦ機構あるいは衛星を介してビデオプロ
ジェクタに伝送されてもよい。 ３Ｄディスプレイは、必要とされる用途に左右され、自動立体ディスプレイ装
置、偏光ガラスを有するビデオプロジェクタ、シャッタガラスを有するローカル
モニタ、適当な視界ガラスを有するセットトップボックスの形をとることができ
る。 単一＆多重プロセッサ 全システムは単一プロセッサで作動でき、全て５つの層はリアルタイムあるい
は非リアルタイムに一緒にあるいは個別に処理される（層２、層３および層４）
。層２および層３は、例えば、図２で分かるように多重タスキングあるいはマル
チプロセッサ環境に適するようにさらにセグメント化される。 多重プロセッサの使用も利用できる用途に対して自由に構成できる。層１およ
び２は第１のプロセッサによって処理でき、層３〜層５は第２のプロセッサによ
って処理できる。所望される場合、この装置の第１のプロセッサはルックアヘッ
ドプロセッサとして使用でき、第２のプロセッサは一連の遅延後立体画像を生成
することができる。一方、第１のプロセッサは、リアルタイムビデオを受信し、
ビデオをデジタル化し、デジタル化ビデオを適当なデジタル記憶装置に転送する
ために使用できる。その後、第２のプロセッサは、オンサイトであるいは遠隔で
デジタル化画像を解析し、適当なディスプレイ装置上に立体画像を表示するのに
必要なタスクを実行できる。 ルックアヘッド処理は、画像処理モードがより有効に選択され、全立体効果を
最適化できるようにフィルムあるいはビデオのシーケンスの向きを予測するため
に使用されてもよい。 本発明は主に、一連のモノスコープ画像の解析および立体効果の最適化ととも
に一連のモノスコープ画像の立体画像対への変換に関するものである。この点で
は本発明は広範囲のモノスコープ入力、伝送手段およびビューイング手段に応用
可能である。しかしながら、完全なものにするために、５つの層全てを以下に説
明する。 層１−画像あるいはビデオ入力 層１は、モノスコープ画像ソースあるいはビデオ入力が提供されることを必要
とする。このソースは、デジタル画像ソースあるいはそのときデジタル化されて
もよいアナログ画像ソースのいずれかとして提供されてもよい。これらの画像ソ
ースは下記を含んでもよい。 １）アナログソース ａ）テープ方式−ＶＣＲ／ＶＴＲあるいはフィルム。 ｂ）ディスク方式−レーザディスク。 ｃ）ビデオカメラあるいは他のリアルタイム画像取込装置。 ｄ）一連のコンピュータ生成画像あるいはグラフィックス。 ２）デジタルソース ａ）テープ方式−典型的な例はＤＡＴ、アンペックスのＤＣＴ、ソニー
のデジタルベータカム、パナソニックスのデジタルビデオ形式あるいは６．５ｍ
ｍテープを使用する新しいデジタルビデオカセット（ＤＣＶ）形式。 ｂ）ディスクベース記憶装置−磁気光学（ＭＯ）ハードディスク（ＨＤ
）、コンパクトディスク（ＣＤ）、レーザディスク、ＣＤ−ＲＯＭ、ＤＡＴ、デ
ジタルビデオカセット（ＤＶＣ）あるいはデジタルビデオディスク（ＤＶＤ）方
式データ記憶装置−ＪＰＥＧ、ＭＰＥＧあるいは他のデジタル形式を使用する ｃ）ビデオカメラあるいは他のリアルタイム画像取込装置 ｄ）一連のコンピュータ生成画像あるいはグラフィックス。 本発明の変換方法にとって重要なことは、モノスコープ画像ソースが提供され
るべきであることである。層１〜３に対する要求を通常不要にする立体画像ソー
スが提供されてもよく、一方、任意のこのような立体画像は表示するよりも前に
最適化工程を通過してもよいことは注目すべきことである。 層２−画像解析 次に、本発明の好ましい構成を表す流れ図を示す図３〜図８を参照する。 ２Ｄ画像の受信に続いて、デジタル化ビデオあるいはデジタル画像データは、
ハードウェア、ソフトウェアあるいは両方の組み合わせによってリアルタイムあ
るいは非リアルタイムでフィールド毎あるいは画像毎ベースで処理される。最初
に、下記のステップを含む画像解析処理が行われる。 １）画像圧縮 ２）モーション検出 ３）物体検出 ４）モーション解析 １）画像圧縮 画像の圧縮は不可欠ではないが、多くの処理および用途にとって、要求される
時間内にフル解像度画像を処理するほどプロセッサが十分高性能でない場合は特
に、圧縮は実用的なオプションである。 好ましくは、一連の画像はより小さい寸法に縮小する方がよい。縮小率は、各
画像のに使用されるデジタルビデオ解像度によって定まり、デジタル化処理で使
用される画像取込機構のタイプによって通常規定される。 ２）モーション検出 好ましい実施例では、各画像はピクセルのブロックで解析されてもよい。モー
ションベクトルは、一つの画像からのブロックと所定数までのピクセル、例えば
±９だけ水平方向および／または垂直方向にずれている隣接画像からの対応する
ブロックとを比較し、最小平均自乗誤差を生じさせる位置を記録することによっ
て各ブロックに対して計算される。 各ブロックに対しては、ベクトルおよび最小および最大平均自乗誤差は後処理
するために記録される。 処理時間を節約するために、ブロックにディテールが全然ない場合、例えば、
ブロックが均質な色である場合、ベクトルを計算する必要がない。 モーションを計算する他の方法、例えば画像減算を利用できる。本実施例は平
均自乗誤差法を使用する。 ３）物体検出 物体は、共通の特徴を有する画像の一部を識別するピクセルあるいは画素のグ
ループとして規定される。これらの特徴は、同類の輝度値（同類の輝度）、クロ
ミナンス値（同類の色）、モーションベクトル（モーションの同類の速度および
方向）あるいは同類の画像ディテール（同類のパターンあるいはエッジ）の領域
に関するものであってもよい。 例えば、家を通り過ぎて走る車。この車は異なる速度で後景に移動するピクセ
ルあるいはピクセルブロックの領域にある。この車が家の前に停止するならば、
車は検出することが困難であり、他の方法が使用されてもよい。 連結性アルゴリズムは、同様なモーションベクトルの領域の中へモーションベ
クトルを結合するために使用されてもよい。物体は１つあるいはそれ以上のこの
ような領域で構成されてもよい。エッジ検出等のような他の画像処理アルゴリズ
ムは物体の検出で使用されてもよい。 一旦物体が画像で識別されると、物体はタグを付けられるか識別番号を付けら
れるかあるいは与えられることが好ましい。これらの物体およびその関連ディテ
ール（例えば、位置、サイズ、モーションベクトル、タイプ、奥行）は、さらな
る処理を実行できるようにデータベースに記憶される。物体が一連の画像にわた
って追跡されるならば、これは物体トラッキングとして知られる。物体を追跡し
、その特徴を解析することによって、物体は前景物体あるいは後景物体であると
識別でき、したがって画像のその奥行位置を強調するために画質が高められる。 ４）モーション解析 一旦物体が検出されると、物体は画像のモーションの全速度および方向を決定
するために解析できる。好ましい実施例では、この工程は画像のモーションの種
類を決定し、全ベクトルも提供する。 物体検出情報を使用し、データをいくつかの画像モーションモデルと比較する
ことによって、一連のモノスコープ画像を立体画像対に変換するための最良の方
法について最初の決定を行うことができる。 本発明の好ましい実施例で使用されるような画像モーションモデルは、 ａ）シーン変化 ｂ）シンプルパン ｃ）コンプレックスパン ｄ）静止後景にわたる移動物体 ｅ）移動後景にわたる前景物体 ｆ）モーション無し である。 必要に応じて他のモーションモデルを使用してもよい。 ａ）シーン変化 この名前が示唆するようなシーン変化は、一つの画像が前の画像あるいはシー
ンに対する共用性を殆どあるいは全然有しない時である。それは２つの画像間の
輝度の非常に大きい絶対差あるいは２つの画像の色の大きな差として検出できる
。 好ましい装置では、前の画像と現画像との間の輝度値の差（０〜２５５）の中
央値が一般的には３０以上である時にシーン変化を決定してもよい。この値は用
途に関して変化してもよいが、試行錯誤により、この値は大部分のシーン変化を
決定するのに適切であるとしている。 シーン変化を決定する二次基準は、モーションベクトルの領域が多すぎる時で
ある可能性があり、画像上にランダムノイズのようなものが現れ、それがシーン
変化に帰因する可能性がある。画像に非常に大きなモーション量がある場合、こ
れが生じる場合がある。 シーン変化を検出する第３の技術は、各画像の上部の数ラインを解析し、シー
ン変化を検出することである。各画像の上部は変化が最も少ない。 また、大半のモーションベクトルブロックが大きな誤差値を有する場合、２つ
の画像間の差があまりに大きいので、シーン変化とみなされる。 シーン変化およびフィールド遅延 好ましい実施例では、あるシーンで検出される横方向モーションがある場合、
追跡する目に対しての画像はモーションの速度に反比例する時間量だけ遅延され
る。右から左に移動する画像の場合、追跡する目は左目であり、左から右に移動
する場合、追跡する目は右目である。 追跡する目に対する画像シーケンス遅延（あるいはフィールド遅延）は、ビデ
オフィールドをメモリにデジタル形式で記憶することによって、一時的に遅延さ
せて形成してもよい。現在のビデオフィールドは先に動いている目に対して示さ
れ、追跡する目に対する遅延した像は、横方向モーションの速度に応じて記憶さ
れたビデオフィールドから選択される。 表示される多数のフィールドにわたって、追跡する目に対するモーションの変
化およびフィールド遅延の変化に関する履歴を保持できる。これによって、画像
プロセッサが任意のモーション傾向を予測し、それに応じて突然の変化が全くな
いように遅延を修正するよう反応することができるようになり立体効果を滑らか
にすることができる。 シーン変化が検出された場合は、本発明の好ましい実施例に対するフィールド
遅延は、ゼロに設定され、画像をばらばらに分割することを防止し、フィールド
遅延履歴もリセットされる。フィールド遅延履歴は好ましくは各シーン変化でリ
セットされる。 ｂ）シンプルパン シンプルパンは、一連の画像にわたる横方向モーション傾向を示し、それによ
って解析モーションの大部分は一方向になる。これは、シーンの大部分に一貫し
たモーションがあり、前景で静止画像が全く検出されない場合をカバーすること
が好ましい。 シンプルパンは非ゼロモーションベクトルを有する主要物体として検出され得
る。 シンプルパンの結果は、シーンが右に移動する（あるいは左にパンする）場合
、正のモーションベクトルが発生されるということである。この場合、右目に対
する画像が遅延される。同様に、シーンが左に移動する（あるいは右にパンにす
る）場合、負のモーションベクトルが生成される。この場合、左目の像が遅延さ
れる。 ｃ）コンプレックスパン コンプレックスパンは、画像において著しい垂直モーションがあるという点で
シンプルパンと異なる。したがって、好ましい実施例では、立体画像対シーケン
ス間の垂直差異を最少にするために、フィールド遅延は応用されず、物体処理だ
けが立体効果を生じるために使用される。フィールド遅延履歴は新しい横方向モ
ーションに対して連続性を保持するために使用される。 ｄ）静止後景にわたる移動物体 静止後景にわたる移動物体は単にこの状況にあり、それによってシーンの大部
分は全くモーションを有さず、中間サイズの１つあるいはそれ以上の移動物体が
シーンの中にある。この状況は、物体の大部分が右に移動する場合、正のモーシ
ョンベクトル、物体の大部分が左に移動する場合、負のモーションベクトルを生
じる。正のモーションベクトルは右目に遅延を生じさせ、負のモーションベクト
ルは左目に遅延を生じさせる。 シーンの物体のモーションベクトルが一貫していない、例えば、物体が同じシ
ーンの左右に移動する場合、逆モーションが存在するので、逆３Ｄ補正技術を応
用してもよい。 ｅ）移動後景にわたる前景物体 移動後景にわたる前景物体は、シーンの大部分にモーションがあり、異なるモ
ーションを有する物体がシーンの中にあり、例えばカメラが歩いている人を追跡
する状態のことをいう。後景物体は、主物体に対してゼロモーションベクトルあ
るいは逆モーションベクトルを有する中間サイズの物体の背後にある、非ゼロモ
ーションベクトルの主要物体（すなわち、パニング後景）として検出される。あ
るいは、全体のフィールドにわたって広がる非ゼロベクトルの小さな物体の前に
ある、ゼロベクトルの主要物体として検出される（すなわち、フィールドの大部
分を満たす大きな静止物体、パンはその背後でなお依然として目で見ることがで
きる）。 モーション視差の生成において前景物体を優先権させるべきであるかどうか、
あるいは後景を優先させるべきであるかどうかについて決定すべきである。後景
が奥行の大きな変動（例えば、木）を含むならば、モーションベクトルは、あた
かもシンプルパンが生じているかのように割り当てられる。後景が奥行の小さい
変動（例えば、壁）を含むならば、逆平行あるいは負であるモーションベクトル
が割り当てられる。 後景が奥行の大きな変動を含み、モーションベクトルがシンプルパン方法に従
ってシーンに割り当てられた場合、前景物体は逆３Ｄにあり、適当な補正方法を
利用すべきである。 ｆ）モーション無し モーションベクトルが完全にゼロである場合、あるいは、最大移動物体が非常
に小さいと考えられる場合などのようにモーションが全く検出されない場合は、
フィールド遅延はゼロに設定される。ランダムモーションベクトルあるいはノイ
ズモーションベクトルだけが決定されるか、あるいはモーション情報が全く利用
できない場合にこのような状況が生じる。例えば、青い空を横切ってパンする場
合などである。 層３−３Ｄ生成 一旦一連の画像が解析されると、その後、一連の画像は立体画像対を生じるた
めに処理される。 実世界シーンを見る場合、両眼はわずかに異なる画像を見る。これは網膜差異
と呼ばれる。次に、これは立体視あるいは奥行認識を生じる。換言すれば、我々
は、各目に同じシーンのわずかに異なる画像を見させることによって立体的に見
る。 一方、視差は、網膜差異として見る人によって認識される画像間の水平あるい
は横方向シフトの量として定義される。立体画像対が作成される場合、三次元シ
ーンは２つの水平方向にシフトした視点から観察される。 本発明は、多数の画像および物体処理技術を使用し、一連のモノスコープ画像
から立体画像対を生成する。これらの技術は下記のとおりである。 １）モーション視差 ２）強制視差（横方向シフト） ３）視差ゾーン ４）Ｙ軸の周りの画像回転 ５）物体処理 １）モーション視差 あるシーンが右から左に移動する場合、右目はシーンを最初に観察するのに対
して、左目は遅延像を受け取り、反対方向に移動するシーンに対してはその逆で
ある。モーションが速ければ速いほど、両眼に対する画像の間の遅延は少なくな
る。これは、モーション視差として知られ、主要な奥行キューである。したがっ
て、あるシーンの横方向モーションがある場合、目に対する一連の画像の間に遅
延を生じさせることによって、立体効果が認識される。 ａ）フィールド遅延計算 一旦、画像のモーション特性が解析され、全体のモーションベクトルが決定さ
れると、そのとき、必要とされるフィールド遅延が計算される。好ましくは、計
算されたフィールド遅延は前の遅延で平均化され、‘雑音’値をフィルタリング
出力し、さらにフィールド遅延があまり迅速に変わることを防止する。 前述のように、モーションが速ければ速いほど、各目に対する画像間の遅延は
少なくなる。したがって、フィールド遅延のより小さい値が大きなモーションベ
クトルを有するシーンで使用されるのに対して、より大きな遅延は小さい横方向
モーションを有するシーンで使用される。すなわち、好ましい実施例では、モー
ションの遅延とモーション量との間に反比例の関係が存在する。 シーン変化が決定される場合、その前においてモーションが全く生じなかった
ようにフィールド遅延の履歴はゼロにリセットされるべきである。非ゼロフィー
ルド遅延が計算されるモーションの最初の検出において、フィールド遅延の履歴
がまだゼロの場合、フィールド遅延の全履歴はその算出されたフィールド遅延に
セットされる。これによって、システムは、モーションが検出される場合に正し
いフィールド遅延を直ちに表示することができる。 ｂ）フィールド遅延インプリメンテーション モーション視差は、デジタル化画像をメモリに記憶することによってハードウ
ェアおよびソフトウェアに生成することができる。好ましくは、デジタル化画像
は、バッファに記憶され、単一のポインタが、一つが左目像およびもう一つが右
目像のための２つの出力ポインタとを有することが好ましい。先に進む目に対す
る画像メモリポインタは、現入力画像メモリポインタにあるいは現入力画像メモ
リポインタ近くに保持されるのに対して、遅延された目に対する画像メモリポイ
ンタは、遅延出力を生じるようにバッファにセットされる。画像は多数記憶でき
、８〜１０個までのビデオフィールドが、ビデオ用途では一般的である。遅延は
画像で解析されたモーションの速度で決まる。最大フィールド遅延は、モーショ
ンが最小の場合である。 ２）強制視差（横方向シフト） 強制視差は、 ｉ） 画像の正確なコピーとそれ自体の間 ｉｉ） ビデオフレームの２つのフィールド間 ｉｉｉ）フィルムシーケンスの２つのフレーム間 ｉｖ） 画像の変換コピーとそのオリジナルとの間 に横方向シフトを導入することによって生じさせることができる。 負の横方向シフトは、左像を右におよび右像を左に同じ量だけ変位させること
によって生成され（スクリーン平面から始まり、それの前に移りながらフィール
ドの奥行を生じさせる）、正の横方向シフトは、左像を左におよび右像を右に同
じ量だけ変位させることによって発生される（スクリーン平面から始まり、それ
の背後に後退するフィールドの奥行を生じさせる）。 強制視差は、パンの前の静止物体に対する立体効果を高めるために減少される
ことができ、その場合物体がスクリーン平面により接近して‘置かれ’、定義さ
れた物体平面から後景が‘押し出される’。 ３）視差ゾーン 大部分のシーンは上部の後景および下部の前景とともに観察されるために、強
制視差を‘変える”ことによってシーンの奥行を強めることができる。これは、
画像の上部を画像の下部以上に横方向に移動させることによって行われるので、
シーンで観察された前後の奥行を強める。 他の技術は、画像の異なる部分にモーション視差および強制視差の組み合わせ
を使用することである。例えば、画像を垂直方向に半分に分割し、異なる視差シ
フトを各側面に加える。これによって、移動する列車から前方向に線路を見るよ
うなシーンは正しい立体効果を有する。そのような場合でなければ、逆３Ｄにお
いて常に、一つの側面が現れる。 ４）Ｙ軸の周りの画像回転 物体が実世界シーンで見る人の方に移動する場合、物体は各目に対する視野で
わずかに回転される。回転効果は物体がより接近して移動するときにより顕著で
ある。この回転を立体画像対に変換することは以下のように効果を規定する。 ｉ） 見る人の方への移動−左像は、反時計回りの方向にその中心軸について
垂直方向に回転され、右像は、時計回りの方向に回転される。 ｉｉ）見る人から離れる移動−左像は、時計回りの方向にその中心軸について
垂直方向に回転され、右像は、反時計回りの方向に回転される。 したがって、画像回転によって、画像の物体の遠近は奥行が認識されるように
わずかに変えられる。この技術は所定のシーンに対して強制視差と結合される場
合、結合効果は非常に強力な立体の奥行キューをもたらす。 ５）物体処理 物体処理は、これらの項目を独立して処理できるように物体および後景を分離
することによって、特に静止画像の立体効果をさらに高めるように実行される。
物体がサイズが大きく、数が少なく、フィールドの奥行中に別個の奥行レベルを
占有する場合に物体処理は最も有効である。 物体をその後景からデジタル的に‘カットアウト’して、立体効果を高めるた
めの適切な処置を施すことができるような傾向を確立するために、物体タグ付け
および物体トラッキング用のデータベースが使用できる。一旦処理が行われると
、物体は同じ位置に再び後景に‘ペーストされ’、戻される。これは‘カット・
アンド・ペースト’技術と呼ぶことができ、変換処理で有用である。 物体のタグ付け、トラッキング、カット・アンド・ペーストの処理を統合する
ことによって、物体処理および後景処理を可能にする強力なツールとなる。 他の物体処理技術は各移動物体に対する独自の奥行層を規定する物体階層化で
ある。物体がその位置になかった場合、後景フィルディテールが定義されている
ために、画像上のいずれの場所においても物体を配置することができる。これは
、後景フィルインが補間されなければ、通常静止物体に対しては実現できない。 立体変換の最も重要な問題は、見る人に不快感を生じさせる逆３Ｄおよび調整
／集中性のアンバランスの補正である。好ましい実施例における物体処理によれ
ば、この問題に関する修正も可能である。 ａ）メッシュ歪みおよびモーフィング−この物体処理技術によって、物体は、
歪んだメッシュ上にカット・アンド・ペーストでき、奥行認識を高める。左目像
の物体を右に、および右目像の同一物体を左に歪めて、物体視差を生じることに
よって、立体ディスプレイ装置を使用する場合、見る人に非常に接近して見える
ように物体を形成できる。 ｂ）物体バレリング−この技術はメッシュ歪みの特定の形式であり、物体を画
像からカットし、垂直に配置された半分のバレル上に巻き付ける技術のことをい
う。これは、物体の中心部を物体エッジよりも接近して見えるようにすることに
よって物体が奥行を有するように見えるようにする。 ｃ）物体エッジ強調−物体のエッジを強調することによって、画像の後景ある
いは他の物体との間に大きな差異を生じさせる。立体効果はこの技術によって多
数の用途で強調される。 ｄ）物体輝度強調−いかなる画像においても、目は常に最大物体および最大輝
度物体に引き付けられる。物体の輝度を修正することによって、物体は後景以上
に強調でき、立体効果を高める。 ｅ）Ｙ軸の周りの物体回転−物体だけに回転が生じることを除いて、Ｙ軸の周
りの物体回転とは、Ｙ軸の周りの画像回転の処理と同様な処理のことをいう。立
体画像対の物体がその後景から‘カット’され、わずかに回転される場合、回転
によって発生された遠近の変化は奥行として認識される。 ３Ｄ最適化 １）基準点あるいは境界 一連の立体画像を表示するために通常のＴＶあるいはビデオモニタを使用する
場合、目は、モニタあるいはスクリーンのエッジを連続的に見ており、これは全
ての奥行認識に対する基準点あるいは固定点として認識される。すなわち、全て
の物体はこの基準点の後方あるいはこの基準点の前方の奥行において認識される
。 モニタのエッジが不十分な周辺照明のためあるいはその暗い色のために容易に
確認されない場合、この基準点が失われ、目は３Ｄ領域の固定点を連続的に探索
することになる。長期の立体観察の下では、これは目の疲労および奥行認識の減
少を生じる可能性がある。前面あるいは背面映写スクリーンディスプレイシステ
ムも同じ問題を有する。 したがって、本発明は、視野画像内の共通境界あるいは基準点を規定すること
が好ましい。理想的には、基準平面はスクリーンレベルに設定され、全ての奥行
はこのレベル後方で認識される。これは多くのシーンにおいて立体効果を高める
長所を有する。 この基準点は簡単なビデオ境界あるいは基準グラフィックであってもよいし、
例えば、以下の形式のものであってもよい。 ｉ） 画像の周界の周りの単一色ビデオ境界。 ｉｉ） 同心境界間に不透明部あるいは透明部を有する場合がある、２以上の
同心境界からなる複合色ビデオ境界。例えば、２〜３ｃｍ幅のメッシュ境界ある
いは、２つの薄い内部境界を有する幅広い外部境界。 ｉｉｉ）任意の１エッジ、あるいは任意の２つの水平エッジあるいは垂直エッ
ジを占有する部分境界。 ｉｖ） 画像内のある点に位置するロゴ（ＬＯＧＯ）あるいは他のグラフィッ
ク。 ｖ） 画像内の画像。 ｖｉ） 上記のいずれかの組み合わせ。 この実施例においてきわめて重要であることは、見る人の目に画像における物
体の奥行が認識できる基準点が提供されるということである。 境界あるいはグラフィックが３Ｄ生成レベルで加えられる場合、それは、互い
に横方向にシフトされる左右の境界を作ることによって特定の奥行で基準点を提
供するように特定されてもよい。これによって、基準点あるいは固定点は、スク
リーンレベルの後方あるいは前方のいずれかの点において空間でシフトできる。
左右の目に対して全く視差を有せずに定義された境界あるいはグラフィックはス
クリーンレベルで認識される。これは本発明の好ましい態様である。 画像境界あるいは基準グラフィックは３Ｄ生成点で挿入されてもよいし、ある
いは外部で規定され、ディスプレイのための立体画像出力上にゼンロック（ｇｅ
ｎｌｏｃｋ）されてもよい。このような画像境界あるいは基準グラフィックは、
黒、白あるいは着色、無地あるいはパターン化、または、画像後景に対して不透
明、半透明あるいは透明であってもよいし、静的あるいは動的であってもよい。
ほとんどの場合、静的境界は妥当であるが、ある状況においては、移動境界ある
いは動的境界はモーション強調のために使用される。 ２）視差調整−奥行感度制御 立体ディスプレイ装置によって見られる一連の立体画像は、画像あるいは物体
に適用された視差の種類および量を修正することによって増減できる奥行範囲（
奥行の鋭さと呼ばれる）を自動的に定義する。見る人によって、立体画像対によ
り定義された奥行範囲あるいは立体視の量に基づいていろいろな立体観察の快適
さレベルを有することが分かった。すなわち、より大きい奥行範囲を有する顕著
な立体効果を好む人がいる一方、最少奥行を有する画像を好む人もいる。 奥行の感度および見る際の快適度レベルを調整するために、多くの技術が使用
さる。すなわち、 ｉ） フィールド遅延を変えることによってモーション視差の量を変えるこ
と ｉｉ） 画像に対する強制視差の量を変えること ｉｉｉ）物体に適用された視差の量を変えること である。 視差の最大レベルを減少させることによって、奥行範囲を減らすことができ、
立体視に対してより高感度の認識機能をもった人の、見る際の快適度を改善する
。 ３）視差平滑化 視差平滑化は、連続関数として視差（モーション視差＋強制視差）の全量を保
持するプロセスである。特定のモーションの種類に対するフィールド遅延におけ
る変化、すなわち、シンプルパンおよび前景物体モーションは、生成されたモー
ション視差の量に不連続性を生じるが、これは見る人には一連の立体画像の“ジ
ャンプ”として確認される。先に進む目には遅延していない像が示されるので、
追跡する目のために生成された画像にのみ不連続性が生じる。これらの不連続性
は、等しく反対の方向に、強制視差あるいは物体視差を追跡する目のために調整
することによって補うことが可能であり、それによって連続性のあるトータルな
視差を維持できる。 強制視差あるいは物体視差は、滑らかに調整され、フィールド遅延における次
の変化に対応できるように通常の値まで戻される。強制視差あるいは視差平滑化
に行われる調整は、フィールド遅延変化、モーションの種類およびモーションベ
クトルの関数である。視差平滑化を行うために、左右目の画像に対する強制視差
は独立して設定されるべきである。 ４）視差変調 立体効果を生じるための強制視差技術は、見る人によって検出された立体視の
量を加減するためにも使用できる。これは、物体あるいは画像について認識され
た奥行が徐々に変わるように、短時間における最小および最大の限界の間に強制
視差設定を変えることによって行われる。理想的には、強制視差は、０．５〜１
秒毎にその最小および最大設定の間で変調される。これによって、見る人はその
立体感度のレベルに調整できる。 ５）モーション合成 検出不可能小さな増加量で後景をランダムに移動させることによって擬似モー
ションを生じさせることにより、前景物体の認識された奥行が強調される。前景
物体は後景から‘カット’され、後景は下記の技術の中の１つによって疑似ラン
ダムに変更され、それから前景物体は、表示する準備ができた後景上に‘ペース
ト’され、戻される。下記の技術のいずれかが使用されてもよい。 ｉ） 擬似ランダムベースで変えられる輝度値 ｉｉ） 擬似ランダムベースで変えられるクロミナンス値 ｉｉｉ）モーションを生じさせるために擬似ランダムノイズを後景に加え
ること ６）逆３Ｄ解析および補正 視差によって生じた物体の奥行順序が実世界の奥行順序に対応するものとは異
なっていると認識されるときに逆３Ｄが生じる。これは、一般に見る人に不快感
をもたらし、補正されるべきである。一連のモノスコープ画像を立体画像対に変
換する場合、逆３Ｄは下記によって生成され得る。 ｉ） 逆モーション、同じ画像上で左右に移動する物体 ｉｉ） 異なる方向に移動する物体および後景 ｉｉｉ）いろいろな速度で移動する多数の物体 逆３Ｄは、画像における物体のモーションの特性が解析され、それから物
体視差が予想視覚認識基準と一致するようにメッシュ歪み技術を使用して各物体
を個別に操作することによって補正される。 ７）その他の技術 画像内の物体の遠近を修正し、たくさんの小さな奥行キューを強調することに
よって、立体効果を強調できる。以下の技術全ては、‘カット・アンド・ペース
ト’技術を使用して行う。すなわち、前景物体は‘カット’され、強調され、後
景上に‘ペースト’され、戻される。 ａ）シャドウ−シェーディングは物体の遠近を示している。 ｂ）前景／後景−−ブラリングあるいはフォギイングによって後景の焦点
をぼかすことによって、前景物体を強調でき、前景物体の焦点をぼかしながら、
後景の奥行を強調できる。 ｃ）エッジ強調−エッジは物体をその後景から識別するのに役立つ。 ｄ）テクスチュアマッピング−物体を後景から識別するのに役立つ。 層４−３Ｄメディア（伝送＆記憶） 層１に関しては、層４および層５は本発明にとって不可欠でない。層４は一連
の立体画像の伝送および／または記憶のために提供する。伝送手段は特定の用途
に適合させることができる。例えば、下記を使用できる。 １）ローカル伝送−同軸ケーブルを介してできる。 ２）ネットワークＴＶ伝送−下記を介してできる。 ｉ） ケーブル ｉｉ） 衛星 ｉｉｉ）地上放送 ３）デジタルネットワーク−インターネット等 ４）立体（３Ｄ）画像記憶装置 画像記憶手段は後の伝送あるいは表示のための画像データを記憶するために
使用でき、下記を含んでもよい。 ｉ） アナログ記憶装置−ビデオテープ、フィルム等 ｉｉ）デジタル記憶装置−レーザディスク、ハードディスク、ＣＤ−ＲＯ
Ｍ、磁気光学ディスク、ＤＡＴ、デジタルビデオカセット（ＤＶＣ）、ＤＶＤ。 層５−３Ｄディスプレイ 伝送手段に関しては、ディスプレイ手段は用途要件によって決めることができ
、下記を含んでもよい。 １）セットトップボックス 定義によれば、セットトップボックスは、受信し、復号化し、アクセサリイン
タフエースを備え、最後に用途に適合する出力を有する電子機器である小さいボ
ックスである。それは下記を組み込んでもよい。 ａ）ビデオあるいはＲＦ受信機 ｂ）頭部装着形装置別個の左右画像出力を供給する立体（３Ｄ）デコーダ
あるいは別個のビデオチャネルを必要とする他の立体ディスプレイ ｃ）解像度向上−ラインダブリング／ピクセル補間 ｄ）シャッタあるいは逐次眼鏡同期化（Ｓｅｑｕｅｎｔｉａｌ Ｇｌａｓ
ｓｅｓ Ｓｙｎｃｈｒｏｎｉｚａｔｉｏｎ） ｅ）立体奥行感度制御回路 ｆ）アクセサリインタフエース−２Ｄ／３Ｄスイッチおよび奥行制御装置
のような機能を有する遠隔制御装置 ｇ）オーディオインタフエース−オーディオ出力、ヘッドホン接続 ｈ）アクセスチャネル復号化−ケーブル・有料ＴＶ用途 ｉ）ビデオあるいはＲＦ出力 ２）立体ディスプレイ 下記を含む別個の画像を左右の目に提供する特別の眼鏡あるいはヘッドギヤを
使用する。 ａ）偏光眼鏡−線形偏光子および円形偏光子 ｂ）立体写真眼鏡−着色レンズ−赤／緑等 ｃ）ＬＣＤシャッタ眼鏡 ｄ）カラー逐次眼鏡 ｅ）頭部装着形装置（ＨＭＤ）−２つの小型ビデオモニタ（各目対して１
つ）を取り付けられたヘッドギヤ、ＶＲヘッドホン ３）自動立体ディスプレイ ａ）ビデオプロジェクタ／逆反射スクリーン式ディスプレイシステム ｂ）容積測定ディスプレイシステム ｃ）レンチキュラーレンズ式ディスプレイシステム（Ｌｅｎｔｉｃｕｌａ
ｒ ｌｅｎｓｂａｓｅｄ ｄｉｓｐｌａｙ ｓｙｓｔｅｍ） ｄ）ホログラフィー光学素子（ＨＯＥ）式ディスプレイシステム 好ましい実施例 要約すると、本発明は、好ましい実施例において、デジタル形式あるいはアナ
ログ形式でモノスコープ画像シーケンスを入力でき、その場合、アナログ／デジ
タル変換が含まれるシステムを提供する。したがって、この画像データは画像解
析の方法に委ねられ、それによってモノスコープ画像は、これが特定の用途のた
めに必要とされる場合、圧縮される。 画像のピクセルのブロックと隣接画像の対応するブロックとを比較し、各ブロ
ックに対する最小平均自乗誤差を得ることによって、画像内のモーションを決定
できる。 モーション検出に続いて、画像の領域が、類似の特性、例えば画像輝度、色彩
、モーション、パターンおよびエッジ連続性によって識別される。このデータは
モーション解析が行われ、画像内のモーションの特性を決定する。このモーショ
ン解析は、画像の任意のモーションの方向、速度、種類、奥行および位置を決定
する形をとる。その後、このモーションは、モーションが全シーン変化、シンプ
ルパン、コンプレックスパン、静止後景上を移動する物体、移動後景の前の静止
物体であるかどうか、あるいは全くモーションがないかどうかを含む多数のカテ
ゴリーに分類される。さらなる動作は、これらのカテゴリーに基づいて決定され
、適切な立体ディスプレイ装置で見るのに適している立体画像対に一連のモノス
コープ画像を変換する。 好ましい実施例では、一旦一連のモノスコープ画像が解析されると、シーン変
化あるいはコンプレックスパンが検出されるならば、この特定のシーンの他の解
析が全く必要とされず、むしろフィールド遅延およびフィールド遅延履歴の両方
がゼロにリセットされる。それから、物体検出処理は、新しいシーンに利用され
、このシーン内の物体を試行し識別する。一旦これらの物体が識別されると、そ
のとき物体処理が行われる。物体が全く識別されない場合、この画像は、強制視
差および３Ｄ最適化を使用してさらに処理を行うために渡される。 画像解析中に分類されたモーションがシーン変化でない場合、このシーンにつ
いての他の解析が必要される。このシーンの他の解析がシンプルパンとして分類
されているモーションに帰着する場合、モーション視差の原理に従ってフィール
ド遅延を用いる必要がある。そうして、さらなる処理に進む。モーションがシン
プルパンとして分類されなくて、むしろ静止後景上のモーション中の物体として
分類される場合、再度、モーション視差の原理に従ってフィールド遅延を用いな
ければならない。この点では、一旦モーション視差が用いられると、物体全てが
均一の方向を有するかどうかを考察する必要がある。物体が均一の方向に移動す
る場合、物体は後の工程でさらに処理されるために渡される。物体が均一の方向
を有しない場合、このシーン内の選択画像に対しさらに物体処理を実行し、逆３
Ｄ効果を補正する必要がある。これは、メッシュ歪み技術およびモーフィング技
術を使用することによって行うことができる。 モーションが移動後景上の静止物体であると分類される場合、後景が奥行に大
きな変化を有するかどうかを考察する必要がある。後景が奥行に大きな変化を有
していない場合、モーション視差の原理を使用して優先順位を有する物体に対し
てフィールド遅延を用いる。しかしながら、後景が奥行に大きな変化を有してい
る場合、再度モーション視差の原理を使用して、物体に対立して優先順位を有す
る後景に対してフィールド遅延を用いる。この場合、前景物体に対し他の物体処
理を実行し、さらなる処理に進む前に逆３Ｄ効果を補正することも必要である。 モーションが全然検出されない場合、次に、このシーンにおける物体が前のモ
ーションから知られていたかどうかを考察する。そうである場合、この選択物体
に対し物体処理を実行する。そうでない場合、その特定のシーンにおける任意の
物体を識別しようと試みるために特定のシーンに物体検出処理を適用する。物体
が識別される場合、この特定の物体の物体処理を実行し、識別されない場合、強
制視差および３Ｄ最適化が実行される。 物体処理が必要とされる場合、物体は、識別され、タグを付けられ、追跡され
、それから、メッシュ歪みおよびモーフィング、物体バレリング、エッジ強調、
輝度修正および物体回転の技術を使用することによって処理される。 全ての場合、一旦モーションが分類され、一連の立体画像に変換する主要技術
が用いられると、さらなる視差量あるいは強制視差と呼ばれる横方向シフトが画
像に適用される。好ましい実施例では、強制視差は、単に奥行平滑化目的のため
でなく、全ての画像が、通常、モニタスクリーンの前面である立体ディスプレイ
装置の基準平面の前あるいは後において、奥行を有するものとして確認されると
いう基本的な立体効果を提供するためにあらゆる画像に用いられることに注目す
べきである。強制視差を用いる長所は、見る人の奥行の認識に急な変化を生じさ
せないで、検出されるモーションのカテゴリーにおける変化に、システムがより
よく対応できることである。 一旦強制視差が画像に用いられると、そのとき、画像は３Ｄ最適化のために伝
達される。また、これは立体画像を見るためには必要ないが、一方、最適化は見
る人による画像の奥行認識を高める。３Ｄ最適化は、基準点あるいは境界の付加
、視差調整、視差平滑化および特定の見る人の奥行感度を変えるための視差調整
を含む多くの形式で利用できる。画像は、輝度値あるいはクロミナンス値を擬似
ランダムに修正することによっても最適化できるので、前景物体の後方の背景モ
ーションは、奥行認識が高められるように見ることができる。見る人の眼精疲労
が最少になるように逆３Ｄのための解析も可能である。画像のシャドウイング、
前景および後景のフォギイングあるいはブラリングならびにエッジ強調のような
他の技術はこの工程でも実行できる。 一旦画像が最適化されると、そのとき画像は適切なディスプレイ装置に伝送さ
れる。この伝送は、ケーブル、同軸、衛星を含む多数の形式、あるいは一方の点
から他方の点に伝送する任意の他の形式をとることができる。画像はディスプレ
イ装置に送られるよりも前に記憶することも可能である。ディスプレイ装置は、
多くの形式を取り入れることができ、必要なのは手元のアプリケーションに適す
るものであるということだけである。例えば、左右の画像を分離し、走査速度を
増加させ、観察眼鏡（Ｖｉｅｗｉｎｇ ｇｌａｓｓｅｓ）を同期化するために既
存のビデオモニタをセットトップ装置とともに使用できる。一方、眼鏡あるいは
ヘッドギヤの使用とともに、一連の立体画像を提供する専用立体ディスプレイを
使用することができ、あるいは、自動立体ディスプレイ装置も使用できる。本発
明は、劇場、映画、ビデオアーケード、ケーブルあるいはネットワークＴＶにお
いて、教育分野、特に、マルチメディア産業において、およびテーマパークおよ
び他の娯楽用途のような多数の他の分野において用途があることが予想される。 本発明は、変換方法および統合システムの好ましい実施例についての上記の記
載および添付図面に示された記載により、理解することができる。しかし、本発
明は記載された実施例に限定されないことを認識すべきである。

【図面の簡単な説明】

【図１】本発明を使用する全システムの層への分解を示している。

【図２】本発明を使用する全システムと複数のプロセッサとの可能な併用を示
している。

【図３】層１（ビデオデジタル化）および層２（画像解析）の第１の部分の流
れ図を示している。

【図４】層２の第２の部分の流れ図を示している。

【図５】層２の第３の部分の流れ図を示している。

【図６】層２の第４の部分の流れ図を示している。

【図７】層３（３Ｄ生成）の第１の部分の流れ図を示している。

【図８】層３および層４（３Ｄメディア−伝送＆記憶）および層５（３Ｄディ
スプレイ）の第２の部分の流れ図を示している。

【手続補正書】特許協力条約第３４条補正の翻訳文提出書

【提出日】平成１２年３月２日（２０００．３．２）

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】発明の詳細な説明

【補正方法】変更

【補正内容】

【発明の詳細な説明】

【０００１】 発明の分野 本発明は、一般に立体画像システム、特に立体ディスプレイのための一連のモ
ノスコープ画像からの立体画像対の合成に関するものである。本発明は、モノス
コープソースをデジタル化し、それをモーションに対して解析し、立体画像対を
生成し、立体効果を最適化し、立体画像対を伝送するかあるいは記憶し、それか
ら立体画像対を立体ディスプレイ装置上に表示できる、一連の立体画像を生成す
るための５モジュール方法にも指向できる。

【０００２】 背景技術 従来のモノスコープディスプレイシステムあるいは二次元（２Ｄ）ディスプレ
イシステムよりも見る人にとってよりリアルな画像を作り出す立体ディスプレイ
システムあるいは三次元（３Ｄ）ディスプレイシステムの出現によって、一連の
立体画像は３Ｄディスプレイシステム上で見られるように利用できることが必要
である。この点で、立体ディスプレイ装置上で見るための一連の立体画像を生成
するように処理できる多数のモノスコープ画像ソース、例えば既存の２Ｄフイル
ムあるいはビデオが存在する。 立体的に見るためのこのような一連のモノスコープ画像を変換する、以前から
存在する方法では、容認できるような結果を生じない。フイルムおよびビデオに
おける他の試みにおいては、「モーション視差（Ｍｏｔｉｏｎ Ｐａｒａｌｌａ
ｘ）」の立体奥行キューを再現する技術が使用された。これらの技術は、横方向
、左または右のモーションが一連の画像にある場合、追跡する目に表わされる一
連の画像に対して遅延を生じさせることを含む。他の試みにおいては、奥行の認
識を与えるために、左右の目に対する一連の画像の「横方向シフト（Ｌａｔｅｒ
ａｌ Ｓｈｉｆｔｉｎｇ）」が使用された。 しかしながら、これらの２つの技術には限界があり、一般に特定の用途だけに
適している。例えば、モーション視差（Ｍｏｔｉｏｎ Ｐａｒａｌｌａｘ）技術
は、左右のモーションを有するシーンに対してだけ優れており、静止シーンの立
体の画質向上に対しては限られた値しか有しない。横方向シフト（Ｌａｔｅｒａ
ｌ Ｓｈｉｆｔｉｎｇ）技術は、あるシーンに対して全体的な奥行効果を生じさ
せるだけで、さまざまな奥行きがある異なる物体を、その物体が存在していると
ころの奥行きにおいて認識することができない。これらの２つの技術の組み合わ
せであっても大部分の２Ｄフイルムあるいはビデオに対して限られた立体効果を
与えるだけである。 いくつかの既存のアプローチはこれらの技術の限界を示している。画像が垂直
モーションおよびある程度の横方向モーションを有し、追跡する目に表された画
像に遅延が与えられた場合、結果として、左右の視野間に大きな垂直不均衡を生
じることが多々あり、一連の画像を見るのに不快感を与える。同一のシーンにお
いて左右に移動する物体のように、逆モーションを有するシーンも見るのに不快
感を与える。これらの方法についての実施例には、いろいろな奥行の物体が画像
にある場合、物体の前景から後景への滑らかな遷移よりもむしろ、別個の奥行モ
ジュールを有する物体の、明らかな「カードボード・カットアウト（ｃａｒｄ
ｂｏａｒｄ ｃｕｔ−ｏｕｔ）」現象が見られる。 これらのアプローチにおいては、全ての画像シーケンスに適するにするための
、もしくは、見る人の不快感の問題を解決するための、もしくは、見る人各々あ
るいはディスプレイ装置に対する立体効果を最適化するための、システムまたは
方法を開発する試みは成功していない。

【０００３】 発明の目的 したがって、一連のモノスコープ画像を立体画像対に変換するための改良され
た方法を有するシステム、および改良された一連の立体画像を見る人に提供する
システムが必要とされている。 本発明の目的は、このような改良された方法を有するシステムを提供すること
にある。

【０００４】 発明の概要 上記の問題に対処するために、本発明の一態様は、三次元で見るために一連の
モノスコープ画像を変換する方法であって、 前記一連のモノスコープ画像を受信するステップと、 前記一連のモノスコープ画像を解析し、当該画像の特徴を決定するステップと、
決定された画像特徴に基づいて前記一連のモノスコープ画像を処理するステップ
と、 処理した一連の画像を適当な記憶装置および／または立体ディスプレイシステム
に出力するステップとを含み、 モーションを決定するための前記一連のモノスコープ画像の解析は、 隣接する画像上の対応するブロックが水平方向および／または垂直方向にオフセ
ットされるような、複数のブロックに、各画像を分割するステップと、 各ブロックを前記対応するブロックと比較し、最小平均自乗誤差およびそれによ
るブロックのモーションを見つけるステップとを含む。 また、三次元で見るために一連のモノスコープ画像を変換するための画像変換
システムであって、 一連のモノスコープ画像を受信するように構成された入力手段と、 前記モノスコープ画像シーケンスの第１の画像と第２の画像との間にいくらか
の連続性があるかどうかを決定する予備解析手段と、 連続性がある一連のモノスコープ画像を受信して、かつ、モーションの速度お
よび方向のうち少なくともいずれか一つ、あるいは物体の奥行、サイズおよび位
置を決定する手段であって、前記モーションを決定するために前記一連のモノス
コープ画像の解析が、隣接する画像上の対応するブロックが水平方向および／ま
たは垂直方向にオフセットされるような、複数のブロックに各画像を分割するス
テップと、 各ブロックを前記対応するブロックと比較し、最小平均自乗誤差およびそれに
よるブロックのモーションを見つけるステップとを含む、二次解析手段と、 前記予備解析手段および／または前記二次解析手段から受信されたデータに基づ
いて前記一連のモノスコープ画像を処理する第１の処理手段とを含む。 理想的には、入力手段はまた、一連のモノスコープ画像を取り込み、デジタル
化する手段を含む。 好ましくは、画像解析手段は、画像におけるモーションの速度および方向、物
体の奥行、サイズおよび位置、および、背景を決定できる。 他の態様では、本発明は、立体画像を最適化し、立体効果をさらに改善させる
方法を提供し、この処理は一般に伝送、記憶および表示の前段階で適用される。
さらに他の態様では、本発明は、見る人の基準点を画像に追加することによっ
て立体画像対を改善させる方法を提供する。 さらに他の態様では、本発明の立体画像対に変換する一連のモノスコープ画像
を解析する方法は、各画像を複数の領域を拡大縮小するステップと、第１の画像
の各領域と第２の画像の対応しかつ隣接する領域とを比較し、前記第１の画像と
前記第２の画像間のモーションの特性を決定するステップとを含む。 好ましくは、モーションベクトルは、検出されたモーションの特性と、モーシ
ョン無しから完全なシーン変化に及ぶ所定のモーションカテゴリーとの比較に基
づいて、各画像に対して定義される。 さらに他の態様においては、本発明は、三次元で見るための一連のモノスコー
プ画像を変換するためのシステムであって、 モノスコープ画像を受信するように構成された第一のモジュールと、 前記モノスコープ画像を受信し、画像データを作成するためにモノスコープ画
像を解析するように構成されたモジュールであって、モーションを決定するため
の前記モノスコープ画像の解析が、隣接する画像上にある対応するブロックが水
平方向および／または垂直方向にオフセットされるような、複数のブロックに分
割するステップと、各ブロックを対応するブロックと比較して最小平均自乗誤差
およびそれによるブロックのモーションを求めるステップとを含む、第二のモジ
ュールと、 画像データの関数として選択された少なくとも一つの所定の方法を用いてモノ
スコープ画像から立体画像対を作成するように構成された第三のモジュールと、
立体画像対を立体ディスプレイ手段に転送するように構成された第四のモジュ
ールと、 立体ディスプレイ手段からなる第五のモジュールとを含む、 三次元で見るためのモノスコープ画像を変換するためのシステムを提供する。 好ましくは、第一のモジュールはさらに、任意の一連のアナログ画像をデジタ
ル画像に変換するように構成される。さらに、第二のモジュールは、好ましくは
、あるシーンにおける任意の物体を検出し、任意の、このようなモーションの速
度および方向に関する決定を行うように構成される。便宜的には、任意のこのよ
うな解析よりも前に画像は圧縮されてもよい。 好ましくは、第三のモジュールは、立体画像対を立体ディスプレイ手段に伝送
するよりも前に立体画像対の画質をさらに高める最適化工程をさらに含む。便宜
的には、第四のモジュールは、後になってから立体ディスプレイ手段上に表示す
るために立体画像対を記憶する記憶手段も含む。

【０００５】 長所 本発明のプロセスは、いかなる工程でも中断され、後で継続させるために記憶
され、あるいは必要な場合、他の場所で継続させるために伝送できることが評価
される。 本発明は、下記を含む多くの特有な長所を有する変換技術を提供する。 １）リアルタイムまたは非リアルタイム変換 一連のモノスコープ画像を立体画像対に変換できる機能は、リアルタイムまた
は非リアルタイムで実行できる。一連の画像を手動で扱うためにオペレータ介入
を利用してもよい。一例として、フイルムあるいはビデオの変換が挙げられる。
ここでは、その立体効果のためにオペレータによってあらゆるシーケンスがテス
トされ、最適化されてもよい。 ２）立体画質向上を含む技術 本発明は、複数の技術を使用し、立体画像対を生成するためのモーション視差
および横方向シフト（強制視差）の基本技術をさらに高める。これらの技術は、
物体解析、タグ付け、トラッキングおよびモーフィング、視差ゾーン、基準点、
モーション合成および視差変調の技術の使用を含むが、これに限定されない。 ３）逆３Ｄの検出および補正 逆３Ｄは、画像のモーション特性を解析することによって３Ｄ生成処理の一部
として理想的に検出される。そのとき、見る人の不快感を最少にするように逆３
Ｄを最少にするために補正技術を使用してもよい。 ４）伝送および記憶を含む全ての用途における使用法 本発明は、広い範囲の用途に応用できる技術を開示し、モノスコープアプリケ
ーションに立体変換プロセスを適用する全工程を説明している。一方、本発明は
、画像処理装置および立体ディスプレイ装置の両方がほぼ同じ位置に置かれてい
る３Ｄ生成のための技術を説明している。他方、ある位置における立体画像対の
生成およびその伝送、記憶および遠隔位置でのその後の表示といった技術が定義
されている。 ５）任意の立体ディスプレイ装置と併用できる 本発明は、いかなる立体ディスプレイ装置にも適用でき、理想的には内蔵型の
調節機構を有する。３Ｄ生成方法は、立体効果を最適化するためにディスプレイ
装置の種類も考慮にいれることができる。

【０００６】 詳細な説明 本発明は、個人の全視覚認識機能を使用する立体画像を、見る人に提供するこ
とを目的としている。したがって、脳がこのような一連の画像を解釈するのに必
要な奥行キューを提供する必要がある。

【０００７】 序論 人間は、目および脳に関する生理学的な処理および心理学的な処理の複雑な組
み合わせによって知覚する。視覚認識は、短期および長期の記憶力の使用に関わ
り、我々の感覚によって定義づけされている、既知の経験されたリアリティを用
いて可視情報を解釈できる。例えば、空間および遠近のカルテシアン法則によれ
ば、物体が見る人から離れてより遠くに移動すればするほど、益々物体はより小
さくなる。換言すれば、脳は、物体が大きい場合、物体は見る人に接近し、物体
が小さい場合、物体がある程度の距離離れていると予想する。これは、先ず第一
に物体のサイズを知ることに基づいた学習済み処理である。可視情報で表すこと
ができる他のモノスコープのあるいは小さな奥行キューは、例えば、陰影、ピン
ぼけ、テクスチュア、光、大気である。 これらの奥行キューは、‘遠近３Ｄ’ビデオゲームおよびコンピュータグラフ
ィックスの製作で使用されて大いに役立つ。しかしながら、立体効果を実現する
際のこれらの技術に関する問題は、認識された奥行が定量化できないことである
。すなわち、それは２Ｄ環境の２Ｄ物体を表示するための幻影である。このよう
なディスプレイは、両眼の視野が同一であるために、立体画像を示していないの
で、リアルに見えない。

【０００８】 奥行キュー 一連の立体画像は実世界ビジュアルを再現する試みであり、奥行を定量化でき
るように一連の‘遠近３Ｄ’画像よりも非常に多くの可視情報を必要とする。立
体奥行キューあるいは主要な奥行キューは人の視覚認識を三次元で刺激できるよ
うにこの付加データを提供する。これらの主要な奥行キューは下記のように説明
される。 １）網膜差異−両眼がわずかに異なる視野を見るという事実のことをいう。こ
れは物体を人の顔の前に保ち、後景に焦点を合わせることによって容易に示すこ
とができる。一旦目が後景に焦点を合わせると、あたかも顔の前に実際２つの物
体があるかのように見える。差異は、重ねられた網膜画像の対応する左右の像点
間の水平距離である。視差は観察された画像間の実際の空間変位である。 ２）モーション視差−見る人により接近しているこれらの物体は、たとえより
離れた物体と同じ速度で移動するとしてもより速く移動するように見える。した
がって、相対移動は小さな奥行キューである。しかし、横方向移動の主要な立体
奥行キューはモーション視差の生成物である。右から左へ移動する画像のモーシ
ョンの場合、右目は前進する目であるのに対して、左目は追跡する目になり、そ
の結果その画像は遅延される。この遅れは我々の視覚認識機構の通常の機能であ
る。左から右へのモーションの場合、右目は追跡する目になる。この遅延の効果
は、網膜差異（目に対して２つの異なる視野）を生成することであり、両眼視差
と認識されて、モーション視差として知られている立体キューを提供する。 ３）調整−目は、神経・筋肉の活動によって目のレンズを圧縮するか（接近し
た物体に対してはより凸面の形状）あるいは目のレンズを拡大するか（遠い物体
に対してはより凸面でない形状）のいずれかによって物体に鋭い焦点を合わせる
。神経・筋肉の活動の量および種類は画像の奥行に対する立体キューである。 ４）集中性−物体の一連の画像を目の中心視覚領域の照準に合わせる目の神経
・筋肉系の応答であり、一つの物体だけを見るようにする。例えば、腕の長さの
ところで維持した指を両眼で見て、ゆっくりと顔の方へ近づける場合、目は内側
に回転（集中）し、指がより接近することを示す。すなわち、指までの奥行は減
少している。 目の集中性応答は通常視力の調整機構に生理学的にリンクしている。立体的に
見る際に、見る人が‘固定平面（Ｆｉｘａｔｉｏｎ Ｐｌａｎｅ）’（目が一点
に集中される）に適応できない場合、不快感を経験するかもしれない。‘固定の
平面’は通常スクリーン平面である。 概説−５モジュール方式 本発明は、任意のモノスコープ入力を取り入れ、それを改良された立体出力に
変換できるシステムを記載している。説明を容易にするために、この全システム
は、多数の独立モジュールあるいはプロセスに分解できる。すなわち、 モジュール１−モノスコープ画像入力（一般的にはビデオ入力） モジュール２−画像解析 モジュール３−３Ｄ生成 モジュール４−３Ｄメディア（伝送あるいは記憶） モジュール５−３Ｄディスプレイ 図１は、立体変換方法へのトップダウン方式を示しており、ビデオあるいは若
干の他のモノスコープ画像ソースが入力され、一連の画像が解析され、立体画像
対が生成され、伝送されおよび／または記憶され、それから立体ディスプレイ上
に表示される。各モジュールはモノスコープ画像入力から立体ディスプレイに至
る全システムの独立プロセスを示している。一方、いろいろなモジュールが独立
して動作してもよいことがわかる。

【０００９】 用途 一般に、５モジュールのすべては、モノスコープ画像入力から特定の用途のた
めにディスプレイされるまで使用される。例えば、このシステムは劇場あるいは
映画で使用されてもよい。このような用途では、２Ｄビデオ入力はビデオソース
に対してアナログあるいはデジタル形式をとることができる。その後、これらの
ソースは解析され、任意のモーションの速度および方向を決定する。次に、この
処理は３Ｄ画像を作り出すためにリアルタイムあるいは非リアルタイムのいずれ
かで実行される。これは、境界、視差修正、逆３Ｄ解析、シェーディング、およ
び／またはテクチュアリングの使用によってさらに最適化できる。その後、３Ｄ
画像は、記憶されてもよいしあるいはシャッタガラス、偏光ガラスあるいは自動
立体ディスプレイを含む３Ｄディスプレイに伝送されてもよい。 このシステムはケーブルＴＶシステムあるいは有料ＴＶシステムと併用するよ
うに構成してもよい。この用途では、２Ｄビデオ入力は、ＶＴＲ、レーザディス
ク、あるいは他のデジタルソースであってもよい。更に３Ｄの生成および／また
は最適化はリアルタイムあるいは非リアルタイムで行われてもよい。さらに、３
Ｄメディアモジュールは、便宜的にケーブルあるいは衛星を介する伝送の形をと
り、ＴＶ、ビデオプロジェクタ、あるいは自動立体ディスプレイ上に３Ｄディス
プレイを使用可能にする。 このシステムも、マルチメディアのビデオアーケードゲームあるいは地上ＴＶ
あるいはネットワークＴＶと併用されてもよい。用途に応じて、２Ｄビデオ入力
モジュールは、ゲームプロセッサから一連のソースモノスコープ画像、レーザデ
ィスクからビデオ、ＶＴＲからビデオ、ネットワーク、若干の他のデジタル記憶
装置あるいはデジタルソースもしくはテレシネ処理からビデオを得てもよい。３
Ｄ生成は、リアルタイムあるいは非リアルタイムで行われ、中央変換サイトにあ
るコンピュータによって、ユーザのコンピュータ内に、または中央プロセッサ上
に、あるいは他の画像プロセッサ上に生成される。そして、一連の立体画像はビ
デオあるいは他のデジタル記憶装置に記憶され、その後、映画館に配信されたり
ローカルネットワークによって伝送される。これらの一連の立体画像も、ローカ
ル伝送、あるいはその代わりとしてＶＨＦ／ＵＨＦ機構あるいは衛星を介してビ
デオプロジェクタに伝送されてもよい。 ３Ｄディスプレイは、必要とされる用途に左右され、自動立体ディスプレイ装
置、偏光ガラスを有するビデオプロジェクタ、シャッタガラスを有するローカル
モニタ、適当な視界ガラスを有するセットトップボックスの形をとることができ
る。

【００１０】 単一＆多重プロセッサ 全システムは単一プロセッサで作動でき、全て５つのモジュールはリアルタイ
ムあるいは非リアルタイムに一緒にあるいは個別に処理される（モジュール２、
モジュール３およびモジュール４）。モジュール２およびモジュール３は、例え
ば、図２で分かるように多重タスキングあるいはマルチプロセッサ環境に適する
ようにさらにセグメント化される。 多重プロセッサの使用も利用できる用途に対して自由に構成できる。モジュー
ル１および２は第１のプロセッサによって処理でき、モジュール３〜モジュール
５は第２のプロセッサによって処理できる。所望される場合、この装置の第１の
プロセッサはルックアヘッドプロセッサとして使用でき、第２のプロセッサは一
連の遅延後立体画像を生成できる。一方、第１のプロセッサは、リアルタイムビ
デオを受信し、ビデオをデジタル化し、デジタル化ビデオを適当なデジタル記憶
装置に転送するために使用できる。その後、第２のプロセッサは、オンサイトで
あるいは遠隔でデジタル化画像を解析し、適当なディスプレイ装置上に立体画像
を表示するのに必要なタスクを実行できる。 ルックアヘッド処理は、画像処理モードがより有効に選択され、全立体効果を
最適化できるようにフィルムあるいはビデオのシーケンスの向きを予測するため
に使用されてもよい。 本発明は主に、一連のモノスコープ画像の解析および立体効果の最適化ととも
に一連のモノスコープ画像の立体画像対への変換に関するものである。この点で
は本発明は広範囲のモノスコープ入力、伝送手段およびビューイング手段に応用
可能である。しかしながら、完全なものにするために、５つのモジュール全てを
以下に説明する。 モジュール１−画像あるいはビデオ入力 モジュール１は、モノスコープ画像ソースあるいはビデオ入力が提供されるこ
とを必要とする。このソースは、デジタル画像ソースあるいはそのときデジタル
化されてもよいアナログ画像ソースのいずれかとして提供されてもよい。これら
の画像ソースは下記を含んでもよい。 １）アナログソース ａ）テープ方式−ＶＣＲ／ＶＴＲあるいはフィルム。 ｂ）ディスク方式−レーザディスク。 ｃ）ビデオカメラあるいは他のリアルタイム画像取込装置。 ｄ）コンピュータ生成画像あるいはグラフィックス。 ２）デジタルソース ａ）テープ方式−典型的な例はＤＡＴ、アンペックスのＤＣＴ、ソニー
のデジタルベータカム、パナソニックスのデジタルビデオ形式あるいは６．５ｍ
ｍテープを使用する新しいデジタルビデオカセット（ＤＣＶ）形式。 ｂ）ディスクベース記憶装置−磁気光学（ＭＯ）ハードディスク（ＨＤ
）、コンパクトディスク（ＣＤ）、レーザディスク、ＣＤ−ＲＯＭ、ＤＡＴ、デ
ジタルビデオカセット（ＤＶＣ）あるいはデジタルビデオディスク（ＤＶＤ）方
式データ記憶装置−ＪＰＥＧ、ＭＰＥＧあるいは他のデジタル形式を使用する ｃ）ビデオカメラあるいは他のリアルタイム画像取込装置 ｄ）コンピュータ生成画像あるいはグラフィックス。 本発明の変換方法にとって重要なことは、モノスコープ画像ソースが提供され
るべきであることである。モジュール１〜３に対する要求を通常不要にする立体
画像ソースが提供されてもよく、一方、任意のこのような立体画像は表示するよ
りも前に最適化工程を通過してもよいことは注目すべきことである。

【００１１】 モジュール２−画像解析 次に、本発明の好ましい構成を表す流れ図を示す図３〜図８を参照する。 一連の２Ｄ画像の受信に続いて、デジタル化ビデオあるいはデジタル画像デー
タは、ハードウェア、ソフトウェアあるいは両方の組み合わせによってリアルタ
イムあるいは非リアルタイムでフィールド毎あるいは画像毎ベースで処理される
。最初に、下記のステップを含む画像解析処理が行われる。 １）画像圧縮 ２）モーション検出 ３）物体検出 ４）モーション解析 １）画像圧縮 画像の圧縮は不可欠ではないが、多くの処理および用途にとって、要求される
時間内にフル解像度画像を処理するほどプロセッサが十分高性能でない場合は特
に、圧縮は実用的なオプションである。 好ましくは、一連の画像はより小さい寸法に縮小する方がよい。縮小率は、各
画像に使用されるデジタルビデオ解像度によって定まり、デジタル化処理で使用
される画像取込機構のタイプによって通常規定される。 ２）モーション検出 好ましい実施例では、各画像はピクセルのブロックで解析されてもよい。モー
ションベクトルは、一つの画像からのブロックと所定数までのピクセル、例えば
±９だけ水平方向および／または垂直方向にずれている隣接画像からの対応する
ブロックとを比較し、最小平均自乗誤差を生じさせる位置を記録することによっ
て各ブロックに対して計算される。 各ブロックに対しては、ベクトルおよび最小および最大平均自乗誤差は後処理
するために記録される。 処理時間を節約するために、ブロックにディテールが全然ない場合、例えば、
ブロックが均質な色である場合、ベクトルを計算する必要がない。 モーションを計算する他の方法、例えば画像減算を利用できる。本実施例は平
均自乗誤差法を使用する。 ３）物体検出 物体は、共通の特徴を有する画像の一部を識別するピクセルあるいは画素のグ
ループとして規定される。これらの特徴は、同類の輝度値（同類の輝度）、クロ
ミナンス値（同類の色）、モーションベクトル（モーションの同類の速度および
方向）あるいは同類の画像ディテール（同類のパターンあるいはエッジ）の領域
に関するものであってもよい。 例えば、家を通り過ぎて走る車。この車は異なる速度で後景に移動するピクセ
ルあるいはピクセルブロックの領域にある。この車が家の前に停止するならば、
車は検出することが困難であり、他の方法が使用されてもよい。 連結性アルゴリズムは、同様なモーションベクトルの領域の中へモーションベ
クトルを結合するために使用されてもよい。物体は１つあるいはそれ以上のこの
ような領域で構成されてもよい。エッジ検出等のような他の画像処理アルゴリズ
ムは物体の検出で使用されてもよい。 一旦物体が画像で識別されると、物体はタグを付けられるか識別番号を付けら
れるかあるいは与えられることが好ましい。これらの物体およびその関連ディテ
ール（例えば、位置、サイズ、モーションベクトル、タイプ、奥行）は、さらな
る処理を実行できるようにデータベースに記憶される。物体が一連の画像にわた
って追跡されるならば、これは物体トラッキングとして知られる。物体を追跡し
、その特徴を解析することによって、物体は前景物体あるいは後景物体であると
識別でき、したがって画像のその奥行位置を強調するために画質が高められる。
４）モーション解析 一旦物体が検出されると、物体は画像のモーションの全速度および方向を決定
するために解析できる。好ましい実施例では、この工程は画像のモーションの種
類を決定し、全ベクトルも提供する。 物体検出情報を使用し、データをいくつかの画像モーションモデルと比較する
ことによって、一連のモノスコープ画像を立体画像対に変換するための最良の方
法について最初の決定を行うことができる。 本発明の好ましい実施例で使用されるような画像モーションモデルは、 ａ）シーン変化 ｂ）シンプルパン ｃ）コンプレックスパン ｄ）静止後景にわたる移動物体 ｅ）移動後景にわたる前景物体 ｆ）モーション無し である。 必要に応じて他のモーションモデルを使用してもよい。 ａ）シーン変化 この名前が示唆するようなシーン変化は、一つの画像が前の画像あるいはシー
ンに対する共用性を殆どあるいは全然有しない時である。それは２つの画像間の
輝度の非常に大きい絶対差あるいは２つの画像の色の大きな差として検出できる
。 好ましい装置では、前の画像と現画像との間の輝度値の差（０〜２５５）の中
央値が一般的には３０以上である時にシーン変化を決定してもよい。この値は用
途に関して変化してもよいが、試行錯誤により、この値は大部分のシーン変化を
決定するのに適切であるとしている。 シーン変化を決定する二次基準は、モーションベクトルの領域が多すぎる時で
ある可能性があり、画像上にランダムノイズのようなものが現れ、それがシーン
変化に帰因する可能性がある。画像に非常に大きなモーション量がある場合、こ
れが生じる場合がある。 シーン変化を検出する第３の技術は、各画像の上部の数ラインを解析し、シー
ン変化を検出することである。各画像の上部は変化が最も少ない。 また、大半のモーションベクトルブロックが大きな誤差値を有する場合、２つ
の画像間の差があまりに大きいので、シーン変化とみなされる。 シーン変化およびフィールド遅延 好ましい実施例では、シーンで検出される横方向モーションがある場合、追跡
する目に対しての画像はモーションの速度に反比例する時間量だけ遅延される。
右から左に移動する画像の場合、追跡する目は左目であり、左から右に移動する
場合、追跡する目は右目である。 追跡する目に対する画像シーケンス遅延（あるいはフィールド遅延）は、ビデ
オフィールドをメモリにデジタル形式で記憶することによって、一時的に遅延さ
せて形成してもよい。現在のビデオフィールドは先に動いている目に対して示さ
れ、追跡する目に対する遅延した像は、横方向モーションの速度に応じて記憶さ
れたビデオフィールドから選択される。 表示される多数のフィールドにわたって、追跡する目に対するモーションの変
化およびフィールド遅延の変化に関する履歴を保持できる。これによって、画像
プロセッサが任意のモーション傾向を予測し、それに応じて突然の変化が全くな
いように遅延を修正するよう反応することができるようになり立体効果を滑らか
にすることができる。 シーン変化が検出された場合は、本発明の好ましい実施例に対するフィールド
遅延は、ゼロに設定され、画像をばらばらに分割することを防止し、フィールド
遅延履歴もリセットされる。フィールド遅延履歴は好ましくは各シーン変化でリ
セットされる。 ｂ）シンプルパン シンプルパンは、一連の画像にわたる横方向モーション傾向を示し、それによ
って解析モーションの大部分は一方向になる。これは、シーンの大部分に一貫し
たモーションがあり、前景で静止画像が全く検出されない場合をカバーすること
が好ましい。 シンプルパンは非ゼロモーションベクトルを有する主要物体として検出され得
る。 シンプルパンの結果は、シーンが右に移動する（あるいは左にパンする）場合
、正のモーションベクトルが発生されるということである。この場合、右目に対
する画像が遅延される。同様に、シーンが左に移動する（あるいは右にパンにす
る）場合、負のモーションベクトルが生成される。この場合、左目の像が遅延さ
れる。 ｃ）コンプレックスパン コンプレックスパンは、画像において著しい垂直モーションがあるという点で
シンプルパンと異なる。したがって、好ましい実施例では、立体画像対シーケン
ス間の垂直差異を最少にするために、フィールド遅延は応用されず、物体処理だ
けが立体効果を生じるために使用される。フィールド遅延履歴は新しい横方向モ
ーションに対して連続性を保持するために使用される。 ｄ）静止後景にわたる移動物体 静止後景にわたる移動物体は単にこの状況にあり、それによってシーンの大部
分は全くモーションを有さず、中間サイズの１つあるいはそれ以上の移動物体が
シーンの中にある。この状況は、物体の大部分が右に移動する場合、正のモーシ
ョンベクトル、物体の大部分が左に移動する場合、負のモーションベクトルを生
じる。正のモーションベクトルは右目に遅延を生じさせ、負のモーションベクト
ルは左目に遅延を生じさせる。 シーンの物体のモーションベクトルが一貫していない、例えば、物体が同じシ
ーンの左右に移動する場合、逆モーションが存在するので、逆３Ｄ補正技術を応
用してもよい。 ｅ）移動後景にわたる前景物体 移動後景にわたる前景物体は、シーンの大部分にモーションがあり、異なるモ
ーションを有する物体がシーンの中にあり、例えばカメラが歩いている人を追跡
する状態のことをいう。後景物体は、主物体に対してゼロモーションベクトルあ
るいは逆モーションベクトルを有する中間サイズの物体の背後にある、非ゼロモ
ーションベクトルの主要物体（すなわち、パニング後景）として検出される。あ
るいは、全体のフィールドにわたって広がる非ゼロベクトルの小さな物体の前に
ある、ゼロベクトルの主要物体として検出される（すなわち、フィールドの大部
分を満たす大きな静止物体、パンはその背後でなお依然として目で見ることがで
きる）。 モーション視差の生成において前景物体を優先権させるべきであるかどうか、
あるいは後景を優先させるべきであるかどうかについて決定すべきである。後景
が奥行の大きな変動（例えば、木）を含むならば、モーションベクトルは、あた
かもシンプルパンが生じているかのように割り当てられる。後景が奥行の小さい
変動（例えば、壁）を含むならば、逆平行あるいは負であるモーションベクトル
が割り当てられる。 後景が奥行の大きな変動を含み、モーションベクトルがシンプルパン方法に従
ってシーンに割り当てられた場合、前景物体は逆３Ｄにあり、適当な補正方法を
利用すべきである。 ｆ）モーション無し モーションベクトルが完全にゼロである場合、あるいは、最大移動物体が非常
に小さいと考えられる場合などのようにモーションが全く検出されない場合は、
フィールド遅延はゼロに設定される。ランダムモーションベクトルあるいはノイ
ズモーションベクトルだけが決定されるか、あるいはモーション情報が全く利用
できない場合にこのような状況が生じる。例えば、青い空を横切ってパンする場
合などである。 モジュール３−３Ｄ生成 一旦、一連の画像が解析されると、その後、画像は立体画像対を生じるために
処理される。 実世界シーンを見る場合、両眼はわずかに異なる画像を見る。これは網膜差異
と呼ばれる。次に、これは立体視あるいは奥行認識を生じる。換言すれば、我々
は、各目に同じシーンのわずかに異なる画像を見させることによって立体的に見
る。 一方、視差は、網膜差異として見る人によって認識される画像間の水平あるい
は横方向シフトの量として定義される。立体画像対が作成される場合、三次元シ
ーンは２つの水平方向にシフトした視点から観察される。 本発明は、多数の画像および物体処理技術を使用し、一連のモノスコープ画像
から立体画像対を生成する。これらの技術は下記のとおりである。 １）モーション視差 ２）強制視差（横方向シフト） ３）視差ゾーン ４）Ｙ軸の周りの画像回転 ５）物体処理 １）モーション視差 あるシーンが右から左に移動する場合、右目はシーンを最初に観察するのに対
して、左目は遅延像を受け取り、反対方向に移動するシーンに対してはその逆で
ある。モーションが速ければ速いほど、両眼に対する画像の間の遅延は少なくな
る。これは、モーション視差として知られ、主要な奥行キューである。したがっ
て、あるシーンの横方向モーションがある場合、目に対する画像の間に遅延を生
じさせることによって、立体効果が認識される。 ａ）フィールド遅延計算 一旦像のモーションの特性が解析され、全モーションベクトルが決定されると
、そのとき、必要とされるフィールド遅延が計算される。好ましくは、計算され
たフィールド遅延は前の遅延で平均化され、‘雑音’値をフィルタリング出力し
、さらにフィールド遅延があまり迅速に変わることを防止する。 前述のように、モーションが速ければ速いほど、益々各目の像の間の遅延は少
なくなる。したがって、フィールド遅延のより小さい値が大きなモーションベク
トルを有するシーンで使用されるのに対して、より大きな遅延は小さい横方向モ
ーションを有するシーンで使用される。すなわち、逆の関係は、好ましい実施例
では、モーションの遅延とモーションの量との間に存在する。 シーン変化が決定される場合、その前においてモーションが全く生じなかった
ようにフィールド遅延の履歴はゼロにリセットされるべきである。非ゼロフィー
ルド遅延が計算されるモーションの最初の検出において、フィールド遅延の履歴
がまだゼロの場合、フィールド遅延の全履歴はその算出されたフィールド遅延に
セットされる。これによって、システムは、モーションが検出される場合に正し
いフィールド遅延を直ちに表示することができる。 ｂ）フィールド遅延インプリメンテーション モーション視差は、一連のデジタル化画像をメモリに記憶することによってハ
ードウェアおよびソフトウェアに生成することができる。好ましくは、一連のデ
ジタル化画像は、バッファに記憶され、単一のポインタが、一つが左目像および
もう一つが右目像のための２つの出力ポインタとを有することが好ましい。先に
進む目に対する画像メモリポインタは、現入力画像メモリポインタにあるいは現
入力画像メモリポインタ近くに保持されるのに対して、遅延された目に対する画
像メモリポインタは、遅延出力を生じるようにバッファにセットされる。画像は
多数記憶でき、８〜１０個までのビデオフィールドが、ビデオ用途では一般的で
ある。遅延は画像で解析されたモーションの速度で決まる。最大フィールド遅延
は、モーションが最小の場合である。 ２）強制視差（横方向シフト） 強制視差は、 ｉ） 画像の正確なコピーとそれ自体の間 ｉｉ） ビデオフレームの２つのフィールド間 ｉｉｉ）フィルムシーケンスの２つのフレーム間 ｉｖ） 画像の変換コピーとそのオリジナルとの間 に横方向シフトを導入することによって生じさせることができる。 負の横方向シフトは、左像を右におよび右像を左に同じ量だけ変位させること
によって生成され（スクリーン平面から始まり、それの前に移りながらフィール
ドの奥行を生じさせる）、正の横方向シフトは、左像を左におよび右像を右に同
じ量だけ変位させることによって発生される（スクリーン平面から始まり、それ
の背後に後退するフィールドの奥行を生じさせる）。 強制視差は、パンの前の静止物体に対する立体効果を高めるために減少される
ことができ、その場合物体がスクリーン平面により接近して‘置かれ’、定義さ
れた物体平面から後景が‘押し出される’。 ３）視差ゾーン 大部分のシーンは上部の後景および下部の前景とともに観察されるために、強
制視差を‘変える”ことによってシーンの奥行を強めることができる。これは、
画像の上部を画像の下部以上に横方向に移動させることによって行われるので、
シーンで観察された前後の奥行を強める。 他の技術は、画像の異なる部分にモーション視差および強制視差の組み合わせ
を使用することである。例えば、画像を垂直方向に半分に分割し、異なる視差シ
フトを各側面に加える。これによって、移動する列車から前方向に線路を見るよ
うなシーンは正しい立体効果を有する。そのような場合でなければ、逆３Ｄにお
いて常に、一つの側面が現れる。 ４）Ｙ軸の周りの画像回転 物体が実世界シーンで見る人の方に移動する場合、物体は各目に対する視野で
わずかに回転される。回転効果は物体がより接近して移動するときにより顕著で
ある。この回転を立体画像対に変換することは以下のように効果を規定する。 ｉ） 見る人の方への移動−左像は、反時計回りの方向にその中心軸について
垂直方向に回転され、右像は、時計回りの方向に回転される。 ｉｉ）見る人から離れる移動−左像は、時計回りの方向にその中心軸について
垂直方向に回転され、右像は、反時計回りの方向に回転される。 したがって、画像回転によって、画像の物体の遠近は奥行が認識されるように
わずかに変えられる。この技術は所定のシーンに対して強制視差と結合される場
合、結合効果は非常に強力な立体の奥行キューをもたらす。 ５）物体処理 物体処理は、これらの項目を独立して処理できるように物体および後景を分離
することによって、特に一連の静止画像の立体効果をさらに高めるように実行さ
れる。物体がサイズが大きく、数が少なく、フィールドの奥行中に別個の奥行レ
ベルを占有する場合に物体処理は最も有効である。 物体をその後景からデジタル的に‘カットアウト’して、立体効果を高めるた
めの適切な処置を施すことができるような傾向を確立するために、物体タグ付け
および物体トラッキング用のデータベースが使用できる。一旦処理が行われると
、物体は同じ位置に再び後景に‘ペーストされ’、戻される。これは‘カット・
アンド・ペースト’技術と呼ぶことができ、変換処理で有用である。 物体のタグ付け、トラッキング、カット・アンド・ペーストの処理を統合する
ことによって、物体処理および後景処理を可能にする強力なツールとなる。 他の物体処理技術は各移動物体に対する独自の奥行モジュールを規定する物体
階層化である。物体がその位置になかった場合、後景フィルディテールが定義さ
れているために、画像上のいずれの場所においても物体を配置することができる
。これは、後景フィルインが補間されなければ、通常静止物体に対しては実現で
きない。 立体変換の最も重要な問題は、見る人に不快感を生じさせる逆３Ｄおよび調整
／集中性のアンバランスの補正である。好ましい実施例における物体処理によれ
ば、この問題に関する修正も可能である。 ａ）メッシュ歪みおよびモーフィング−この物体処理技術によって、物体は、
歪んだメッシュ上にカット・アンド・ペーストでき、奥行認識を高める。左目像
の物体を右に、および右目像の同一物体を左に歪めて、物体視差を生じることに
よって、立体ディスプレイ装置を使用する場合、見る人に非常に接近して見える
ように物体を形成できる。 ｂ）物体バレリング−この技術はメッシュ歪みの特定の形式であり、物体を画
像からカットし、垂直に配置された半分のバレル上に巻き付ける技術のことをい
う。これは、物体の中心部を物体エッジよりも接近して見えるようにすることに
よって物体が奥行を有するように見えるようにする。 ｃ）物体エッジ強調−物体のエッジを強調することによって、画像の後景ある
いは他の物体との間に大きな差異を生じさせる。立体効果はこの技術によって多
数の用途で強調される。 ｄ）物体輝度強調−いかなる画像においても、目は常に最大物体および最大輝
度物体に引き付けられる。物体の輝度を修正することによって、物体は後景以上
に強調でき、立体効果を高める。 ｅ）Ｙ軸の周りの物体回転−物体だけに回転が生じることを除いて、Ｙ軸の周
りの物体回転とは、Ｙ軸の周りの画像回転の処理と同様な処理のことをいう。立
体画像対の物体がその後景から‘カット’され、わずかに回転される場合、回転
によって発生された遠近の変化は奥行として認識される。 ３Ｄ最適化 １）基準点あるいは境界 一連の立体画像を表示するために通常のＴＶあるいはビデオモニタを使用する
場合、目は、モニタあるいはスクリーンのエッジを連続的に見ており、これは全
ての奥行認識に対する基準点あるいは固定点として認識される。すなわち、全て
の物体はこの基準点の後方あるいはこの基準点の前方の奥行において認識される
。 モニタのエッジが不十分な周辺照明のためあるいはその暗い色のために容易に
確認されない場合、この基準点が失われ、目は３Ｄ領域の固定点を連続的に探索
することになる。長期の立体観察の下では、これは目の疲労および奥行認識の減
少を生じる可能性がある。前面あるいは背面映写スクリーンディスプレイシステ
ムも同じ問題を有する。 したがって、本発明は、視野画像内の共通境界あるいは基準点を規定すること
が好ましい。理想的には、基準平面はスクリーンレベルに設定され、全ての奥行
はこのレベル後方で認識される。これは多くのシーンにおいて立体効果を高める
長所を有する。 この基準点は簡単なビデオ境界あるいは基準グラフィックであってもよいし、
例えば、以下の形式のものであってもよい。 ｉ） 画像の周界の周りの単一色ビデオ境界。 ｉｉ） 同心境界間に不透明部あるいは透明部を有する場合がある、２以上の
同心境界からなる複合色ビデオ境界。例えば、２〜３ｃｍ幅のメッシュ境界ある
いは、２つの薄い内部境界を有する幅広い外部境界。 ｉｉｉ）任意の１エッジ、あるいは任意の２つの水平エッジあるいは垂直エッ
ジを占有する部分境界。 ｉｖ） 画像内のある点に位置するロゴ（ＬＯＧＯ）あるいは他のグラフィッ
ク。 ｖ） 画像内の画像。 ｖｉ） 上記のいずれかの組み合わせ。 この実施例においてきわめて重要であることは、見る人の目に画像における物
体の奥行が認識できる基準点が提供されるということである。 境界あるいはグラフィックが３Ｄ生成レベルで加えられる場合、それは、互い
に横方向にシフトされる左右の境界を作ることによって特定の奥行で基準点を提
供するように特定されてもよい。これによって、基準点あるいは固定点は、スク
リーンレベルの後方あるいは前方のいずれかの点において空間でシフトできる。
左右の目に対して全く視差を有せずに定義された境界あるいはグラフィックはス
クリーンレベルで認識される。これは本発明の好ましい態様である。 画像境界あるいは基準グラフィックは３Ｄ生成点で挿入されてもよいし、ある
いは外部で規定され、ディスプレイのための立体画像出力上にゼンロック（ｇｅ
ｎｌｏｃｋ）されてもよい。このような画像境界あるいは基準グラフィックは、
黒、白あるいは着色、無地あるいはパターン化、または、画像後景に対して不透
明、半透明あるいは透明であってもよいし、静的あるいは動的であってもよい。
ほとんどの場合、静的境界は妥当であるが、ある状況においては、移動境界ある
いは動的境界はモーション強調のために使用される。 ２）視差調整−奥行感度制御 立体ディスプレイ装置によって見られる一連の立体画像は、画像あるいは物体に
適用された視差の種類および量を修正することによって増減できる奥行範囲（奥
行の鋭さと呼ばれる）を自動的に定義する。見る人によって、立体画像対により
定義された奥行範囲あるいは立体視の量に基づいていろいろな立体観察の快適さ
レベルを有することが分かった。すなわち、より大きい奥行範囲を有する顕著な
立体効果を好む人がいる一方、最少奥行を有する画像を好む人もいる。 奥行の感度および見る際の快適度レベルを調整するために、多くの技術が使用
さる。すなわち、 ｉ） フィールド遅延を変えることによってモーション視差の量を変えるこ
と ｉｉ） 画像に対する強制視差の量を変えること ｉｉｉ）物体に適用された視差の量を変えること である。 視差の最大レベルを減少させることによって、奥行範囲を減らすことができ、
立体視に対してより高感度の認識機能をもった人の、見る際の快適度を改善する
。 ３）視差平滑化 視差平滑化は、連続関数として視差（モーション視差＋強制視差）の全量を保
持するプロセスである。特定のモーションの種類に対するフィールド遅延におけ
る変化、すなわち、シンプルパンおよび前景物体モーションは、生成されたモー
ション視差の量に不連続性を生じるが、これは見る人には一連の立体画像の“ジ
ャンプ”として確認される。先に進む目には遅延していない像が示されるので、
追跡する目のために生成された画像にのみ不連続性が生じる。これらの不連続性
は、等しく反対の方向に、強制視差あるいは物体視差を追跡する目のために調整
することによって補うことが可能であり、それによって連続性のあるトータルな
視差を維持できる。 強制視差あるいは物体視差は、滑らかに調整され、フィールド遅延における次
の変化に対応できるように通常の値まで戻される。強制視差あるいは視差平滑化
に行われる調整は、フィールド遅延変化、モーションの種類およびモーションベ
クトルの関数である。視差平滑化を行うために、左右目の画像に対する強制視差
は独立して設定されるべきである。 ４）視差変調 立体効果を生じるための強制視差技術は、見る人によって検出された立体視の
量を加減するためにも使用できる。これは、物体あるいは画像について認識され
た奥行が徐々に変わるように、短時間における最小および最大の限界の間に強制
視差設定を変えることによって行われる。理想的には、強制視差は、０．５〜１
秒毎にその最小および最大設定の間で変調される。これによって、見る人はその
立体感度のレベルに調整できる。 ５）モーション合成 検出不可能小さな増加量で後景をランダムに移動させることによって擬似モ
ーションを生じさせることにより、前景物体の認識された奥行が強調される。前
景物体は後景から‘カット’され、後景は下記の技術の中の１つによって疑似ラ
ンダムに変更され、それから前景物体は、表示する準備ができた後景上に‘ペー
スト’され、戻される。下記の技術のいずれかが使用されてもよい。 ｉ） 擬似ランダムベースで変えられる輝度値 ｉｉ） 擬似ランダムベースで変えられるクロミナンス値 ｉｉｉ）モーションを生じさせるために擬似ランダムノイズを後景に加え
ること ６）逆３Ｄ解析および補正 視差によって生じた物体の奥行順序が実世界の奥行順序に対応するものとは異
なっていると認識されるときに逆３Ｄが生じる。これは、一般に見る人に不快感
をもたらし、補正されるべきである。一連のモノスコープ画像を立体画像対に変
換する場合、逆３Ｄは下記によって生成され得る。 ｉ） 逆モーション、同じ画像上で左右に移動する物体 ｉｉ） 異なる方向に移動する物体および後景 ｉｉｉ）いろいろな速度で移動する多数の物体 逆３Ｄは、画像における物体のモーションの特性が解析され、それから物
体視差が予想視覚認識基準と一致するようにメッシュ歪み技術を使用して各物体
を個別に操作することによって補正される。 ７）その他の技術 画像内の物体の遠近を修正し、たくさんの小さな奥行キューを強調することに
よって、立体効果を強調できる。以下の技術全ては、‘カット・アンド・ペース
ト’技術を使用して行う。すなわち、前景物体は‘カット’され、強調され、後
景上に‘ペースト’され、戻される。 ａ）シャドウ−シェーディングは物体の遠近を示している。 ｂ）前景／後景−−ブラリングあるいはフォギイングによって後景の焦点
をぼかすことによって、前景物体を強調でき、前景物体の焦点をぼかしながら、
後景の奥行を強調できる。 ｃ）エッジ強調−エッジは物体をその後景から識別するのに役立つ。 ｄ）テクスチュアマッピング−物体を後景から識別するのに役立つ。 モジュール４−３Ｄメディア（伝送＆記憶） モジュール１に関しては、モジュール４およびモジュール５は本発明にとって
不可欠でない。モジュール４は立体画像の伝送および／または記憶のために提供
する。伝送手段は特定の用途に適合させることができる。例えば、下記を使用で
きる。 １）ローカル伝送−同軸ケーブルを介してできる。 ２）ネットワークＴＶ伝送−下記を介してできる。 ｉ） ケーブル ｉｉ） 衛星 ｉｉｉ）地上放送 ３）デジタルネットワーク−インターネット等 ４）立体（３Ｄ）画像記憶装置 画像記憶手段は後の伝送あるいは表示のための画像データを記憶するために
使用でき、下記を含んでもよい。 ｉ） アナログ記憶装置−ビデオテープ、フィルム等 ｉｉ）デジタル記憶装置−レーザディスク、ハードディスク、ＣＤ−ＲＯ
Ｍ、磁気光学ディスク、ＤＡＴ、デジタルビデオカセット（ＤＶＣ）、ＤＶＤ。
モジュール５−３Ｄディスプレイ 伝送手段に関しては、ディスプレイ手段は用途要件によって決めることができ
、下記を含んでもよい。 １）セットトップボックス 定義によれば、セットトップボックスは、受信し、復号化し、アクセサリイン
タフエースを備え、最後に用途に適合する出力を有する電子機器である小さいボ
ックスである。それは下記を組み込んでもよい。 ａ）ビデオあるいはＲＦ受信機 ｂ）頭部装着形装置別個の左右画像出力を供給する立体（３Ｄ）デコーダ
あるいは別個のビデオチャネルを必要とする他の立体ディスプレイ ｃ）解像度向上−ラインダブリング／ピクセル補間 ｄ）シャッタあるいは逐次眼鏡同期化（Ｓｅｑｕｅｎｔｉａｌ Ｇｌａｓ
ｓｅｓ Ｓｙｎｃｈｒｏｎｉｚａｔｉｏｎ） ｅ）立体奥行感度制御回路 ｆ）アクセサリインタフエース−２Ｄ／３Ｄスイッチおよび奥行制御装置
のような機能を有する遠隔制御装置 ｇ）オーディオインタフエース−オーディオ出力、ヘッドホン接続 ｈ）アクセスチャネル復号化−ケーブル・有料ＴＶ用途 ｉ）ビデオあるいはＲＦ出力 ２）立体ディスプレイ 下記を含む別個の画像を左右の目に提供する特別の眼鏡あるいはヘッドギヤを
使用する。 ａ）偏光眼鏡−線形偏光子および円形偏光子 ｂ）立体写真眼鏡−着色レンズ−赤／緑等 ｃ）ＬＣＤシャッタ眼鏡 ｄ）カラー逐次眼鏡 ｅ）頭部装着形装置（ＨＭＤ）−２つの小型ビデオモニタ（各目対して１
つ）を取り付けられたヘッドギヤ、ＶＲヘッドホン ３）自動立体ディスプレイ ａ）ビデオプロジェクタ／逆反射スクリーン式ディスプレイシステム ｂ）容積測定ディスプレイシステム ｃ）レンチキュラーレンズ式ディスプレイシステム（Ｌｅｎｔｉｃｕｌａ
ｒ ｌｅｎｓｂａｓｅｄ ｄｉｓｐｌａｙ ｓｙｓｔｅｍ） ｄ）ホログラフィー光学素子（ＨＯＥ）式ディスプレイシステム 好ましい実施例 要約すると、本発明は、好ましい実施例において、デジタル形式あるいはアナ
ログ形式でモノスコープ画像シーケンスを入力でき、その場合、アナログ／デジ
タル変換が含まれるシステムを提供する。したがって、この画像データは画像解
析の方法に委ねられ、それによって一連のモノスコープ画像は、これが特定の用
途のために必要とされる場合、圧縮される。 画像のピクセルのブロックと隣接画像の対応するブロックとを比較し、各ブロ
ックに対する最小平均自乗誤差を得ることによって、画像内のモーションを決定
できる。 モーション検出に続いて、画像の領域が、類似の特性、例えば画像輝度、色彩
、モーション、パターンおよびエッジ連続性によって識別される。このデータは
モーション解析が行われ、画像内のモーションの特性を決定する。このモーショ
ン解析は、画像の任意のモーションの方向、速度、種類、奥行および位置を決定
する形をとる。その後、このモーションは、モーションが全シーン変化、シンプ
ルパン、コンプレックスパン、静止後景上を移動する物体、移動後景の前の静止
物体であるかどうか、あるいは全くモーションがないかどうかを含む多数のカテ
ゴリーに分類される。さらなる動作は、これらのカテゴリーに基づいて決定され
、適切な立体ディスプレイ装置で見るのに適している立体画像対に一連のモノス
コープ画像を変換する。 好ましい実施例では、一旦一連のモノスコープ画像が解析されると、シーン変
化あるいはコンプレックスパンが検出されるならば、この特定のシーンの他の解
析が全く必要とされず、むしろフィールド遅延およびフィールド遅延履歴の両方
がゼロにリセットされる。それから、物体検出処理は、新しいシーンに利用され
、このシーン内の物体を試行し識別する。一旦これらの物体が識別されると、そ
のとき物体処理が行われる。物体が全く識別されない場合、この画像は、強制視
差および３Ｄ最適化を使用してさらに処理を行うために渡される。 画像解析中に分類されたモーションがシーン変化でない場合、このシーンにつ
いての他の解析が必要される。このシーンの他の解析がシンプルパンとして分類
されているモーションに帰着する場合、モーション視差の原理に従ってフィール
ド遅延を用いる必要がある。そうして、さらなる処理に進む。モーションがシン
プルパンとして分類されなくて、むしろ静止後景上のモーション中の物体として
分類される場合、再度、モーション視差の原理に従ってフィールド遅延を用いな
ければならない。この点では、一旦モーション視差が用いられると、物体全てが
均一の方向を有するかどうかを考察する必要がある。物体が均一の方向に移動す
る場合、物体は後の工程でさらに処理されるために渡される。物体が均一の方向
を有しない場合、このシーン内の選択画像に対しさらに物体処理を実行し、逆３
Ｄ効果を補正する必要がある。これは、メッシュ歪み技術およびモーフィング技
術を使用することによって行うことができる。 モーションが移動後景上の静止物体であると分類される場合、後景が奥行に大
きな変化を有するかどうかを考察する必要がある。後景が奥行に大きな変化を有
していない場合、モーション視差の原理を使用して優先順位を有する物体に対し
てフィールド遅延を用いる。しかしながら、後景が奥行に大きな変化を有してい
る場合、再度モーション視差の原理を使用して、物体に対立して優先順位を有す
る後景に対してフィールド遅延を用いる。この場合、前景物体に対し他の物体処
理を実行し、さらなる処理に進む前に逆３Ｄ効果を補正することも必要である。
モーションが全然検出されない場合、次に、このシーンにおける物体が前のモ
ーションから知られていたかどうかを考察する。そうである場合、この選択物体
に対し物体処理を実行する。そうでない場合、その特定のシーンにおける任意の
物体を識別しようと試みるために特定のシーンに物体検出処理を適用する。物体
が識別される場合、この特定の物体の物体処理を実行し、識別されない場合、強
制視差および３Ｄ最適化が実行される。 物体処理が必要とされる場合、物体は、識別され、タグを付けられ、追跡され
、それから、メッシュ歪みおよびモーフィング、物体バレリング、エッジ強調、
輝度修正および物体回転の技術を使用することによって処理される。 全ての場合、一旦モーションが分類され、一連の立体画像に変換する主要技術
が用いられると、さらなる視差量あるいは強制視差と呼ばれる横方向シフトが画
像に適用される。好ましい実施例では、強制視差は、単に奥行平滑化目的のため
でなく、全ての画像が、通常、モニタスクリーンの前面である立体ディスプレイ
装置の基準平面の前あるいは後において、奥行を有するものとして確認されると
いう基本的な立体効果を提供するためにあらゆる画像に用いられることに注目す
べきである。強制視差を用いる長所は、見る人の奥行の認識に急な変化を生じさ
せないで、検出されるモーションのカテゴリーにおける変化に、システムがより
よく対応できることである。 一旦強制視差が画像に用いられると、そのとき、画像は３Ｄ最適化のために伝
達される。また、これは立体画像を見るためには必要ないが、一方、最適化は見
る人による画像の奥行認識を高める。３Ｄ最適化は、基準点あるいは境界の付加
、視差調整、視差平滑化および特定の見る人の奥行感度を変えるための視差調整
を含む多くの形式で利用できる。画像は、輝度値あるいはクロミナンス値を擬似
ランダムに修正することによっても最適化できるので、前景物体の後方の背景モ
ーションは、奥行認識が高められるように見ることができる。見る人の眼精疲労
が最少になるように逆３Ｄのための解析も可能である。画像のシャドウイング、
前景および後景のフォギイングあるいはブラリングならびにエッジ強調のような
他の技術はこの工程でも実行できる。 一旦画像が最適化されると、そのとき画像は適切なディスプレイ装置に伝送さ
れる。この伝送は、ケーブル、同軸、衛星を含む多数の形式、あるいは一方の点
から他方の点に伝送する任意の他の形式をとることができる。画像はディスプレ
イ装置に送られるよりも前に記憶することも可能である。ディスプレイ装置は、
多くの形式を取り入れることができ、必要なのは手元のアプリケーションに適す
るものであるということだけである。例えば、左右の画像を分離し、走査速度を
増加させ、観察眼鏡（ｖｉｅｗｉｎｇ ｇｌａｓｓｅｓ）を同期化するために既
存のビデオモニタをセットトップ装置とともに使用できる。一方、眼鏡あるいは
ヘッドギヤの使用とともに、一連の立体画像を提供する専用立体ディスプレイを
使用することができ、あるいは、自動立体ディスプレイ装置も使用できる。本発
明は、劇場、映画館、ビデオアーケード、ケーブルあるいはネットワークＴＶに
おいて、教育分野、特に、マルチメディア産業において、およびテーマパークお
よび他の娯楽用途のような多数の他の分野において用途があることが予想される
。 本発明は、変換方法および統合システムの好ましい実施例についての上記の記
載および添付図面に示された記載により、さらに理解することができる。しかし
、本発明は記載された実施例に限定されないことを認識すべきである。

【手続補正２】

【補正対象書類名】明細書

【補正対象項目名】図面の簡単な説明

【補正方法】変更

【補正内容】

【図面の簡単な説明】

【図１】本発明を使用する全システムのモジュールへの分解を示している。

【図２】本発明を使用する全システムと複数のプロセッサとの可能な併用を示し
ている。

【図３】モジュール１（ビデオデジタル化）およびモジュール２（画像解析）の
第１の部分の流れ図を示している。

【図４】モジュール２の第２の部分の流れ図を示している。

【図５】モジュール２の第３の部分の流れ図を示している。

【図６】モジュール２の第４の部分の流れ図を示している。

【図７】モジュール３（３Ｄ生成）の第１の部分の流れ図を示している。

【図８】モジュール３およびモジュール４（３Ｄメディア−伝送＆記憶）および
モジュール５（３Ｄディスプレイ）の第２の部分の流れ図を示している。

【手続補正３】

【補正対象書類名】図面

【補正対象項目名】全図

【補正方法】変更

【補正内容】

【図１】

【図２】

【図３】

【図４】

【図５】

【図６】

【図７】

【図８】

【手続補正書】特許協力条約第３４条補正の翻訳文提出書

【提出日】平成１２年３月２日（２０００．３．２）

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】特許請求の範囲

【補正方法】変更

【補正内容】

【特許請求の範囲】

───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ， ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，Ｉ Ｔ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＧＷ，ＭＬ， ＭＲ，ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，ＧＭ，Ｋ Ｅ，ＬＳ，ＭＷ，ＳＤ，ＳＺ，ＵＧ，ＺＷ)，ＥＡ(ＡＭ ，ＡＺ，ＢＹ，ＫＧ，ＫＺ，ＭＤ，ＲＵ，ＴＪ，ＴＭ) ，ＡＬ，ＡＭ，ＡＴ，ＡＵ，ＡＺ，ＢＡ，ＢＢ，ＢＧ， ＢＲ，ＢＹ，ＣＡ，ＣＨ，ＣＮ，ＣＵ，ＣＺ，ＤＥ，Ｄ Ｋ，ＥＥ，ＥＳ，ＦＩ，ＧＢ，ＧＥ，ＧＨ，ＧＭ，ＨＲ ，ＨＵ，ＩＤ，ＩＬ，ＩＳ，ＪＰ，ＫＥ，ＫＧ，ＫＰ， ＫＲ，ＫＺ，ＬＣ，ＬＫ，ＬＲ，ＬＳ，ＬＴ，ＬＵ，Ｌ Ｖ，ＭＤ，ＭＧ，ＭＫ，ＭＮ，ＭＷ，ＭＸ，ＮＯ，ＮＺ ，ＰＬ，ＰＴ，ＲＯ，ＲＵ，ＳＤ，ＳＥ，ＳＧ，ＳＩ， ＳＫ，ＳＬ，ＴＪ，ＴＭ，ＴＲ，ＴＴ，ＵＡ，ＵＧ，Ｕ Ｓ，ＵＺ，ＶＮ，ＹＵ，ＺＷ

Claims (79)

【特許請求の範囲】
1. 【請求項１】 三次元で見るためにモノスコープ画像を変換する画像変換システムであって、 一連のモノスコープ画像を受信するように構成された入力手段と、 前記一連のモノスコープ画像シーケンスの第１の画像と第２の画像との間にい
   くらかの連続性があるかどうかを決定する予備解析手段と、 連続性がある一連のモノスコープ画像を受信して解析し、モーションの速度お
   よび方向、あるいは物体の奥行、サイズおよび位置の少なくとも１つを決定する
   二次解析手段と、 前記予備解析手段および／または前記二次解析手段から受信されるデータに基
   づいて、前記一連のモノスコープ画像を処理する第１の処理手段と、を含むこと を特徴とする画像変換システム。
2. 【請求項２】 処理された一連の画像を立体ディスプレイシステムあるいは記憶装置に転送で
   きる伝送手段をさらに含むことを特徴とする請求項１に記載の画像変換システム
   。
3. 【請求項３】 前記第１の処理手段が、モーション視差、強制視差、視差ゾーン、画像回転あ
   るいは物体処理の少なくとも１つを使用することによって前記一連の画像を処理
   することを特徴とする請求項１あるいは請求項２に記載の画像変換システム。
4. 【請求項４】 第２の処理手段が前記第１の処理手段から受信された前記一連の画像を処理す
   るために備えられることを特徴とする前述の請求項のいずれかに記載の画像変換
   システム。
5. 【請求項５】 前記第２の処理手段が前記画像をさらに処理するために強制視差を使用するこ
   とを特徴とする請求項４に記載の画像変換システム。
6. 【請求項６】 第３の処理手段が変換された一連の画像を前記立体ディスプレイ装置に伝送す
   るよりも前に当該画像の画質を任意に高めるために備えられていることを特徴と
   する請求項１〜５のいずれかに記載の画像変換システム。
7. 【請求項７】 前記第３の処理手段が、基準点、視差調整、視差平滑化、視差調節、モーショ
   ン合成、逆３Ｄ補正あるいはカット・アンド・ペーストの技術の少なくとも１つ
   を使用することによって前記一連の画像の画質を高めることを特徴とする請求項
   ６に記載の画像変換システム。
8. 【請求項８】 一連のモノスコープ画像を処理して立体画像対にする方法であって、 前記一連のモノスコープ画像を解析して、画像内のモーションの特性を決定す
   るステップと、 任意の検出モーションと所定の範囲のモーションカテゴリーとを比較するステ
   ップと、 前記モーションカテゴリーに応じて少なくとも一つの処理方法を使用して前記
   一連のモノスコープ画像を処理し立体画像対を形成するステップと、を含むこと
   を特徴とするモノスコープ画像を処理して立体画像対にする方法。
9. 【請求項９】 前記処理方法が、モーション視差、強制視差、視差ゾーン、画像回転および／
   または物体処理を含むことを特徴とする請求項８に記載の方法。
10. 【請求項１０】 前記モーションカテゴリーが、シーン変化、シンプルパン、コンプレックスパ
    ン、移動物体、移動後景およびモーション無しを含むことを特徴とする請求項８
    あるいは請求項９に記載の方法。
11. 【請求項１１】 前記モノスコープ画像が任意の解析よりも前に圧縮されることを特徴とする請
    求項８〜１０のいずれかに記載の方法。
12. 【請求項１２】 前記モノスコープ画像が任意の解析よりも前に拡大縮小されることを特徴とす
    る請求項８〜１１のいずれかに記載の方法。
13. 【請求項１３】 前記拡大縮小率が各画像のデジタルビデオ解像度によって決まることを特徴と
    する請求項１２に記載の方法。
14. 【請求項１４】 三次元で見るために一連のモノスコープ画像を変換する方法であって、 モノスコープ画像を受信するように構成された第１のレイヤと、 前記モノスコープ画像を受信して、画像データを作成するために解析するよう
    に構成された第２のレイヤと、 画像データの関数として選択された少なくとも一つの所定の技術を使用して立
    体画像対を前記モノスコープ画像から作成するように構成された第３のレイヤと
    、 前記立体画像対を立体ディスプレイ手段に転送するように構成された第４のレ
    イヤと、 立体ディスプレイ手段からなる第５のレイヤとを含むことを特徴とする方法。
15. 【請求項１５】 前記第１のレイヤが任意のアナログ画像をデジタル画像に変換するように構成
    された請求項１４に記載の方法。
16. 【請求項１６】 前記第２のレイヤがシーンの任意の画像を検出し、かつ任意のこのような物体
    のモーションの前記速度および方向に関する決定を行うように構成されたことを
    特徴とする請求項１４あるいは１５に記載の方法。
17. 【請求項１７】 前記画像が任意の解析よりも前に圧縮されることを特徴とする請求項１４〜１
    ６のいずれかに記載の方法。
18. 【請求項１８】 前記第３のレイヤが、前記立体画像対を前記立体ディスプレイ手段に伝送する
    よりも前に前記立体画像対の画質をさらに高める最適化工程をさらに含むことを
    特徴とする請求項１４〜１７のいずれかに記載の方法。
19. 【請求項１９】 前記第４のレイヤが、後の時間に前記立体ディスプレイ手段に表示するための
    前記立体画像対を記憶する記憶手段も含むことを特徴とする請求項１４〜１８の
    いずれかに記載の方法。
20. 【請求項２０】 立体システムであって、 一連のモノスコープ画像を受信できる入力手段と、 前記一連の画像を解析して、画像カテゴリーを決定する解析手段と、 立体的に見るために、選択した画像カテゴリーの関数として前記一連のモノス
    コープ画像を立体画像対に変換できる変換手段とを含むことを特徴とする立体シ
    ステム。
21. 【請求項２１】 前記入力手段が前記一連のモノスコープ画像を取込し、かつデジタル化する手
    段を含むことを特徴とする請求項２０に記載のシステム。
22. 【請求項２２】 前記画像解析手段が、画像内の物体および前記後景のモーションの速度および
    方向を決定できることを特徴とする請求項２０あるいは２１に記載のシステム。
23. 【請求項２３】 前記画像解析手段が、画像内の物体および前記後景の前記奥行、サイズおよび
    位置を決定できることを特徴とする請求項２０〜２２のいずれかに記載のシステ
    ム。
24. 【請求項２４】 前記立体画像を最適化し、前記立体効果をさらに改善する手段をさらに含むこ
    とを特徴とする請求項２０〜２３のいずれかに記載のシステム。
25. 【請求項２５】 見る人の基準点を前記画像に加えることによって立体画像対を改良する方法を
    さらに含むことを特徴とする請求項２０〜２４のいずれかに記載のシステム。
26. 【請求項２６】 一連のモノスコープ画像を解析して立体画像対に変換する方法であって、 各画像を複数の領域に拡大縮小するステップと、 前記第１の画像の各領域を第２の画像の対応し且つ隣接する領域と比較し、前
    記第１の画像と前記第２の画像との間のモーションの特性を決定するステップと
    を含むことを特徴とするモノスコープ画像を解析して立体画像対に変換する方法
    。
27. 【請求項２７】 モーションベクトルが、検出されたモーションの特性とモーション無しから全
    シーン変化に及ぶ所定のモーションカテゴリーとの比較に基づいて各画像のため
    に規定されていることを特徴とする請求項２６に記載の方法。
28. 【請求項２８】 見る人の基準点の装備を含むことを特徴とする立体ディスプレイシステム。
29. 【請求項２９】 三次元で見るために一連のモノスコープ画像を変換するシステムであって、 一連のモノスコープ画像を受信するように構成された入力手段と、 前記一連の画像の特徴を決定する第１の解析手段と、 前記第１の解析手段で決定された特徴に基づいて前記一連の画像を処理する第
    １の処理手段と、 処理された一連の画像を適当な記憶装置および／または立体ディスプレイシス
    テムに転送できる出力手段とを含むことを特徴とするシステム。
30. 【請求項３０】 前記入力手段がさらに前記モノスコープ画像をデジタル化するように構成され
    ていることを特徴とする請求項２９に記載のシステム。
31. 【請求項３１】 前記第１の解析手段による解析よりも前に前記モノスコープ画像を圧縮するよ
    うに構成された圧縮手段をさらに含むことを特徴とする請求項２９あるいは請求
    項３０に記載のシステム。
32. 【請求項３２】 前記第１の解析手段による解析よりも前に前記モノスコープ画像を拡大縮小す
    るように構成された拡大縮小手段をさらに含むことを特徴とする請求項２９〜３
    １のいずれかに記載のシステム。
33. 【請求項３３】 前記モノスコープ画像が拡大縮小される拡大縮小率が各画像のデジタルビデオ
    解像度によって決まることを特徴とする請求項３２に記載のシステム。
34. 【請求項３４】 連続する第１および第２の画像間に連続性がいくらかあるかどうかを決定する
    予備解析手段をさらに含むことを特徴とする請求項２９〜３３のいずれかに記載
    のシステム。
35. 【請求項３５】 前記第１の解析手段が前記画像内の物体を決定できることを特徴とする請求項
    ２９〜３４のいずれかに記載のシステム。
36. 【請求項３６】 前記第１の解析手段が前記画像のモーションおよび／または前記画像内の物体
    のモーションを決定できることを特徴とする請求項２９〜３５のいずれかに記載
    のシステム。
37. 【請求項３７】 前記第１の解析手段が前記モーションをモーションカテゴリーの所定の範囲の
    中の１つに分類できることを特徴とする請求項３５あるいは請求項３６に記載の
    システム。
38. 【請求項３８】 前記画像をさらに処理するための第２の処理手段をさらに含むことを特徴とす
    る請求項２９〜３７のいずれかに記載のシステム。
39. 【請求項３９】 前記第２の処理手段が前記画像をさらに処理するために強制視差を使用するこ
    とを特徴とする請求項３８に記載のシステム。
40. 【請求項４０】 さらに、前記画像を前記立体ディスプレイおよび／または記憶装置に転送する
    よりも前に前記処理画像の画質を高める最適化手段をさらに含むことを特徴とす
    る請求項２９〜３９のいずれかに記載のシステム。
41. 【請求項４１】 さらに、前記モノスコープ画像に加えられた奥行のレベルを制御する手段をさ
    らに含むことを特徴とする請求項２９〜４０に記載のシステム。
42. 【請求項４２】 基準点を前記処理画像に加える手段をさらに含むことを特徴とする請求項２９
    〜４１のいずれかに記載のシステム。
43. 【請求項４３】 三次元で見るためにモノスコープ画像を変換する方法であって、 前記モノスコープ画像を受信するステップと、 前記モノスコープ画像を解析し、前記画像の特徴を決定するステップと、 前記決定画像特徴に基づいて前記モノスコープ画像を処理するステップと、 前記処理画像を適当な記憶装置および／または立体ディスプレイシステムに出
    力するステップとを含むことを特徴とするモノスコープ画像を変換し、三次元で
    見る方法。
44. 【請求項４４】 前記モノスコープ画像が、任意の解析あるいは処理が実行される前にデジタル
    化されることを特徴とする請求項４３に記載の方法。
45. 【請求項４５】 前記モノスコープ画像が任意の解析よりも前に圧縮されることを特徴とする請
    求項４３あるいは請求項４４に記載の方法。
46. 【請求項４６】 前記モノスコープ画像が任意の解析よりも前に拡大縮小されることを特徴とす
    る請求項４３〜４５のいずれかに記載の方法。
47. 【請求項４７】 前記モノスコープ画像が拡大縮小される前記拡大縮小率が各画像の前記デジタ
    ルビデオ解像度によって決まることを特徴とする請求項４６に記載の方法。
48. 【請求項４８】 連続する第１および第２の画像が前記画像特徴を決定する前に連続性に関して
    解析されることを特徴とする請求項４３〜４７のいずれかに記載の方法。
49. 【請求項４９】 連続性が、連続する第１および第２の画像間の中央輝度値を比較することによ
    って決定されることを特徴とする請求項４８に記載の方法。
50. 【請求項５０】 中央輝度値の差が３０を超える場合、連続性を全然とらないことを特徴とする
    請求項４９に記載の方法。
51. 【請求項５１】 連続画像の上部２、３行が連続性の決定に役立つように比較されることを特徴
    とする請求項４８〜５０のいずれかに記載の方法。
52. 【請求項５２】 連続性が全然決定されない画像の処理が、連続性を欠く前記画像が見る人の一
    方の目で観察されるよりも前に他方の目で見られるように一方の目の視野遅延を
    導入することを含むことを特徴とする請求項４３〜５１のいずれかに記載の方法
    。
53. 【請求項５３】 前記モノスコープ画像の解析中、前記画像内の物体が前記処理中に役立つよう
    に規定されることを特徴とする請求項４３〜５２のいずれかに記載の方法。
54. 【請求項５４】 前記モノスコープ画像の解析中、前記画像のモーションおよび／または前記画
    像内の物体が前記処理を支援するように決定されることを特徴とする請求項４３
    〜５２のいずれかに記載の方法。
55. 【請求項５５】 前記画像および／または物体のモーションが所定の範囲のモーションカテゴリ
    ーの１つに分類されることを特徴とする請求項５４に記載の方法。
56. 【請求項５６】 前記モノスコープ画像を解析し、前記モーションを決定することが、 各画像を複数のブロックに分割するステップであって、隣接画像の対応するブ
    ロックが水平方向におよび／または垂直方向にずらされることと、 各前記ブロックと前記対応するブロックとを比較し、最小平均二乗誤差および
    それによる前記ブロックのモーションを見つけるステップとを含むことを特徴と
    する請求項４３〜５５のいずれかに記載の方法。
57. 【請求項５７】 全然ディテールを有しない任意の前記ブロックが前記対応するブロックと比較
    されないことを特徴とする請求項５６に記載の方法。
58. 【請求項５８】 大半のブロックと前記対応するブロックとの比較が大きな誤差値を生じる場合
    、連続性を全然とらないことを特徴とする請求項４８に添付された場合の請求項
    ５６に記載の方法。
59. 【請求項５９】 前記画像の処理が、見る人の一方の目が前記見る人の他方の目の前に前記画像
    を見るようにフィールド遅延を導入することによるモーション視差の使用を含む
    ことを特徴とする請求項４３〜５８のいずれかに記載の方法。
60. 【請求項６０】 前記モーションの量が前記フィールド遅延に反比例することを特徴とする請求
    項５９に記載の方法。
61. 【請求項６１】 前記フィールド遅延が記憶され、各々の新しい画像に対する前記フィールド遅
    延が前のフィールド遅延に対して平均化されることを特徴とする請求項５９ある
    いは請求項６０に記載の方法。
62. 【請求項６２】 記憶されたフィールド遅延が、連続性が全然検出されない場合、削除されるこ
    とを特徴とする請求項６１に記載の方法。
63. 【請求項６３】 前記画像の処理が前記左右の目の画像の変位による横方向のシフトを導入する
    ことによる強制視差の使用を含むことを特徴とする請求項４３〜６２のいずれか
    に記載の方法。
64. 【請求項６４】 前記画像の処理が前記画像の一部により大きい横方向のシフトを導入すること
    による視差ゾーンの使用を含むことを特徴とする請求項４３〜６３のいずれかに
    記載の方法。
65. 【請求項６５】 前記画像の処理が前記画像のいろいろな部分の強制視差およびモーション視差
    の結合を含むことを特徴とする請求項４３〜６４のいずれかに記載の方法。
66. 【請求項６６】 前記画像の処理が前記左右の目の画像を反対方向に等しい量ｙ軸の周りに回転
    させることを含むことを特徴とする請求項４３〜６５のいずれかに記載の方法。
67. 【請求項６７】 前記画像の処理が、 メッシュ歪みおよびモーフィング 物体バレリング 物体エッジ強調 物体輝度強調 物体回転 の物体処理技術の少なくとも一つの使用を含むことを特徴とする請求項４３〜６
    ６のいずれかに記載の方法。
68. 【請求項６８】 前記処理画像が最終強制視差を前記処理画像に加えることによってさらに処理
    されることを特徴とする請求項４３〜６７のいずれかに記載の方法。
69. 【請求項６９】 強制視差の程度が、処理中に加えられた視差および強制視差の全部が隣接画像
    の全視差にほぼ等しいように、前記画像の処理中に加えられた視差の量によって
    決定されることを特徴とする請求項６８に記載の方法。
70. 【請求項７０】 最終強制視差の程度が所定の時間フレームにわたる所定の最小および最大の設
    定間で調整されることを特徴とする請求項６８あるいは請求項６９に記載の方法
    。
71. 【請求項７１】 前記処理画像が、前記画像を前記立体ディスプレイおよび／または記憶装置に
    転送するよりも前に前記処理画像の画質をさらに高めるように最適化されること
    を特徴とする請求項４３〜７０のいずれかに記載の方法。
72. 【請求項７２】 基準点が前記処理画像に加えられることを特徴とする請求項４３〜７１に記載
    の方法。
73. 【請求項７３】 前記基準点が、 前記画像の周囲の周りの境界、 複数の同心境界、 部分境界、 ロゴ、 画像、 の少なくとも１つであることを特徴とする請求項７２に記載の方法。
74. 【請求項７４】 前記画像の処理中前記モノスコープ画像に加えられた奥行の量を見る人の好み
    に応じて調整できることを特徴とする請求項４３〜７３のいずれかに記載の方法
    。
75. 【請求項７５】 前記画像の後景が前記見る人によって意識しても注目されない少ない増加量で
    ランダムに移動されることを特徴とする請求項４３〜７４のいずれかに記載の方
    法。
76. 【請求項７６】 前記画像が個別に処理される逆３Ｄおよび物体のためにテストされて任意の逆
    ３Ｄに関して補正されることを特徴とする請求項４３〜７５のいずれかに記載の
    方法。
77. 【請求項７７】 カット・アンド・ペースト技術が前記立体効果をさらに強調するために使用さ
    れることを特徴とする請求項４３〜７６のいずれかに記載の方法。
78. 【請求項７８】 実質的に添付図面を参照して上記に開示されたような方法。
79. 【請求項７９】 実質的に添付図面を参照して上記に開示されたようなシステム。