JP2014507873A - 立体画像および画像シーケンスのステレオベース拡張のための方法および装置｛ｍｅｔｈｏｄａｎｄｄｅｖｉｃｅｆｏｒｓｔｅｒｅｏｂａｓｅｅｘｔｅｎｓｉｏｎｏｆｓｔｅｒｅｏｓｃｏｐｉｃｉｍａｇｅｓａｎｄｉｍａｇｅｓｅｑｕｅｎｃｅｓ｝ - Google Patents

Abstract

本発明は、立体画像（ｓｔｅｒｅｏｓｃｏｐｉｃ ｉｍａｇｅｓ）および画像シーケンス（ｉｍａｇｅ ｓｅｑｕｅｎｃｅｓ）の奥行き知覚（ｄｅｐｔｈ ｉｍｐｒｅｓｓｉｏｎ）を改善するための方法および装置に関する。オートステレオスコピック・マルチビューアー・ディスプレイ装置（ａｕｔｏｓｔｅｒｅｏｓｃｏｐｉｃ ｍｕｌｔｉ−ｖｉｅｗｅｒ ｄｉｓｐｌａｙ ｄｅｖｉｃｅ）においては、一般的に多数の中間視点（ｉｎｔｅｒｍｅｄｉａｔｅ ｐｅｒｓｐｅｃｔｉｖｅｓ）が発生し、前記中間視点は、ビューアーによって知覚される時に縮小されたステレオベース（ｓｔｅｒｅｏ ｂａｓｅ）を生じさせる。本出願書に提示されたステレオベース拡張（ｓｔｅｒｅｏ ｂａｓｅ−ｗｉｄｅｎｉｎｇ）は、重要な改善およびそれと共に現実的な奥行き知覚を誘導する。このような改善は、カメラでの測定時になされるか、またはディスプレイ装置の内部に統合されることができる。奥行き知覚の改善は合成視点の発生によって達成され、前記合成視点はカメラレンズの注視方向から見る時に最左側および最右側のカメラレンズによって形成された連結線の右側および左側の延長部（ｌｅｎｇｔｈｅｎｉｎｇ）において前記測定された最左側および最右側のカメラレンズの左側および右側にある。前記合成視点は単に提供されたまたは予備処理ステップにおいて計算された視差マップ（ｄｉｓｐａｒｉｔｙ ｍａｐ）に基づいてのみ計算される。この場合、提示された方法は次のような問題点を解決する。１．新しい拡張視点の計算、２．ビジュアルゾーン（ｖｉｓｕａｌ ｚｏｎｅ）内部に提供されたカメラレンズの正確な再位置設定（ｒｅ−ｐｏｓｉｔｉｏｎｉｎｇ）、３．拡張において衝突の場合にどの視差が続行されるべきかに対する規定、および４．ステレオベース拡張によって可視になるイメージ領域の内挿（ｉｎｔｅｒｐｏｌａｔｉｏｎ）。この場合は左側および右側マスキング（ｍａｓｋｉｎｇ）も確認され、前記拡張視点において視覚的に正確に維持し補完される。
【選択図】図２

Description

本発明は、立体画像と画像シーケンス（ｉｍａｇｅ ｓｅｑｕｅｎｃｅｓ）の奥行き知覚（ｄｅｐｔｈ ｉｍｐｒｅｓｓｉｏｎ）を改善するための方法および装置に関する。このような改善は、ステレオカメラで測定する時にまたは立体ディスプレイ装置内でなされる。

１９３１年に既にＬｕｅｓｃｈｅｒの参考文献［１］に該当する自身の論文において、ステレオスコピー（ｓｔｅｒｅｏｓｃｏｐｙ）の基本規則を定めた。第１規則（ａ）は、立体画像の左右側部分のイメージが同一の視覚差を有しなければならないということであり、言い換えれば、ステレオベースが６５ｍｍの範囲内に置かれなければならないということである。

技術や設計上の色々な理由により、前記規則はステレオカメラやビデオ・レコーダーにおいて違背する場合がある。この場合、本発明によるステレオベース拡張による適応がなされる。

測定時、このようなレンズ間隔が守られれば、このレンズ間隔は、３Ｄメガネを使うか、またはオートステレオスコピック・シングルビューアー・ディスプレイ装置において優れた奥行き知覚を生じさせる。

しかし、オートステレオスコピック・マルチビューアー・ディスプレイ装置においては、一般的に多数の中間視点画像が生じ、このため、奥行き知覚が落ちる。このような現象は、Ｌｕｅｓｃｈｅｒによって立てられた基本規則、すなわち、「見る時は測定する時と同じ視覚（ステレオベース）が維持されなければならない」という基本規則に矛盾する。この場合にも、本発明によるステレオベース拡張は重要な改善を図り、現実と同じ奥行き知覚を生じさせることができる。

以下、オートステレオスコピック・マルチビューアー・ディスプレイ装置のためのステレオベース拡張を先に説明した後に立体測定装置にその例を拡張するが、必ずしもこれに限定されるものではない。２つの場合の基本原理が同一であるので、このような説明も可能である。

Ｌｕｅｓｃｈｅｒ：「ステレオスコピーの基本規則（Ｇｒｕｎｄｒｅｇｅｌｎ ｄｅｒ Ｓｔｅｒｅｏｓｋｏｐｉｅ）」，Ｄｅｒ Ｓｔｅｒｅｏｓｋｏｐｉｋｅｒ，Ｎｒ．５，１９３１年１月１５日，Ｏｒｇａｎ ｄｅｒ Ｇｅｓｅｌｌｓｃｈａｆｔ ｆｕｅｒ Ｓｔｅｒｅｏｓｋｏｐｉｅ ｅ．Ｖ． Ｋｒａｈ，Ｃ．：「３次元ディスプレイシステム（Ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ Ｄｉｓｐｌａｙ Ｓｙｓｔｅｍ）」，ＵＳ／２００６／７８４３４４９ Ｔｅｉｋ，Ｏｈら：「奥行きエンコーディングされたソースビューからの３Ｄ画像合成（３Ｄ Ｉｍａｇｅ Ｓｙｎｔｈｅｓｉｓ ｆｒｏｍ Ｄｅｐｔｈ Ｅｎｃｏｄｅｄ Ｓｏｕｒｃｅ Ｖｉｅｗ）」，ＵＳ２００４／０１００４６４ Ｈｕａｎｇ Ｈ−Ｃら：「立体ビデオから多重観点ビデオの発生（Ｇｅｎｅｒａｔｉｏｎ ｏｆ Ｍｕｌｔｉｖｉｅｗｐｏｉｎｔ ｖｉｄｅｏ ｆｒｏｍ ｓｔｅｒｅｏｓｃｏｐｉｃ ｖｉｄｅｏ）」，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｏｎｓｕｍｅｒ Ｅｌｅｃｔｒｏｎｉｃｓ，ＮＹ，ＵＳ ｖｏｌ．４５，Ｎｏ．１，１９９９年２月 Ｈｅｎｄｒｉｋ Ｅら：「デジタル多重観点立体画像のリアルタイム合成（Ｒｅａｌ ｔｉｍｅ Ｓｙｎｔｈｅｓｉｓ ｏｆ ｄｉｇｉｔａｌ ｍｕｌｔｉ ｖｉｅｗｐｏｉｎｔ ｓｔｅｒｅｏｓｃｏｐｉｃ ｉｍａｇｅｓ）」，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＳＰＩＥ，ＳＰＩＥ，Ｂｅｌｌｉｎｇｈａｍ，ＶＡ，ＵＳ，Ｖｏｌ．３６３９，１９９９年１月，ＸＰ００８０２１８８３ Ｋａｍｉｎｓ−Ｎａｓｋｅ，Ｓ．ら：「擬似ホログラフィック画像合成のための方法および装置（Ｖｅｒｆａｈｒｅｎ ｕｎｄ Ｖｏｒｒｉｃｈｔｕｎｇ ｚｕｒ ｐｓｅｕｄｏｈｏｌｏｇｒａｐｈｉｓｃｈｅｎ Ｂｉｌｄｓｙｎｔｈｅｓｅ）」，ＷＯ ２００７／１２１９７０，２００７年１１月１日 Ｈｕｍｅｒａ Ｎｏｏｒ：「実場面のビュー外挿による仮想イメージの発生（Ｖｉｒｔｕａｌ Ｉｍａｇｅ Ｇｅｎｅｒａｔｉｏｎ ｂｙ Ｖｉｅｗ Ｅｘｔｒａｐｏｌａｔｉｏｎ ｏｆ Ｒｅａｌ Ｓｃｅｎｅｓ）」，ＭＵＥＴ Ｊｏｕｒｎａｌ，２００８年

３Ｄメガネの支援を受けるディスプレイ装置においては、全てのビューアーが同時に１つの優れた３Ｄ印象を知覚することができる。この場合一般的に２つのレンズを有するステレオカメラによって測定された立体画像が各々ビューアーの左右側の目に提供される。多くのビューアーが３Ｄメガネを着用すれば、検知された目の間隔が２つのカメラレンズの間隔と正確に一致する。一般的に、この間隔は自然な空間感を感じるために約６５ｍｍの範囲内にある。

オートステレオスコピック・マルチビューアー・ディスプレイにおいては、ディスプレイの前に正確に１つの最適観察位置が存在し、この観察位置において１人のビューアーだけが最適な奥行き知覚を感じることができる。いくつかのオートステレオスコピック・シングルビューアー・ディスプレイは、いわゆる、ヘッド・トラッキング・システムによってビューアーの目を追跡して各ビューアーに適応するようにする。

参考文献［２］には、多数のビューアーが同時に観察され、追跡することができるシステムが初めて記載されている。

全てのシステムにおける共通点は、ビューアーが最適な奥行き知覚を感じるのに必要なカメラ視点は２個であればよい。

しかし、このような方式は居間や公共施設において利用するには非実用的である。できるだけ多くのビューアーが同時に運動性の制限なしで最適な奥行き知覚を感じなければならない。

公知のオートステレオスコピック・マルチビューアー・ディスプレイ装置で感じることができるこのような最適な奥行き知覚は、測定されたカメラ視点の間に所定の中間視点が合成によって生成され、このような中間視点をディスプレイ装置の前に一端のビジュアルゾーンを生成するのに利用して得ることができる。各々のビジュアルゾーンにおいて１人や多数のビューアーが自由に動くことができ、１つの奥行き知覚を感じることができる。

ビジュアルゾーンは、用いられた光学システムに応じて所定の幅を有する。ビューアーがビジュアルゾーンの左側縁にいれば、ビューアーの左側目が左側カメラ視点を知覚し、ビューアーがビジュアルゾーンの右側縁にいれば、ビューアーの右側目が右側カメラ視点を知覚する。一般的に、ビジュアルゾーンの幅は３００〜６００ｍｍ程度である。ビューアーが一方のビジュアルゾーンから他方のビジュアルゾーンに移動すれば、短い区間において鮮明でない立体画像が生成される。

しかし、ビジュアルゾーン間隔（約６５ｍｍ）が目間隔より遥かに広いため、左側縁の右側目は、右側カメラ視点よりは左側カメラ視点において遥かに稠密な視点を感じる。このような事実により、検知された目間隔がカメラ間隔、すなわち、２つのカメラレンズの間隔より遥かに小さいことが分かる。結果的に、オートステレオスコピック・マルチビューアー・ディスプレイ装置においては、奥行き知覚が大幅に減少する。このような奥行き知覚の減少率は、ビジュアルゾーンの幅が広いほど大きい。一方、ビューアーの運動自由度を最大化しようとすれば、ビジュアルゾーンの幅はできるだけ広くなければならない。

奥行き知覚の減少は、前述したディスプレイ装置の主な短所であり、本発明の方法によって軽減されなければならず、場合に応じては完全に無くならなければならない。

このような短所の除去は、カメラレンズの注視方向が測定された最左側および最右側カメラレンズの左側および右側にあり、特許請求項１に記載されたような「視覚的な視点」の発生によって達成される。このような視覚的な視点を、以下、ステレオベース拡張といい、これは、最左側にあるカメラレンズと最右側にあるカメラレンズとの間の連結線がステレオベースであり、発生した視覚的な視点が測定されたステレオベースの延長部にあるためである。

また、本発明は、少なくとも１つのプロセッサおよびメモリを含む本発明による方法を実施する装置に関するものでもある。

ステレオベース拡張は今まで音響分野にのみ記述された。このような音響分野においては関連文献が広く公知されているが、これらの文献を本発明では引用しない。

参考文献［３］には、提供された２Ｄイメージおよび奥行きマップ（ｄｅｐｔｈ ｍａｐ）から出発して多数の視点が提供された２Ｄイメージの左右側から生成される方法が記述されている。この文献に記述された方式によれば、２Ｄイメージは奥行きマップによって変形される。しかし、この方式では視覚的に正確な視点は現れることができず、これは、左右側マスキングに関する情報がないためである。本発明による方法のためには、必ず２つ以上の視点が提供された立体画像が必要である。このような状況にのみ、様々な合成視点に視覚的に正確にマスキングを実現することができる。

一方、左右側カメラの視点の間の中間視点を生成する複数の方法が公知されている。本発明は、参考文献［４］や［５］を参照する。

このような全ての方法は本発明とは関連がない。これは、これらの方法がステレオベースの外部において追加視点を生成するのにあるものではなく、好ましい方式に変形されることもできないためである。

また、例えば、参考文献［７］に記述されたような外挿変形方法も前述した問題の解決に利用することができず、これは、このような方法が場面の幾何学的な特性を視覚的に正確に維持し補完できないためである。

今まで公知されたマルチビューアー・ディスプレイ装置の場合のビジュアルゾーンにおけるステレオカメラのステレオベースの変換を示す概略図である。

ＬＣ：左側カメラ視点
ＲＣ：右側カメラ視点
１：ビューアーの目間隔
２：ビューアー位置におけるビジュアルゾーン幅
３：ステレオカメラのレンズ間隔
４：検知された目間隔
５：ディスプレイ装置
ビジュアルゾーンにおけるステレオベース拡張によるステレオカメラの拡張されたステレオベースの変換を示す概略図である。

ＬＣ：左側実カメラ視点
ＲＣ：右側実カメラ視点
ＬＥ：左側合成カメラ視点
ＲＥ：右側合成カメラ視点
１：ビューアーの目間隔
２：ビューアー位置におけるビジュアルゾーン幅
３：実ステレオカメラのレンズ間隔
４：検知された目間隔
５：ディスプレイ装置
３つのオブジェクトを有する場面がステレオカメラの右側レンズによって測定された概略図である。

ＲＲ：右側網膜（ｒｅｔｉｎａ）
Ｏ１：オブジェクト１
Ｏ２：オブジェクト２
Ｏ３：オブジェクト３
ＰＯ１：Ｏ１のオブジェクトセグメントの投影
ＰＯ２：Ｏ２のオブジェクトセグメントの投影
ＰＯ３：Ｏ３のオブジェクトセグメントの投影
ステレオカメラの左側レンズによって測定された、図３と同一の場面を示す概略図である。

ＬＲ：左側網膜
Ｏ１：オブジェクト１
Ｏ２：オブジェクト２
Ｏ３：オブジェクト３
ＰＯ１：Ｏ１のオブジェクトセグメントの投影
ＰＯ２：Ｏ２のオブジェクトセグメントの投影
ＰＯ３：Ｏ３のオブジェクトセグメントの投影
図４に示された左側イメージＬＣおよび図３に示された右側イメージＲＣの視差（ｄｉｓｐａｒｉｔｙ）を示す概略図である。

ＬＣ：左側カメラ視点
ＲＣ：右側カメラ視点
ＰＯ１：Ｏ１のオブジェクトセグメントの投影
ＰＯ２：Ｏ２のオブジェクトセグメントの投影
ＰＯ３：Ｏ３のオブジェクトセグメントの投影
ＲＶ２：オブジェクト２の右側マスキング
ＲＶ３：オブジェクト３の右側マスキング
ＬＶ２：オブジェクト２の左側マスキング
ＬＶ３：オブジェクト３の左側マスキング
図５の視差に対する図示および様々な中間視点における前記視差の図である。

ＬＣ：左側カメラ視点
ＲＣ：右側カメラ視点
Ｚ１：中間視点１
Ｚ２：中間視点２
Ｚ３：中間視点３
Ｚ４：中間視点４
Ｚ５：中間視点５
ＰＯ１：Ｏ１のオブジェクトセグメントの投影
ＰＯ２：Ｏ２のオブジェクトセグメントの投影
ＰＯ３：Ｏ３のオブジェクトセグメントの投影
ＲＶ２：オブジェクト２の右側マスキング
ＲＶ３：オブジェクト３の右側マスキング
ＬＶ２：オブジェクト２の左側マスキング
ＬＶ３：オブジェクト３の左側マスキング
図５に示されたステレオベース拡張の実行を示す概略図である。

ＬＣ：左側カメラ視点
ＲＣ：右側カメラ視点
Ｚ１：中間視点１
Ｚ２：中間視点２
Ｚ３：中間視点３
Ｚ４：中間視点４
Ｚ５：中間視点５
ＬＥ：左側拡張視点
ＲＥ：右側拡張視点
ＰＯ１：Ｏ１のオブジェクトセグメントの投影
ＰＯ２：Ｏ２のオブジェクトセグメントの投影
ＰＯ３：Ｏ３のオブジェクトセグメントの投影
？：内挿（ｉｎｔｅｒｐｏｌａｔｉｎｇ）する新しい左側および右側マスキング
ポインター（ｐｏｉｎｔｅｒ）ｐＬＣおよびｐＲＣを例に示す図である。

ＬＣ：左側カメラ視点
ＲＣ：右側カメラ視点
ＬＥ：左側拡張視点
ＲＥ：右側拡張視点
ＰＯ１：Ｏ１のオブジェクトセグメントの投影
ＰＯ２：Ｏ２のオブジェクトセグメントの投影
ＰＯ３：Ｏ３のオブジェクトセグメントの投影
ｐＬＣ（ｊｌ１）：測定されたカメラ視点ＬＣの拡張視点ＬＥの箇所（ｊｌ１）から眺めたポインター
ｐＲＣ（ｊｌ１）：測定されたカメラ視点ＲＣの拡張視点ＬＥの箇所（ｊｌ１）から眺めたポインター
ｐＬＣ（ｊｌ１＊）：測定されたカメラ視点ＬＣの拡張視点ＬＥの箇所（ｊｌ１＊）から眺めたポインター
ｐＲＣ（ｊｌ１＊）：測定されたカメラ視点ＲＣの拡張視点ＬＥの箇所（ｊｌ１＊）から眺めたポインター
ＬＣのステレオベースの外部における追加の中間視点の発生を示す概略図である。

ＬＣ：左側カメラ視点
ＲＣ：右側カメラ視点
Ｚ１：中間視点１
Ｚ２：中間視点２
Ｚ３：中間視点３
Ｚ４：中間視点４
Ｚ５：中間視点５
ＬＥ：左側拡張視点
ＲＥ：右側拡張視点
ＰＯ１：Ｏ１のオブジェクトセグメントの投影
ＰＯ２：Ｏ２のオブジェクトセグメントの投影
ＰＯ３：Ｏ３のオブジェクトセグメントの投影
？：内挿（ｉｎｔｅｒｐｏｌａｔｉｎｇ）する新しい左側および右側マスキング
ＬＥ１：左側拡張視点１
ＬＥ２：左側拡張視点２
ＬＥ３：左側拡張視点３
ＬＥ４：左側拡張視点４
ＬＥ５：左側拡張視点５
ＲＥ１：右側拡張視点１
ＲＥ２：右側拡張視点２
ＲＥ３：右側拡張視点３
ＲＥ４：右側拡張視点４
ＲＥ５：右側拡張視点５
左側マスキングの可能性および左側マスキングの処理を示す概略図である。

ＬＣ：左側カメラ視点
ＲＣ：右側カメラ視点
ＬＥ：左側拡張視点
ＲＥ：右側拡張視点
ＰＯ１：Ｏ１のオブジェクトセグメントの投影
ＰＯ２：Ｏ２のオブジェクトセグメントの投影
ＰＯ３：Ｏ３のオブジェクトセグメントの投影
？：内挿（ｉｎｔｅｒｐｏｌａｔｉｎｇ）する新しい左側および右側マスキング
右側マスキングの可能性および右側マスキングの処理を示す概略図である。

ＬＣ：左側カメラ視点
ＲＣ：右側カメラ視点
ＬＥ：左側拡張視点
ＲＥ：右側拡張視点
ＰＯ１：Ｏ１のオブジェクトセグメントの投影
ＰＯ２：Ｏ２のオブジェクトセグメントの投影
ＰＯ３：Ｏ３のオブジェクトセグメントの投影
？：内挿（ｉｎｔｅｒｐｏｌａｔｉｎｇ）する新しい左側および右側マスキング
全体フローチャートである。

１：ＬＥ＿Ｗｈｅｒｅ（どこに）、ｐＬＣおよびｐＲＣを初期化する
２：ｊｌ１：＝Ａｎｆａｎｇ（開始）
３：Ｗｈｅｒｅ（ｊｌ１）＝−１？
Ｙ：Ｙｅｓ（はい）
Ｎ：Ｎｏ（いいえ）
４：Ｗｈｅｒｅ（ｊｌ１）−Ｗｈｅｒｅ（ｊｌ１−１）＝０？
５：│Ｗｈｅｒｅ（ｊｌ１）−Ｗｈｅｒｅ（ｊｌ１−１）│＞１？
６：右側マスキング処理
７：拡張を直接的に処理する
８：左側マスキング処理
９：ｊｌ１＝ｊｌ１＋１
１０：ｊｌ１＞Ｅｎｄｅ（終わり）？
１１：ＬＥ＿Ｗｈｅｒｅ（どこに）がＷｈｅｒｅ（どこに）に移る
「右側マスキング処理」に関するフローチャートである。

１：左側縁から視差を検出する
２：右側縁から視差を検出する
３：左側縁が前方に？
Ｙ：Ｙｅｓ
Ｎ：Ｎｏ
４：左側縁から拡張を検出する
５：右側に行って右側縁から拡張を検出する
６：右側縁から拡張を検出する
７：左側に行って左側縁から拡張を検出する
８：左側境界を設定する
９：右側境界を設定する
１０：左側ＬＥ＿Ｗｈｅｒｅ（どこに）から−１を有するｊｌ１まで満たす
「左側マスキング処理」に関するフローチャートである。

１：左側境界が正確に設定されたため、拡張が前記左側境界より初めてさらに大きい右側境界を検索する
２：右側境界を設定する
分析された場面の複雑性および拡張率に応じて内挿される画素のパーセンテージに対する統計である。

ＰＥ：％で示す拡張率
％：ＨＤ立体画像の内挿される画素のパーセンテージ
Ｈ：複雑性が高い場面
Ｌ：複雑性が低い場面
用いられた縮約語に関する説明
ＡＥ：ステレオカメラの２つレンズの提供された間隔から発生する前記レンズの拡張された間隔
ＡＡ：ビューアーの目間隔
ＡＢ：ディスプレイ装置からビューアーの左側および右側の目に投影される視点の間隔；「検知された目間隔」；検知されたステレオベース
ＳＺ：ビジュアルゾーンの幅；ビジュアルゾーン幅
ＫＡ：ステレオカメラのレンズ間隔；測定されたステレオベース幅
Ｎ：提供されたカメラ視点数
Ｍ：発生した拡張視点数
ＤＵ：最適な奥行き知覚のためにそれ以下に落ちてはいけない、ディスプレイ装置上に現れる視差の下限
ＤＯ：最適な奥行き知覚のためにそれ以上に超過してはいけない、ディスプレイ装置上に現れる視差の上限
Ｆ：拡張率
ＰＥ：提供された立体画像の最大視差の拡張率
ＬＣ：提供された最左側のカメラ視点
ＰＣ：提供された最右側のカメラ視点
ＬＥ：ＬＣの左側にある最左側の拡張視点
ＲＥ：ＲＣの右側にある最右側の拡張視点
ｐＬＣ：ＬＣの各々使われる測定された画素上にあるＬＥのポインターのフィールド
ｐＲＣ：ＲＣの各々使われる測定された画素上にあるＬＥのポインターのフィールド
Ｗｈｅｒｅ（どこに）：提供されたまたは計算された視差のフィールド；視差マトリックスのｉ番目の行
ＬＥ＿Ｗｈｅｒｅ（どこに）：計算し拡張された視差のフィールド
Ｋ：提供された立体画像の行数
Ｄｍａｘ：提供された立体画像内における最大視差
ＺＷ：発生された中間視点数
ＤＳＴＥＰ：２つの中間視点の間にあるステップ幅の大きさ
ＮｒＰ：ディスプレイする視点の個数
ｊｌ１：ｉ行内にある特定画素位置
ｌｅｆｔＣａｐｔｕｒｅ：ＬＣがディスプレイされるべき視点の番号
ｒｉｇｈｔＣａｐｔｕｒｅ：ＲＣがディスプレイされるべき視点の番号
ｎｒＳｅｇｍｅｎｔｓ：画素ｊｌ１の視差が与えられた場合の視点ステップ当たりの画素数
ｌｅｆｔＢｏｒｄｅｒ：マスキングの左側縁における画素位置
ｒｉｇｈｔＢｏｒｄｅｒ：マスキングの右側縁における画素位置
Ａｎｆａｎｇ（開始）：１行の処理する初めての画素位置
Ｅｎｄｅ（終わり）：１行の処理する最後の画素位置
ＬＥ＿Ｗｈｅｒｅ＿ｌｅｆｔＢｏｒｄｅｒ：視差が最大右側ステレオベース拡張（ＲＥ）まで続行する場合のｌｅｆｔＢｏｒｄｅｒにおける視差
ＬＥ＿Ｗｈｅｒｅ＿ｒｉｇｈｔＢｏｒｄｅｒ：視差が最大右側ステレオベース拡張（ＲＥ）まで続行する場合のｒｉｇｈｔＢｏｒｄｅｒにおける視差

以下、本発明による処理ステップについて詳しく説明する。

以下の説明は、便宜上、下記の仮定に基づくが、これに限定されるものではない。

１．カメラ視点数（Ｎ）は２である。個数がさらに大きければ、提供されたカメラ視点のうちの特定カメラ視点が中間視点として利用される。

２．立体画像を正常な立体形態で供給し、全ての計算を１行ずつ行うことができる。一方、エピポーラ（ｅｐｉｐｏｌａｒ）線に沿って校正を行うこともできる。

３．立体画像の他に視差マップ（ｄｉｓｐａｒｉｔｙ ｍａｐ）が利用される。視差マップは、立体画像と共に提供されるか、または予め提供される。前記視差マップにおいて、Ｗｈｅｒｅはｉ番目の行にある。

４．以下で言及する全てのビジュアルゾーン（ｖｉｓｕａｌ ｚｏｎｅｓ）は常に平行するとみなす。

前述したように、本発明の方法の目的は、マルチビューアー・ディスプレイ装置の光学手段によって規定されたビジュアルゾーンにおいて深度を改善するために、カメラ視点がＮ≧２である立体画像に基づいてステレオカメラに用いられるステレオベースＫＡの拡張を行うことにある。全てのオートステレオスコピック・マルチビューアー・ディスプレイ装置の光学手段は、各々のビジュアルゾーンにおいて、ビジュアルゾーンの左側縁に提供された左側カメラ視点と右側縁に提供された右側カメラ視点を知覚する。このような知覚は、ディスプレイ装置の前にある全ての箇所で適用される。ビジュアルゾーンの幅ＳＺがビューアーの目間隔ＡＡより大きければ、ビューアーはこのビジュアルゾーンにおいて自由に動くことができるため、ビジュアルゾーン幅ＳＺを最大にすることが好ましい。

ビューアーの目間隔ＡＡに応じて常に２つの互いに異なる中間視点が左側および右側の目に各々投影される（図１参照）。この時、ビューアーが検知する奥行き知覚は、投影された２つの視点の間隔に依存する（図１の要素４）。投影された２つの視点の間隔が広いほど奥行き知覚は強くなり、この間隔が狭いほど奥行き知覚は弱くなる。極端な場合、視点間隔が０であれば、ビューアーは１つの２Ｄ画像だけを見ることになる。視点間隔が最大であれば、言い換えれば、左側目が左側カメラ視点を見て、右側目が右側カメラ視点を見れば、例えば、３Ｄメガネベースのディスプレイと同様に奥行き知覚も最大となる。

言い換えれば、本発明の目的は、ビジュアルゾーンの幅ＳＺと目間隔ＡＡが与えられた場合、２つの投影された視点の間隔をできるだけ広くすることにある。

この目的は、ステレオカメラの注視方向に見る時、左右側ビジュアルゾーンの左右側縁に提供されたカメラ視点ＬＣ，ＲＣによって投影される仮想の拡張視点ＬＥ，ＲＥを設定して達成される（図２参照）。図２によれば、拡張視点ＬＥ，ＲＥは、左右側カメラ視点ＬＣ，ＲＣのステレオベース３の延長線にある。ビジュアルゾーン内部の任意の１点から左右側の目に各々投影される２つの視点の間隔である検知された目間隔をＡＢとすれば、下記の通りである。

ＡＢ＝ＡＡ＊ＫＡ／ＳＺ （１）
ＫＡ＝６５ｍｍ、ＳＺ＝３００ｍｍ、ＡＡ＝６３ｍｍである場合、検知された目間隔ＡＢは１３．７ｍｍである。

しかし、ステレオベースが、後述するように、例えば、ＰＥ＝２００％に拡張されれば、左側拡張視点ＬＥはステレオベース３上で１００％拡張され、６５ｍｍさらに左側に拡張され、右側拡張視点ＲＥもステレオベース３上で１００％拡張され、６５ｍｍさらに右側に拡張される。この場合は下記の通りである。

ＡＢ＝６３＊（３＊６５）／３００＝４０．９ｍｍ （２）
前記例において、検知された奥行き知覚は６５ｍｍの実際の奥行き知覚とほぼ同一である。

測定されたステレオベースＫＡが拡張される拡張率をＦとすれば、（１）は下記のように一般化することができる。

ＡＢ＝Ｆ＊ＡＡ＊ＫＡ／ＳＺ （３）
目間隔ＡＡとビジュアルゾーン幅ＳＺが与えられ、ステレオベース幅ＫＡが測定された場合、拡張率Ｆを検知されたステレオベース幅ＡＢで決定すれば、下記の通りである。

Ｆ＝ＡＢ＊ＳＺ／（ＫＡ＊ＡＡ） （４）
実際と同じ奥行き知覚を発生させたいのであれば、すなわち、ＡＢ＝ＡＡを所望する場合は下記の通りである。

Ｆ＝ＳＺ／ＫＡ （５）
カメラレンズの間隔ＫＡには何の影響も及ぼさない。前記カメラレンズの間隔は約６５ｍｍである可能性が大きい。したがって、実際には下記のような拡張率Ｆから出発する。

Ｆ＝０．０１５４＊ＳＺ （６）
ビジュアルゾーン幅ＳＺ＝６００ｍｍであれば、拡張率Ｆ＝９．２である。

Ｆ＝１＋ＰＥ／１００ （７）
である場合、約４００％の拡張ＰＥが生じ、左右側に各々２６０ｍｍの拡張が生じる。

第１実施例においては、提供された視差マップに基づいてステレオベース拡張がどのように行われるかを説明する。これと関連し、図３〜４には、３つのオブジェクトＯ１，Ｏ２，Ｏ３を有する１つの場面を例に挙げる。各図面の下部領域には、ビューアーの右側目の網膜（図３）と左側目の網膜（図４）に対する投影やカメラレンズ内部に対する個別的な投影が示されている。この場合は、１つの右側目（図３）と１つの左側目（図４）の個別行（ｉ）が示されている。上部領域には、デジタル写真に格納されたように、そして本出願に記載された方法による拡張およびミラーリング（ｍｉｒｒｏｒｉｎｇ）後の投影が各々示されている。

図５には、該当連結線と関連した視差関係が示されている。図５は、オブジェクトＯ２，Ｏ３の右側マスキング領域ＲＶ２，ＲＶ３も示す。

視点の間においてＬＣからＲＣまで仮想のカメラが動く時、同じ区間では、該当画素に対して等距離で視差が分割されることになる（図６参照）。ＲＣからＬＣに動く時も同様である。

Ｗｈｅｒｅ（どこに）フィールドには、視差マップの規定に従って左側カメラ視点ＬＣの各々の画素Ｊｌ１が右側カメラ視点ＲＣにおけるどの画素Ｊｌ１に対応するかが表示される。

この時、ステレオベース拡張を実行しようとすれば、図５に示された対応線がＬＣとＲＣをすぎて拡張することを想像することができる。これは、ＬＣとＲＣを越えてステレオベースＫＡの線形拡張に該当する（図７参照）。この方式は、ＬＣとＲＣとの間の中間視点がＬＣとＲＣとの間における線形カメラの移動と同期的に生じるので好ましい。このようなカメラの移動はある程度まではＬＣとＲＣを越えて続く。

しかし、この場合、解決しなければならない下記のような問題点が発生する。

１．ビジュアルゾーンにおけるＬＣとＲＣに対する新しい視点位置の計算
２．ＬＥとＲＥの画素の計算
３．拡張時に衝突がある場合、どの視差を継続するべきかを決定
４．ステレオベース拡張を通じて見ることができる画像区域を内挿する方法
１．ビジュアルゾーンにおけるＬＣとＲＣに対する新しい視点位置の計算
ＮｒＰ視点をディスプレイする場合、従来のディスプレイ装置のように、ＬＣは視点０に使われ、ＲＣは視点ＮｒＰ−１に使われる。

これは、ステレオベース拡張においては起こらず、下記のように一般化される。

ｌｅｆｔＣａｐｔｕｒｅがＬＣにディスプレイする視点の番号であれば、下記の通りである。
ＬｅｆｔＣａｐｔｕｒｅ：＝（ＮｒＰ−１）＊（１−１／Ｆ）／２ （８）
ＲｉｇｈｔＣａｐｔｕｒｅ：＝ｌｅｆｔＣａｐｔｕｒｅ＋（ＮｒＰ−１）／Ｆ （９）
拡張率ＰＥ＝０％であれば、Ｆ＝１であり、ｌｅｆｔＣａｐｔｕｒｅ＝０であり、ｒｉｇｈｔＣａｐｔｕｒｅ＝ＮｒＰ−１である。このため、このような方式は従来の方式のように用いることができる。

一方、例えば、ＰＥ＝２００％であれば、ステレオベースは左右側に各々１００％拡張され、ＬＣとＲＣは各々１／３だけ内側に移動する。この場合、式（８）と（９）はｌｅｆｔＣａｐｔｕｒｅ＝１／３＊（ＮｒＰ−１）、ｒｉｇｈｔＣａｐｔｕｒｅ＝２／３＊（ＮｒＰ−１）となり、これは期待した通りである。

２．ＬＥとＲＥの画素の計算
位置ｊｌ１に左側視点がディスプレイされていれば、画素ＬＣ（ｊｌ１）にアクセスする。対応画素が右側視点からディスプレイされれば、画素ＲＣ（Ｗｈｅｒｅ（ｊｌ１））にアクセスする。

これは、ＬＥ（ｊｌ１）とＲＥ（Ｗｈｅｒｅ（ｊｌ１））が規定されていないため、ステレオベース拡張においては不可能である。このため、左側視点がディスプレイされる時は、ＬＥからアクセスされるＬＣによって画素の位置が格納されるフィールドｐＬＣが導入される。同様に、右側視点がディスプレイされる時は、視差の関数でＬＥからアクセスされるＲＣによって画素の位置が格納されるフィールドｐＲＣが導入される。

この方法は下記のように始まる。

ｐＬＣ（ｊｌ１）：＝ｊｌ１ （１０）
ｐＲＣ（ｊｌ１）：＝Ｗｈｅｒｅ（ｊｌ１）
図８に示すように、ｊｌ１においてＬＥやＲＥからの画素が必要であれば、
ＬＥ（ｊｌ１）：＝ＬＣ（ｐＬＣ（ｊｌ１）） （１１）
ＲＥ（Ｗｈｅｒｅ（ｊｌ１））：＝ＲＣ（ｐＲＣ（ｊｌ１）） （１２）
（図８参照）したがって、以上で説明した方法は、拡張率ＰＥ＝０％である場合に従来の方法と両立することができる。

３．拡張時に衝突がある場合、どの視差を継続するべきかを決定
左右側マスキングの場合、拡張された視差が延長区域のエッジにおいて交差して、マスキング領域のエッジにおいて衝突が発生し得る。その一例が、左側マスキングに対しては図１０に、右側マスキングに対しては図１１に示されている。結局、「前方にどのオブジェクトがあるか」という質問に対する答弁がなされなければならない。このオブジェクトの視差が続く反面、他のオブジェクトの視差は新しいマスキングや既存のマスキングの拡張を生じさせる。

これに対する答弁は、「正常な立体形状の場合、視差はステレオカメラからオブジェクトまでの距離に反比例する」である。視差がより大きいオブジェクトが他のオブジェクトの前方にあり、これは、視差がより大きいオブジェクトがステレオカメラにより近くにあって、他のオブジェクトを遮るためである。

具体的には、衝突時のエッジの視差を検査すれば、視差がより大きい画素は追跡されるが、他の画素は遮られる（図１０および図１１参照）。

４．ステレオベース拡張を通じて見ることができる画像区域を内挿する方法
ステレオベースを左右側に拡張すれば画像情報が存在しない区域内部の領域を見ることができ、これは、この領域が今までは遮られていたためである。例えば、図４のオブジェクトＯ３のようにさらに後から前方オブジェクトを見ることができる。図７には、このような領域が？で示されている。

本発明では、最終的に見られる画素が繰り返されなければならない。

左側マスキングの場合、隣接する左側マスキングの最左側画素が繰り返される。右側マスキングの場合、隣接する右側マスキングの最右側画素が繰り返される。隣り合う画素に対する一般的な平滑化はなされず、これは、このような平滑化がオブジェクトのエッジをかすかにし、この場合に３Ｄ効果が低下するためである。

この場合、関連の不正確度は予想ほど大きくはなく、これは、実際にディスプレイされる画素だけを内挿しなければならないためである。ＨＤ解像度を有する立体画像において行われた調査によれば、複雑な場面では勿論、百分率で表示されたステレオベース拡張ＰＥが５００％である場合にも、内挿された画素の百分率は４％未満であることを示す。単純な場面では、内挿された画素の百分率が２％未満である。一方、検知された奥行き知覚は、ディスプレイされた立体画像に比べて大幅に改善される。

図１５には、０％から５００％まで百分率で示したステレオベース拡張に対して複雑度が高い場面Ｈと複雑度が低い場面Ｈにおいて画像の全体画素の内挿される画素の個数が％で示されている。

したがって、問題の解決策が発見された。

図１２は、本発明による方法のフローチャートである。

先ず、フィールドＬＥ＿Ｗｈｅｒｅが−２に設定され、ｐＬＣとｐＲＣは前述した通りに設定される。

次に、１ラインの全ての画素に適用されるルーピング変数ｊｌ１が開始値に設定される。

「Ｗｈｅｒｅ（ｊｌ１）＝−１？」という質問でｊｌ１に右側マスキングがあるかを検査する。「Ｙｅｓ」であれば「右側マスキング処理」が行われ、「Ｎｏ」であれば「Ｗｈｅｒｅ（ｊｌ１）−Ｗｈｅｒｅ（ｊｌ１−１）＝０？」という質問で拡張部に新しい右側マスキングが現れるかを検査する。「Ｙｅｓ」であれば「右側マスキング処理」が行われ、「Ｎｏ」であれば下記の有効有無を検査する。

│Ｗｈｅｒｅ（ｊｌ１）−Ｗｈｅｒｅ（ｊｌ１−１）│＞１ （１５）
上記の式を満たせば「左側マスキング処理」が行われ、でなければ「拡張直接計算」が行われる。次に、全ての場合「ｊｌ１＝ｊｌ１＋１」の増分が行われ、「ｊｌ１＞終わり」の有無がチェックされる。さて、左右側マスキングが確認され、「右側マスキング処理」と「左側マスキング処理」を部分的に正確に維持補完するステップが実行される。

その場合に該当すれば、ＬＥ＿ＷｈｅｒｅはＷｈｅｒｅに移る。その次、画像合成の選択された方法が新たに設定された視差に基づいて、新しいポインターｐＬＣおよびｐＲＣを用いて実施されることができる。

以下、「右側マスキング処理」ステップを詳しく説明する。このステップが図１３のフローチャートで示されている。「Ｗｈｅｒｅ（ｊｌ１）＝−１」や「Ｗｈｅｒｅ（ｊｌ１）−Ｗｈｅｒｅ（ｊｌ１−１）＝０」が確認されれば、領域の左側エッジにおける視差が決定される。「Ｗｈｅｒｅ（ｊｌ１）＝−１」である場合、左側エッジは「Ｗｈｅｒｅ（ｌｅｆｔＢｏｒｄｅｒ）＞０」である画素インデックスｌｅｆｔＢｏｒｄｅｒであるか、Ｗｈｅｒｅ（ｊｌ１）およびＷｈｅｒｅ（ｊｌ１−１）が右側カメラ視点ＲＣにおいて同一画素上に現れる時の「ｌｅｆｔＢｏｒｄｅｒ＝ｊｌ１−１」である。

「ｒｉｇｈｔＢｏｒｄｅｒ＝ｊｌ１」であるか、初めに「Ｗｈｅｒｅ（ｒｉｇｈｔＢｏｒｄｅｒ）＞０」である時は、右側エッジに同一の内容が適用される。

次に、左側エッジ（ｌｅｆｔＢｏｒｄｅｒ）の視差が右側エッジ（ｒｉｇｈｔＢｏｒｄｅｒ）の視差より大きいかを検査する。下記のように大きければ、オブジェクトは前方の左側エッジにあることになる。

視差（ｌｅｆｔＢｏｒｄｅｒ）＞視差（ｒｉｇｈｔＢｏｒｄｅｒ） （１６）
このために、先ず、ｌｅｆｔＢｏｒｄｅｒにおける視差が最大右側ステレオベース拡張ＲＥまで進行する。値ＬＥ＿Ｗｈｅｒｅ＿ｌｅｆｔＢｏｒｄｅｒが現れる。同様に、ＬＥ＿Ｗｈｅｒｅ＿ｒｉｇｈｔＢｏｒｄｅｒが決定される。この時、ｒｉｇｈｔＢｏｒｄｅｒは、「ＬＥ＿Ｗｈｅｒｅ＿ｌｅｆｔＢｏｒｄｅｒ≦ＬＥ＿Ｗｈｅｒｅ＿ｒｉｇｈｔＢｏｒｄｅｒ」が有効であるまでに増分される。この箇所において右側マスキングの拡張も終了する。

一方、式（１６）を満たさなければ、オブジェクトは、前方の右側エッジにあることになる。この場合、前述したように、先ず、ｒｉｇｈｔＢｏｒｄｅｒにおける視差が最大右側ステレオベース拡張ＲＥまでに進行する。この場合にも、ＬＥ＿Ｗｈｅｒｅ＿ｒｉｇｈｔＢｏｒｄｅｒが現れる。

この時、ＬＥ＿Ｗｈｅｒｅ＿ｌｅｆｔＢｏｒｄｅｒが新たに決定される。このために、ｌｅｆｔＢｏｒｄｅｒは、同様に下記の値をなすまでに増分される。

ＬＥ＿Ｗｈｅｒｅ＿ｌｅｆｔＢｏｒｄｅｒ≦ＬＥ＿Ｗｈｅｒｅ＿ｒｉｇｈｔＢｏｒｄｅｒ （１７）
この箇所においても同様に右側マスキングの拡張が終了する。

ｌｅｆｔＢｏｒｄｅｒおよびｒｉｇｈｔＢｏｒｄｅｒが決定された後、ＬＥ左側にｌｅｆｔＢｏｒｄｅｒおよびｒｉｇｈｔＢｏｒｄｅｒの続行が決定される。このために、先ず、下記のものが計算される。

ＬｅｆｔＳｔｅｐ：＝（Ｗｈｅｒｅ（ｌｅｆｔＢｏｒｄｅｒ）−ｌｅｆｔＢｏｒｄｅｒ）／ＮｒＳｅｇｍｅｎｔｓ （１８）
次に、下記のものが計算される。

ＬｅｆｔＥｘｔｅｎｓｉｏｎ＝ｌｅｆｔＢｏｒｄｅｒ−ｌｅｆｔＣａｐｔｕｒｅ＊ｌｅｆｔＳｔｅｐ （１９）
この時、
ｐＬＣ（ｌｅｆｔＥｘｔｅｎｓｉｏｎ）＝ｌｅｆｔＢｏｒｄｅｒ、
ｐＲＣ（ｌｅｆｔＥｘｔｅｎｓｉｏｎ）＝Ｗｈｅｒｅ（ｌｅｆｔＢｏｒｄｅｒ）
ＬＥ＿Ｗｈｅｒｅ（ｌｅｆｔＥｘｔｅｎｓｉｏｎ）＝
Ｗｈｅｒｅ（ｌｅｆｔＢｏｒｄｅｒ）＋（ＮｒＰ−ｒｉｇｈｔＣａｐｔｕｒｅ−１）／ｌｅｆｔＳｔｅｐ （２０）
が設定されることができる。

同様に、ｒｉｇｈｔＢｏｒｄｅｒからｒｉｇｈｔＳｔｅｐ、ｒｉｇｈｔＥｘｔｅｎｓｉｏｎ、そしてｐＬＣ（ｒｉｇｈｔＥｘｔｅｎｓｉｏｎ）、ｐＲＣ（ｒｉｇｈｔＥｘｔｅｎｓｉｏｎ）およびＬＥ＿Ｗｈｅｒｅ（ｒｉｇｈｔＥｘｔｅｎｓｉｏｎ）が現れる。このようなステップは当業者に周知のものである。

最後に、ＬＥ＿Ｗｈｅｒｅにおいて右側マスキングを一定にマーキング（ｍａｒｋｉｎｇ）するために、ＬＥ＿Ｗｈｅｒｅは、ｌｅｆｔＥｘｔｅｎｓｉｏｎからｒｉｇｈｔＥｘｔｅｎｓｉｏｎまで−１に設定される。この時、ＬＥ＿Ｗｈｅｒｅにおいて−１の値は既存の右側マスキングの画素を示し、−２の値は内挿されるべき新たに公開された画素を示す。図１１は、様々なシナリオおよび前述した処理方式に相応する前記シナリオの処理を示す。

新しい右側マスキングにも前述したものと異なる方式を要求することはない。

「左側マスキング処理」の場合は下記のような措置が必要である。

この場合、式（１５）が適用される。様々な状況とこれに対する処理方式については図１０の実施例を参照することができる。

この場合、左側境界（ｌｅｆｔＢｏｒｄｅｒ）が自動で正確に設定された。したがって、右側境界（ｒｉｇｈｔＢｏｒｄｅｒ）だけを右側に下記のように増分する｛ぞうぶん｝。

ＬｅｆｔＥｘｔｅｎｓｉｏｎ≦ｒｉｇｈｔＥｘｔｅｎｓｉｏｎ （２１）
ｌｅｆｔＥｘｔｅｎｓｉｏｎとｒｉｇｈｔＥｘｔｅｎｓｉｏｎは前述した通りであり、開始値ｌｅｆｔＢｏｒｄｅｒ：＝ｊｌ１−１とｒｉｇｈｔＢｏｒｄｅｒ：＝ｊｌ１が計算される。さて、ｐＬＣ（ｒｉｇｈｔＥｘｔｅｎｓｉｏｎ）、ｐＲＣ（ｒｉｇｈｔＥｘｔｅｎｓｉｏｎ）およびＬＥ＿Ｗｈｅｒｅ（ｒｉｇｈｔＥｘｔｅｎｓｉｏｎ）は下記のように計算される。

ｐＬＣ（ｒｉｇｈｔＥｘｔｅｎｓｉｏｎ）＝ｒｉｇｈｔＢｏｒｄｅｒ、
ｐＲＣ（ｒｉｇｈｔＥｘｔｅｎｓｉｏｎ）＝Ｗｈｅｒｅ（ｒｉｇｈｔＢｏｒｄｅｒ）
ＬＥ＿Ｗｈｅｒｅ（ｒｉｇｈｔＥｘｔｅｎｓｉｏｎ）＝
Ｗｈｅｒｅ（ｒｉｇｈｔＢｏｒｄｅｒ）＋（ＮｒＰ−ｒｉｇｈｔＣａｐｔｕｒｅ−１）／ｌｅｆｔＳｔｅｐ （２２）
関連フローチャートは図１４の通りである。

したがって、ステレオベース拡張時の全ての衝突が光学的に正確に処理される。

マスキングがなければ、ｊｌ１とｊｌ１−１との間の視差は変わらない。すなわち、下記の通りである。

│Ｗｈｅｒｅ（ｊｌ１）−Ｗｈｅｒｅ（ｊｌ１−１）│＝１ （２３）
この場合、ｊｌ１Ｅｘｔｅｎｓｉｏｎは（１９）によって下記の通りであり、
ｊｌ１Ｅｘｔｅｎｓｉｏｎ＝ｊｌ１−ｌｅｆｔＣａｐｔｕｒｅ＊ｊｌ１Ｓｔｅｐ （２４）
ｐＬＣ（ｊｌ１Ｅｘｔｅｎｓｉｏｎ）、ｐＲＣ（ｊｌ１Ｅｘｔｅｎｓｉｏｎ）、ＬＥ＿Ｗｈｅｒｅ（ｊｌ１Ｅｘｔｅｎｓｉｏｎ）は下記の通りであり、
ｐＬＣ（ｊｌ１Ｅｘｔｅｎｓｉｏｎ）＝ｊｌ１、
ｐＲＣ（ｊｌ１Ｅｘｔｅｎｓｉｏｎ）＝Ｗｈｅｒｅ（ｊｌ１）
ＬＥ＿Ｗｈｅｒｅ（ｊｌ１Ｅｘｔｅｎｓｉｏｎ）＝
Ｗｈｅｒｅ（ｊｌ１）＋（ＮｒＰ−ｒｉｇｈｔＣａｐｔｕｒｅ−１）／ｌｅｆｔＳｔｅｐ （２５）
この場合、下記の通りである。

ｊｌ１Ｓｔｅｐ＝（Ｗｈｅｒｅ（ｊｌ１）−ｊｌ１）／ＮｒＳｅｇｍｅｎｔｓ （２６）
ＬＥ＿ＷｈｅｒｅがＷｈｅｒｅに移った後、ステレオベース拡張のための視差マップを作って、ＬＥとＲＥとの間の全てのＮｒＰ視点を合成するのに利用する（図９参照）。

第２実施例においては、ビューアーの遠隔操作で拡張率Ｆを両方向に調節して、奥行き知覚を各個人に合わせるようにする。

第３実施例においては、拡張率Ｆが下記のように自動で計算される。

過去の研究から、オートステレオスコピック・ディスプレイに現れた画像の最大視差Ｄが所定の限界を越えてはいけないことが明らかになっており、これは、限界を越えて現れた視点を人の脳がこれ以上１つの立体画像に組み合わせることができないためである。

このような最大視差Ｄは、例えば、ディスプレイの解像度や光学素子の光学特性のような様々な変数に依存する。このため、ディスプレイを設計する時には最大視差Ｄを規定しなければならない。奥行き知覚を常に最大にしようとすれば、ディスプレイされた画像の視差Ｄを制限する下限ＤＵと上限ＤＯを決定する。奥行き知覚は、できるだけ大きくなければならないが、上限ＤＯを越えてはいけない。

提供された立体画像の最大視差Ｄｍａｘを知れば、拡張率Ｆは下記のように計算される。

Ｆ：＝（（ＤＯ＋ＤＵ）／２）／Ｄｍａｘ （２７）
提供された立体画像の最大視差Ｄを知らなければ、最大視差は１つの探索過程で全ての視差に対するスキャンを通じて最大視差を予め決定した後、上記のように進行する。

第４実施例においては、前述した方法を立体撮影装置に実現する方法について説明する。

ステレオベース拡張は、立体画像と画像シーケンスをディスプレイする時にのみ適用されない。ステレオカメラを用いた撮影の間、２個の重複配置されたレンズのステレオベースを拡張することも可能である。この場合、レンズが同期化し、ステレオカメラにおいて、例えば、特殊な視差プロセッサによって視差がリアルタイムで決定される。校正、すなわち、立体画像を正常の立体形態で受けることは不要であり、これは、このような校正がカメラを製造する時に既にレンズ補正によって保証されるためである。次に、ズームおよびフォーカスに応じて取った視点と計算された視差を用いた拡張率Ｆでステレオベース拡張がなされる。このため、レンズが３１ｍｍだけ離れていても、画像には常に６５ｍｍ程度の拡張されたステレオベースが存在することになる。したがって、オブジェクトを長くズームインしても奥行き知覚に優れる。

ステレオカメラに奥行きセンサをさらに設ければ、視差を遥かに迅速に計算することができる。この場合、ステレオベース拡張に２つの視点と１つの奥行きマップが使われる。

本発明の方法は、少なくとも１行の立体画像にアクセスする少なくとも１つのプロセッサ、および立体画像、視差マップ、説明されたポインター、全ての変数を有する行ＷｈｅｒｅとＬＥ＿Ｗｈｅｒｅが格納された少なくとも１つのメモリを有する装置で実現されることができる。

ＨＤ解像度を有する立体画像の全ての行を並列に処理しようとすれば、プロセッサが１，０８０個以上であることが理想的である。また、プロセッサごとにローカルメモリを有し、全てのプロセッサが並列にアクセスできる格納装置を有するようにメモリを構成することが好ましい。

最後に、
１．本発明の方法は、立体画像フレームに限定されず、立体画像シーケンスにも適用されることができる。

２．ディスプレイは勿論、対応投影システムもディスプレイ装置として用いることができる。

３．さらにカメラレンズの間隔ＫＡを再度大きく選択しなければならない場合、一度求めた自由度をビジュアルゾーン幅ＳＺの拡張にさらに利用することができる。２ｍ＝２，０００ｍｍのビジュアルゾーン幅は居間や会議室には非現実的な大きさである。２ｍのレンズ間隔ＫＡが非現実的であるため、このようなステレオベース拡張は依然として調整しなければならない。

４．ＬＣとＲＣとの間の連結線の延長部に沿って行われるステレオベース拡張以外の他の形態の延長も選択することができる。例えば、扇形がその一例であるが、これに限定されない。この場合、ＬＣとＲＣとの間の合成された視点と合成された左右側の拡張視点のため、該扇形の内部に中間視点が生じることがある。

５．視差マップでない奥行きマップを利用する場合、奥行きマップを視差を計算する時の予備処理ステップにおいて利用することができる。

６．拡張された視差行ＬＥ＿ＷｈｅｒｅがＷｈｅｒｅに移った後、オートステレオスコピック・ディスプレイ装置ディスプレイを見るのに実際に必要な行の画素だけが生じるように合成された中間視点と拡張視点の生成が行われることができる。このような方法が参考文献［６］に記述されている。この方法の特性は、任意の個数の、特に任意の大きさの中間視点と拡張視点を生成できる能力である。参考文献に記述された方法を疑似ホログラフィック画像合成に適用すれば、カメラ視点の間隔ＫＡが公知または仮定された場合、隣り合う２つの視点の最大間隔が所定の限界εより小さくなるように多数の視点を計算することができる。このため、隣り合う２つの視点の間隔が過度に大きくなって立体画像が破損する危険性が減少する。

［参考文献］
１．Ｌｕｅｓｃｈｅｒ：「ステレオスコピーの基本規則（Ｇｒｕｎｄｒｅｇｅｌｎ ｄｅｒ Ｓｔｅｒｅｏｓｋｏｐｉｅ）」，Ｄｅｒ Ｓｔｅｒｅｏｓｋｏｐｉｋｅｒ，Ｎｒ．５，１９３１年１月１５日，Ｏｒｇａｎ ｄｅｒ Ｇｅｓｅｌｌｓｃｈａｆｔ ｆｕｅｒ Ｓｔｅｒｅｏｓｋｏｐｉｅ ｅ．Ｖ．
２．Ｋｒａｈ，Ｃ．：「３次元ディスプレイシステム（Ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ Ｄｉｓｐｌａｙ Ｓｙｓｔｅｍ）」，ＵＳ／２００６／７８４３４４９
３．Ｔｅｉｋ，Ｏｈら：「奥行きエンコーディングされたソースビューからの３Ｄ画像合成（３Ｄ Ｉｍａｇｅ Ｓｙｎｔｈｅｓｉｓ ｆｒｏｍ Ｄｅｐｔｈ Ｅｎｃｏｄｅｄ Ｓｏｕｒｃｅ Ｖｉｅｗ）」，ＵＳ２００４／０１００４６４
４．Ｈｕａｎｇ Ｈ−Ｃら：「立体ビデオから多重観点ビデオの発生（Ｇｅｎｅｒａｔｉｏｎ ｏｆ Ｍｕｌｔｉｖｉｅｗｐｏｉｎｔ ｖｉｄｅｏ ｆｒｏｍ ｓｔｅｒｅｏｓｃｏｐｉｃ ｖｉｄｅｏ）」，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｏｎｓｕｍｅｒ Ｅｌｅｃｔｒｏｎｉｃｓ，ＮＹ，ＵＳ ｖｏｌ．４５，Ｎｏ．１，１９９９年２月
５．Ｈｅｎｄｒｉｋ Ｅら：「デジタル多重観点立体画像のリアルタイム合成（Ｒｅａｌ ｔｉｍｅ Ｓｙｎｔｈｅｓｉｓ ｏｆ ｄｉｇｉｔａｌ ｍｕｌｔｉ ｖｉｅｗｐｏｉｎｔ ｓｔｅｒｅｏｓｃｏｐｉｃ ｉｍａｇｅｓ）」，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＳＰＩＥ，ＳＰＩＥ，Ｂｅｌｌｉｎｇｈａｍ，ＶＡ，ＵＳ，Ｖｏｌ．３６３９，１９９９年１月，ＸＰ００８０２１８８３
６．Ｋａｍｉｎｓ−Ｎａｓｋｅ，Ｓ．ら：「擬似ホログラフィック画像合成のための方法および装置（Ｖｅｒｆａｈｒｅｎ ｕｎｄ Ｖｏｒｒｉｃｈｔｕｎｇ ｚｕｒ ｐｓｅｕｄｏｈｏｌｏｇｒａｐｈｉｓｃｈｅｎ Ｂｉｌｄｓｙｎｔｈｅｓｅ）」，ＷＯ ２００７／１２１９７０，２００７年１１月１日
７．Ｈｕｍｅｒａ Ｎｏｏｒ：「実場面のビュー外挿による仮想イメージの発生（Ｖｉｒｔｕａｌ Ｉｍａｇｅ Ｇｅｎｅｒａｔｉｏｎ ｂｙ Ｖｉｅｗ Ｅｘｔｒａｐｏｌａｔｉｏｎ ｏｆ Ｒｅａｌ Ｓｃｅｎｅｓ）」，ＭＵＥＴ Ｊｏｕｒｎａｌ，２００８年

Claims (10)

1. 少なくともＮ≧２の視点を有する提供された立体画像からＭ≧２の合成視点を発生するための方法であって、
   少なくとも１つの視点はカメラの注視方向に見る時に最左側に提供されたカメラ視点の左側から発生し、少なくとも１つの視点はカメラの注視方向に見る時に最右側に提供されたカメラ視点の右側から発生し、この時、２つの視点は、左側および右側において最左側と最右側に提供されたカメラ視点の間の連結線の延長部上にあることを特徴とする、合成視点を発生するための方法。
2. 右側および左側マスキングを確認、維持および補完することを特徴とする、請求項１に記載の合成視点を発生するための方法。
3. 前記少なくとも１つの合成視点においては、ディスプレイ装置上にディスプレイされる必要がない少なくとも１つの画素が発生しないことを特徴とする、請求項１または２に記載の合成視点を発生するための方法。
4. 限界εが提供された場合は、隣り合う２つの視点の間隔が前記境界εより小さくなるように前記合成された視点の個数を計算することを特徴とする、請求項１〜３のいずれか一項に記載の合成視点を発生するための方法。
5. 最左側に提供されたカメラ視点と最右側に提供されたカメラ視点の間隔が、最左側合成視点と最右側合成視点の間隔に対して拡張率Ｆだけ拡張されることを特徴とする、請求項１〜４のいずれか一項に記載の合成視点を発生するための方法。
6. 前記拡張率Ｆがビューアーによって両方向に変わることができることを特徴とする、請求項５に記載の合成視点を発生するための方法。
7. 最左側合成視点と最右側合成視点との間に現れる拡張されたレンズ間隔が定められた下限および定められた上限内に置かれるように、前記拡張率Ｆを計算することを特徴とする、請求項５に記載の合成視点を発生するための方法。
8. 第１ステップにおいては、前記提供されたカメラ視点から視差マップを計算することを特徴とする、請求項１〜７のいずれか一項に記載の合成視点を発生するための方法。
9. 第１ステップにおいては、前記提供されたカメラ視点から、そして提供された奥行きマップから視差マップを計算することを特徴とする、請求項１〜８のいずれか一項に記載の合成視点を発生するための方法。
10. 合成視点を計算するための少なくとも１つの処理ユニット、および前記提供されたカメラ視点と前記合成された視点が格納される少なくとも１つのメモリユニットからなり、請求項１〜９のいずれか一項に記載の方法を実施するための、Ｍ≧２の合成視点を発生するための装置。

Images