JP2006520921A

JP2006520921A - ３次元ディスプレイ用自動立体視再現システム

Info

Publication number: JP2006520921A
Application number: JP2006504261A
Authority: JP
Inventors: シーグベルトヘントシュケ
Original assignee: シーグベルトヘントシュケ
Priority date: 2003-03-12
Filing date: 2004-03-12
Publication date: 2006-09-14
Also published as: EP1602243A2; US7839430B2; WO2004081863A3; US20060170764A1; WO2004081863A2

Abstract

ここには、３次元（３Ｄ）画像またはシーンを生成する位置適応自動立体視３次元再現システムであって、カラーサブピクセル（Ｒ、Ｇ、Ｂ）が並列に置かれているフラット画像スクリーン（１）と、ラスタスクリーン（２）と、符号化ユニット（６、９）と、パースペクティブ画像(perspective image)を生成するプロセッサユニット（３）と、を備えている位置適応自動立体視３次元再現システムが開示されている。本発明によれば、符号化ユニット（６、９）は制御可能であり、ラスタスクリーン（２）は、第１と第２の相互にインタレースされたサブピクセルストリップが画像スクリーン（１）上に現れるように寸法化されて配列され、これらのサブピクセルストリップから第１と第２の画像ストリップが生成され、これらは、観察者の両方の目には、画像スクリーン（１）の前面における定義された観察領域ではばらばらになっているように見えることにより、一定シーケンスのサブピクセルのカラーが第１（第２）のサブピクセルストリップに維持されている（図１）。

Description

本発明は、請求項１の非特徴部分に記載された自動立体視再現システム(autostereoscopic reproduction system)に関する。

従来の２次元表現に比べて、３次元表現は、自然のビジュアル知覚により近づいている。自然さの程度は、自動立体視の位置適応表現によってさらに向上することが可能になっている。この目的のために、種々の自動立体視イメージング方法が開発されており、これらの方法は、異なるサブピクセル適応が必要とされる、右と左のイメージング方法を光学的に分離するためにバリアマスク(barrier mask)、レンチキュララスタマスク(lenticular raster mask)またはプリズムラスタマスク(prismatic raster mask)を使用している。３Ｄ（３次元）アニメーション、対話型ゲームおよびベクトルフォーマットのフィルムに必要とされるこれらの表現をＰＣ上で、リアルタイムで作成することは、立体視フィルムや投影手法(projection technique)が数年前から使用されているとしても、これまで満足には達成可能になっていない。これらは、左と右の画像を分離するために、例えば、偏光(polarized light)（水平／垂直または円形）を使用している。ＬＣＤ技術が技術的に進歩したため、結晶の不透明を電子的に制御することが可能になっている。この結果、ペアのスペクタクルの右と左のレンズが、画像周波数の半分で同期的におよび画像周波数と同期的に交互に不透明になるようにし、右と左の画像が画像スクリーン上に順次に現れるようにするシャッタ技術の開発が可能になった。この方法は、自動立体視シャッタモニタによっても使用されている。

この数年間、ＴＦＴディスプレイを備えた自動立体視再現システムも使用されているが、このシステムは、画像スクリーン上の右と左の画像を水平方向に多重化して発生し、空間的に分離された投影方向を、ラスタスクリーンを介して作成している（ドイツ国特許出願第DE-A-41 14 023号明細書、米国特許第6 307 585号明細書、ドイツ国特許出願第DE-A-198 27 590号明細書、ドイツ国特許出願第DE198 22 342号明細書、Van Berkel著「Image for 3-D LCD（3-D LCD用画像）」Philips Research Laboratories, UK, SPIE vol. 3639, 1999, pp. 84-91）。このタイプの再現システムは、ヘッドトラッカ(head-tracker)を使用して位置適応に設計することも可能になっている（米国特許第6 307 585号明細書、Andiel, Hentschke他著「Eye-tracking for autostereoscopic displays using web cams（ウェブカムを使用した自動立体視ディスプレイのアイトラッキング）」SPIE Vol. 4660, 2002, pp. 200-206）。

前述したタイプの公知再現システム（ヨーロッパ特許出願第0 836 332 A2号明細書PAM）では、３つのサブピクセル（Ｒ、Ｇ、Ｂ）から形成された画像スクリーンの個別的画像ピクセルは、右と左の画像ストリップ信号を使用してラインごとに符号化ユニット(coding unit)によって制御され、各ラインにおいて右と左のサブピクセルストリップが交互に形成されるようにし、これらのサブピクセルストリップは、以下で説明するように、左と右の画像を水平方向に「多重化(multiplexing)」または「インタレース(interlacing)」することによって、左と右に割り当てられた画像ストリップを作成するために使用されている。さらに、プリズムまたはレンチキュラ(lenticular)ラスタスクリーンの形をしたラスタスクリーン（raster screen）は画像スクリーンの前面の位置に置かれ、３Ｄ画像に要求される左と右の画像への右と左の観察方向を、それぞれ含んでいる画像スクリーンの前面における定義された観察領域に対する右と左の画像ストリップを１つにまとめるようにしている。右と左の画像を確実に分離するために、これらのサブピクセルは暗く(dark)セットされ、空の領域またはオーバラップ領域に収められている。ここで、空の領域には、両方の観察方向から目に見えないサブピクセルが収められ、オーバラップ領域には、両方の観察方向から同時に目に見えるサブピクセルが収められている。さらに、右の観察方向からのみまたは左の観察方向からのみ目に見えるサブピクセルの制御は、右または左の各サブピクセルストリップが、正確に３つの異なるカラーピクセルをサイドバイサイドにもつように制御されている。

上記制御方法では、水平方向、つまり、ライン方向の個別サブピクセルのシーケンスは、例えば、ヘッドトラッカ(head tracker)やアイトラッカ(eye tracker)などの、自動立体視位置検出器によって符号化ユニットに通知されるそれぞれの観察者の位置に特に依存している。そのために、選択されたサブピクセルストリップ内のサブピクセルのシーケンスが、例えば、ＲＧＢであり、その左または右に隣接して置かれているサブピクセルストリップ内では、例えば、ＲＧＢまたはＢＲＧであることが起こる可能性がある。その結果、例えば、サブピクセルストリップＢＲＧがサブピクセルストリップＲＧＢのあとに続く場合には、２サブピクセルストリップの境界に同じカラーが現れるカラー欠陥の原因となる未解決の問題が発生している。

以上に述べたことに基づいて、本発明は、上述したタイプのカラー欠陥を防止するように上述したタイプの３Ｄ再現システムを改善することを技術的課題としている。それにもかわらず、この再現システムは、リアルタイムで、しかも少なくとも写真品質に近い解像度で作動できることが要求されている。

上記目的は、請求項１に記載の特徴を備えた自動立体視再現システムによって達成されている。

本発明には、空間的に多重化されたサブピクセル表現が位置検出器によって適応化される場合であっても、右と左の画像を確実に分離することが可能であるという利点がある。右と左の画像を分離するために使用されるラスタスクリーンは、関係する画像スクリーンの前面に小間隔で装着される、単純なレンチキュラ(lenticular)またはバリア(barrier)ラスタスクリーンにすることができる。空間的に分離すると水平方向に引き起こされる解像度の損失は、特殊な記録デバイスによって大幅に回復させることが可能である。

本発明のその他の利点のある特徴は従属請求項に記載されているとおりである。

図１と図２は、画像やシーンを含んでいる３Ｄ（３次元）表現の、本発明による再現システムを示す概略図である。この再現システムは、特に、フラット画像スクリーン１（ＴＦＴまたはプラズマスクリーン）を含み、その前面には、ここではレンチキュララスタスクリーン(lenticular raster screen)として設計されたラスタスクリーン２が配置されている。図２に示すように、画像スクリーン１は、隣り合う位置に置かれた複数の画像ピクセル、例えば、1024乃至1920個の画像ピクセルを含み、その各々はカラーがレッド（＝Ｒ）、グリーン（＝Ｇ）およびブルー（＝Ｂ）の３個のカラーサブピクセルから構成され、これらは複数の（水平）ライン、例えば、768乃至1200ライン内に並列に置かれている。各画像ピックセル内では、サブピクセルのシーケンスは、例えば、常に同じＲＧＢになっている。

プロセッサユニット３は３Ｄ表現を生成する目的に使用され、例えば、画像、シーンなどの電気信号がカメラなどからリアルタイムでそこに送られるストアを備えたグラフィックスカードを含んでいる。別の方法として、これらの信号は大容量ストレージデバイスから得て、絶えず更新させることも可能である。また、画像は、例えば、ポイント形式のような別の形式でカード上にストアしておくことも可能である。

右と左の画像信号は、図１に長方形で図示され、それぞれが、例えば、右と左のストアにストアされている右と左の画像４と５に対して、プロセッサユニット３によってオリジナルサイズで、およびピクセル形体で生成される。これらの画像信号は、次に、ブロック６に送られ、各々は画像スクリーン幅に対して、オリジナルサイズの１／３に、特に、後にラスタスクリーン２によって再び伸張されるときと同じプロポーションで圧縮される。このようにして、別の長方形で示されている狭い右と左の画像７と８に対する画像信号が得られる。さらに、画像信号は、以下で説明するように、ＨＲフィルタリングと略称した別の処理をブロック６で受ける。

圧縮画像７と８の信号は別のブロック９に入力され、そこでこれらの信号は右と左の画像ストリップ１０と１１の信号に分割される。画像ストリップ信号の計算は、好ましくは、適応的に、つまり、観察者が画像スクリーンの前のどこにいるかに応じて行われ、その目的のためには、特に、各動きの後に続く画像スクリーン上の画像ストリップ１０と１１のそれぞれの開始位置を新たにかつ正確に判断する必要がある。さらに、画像ストリップ信号はブロック９でインタレースまたは多重化され、関連画像ストリップ１０、１１が図１に示すようにライン方向に交互に現れ、他方、カラム方向（垂直方向）では、例えば、連続して現れるようにする。右と左の画像１０、１１を表す信号は、最後に代表的なインタフェース１２を介して、画像スクリーン１を備えたモニタなどに入力される。

画像ストリップ信号の計算が適応的に行われるようにするために、例えば、アイトラッカ(eye tracker)１４が観察者に割り当てられ、その信号はプロセッサユニット３と、全体的に符号化ユニットとして以下に示しているブロック６と９を含むデバイスとに入力される。さらに、図１の再現システムは、通常のように、３Ｄマウス１５、入力制御システム１６、３Ｄライブラリ１７、および可能ならば、個人別調整用の調整デバイス１８を備えている。

図２は、図１のフラット画像スクリーン１のいくつかのサブピクセルを上部に示す概略図であり、これらのサブピクセルは、参照記号Ｒ（＝レッド）、Ｇ（＝グリーン）およびＢ（＝ブルー）で示されており、そこでは、これらの３サブピクセルＲ、Ｇ、Ｂは、各画像ピクセルにおいて左から右に向かって、例えば、ＲＧＢ−ＲＧＢなどのように、常に同じシーケンスになっている。また、図２に示すように、画像スクリーン１を表すサブピクセルの前面には、断面図で示すレンチキュララスタスクリーン２０が配置され、このスクリーン２０はガラスペイン(glass pane)２１と垂直方向に延びた複数の隣り合う円筒レンズ（例えば、数百個）を備え、これらの円筒レンズは、例えば、観察者に面するガラスペイン２１の幅広側に装着されている。なお、図２には、そのうちの２円筒レンズ２２ａと２２ｂだけが示されている。最後に、図２には、観察者の右目と左目２３、２４から始まる光線路(optical ray path)が概略図で示されている。

本発明によれば、レンチキュララスタスクリーン２０は、サブピクセルＲ、Ｇ、Ｂによって画像スクリーン１の選択された領域に生成された少なくとも右と左の画像ストリップが、観察者にはオーバラップしていないで、ばらばらになっているように見えるように寸法化されて配列され、右（左）のサブピクセルストリップからそれぞれの先行または後続の右（左）のサブピクセルストリップに移るときのカラーのシーケンスは常に不変に継続している。このことは、例えば、図２に示されている。ここでは、右と左のサブピクセルストリップ２５ａ、２５ｂと２６ａ、２６ｂは交互に形成され、その各々は６個のサブピクセルＲ、Ｇ、Ｂを含み、右サブピクセルストリップ２５ａは左側ではグリーンサブピクセルから始まり、右側ではレッドサブピクセルで終わっており、次の右サブピクセルピクセル２５ｂも、左側ではグリーンサブピクセルから始まり、右側ではレッドサブピクセルで終わり、２ピクセルストリップにわたって見たとき、カラーシーケンスＧ、Ｂ、Ｒが常に左から右に連続して維持されるようになっている。従って、左サブピクセルストリップ２６ａ、２６ｂでは、カラーシーケンスＧＢＲ、ＧＢＲも、左から右に見たとき、全体にわたって生成される。

図２の右と左の両方のサブピクセルストリップ２５、２６の隣り合うサブピクセルの数がカラー数の整数倍またはピクセル幅の整数倍に一致していて、ピクセルストリップ２５、２６が中間スペースなしに相互に隣接しているときは、右（左）のサブピクセルストリップ２５、２６は自動的に相互から分離されるので、中間スペース、つまり、右（左）のサブピクセルストリップの一方の側端（例えば、図２の２６ｃ）とライン方向に先行および／または後続の右（左）のサブピクセルストリップの面する側端（例えば、図２の２６ｄ）の間のビジュアルジャンプ(visual jump)は、画像ピクセル（または既存のピクセルカラー数）の整数倍に正確に一致している。しかし、右と左のサブピクセルストリップが相互に直接に境界をなしていると、ラスタスクリーン２０の位置が不正確で、観察者が若干動くと、画像欠陥の原因になるので、ここでは好ましくない。従って、本発明のさらなる開発では、サブピクセルストリップ２５、２６の間に別のサブピクセルＲ、Ｇ、Ｂを設けることが提案されている。図２に示すように、サブピクセルストリップ２５ａと２６ａまたは２６ａと２５ｂまたは２５ｂと２６ｂの間には、それぞれ３つの追加サブピクセル２７ａ、２７ｂまたは２７ｃが置かれている。これらの追加サブピクセル２７は、一方では、サブピクセルストリップ２５の空間的分離を向上するのに役立ち、他方では、以下で詳しく説明するように、画像欠陥を引き起こすことなく、観察者による限定的ヘッドの動きを可能にするのに役立っている。後者が該当するのは、特に、追加サブピクセル２７の数が、本発明によれば、ピクセル幅または利用可能なカラー（ここでは３カラー）の整数倍に一致している場合である。この場合も、サブピクセルストリップ２５、２６ごとにサブピクセルがいくつ存在するかは重要でない。各サブピクセルストリップ２５、２６が、例えば、サイドバイサイドに７つのサブピクセルＲ、ＧおよびＢを含んでいるとすれば、例えば、ストリップ２５ａは、左から右にカラーシーケンスＧＢＲＧＢＲをもつことになるので、サブピクセルストリップ２５ｂは、間断なく継続してカラーシーケンスＢＲＧＢＲＧＢをもつことになる。

また、図２に示すように、符号化ユニット６、９は制御可能であり、ラスタスクリーン２０は、少なくとも、画像スクリーン１の選択された領域に生成された左と右の画像ストリップ、例えば、２８と２９が観察者にオーバラップなしで見えるように寸法化され、配置されている。図２から明らかであるように、右の画像ストリップ２８は右のサブピクセルストリップ２５によって生成され、左の画像ストリップ２９は左のサブピクセルストリップ２６によって生成され、右と左のすべての画像ストリップ２８と２９（図２には２つだけが示されている）は、ラスタスクリーン２０によって１つにまとめられて右目と左目２３、２４の右と左の画像が得られるので、空間的知覚が可能になり、ブロック６（図１）での以前の圧縮に対応する画像の伸張は、ラスタスクリーン２０によって行われることになる。

図３は、サブピクセルがないことを除き、図２の表現にほぼ対応する単純化表現を示しているが、そこでは、サブピクセルストリップによって生成された２つの右画像ストリップ２８ａ、２８ｂと２つの左画像ストリップ２９ａと２９ｂはレンチキュララスタスクリーン２０によって１つにマージされて右と左の画像が得られている。図３から明らかであるように、特に、相互に向き合う右と左の画像ストリップ２８ａ、２８ｂと２９ａ、２９ｂの端間の上述した分離は、ビジュアルジャンプ３０、３１として認識可能であり、その各々は、１ピクセル幅の整数倍の幅（ここでは、＝３サブピクセル幅）になっている。

図４に示す実施形態が図２と図３に示す実施形態と異なっている点は、ここでは、画像スクリーン側に面する側に円筒レンズ３４を備えているレンチキュララスタスクリーン３３のレンズ幅またはピッチ分離(pitch separation)が２サブピクセルＲ、ＧまたはＢの幅にほぼ一致していることである。この実施形態の場合も、符号化ユニット６、９は、少なくとも、画像スクリーンの選択された領域に生成された右と左の画像ストリップが、観察者にはオーバラップしていないように見え、右（左）のサブピクセルストリップ３５ａ、３５ｂ、３５ｃまたは３６ａ、３６ｂ、３６ｃ内の一定シーケンスのサブピクセルカラーが得られるように制御され、ラスタスクリーン３３もそのように寸法化され、配置されている。図２および図３と異なり、各サブピクセルストリップ３５、３６は１サブピクセルの幅になっており、インタレーシングは、右のピクセルストリップ３５が左のサブピクセルストリップ３６から分離され、間隔が置かれるように行われる。従って、レンチキュララスタスクリーン３３によって１つにまとめられて、右画像と左画像になる関連画像ストリップ３７と３８は、同じようにインタレースされ、多重化されているように見える。

ラスタスクリーン２０、３３と画像スクリーン１の間には、保護フォイル(foil)３９（図２）または４０（図４）を置くことが可能である。

図２および図３とは対照的に、ラスタスクリーン３３を使用したときの空間表現の観察に欠陥が生じないのは、観察者が画像スクリーン１に対して、ラスタスクリーン３３の位置と形体によってあらかじめ決められた不動位置にいるときだけである。

この固定配置を避けるためには、常に望ましいとは限らないが、ラスタスクリーン３３を画像スクリーン１に対して矢印ｖおよび／またはｗの方向に移動可能に配置すると、観察者によるヘッドのどのような動きにも追従することが可能になる。

図５と図６は、図２、３および４に対応する３Ｄ再現システムの本発明による実施形態を示したもので、そこでは、交互の透明（垂直に配列された）ストリップまたはスリット４３（図５）または４４（図６）と、その間に配置された不透明バリアストリップ４５（図５）または４６（図６）（ブラックで示されている）を有するラスタスクリーン４１または４２が使用されている。

光線路に関しては、図５に示す実施形態の場合も、図２と図３に示す実施形態の場合の光線路とほぼ同じである。各透明ストリップ４３は、ここでは、３サブピクセルの幅に一致する幅を有している。ラスタスクリーン４１は、監視者の目２３、２４の各々が画像ストリップ４７，４８を見て、３サブピクセルの幅を持つサブピクセルストリップ４９，５０が生成されるように、およびこれらのサブピクセルストリップ５１、５２の間には、どの場合も、バリアストリップ４５によって覆われた、さらに別の不可視サブピクセル５１、５２が置かれるように寸法化され、画像スクリーン１の前面に配置されている。これらの別サブピクセル全体は、全体にわたって連続のカラー遷移が得られるように１画像ピクセルの整数倍に相当する幅になっている。

サブピクセルの制御は、図５には図示していないが、右と左のサブピクセルストリップ４９、５０が交互になるように図２および図３と同じように行われる。矢印５３方向への観察者の横の動きは制限されているので、観察者に見えるサブピクセルが矢印５４方向に移動することが阻止されることになる。アイトラッカ１４などによって制御される符号化ユニット６、９は、これらの変化を自動的に考慮し、ピクチャによれば、観察者の瞬時の位置に応じて、透明ストリップ４３を通して現在見えているサブピクセルを常に制御するように構成されている。

図６に示す実施形態では、本発明によれば、図４に示す実施形態の場合とほぼ同じ光線路が設けられている。ラスタスクリーン４２は、２サブピクセルの幅にほぼ相当するピッチを有し、各透明スリット４４はほぼサブピクセルの幅になっている。図４と同じように、ラスタスクリーン４２は、従って、サブピクセルＲ、ＧおよびＢが、右目または左目に対して右と左のオーバラップのない画像ストリップ５５、５６を交互に生成するように寸法化され、配置されている。図５とは対照的に、観察者が画像スクリーン１の前面のあらかじめ決めた位置にいるか、あるいは図４と同じように、ラスタスクリーン４２が画像スクリーンに対して移動不能に配置されている場合に限り、欠陥のない画像が得られる。

図７と図８は、図２と図３に示す実施形態を使用したときの、本発明によるサブシステムの制御を示す概略図である。欠陥がなく、大幅に損失のない右と左の画像を生成するために、観察者のヘッドが動いた場合でも、隣接サブピクセルストリップの間の中間スペースに置かれているサブピクセル（各々の場合、３サブピクセルＲ、ＧおよびＢ）は、画像情報の予備として使用される。このことは、当然に理解されるように、例えば、図２に図示の観察方向からは見えないサブピクセルは、先行または後続サブピクセルストリップの最後のサブピクセルにも対応する画像信号を使用して制御されることを意味している。

図７に示す例では、上部セクションに複数の画像ポイントが、下部セクションに画像スクリーン１の複数のサブピクセルが示されており、そこでは、画像ポイントは右側の圧縮画像では６４乃至７８の番号が付けられ、左側の圧縮画像では８３乃至１００の番号が付けられている。これとは対照的に、画像スクリーン１の関連ラインに対するサブピクセルは１から３７までの連続番号が付けられている。上述したように、各ピクセルストリップは６個の可視サブピクセルを含み、その後に３個の不可視サブピクセルが続いている。このことは、例えば、図７において、特定の観察角度では、サブピクセル１乃至６と１９乃至２４の各々は右サブピクセルストリップ（図７中=SPS.R）を含み、サブピクセル７乃至９と２５乃至２７は隣接する不可視予備サブピクセルストリップを形成することを意味している。従って、サブピクセル１０乃至１５と２８乃至３３は左サブピクセルストリップ（図７中SPS.L）を形成し、残余のサブピクセル１６乃至１８と３４乃至３６の各々は不可視予備サブピクセルストリップを含んでいる。矢印で図示するように、可視サブピクセル１乃至６と１９乃至２４は画像ポイント６４乃至６９または７０乃至７５からの情報を使用して制御される。同時に、画像ポイント７０乃至７２からの情報は不可視サブピクセル７乃至９にもコピーされ、画像ポイント７６乃至７８からの情報は不可視サブピクセル２５乃至２７にもコピーされる。同様のコピープロシージャは、図７に明確に示すように左側画像に対しても行われる。

上述した方法で、特定の画像ポイントを不可視サブピクセル７乃至９と２５乃至２７にさらにコピーすると、観察者が正確に１ピクセル幅だけヘッドを動かし、その結果、例えば、サブピクセル２乃至７と２０乃至２５が見えるようになった場合、観察者は画像ポイント６５乃至７０と７１乃至７６からの情報を受け取ることになる。さらに、１サブピクセルだけ移動すると、観察者には、例えば、サブピクセル３乃至８と２１乃至２６が見えるので、画像ポイント６６乃至７１または７２乃至７７の情報を受け取ることになる。左目に入力される情報の場合も、左への動きまたは画像スクリーンに直交する動きの場合も同様である。この意味で重要なことは、この例において、観察者が、例えば、画像ポイント７０乃至７５、７１乃至７６、７２乃至７７などからの情報を連続的にかつどのようなカラージャンプもなしで受け取ることであり、従って、この例において、最大３サブピクセルまでの一方または他方の側へのヘッドの動きは、問題なくかつ品質の損失なしで補償できることである。そのために、ラスタスクリーンが画像スクリーンに対して不正確に並置されていると起こる誤差を補正できるという利点のほかに、サブピクセルストリップの端では、後続または先行サブピクセルストリップ内の部分的に見えるサブピクセルだけが１つの全サブピクセルを形成するように完成されるという利点も得られる。この結果、ピクチャまたはカラー情報が損失することから防止される。

さらに、観察者によるヘッドの動きは、アイトラッカ１４または類似手段を通してプロセッサユニット３と符号化ユニット６、９に絶えず適当に通知され、大きな動きについては即時に新計算が行われ、それぞれの観察者位置ついて画像信号が再計算されるようにしている。これについては以下で説明する。このことは、観察者が画像スクリーン１からどれだけ離れているか、および異なるピッチ分離と偶数番号から外れているピッチ分離、つまり、例えば、サブピクセルの非整数倍に相当するため量子化する必要のあるピッチ分離に依存することを意味している。例えば、観察者が任意の位置にいるとき、その結果のピッチが9.2であれば、小数点以下の無視すべき余りが合計で１サブピクセルに近似するまで整数のピッチ値9.0に基づいて最初に計算が行われる。この計算は、１０サブピクセルのピッチでは一度だけ継続され、平均的に全スクリーン幅にわたって、必要なピッチとして常に9.2が得られる。高速コンピュータを使用すると、コピープロシージャで必要になる計算を含む、これらのすべての計算は、リアルタイプで実行することができる。

本発明による位置適応の高解像度自動立体視再現システムＰＡＲＳＣは、公知の位置適応自動立体視モニタＰＡＭ（米国特許第6 307 585号明細書）をさらに開発したものである。このシステムに比べて、本発明は柔軟性、リアルタイム能力および解像度を向上している。柔軟性は、例えば、符号化ユニット６、９の初期化時に、右と左の画像がどのように生成され、インタレースされるか、つまり、サブピクセルはどのように水平方向に多重化されるべきか、に関するユニークな統計情報が送信されるような形で向上されている。これについては、以下で説明する。

上述した再現システムを使用すると、本発明によれば、以下に示すシステムオペレーション設定値が得られ、これらはスイッチオン・オフが可能であり、個別的にも、組み合わせでも使用することができる。

（Ｓ１）アンダーサンプリングインタレース(undersampled interlace)
（Ｓ２）圧縮および伸張フィルタリング(compression and expansion filtering)
（Ｓ３）バリアインタレース(barrier interlace)
（Ｓ４）位置適応(position adaptation)
（Ｓ５）レンチキュララスタインタレース(lenticular raster interlace)
（Ｓ６）高解像度フィルタリング(high-resolution filtering)。

上記の６基本設定値は以下で詳しく説明する。

（Ｓ１）：アンダーサンプリングによるインタレースとは、右と左の画像からは、それぞれのサブピクセルまたは画像スクリーン上で駆動されるそれぞれの生成画像ストリップの位置に置かれるのは、常に、ストリップ単位でピックアップされるピクセルまたはサブピクセルだけであることを意味する。これらのピックアップされたストリップは空間的に多重化されてスクリーン上に表現される。このことは、両方の画像の未使用ストリップは表示されないので、情報が未使用ストリップ中にあるため、紛失すると起こる「エイリアシング(aliasing)」誤差を引き起こす可能性があることを意味している。例えば、垂直ラインが部分的画像の、そのような未使用ストリップ内に位置していると、再現された画像では見えないことになる。しかし、状況によっては、観察者がヘッドをサイドに動かすと、適応システムでは再表示されることがある。このような現象は、「モアレ効果(Moire effect)」とも呼ばれている。この効果はアンダーサンプリングでは常に発生するので、望ましくない。しかし、アンダーサンプリングインタレーシング(undersampled interlacing)の利点は、通常のグラフィックスカードでは特に簡単にかつ高速に実行することができる点にあり、そこでは左と右画像ストアが使用され、右と左画像ストリップは単純なスイッチを使用して実現されている。このことは、必要とされるすべての制御操作がリアルタイプで実行できることを意味している。

（Ｓ２）：（Ｓ２）バージョンはエイリアシング誤差を回避しているが、水平方向にローパスフィルタリングを行うため、水平方向の画像の鮮鋭度(sharpness)が劣っている。このフィルタリングを行うと、例えば、１ピクセル幅だけ垂直ラインが広くなるという効果が得られる。このオペレーションをローパス圧縮フィルタリングとして行うと、画像がインタレーシングに必要な比率に、例えば、１／３に水平方向に縮小される。インタレーシングに必要なサブピクセルは、両方の圧縮画像から直接に取り出され、画像スクリーン上にコピーされる。しかし、圧縮画像は、フィルタによってオリジナルの幅に伸張した後で、（Ｓ１）に従ってインタレースさせることも可能である。これの利点は、画像からのすべての情報が使用されることである。これは圧縮された後、狭いストリップに割り振られるので、オリジナル画像は、例えば、半分の幅で現れることになる。従って、連続画像は情報が失われないという利点がある反面、鮮鋭度が減少するという欠点がある。

以下は、ローパスフィルタの適当な係数を示したものである。

次のコサインフィルタ(cosine filter)の方が若干有利である。

ただし、

PO(f,1)ならば、右側または左側のオリジナル画像のラインのカラーピクセルは、個別カラー値R_O(i) = P₀(0, i)、G₀(i) = P₀(1, i)およびB₀(i) = P₀(2, i)になっているｉ番目のカラムに置かれている。この場合、圧縮フィルタリングは、次のようにピクセルごとに行うことができる。

インタレーシングが（Ｓ１）に従って行われる場合は、ローパスフィルタリングは圧縮なしで行うことができる。

圧縮画像からは、フィルタ係数C_F(i) = C_TF/A=cos³(πi/6)を使用して逆の伸張フィルタリングを行うと、ピクセルP_TP’(f, i)をもつローパスフィルタリングされた画像が得られる。ゼロにセットされたピクセル値P_TP’(f, i)=0から始まって、次のオペレーションが行われる。

必要とされるゼロまたは強調(enhancement)への設定については、ここで詳しく検討することは省略する。

（Ｓ３）：バリアインタレーシングは、図５と図６に基づいて簡単に前述した。

バリアラスタスクリーン４１、４２の垂直スリット４３、４４によって、ばらばらのストリップは右目と左目２３、２４では画像スクリーン上で見えるようにされる。画像スクリーン上のｉ番目の可視ストリップを覆っているサブピクセルは、右または左の圧縮画像のｉピクセルの右または左ピクセル値で埋め込まれている。バリアラスタスクリーン内のスリットは、３サブピクセルＲ、Ｇ、Ｂなど（図５）または１サブピクセル（図６）とほぼ同じ幅になっている。

画像スクリーン上で右または左の可視ストリップに属しているサブピクセル番号またはカラーを得るために、これらのストリップの正確な開始位置が計算される。例えば、図２と図７の光線路に従っておよび図８に示すように、最初の右側ストリップは位置startRから始まり、左側ストリップはstartLから始まっている。次に、ｉ番目のストリップは、画像スクリーンのピッチのｉ番目の倍数であるiscpitchだけ右に移動して開始される。Kr_SPB(i)とKl_SPB(i)が０から始まる、画像スクリーン上のサブピクセル番号であり、spsizeが１サブピクセルの幅であれば、右と左のｉ番目ストリップは次の番号から始まる。

ここで、int{}は、有理数の整数部分を表す整数関数である。

この場合、ｉ番目の右側ストリップは、Kr_SPB(i) - Kl_SPB(i)サブピクセルを含んでいる。右側圧縮画像のｉ番目ピクセルの値F_Fr(i)、G_Fr(i)、B_Fr(i)はカラーを写実するようにこれらのサブピクセルにコピーされる。左側ストリップについても、同じプロシージャが実行される。

原則的に、ピクセルのサブピクセルのカラーは、レッドR(2)、グリーンG(3)、ブルーB(4)のシーケンスになっている。画像スクリーン上のサブピクセルの数から、そのカラーはmodule-3関数を通して得られる。

このタイプの（Ｓ３）による固定インタレースでは、原則として、３つの固定位置から満足な３Ｄビジョンが得られるようになっている。しかし、このインタレースオペレーションは、変化する観察者の位置に対する急速な適応が可能になるように高速に変更することができる。しかし、このタイプの適応解決では、ヘッドトラッカまたはアイトラッカが必要になる（図１）。

（Ｓ４）：位置適応は、観察者が急激な動きをした場合でも、画像に属する正しいサブピクセルを画像スクリーン１から正確に見つけるという前記目的に役立っている。この位置適応について、以下図７と図８を参照して例を示しながら説明するが、そこでは、図２でも使用されている参照記号に加えて略語が用いられている。矢印のヘッドは、画像スクリーン１上の特定の位置を指している。符号化ユニット６、９では、”Start”の記号が意味するように、正確な開始位置が計算され、そこから個別的サブピクセルへの割り当てが開始される。観察者の位置に応じて、矢印のヘッドは”Start”から右または左にさまようことがある。矢印があるサブピクセルから隣接サブピクセルにジャンプすると、以下で説明するように（図７も参照）、サブピクセルストリップまたはそれによって得られた画像ストリップへのサブピクセルの対応する変更割り当てが行われる。

観察者の位置は、ベクトルＯＰ（観察者の位置）またはＯＰ（ｘ）、ＯＰ（ｙ）、ＯＰ（ｚ）で識別される。大部分のＴＦＴ画像スクリーンは左下隅から画像構築と記憶を開始する。従って、相対座標系の起点は画像スクリーンの左下隅に置かれている。ｘ方向は右に向かう水平方向であり、ｙ方向は画像スクリーン上の上に向かう方向であり、ｚ方向は画像スクリーンに直交して前方に進む方向である。従って、画像スクリーンからの観察者の分離はＯｐ（ｚ）と同じである。画像のインタレーシングについては、両眼の平均位置がわかれば十分であり、画像スクリーンの前面のラスタマスクが標準位置ＯＰ０から離れている理想的分離についても、観察者の目の分離、つまり、（数３９）がわかれば十分である。観察者の標準または開始座標はOP(x0)、OP(y0)、OP(z0)として示される。画像スクリーンＲＳＤからのラスタマスクの最も好都合な分離は、ラスタマスクピッチrmpitchから判断される。

この分離は、連続位置適応では一定になっている。観察者位置から、マスクピッチは画像スクリーンまで若干大きくなり、画像スクリーンピッチscpitch(screenpitch)が得られる。従って、可変画像スクリーンピッチは次のとおりである。

従って、画像スクリーン上の第１可視右側ストリップの開始位置も、観察者位置に依存している。

左目については、

前記において、Ｋ０は、負のサブピクセル位置を避けるために、startrが正であるときの最小整数という意味である。

右と左の間の十分な分離を確保するために（定義された観察者位置における）、可視ストリップ（例えば、図２中の２５と２６）の間に不可視ストリップ（例えば、図３中の２７）が設けられている。これらのストリップ２７では、表現は自由のままになっている。右または左へのフレキシブルな割り振りは、観察者の動きの予測に基づいて以下に説明されている。これの前提条件は、初期状態では、使用不能なストリップの中間分布である。つまり、インタレーシングは、目の中間位置に向かう方向であるので、予測される分離の変化は考慮されない。このことから、中間開始位置は次のように求められる。

ｉ＝０から始まるｉ番目ストリップについては、ストリップ開始サブピクセルの後続番号は次のように求められる。

インタレースされたストリップの開始サブピクセル位置を適応計算するためには、新フレームごとに、２つの変数が必要であり、これらの変数は毎秒１００回まで更新させる必要がある。これらの２変数について最大許容値がセットされた場合は、必要な精度はサブピクセルの幅に基づいて適応させることができる。このことから明らかであるように、”start”から８ビット＝１バイトまでと”scpitch”から１６ビット＝２バイトまでの値を量子化することで十分である。このことは、最小更新データフローが約300バイト／秒であることを意味している。

上述した位置適応は、レンチキュララスタスクリーン２１、３３（図２と図４）を使用した場合にも、バリアラスタスクリーン４１、４２（図５と図６）を使用した場合にも応用可能である。

（Ｓ５）：レンチキュララスタスクリーン２１と３３（図２と図４）を使用した場合のインタレーシングは図７に示されている。上部のラインは圧縮済みの右と左の画像を示している。

レンチキュララスタスクリーンを使用した場合の光線路は図２乃至図４に示されている。バリアラスタスクリーン（図５と図６）と比較するとわかるように、類似の右と左ストリップと不可視領域が形成されているが、目に煩わしいストライプのない連続右と左画像が形成されている。輝度も吸収されていない。画像スクリーン上の右と左のストリップのサブピクセルの開始位置を判断するために、同じアルゴリズムが式（１５）と（１６）に従って使用される。より大きな水平解像度を達成するために、個別サブピクセルは、ストリップ内のサブピクセルのシーケンスを変更することなく、圧縮画像から用意されたストリップ内にコピーされる。ストリップ領域内の圧縮画像をカラーに写実のインタレーシングコピーを行うには、画像スクリーン上の右と左のストリップ内のそれぞれの開始サブピクセルへの圧縮画像内の割り当て開始サブピクセルの追加計算が必要になる。ここでは、ラスタスクリーンのレンチキュラプロファイル(lenticular profile)は、最初のサブピクセルがそこで終了するサブピクセルカラーにおける後続レンズで画像が継続するように計算される。２サブピクセルの間で直接に若干の変化が起こった場合は、後続レンズは後続カラーから始まる。つまり、ＲのあとにＧが、ＧのあとにＢが、ＢのあとにＲが来るようになっている。この割り振りは次のアルゴリズムによって保証される。圧縮右側画像で使用可能な最初のサブピクセルは、画像スクリーン上の最初の右側ストリップの開始ピクセルのカラーをもつ最初のピクセル内のカラーピクセルである。

左側の最初のストリップは次のカラーから始まる。

これらのカラーピクセルは、従って、圧縮画像の最初のピクセルから取り出される。最初のピクセルは、一般的に番号“０”を有している。昇順の順番に、サブピクセルは、次のストリップがサブピクセル番号Ｋｒ_{ＳＰＳｔａｒｔ}（１）とＫｌ_{ＳＰＳｔａｒｔ}（１）から始まるまで圧縮ソース画像からストリップ内にコピーされることになる。次の番号からソース画像内の開始サブピクセルが得られる。

前記において、ＳＰＪは、１または３の倍数であるシステム固有の整数であり、あるレンズから次のレンズに移るとき、正しいカラーが選択されることを保証している。ＳＰＪ＝０のときは、画像スクリーン上でカウンティングが行われる。図４はＰＳＪ＝１のときの例を示し、図２はＰＳＪ＝９のときの例を示している。図７には、ＨＲインタレーシングも示されている。同図に示すように、サブピクセルがストリップ内にコピーされるとき、ソース画像内の開始サブピクセルは、先行ストリップで終了した個所よりもはるか前方から開始している。これにより、連続性が保証されている。

このようなシーケンスでサブピクセルを維持するコピーシーケンスは、好ましくは、高解像度空間多重化(High Resolution Space Multiplexing)と名づけられている。

（Ｓ６）：ここでは、ＦＲフィルタリングまたは「ＨＲシャープフィルタリング」と名づけられた別の高解像度フィルタリングは、解像度を向上することを目的としている。輝度とカラーの分布は、異なるピクセルと周囲の間で分割されている。

以下では、右と左の観察パースペクティブからのオリジナルカラーソース画像は、使用されるモニタの全解像度、例えば、1600 x 1200ピクセルで利用可能であることが想定されている。以下に説明するフィルタリングの新規特性は、画像内の輝度情報がカラー情報とはまったく異なるようにフィルタリングされることである。従来のカラー画像表現と比べて解像度の向上が可能であることは、ビジュアル生理的知覚特性に最適な適応が行われることにより達成されている。ここでは、サブピクセルがＴＦＴスクリーン上で隣接して配置されることが利用されている。基本的考え方は、輝度情報をサブピクセルにわたって分布させることと、カラー情報を周囲にわたって分布させることである。このようにすると、輝度の解像度を水平方向に３倍にできる一方で、情報の２／３以上はカラー情報からフィルタリングされる。人間の目による輝度とカラーの異なる知覚は、特に、ＰＡＬ符号化で使用され、比較的小さな追加チャネルでは、ハイレベルのカラー品質がテレビジョンピクチャで達成されている。現行のカラー画像の自動立体視表現では、各部分画像の水平方向は、円筒レンズによってほぼ３倍に拡大されている。このことは、輝度情報のオリジナル情報コンテンツが圧縮フィルタリング期間に大部分が保存できることを意味している。以上により、右と左の画像が存在している自動立体視表現では、最終的効果として、輝度情報コンテンツは、従来の２次元表現に比べて２倍になる。このようにすると、画像品質を本質的に２倍にすることは、これまでに説明してきた本発明によって達成され、フラットスクリーンディスプレイによる３次元知覚への飛躍も達成される。輝度フィルタリング：オリジナル画像はP_or(f,i,k)とP_oi(f,i,k)と名づけられている。ｋは番号のカウンタ、ｉはカラムのカウンタ、ｆはカラーＲ、Ｇ、Ｂのカウンタであり、輝度はY=(R+G+B)/3である。一般的に、ｋは0から1199まで、ｉは0から1599まで、ｆは0から3までである。最初のステップでは、圧縮画像Ｐ_ＨＦｒ(f,m,n)内のサブピクセルに対する輝度値Ｙをピクセルごとにフィルタリングする。フィルタ係数は（数５１）である。

以下では、２つの例を用いてフィルタ特性について詳しく説明する。１つの例は、１ライン内でのみ作用し、もう１つの例は上部ラインと下部ラインを圧縮する。係数に課されている最初の条件は、オリジナル画像内の一定グレイ値からは、ターゲット画像では同じ一定グレイ値が得られることである。このことは、全係数にわたる合計が１であることを意味している。

第２の条件は、オリジナル画像内のホワイトピクセルからは、ターゲット画像の周囲において、全体的に再びホワイト画像が得られることである。このことから次の３つの条件が導かれる。

フィルタリングオペレーションは、f(m)=(m)mod(3)=m-3 int{m/3}およびi(m)=int{m/3}および（数５６）と共に説明することができる。

以下の最初の番号例は、フィルタ係数がv=+1, -1のときゼロであるラインオペレータを説明している。

表１はＨＲラインフィルタのフィルタ係数である。

次の例は、ライン交差フィルタオペレーションを示している。

表２はライン交差ＨＲフィルタのフィルタ係数である。

この２次元フィルタは、係数が中心からの分離に逆比例して減少するように設計されている。Ｈ_ＹＦ(0,0)=1をもつ設計は極端な例であり、これは、オリジナルのコントラスト範囲が以前は減少していて、鮮鋭度の上昇のためにＨＲフィルタリング期間に再び増加できるようになっている場合に自然の画像に対して有効になる。例えば、ソース画像の値範囲(0-255)は、40乃至220に圧縮することができる。これは、達成可能な鮮鋭度効果を、コントラスト効果に対して付加的に重み付けすることを可能にする１つの方法である。

この輝度ＨＲフィルタリングによると、平均してグレイ画像が得られる。しかし、0と255の許容範囲がターゲット画像で超えたときは、ビジュアル化のための範囲は、再び許容範囲に制限しなければならない。このプロセスでは、カラー効果が生じるが、これは画像コンテンツに左右される。

２．カラーフィルタリング：第２のステップでは、カラー情報が減少したローカル解像度と共に再び追加される。この目的のために、（Ｓ１）の個所で、前記の（数３３）で生成された圧縮画像は、右と左に対して再び利用できる。

この画像では、右と左に対して、カラー差値が輝度値Y=(R+G+B)/3: DR=R-Y; DG=G-Y; DB=B-Yに対して生成される。このオペレーションは（数５８）に示されている。

同じオペレーションが左圧縮画像に対しても行われる。差値はＨＲフィルタリングされたグレイ画像上で再びオーバレーされる（周囲にわたって分布される）。これは、１または２次元ローパスフィルタリングによって新たに行われる。例えば、ローパスフィルタとして、前記（数３２）のフィルタが再び使用することができる。この結果、次のオペレーションがf=0,1,2に対して３回行われる。

さらに有利であるのは、２次元ローパスフィルタＣ_ＴＰ3(i,k)であり、例えば、i、k
は-1から1までである。ここでは、総和は再び１に等しくなければならない。係数値は表３の次のようにすることができる。

表３はカラーを挿入するための単純な２次元ローパスフィルタである。

フィルタリングは次のオペレーションになり、これは、当然のことであるが、１次元バージョンよりも実行するには若干困難である。

記号”:=”は、右側の同じ変数を左側の結果で置き換えるときのプログラミングに関係する名称を表している。

同じオペレーションが左の画像に対しても行われることは当然である。

最後に、範囲制限は依然として行なわれる必要があり、浮動小数点数は0と255の間の整数に丸める必要がある。これは２ステップで行われる。１．大きすぎる可能性のある範囲は圧縮することが可能である。２．0以下の数と255を越える数は0または255にセットすることができる。

ＨＲフィルタリングは以上説明したとおりであるが、次に、別のカラーピクセルの表示方法について触れるが、これはｈ−ｃ知覚モデル（色相、カラー）として知られている。このモデルも、カラー飽和に関する情報を含んでいる。Ｒ、Ｇ、Ｂピクセル値は、次のように明確にｈ−ｃ値に変換し、再び元に戻すことができる。

最低ホワイトコンテンツがW = min{R,G,B}のように判断され、差値DR=R-w、DG=G-w、DB=B-wから、0と360度の範囲にあるカラー角度が計算される。

どの差が減少するかに応じて、次の式が適用される。

このカラーモデルを使用するときは、強度値ｈは、Ｙが以前に行われたようにＨＲフィルタリングされ、そのあとカラーはローパスフィルタを使用してフィルタリングされて追加される。

前述したレンチキュララスタスクリーン２０（図２）を装着するとき、画像スクリーン１からのラスタスクリーン２０の分離が正確に維持されないことが起こることがある。このような若干の分離誤差があると、画像に若干のカラー「モアレ(Moire)」欠陥が生じる。この分離が正確に維持されていないと、可視サブピクセルストリップは若干小さくまたは大きくなるので、特定のカラーが画像ストリップ内で頻繁に繰り返されることになる。従って、本発明によれば、円筒レンズ２２ａ、２２ｂ（図２も参照）が、例えば、垂直面に対して角度をなして配置され、円筒レンズが既存サブピクセルＲ、Ｇ、Ｂにわたってカラーを均等に分布し、カラーモアレ欠陥が消滅するようにしている。

カラー欠陥を防止するために、図９に示すラスタスクリーン２０の円筒レンズ２２ａ、２２ｂは垂直にではなく、右または左に若干傾斜して配置されており、その傾斜は垂直方向（図９のｖ）に対し０度と４５度（-４５度）の間の角度になっている。当然のことであるが、右または左に割り当てられたサブピクセルストリップは、同じ傾斜になっていなければならない。図９では、わかり易くするために、２つの右可視サブピクセル６１ａ、６１ｂと２つの左可視サブピクセルストリップ６２ａ、６２ｂだけが画面スクリーン１上に示されている。本発明によれば、これらのサブピクセルストリップ６１、６２の傾斜は物理的にまだ垂直に置かれているサブピクセルのうち、図９において傾斜して置かれているサブピクセルがソフトウェアによってスイッチされることにより達成される。精細に観察すると、傾斜して置かれているサブピクセルストリップは、従って、個別サブピクセルＲ、Ｇ、Ｂのステップごとに構成された側面によって両側が境界になっている。これらの間に置かれている不可視予備サブピクセルストリップは同じように傾斜される。

円筒レンズ２２ａ、２２ｂとサブピクセルストリップ６１と６２の傾斜は、垂直と水平の画像スクリーンの断面比で表され、本発明によれば、好ましくは6:1から3:1の範囲にある。図９に示す例では、傾斜／勾配は6:1になっている。傾斜の形で制御される右と左のサブピクセルストリップ６１、６２は、各々が８個の制御サブピクセルから構成され、そのうちの約４個はレンズの背後で可視になっている。

円筒レンズ２２と、基本的にＴＦＴ画像スクリーン上に垂直に配置されているサブピクセルＲ、Ｇ、Ｂを、傾斜サブピクセルストリップ６１、６２を形成するように傾斜制御すること、とからなる傾斜構成では、ＴＦＴ画像スクリーン１に対するレンチキュララスタスクリーン２０の微調整は、事前に定義可能であるテスト画像を使用して行うことが可能である。このようにすると、制御サブピクセルストリップ６１、６２を水平方向および／または垂直方向に移動することは、１サブピクセルＲ、Ｇ、Ｂの精度で可能である。円筒レンズ２２と可視サブピクセルストリップ６１、６２は共に、上述した傾斜位置にあるので、人間の目には、垂直方向に見かけ上平均化したカラー欠陥があるように見える。しかし、傾斜構成であるので、カラーモアレ欠陥は大部分が抑止されるので、１サブピクセルの精度で行われるこのタイプの微調整は、どのカラー欠陥に対しても許容し得るものである。従って、上述した微調整も、同じく可能であるサブピクセルストリップ単独の傾斜よりも有利である。というのは、垂直に置かれたレンズを使用すると、カラーモアレ欠陥がさらに増加する可能性があるからである。

上述した実施形態では、サブピクセルの各々が画像スクリーン１上で制御され、アイトラクタまたは類似手段を使用しなくても、３Ｄ表現がほぼ１つの特定観察方向だけに対して得られることが前提条件になっていた。他方、図２０に示すように、本発明によるデバイスは、上記方法の特徴とデバイスの特徴を同じように使用すると、複数の観察方向から３Ｄ画像を同時に観察するのに適しているので、同じ画像を複数の観察者が同時に見たり、それぞれの観察方向に見合ったパースペクティブで見たりすることができる。この目的のために、好ましくは、例えば、ライン当たり12,000またはそれ以上のピクセルと、例えば、2,400ラインを有する大きなスケールの画像スクリーンは、十分な数のサブピクセルがパースペクティブごとに利用できるように使用されている。

図１０は、このタイプの再現システムの光線路を例示したものである。図示のように、例えば、図４において、図では１つの円筒レンズだけが示されているレンチキュララスタスクリーン６４は、画像スクリーン１の前面に配置され、例えば、画像スクリーン１の前面の位置Ｉからは、一方の目で３サブピクセルＲ、Ｇ、Ｂが見え、これらのサブピクセルは実線で描いたエッジ光線６５と６６によって線引きされたサブピクセルストリップまたは画像ストリップを形成するように設計されている。しかし、図１０中の右側の次の５サブピクセルは位置ＩＩから見え、そこから見えるサブピクセルストリップまたは画像ストリップは破線６７と６８で線引きされている。さらに別の位置ＩＩＩとＩＶの各々からは、そこから見えるサブピクセルストリップまたは画像ストリップは各々、左側から見たとき、点線６９または一点鎖線７０で示したサブピクセルから始まっている。ライン６５乃至７０の矢印ポイントの各々は、それぞれのサブピクセルストリップがどのサブピクセルから開始するかを示している。図１０にも示すように、サブピクセルストリップは異なる幅をもち、次のそれぞれの矢印ポイントで終わることができる。これとは別に、サブピクセルストリップは、図７に示すように、全体を同じ幅にすることもできる。

図１０に示す再現システムは、図１とは対照的に、２つの半画像(half image)だけが右目と左目に対して画像スクリーン１のサブピクセルに割り振られているのではなく、３以上のパースペクティブから得られる画像ストリップが連続的に割り振られていることを特徴としている。具体的には、矢印先端６５、６７、６９および７０から始まる４サブピクセルストリップは１つの同じ画像セクションから得られているが、このセクションは異なる観察方向から記録されていたものである。従って、サブピクセルストリップ７１乃至７４は図１０の１画像ストリップに次々に割り振られ、これらは、４位置の各々からは、見えるのは常に関連サブピクセルストリップまたは画像ストリップまたは特定のパースペクティブだけであるように位置Ｉ乃至ＩＶからのパースペクティブに割り振られている。この後に続いて（つまり、図１０において、右方向に連続して）、この観察方向のシーケンスは別の画像スクリーンセクションに対して繰り返され、関連サブピクセルストリップは、４観察方向Ｉ乃至ＩＶからの関連ビューに対応する右から左への信号で再び制御され、観察方向のシーケンスはどこでも同じになっている。

任意の観察方向のとき、例えば、図４に示すレンチキュララスタスクリーン３３を使用し、配置した場合と同じようにあるカラーのサブピクセルが圧倒的に見えないようにするために、図９と同じように、複数の重なり合うサブピクセルラインは適当にグループにまとめられて、傾斜した向きで制御される。このようにすると、各円筒レンズでは、観察方向ごとにおよびラインごとに１つのサブピクセルだけが見える場合であっても、各観察方向からは、３カラーＲ、Ｇ、Ｂすべてが常に見られることが達成される。

最後に、異なるサブピクセルストリップの間には、例えば、１サブピクセルの幅を持つ追加の安全ピクセルストリップが用意されるようにすることが可能である。この結果、例えば、図１０に示すように、各サブピクセルストリップのうち中央セクション７５だけが見えるようになり、他方、各ケースにおいて、その右側または左側に置かれた１サブピクセルストリップは不可視の安全ストリップ７６または７７として利用されることになる。このようにすると、サブピクセルのコースが傾斜していると、および２隣接サブピクセルストリップから１つのサブピクセル（例えば、図１０中の７８）が同時に使用されると起こる隣接ピクセルストリップが重なり合うという問題は解決される。

以上のように、全体的には、図２乃至図９に示す実施形態と図１０に示す実施形態との実質的差異は、あるビューまたはあるパースペクティブに属する画像ストリップ（＝図３のビジュアルジャンプ３０、３１）間の分離が、複数のビューの配置のために使用されることだけである。この複数のビューは、常に同時に利用可能である。従って、異なるビュー間の角方向の分離が十分に大きければ、同じ画像は、複数の観察者によって３Ｄ品質で、かつ指定されたパースペクティブから同時に見ることが可能になる。

上述してきた３Ｄ再現システムは、例えば、コンピュータ断層撮影や立体内視鏡検査のための医療技術、建造物や景色をアニメーション化する建築分野、および仮想現実再生や３Ｄゲームにおけるコンピュータグラフィックスの分野で、ビデオカメラで記録した画像を再現するために使用することができる。もう１つの重要な利用分野は「テレプレゼンス(telepresence)」である。危険なエリアや近づき難い場所では、自然の奥行きの印象を犠牲にすることなく、リモートコントロールカメラやロボットが利用可能になっている。

本発明は上述した実施形態に限定されるものではなく、これらの実施形態は種々態様で開発することが可能である。このことは、特に、図面を参照して説明したインタレーシングのタイプが該当する。なお、上述したインタレーシングは単なる例示であり、特に、サブピクセルストリップ当たりのサブピクセルの数やラスタスクリーン当たり画像スクリーン幅にわたって分布されているレンズまたはバリアの数に関しては改良が可能である。以上から明らかであるように、画像が３つの異なるカラーサブピクセルからではなく、２または３以上の異なるカラーサブピクセルから形成される場合もある。輝度とカラー制御のために使用されるサブピクセルの割り振りおよび隣接サブピクセルまたは周囲への分布は、高解像度フィルタリング（Ｓ６）という意味で説明してきたが、改良し、特定の要求に適応させることも可能である。

さらに、同じ画像スクリーンは、全体的にも部分的にも、上述した目的以外の目的のために使用することが可能である。例えば、ブラックのバリアストリップ４５または４６がスイッチオン・オフされるようにバリアラスタスクリーン４１または４２を設計することが可能である。このようにすると、同じ画像スクリーンは、一方では、すべてのバリアストリップ４５、４６をスイッチオフすると、通常の２次元表現用に使用することも可能である。他方では、考え方として、例えば、画像スクリーンの半分は上述した使い方をし、他の半分はバリアストリップ４５、４６をスイッチオフすることで２次元表現用に使用することが可能である。最後に、当然に理解されるように、種々の特徴とプロセスステップ（例えば、（Ｓ１）乃至（Ｓ６））は図示し、上述してきた組み合わせとは別の組み合わせで使用することも可能である。

本発明による３次元（３Ｄ）再現システムを示す概略図である。相対的に広域の円筒レンズを備えたレンチキュララスタスクリーンを、図１の再現システムの画像スクリーンの水平サブピクセルラインの一部に対して使用したときの右目と左目の光線通路を表わした異なる図である。相対的に広域の円筒レンズを備えたレンチキュララスタスクリーンを、図１の再現システムの画像スクリーンの水平サブピクセルラインの一部に対して使用したときの右目と左目の光線通路を表わした異なる図である。相対的に狭域の円筒レンズを備えたレンチキュララスタスクリーンを使用したときの図２に対応する図である。図１の再現システムにおいて大きなまたは小さなラスタディビジョンを備えたバリアラスタスクリーンを使用したときの図２と図４に対応する図である。図１の再現システムにおいて大きなまたは小さなラスタディビジョンを備えたバリアラスタスクリーンを使用したときの図２と図４に対応する図である。圧縮した右と左の画像をインタレースした形で画像スクリーンのサブピクセル上にコピーするプロシージャを示す図である。画像スクリーンの前にいる観察者の位置に応じたサブピクセルストリップの割り振りを示す図である。図２に対応しているが、図１の再現システムの画像スクリーンにおいて、一方が他方の上になるように垂直方向に配列された複数のサブピクセルラインに関連する光線路を示す図である。本発明の別の実施形態を示す、図９に対応する図である。

Claims

３次元（３Ｄ）表現用自動立体視再現システムであって、異なる観察方向に対する第１と第２画像ストリップ信号（１０、１１）を得るためのプロセッサユニット（３）と、ラインで配列され、相互に隣接している画像ピクセルを有し、その各々が並列に配列され、所定数の異なるカラーのサブピクセル（Ｒ、Ｇ、Ｂ）を有する画像ピクセルからなる画像スクリーン（１）と、画像ストリップ信号（１０、１１）と共にサブピクセル（Ｒ、Ｇ、Ｂ）をインタレース制御することにより、画像スクリーン（１）の各ラインにおいて、交互になるように、第１と第２の順次サブピクセルストリップ（２５と２６、３５と３６、４９と５０、６１と６２）が、それぞれ、観察方向に対する第１と第２画像ストリップ（２８と２９、３７と３８、４７と４８、５５と５６）を生成するようにする符号化ユニット（６、９）と、画像スクリーン（１）の前面に配置され、画像スクリーン（１）の前面における定義された観察領域に対して、第１と第２画像ストリップ（２８と２９、３７と３８、４７と４８、５５と５６）を第１と第２画像と結合するラスタスクリーン（２０、３３、４１、４２）とを備えた自動立体視再現システムにおいて、符号化ユニット（６、９）は制御可能であり、ラスタスクリーン（２０、３３、４１、４２）は、少なくとも第１と第２画像ストリップ（２８と２９、３７と３８、４７と４８、５５と５６、７１と７２）が、さらに可能ならば、画像スクリーン（１）の選択された領域内に生成された別の画像ストリップが、１または２以上の観察者には、重なり合っていない（ばらばらになっている）ように見えるように寸法化されて配列され、一定のシーケンスのサブピクセルのカラー（Ｒ、Ｇ、Ｂ）が第１（第２）サブピクセルストリップ（２５と２６、３５と３６、４９と５０、６１と６２）内に得られることを特徴とする自動立体視再現システム。
請求項１に記載の自動立体視再現システムにおいて、第１（第２）サブピクセルストリップ（２５と２６、３５と３６、４９と５０、６１と６２）は相互から分離され、第１（第２）サブピクセルストリップ（２５と２６、３５と３６、４９と５０、６１と６２）から相互に向かうように面し、ライン方向に向かってそれに先行および／または後続する第１（第２）サブピクセルストリップ（２５と２６、３５と３６、４９と５０、６１と６２）の側端間の分離（３０、３１）が、画像ピクセルの整数倍またはサブピクセルの幅に一致するようになっていることを特徴とする自動立体視再現システム。
請求項２に記載の自動立体視再現システムにおいて、さらに別のサブピクセル（２７）は、画像ストリップ（２８、２９）に割り当てられた第１と第２サブピクセルストリップ（２５、２６）の間に配置されていることを特徴とする自動立体視再現システム。
請求項１乃至３のいずれか１つに記載の自動立体視再現システムにおいて、ラスタスクリーン（２０）は、画像スクリーン（１）に対して移動不能に取り付けられていることを特徴とする自動立体視再現システム。
請求項４に記載の自動立体視再現システムにおいて、さらに別のサブピクセル（２７）は、第１と第２サブピクセルストリップ（２５、２６）を空間的に分離することを目的とし、ラスタスクリーン（２０）は、前記さらに別のサブピクセル（２７）が見えないように設計され、配置されていることを特徴とする自動立体視再現システム。
請求項４または５に記載の自動立体視再現システムにおいて、符号化ユニット（６、９）は、さらに別のサブピクセル（２７）を制御するようにセットアップされていることを特徴とする自動立体視再現システム。
請求項６に記載の自動立体視再現システムにおいて、ラスタスクリーン（３３）は、２サブピクセルの幅にほぼ一致するピッチ間隔を有し、各ラインにおけるサブピクセル（Ｒ、Ｇ、Ｂ）は、交互になるように第１と第２画像に割り当てられ、各サブピクセルストリップ（３５、３６）が１サブピクセル（Ｒ、Ｇ、Ｂ）の幅をもつような構成になっていることを特徴とする自動立体視再現システム。
請求項１乃至７のいずれか１つに記載の自動立体視再現システムにおいて、ラスタスクリーン（２０、３３）はレンチキュララスタスクリーンであることを特徴とする自動立体視再現システム。
請求項1乃至６のいずれか１つに記載の自動立体視再現システムにおいて、ラスタスクリーン（４１、４２）はバリアラスタスクリーンであることを特徴とする自動立体視再現システム。
請求項９に記載の自動立体視再現システムにおいて、バリアラスタスクリーン（４１）は、３サブピクセル（Ｒ、Ｇ、Ｂ）の幅にほぼ一致する幅をもつ透明スリット（４３）を有していることを特徴とする自動立体視再現システム。
請求項１乃至１０のいずれか１つに記載の自動立体視再現システムにおいて、プロセッサユニット（３）および／または符号化ユニット（６、９）は、画像スクリーン（１）の前面にいる観察者の位置を示す位置検出器に割り当てられていることを特徴とする自動立体視再現システム。
請求項１乃至１１のいずれか１つに記載の自動立体視再現システムにおいて、ラスタスクリーン（２０）は、円筒レンズ（２２ａ、２２ｂ）が画像スクリーン（１）の垂直面（ｖ）に対して角度をなして配置されているレンチキュララスタスクリーンであり、画像スクリーン上のサブピクセル（Ｒ、Ｇ、Ｂ）は、第１と第２の可視サブピクセルストリップ（６１、６２）が円筒レンズ（２２ａ、２２ｂ）と同じ傾斜をもつように制御可能であることを特徴とする自動立体視再現システム。
請求項１２に記載の自動立体視再現システムにおいて、画像スクリーン（１）に対するレンチキュララスタスクリーン（２０）の水平方向の微調整は、可視サブピクセルストリップ（６１、６２）を同じように傾けることによって行われることを特徴とする自動立体視再現システム。
請求項１乃至１３のいずれか１つに記載の自動立体視再現システムにおいて、第１と第２画像（４、５）は、画像ストリップ信号（７、８）の形成の前に水平方向に圧縮されることを特徴とする自動立体視再現システム。
請求項１４に記載の自動立体視再現システムにおいて、圧縮された画像（７、８）の第１と第２のｉ番目ピクセルは、（４９）と（５０）に一致するように画像スクリーンのｉ番目の第１と第２ストリップのサブピクセル上にカラーを写実するようにコピーされ、個別ストリップの開始位置が、例えば、式（２０）と（２１）を使用して適応計算され、１つの画像スクリーンストリップに２回現れるカラーも２回記録されるようにしたことを特徴とする自動立体視再現システム。
請求項１乃至１５のいずれか１つに記載の自動立体視再現システムにおいて、３つの動的ワードstartr、start1およびscpitchが定義されており、ディスプレイ上では、ｋ番目の第１ストリップは、（数１）と名づけた（数２）の積の整数部分に一致するサブピクセルから始まり、第２ストリップは、（数３）の積の整数部分に一致するサブピクセルから始まることを特徴とする自動立体視再現システム。
請求項１乃至１６のいずれか１つに記載の自動立体視再現システムにおいて、一定の水平圧縮係数stretch0（例えば、stretch0=0.33）はあらかじめ決められており、値scpitchは整数の一定部分sp0と動的部分scpitchvに分割されており（ただし、scpitch=sp0+scpitchv）、第１圧縮画像の後続サブピクセル（数４）から（数５）までは、第１のｋ番目画像スクリーンストリップに同じ昇順でコピーされ、ここで、sfr0は、ｋ番目の第１ストリップ内の第１サブピクセルのカラーが第１圧縮画像（数６）からの第１サブピクセルのカラーに一致するように選択され、spon0のサイズはｋ番目の第１ストリップ全体が画像スクリーン上に覆われるように選択され、第２ストリップに対しても同じプロシージャが使用されることを特徴とする自動立体視再現システム。
請求項１乃至１７のいずれか１つに記載の自動立体視再現システムにおいて、ｋ番目ストリップの最初の３サブピクセルはコピーされ、ｋ番目の第１または第２ストリップの残余はブラック（黒）、すなわち、０にセットされることを特徴とする自動立体視再現システム。
請求項１乃至１８のいずれか１つに記載の自動立体視再現システムにおいて、第１未圧縮画像のサブピクセル（数７）から（数８）までは、カラーを写実するようにｋ番目ストリップにコピーされ、サブピクセル（数９）から（数１０）はｋ番目の第２ストリップにコピーされ、ここでspr0とspl0は、カラーを写実するコピーが保証されるように画像全体に対して一度だけ選択されることを特徴とする自動立体視再現システム。
請求項１乃至１９のいずれか１つに記載の自動立体視再現システムにおいて、４番目のワードstretchは動的に渡され、オリジナルサイズで生成された第１と第２画像は係数stretchによって圧縮され、そのあと定係数1/stretch0または動的係数1/stretchによってフィルタリング法で伸張されたあと、動的にコピーされ、画像スクリーンの第１と第２画像にインタレースされることを特徴とする自動立体視再現システム。
請求項１乃至２０のいずれか１つに記載の自動立体視再現システムにおいて、各サブピクセルには独自の輝度（グレイスケール）情報（Ｙ）が位置に忠実になるように割り当てられ、他方、関連のカラー情報は、同一サブピクセルストリップの周囲にある対応するカラーサブピクセルに、可能ならば、同一パースペクティブの少なくとも１つの隣接サブピクセルストリップにも、重みを付けて分配されることを特徴とする自動立体視再現システム。
請求項１乃至２１のいずれか１つに記載の自動立体視再現システムにおいて、第１と第２オリジナル画像（４、５）は、全ピクセル解像度で生成または利用可能にされ、これらの画像から、システム設定値（Ｓ６）に従って生成されたＨＲ圧縮画像（ここで、オリジナル画像の輝度値はY=(R+G+B)/3である）は、（数１１）に従ってＨＲフィルタＨ_ＹＦ(I, k)によってサブピクセル上にフィルタリングされ、ここですべてのフィルタ係数の和は１に等しく（数１２）、他方、同一カラーに作用する係数の部分は和1/3（数１３、数１４、数１５）を有することを特徴とする自動立体視再現システム。
請求項１乃至２２のいずれか１つに記載の自動立体視再現システムにおいて、第１と第２オリジナル画像（４、５）は全ピクセル解像度で生成または利用可能にされ、これらの画像から、適当なディープパスＣ_ＴＦ(i)（例えば、数１６、数１７）によって水平方向に1/3に圧縮された画像は、（数１８）に従って作成され、これらは、それぞれの部分画像に属するサブピクセルが第１と第２ストリップに未変更のシーケンスでコピーされるように（Ｓ５）に従ってインタレースされ、これによって開始ピクセルは所与の数SPJを使用して（数１９）または（数２０）に従って見つけられることを特徴とする自動立体視再現システム。
請求項１乃至２３のいずれか１つに記載の自動立体視再現システムにおいて、第１と第２オリジナル画像（４、５）は全ピクセル解像度で生成または利用可能にされ、これらの画像から、適当なディープパスＣ_ＴＦ(i)（例えば、数２１、数２２）によって水平方向に1/3に圧縮された画像は、（数２３）に従って作成され、これらの圧縮画像から、カラー差値DR=R-Y、DG=G-YおよびDB=B-Yが形成され、これらは請求項２２に従って形成され、請求項２２と同じように（Ｓ５）に従ってインタレースされたＨＲ圧縮画像上にディープパスフィルタリングでオーバレイされる（例えば、数２４、数２５、数２６、数２７に従って）ことを特徴とする自動立体視再現システム。
請求項１乃至２４のいずれか１つに記載の自動立体視再現システムにおいて、第１と第２画像は、オリジナルサイズと従来の解像度で生成または利用可能にされ、ただし、これらの画像は０から２５５までの全輝度値を使用尽くすことなく、例えば、３０と２４０の間の制限された値範囲を使用し、これはコントラスト縮小によっても達成可能であり、請求項２２と２３に記載のフィルタリング時に、負の方向のベース値を越えないことを条件として、負のフィルタ係数からの負の輝度値も考慮されるようにグレイベース値（例えば、値３０）が圧縮およびＨＲフィルタリング画像に加えられることを特徴とする自動立体視再現システム。
請求項１乃至２５のいずれか１つに記載の自動立体視再現システムにおいて、隣接ラインのサブピクセルも、表２と３に示すように、請求項２３に記載のＨＲ圧縮フィルタリングとカラーオーバレイの対象になることを特徴とする自動立体視再現システム。
請求項１乃至２６のいずれか１つに記載の自動立体視再現システムにおいて、上記方法の１つによる白と黒のパターンまたは文字フォントは、圧縮ＨＲフォーマットで利用可能にされ、ストアされ、挿入のために利用可能にされることを特徴とする自動立体視再現システム。
請求項１乃至２７のいずれか１つに記載の自動立体視再現システムにおいて、動的パラメータstartr、start1およびscpitchから、観察者の位置が再構築され、オブジェクトシーンは同じように調整されたカメラ位置から自動的に生成されることを特徴とする自動立体視再現システム。
請求項１乃至２８のいずれか１つに記載の自動立体視再現システムにおいて、動的位置適応は休止、停止またはスイッチオフさせることも可能であり、パラメータscpitchは、特に、１つのカラーサブピクセルの大きさの正確に２倍にすることが可能であることを特徴とする自動立体視再現システム。
請求項１乃至２９のいずれか１つに記載の自動立体視再現システムにおいて、第１と第２カラー画像は、Ｒ、Ｇ、Ｂとｈ、ｗ、ｃフォーマットでオリジナルサイズと解像度で生成または利用可能にされ（数２８、数２９）、請求項１９、２０または２１に記載のｗ部分（白）はＨＲフィルタリングされ、ｈコンポーネントに現れる３カラー値f1 = c.cos(0)とf2 = c.sin(0)は、それぞれ、サブピクセルフィルタが作用するサブピクセルＳ_ｏｐの周辺の関連カラーサブピクセルに加えられ、１の係数和にわたってフィルタリングされ、そこでは、係数の重みは、中央サブピクセルＳ_ｏｐからの距離にほぼ反比例する振る舞いを行い、中央サブピクセルＳ_ｏｐのカラーが現れたときは、係数和Ｓ_ｋｏ＝０のフィルタが使用され、中央サブピクセルＳ_ｏｐに対する係数は値１であり、フィルタは(h, w, c)フォーマットからのカラー値ｃで制御されることを特徴とする自動立体視再現システム。
請求項１乃至３０のいずれか１つに記載の自動立体視再現システムにおいて、適当なＨＲフィルタリングが与えられているとき、その結果のカラーサブピクセル値は許容範囲におよびカラー値としての整数に制限されていることを特徴とする自動立体視再現システム。
請求項１乃至３１のいずれか１つに記載の自動立体視再現システムにおいて、第１と第２画像ストリップ信号、画像ストリップおよびサブピクセルストリップは、観察者の右目または左目（２３、２４）に割り当てられることを特徴とする自動立体視再現システム。
請求項３乃至３２のいずれか１つに記載の自動立体視再現システムにおいて、第１と第２サブピクセルストリップの間には、異なる観察方向に割り当てられたさらに別のサブピクセルストリップが存在し（図１０）、各観察方向からは、そのうちの２つだけが観察者の右目と左目に対して可視であることを特徴とする自動立体視再現システム。
請求項３３に記載の自動立体視再現システムにおいて、さらに別のサブピクセルストリップに属する画像信号は、永続的にサブピクセルストリップにコピーされることを特徴とする自動立体視再現システム。
請求項３２乃至３４のいずれか１つに記載の自動立体視再現システムにおいて、少なくとも二人の観察者に対しては、関連パースペクティブをもつ第１と第２画像ストリップ、または関連の異なるパースペクティブをもつ少なくとも４つの画像ストリップが同時に可視であるように構成されていることを特徴とする自動立体視再現システム。