JP2005175973A

JP2005175973A - 立体表示装置

Info

Publication number: JP2005175973A
Application number: JP2003414034A
Authority: JP
Inventors: Tsutomu Ozaka; 勉尾坂
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2003-12-12
Filing date: 2003-12-12
Publication date: 2005-06-30

Abstract

【課題】操作性に優れ、使い勝手の良い立体表示装置を提供することを目的とする。
【課題を解決するための手段】
【解決手段】視点検出で得られた情報、主に視点位置に基づいて、両眼視差表示と運動視差表示の制御を行う。さらには、ＧＵＩのウインドウシステムに好適な制御手段を有するとともに、ＧＵＩによって、観察者が両眼視差と運動視差の設定を行う。
【選択図】図１

Description

本発明は、右眼と左眼の両眼視差と観察者の移動によって発生する運動視差を利用して観察者に立体像を観察させる立体表示装置とその制御方法に関する。

従来のコンピュータシステムにおいて、グラフィカルユーザインターフェース（以下、ＧＵＩと呼ぶ）を実装したシステムがある。一般に、コンピュータを操作し、データを入力するために、キーボード、タブレット、マウス、トラックボール等の入力装置が用いられている。ウインドウ、アイコン、プルダウンメニュー等の視覚的に認識し易いオブジェクトを前述の入力手段、特に、モニタを観ながら座標情報や軌跡の情報をコンピュータに入力できるタブレットやマウスはＧＵＩとともに用いられることが多く、コンピュータの操作性を向上させ、直感的な操作を行うことができる。

図１９は特許文献１の従来例で、ＧＵＩをオペレーティングシステムに用いた代表的なコンピュータシステムの階層図である。図中、５００はユーザが利用するアプリケーション・ソフトウェア（以下、単にアプリケーションと呼ぶ）、５０１はユーザが実際にコンピュータと対話的かつ視覚的に操作するための環境であるビジュアル・シェルである。

アプリケーションは、ＧＵＩ部品ＡＰＩ５０２、ＧＵＩ部品ライブラリー／サーバ５０３、ディスプレイ５０６上の描画を行うための描画ＡＰＩ５０４、描画ライブラリー／サーバ５０５、その他の周辺機５０９を使用するためのその他のＡＰＩ５０７、その他のライブラリー／サーバ５０８、各々のデバイスを制御するためのデバイス・ドライバ５１０等を利用することにより、ＧＵＩ環境のビジュアル・シェルを構築し、外部の周辺機器を制御して、成り立つものである。

コンピュータのソフトウェアやハードウェアの進歩は目覚ましく、ディスプレイ装置の発達も例外ではなく、高品位カラー化、大画面化、高精細化等が進められてきている。一方、ディスプレイを立体観察し、より多くの情報や臨場感を追求する傾向もあり、その方式も幾つか提案・実施されている。

両眼視差による立体表示手段は、ディスプレイ上に立体表示を行う方式として、パララックス・バリヤを用いた立体画像表示方式（以下、パララックス・バリヤ方式と呼ぶ）が広く知られている。

パララックス・バリヤ方式については、非特許文献１に開示されている。この方式によれば、複数視点からの複数視差画像のうち、少なくとも左右視差画像を交互に配列されたストライプ画像を、この画像から所定の距離だけ離れた位置に設けられた所定の開口部を有するスリット（パララックス・バリヤと呼ばれる）を介して、左右それぞれの眼でそれぞれの眼に対応した視差画像を観察することにより立体視を行うことができる。

また、左右の視差画像を表示する方式としてレンチキュラ方式も広く知られている。レンチキュラ方式はディスプレイの前面にかまぼこ状のレンズを多数ならべたレンチキュラを設け、空間的に左右の眼に入る画像を分離して、ユーザに立体像を観察させるものである。

更に、特許文献２には、２枚のレンチキュラーレンズとマスクによって左右視差画像を分離する立体表示装置が開示されている。以下、特許文献２に開示されている方式をリアクロスレンチ方式と呼ぶ。

図２０はリアクロスレンチ方式の立体表示装置の例を示す要部斜視図である。図中６は画像表用のディスプレイデバイスであり、例えば液晶素子（ＬＣＤ）で構成する。図は、偏光板、カラーフィルター、電極、ブラックマトリクス、反射防止マスクなどは省略してある。

１０は照明光源となるバックライト（面光源）である。ディスプレイデバイス６とバックライト１０の間には、市松状の開口８を備えたマスクパターンを形成したマスク基板（マスク）７を配置している。マスクパターンは透明なガラスまたは樹脂からなるマスク基板７上にクロムなどの金属蒸着膜または光吸収材等をパターニングして製作している。バックライト１０、マスク基板７等は光源の一要素をなしている。

マスク基板７とディスプレイデバイス６の間には、透明樹脂またはガラス製の第１のレンチキュラーレンズ３及び第２のレンチキュラーレンズ４を配置している。

第１のレンチキュラーレンズ３は垂直方向に長い縦シレンドリカルレンズを左右方向に並べて構成した縦シリンドリカルレンズアレイであり、第２のレンチキュラーレンズ４は水平方向に長いシリンドリカルレンズを並べて構成した横シリンドリカルレンズアレイである。

ディスプレイデバイス６に表示する画像は図示するように左右の視差画像Ｒ及びＬを夫々上下方向に多数の横ストライプ状の横ストライプ画素Ｒ、Ｌに分割し、それらを例えば画面上からＬＲＬＲＬＲ・・・と交互に並べて１つの画像に構成した横ストライプ画像である。

バックライト１０からの光はマスク基板７の各開口８を透過してディスプレイデバイス６を照明し、観察者の両眼に左右のストライプ画素Ｒ、Ｌが分離して観察される。

すなわち、マスク基板７はバックライト１０により照明されて、開口８から光が出射する。マスク基板７の観察者側には第１のレンチキュラーレンズ３を配置しており、その各シリンドリカルレンズのほぼ焦点位置にマスク基板７がくるようにレンズ曲率を設計している。この断面においては第２のレンチキュラーレンズ４は光学的に何の作用もしないので、開口８上の１点から出射する光束はこの断面内では略平行光束に変換される。

マスクパターンの一対の開口部と遮光部は略第１のレンチキュラーレンズ３の１ピッチに対応するように設定している。

また、観察者の所定の位置から第１のレンチキュラーレンズ３までの光学的距離と第１のレンチキュラーレンズ３のピッチとマスクパターンの一対の開口部と遮光部のピッチを定めることによって、画面の全幅にわたって、開口８からの光が一様に左眼又は右眼に集まるようにすることができる。このようにしてディスプレイデバイス６上の左右ストレイプ画素が水平方向に左眼、右眼の領域に分離して観察される。

第２のレンチキュラーレンズ４は、マスク７の開口８上の各点から発する光束を、すべてディスプレイデバイス６の右眼又は左眼用ストライプ画像に集光して、これを照明、透過して上下方向にのみ集光時のＮＡに応じて発散し、観察者の所定の眼の高さから画面の上下方向の全幅にわたって左右のストライプ画像を一様に分離して見える観察領域を与えている。

上述のような立体画像表示装置の立体視領域は狭く、観察者の視点が立体視領域から外れると立体表示が認識されなくなる。そのため、観察者の視点位置を検出して、視点位置に応じて画像表示を制御して、立体視領域を観察者の視点位置に自動的に追従させ、実質的な立体視領域の拡大が図られている（視点検出追従）。例えば、特許文献３には、マスクパターンまたはレンチキュラーレンズを表示面に平行移動させて、立体視領域を拡大する技術が開示されている。

図２１は、特許文献３に開示されている立体画像表示装置の図である。図２１において、図２０と同じ構成要素には同じ参照数字を付し、説明は省略する。図２１の立体表示装置はレンチキュラーレンズが１枚の構成なので、図２０における第２のレンチキュラーレンズ４を有していない。

このような立体表示装置において、観察者５４の移動に応じた制御は以下のように行われる。

まず、位置センサー５１が、予め設定された基準の位置からの観察者５４の水平方向のずれを検出し、その情報を制御ユニット５２へ送り、このずれ情報に応じて制御ユニット６０がディスプレイ駆動回路６１へ画像信号を出力すると、ディスプレイ駆動回路６０が第１又は第２の横ストライプ画像をディスプレイ６に表示する。同時に制御ユニット６０は、ずれ情報に基づくアクチュエータ駆動信号を発生し、マスクパターン７を水平方向に移動させるアクチュエータ６２を駆動することにより、マスクパターン７を観察者５４が左右のストライプ画像をもっともよく分離できる位置に移動させる。この結果、観察者５４の視点位置が変化しても、立体視可能な範囲が拡大することになる。

また、特許文献４には、レンチキュラーレンズを水平方向だけでなく、表示素子とレンチキュラーレンズとの間隔も可変とすることによって、立体視可能な範囲を左右方向だけでなく、奥行き方向（表示装置と観察者との距離方向）にも拡大した立体表示装置が提案されている。

このような立体画像表示装置において、マスクパターンやレンチキュラーレンズの移動量は、観察者の視点位置や観察者と表示装置との距離の検出結果によって決定される。通常、視点位置検出は表示装置に設けたビデオカメラによって観察者を撮影し、撮影画像にテンプレートマッチング等を施す画像処理方法により行われる。また、距離検出については、ステレオ画像を用いた方法により検出が行われる。

次に、２Ｄ／３Ｄ混在表示の説明をする。２次元画像（一視点画像）表示装置との両立性を確保上させるために、パララックス・バリヤを透過型液晶表示装置などにより電子的に発生させ、バリヤ・ストライプの形状や位置などを電子的に可変制御するようにした立体表示装置が、特許文献５、特許文献６に開示されている。

図２２は特許文献５に開示されている立体画像表示装置の基本構成図である。この立体画像表示装置は、画像表示を行う透過型液晶表示装置１０１と、これに厚さｄのスペーサー１０２を介して配置される透過型液晶表示素子を具備する。透過型液晶表示装置１０１には２方向または多方向から撮像した視差画像を縦ストライプ画像として表示する。そして、電子式パララックス・バリヤ１０３にはＸＹアドレスをマイクロコンピュータ１０４等の制御部によって指定することにより、バリヤ面上の任意の位置にパララックス・バリヤパターンを形成し、前記パララックス・バリヤ方式の原理に従って立体視を可能とする。

また、図２３は特許文献５に開示されている液晶パネルディスプレイと電子式パララックス・バリヤによって構成された立体画像表示装置の表示部の構成図であり、２枚の液晶層１１５、１２５をそれぞれ２枚の偏光板１１１、１１８及び１２１、１２８で挟んだ構成になっている。この装置において、２次元画像表示を行う際には、電子式パララックス・バリヤパターンの表示を停止し、電子式バリヤ１０３の画像表示領域の全域にわたって無色透明な状態にすることで、２次元表示との両立性を実現している。

また、特許文献６には、図２４に示すように透過型液晶表示素子から成る電子式パララックス・バリヤ１０３の一部領域にのみバリヤ・ストライプのパターンを発生させることが出来る構成とし、３次元画像と２次元画像とを同一面内で混在表示することを可能とした例が開示されている。

更に、２Ｄ／３Ｄ混在表示が可能なディスプレイを用いたコンピュータシステム、特にＧＵＩ制御の方法が特許文献７に開示されている。特許文献７には、オブジェクトが３Ｄデータを有するかどうかの判断手段を備え、その判断手段に応じて立体表示装置の制御が行われることが記載されている。

さらに、運動視差表示手段について説明する。上述で説明した視点検出追従機能を有し、ＧＵＩ等の操作環境が実装されたシステムにおいて、特許文献８の第５の実施形態に、ポインティングデバイスと観察者の視点追従を利用する運動視差表示手段が開示されている。図２５、図２６、図２７は特許文献８に開示されている説明図で、図２５が外観図、図２６がブロック図、図２７がＧＵＩを説明した図である。
特開平１０−０７４２６７号公報特開平９−３１１２９４号公報特開平１０―２３２３６７号公報特開平１０−１１５８００号公報特開平３−１１９８８９号公報特開平５−１２２７３３号公報特開平１０−７４２６７号公報特開平１０−２３４０５７号公報 S。H。Kaplan、"Theory of Parallax Barriers"、J。SMPTE、Vol。59、No。7、pp。11-21(1952)

しかしながら、コンピュータと接続されてＧＵＩを実装された２次元表示と３次元表示の切り替えが可能、あるいは２次元表示と３次元表示が混在可能で、視点検出追従機能と運動視差表示が可能なシステムに関して、視点検出範囲、視点追従範囲及び運動視差表示範囲での領域ごとの画像制御手段とシステム制御手段がコンピュータシステム上に無いため、観察者に逆立体視像やクロストークの大きな画像を表示するといった問題を生じていた。また、ＧＵＩによって領域毎の画像表示を設定できる好適な立体表示装置が提案されていなかった。

本発明はこの様な問題に鑑みてなされたものであり、操作性に優れ、使い勝手の良い立体表示装置を提供することを目的とする。

上記の目的を達成するための本発明の表示制御装置は以下の構成を備える。

視点検出で得られた情報、主に視点位置に基づいて、両眼視差表示と運動視差表示の制御を行う。

また、ＧＵＩのウインドウシステムに好適な制御手段を有するとともに、ＧＵＩによって、観察者が両眼視差と運動視差の設定を行う。

本発明よれば、視点位置を適当に領域分割し制御することで操作性に優れた立体表示装置が実現できる。また、ＧＵＩのウインドウ制御を適切に行うことで使い勝手の良い立体表示装置が実現できる。

以下に本発明の実施例について説明する。

以下に、本発明の第１の実施例の立体表示装置を図１〜図９に基づいて説明する。

第１の実施形態では、リアクロスレンチ方式の両眼視差立体表示に視点検出追従機能、２Ｄ／３Ｄ混在表示機能および運動視差表示機能備えた立体表示装置で、観察者の視点位置に応じた装置の制御方法について述べる。

まず、リアクロスレンチ方式の立体視領域追従について説明する。

本発明においては、両眼視差立体表示の方式はパララックス・バリア方式、レンチキュラー方式やリアクロスレンチ方式のように左右の視差画像を交互にストライプ状で観察者に出射し表示する直視型の両眼視差立体表示方式であれば、いずれの方式でも本発明に適用可能である。本発明の実施形態の説明では、リアクロスレンチ方式を例に説明を行う。

リアクロスレンチ方式を用いた立体視領域の追従原理を図１に示す。左右方向の追従は市松マスク７を左右方向へ移動制御することで達成できる。奥行き方向である前後追従に関しては縦レンチ３を前後方向に移動制御することで達成できる。

左右方向の追従と前後方向の追従は独立に考えることが可能であり、追従の原理を「左右方向の追従」「前後方向の追従」の順に説明する。

図２は左眼用１走査線における水平断面図であり、観察者の左眼が位置X₁から水平方向に距離Xずれた位置X₂に移動した場合の視点追従の原理を説明する説明図である。

位置X₂において適正な立体視領域を形成するためには、市松マスク７の各開口部の中心と縦レンチの各シリンドリカルレンズの中心を結ぶ線が観察者の左眼位置で交わるという条件（以下：「条件Ａ」と呼ぶ）を満たさねばならない。このために市松マスクを位置D₁から左右方向に距離Dずれた位置D₂に移動することにより、「条件Ａ」を満たすものとする。

つまり、観察者が右方向に距離X移動した場合、市松マスク７を左方向（観察者の移動と反対方向）に距離Dだけ移動する。これにより図１に示すように縦ストライプ状の観察領域は、全体として距離Xだけ右方向に移動し、観察者は正しく立体画像を観察することができる。

この時、以下に示すような関係式が成り立っている。「条件Ａ」より、

観察者の移動距離Xと市松マスクの移動距離Dは、

式（１）、（２）から次式のように表すことができる。

但し、Lh₁は観察者の眼の位置と縦レンチ主点の距離、Lh₂は縦レンチ主点と市松マスクの距離、H_Lは縦レンチのピッチ、2H_mは市松マスクのピッチである。

Lh₁、Lh₂、H_m、H_Lは、設計する際に定まるものであり、式（３）は予め設定された左眼の基準位置X₁からの水平方向の移動距離Xを計測することにより、市松マスク７を左右方向に移動する量Dが分かることを示している。

また、上記の説明では、市松マスク７を距離Dだけ移動するようにしているが、縦レンチを距離Dだけ移動しても観察領域を距離Xだけ左右方向に移動することができる。この場合は、縦レンチを観察者の移動と同じ方向に移動する。

図１に示すように、例えば、観察者の左眼位置が予め設定された左眼の基準位置Z₁にある時に、観察者は正しく立体画像を観察していたとする。この観察者の左眼位置が位置Z₁から前後方向に距離Zずれた位置Z₂にある時、最適観察位置から外れ一般的にクロストークが発生し、正しく立体画像を観察することができない。

図３は、この様子を説明するものであり、観察者の両眼を含む水平面での断面図である。観察者が位置Z₁において正しく立体画像を観察している場合を示すものであり、図示のようにZ₁を含む最適観察位置において、左眼観察領域と右眼観察領域が分離間隔Ｆの幅で交互に形成されている。特にディスプレイの正面中央部に分布するメインローブの領域では前後方向に距離Zaの領域で、観察者は正しく立体画像を観察することが可能で、これを超える領域ではクロストークが発生し立体画像が観察できないことを示している。

図４は左眼用１走査線における水平断面図であり、観察者の左眼が位置Z₁から前後方向にZずれた位置Z₂に移動した場合の視点追従の原理を説明する説明図である。図４（ａ）は観察者がディスプレイから遠ざかる場合、図４（ｂ）は観察者がディスプレイに近づく場合である。

位置Z₂において適正な立体視領域を形成するためには、前述したような「条件Ａ」を満たさねばならない。図４（ａ）および図４（ｂ）に示すように、縦レンチを位置C₁から前後方向に距離Cずれた位置C₂に移動することにより、「条件Ａ」を満たしている。つまり、観察者がディスプレイから遠ざかる方向に距離Z移動した場合、縦レンチを観察者の移動と同じ方向に距離Cだけ移動する。また、観察者がディスプレイから近づく方向に距離Z移動した場合も、縦レンチを観察者の移動と同じ方向に距離Cだけ移動する。これにより最適観察位置が位置Z₁を含む面から、ディスプレイから遠ざかる方向および近づく方向に距離Zだけ移動した位置Z₂を含む面に形成される。

図５は前後方向の観察領域の拡大を説明するためのものであり、観察者の両眼を含む水平面での断面図である。図３におけるメインローブの観察領域を位置Z₁から前後方向に距離Zずれた、位置Z₂に形成したものである。図示のように観察者は前後方向に距離Zbの領域で正しく立体画像を観察することが可能となる。すなわちZb-Zaだけ前後方向の観察領域が拡大されることを示すものである。

この時、市松マスク７と縦レンチ３との空気換算した光学的距離はLh₂からLh₂±Cとなり、市松マスク７と縦レンチ３の結像関係を保持するためには、縦レンチ３の各シリンドリカルレンズの焦点距離を変更せねばならない。

しかしながら、縦レンチ３の焦点距離を任意に変更することは困難である。このため市松マスク７と縦レンチの結像関係がくずれるので、左眼または右眼方向に指向性を持った照明光の一部にクロストークを生じる。

図６は、この様子を説明するものであり、図６（ａ）は位置Z₁における左眼用と右眼用画像の左右方向1ライン分の輝度分布である。図６（ｂ）は位置Z₂における同様の輝度分布である。図中、実線は左眼用の輝度分布を示し、点線は右眼用の輝度分布を示す。また、Ｇ１およびＧ２は左眼用と右眼用画像が交ざるクロストークが発生する領域を示している。

図示のように、クロストークが発生する領域はＧ１＜Ｇ２である。すなわち、市松マスク７と縦レンチ３の結像関係がくずれることにより、クロストークが発生する領域が増加したことを示している。

この時、観察者が正しく立体画像を観察できる領域の幅は、図６（ａ）ではF-G1、図６（ｂ）ではF-G2となる。前述したように観察者が水平方向に移動した場合も観察者の位置を検出し、クロストークや逆立体視を補正して適正な立体視領域を追従させ正しく立体画像を観察させる。つまり、図６（ａ）および図６（ｂ）におけるF-G1およびF-G2の領域を観察者の両眼に追従して提示するので、観察者は正しい立体画像を観察することができる。すなわち、縦レンチの各シリンドリカルレンズの焦点距離（＝縦レンチのシリンドリカルレンズの曲率半径）を変更しなくても前後方向に観察領域を拡大して形成することができる。ただし、観察者の瞳の直径をEd、眼間距離をEとした時、F-G2＞EdおよびE-G2＞Edの条件を満たさなければならない。

観察者の移動距離Zと縦レンチの移動距離Cは、観察者がディスプレイから遠ざかる方向については、図４（ａ）に示すような幾何学的な関係から次式で表すことができる。

また、観察者がディスプレイ近づく方向についても同様に考えることができる。図４（ｂ）に示すような幾何学的な関係から次式で表すことができる。

式（４）と式（５）では、観察者の移動距離Zと縦レンチの移動距離Cの符号のみが異なる。Lh₁を観察者が前後方向に移動する際の基準とし、Lh₂を縦レンチの前後方向の移動における基準とし、ディスプレイから観察者に向かう方向を正方向とすれば、式（４）と式（５）は同じ式となる。

Lh₁、Lh₂、H_m、H_Lは、設計する際に定まるものであり、式（４）、（５）は予め設定された左眼の基準位置Z₁からの前後方向の移動距離Zを計測することにより、縦レンチを前後方向に移動する量Cが分かることを示している。

観察者がディスプレイから前後方向に距離Z移動した場合、縦レンチも観察者の移動と同じ方向に距離Cだけ移動することにより、最適観察位置がディスプレイから観察者の移動と同じ方向に距離Zだけ移動した位置に形成される。

市松マスク７と縦レンチ３を所定量移動させることで、最適観察位置をずらすことができる。すなわち、観察者の視点位置の追従が可能であり、立体画像の認識できる領域が拡大できる。

次に、システム構成について説明する。図７に本発明のシステム構成を説明したブロック図を示す。１０１は上述した立体視領域の追従可能なリアクロスレンチ光学系である。１０２はシステム全体の制御を行うシステムコントローラでマイクロプロセッサや電子回路で構成される。１０３は左右方向の立体視領域の追従を行う市松マスク左右追従サーボ系で、市松マスク７を左右に移動するための支持機構や駆動機構、サーボモータのドライバー等から構成される。１０４は前後方向の立体視領域の追従を行う縦レンチ前後追従サーボ系で、縦レンチ３を前後に移動するための支持機構や駆動機構、サーボモータのドライバー等から構成される。１０５は観察者の視点位置を計測するための視点位置検出器で、観察者の位置を検出できれば、いかなる手段でもよいが、非接触で検出できる画像処理による方法が望ましい。１０６は視差画像を表示するための画像表示用コンピュータであり、システムコントローラから視点位置の情報を受け取り、それに応じた視差画像を表示し、いわゆる運動視差を表示することも可能である。

続いて、領域ごとの表示制御について説明する。

図８は、本発明で視点検出追従機能と運動視差表示機能を備えた立体表示装置の動作或いは制御範囲を示した図である。ビデオカメラを用いた画像処理方式では撮像の光学上の制約から検出の範囲は台形になることが多いが、図８では簡単のため検出の範囲を長方形としている。視点追従範囲は市松マスク左右追従サーボ系１０３と縦レンチ前後追従サーボ系１０４の制御範囲である。運動視差表示範囲１１３は運動視差表示が可能な範囲となる。また、図８において、Zone-Aは視点追従を行うが運動視差表示は行わない領域、Zone-Bは視点検出を行うが視点追従も運動視差表示も行わない領域、Zone-Cは検出範囲外で追従も運動視差表示も行わない領域である。

検出の範囲は主に使用する視点位置検出器の測定範囲に依存する。立体視領域の追従は視点位置の検出結果を市松マスク左右追従サーボ系１０３と縦レンチ前後追従サーボ１０４へのリファレンス信号として供給されることで実現している。この場合、市松マスク７や縦レンチ３の制御範囲、すなわち、視点追従範囲は視点検出範囲の同等または小さく設定される。つまり、視点検出範囲≧視点追従範囲である。これら視点検出手段、視点追従範囲及び運動視差表示範囲は、本発明の制御回路やソフトウエアに記憶・制御される。

運動視差表示の範囲は良好に立体視できるところで行われるので、視点追従の範囲と同等または小さく設定される。つまり、視点追従範囲≧運動視差表示範囲である。

図９は上記の領域別の画像制御及び立体画像表示装置の制御を説明したフローチャートである。ステップｓ１０１は視点検出器１０５を制御し、視点位置の情報を得る。この時の視点位置の情報としては３種類ある。第１は観察者が視点検出範囲以内に存在するか、第２に視点検出処理が成功したか否か、第３は視点位置の座標値で検出が失敗或いは観察者が存在しない場合はデータの更新はない。ステップｓ１０２はステップｓ１０１の視点位置情報によって制御手順を変える判断処理である。ステップｓ１０２で視点位置が有効な座標位置と判定されれば、ステップｓ１０４に進む。逆に無効な座標値又は観察者が不在と判定されたらステップｓ１０３に進む。ステップｓ１０３においては、無効な座標値の場合は追従のサーボ系への位置信号の更新は行わない。また、観察者が不在の場合は、システム全体のパワーセーブ処理や立体視領域の位置をデフォルトにする等の所定の処理がなされる。ステップｓ１０４では視点位置がZone-Bにあるか否かを判定し、Zone-Bにあればステップｓ１０５へ、Zone-Bになければステップｓ１０６へ進む。ステップ１０５では追従系の信号をZone-Bと追従範囲の境界の位置情報に制限する。

また、２Ｄ／３Ｄ混在又は表示機能を有するものであれば２次元表示を行う。ステップｓ１０６では視点位置がZone-Aにある否かを判定し、Zone-Aあればステップｓ１０７、Zone-Ａなければステップｓ１０８進む。ステップｓ１０７は運動視差なしの立体表示を行う。また、観察者が運動視差表示範囲からZone-Aに移動した場合は運動視差範囲とZone-Aの境界値の位置情報をZone-Aでの位置信号とする。ステップｓ１０８は運動視差表示範囲内か否かの判断処理で、範囲内であればステップｓ１０９へ進む。逆に範囲内でなければ次の所定の処理へ進む。但し、論理的にはそのような場合は存在しない場合であるので、このステップｓ１０８を省略してもかまわない。ステップｓ１０９は運動視差表示の処理で観察者の視点位置に応じた視差画像を表示し、観察者に運動視差のある立体像を観察させる。

以上、第１の実施形態で説明したように、領域を分けることにより、画像表示とシステム制御が適切に行うことができる。

続いて、本発明の第２の実施例の立体表示装置を図１０〜図１６に基づいて説明する。

この実施例２では、上述の実施例１にＧＵＩとポインティングデバイスを実装したコンピュータシステムについて述べる。立体表示方式は実施例１と同様に左右の視差画像を交互にストライプ状で観察者に出射し表示する直視型の立体表示方式であれば、いずれの方式でも本発明に適用可能である。この実施例２の説明も、リアクロスレンチ方式を例に説明を行う。

まず、リアクロスレンチ方式の２Ｄ/３Ｄ混在表示について説明する。

立体表示装置の表示部に２次元画像と３次元画像が同時に存在することを２Ｄ／３Ｄ混在表示と呼ぶことにする。また、立体表示装置の表示部の全面が２次元と３次元に切り替わる表示も２Ｄ／３Ｄ混在表示の一部として考える。

直視型の立体表示方式は観察者の左右眼に各々の視差画像を表示し、その両眼視差画像を観察者が見ることで立体像を認識している。左右の視差画像は、それぞれ逆の視差画像が混ざらないように光学的な制限を受けることになる。この光学的な制限を除去することで、通常の２次元表示が可能になる。リアクロスレンチ方式の２次元表示としては２種類の方法が考えられる。第一はリアクロスレンチ光学系の途中に拡散性の部材、例えば、磨りガラス等を挿入する。磨りガラスの代わりに透過散乱の切り替え可能なPDLCを用いることにより、電気的に２次元と３次元表示が制御できる。第二は市松マスクを液晶等で構成し、２次元表示の時には市松マスクを表示しない。後者の方法で、市松マスクを任意の位置に発生させることで部分的に３次元表の２Ｄ／３Ｄ混在表示が可能である。

次に、システムについて説明する。図１０は実施例２の外観を示す。２０１は立体表示装置で立体表示部２０２と視点位置検出器１０５からなる。２１１はホストコンピュータ、２１２はポインティングデバイスであるマウス、２１３はキーボード、２９０は本システムを使用する観察者である。

図１１はこの実施例２のシステム構成を説明する機能ブロック図である。２０１は立体表示装置、２１１はホストコンピュータ、２１２はポインティングデバイスである。立体画像表示装置２１１は、立体表示装置全体の制御や管理を行うシステムコントローラ２２１、２Ｄ／３Ｄ混在表示を行うための画像表示制御部２２２、観察者の視点位置を検出する視点位置検出器２２３、視点位置検出器２２３の情報にもとづいて立体視領域の追従を行う視点追従部２２４が含まれる。ホストコンピュータ２２１は、２Ｄ／３Ｄ混在表示制御機能を有するＧＵＩ制御部２３１、コンテンツの視差画像の生成制御を行うコンテンツ表示制御部２３２、立体表示装置２０１の制御を行う立体表示装置制御部２３３を含む。

図１２は立体表示装置の表示画面全体が２次元表示を行っているときの画像の図で、２次元表示機能のみの通常のコンピュータシステムのＧＵＩである。図中の２３０は画面の最も外側の境界の外枠、２３１は画面のタイトルバー、２３２はプルダウンメニューで使用されるメニューバー、２３３は画像を表示するためのウインドウ、２３４ａ、２３４ｂ、２３４ｃ、２３４ｄは、ディスクファイルや入出力デバイスを仮想的に使用者に示すアイコンである。２３５はオブジェクトを選択を行ったり、座標を入力するためにマウス等のポインティングデバイスによって移動可能なポインタである。

２３６は前述のオブジェクトの背景である。このように、アイコン２３４ａ〜２３４ｄ、ウインドウ２３３、メニュー２３２などを用いるＧＵＩでは、ファイルの移動、コピー、削除、周辺機器との入出力を行うためや、ディスプレイ上でその様な作業を行うための場所をデスクトップのウインドウ領域上に確保する目的で、ファイルシステム上のディレクトリや、アプリケーションに関連づけられたアイコン、ウインドウ、メニューなどのオブジェクトを移動したりすることがある。

また、図１３は本実施形態において、複数のウインドウを表示しているＧＵＩの表示例を示す図である。２３３ａ、２３３ｂ、２３３ｃはユーザによって開かれ画像表示をしているウインドウで、ウインドウの重なりに応じて、他のオブジェクトが隠れるといったことが生じる。このオブジェクトの重なり合いにおいては、ウインドウがアクティブ或いは、イベントが作用した時刻が新しい方を優先させるように表示する。

図１４は表示オブジェクトのウインドウ２３３をポインタ２３５で選択したときの図で、ウインドウ２３３がアクティブになった時の様子を示す。ウインドウ２３３のコンテンツは３次元データを持ち、ウインドウがアクティブになって時に３次元表示状態になる。尚、紙面の都合で、３次元表示は斜視図で示した。また、ウインドウがアクティブでない時は、視差画像の一方か他の画像等で２次元表示する。

図１５はウインドウが複数ある場合で、ポインタ２３５でウインドウ２３３ａをアクティブにしたときの図である。

ここで、運動視差表示について説明する。

図１６は観察者がＧＵＩに働きかけて、本実施形態のシステムを操作している処理のフォローチャートである。ステップＳ２０１はウインドウがアクティブか否かを判断する。このとき立体表示装置に表示されているウインドウは一つ或いは複数存在していてもよい。Ｓ２０１でアクティブなウインドウがないと判断されると描画に関する一連の更新処理は行わないか、場合によっては２次元表示を行う。また、アクティブなウインドウが存在すると判断すると次のステップＳ２０２に進む。Ｓ２０２は新たにウインドウイベントが発生したかどうか判断する処理である。ウインドウイベントとはウインドウのリサイズやドラッグ等である。また、複数のウインドウがあって、アクティブウインドウを切り替えたときもウインドウイベントとなる。ウインドウイベントが発生していない場合はステップｓ２０４に進む。ウインドウイベントが発生した場合はステップｓ２０３へ進み、ウインドウの再描画等の処理が行われる。また、必要に応じて再描画がされる。ステップｓ２０４は視点位置が更新されたか否かを判定する。視点位置の更新が無ければ、本処理を抜ける。視点位置の更新があれば、ステップｓ２０５へ進む。ステップｓ２０５は視点位置検出器から観察位置を取得する処理である。ステップｓ２０６はウインドウの位置と観察者の位置から視差量を求め視差画像を生成する。この場合のウインドウの位置は、表示領域の中心でステップｓ２０７は視差画像の描画を行う処理である。

また、上述のフローチャートの説明になかったが、以下の行程を、加えてもよい。

ウインドウがアクティブでないか、又は画像表示ウインドウが存在しない時は、省電化のために、視点検出機能と追従機能を停止する。

ウインドウをドラッグする場合は２次元表示とする。ウインドウをドラッグする場合は運動視差表示を行わない。

ウインドウをドラッグする場合は運動視差表示、３次元表示を観察者が設定できる。

ウインドウに表示されている立体オブジェクトをポインタやアイコン等を用いて、観察者の任意の位置に回転・移動してもよい。

以下に、本発明の第３の実施例の立体表示装置を図１７に基づいて説明する。

両眼視差方式は眼の調節と輻輳の矛盾が一致しないため、観察者によっては疲労感や違和感を訴えるものがいる。また、この疲労感や違和感は観察者の個体差が大きいため、観察者によって立体表示条件を設定できる必要がある。

この実施例３では、観察者の好みよって３Ｄ表示環境を設定できるGUI及び本立体表示装置の制御方法について述べる。

まず、立体表示のダイアローグに説明する。

図１７は観察者が任意に立体表示条件を設定するためのダイアローグである。３０１は本システムのＧＵＩ部品であるダイアローグボックスであり、メニューバーのプルダウンで選択することにより、表示と設定が可能となる。３０２はダイアローグのタイトル、３０３は設定確認用ボタンで、ボタンをポインタでクリックすることによりダイアローグを閉じる。３０４は立体表示選択用ラジオボタンで、ＯＮで立体表示可能なオブジェクトは立体表示する。逆にＯＦＦであれば、立体表示可能オブジェクトであっても立体表示しない。

３０５は運動視差表示選択ラジオボタンで、ＯＮで運動視差表示可能なオブジェクトは運動視差表示する。逆にＯＦＦであれば、運動視差表示可能オブジェクトであっても運動視差表示しない。３０６は運動視差強度の設定を行うスライダである。運動視差強度とは、観察者の移動量に対して、表示オブジェクトの視差をどの程度の視差を与えるかの比で、小さく設定すると微妙な運動視差となり、大きく設定すると誇張した運動視差となる。尚、運動視差表示選択ラジオボタンがＯＮでなければ、スライダ３０６は無効となる。

３０４と３０５のラジオボタンの設定によって、本システムは以下のようになる。

１）立体表示ラジオボタンＯＮ且つ運動視差ラジオボタンＯＮの場合は、両眼視差方式と運動視差表示が混合された表示になる。

２）立体表示ラジオボタンＯＮ且つ運動視差ラジオボタンＯＦＦの場合は、両眼視差方式のみの立体表示で視点追従は機能する。

３）立体表示ラジオボタンＯＦＦ且つ運動視差ラジオボタンＯＮの場合は、運動視差表示のみの表示。第１の実施形態で述べた運動視差表示範囲は視点検出範囲と同等又は小さく設定される。この時、視点追従機能は動作しない。

４）立体表示ラジオボタンＯＦＦ且つ運動視差ラジオボタンＯＦＦの場合は、通常の２次元表示装置として動作する。このとき、視点検出機能と視点追従機能は動作しない。

続いて、本発明の第４の実施例の立体表示装置を図１８に基づいて説明する。

上記実施例では、主に表示する画像は連続した視差画像が生成できる場合を述べた。しかしながら、常に連続した視差画像が生成可能なデータを扱うことはなく、様々な画像データにコンピュータシステムが対応できなくてはならない。

この実施例４では、様々な画像データに対応できるコンピュータシステムについて述べる。
（１）画像データの種類：第４の実施形態で扱う画像データとしては次の３種類がある。第１は視差情報のない画像、すなわち、通常の２次元画像データである。第２は複数の視差画像データで、連続した視差画像の生成ができない画像データである。第３は上述で述べたように連続した視差画像が可能であり、運動視差表示可能な画像データであり、３次元コンピュータグラフィックスデータが代表的である。
（２）画像データのよる処理の流れ：図１８に処理の概要を説明したフローチャートを示す。ｓ３０１は表示するデータが従来から用いられている２次元画像データか３次元画像データかを判断するステップで、２次元画像データと判断されるとｓ３０２の２次元画像処理へ分岐し、３次元画像データであれば、ステップｓ３０３へ進む。

ステップｓ３０２の２次元画像処理には以下の処理が含まれる。
１）従来と同じ２次元画像処理を行う、２）視点検出機能と視点追従機能の停止する、３）２Ｄ／３Ｄ混在表示を２次元表示に固定する。

ステップｓ３０３は３次元画像データを持つもので、運動視差表示が可能か否かを判断するステップで、運動視差表示が不可能と判断するとステップｓ３０４の運動視差なし立体表示処理へ分岐し、運動視差が可能と判断するとステップｓ３０５の運動視差あり立体表示処理へ進む。

ステップ３０５は上記の実施形態と同様の処理が行われる。ステップｓ３０４は運動視差表示手段が有効に働かない以外はステップｓ３０５と同様である。

本発明の第１の実施例に係り、リアクロスレンチ方式における立体視領域の追従原理図本発明の第１の実施例に係り、左眼用１走査線における水平断面図である。本発明の第１の実施例に係る立体観察領域の説明図である。本発明の第１の実施例に係る前後方向の追従原理図である。本発明の第１の実施例に係る前後方向の立体視領域拡大の説明図である。本発明の第１の実施例に係り、観察距離によるクロストーク領域を示す図である。本発明の第１の実施例に係るシステム構成のブロック図である。本発明の第１の実施例に係る立体表示装置の動作或いは制御範囲を示す図である。本発明の第１の実施例に係る領域別の制御方法のフローチャートである。本発明の第２の実施例に係るシステムの外観図である。本発明の第２の実施例に係るシステムの機能ブロック図である。本発明の第２の実施例に係る２次元表示のみのＧＵＩ画面である。本発明の第２の実施例に係り、複数ウインドウで２次元表示のみのＧＵＩ画面である。本発明の第２の実施例に係る２Ｄ／３Ｄ混在表示のＧＵＩ画面である。本発明の第２の実施例に係り、複数ウインドウで２Ｄ／３Ｄ混在表示のＧＵＩ画面である。本発明の第２の実施例に係るシステムのフローチャートである。本発明の第３の実施例に係る立体表示条件設定のダイアローグである。本発明の第４の実施例に係る画像の種類による処理のフローチャートである。従来のコンピュータシステムの階層図である。リアクロスレンチ方式の要部斜視図である（従来例）。視点追従の原理図である（従来例）。電子式パララックス・バリア方式の基本構成図である（従来例）。電子式パララックス・バリア方式の表示部構成図である（従来例）。２Ｄ／３Ｄ混在表示の説明図である（従来例）。運動視差を備えた立体表示装置の外観図である（従来例）。運動視差を備えた立体表示装置のブロック図である（従来例）。運動視差を備えた立体表示装置のＧＵＩである（従来例）。

符号の説明

１０１リアクロスレンチ光学系
１０２システムコントローラ
１０３市松マスク左右追従サーボ系
１０４縦レンチ前後追従サーボ系
１０５視点位置検出器
１０６画像表示用コンピュータ
２０１立体表示装置
２０２立体表示部
２１１ホストコンピュータ
２１２マウス
２１３キーボード
２２１システムコントローラ
２２２画像表示制御部
２２３視点位置検出器
２２４視点追従部
２３１ＧＵＩ制御部
２３２コンテンツ表示制御部
２３３立体表示装置制御部
２９０観察者

Claims

観察者の視点位置を検出する視点検出手段と、前記視点検出手段によって検出された視点位置情報に応じて立体表示領域を追従する視点追従手段と、前記視点追従手段の検出結果によって複数の視差画像を生成する視差画像生成手段と、前記視差画像生成手段によって生成された視差画像を用いて立体表示する立体表示手段を備えた立体表示装置において、
観察者の視点位置情報に応じて視点追従手段と視差画像生成手段と立体表示手段の制御を行うことを特徴とする立体表示装置。
請求項１記載の立体表示装置において、観察者の視点位置に応じて視点追従手段の有効と無効を切り替える視点追従範囲を設けたことを特徴とする立体表示装置。
請求項１記載の立体表示装置において、観察者の視点位置に応じた視差画像生成手段の有効と無効を切り替える視差画像生成範囲を設けたことを特徴とする立体表示装置。
請求項１記載の立体表示装置において、視点検出範囲以内で且つ視差画像生成範囲外の範囲では、観察者が所定の位置にいるものとして視差画像を生成して表示することを特徴とする立体表示装置。
請求項１記載の視点追従手段の視点追従範囲を視点検出手段の可能な範囲以下に制限したことを特徴とする立体表示装置。
請求項１記載の視差画像生成手段の視差画像生成範囲を視点追従範囲以下に制限したことを特徴とする立体表示装置。
請求項１記載の装置に２次元表示と立体表示の切り替え或いは混在表示が可能な２Ｄ／３Ｄ混在機能を更に備えた立体表示装置において、上記の視点追従範囲外では２次元表示を行うことを特徴とする立体表示装置。
請求項１記載の視点検出手段によって検出される視点位置情報は、観察者が視点検出範囲以内に存在する否か、視点検出処理が成功したか否か、及び視点位置の座標値で構成され、検出が失敗或いは観察者が存在しない場合は視点位置の座標値の更新をしないことを特徴とする立体表示装置。
請求項１〜８いずれか記載の立体表示装置において、上記視点位置情報で観察者が存在しない場合は、視点追従手段を停止することを特徴とする立体表示装置。
観察者の視点位置を検出する視点検出手段と、前記視点検出手段によって検出された視点位置情報に応じて立体表示領域を追従する視点追従手段と、前記視点追従手段の検出結果によって複数の視差画像を生成する視差画像生成手段と、前記視差画像生成手段によって生成された視差画像を用いて立体表示する立体表示手段と、前記立体表示手段は２Ｄ／３Ｄ混在表示手段を持ち、ポインティングデバイス等によって操作可能なグラフィカルユーザインターフェースを実装した立体表示装置において、
アクティブな表示ウインドウに対して、立体表示制御を行う請求項１〜１０いずれか記載の立体表示装置。
請求項１０記載の立体表示装置において、視差画像生成手段はアクティブな表示ウインドウの中心位置と視点位置の相対関係から視差画像を生成することを特徴とする立体表示装置。
請求項１０記載の立体表示装置において、立体表示可能な画像表示ウインドウが存在しない場合は、視点検出手段と視点追従手段の停止を行うことを特徴とする立体表示装置。
請求項１０記載の立体表示装置において、観察者が立体表示と運動視差表示をするか否かの表示選択手段を備えることを特徴とする立体表示装置。
請求項１３記載の立体表示装置において、表示選択手段で両眼視差方式と運動視差表示を同時に設定できることを特徴とする立体表示装置。
請求項１３記載の立体表示装置において、表示選択手段で両眼視差表示のみの設定ができることを特徴とする立体表示装置。
請求項１３記載の立体表示装置において、表示選択手段で運動視差表示のみの設定ができることを特徴とする立体表示装置。
請求項１３記載の立体表示装置において、表示選択手段で両眼視差方式と運動視差表示を同時に設定解除できることを特徴とする立体表示装置
観察者の視点位置を検出する視点検出手段と、前記視点検出手段によって検出された視点位置情報に応じて立体表示領域を追従する視点追従手段と、前記視点追従手段の検出結果によって複数の視差画像を生成する視差画像生成手段と、前記視差画像生成手段によって生成された視差画像を用いて立体表示する立体表示手段と、該立体表示手段は２Ｄ／３Ｄ混在表示手段を持ち、ポインティングデバイス等によって操作可能なグラフィカルユーザインターフェースを実装した立体表示装置において、
表示対象の画像データが２次元画像データか３次元画像かを判断する判断手段と、３次元画像と判断された場合は更に、運動視差表示が可能か否かを判断する判断手段を備えたことを特徴とする立体表示装置。