JP2004282217A

JP2004282217A - 多眼式立体映像表示装置

Info

Publication number: JP2004282217A
Application number: JP2003068057A
Authority: JP
Inventors: Kazuhiko Ito; 和彦伊藤; Shinichi Oe; 愼一大江; Hirohide Otani; 大谷　　博英; Kei Tamura; 圭田村; Koji Ogura; 浩二小椋
Original assignee: Tokyo Sanyo Electric Co Ltd; Tottori Sanyo Electric Co Ltd; Sanyo Electric Co Ltd
Current assignee: Tokyo Sanyo Electric Co Ltd; Sanyo Electric Co Ltd
Priority date: 2003-03-13
Filing date: 2003-03-13
Publication date: 2004-10-07

Abstract

【課題】解像度を低下することなく、観察者の移動に応じて、被写体を回り込んで観察する立体映像を表示することのできる多眼式立体映像表示装置を提供する。
【解決手段】立体映像表示ユニット１２、視点検知センサー１８、視点位置検出部１９、ドライバー回路部１４、３Ｄ画像処理部１６から構成され、観察者の視点位置を、視点検知センサー１８、視点位置検出部１９で検出し、視点位置に応じて３Ｄ画像処理部１６によって８眼式で作成した視差画像のうち、例えば、隣接する４つの視差像を選択して画像作成し、ドライバー回路部１４を介して立体映像表示ユニットに立体映像を表示する。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、特殊な眼鏡を使用することなく、液晶表示パネル等を用いて物体の映像を立体的に観察することができる立体映像表示装置に関するものであり、特に、物体を回り込んで観察するように立体映像を表示するようになした多眼式立体映像表示装置に関するものである。
【０００２】
【従来の技術】
従来、特殊な眼鏡を使用しないで立体映像を表示する方法として、レンチキュラ方式、パララックスバリア方式、光源をスリット化する方式等の方式が提案されている。
【０００３】
図７はパララックスバリア方式による立体映像表示の原理を示す模式図である。観察者が観察する映像は、液晶表示パネル３０に形成される。立体視を可能とするために、前記液晶表示パネル３０には、左眼用映像が表示される左眼用画素Ｌと、右眼用映像が表示される右眼用画素Ｒとが形成されている。左眼用画素Ｌと右眼用画素Ｒとの位置関係については、後述する。左眼用映像と右眼用映像とは、例えば、左眼用と右眼用の２台のカメラにて同時に撮影して得ることができ、あるいは、１つの画像データから論理的演算によって算出することができるる。このようにして得られた両映像には、人間が両眼視差によって立体知覚を行うために必要な視差情報が含まれる。
【０００４】
液晶表示パネル３０の前方には、遮光バリアであるパララックスバリア３１が配置される。パララックスバリア３１には、縦ストライプ状に複数の開口部３１ａが形成される。開口部３１ａの間隔は、前記左眼用画素Ｌと右眼用画素Ｒの配列に対応して設定される。上記パララックスバリア３１により、左眼用映像と右眼用映像とが左右に分離され、この分離された映像は観察者の左眼２Ｌ、右眼２Ｒに夫々入光する。これによって観察者は立体映像を観察することができる。なお、図７においてバックライトは図示を省略している。
【０００５】
上記した立体映像装置において、観察者の頭の位置が正視領域と逆視領域との間のモアレ領域にある時に、パララックスバリアの開口部の横方向両端に設けた液晶シャッタの遮光を選択的にＯＮ−ＯＦＦしてパララックスバリアの位置を横に移動させ、正視領域又は逆視領域を横に移動させる遮光部移動手段を設けることにより、観察者の頭の位置に対応して画面上の右目画像と左目画像とを入れ換える際の違和感を解消した技術が下記の特許文献１に開示されている。
【０００６】
このような原理を用いた立体映像表示装置において、例えば、下記の特許文献２に開示されるように、物体を回り込んで観察できるように立体映像を表示する多眼式と称される立体映像表示装置も知られている。図８は前記特許文献２に開示された８眼式立体映像表示装置を示す模式図である。この立体映像表示装置は、バックライト３２と液晶表示パネル３０とパララックスバリア３１とからなるパララックスバリア方式の表示装置である。
【０００７】
この立体映像表示装置は、８眼式（視点数８個）であり、８つの映像（視差像）（ａ′）（ｂ′）（ｃ′）（ｄ′）（ｅ′）（ｆ′）（ｇ′）（ｈ′）が図９に示すように、液晶パネ３０上に順繰りに表示される構成を有するものであり、隣合う映像を左眼と右眼で観察し、観察者２０が（１）〜（７）へと順次移動することによって該隣合う映像の組合わせが順次（ａ′）と（ｂ′）、（ｂ′）と（ｃ′）、（ｃ′）と（ｄ′）、（ｄ′）と（ｅ′）、（ｅ′）と（ｆ′）、（ｆ′）と（ｇ′）、（ｇ′）と（ｈ′）のように変わっていくことなる。これにより、観察者２０の目には移動前とは異なる映像が入り込み、表示されている被写体を回り込んで見るような感覚が得られるようになっている。
【０００８】
このような構成の立体映像表示装置では、液晶パネル３０の表示画面から出射される光の集光点位置の間隔は、眼間距離Ｅにほぼ等しくなっており、観察者が眼間距離Ｅと同じ距離移動するごとに観察する映像が変わるようになっている。なお、かかる立体映像表示装置の画面上（液晶パネル３０上）に表示され前記８つの映像（ａ′）〜（ｈ′）は、図１０に示すように、眼間距離Ｅに対応した間隔で中心軸を被写体４０に向けて配置された８台のカメラ１５ａ〜１５ｈによりそれぞれ撮影したものである。
【０００９】
【特許文献１】
特開平９−１９７３４４号公報
【００１０】
【特許文献２】
特開平１０−１７０８６６号公報
【００１１】
【発明が解決しようとする課題】
ところで、このような立体映像表示装置を観察する場合、観察者としては被写体の側面や裏側がどのようになっているかを観察したくなるという自然の欲求や好奇心が沸くものであって、その場合、観察者の行動としては、表示装置を観察する視点、頭の位置を画面の左や右に移動させることが容易に推測し得る。また、美術品等の被写体を表示する場合には美術館における展示の如く、前からだけでなく、移動して側面や裏面を観察しているような表示が望まれることも多いと考えられる。
【００１２】
しかしながら、上記特許文献１に開示された技術では上記のような要求に応えた立体映像表示を行うことはできず、また上記特許文献２に開示された多眼式立体表示装置においては、観察者の移動につれて順次被写体を異なった角度から観察した映像を提供することができるものの、多眼により作成された画素が表示パネル上に全て表示されるため、解像度が低下して良好な画質を保つことができないという問題点があった。
【００１３】
本願の発明者は上記の問題点を解消すべく種々検討を重ねた結果、表示パネルで同時に表示可能な視差像数よりも多数の視差像を用意しておき、観察者の視点の位置によって一部の画素を選択して表示するようになすことによって解像度を低下させることなく、被写体を回り込んで観察する立体映像を提供できることを見出し、本発明を完成するに至ったものである。
【００１４】
すなわち本発明は前記の問題点を解決することを課題とし、解像度を低下することなく、観察者の移動に応じて、被写体を回り込んで観察する立体映像を表示することのできる多眼式立体映像表示装置を提供することを目的とするものである。
【００１５】
【課題を解決するための手段】
本発明の上記目的は以下の構成により達成することができる。すなわち、本発明に係る多眼式立体映像表示装置は、多眼で作成した視差像を同時に表示する液晶表示パネルと、両眼視差効果を生じさせる遮光部を有する遮光バリアと、観察者の位置を検知する視点検知センサーと、液晶表示パネルで同時に表示できる視差像数より多数の視差像から一部の視差像を選択して液晶表示パネルに供給する３Ｄ画像処理部とを備えた多眼式立体映像表示装置であって、３Ｄ画像処理部は視点検知センサーによって検知された観察者の位置に基づいて、多眼で作成された視差像から一部の視差像を選択して液晶表示パネルに供給するようになしたことを特徴とする。
【００１６】
係る構成によれば、解像度を低下することなく、観察者の頭部の移動に応じて、被写体を回り込んで観察する立体映像を表示することが可能となる。
【００１７】
係る構成において、３Ｄ画像処理部は、観察者の位置に基づいて、多眼で作成した視差像から隣接する視差像であって液晶表示パネルに同時に表示可能な数の視差像を選択して液晶表示パネルに供給するようになすことが好ましい。
【００１８】
また、視点検知センサーにより観測者が所定の領域内にいるかどうかを検知し、観測者が所定の領域から外れたときに液晶表示パネルに供給する視差像を切換えるようにし、さらに観察者の位置が所定の領域外にあるときは、観測者の位置に基づいて複数の視差像のなかから左側もしくは右側の隣接する視差像を選択して液晶表示パネルに供給することが好ましい。また、所定の領域が観測者により立体映像を認識することができる適視領域にすることが好ましい。
【００１９】
また、液晶表示パネルは４つの視差像を同時に表示することができ、３Ｄ画像処理部は複数の視差像から隣接する４つの視差像を選択して液晶表示パネルに供給することを特徴とする。
【００２０】
【発明の実施の形態】
以下、図面を参照して本発明に係る多眼式立体映像表示装置の実施形態について詳細に説明する。図１は本発明に係る多眼式立体映像表示装置の概略構成を示す図である。図１に示すように本発明に係る多眼式立体映像表示装置は、立体映像表示ユニット１２およびそのドライバー回路部１４と３Ｄ画像処理部１６とから構成されている。立体映像表示ユニット１２は、例えば、図７に示した従来の立体映像表示装置と同様に、視差像を同時に構成されたものであり、左眼用画素と右眼用画素とを交互に表示する液晶表示パネルと、両眼視差効果を生じさせるパララックスバリア等の遮光部を有する遮光バリアとから構成され、それぞれがドライバー回路部１４で駆動されており、液晶表示パネルは３Ｄ画像処理部１６によって形成された視差像に応じた液晶画素が前記ドライバー回路部１４によって駆動されている。
【００２１】
この立体映像表示ニット１２は、液晶表示パネルで３眼以上の視差像を表示できる場合、以下の点で図７の立体映像装置と異なる。すなわち、図７の立体映像装置は２眼式であり、右目用画素と左目用画素を液晶パネル上で固定した形態となり、認識できる立体画像は１種類である。つまり、右眼で右眼用画素を、左眼で左眼用画素を観察している位置では頭部を動かしても１種類の画像しか認識することができず、また左眼によって右目用画素が観察される位置では逆視といわれる現象が発生する。
【００２２】
これに対して例えば４眼式の視差像を表示できる液晶表示パネルの場合、４台のカメラで撮影した４種類の視差像がそれぞれ該当する画素位置に表示される。従って、例えば、ある位置では１番目と２番目のカメラで撮影した視差像を観察していたものが、頭部を動かすことによって２番目と３番目のカメラで撮影した視差像を観察することができ、異なる立体画像を認識することができる。このとき、２番目のカメラで撮影した視差像は観察者の位置によって右目によって観察されたり、左目によって観察されたりする。
【００２３】
３Ｄ画像処理部１６には、例えば、図２に示すように被写体４０を８台のカメラＣ１〜Ｃ８で撮影した視差像（Ｃ１画像入力〜Ｃ８画像入力）が入力されるが、この時、後述するように、観察者の位置によって、４つの画像が選択されてドライバー回路１４に供給される。
【００２４】
視点検知センサー１８は観察者２０の位置を検出するものであり、例えば、赤外線送受信装置からなり、赤外線を放射して観察者２０の頭部による反射を受信するものである。観察者２０の頭部によって反射された赤外線は視点検知センサー１８により受信され、視点位置検出部１９に送られて観察者２０の頭部の位置および距離が検出される。視点検知センサー１８および視点位置検出部は、アイセンサー等他の検出装置を用いることも可能である。
【００２５】
観察者２０の視点位置が図１の矢印ＡないしＢに示す立体映像の適視領域にある場合は、８台のカメラで作成した視差像の画像入力のうち、隣接する中央の視差像、例えば、Ｃ３画像力〜Ｃ６画像入力が３Ｄ画像処理部１６で選択されドライバー回路部１４に供給される。これにより立体映像表示ユニット１２が駆動され、被写体４０を正面から観察した立体映像が表示される。
【００２６】
Ｃ３画像力〜Ｃ６画像入力によって液晶パネルに供給される視差像は、中央の隣接するカメラＣ３〜Ｃ６（図２参照）で撮影された視差像であり、液晶パネルの隣接する画素位置に表示され、それぞれの視差像は、観察者の位置によって右眼で観察され、あるいは、左眼で観察されるように変化する。
【００２７】
観察者２０の視点位置が図１のＣに示すように立体映像の適視領域外の左側に移動した場合は、８台のカメラで作成した視差像の画像入力のうち、隣接する左側の視差像、例えば、Ｃ１画像力〜Ｃ４画像入力が３Ｄ画像処理部１６で選択されドライバー回路部１４に供給される。これにより立体映像表示ユニット１２が駆動され、被写体４０を左側から観察した立体映像が表示される。
【００２８】
Ｃ１画像力〜Ｃ４画像入力によって液晶パネルに供給される視差像は、左側の隣接するカメラＣ１〜Ｃ４（図２参照）で撮影された視差像であり、液晶パネルの隣接する画素位置に表示され、それぞれの視差像は、観察者の位置によって右眼で観察され、あるいは、左眼で観察されるように変化する。
【００２９】
同様に、観察者２０の視点位置が立体映像の適視領域外の右側に移動した場合は、８台のカメラで作成した視差像の画像入力のうち、隣接する右側の視差像、例えば、Ｃ５画像力〜Ｃ８画像入力が３Ｄ画像処理部１６で選択されドライバー回路部１４に供給される。これにより立体映像表示ユニット１２が駆動され、被写体４０を右側から観察した立体映像が表示される。
【００３０】
Ｃ５画像力〜Ｃ８画像入力によって液晶パネルに供給される視差像は、左側の隣接するカメラＣ５〜Ｃ８（図２参照）で撮影された視差像であり、液晶パネルの隣接する画素位置に表示され、それぞれの視差像は、観察者の位置によって右眼で観察され、あるいは、左眼で観察されるように変化する。
【００３１】
図３は以上の処理において、観察者２０の視点を検出する手順を示すフローチャートである。ステップＳ１０において視点検知センサーの検出信号が視点位置検出部１９に入力され、ステップＳ１１で視点位置検出部１９で観察者の視点あるいは頭部の位置が算出される。ステップＳ１２で観察者２０の視点位置が立体映像の適視領域内にあるか否かが判定され、適視領域内にある時には適視領域フラグが、例えば、「１」にセットされる。適視領域内にない時には適視領域フラグが、例えば、「０」にクリアされる。この適視領域フラグは、例えば、視点位置検出部１９で算出した観察者２０の視点位置のデータ（角度、距離等）に付加され３Ｄ画像処理部１６に送られる。
【００３２】
図４は３Ｄ画像処理部１６における前述の視差像の選択処理の手順を示すフローチャートである。３Ｄ画像処理部１６は、視点位置検出部１９から視点位置のデータを受けると、ステップＳ２１において視点が図１で説明した適視領域内にあるか、すなわち適視領域フラグが「１」にセットされているか否かを判定する。その結果視点位置が適視領域内にあれば、ステップＳ２２で、前述したように８つの視差像のうち中央の隣接する４つの視差像（Ｃ３画像力〜Ｃ６画像入力）が選択される。
【００３３】
視点位置が適視領域にない場合は、ステップＳ２４で視点位置のデータが判定され、観察者２０の視点位置が適視領域の左側にある場合は、８つの視差像ののうち、隣接する左側の４つの視差像（Ｃ１画像力〜Ｃ４画像入力）が、また、適視領域の右側にある場合は隣接する右側の４つの視差像（Ｃ５画像入力〜Ｃ８画像入力）がステップＳ２５で選択される。
【００３４】
ステップＳ２２あるいはステップＳ２５で、表示する４つの視差像が選択されると、ステップＳ２３において、ステップＳ２２あるいはステップＳ２５で選択された視差像によって３Ｄ画像が作成され、ドライバー回路１４が動作し、立体映像表示ユニット１２に選択された視差像が表示される。
【００３５】
このような表示手順によれば、観察者２０の視点位置が適視領域外に外れ、その後、適視領域内に戻った場合、その視点位置に応じて視差像の組み合わせ選択が変化し、適視領域に戻った場合には被写体４０を正面から観察した立体映像表示に戻ることになる。一方、観察者２０の視点位置が適視領域外に外れ、被写体４０の左もしくは右の側面方向から観察した立体映像を表示し、その後、適視領域内に戻った場合に、側面方向から観察した立体映像表示を維持するよう選択する視差像を固定する表示方法も可能である。
【００３６】
この場合の表示手順を図５のフローチャートを参照して説明する。３Ｄ画像処理部１６は、視点位置検出部１９から視点位置のデータを受けると、ステップＳ２０１において適視領域内にあるか、すなわち適視領域フラグが「１」にセットされているか否かを判定する。視点位置が適視領域外にあれば、ステップＳ２０２で、視点位置のデータが判定され、観察者２０の視点位置が適視領域の左側にある場合は、８つの視差像ののうち、隣接する左側の４つの視差像（Ｃ１画像力〜Ｃ４画像入力）が、また、適視領域の右側にある場合は隣接する右側の４つの視差像（Ｃ５画像入力〜Ｃ８画像入力）がステップＳ２０３で選択される。
【００３７】
ステップＳ２０３で表示する４つの視差像が選択されると、ステップＳ２０５においてステップＳ２０３で選択された視差像によって３Ｄ画像が作成され、ドライバー回路１４が動作し、立体映像表示ユニット１２に選択された視差像が表示される。その後、観察者２０の位置が適視領域に戻るとステップ２０１で適視フラグ「１」が判定され、ステップＳ２０４で先に（ステップＳ２０３）で選択された視差像が保持され、ステップＳ２０５で保持された視差像によって３Ｄ画像が作成され、ドライバ回路１４動作し、適視領域外で観察した立体映像の表示が維持される。
【００３８】
ステップＳ２０１の判定手順は、視点位置の変化の経過を加味した手順とし、視点位置が移動せずに適視領域内にある場合は、図４のフローチャートの手順で被写体を正面から観察した映像が表示されるように構成すればよい。
【００３９】
このような表示手順によれば、観察者２０の視点位置が適視領域外に外れ、被写体を回り込んで観察した映像が得られ、その後、適視領域内に戻った場合にもその映像が保持され、画面を正面から観察した状態で、被写体を回り込んで観察した映像をそのまま観察することができる。
【００４０】
以上の説明は８つの視差像から視点位置に応じた４つの視差像を選択する例を示したが、図６に示すように１２台のカメラＣ１Ｌ〜Ｃ４Ｌ、Ｃ１〜Ｃ４、Ｃ１Ｒ〜Ｃ４Ｒで被写体４０を撮影して１２眼式の視差像を作成し、視点の位置に応じて、左側の４つの視差像（Ｃ１Ｌ〜Ｃ４Ｌ）、中央の４つの視差像（Ｃ１〜Ｃ４）、右側の４つの視差像（Ｃ１Ｒ〜Ｃ４Ｒ）を選択するように構成することもできる。選択する視差像の数は解像度とのトレードオフであり、かならずしも４つに限定する必要はない。
【００４１】
【発明の効果】
以上説明したように、本発明に係る立体映像表示装置によれば、解像度を低下することなく、観察者の移動に応じて、被写体を回り込んで観察する立体映像を表示することのできる多眼式立体映像表示装置を実現することができる。
【図面の簡単な説明】
【図１】本発明に係る多眼式立体映像表示装置の概略構成を示す図である。
【図２】８眼式の視差像を作成する構成を模式的に示す図である。
【図３】視点検出の処理手順を示すフローチャートである。
【図４】視点位置に基づいて視差像を選択する処理手順を示すフローチャートである。
【図５】視点位置に基づいて視差像を選択する第２の処理手順を示すフローチャートである。
【図６】１２眼式の視差像を作成する構成を模式的に示す図である。
【図７】立体映像表示装置の原理を説明する模式図である。
【図８】従来の多眼式立体映像表示装置の構成を示す模式図である。
【図９】図８における画素の配置を模式的に示す図である。
【図１０】図８における多眼式映像作成方法を模式的に示す図である。
【符号の説明】
１０…多眼式立体映像表示装置
１２…立体映像表示ユニット
１４…ドライバー回路部
１６…３Ｄ画像処理部
１８…視点検知センサー
１９…視点位置検出部
２０…観察者
Ｃ１〜Ｃ８…カメラ（画像入力）

Claims

多眼で作成した視差像を同時に表示する液晶表示パネルと、両眼視差効果を生じさせる遮光部を有する遮光バリアと、観察者の位置を検知する視点検知センサーと、前記液晶表示パネルで同時に表示できる視差像数より多数の視差像から一部の視差像を選択して液晶表示パネルに供給する３Ｄ画像処理部とを備えた多眼式立体映像表示装置であって、前記３Ｄ画像処理部は前記視点検知センサーによって検知された観察者の位置に基づいて、前記多眼で作成された視差像から一部の視差像を選択して前記液晶表示パネルに供給するようになしたことを特徴とする多眼式立体映像表示装置。
前記３Ｄ画像処理部は、観察者の位置に基づいて、前記多眼で作成した視差像から隣接する視差像であって液晶表示パネルに同時に表示可能な数の視差像を選択して液晶表示パネルに供給することを特徴とする請求項１に記載の多眼式立体映像表示装置。
前記視点検知センサーにより観測者が所定の領域内にいるかどうかを検知し、観測者が所定の領域から外れたときに液晶表示パネルに供給する視差像を切換えることを特徴とする請求項１又は請求項２に記載の多眼式立体映像表示装置。
観察者の位置が所定の領域外にあるときは、観測者の位置に基づいて複数の視差像のなかから左側もしくは右側の隣接する視差像を選択して液晶表示パネルに供給することを特徴とする請求項３に記載の多眼式立体映像表示装置。
前記所定の領域が観測者により立体映像を認識することができる適視領域であることを特徴とする請求項３又は請求項４に記載の多眼式立体映像表示装置。
前記液晶表示パネルは４つの視差像を同時に表示することができ、前記３Ｄ画像処理部は複数の視差像から隣接する４つの視差像を選択して前記液晶表示パネルに供給することを特徴とする請求項１〜請求項５のいずれか１つに記載の多眼式立体映像表示装置。