JP3735134B2

JP3735134B2 - 3D image display device

Info

Publication number: JP3735134B2
Application number: JP00204595A
Authority: JP
Inventors: さやか古賀; 信一中村; 進高橋
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 1995-01-10
Filing date: 1995-01-10
Publication date: 2006-01-18
Anticipated expiration: 2021-01-18
Also published as: JPH08191441A

Description

【０００１】
【産業上の利用分野】
本発明は、内視鏡に用いられる立体映像表示装置に関する。
【０００２】
【従来の技術】
近年、外科手術においては開腹せずに硬性鏡等の内視鏡にＴＶカメラを装着して、ＣＲＴに体内の映像を映し出し、これを見ながら作業を進める手法が広く実施されている。しかしながら、通常の硬性鏡にＣＲＴ等の表示装置を用いた場合、体内の奥行き方向の情報が得られないため作業性が悪く、手術時間が長くなってしまうことが問題となる。この問題を解決する手段として、立体視硬性鏡が開発され、更にこの立体視硬性鏡に接続して立体映像を表示するディスプレイシステムも開発されている。このような立体映像表示システムにおいては、互いに視差のある映像を観察者の左右の眼球へ導くことが必要となる。このため、観察者が専用の眼鏡をかけて立体像を観察するようにした方式が実現されている。
【０００３】
このような方式を採用した例としては、交互に開閉させることが可能な一対の液晶シャッタを備えた眼鏡をかけて、この眼鏡のシャッタに同期して左右の眼球に導くための画像を交互に表示するＣＲＴを観察するものや、両眼に表示する映像を互いに偏光方向が直交した光で表示し、これらの映像を互いに偏光方向が直交する偏光板が設けられた眼鏡で観察し、偏光素子の直交組み合わせによる遮光効果を利用して立体像を観察するものがある。
【０００４】
しかしながら、内視鏡下の手術の場合、眼鏡をかけることは煩雑となり、又、滅菌不可能な眼鏡を用いての手術は好ましくない。このような理由から、眼鏡を必要としない立体映像表示システムが考えられている。このシステムには、かまぼこ状の同筒レンズを多数配列したレンティキュラ板や、複眼状の微小レンズを配列したフライ・アイ・レンズ板等を利用した指向性のよいスクリーン等を用いたものがあるが、何れも解像力の点において不十分であり、実用には問題を含んでいる。
【０００５】
更に、近年、これに加えて眼鏡を必要としない新しい立体映像表示システムがテルモ社により開発され、「３次元画像コンファレンス’９４」において発表された（講演論文２１９頁参照）。
図９に、この立体映像表示システムの基本構成を示す。このシステムでは、複数の観察者各々の左右の眼球の位置を検出し、右眼には右眼用の映像を、左眼には左眼用の映像を選択的に投影することによって、立体視観察を可能にしている。従って、観察者の眼球の位置が移動しても、瞳が追随するように投影されるため観察者の姿勢の自由度は制約を受けないという利点を有している。
尚、右眼用の映像を投影するシステムと左眼用の映像を投影するシステムとは、基本的に同様な構成であるため、ここでは図１０に従って、右眼用の映像を表示する基本システムについて具体的に説明する。
【０００６】
図１０に示すように、この立体映像表示システムでは、まず、赤外ＬＥＤ光源１によって照明された観察者の顔の右半面は、観察者の正面に配置されているモノクロＣＣＤカメラ２によって撮像される。ＣＣＤカメラ２は信号処理系３を介してモノクロＣＲＴ４と接続され、ＣＲＴ４には２値化処理された観察者の顔の右半面が表示される。このＣＲＴ４とフレネルレンズ５とを組み合わせて使用することにより、観察者の右眼にのみ光を入射させ得る指向性を有する光源を実現できる。又、この光源をバックライト光源として、フレネルレンズ５の前方に立体視内視鏡６の右眼用の画像をカメラコントロールユニット（ＣＣＵ）７を介して表示する透過型液晶パネル８を配置すれば、右眼用の映像を観察者の右眼にのみ投影することが可能になる。
又、これと同様のシステムを用いて、左眼用の映像のためのシステムも構成することが可能である。但し、この場合、図９に示すように、左眼用及び右眼用の映像を夫々観察者の左右の眼球に導くためのハーフミラーが必要となる。
【０００７】
【発明が解決しようとする課題】
しかしながら、テルモ社が開発した上記のようなシステムでは、図１１に示すように、ＣＲＴ４に映る観察者の像を液晶パネル８のバックライト光源として使用しているために、映像が暗いという問題がある。又、図１２に示すように、観察者の顔半面が赤外ＬＥＤ光源１によって正確に照明されない場合（特に観察者が複数存在している場合）には、観察者は正確な立体映像を見ることはできず、よって、複数の観察者が同時に立体映像を観察することはより困難となる。更には、現在、液晶パネルの解像力はＣＲＴのそれと比べて劣っており、又、このシステムでは液晶パネルを表示装置として用いているため、眼鏡を使用して立体映像を観察するＣＲＴ方式と比較して解像度が落ちる等の問題もある。
【０００８】
そこで、本発明は上記のような従来技術の有する問題点に鑑み、従来の２次元画像ＣＲＴ程度の解像力を保持しながら立体映像を観察できる立体映像表示装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記目的を達成するため、本発明による立体映像表示装置は、互いに視差のある左右の画像の入力信号を表示する発光型表示装置と、該発光型表示装置の前方に配置された観察者の瞳の像を表示する透過型表示装置と、前記発光型表示装置の表示画像をリレーして再結像し前記透過型表示装置に表示された観察者の瞳像を観察者の眼球に投影結像する結像光学系と、により構成されていることを特徴とする。
【００１０】
また、本発明による立体映像表示装置は、好ましくは、前記結像光学系は、前記発光型表示装置と透過型表示装置との間に配置された第１の結像レンズ系と、前記透過型表示装置の前方に配置された第２の結像レンズ系と、により構成されていることを特徴とする。
【００１１】
また、本発明による立体映像表示装置は、好ましくは、前記結像光学系は、第１の結像レンズ系，第２の結像レンズ系及び第３の結像レンズ系からなり、前記第１の結像レンズ系の略焦点位置には夫々前記発光型表示装置と前記透過型表示装置とが配置され、又、前記第２の結像レンズ系及び前記第３の結像レンズ系は前記透過型表示装置の前方に配置され、更に、前記第２の結像レンズ系の略焦点位置には前記透過型表示装置と前記第３の結像レンズ系とが配置されていることを特徴とする。
また、本発明による立体映像表示装置は、好ましくは、前記発光型表示装置はＣＲＴディスプレイからなり、又、前記透過型表示装置は液晶表示パネルからなることを特徴とする。
【００１２】
【作用】
従って、本発明の立体映像表示装置では、観察画像をＣＲＴ等の液晶パネルに比べて解像力の優れたディスプレイに表示し、結像レンズと絞り用としての液晶パネルとを組み合わせることにより、専用の眼鏡を用いることなく解像力の高い立体映像を得ることができる。
【００１３】
【実施例】
以下、図示した実施例及び参考例に基づき本発明を詳細に説明する。
本発明による立体映像表示装置は、基本的に、観察者の瞳位置検出手段，画像表示用光源及び画像表示装置により構成されている。以下説明する実施例及び各参考例では、夫々この基本構成のうちの一例を示すものであり、実施例及び各参考例の構成同士又は従来例との組み合わせは自由に行えるようになっている。
【００１４】
本発明の装置は、得られる立体映像の解像力の向上を図ることを目的とし、互いに視差のある左右の画像の入力信号を表示する発光型表示装置と、この発光型表示装置の前方に配置された観察者の瞳の像を表示する透過型表示装置と、前記発光型表示装置の表示画像をリレーして再結像し、前記透過型表示装置に表示された観察者の瞳像を観察者の眼球に投影結像する結像光学系と、により構成されている。
この構成例を第１実施例に示す。
【００１５】
第１実施例
図１は、本発明の第１実施例の立体映像表示装置の右眼用のシステム構成を示す図である。図示のように、本実施例の装置では、観察者の顔の右半面を照明する赤外ＬＥＤ光源が備えられ、照明された観察者の顔の右半面を撮像するモノクロＣＣＤカメラ１１が、信号処理系１２を介して透過型液晶パネル１３と接続されている。立体視内視鏡１４は、カメラコントロールユニット（ＣＣＵ）１５を介してＣＲＴ１６と接続されている。このＣＲＴ１６と透過型液晶パネル１３との間には結像レンズ１７系が配置されている。そして、ＣＲＴ１６は結像レンズ系１７の略前側焦点位置に配置され、液晶パネル１３は結像レンズ系１７の略後側焦点位置に配置される。又、透過型液晶パネル１３と観察者との間には、結像レンズ系１８及び１９が配置されている。そして、透過型液晶パネル１３は結像レンズ系１８の略前側焦点位置に配置され、結像レンズ系１９は結像レンズ系１８の略後側焦点位置に配置されている。このとき、ＣＲＴ１６上に表示される右眼用の映像が、透過型液晶パネル１３に映る観察者の顔の右半面部分のみ透過するように透過型液晶パネル１３を調整すると、右眼用の画像は観察者の右眼にのみ投影されるようになる。
【００１６】
従って、このように解像力の高いＣＲＴを使用することにより、従来の液晶パネルと比較してより良質な立体映像を得ることができる。
尚、図示しないが、左眼用の映像もこのような右眼用のシステムと同様に構成されている。又、本実施例において使用されるディスプレイは、ＣＲＴに限定されることはなく、プラズマディスプレイ等を用いても同様な効果を得ることができる。
【００１７】
なお、観察者を照明する赤外ＬＥＤ光源の数を増やし、その配置位置及び観察者を撮像するＣＣＤカメラからの画像の処理方法に夫々工夫を施すして、例えば、互いに視差のある左右の画像の入力信号を表示する表示装置と、観察者の左右の瞳位置を区別して検出する瞳位置検出手段と、検出された観察者の左右の瞳位置と共役な光路のみを選択的に明るくするように調光する調光装置と、からなる立体映像表示装置において、前記瞳位置検出手段を、前記表示装置の前方の複数の観察者の左側前方及び左側後方より照明する夫々射出波長の異なる赤外線発光部と、観察者に当たった光の反射光を画像として検出する表示装置側に配置されたカメラと、前記左側前方及び左側後方への観察者からの反射光の明部の論理和の部分を演算して瞳位置として検出する検出装置と、により構成すれば、複数の観察者が同時に立体映像を観察できるようにすることができる。
本願では、そのような構成例を第１参考例乃至第３参考例として示してある。
【００１８】
第１参考例
図２は、第１参考例の立体映像表示装置の右眼用のシステム構成を示す図である。図示のように、第１参考例の立体映像表示装置では、赤外ＬＥＤ光源２１（波長λ１）を表示装置側から観察者群に向かってその左斜め後方に配置し、赤外ＬＥＤ光源２２（波長λ２）を観察者群に向かってその左斜め前方に配置している。この赤外ＬＥＤ光源２１から射出される波長λ１の光と赤外ＬＥＤ光源２２から射出される波長λ２の光とは、波長分離を実現するのに十分な波長間隔を有している。又、光源２１及び２２によって照明された観察者の顔の右半面を撮像するモノクロＣＣＤカメラ２３及び２４は観察者群の正面に配置されている。このとき、モノクロＣＣＤカメラ２３には光源２１からの波長λ１の光のみ、モノクロＣＣＤカメラ２４には光源２２からの波長λ２の光のみを透過し得る波長フィルタが夫々装着されている。モノクロＣＣＤカメラ２３及び２４は、信号処理系２５を介してモノクロＣＲＴ２６と接続されている。このモノクロＣＲＴ２６とフレネルレンズ２７とにより、指向性を有する画像表示用光源が構成される。又、立体視内視鏡２８は、ＣＣＵ２９を介して透過型液晶パネル３０と接続されている。
【００１９】
第１参考例の立体映像表示装置は上記のように構成されているので、まず、(1)赤外ＬＥＤ光源２１により照明された観察者の顔の右半面は、波長フィルタによってモノクロＣＣＤカメラ２３のみにより撮像される。同様にして、(2)赤外ＬＥＤ光源２２に照明された観察者の顔の右半面はモノクロＣＣＤカメラ２４のみによって撮像される。次に、これらにより得られた画像情報は、夫々モノクロＣＣＤカメラ２３及び２４から信号処理系２５へ送出され、ここにおいて前記(1)と(2)とにより得られた画像情報が２値化され、更に図３（ａ）に示す表に従うような明部の論理和部分の合成処理がなされる。この結果、モノクロＣＲＴ２６上に、図３（ｂ）に示すように、殆ど全ての観察者の顔の右半面を映し出すことが可能になる。
従って、従来例と同様に、モノクロＣＲＴ２６とフレネルレンズ２７とを組み合わせることにより、透過型液晶パネル３０のバックライト光源として使用することが可能になって、殆どの観察者の右眼にのみ右眼用映像を投影できる。尚、図示されていないが、左眼用の映像も右眼用のものと同様なシステム構成により、観察者の顔の左半面を照明することによって、観察者の左眼にのみ左眼用の映像を投影できるようになっている。
従って、従来、立体像を投影することが困難であった、観察者の前方に他の観察者がいるような場合においても、第１参考例の立体映像表示装置を用いることにより容易に立体映像を投影することができる。
【００２０】
又、複数の観察者が同時に立体映像を観察できるようにするために、以下説明する第２参考例，第３参考例の立体映像表示装置では、観察者夫々の瞳位置を検出するための瞳位置検出手段が設けられている。即ち、表示装置側に配置された赤外発光光源と、観察者側に配置された反射特性の異なる複数の瞳位置検出用指標と、前記光源と指標とにより瞳位置を検出し調光信号を生成する調光信号制御部と、からなる瞳位置検出手段が装置に設けられている。
【００２１】
第２参考例
図４（ａ）は、第２参考例の立体映像表示装置の構成を示す図である。まず、第２参考例の立体映像表示装置を使用する場合には、観察者は裏面が粘着テープになっている右眼用反射板３１，左眼用反射板３２を夫々左右の眼の下に貼る。反射板３１が反射する光の波長λ１と反射板３２が反射する光の波長λ２とは波長を異にしており、波長分離を実現するのに十分な波長間隔が形成されている。波長λ１の光を発する赤外ＬＥＤ光源３３，波長λ２の光を発する赤外ＬＥＤ光源３４は夫々観察者の正面に配置され、波長λ１の光のみ透過させ得る波長フィルタが装着されているモノクロカメラＣＣＤ３５及び波長λ２の光のみ透過させ得る波長フィルタが装着されているモノクロＣＣＤカメラ３６が、夫々観察者の正面に配置されている。そして、モノクロＣＣＤカメラ３５は右眼用モノクロＣＲＴ３７と接続され、更にフレネルレンズ３８と組み合わされて右眼画像用の透過型液晶パネル３９のための光源となる。又、図示されていないが、モノクロＣＣＤカメラ３６は前記と同様に左眼用モノクロＣＲＴと接続され、フレネルレンズと組み合わされて左眼用画像のための光源となる。
【００２２】
このように、第２参考例の立体映像表示装置では、反射する光の波長が互いに異なる反射板を２枚使用することにより、観察者を照明する２つの光源３３及び３４を夫々観察者の正面に配置することが可能となって、従来よりも正確に観察者の瞳位置を検出することができるようになる。
【００２３】
第３参考例
第３参考例の立体映像表示装置の構成は第２参考例に示したものと同様であるが、第２参考例において使用される粘着テープ付の反射板に代えて、図４（ｂ）に示すような、レンズのない素通しの眼鏡フレーム４０を使用する点が異なる。この眼鏡フレーム４０の右眼に対応する部分には波長λ１の光のみを反射し得る反射体４１が貼り付けられており、眼鏡フレーム４０の左眼に対応する部分には波長λ２の光のみ反射し得る反射板４２が貼り付けられている。そして、眼鏡フレーム４０を使用して、第３実施例に示した装置を用いることにより、観察者の瞳位置を正確に検出することが可能になる。
尚、反射板４１，４２の代わりに、この反射板と同様の性質を備えた塗料を眼鏡フレーム４０の該当部分に塗布することによっても、前記と同様の効果を得ることができる。
【００２４】
また、立体映像表示装置を、互いに視差のある左右の画像の入力信号を表示する透過型表示装置と、この透過型表示装置の近傍に配置された瞳結像レンズと、観察者の左右の瞳位置を検出する瞳位置検出手段と、観察者の瞳が前記瞳結像レンズにより結像される瞳の像位置にある場合に前記瞳位置検出手段により検出される瞳位置情報に基づき調光を行う選択的に調光可能な発光光源と、により構成するようにすれば、形成される立体映像の明るさをより向上させることもできる。
この構成例を第４参考例に示す。
【００２５】
第４参考例
図５は、第４参考例の立体映像表示装置の構成を示す図である。第４参考例の立体映像表示装置では、ＴＶカメラを用いて検出した観察者の瞳位置をＸ−Ｙ平面上における位置情報に変換した場合に、その位置にレーザ光源を用いて明るい画像が得られるように投影系に工夫がなされている。
第４参考例の立体映像表示装置は、図５に示すように、まず、Ｒ，Ｇ，Ｂのレーザ光源５１と、互いの位置関係を変えることによりレーザ光源５１からの光の光路を水平方向に平行移動させ得る２個のくさび型のプリズムからなるプリズム５２と、更にプリズム５２からの光の光路を垂直方向に平行移動させ得る２個のくさび型のプリズムからなるプリズム５３と、が配置されている。そして、プリズム５３から射出されるレーザ光の光路上の瞳位置に、この光の光路を垂直方向（図では下側）に変換するミラー５４が配置されている。更に、ミラー５４からの光を反射して、この光が瞳結像レンズであるフレネルレンズ５６を介して透過型液晶パネル５７上を水平方向に走査できるような位置に、ポリゴンミラー５５が配置されている。
【００２６】
次に、図６（ａ）及び（ｂ）に基づき、レーザ光源５１から射出される光のミラー５４上における反射点を、垂直及び水平方向に移動させる方法について説明する。
まず、図６（ａ）に示すように、レーザ光源側から順に、プリズム５２，５３及びミラー５４が配置されている。プリズム５２は、互いの位置関係を変えることによりレーザ光源５１からの光の光路を水平方向に平行移動させ得る２個のくさび型プリズムからなっている。又、プリズム５３は、プリズム５２からの光の光路を垂直方向に平行移動させ得る２個のくさび型プリズムからなっている。
そして、図６（ｂ）に示すように、プリズム５２を構成する２つのプリズムの相対位置を変化させること、即ち、プリズム５２を構成する２つのプリズムのうちの一方を垂直方向若しくは水平方向に移動させることによって、プリズム５３へ入射する光の入射点を水平方向に平行移動させることが可能になる。又、これと同様に、プリズム５３を構成する２つのプリズムのうちの一方を垂直方向若しくは水平方向に移動させることによって、ミラー５４への光の入射点を垂直方向に移動させることが可能になる。従って、ミラー５４上における光の反射点を垂直若しくは水平方向に移動させることができる。
【００２７】
このようにして、瞳位置に配置されたミラー５４上におけるレーザ光源３１からの光の反射点を移動させて、更にフレネルレンズ５６を介することにより、任意の観察者の眼球にレーザ光源５１からの光を導くことが可能な指向性を有する光源を実現することができる。第４参考例の立体映像表示装置では、これを透過型液晶パネル５７用のバックライト光源として使用している。
更に、レーザ光源５１からの光を任意の観察者の眼球に導くことが可能な状態を保持したまま、ミラー５４を垂直方向に傾けることで、透過型液晶パネル５７上における垂直方向の走査を行うことが可能になる。又、ポリゴンミラー５５を回転させることで、透過型液晶パネル５７上における水平方向の走査を行うことができる。
以上のように、第４参考例の立体映像表示装置では、任意の観察者の眼球に映像を正確に投影でき、映像の明るさもより明るくすることが可能となる。
【００２８】
第５参考例
図７は、第５参考例の立体映像表示装置の構成を示す図である。
第５参考例の立体映像表示装置では、赤外ＬＥＤ光源６１で照明された観察者の顔の半面を撮影するために、モノクロＣＣＤカメラ６２が観察者の正面の位置に配置されている。モノクロＣＣＤカメラ６２は信号処理系６３を介して透過型液晶パネル６４と接続されている。このとき、キセノンランプ等からなる明るい光源６５からの光を光学系６６を介して平行光とし、不必要に光束径を拡げずに液晶パネル６４の全面を投影し得る程度の適切な指向性を有するすりガラス６７によって前記光を分散させ、液晶パネル６４へ入射させるようになっている。
このように構成された第５参考例の立体映像表示装置では、撮像された観察者の顔の半面部分のみ光源６５からの光が透過するように液晶パネル６４を調整することによって、瞳結像レンズであるフレネルレンズ６８と組み合わせて、指向性を備えた明るい光源を実現している。
【００２９】
第６参考例
図８（ａ）は、第６参考例の立体映像表示装置の構成を示す図である。第６参考例の立体映像表示装置では、従来例における透過型液晶パネル用のバックライト光源であるモノクロＣＲＴに代えて、図８（ｂ）に示すようなアレイ状に配置されたＬＥＤ７１を使用している。
図８（ａ）に示すように、第６参考例の立体映像表示装置では、信号処理系７２を介して、アレイ状のＬＥＤ７１と観察者の顔の半面を撮像するモノクロＣＣＤカメラ７３とが接続され、観察者の顔の半面部分の像にだけ対応してＬＥＤ７１が点灯するようになっている。このとき、観察者の瞳に必ず１つ以上のＬＥＤの光が入射するように構成すれば、より明るい光源となる。
【００３０】
又、従来例における透過型液晶パネル用のバックライト光源であるモノクロＣＲＴの代わりに、プラズマディスプレイ等の明るい平板ディスプレイを光源として使用しても、上記と同様の効果を得られる。
【００３１】
【発明の効果】
上述のように、本発明によれば、従来装置と比較して格段に優れた解像力を備え、専用の眼鏡を必要としない立体映像表示装置を提供することができる。
【図面の簡単な説明】
【図１】本発明の第１実施例にかかる内視鏡用立体映像表示装置の構成図である。
【図２】第１参考例にかかる立体映像表示装置の構成図である。
【図３】（ａ）は第１参考例の装置における画像信号の処理方法を説明するための表であり、（ｂ）は第１参考例の装置により得られる観察者の顔の右半面の画像を説明するための図である。
【図４】（ａ）は第２参考例にかかる立体映像表示装置の構成図であり、（ｂ）は第３参考例において使用される眼鏡フレームを示す図である。
【図５】本発明の第４参考例にかかる立体映像表示装置の構成図である。
【図６】図５に示した装置に備えられたプリズム及びミラーの具体的な構成を説明するための図であり、（ｂ）はそのプリズムにより光路の進行方向を移動させる方法を説明するための図である。
【図７】第５参考例にかかる立体映像表示装置の構成図である。
【図８】（ａ）は第６参考例にかかる立体映像表示装置の構成図であり、（ｂ）は（ａ）に示した装置に備えられているアレイ状のＬＥＤ光源の構成を示す正面図である。
【図９】従来の立体映像表示装置の構成図である。
【図１０】従来の立体映像表示装置の左眼用の映像を投影するシステム構成図である。
【図１１】図８に示した装置によりＣＲＴ上に表示される画像の様子を示す図である。
【図１２】図８に示した装置における照明される観察者と光源との位置関係と、その装置により得られる画像を示す図である。
【符号の説明】
１０，２１，２２，３３，３４，６１赤外ＬＥＤ光源
１１，２３，２４，３５，３６，６２，７３モノクロＣＣＤカメラ
１２，２５，６３，７２信号処理系
１３，３０，３９，５７，６４透過型液晶パネル
１４，２８立体視内視鏡
１５，２９ＣＣＵ
１６，２６，３７ＣＲＴ
１７，１８，１９結像レンズ系
２７，３８，５６，６８フレネルレンズ
３１，３２反射板
４０眼鏡フレーム
４１，４２反射体
５１レーザ光源
５２，５３プリズム
５４ミラー
５５ポリゴンミラー
６５光源
６６光学系
６７すりガラス
７１アレイ状ＬＥＤ[0001]
[Industrial application fields]
The present invention relates to a stereoscopic video display device used for an endoscope.
[0002]
[Prior art]
2. Description of the Related Art In recent years, a technique has been widely practiced in which a TV camera is attached to an endoscope such as a rigid endoscope without performing a laparotomy, and an internal image is displayed on a CRT and the operation is performed while watching the image. However, when a display device such as a CRT is used for a normal rigid endoscope, information in the depth direction inside the body cannot be obtained, so that workability is poor and the operation time is long. As means for solving this problem, a stereoscopic rigid mirror has been developed, and a display system for displaying a stereoscopic image connected to the stereoscopic rigid mirror has also been developed. In such a stereoscopic image display system, it is necessary to guide images having parallax to the left and right eyeballs of the observer. For this reason, a system has been realized in which an observer observes a stereoscopic image with dedicated glasses.
[0003]
As an example of adopting such a method, wearing glasses with a pair of liquid crystal shutters that can be alternately opened and closed, and alternately images for guiding to the left and right eyeballs in synchronization with the shutters of the glasses A polarizing element that observes a CRT to be displayed or displays images displayed on both eyes with light whose polarization directions are orthogonal to each other, and is observed with glasses provided with polarizing plates whose polarization directions are orthogonal to each other. There is one that observes a three-dimensional image using a light-shielding effect by orthogonal combinations of the two.
[0004]
However, in the case of surgery under an endoscope, wearing glasses becomes complicated, and surgery using glasses that cannot be sterilized is not preferable. For these reasons, stereoscopic video display systems that do not require glasses have been considered. In this system, there are those using a directional screen using a lenticular plate in which a large number of kamaboko-shaped same lenses are arranged, a fly-eye lens plate in which fine lenses of compound eyes are arranged, and the like. However, both are insufficient in terms of resolving power, and have problems in practical use.
[0005]
In addition, in recent years, a new stereoscopic image display system that does not require glasses has been developed by Terumo Corporation and presented at “3D Image Conference '94” (see page 219 of the lecture paper).
FIG. 9 shows a basic configuration of this stereoscopic video display system. This system detects the position of the left and right eyeballs of each of a plurality of observers, and selectively projects a right-eye image on the right eye and a left-eye image on the left eye, thereby providing a stereoscopic view. Enables observation. Therefore, even if the position of the eyeball of the observer moves, the degree of freedom of the observer's posture is not restricted because the pupil is projected so as to follow.
Since the system for projecting the right-eye video and the system for projecting the left-eye video have basically the same configuration, here, the basic system for displaying the right-eye video according to FIG. Will be described in detail.
[0006]
As shown in FIG. 10, in this stereoscopic image display system, first, the right half of the face of the observer illuminated by the infrared LED light source 1 is imaged by a monochrome CCD camera 2 arranged in front of the observer. The The CCD camera 2 is connected to a monochrome CRT 4 via a signal processing system 3, and the right half of the observer's face that has been binarized is displayed on the CRT 4. By using the CRT 4 and the Fresnel lens 5 in combination, it is possible to realize a light source having directivity that allows light to enter only the right eye of the observer. If this light source is used as a backlight light source, a transmissive liquid crystal panel 8 that displays an image for the right eye of the stereoscopic endoscope 6 via a camera control unit (CCU) 7 is disposed in front of the Fresnel lens 5. Thus, it becomes possible to project an image for the right eye only on the right eye of the observer.
In addition, a system for video for the left eye can be configured using a system similar to this. However, in this case, as shown in FIG. 9, half mirrors for guiding the left-eye and right-eye images to the left and right eyeballs of the observer are necessary.
[0007]
[Problems to be solved by the invention]
However, in the above-mentioned system developed by Terumo Corporation, as shown in FIG. 11, the image of the observer reflected on the CRT 4 is used as the backlight light source of the liquid crystal panel 8, so that the image is dark. is there. In addition, as shown in FIG. 12, when the viewer's face half is not accurately illuminated by the infrared LED light source 1 (particularly when there are a plurality of observers), the observer sees an accurate stereoscopic image. Therefore, it is more difficult for a plurality of observers to observe a stereoscopic image at the same time. Furthermore, the resolution of the liquid crystal panel is currently inferior to that of the CRT, and since this system uses a liquid crystal panel as a display device, it is compared with the CRT method that uses glasses to observe stereoscopic images. There is also a problem that the resolution is lowered.
[0008]
The present invention aims to provide the above-described conventional view of the problems of the art, conventional stereoscopic image display device while preserving can observe et standing body image a two-dimensional image CRT about resolution To do.
[0009]
[Means for Solving the Problems]
In order to achieve the above object, a stereoscopic image display device according to the present invention includes a light emitting display device that displays input signals of left and right images with parallax, and an observer's pupil arranged in front of the light emitting display device. A transmissive display device that displays an image of the image, and a display image of the light emitting display device is relayed and re-imaged, and the pupil image of the observer displayed on the transmissive display device is projected and imaged on the eyeball of the observer And an imaging optical system.
[0010]
In the stereoscopic image display device according to the present invention, preferably, the imaging optical system includes a first imaging lens system disposed between the light emitting display device and the transmission display device, and the transmission type. And a second imaging lens system disposed in front of the display device.
[0011]
In the stereoscopic image display apparatus according to the present invention, it is preferable that the imaging optical system includes a first imaging lens system, a second imaging lens system, and a third imaging lens system. The light emitting display device and the transmissive display device are disposed at substantially focal positions of the imaging lens system, respectively, and the second imaging lens system and the third imaging lens system are the transmissive display device. Further, the transmission type display device and the third imaging lens system are arranged at a substantially focal position of the second imaging lens system. .
The stereoscopic image display device according to the present invention is preferably characterized in that the light emitting display device comprises a CRT display and the transmission display device comprises a liquid crystal display panel.
[0012]
[Action]
Therefore, in the stereoscopic image display device of the present invention, the observation image is displayed on a display having a higher resolution than a liquid crystal panel such as a CRT, and a combination of an imaging lens and a liquid crystal panel for a diaphragm is used. 3D images with high resolving power can be obtained without using.
[0013]
【Example】
Hereinafter, the present invention will be described in detail based on illustrated examples and reference examples .
The stereoscopic image display device according to the present invention basically includes an observer's pupil position detection means, an image display light source, and an image display device. In the examples and reference examples described below, one example of the basic configuration is shown, and the configurations of the examples and reference examples can be freely combined with the conventional examples.
[0014]
The device of the present invention is intended to improve the resolution of the obtained stereoscopic video, and is disposed in front of the light emitting display device that displays the input signals of the left and right images with parallax. A transmissive display device that displays an image of the observer's pupil and a re-image formed by relaying the display image of the light emitting display device, and the observer's pupil image displayed on the transmissive display device And an imaging optical system that projects and images on the eyeball.
An example of this configuration is shown in the first embodiment.
[0015]
First Embodiment FIG. 1 is a diagram showing a system configuration for the right eye of a stereoscopic image display apparatus according to a first embodiment of the present invention . As shown in the figure, in the apparatus of this embodiment, an infrared LED light source that illuminates the right half of the observer's face is provided, and a monochrome CCD camera 11 that images the right half of the illuminated observer's face receives a signal. A transmissive liquid crystal panel 13 is connected via the processing system 12. The stereoscopic endoscope 14 is connected to a CRT 16 via a camera control unit (CCU) 15. An imaging lens 17 system is disposed between the CRT 16 and the transmissive liquid crystal panel 13. The CRT 16 is disposed at a substantially front focal position of the imaging lens system 17, and the liquid crystal panel 13 is disposed at a substantially rear focal position of the imaging lens system 17. Further, imaging lens systems 18 and 19 are arranged between the transmissive liquid crystal panel 13 and the observer. The transmissive liquid crystal panel 13 is disposed at a substantially front focal position of the imaging lens system 18, and the imaging lens system 19 is disposed at a substantially rear focal position of the imaging lens system 18. At this time, if the transmissive liquid crystal panel 13 is adjusted so that the right-eye image displayed on the CRT 16 is transmitted through only the right half surface portion of the face of the observer reflected on the transmissive liquid crystal panel 13, the right-eye image is displayed. Is projected only to the right eye of the observer.
[0016]
Therefore, by using a CRT having a high resolving power in this way, a higher quality stereoscopic image can be obtained as compared with a conventional liquid crystal panel.
Although not shown, the left-eye video is configured in the same manner as such a right-eye system. Further, the display used in this embodiment is not limited to the CRT, and the same effect can be obtained even if a plasma display or the like is used.
[0017]
In addition, the number of infrared LED light sources that illuminate the observer is increased, and the arrangement position and the processing method of the image from the CCD camera that images the observer are devised , for example , left and right images with parallax. A display device for displaying the input signal, pupil position detecting means for distinguishing and detecting the left and right pupil positions of the observer, and selectively brightening only the optical path conjugate with the detected left and right pupil positions of the observer A three-dimensional image display device comprising: a dimming device that illuminates the pupil position; and the pupil position detection means that illuminates the left and front left sides of a plurality of observers in front of the display device with different emission wavelengths. And a camera arranged on the display device side that detects reflected light of light hitting the observer as an image, and a logical sum part of bright parts of reflected light from the observer to the left front and left rear Calculate the pupil position It is constituted by a detection device for detecting as can a plurality of viewers to be able to observe a stereoscopic image simultaneously.
In the present application, such configuration examples are shown as first to third reference examples .
[0018]
First Reference Example FIG. 2 is a diagram illustrating a system configuration for the right eye of a stereoscopic image display apparatus according to a first reference example . As shown in the figure, in the stereoscopic image display device of the first reference example , the infrared LED light source 21 (wavelength λ1) is arranged obliquely to the left of the display device side toward the observer group, and the infrared LED light source 22 ( The wavelength λ2) is arranged diagonally to the left of the observer group. The light of wavelength λ1 emitted from the infrared LED light source 21 and the light of wavelength λ2 emitted from the infrared LED light source 22 have a wavelength interval sufficient to realize wavelength separation. In addition, monochrome CCD cameras 23 and 24 that image the right half of the observer's face illuminated by the light sources 21 and 22 are arranged in front of the observer group. At this time, the monochrome CCD camera 23 is equipped with a wavelength filter capable of transmitting only the light of wavelength λ1 from the light source 21 and the monochrome CCD camera 24 is capable of transmitting only the light of wavelength λ2 from the light source 22. The monochrome CCD cameras 23 and 24 are connected to a monochrome CRT 26 via a signal processing system 25. The monochrome CRT 26 and the Fresnel lens 27 constitute an image display light source having directivity. The stereoscopic endoscope 28 is connected to the transmissive liquid crystal panel 30 via the CCU 29.
[0019]
Since the stereoscopic image display device of the first reference example is configured as described above, first, (1) the right half surface of the observer's face illuminated by the infrared LED light source 21 is a monochrome CCD camera 23 by a wavelength filter. Images are taken only by Similarly, (2) the right half surface of the observer's face illuminated by the infrared LED light source 22 is imaged only by the monochrome CCD camera 24. Next, the image information obtained by these is sent from the monochrome CCD cameras 23 and 24 to the signal processing system 25, where the image information obtained by (1) and (2) is binarized. Further, the synthesis processing of the logical OR portion of the bright part is performed according to the table shown in FIG. As a result, as shown in FIG. 3B, it is possible to project the right half surface of almost all observer faces on the monochrome CRT 26.
Therefore, as in the conventional example, by combining the monochrome CRT 26 and the Fresnel lens 27, it can be used as the backlight light source of the transmissive liquid crystal panel 30, and only the right eye is seen by the right eye of most observers. Project video can be projected. Although not shown in the drawing, the left-eye video is illuminated only on the left eye of the observer by illuminating the left half of the face of the observer with a system configuration similar to that for the right eye. The image can be projected.
Therefore, even when it has been difficult to project a stereoscopic image in the past and there is another observer in front of the observer, a stereoscopic image can be easily obtained by using the stereoscopic image display device of the first reference example. Can be projected.
[0020]
In order to enable a plurality of observers to observe a stereoscopic image at the same time , in the stereoscopic image display devices of the second reference example and the third reference example described below, pupils for detecting the pupil position of each observer Position detecting means is provided. That is, an infrared light emission light source disposed on the display device side, a plurality of pupil position detection indices having different reflection characteristics disposed on the observer side, and the light source and the index are used to detect the pupil position and to provide a dimming signal. The apparatus is provided with a pupil position detection means comprising a dimming signal control section to be generated.
[0021]
Second Reference Example FIG. 4A is a diagram illustrating a configuration of a stereoscopic video display apparatus according to a second reference example . First, when using the stereoscopic image display device of the second reference example , the observer places the right-eye reflector 31 and the left-eye reflector 32 whose back surfaces are adhesive tapes under the left and right eyes, respectively. Paste. The wavelength λ1 of the light reflected by the reflecting plate 31 and the wavelength λ2 of the light reflected by the reflecting plate 32 are different from each other, and a sufficient wavelength interval is formed to realize wavelength separation. An infrared LED light source 33 that emits light of wavelength λ1 and an infrared LED light source 34 that emits light of wavelength λ2 are arranged in front of the viewer, and are equipped with a wavelength filter capable of transmitting only light of wavelength λ1. A monochrome CCD camera 36 equipped with a CCD 35 and a wavelength filter capable of transmitting only light of wavelength λ2 is arranged in front of the observer. The monochrome CCD camera 35 is connected to the monochrome CRT 37 for the right eye and further combined with the Fresnel lens 38 to be a light source for the transmissive liquid crystal panel 39 for the right eye image. Although not shown, the monochrome CCD camera 36 is connected to the monochrome CRT for the left eye as described above, and is combined with the Fresnel lens to serve as a light source for the image for the left eye.
[0022]
As described above, in the stereoscopic image display device of the second reference example , the two light sources 33 and 34 for illuminating the observer are respectively used by using two reflecting plates having different wavelengths of reflected light. Thus, the pupil position of the observer can be detected more accurately than in the prior art.
[0023]
Third reference example
The configuration of the stereoscopic image display device of the third reference example is the same as that shown in the second reference example , but instead of the reflective plate with the adhesive tape used in the second reference example , FIG. The difference is that a plain spectacle frame 40 without a lens as shown is used. A reflector 41 capable of reflecting only light of wavelength λ1 is attached to a portion corresponding to the right eye of the spectacle frame 40, and only light of wavelength λ2 is reflected to a portion corresponding to the left eye of the spectacle frame 40. A possible reflector 42 is attached. Then, by using the spectacle frame 40 and using the apparatus shown in the third embodiment, it is possible to accurately detect the pupil position of the observer.
The same effect as described above can also be obtained by applying a paint having the same properties as those of the reflecting plates 41 and 42 to the corresponding portions of the spectacle frame 40 instead of the reflecting plates 41 and 42.
[0024]
In addition, the stereoscopic image display device includes a transmissive display device that displays left and right parallax image input signals, a pupil imaging lens disposed in the vicinity of the transmissive display device, and the left and right pupils of the observer. Pupil position detection means for detecting the position, and dimming based on the pupil position information detected by the pupil position detection means when the observer's pupil is at the image position of the pupil imaged by the pupil imaging lens If the light source is configured to be selectively dimmable , the brightness of the formed stereoscopic image can be further improved .
This configuration example is shown in a fourth reference example .
[0025]
Fourth Reference Example FIG. 5 is a diagram illustrating a configuration of a stereoscopic video display apparatus according to a fourth reference example . In the stereoscopic image display device of the fourth reference example, when the observer's pupil position detected using a TV camera is converted into position information on the XY plane, a bright image is obtained at that position using a laser light source. As a result, the projection system has been devised.
As shown in FIG. 5, the stereoscopic image display device of the fourth reference example first changes the optical path of the light from the laser light source 51 by changing the positional relationship between the R, G, B laser light sources 51 and the horizontal direction. A prism 52 composed of two wedge-shaped prisms that can be translated in parallel, and a prism 53 composed of two wedge-shaped prisms that can translate the optical path of light from the prism 52 in the vertical direction. ing. A mirror 54 is disposed at the pupil position on the optical path of the laser light emitted from the prism 53 to convert the optical path of this light in the vertical direction (lower side in the figure). Further, the polygon mirror 55 is arranged at a position where the light from the mirror 54 is reflected and the light can be scanned in the horizontal direction on the transmissive liquid crystal panel 57 via the Fresnel lens 56 which is a pupil imaging lens. ing.
[0026]
Next, a method of moving the reflection point on the mirror 54 of the light emitted from the laser light source 51 in the vertical and horizontal directions will be described with reference to FIGS.
First, as shown in FIG. 6A, prisms 52 and 53 and a mirror 54 are arranged in this order from the laser light source side. The prism 52 is composed of two wedge-shaped prisms that can translate the optical path of the light from the laser light source 51 in the horizontal direction by changing the mutual positional relationship. The prism 53 is composed of two wedge-shaped prisms that can translate the optical path of the light from the prism 52 in the vertical direction.
Then, as shown in FIG. 6B, the relative position of the two prisms constituting the prism 52 is changed, that is, one of the two prisms constituting the prism 52 is moved vertically or horizontally. By doing so, the incident point of the light incident on the prism 53 can be translated in the horizontal direction. Similarly, by moving one of the two prisms constituting the prism 53 in the vertical direction or in the horizontal direction, the light incident point on the mirror 54 can be moved in the vertical direction. . Therefore, the light reflection point on the mirror 54 can be moved in the vertical or horizontal direction.
[0027]
In this way, the reflection point of the light from the laser light source 31 on the mirror 54 arranged at the pupil position is moved, and further through the Fresnel lens 56, the eyeball of an arbitrary observer can be transmitted from the laser light source 51. A light source having directivity capable of guiding light can be realized. In the stereoscopic image display device of the fourth reference example , this is used as a backlight light source for the transmissive liquid crystal panel 57.
Further, the mirror 54 is tilted in the vertical direction while maintaining the state in which the light from the laser light source 51 can be guided to the eyeball of an arbitrary observer, thereby performing vertical scanning on the transmissive liquid crystal panel 57. It becomes possible. Further, by rotating the polygon mirror 55, the horizontal scanning on the transmissive liquid crystal panel 57 can be performed.
As described above, in the stereoscopic image display apparatus of the fourth reference example , an image can be accurately projected onto the eyeball of an arbitrary observer, and the brightness of the image can be further increased.
[0028]
Fifth Reference Example FIG. 7 is a diagram illustrating a configuration of a stereoscopic video display device according to a fifth reference example .
In the stereoscopic image display device of the fifth reference example , a monochrome CCD camera 62 is arranged at a position in front of the observer in order to take an image of the half face of the observer's face illuminated by the infrared LED light source 61. The monochrome CCD camera 62 is connected to a transmissive liquid crystal panel 64 through a signal processing system 63. At this time, the light from the bright light source 65 such as a xenon lamp is converted into parallel light via the optical system 66, and has an appropriate directivity enough to project the entire surface of the liquid crystal panel 64 without unnecessarily widening the beam diameter. The light is dispersed by the ground glass 67 and is incident on the liquid crystal panel 64.
In the stereoscopic image display apparatus of the fifth reference example configured as described above, pupil image formation is performed by adjusting the liquid crystal panel 64 so that light from the light source 65 is transmitted only through the half surface portion of the imaged observer's face. In combination with the Fresnel lens 68, which is a lens, a bright light source with directivity is realized.
[0029]
Sixth Reference Example FIG. 8A is a diagram illustrating a configuration of a stereoscopic video display apparatus according to a sixth reference example . The stereoscopic image display device of the sixth reference example uses LEDs 71 arranged in an array as shown in FIG. 8B in place of the monochrome CRT which is a backlight light source for a transmissive liquid crystal panel in the conventional example. ing.
As shown in FIG. 8A, in the stereoscopic image display device of the sixth reference example , an array-like LED 71 and a monochrome CCD camera 73 that images the half of the face of the observer are connected via a signal processing system 72. Thus, the LED 71 is lit corresponding to only the image of the half surface portion of the face of the observer. At this time, if the light of one or more LEDs is always incident on the observer's pupil, the light source becomes brighter.
[0030]
Further, the same effect as described above can be obtained even when a bright flat panel display such as a plasma display is used as the light source instead of the monochrome CRT which is the backlight light source for the transmissive liquid crystal panel in the conventional example.
[0031]
【The invention's effect】
As described above, according to the present invention, it is possible to provide a stereoscopic image display apparatus that has a resolving power that is remarkably superior to that of a conventional apparatus and that does not require dedicated glasses.
[Brief description of the drawings]
FIG. 1 is a configuration diagram of a stereoscopic image display apparatus for an endoscope according to a first embodiment of the present invention.
FIG. 2 is a configuration diagram of a stereoscopic video display apparatus according to a first reference example .
FIG. 3A is a table for explaining a method of processing an image signal in the apparatus of the first reference example , and FIG. 3B is a diagram of the right half surface of the observer's face obtained by the apparatus of the first reference example . It is a figure for demonstrating an image.
4A is a configuration diagram of a stereoscopic image display apparatus according to a second reference example , and FIG. 4B is a diagram illustrating a spectacle frame used in the third reference example .
FIG. 5 is a configuration diagram of a stereoscopic image display apparatus according to a fourth reference example of the present invention.
6 is a diagram for explaining a specific configuration of a prism and a mirror provided in the apparatus shown in FIG. 5, and FIG. 6B is a diagram for explaining a method of moving the traveling direction of the optical path by the prism. FIG.
FIG. 7 is a configuration diagram of a stereoscopic video display apparatus according to a fifth reference example .
8A is a configuration diagram of a stereoscopic image display apparatus according to a sixth reference example , and FIG. 8B is a front view illustrating a configuration of an arrayed LED light source provided in the apparatus shown in FIG. 8A. FIG.
FIG. 9 is a configuration diagram of a conventional stereoscopic video display device.
FIG. 10 is a system configuration diagram for projecting an image for the left eye of a conventional stereoscopic image display apparatus.
11 is a diagram showing a state of an image displayed on a CRT by the apparatus shown in FIG.
12 is a diagram showing a positional relationship between an illuminated observer and a light source in the apparatus shown in FIG. 8, and an image obtained by the apparatus.
[Explanation of symbols]
10, 21, 22, 33, 34, 61 Infrared LED light source 11, 23, 24, 35, 36, 62, 73 Monochrome CCD camera 12, 25, 63, 72 Signal processing system 13, 30, 39, 57, 64 Transmission type liquid crystal panel 14, 28 Stereoscopic endoscope 15, 29 CCU
16, 26, 37 CRT
17, 18, 19 Imaging lens system 27, 38, 56, 68 Fresnel lens 31, 32 Reflector plate 40 Eyeglass frame 41, 42 Reflector 51 Laser light source 52, 53 Prism 54 Mirror 55 Polygon mirror 65 Light source 66 Optical system 67 Ground glass 71 Array LED

Claims

A light-emitting display device that displays input signals of left and right images with parallax, a transmissive display device that displays an image of an observer's pupil arranged in front of the light-emitting display device, and the light-emitting display device An imaging optical system that relays and re-images the display image of the image and projects the pupil image of the observer displayed on the transmissive display device onto the eyeball of the observer. 3D image display device.

The imaging optical system includes a first imaging lens system disposed between the light emitting display device and the transmissive display device, and a second imaging lens disposed in front of the transmissive display device. The stereoscopic image display apparatus according to claim 1, wherein the stereoscopic image display apparatus is configured by a system.

The imaging optical system includes a first imaging lens system consists second imaging lens system and the third imaging lens system, is approximately the focal position of the first image-forming lens system each light emitting -type display device and the transmissive display device is arranged, also, the second image-forming lens system and said third imaging lens system is arranged in front of the transmissive display device, further, the second stereoscopic image display device according to claim 1, characterized in that said transmission type display device and the third imaging lens system is arranged at a substantially focal point of the imaging lens system.

The stereoscopic image display device according to claim 1, wherein the light emitting display device comprises a CRT display, and the transmissive display device comprises a liquid crystal display panel.