JP2004333661A - Stereoscopic image display device, stereoscopic image display method, and stereoscopic image display program - Google Patents

Stereoscopic image display device, stereoscopic image display method, and stereoscopic image display program Download PDF

Info

Publication number
JP2004333661A
JP2004333661A JP2003126854A JP2003126854A JP2004333661A JP 2004333661 A JP2004333661 A JP 2004333661A JP 2003126854 A JP2003126854 A JP 2003126854A JP 2003126854 A JP2003126854 A JP 2003126854A JP 2004333661 A JP2004333661 A JP 2004333661A
Authority
JP
Japan
Prior art keywords
image
observer
image processing
parallax
iris
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003126854A
Other languages
Japanese (ja)
Inventor
Yuichi Yamanoue
裕一 山之上
Masaki Emoto
正喜 江本
Yuji Nojiri
裕司 野尻
Atsuo Hanasato
敦夫 花里
Kenichiro Masaoka
顕一郎 正岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Nippon Hoso Kyokai NHK
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Hoso Kyokai NHK, Japan Broadcasting Corp filed Critical Nippon Hoso Kyokai NHK
Priority to JP2003126854A priority Critical patent/JP2004333661A/en
Publication of JP2004333661A publication Critical patent/JP2004333661A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a stereoscopic image display device, a stereoscopic image display method, and a stereoscopic image display program by which a stereoscopic image is displayed so that burden imposed on an observer is lightened and observer's visual fatigue is reduced. <P>SOLUTION: The stereoscopic image display device 1 outputting right and left images to a screen 2 and displaying them as a stereoscopic image generating a stereoscopic effect by binocular parallax being the parallax of the right and left eyeballs of the observer observing the screen 2 is equipped with an image output means 3, an eyeball imaging result input means 5, an image processing means 7, a parallax correction decision means 9, and a right and left image horizontal phase control means 11. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、両眼視差方式による立体画像を表示する立体画像表示装置、立体画像表示方法および立体画像表示プログラムに関する。
【０００２】
【従来の技術】
従来、右目用の画像である右目画像と左目用の画像である左目画像とからなる左右画像を表示画面上に表示し、この左右画像を観察者が観察することにより、両眼視差によって立体感を生じさせる立体画像が知られている。
【０００３】
この立体画像に含まれている立体像の飛び出し量が非常に大きい場合や、左右画像の間隔が瞳孔間隔以上になった際に当該左右画像を結像する開散側の視差が大きい場合、つまり、左右画像によって結像する立体像が表示画面の非常に奥に定位する場合には、輻輳・調節の不一致が激しくなり、視覚疲労が生じる。
【０００４】
この輻輳・調節の不一致を緩和するために、予め、左右画像の元となる映像から当該左右画像を編集する編集段階で、当該左右画像の水平位相を調整する水平位相調整作業が行われている。なお、輻輳・調節の不一致とは、観察者の両眼の輻輳位置と、観察者の焦点調節位置とが一致しないことを指すものである。また、この輻輳・調節の不一致によって生じる視覚疲労は、観察者が、提示されている左右画像から立体画像を認識しようとする際に生じる、目の疲れ等の疲労を指すものである。
【０００５】
しかし、輻輳・調節の不一致は、観察者が実際に左右画像のどの部分を見ているかに依存する。このため、編集段階における水平位相調整作業は、輻輳・調節の不一致を緩和するためには有効ではあるが、根本的に解決することにはならない。
【０００６】
例えば、この輻輳・調節の不一致を根本的に解決する解決方法の一つとして、「リアルタイム視線検出を用いた焦点調節補償型立体表示装置」（非特許文献１参照）がある。この焦点調節補償型立体表示装置は、輻輳・調節の不一致による視覚疲労を軽減するために、リレーレンズ系を用いて調節を制御するものであり、観察者の視線を検出するために、顎を載置する顎台や、赤外光の照射装置等が必要なものである。
【０００７】
なお、参考までに、「輻輳」とは、対象を眺めるときに左右の眼球が内向きに回転する両眼の働きのことであり、また、「開散」とは、輻輳と逆で、対象を眺めるときに左右の眼球が外向きに回転する両眼の働きのことである。さらに、「調節」とは、対象を眺めるときに眼球の水晶体の厚さを変えることによって、ピント調節することである。
【０００８】
【非特許文献１】
大村、志和、宮里著「リアルタイム視線検出を用いた焦点調節補償型立体表示装置」ＡＴＲ、３Ｄ画像コンファレンス、１９９６年、全頁
【０００９】
【発明が解決しようとする課題】
しかしながら、従来の焦点調節補償型立体表示装置では、立体像を観察するのに顎台に自らの顎をのせることで、頭部の自由を奪われることや、赤外線の照射装置等を予め準備しておかなければならず、観察者の負担が大きいという問題がある。
【００１０】
そこで、本発明の目的は前記した従来の技術が有する課題を解消し、観察者の負担を小さくすると共に、観察者の視覚疲労を軽減するように立体画像を表示することができる立体画像表示装置、立体画像表示方法および立体画像表示プログラムを提供することにある。
【００１１】
【課題を解決するための手段】
本発明は、前記した目的を達成するため、以下に示す構成とした。
請求項１記載の立体画像表示装置は、左眼用の左眼画像と右眼用の右眼画像とからなる左右画像を提示装置に出力して、当該提示装置を観察する観察者の左右眼球の視差である両眼視差により立体感を生じさせる立体画像として表示する立体画像表示装置であって、画像出力手段と、眼球撮像結果入力手段と、画像処理手段と、視差補正判定手段と、左右画像水平位相制御手段と、を備える構成とした。
【００１２】
かかる構成によれば、立体画像表示装置は、画像出力手段によって、両眼視差のない指標画像と左右画像とを提示装置に出力し、眼球撮像結果入力手段によって、提示装置で提示された指標画像および左右画像を見ている観察者の左右眼球を撮像した眼球撮像結果を入力する。なお、まず、画像出力手段によって指標画像が出力され、指標画像を見ている観察者の左右眼球を撮像した眼球撮像結果が入力され、その後、画像出力手段によって左右画像が出力され、左右画像を見ている観察者の左右眼球を撮像した眼球撮像結果が入力される。
【００１３】
また、この立体画像表示装置は、画像処理手段によって、指標画像を見ている観察者の左右眼球を撮像した眼球撮像結果を画像処理して第一画像処理結果とすると共に、左右画像を見ている観察者の左右眼球を撮像した眼球撮像結果を画像処理して第二画像処理結果とする。つまり、この画像処理手段によって、左右それぞれの眼球の瞳孔（黒目）の位置が検出され、左眼球の瞳孔の中心と、右眼球の瞳孔の中心との間の距離が検出される。
【００１４】
さらに、この立体画像表示装置は、視差補正判定手段によって、第一画像処理結果および第二画像処理結果から左右眼球の瞳孔間隔の差分を計測し、この差分に基づいて、左右画像による両眼視差の補正を行うかどうかを判定する。つまり、指標画像を見ている左右眼球の瞳孔間隔よりも、左右画像を見ている左右眼球の瞳孔間隔が小さい場合、左右眼球は輻輳していることになる。また、逆に、指標画像を見ている左右眼球の瞳孔間隔よりも左右画像を見ている左右眼球の瞳孔間隔が大きい場合、左右眼球は開散していることになる。こういった場合に適切な視差であるかどうかが判定されることになる。
【００１５】
その後、この立体画像表示装置は、左右画像水平位相制御手段によって、視差補正判定手段による判定結果に基づいて、左右画像の水平位相を制御する。この左右画像の位相を制御するとは、左右画像のそれぞれである左画像と右画像との水平方向の表示位置を調整することである。
【００１６】
なお、眼球を撮像した眼球撮像結果から、左右眼球の瞳孔の位置を得るための画像処理は、両眼部分の画像を切り出して、２値化処理を施したものによって行われる。この２値化処理を施す場合、予め、観察者の眼球部分に赤外光を照射しておき、瞳孔である黒目の部分を的確に把握できるような処理（赤外発光ダイオード等の赤外光照射手段と、撮像手段として赤外線カメラとによる撮像画像の処理）を施した方が好適である。
【００１７】
請求項２記載の立体画像表示装置は、請求項１に記載の立体画像表示装置において、前記画像処理手段は、黒目取得判定手段と、注視判定手段と、を備え、前記視差補正判定手段は、左右黒目距離算出手段と、輻輳・調節数値判定手段と、を備える構成とした。
【００１８】
かかる構成によれば、立体画像表示装置の画像処理手段は、黒目取得判定手段によって、観察者の左右眼球の黒目画像が取得できているかどうかを一定時間間隔で判定する。つまり、この黒目取得判定手段では、まばたき等によって、黒目画像が取得できなくなる場合を考慮して、一定間隔で黒目が取得できているかどうかを確認するためのものである。また、立体画像表示装置の画像処理手段は、注視判定手段によって、一定時間間隔における観察者の眼球の移動距離に基づいて、観察者の眼球が左右画像を注視しているかどうかを判定する。つまり、眼球の動きである眼球運動の中で、スムースパースートとサッケードとを区別することができる。スムースパースートとは、運動物体を眼球（視線）が追いかけるときに生じる連続的な低速の眼球運動である。サッケードとは、跳躍的で非常に高速度の眼球運動であり、静止している物体を見ている場合も生じるものである。
【００１９】
また、立体画像表示装置の視差補正判定手段は、左右黒目距離算出手段によって、黒目が取得できているどうかを判定する一定時間間隔毎に、左右眼球の黒目の距離である左右黒目距離を瞳孔間隔として算出する。つまり、黒目が取得できたタイミングで左右眼球の黒目、すなわち、瞳孔および虹彩部分から左右眼球の瞳孔間の距離（瞳孔間隔）が算出される。
【００２０】
そして、立体画像表示装置の視差補正判定手段は、輻輳・調節数値判定手段によって、左右黒目距離算出手段で算出された左右黒目距離と、予め設定した設定数値とに基づいて、左右画像の両眼視差の補正を行うかどうかを判定する。
【００２１】
請求項３記載の立体画像表示方法は、左眼用の左眼画像と右眼用の右眼画像とからなる左右画像を提示装置に出力して、当該提示装置を観察する観察者の左右眼球の視差である両眼視差により立体感を生じさせる立体画像として表示する立体画像表示方法であって、指標画像瞳孔間隔計測ステップと、左右画像瞳孔間隔計測ステップと、視差補正判定ステップと、左右画像水平位相制御ステップと、を含む手順とした。
【００２２】
かかる手順によれば、立体画像表示方法は、まず、指標画像瞳孔間隔計測ステップにおいて、両眼視差のない指標画像を観察者に提示し、この指標座標を見ている観察者の左右眼球を撮像し、この撮像した撮像結果を画像処理した画像処理結果から左右眼球の瞳孔間隔である指標画像瞳孔間隔を計測する。続いて、この立体画像表示方法は、左右画像瞳孔間隔計測ステップにおいて、左右画像を観察者に提示し、この左右画像を見ている観察者の左右眼球を撮像し、この撮像した撮像結果を画像処理した画像処理結果から左右眼球の瞳孔間隔である左右画像瞳孔間隔を計測する。
【００２３】
そして、この立体画像表示方法は、視差補正判定ステップによって、指標画像瞳孔間隔計測ステップにて計測した指標画像瞳孔間隔と、左右画像瞳孔間隔計測ステップにて計測した左右画像瞳孔間隔との差分に基づいて、左右画像の両眼視差の補正を行うかどうかを判定する。つまり、指標画像瞳孔間隔を基準として、左右画像瞳孔間隔の変動（変化値）を随時計測することによって、例えば、指標画像瞳孔間隔より左右画像瞳孔間隔が大きくなれば、観察者の左右眼球は開散していることになり、また逆に指標画像瞳孔間隔より左右画像瞳孔間隔が小さくなれば、観察者の左右眼球は輻輳していることになる。その後、この立体画像表示方法は、左右画像水平位相制御ステップにおいて、視差補正判定ステップにて判定された判定結果に基づいて、左右画像の水平位相を制御する。
【００２４】
請求項４記載の立体画像表示プログラムは、左眼用の左眼画像と右眼用の右眼画像とからなる左右画像を提示装置に出力して、当該提示装置を観察する観察者の左右眼球の視差である両眼視差により立体感を生じさせる立体画像として表示する装置を、画像提示手段、眼球撮像結果入力手段、画像処理手段、視差補正判定手段、左右画像水平位相制御手段、として機能させる構成とした。
【００２５】
かかる構成によれば、立体画像表示プログラムは、画像出力手段によって、両眼視差のない指標画像と左右画像とを提示装置に出力し、眼球撮像結果入力手段によって、提示装置で提示された指標画像および左右画像を見ている観察者の左右眼球を撮像した眼球撮像結果を入力する。そして、この立体画像表示プログラムは、画像処理手段によって、指標画像を見ている観察者の左右眼球を撮像した眼球撮像結果を画像処理して第一画像処理結果とすると共に、左右画像を見ている観察者の左右眼球を撮像した眼球撮像結果を画像処理して第二画像処理結果とする。
【００２６】
さらに、この立体画像表示プログラムは、視差補正判定手段によって、第一画像処理結果および第二画像処理結果から左右眼球の瞳孔間隔の差分を計測し、この変化値に基づいて、左右画像による両眼視差の補正を行うかどうかを判定する。その後、この立体画像表示プログラムは、左右画像水平位相制御手段によって、視差補正判定手段による判定結果に基づいて、左右画像の水平位相を制御する。
【００２７】
【発明の実施の形態】
以下、本発明の一実施の形態について、図面を参照して詳細に説明する。
（立体画像表示装置の構成）
図１は、立体画像表示装置のブロック図である。この図１に示すように、立体画像表示装置１は、スクリーン（提示装置）２に出力した左右画像によって、当該左右画像を観察している観察者に立体感のある立体画像を表示して、当該立体画像を観察している観察者の眼球をカメラ４で撮像するものであり、画像出力手段３と、眼球撮像結果入力手段５と、画像処理手段７と、視差補正判定手段９と、左右画像水平位相制御手段１１とを備えている。
【００２８】
画像出力手段３は、両眼視差のない指標画像と、左眼球用の画像である左画像および右目用の画像である右画像からなる左右画像とを当該装置１の外部に接続されているスクリーン２に出力するものである。このスクリーン２が観察者によって観察される。
【００２９】
指標画像は、スクリーン２の表示面上に形成されるものであり、輻輳位置と焦点調節位置とが一致する、両眼視差のない画像である。それに対して、左右画像は、当該スクリーン２の表示面の手前や奥に立体画像を形成するものであり、適宜、輻輳位置と焦点調節位置とが変化するものである。なお、指標画像は、予め指標画像記録手段３ａに記録されており、左右画像は、予め左右画像記録手段３ｂに記録されている。また、この実施の形態では、左右画像は、左右画像記録手段３ｂに予め記録されているが、この左右画像は、適宜、この立体画像表示装置１に入力される形態でもよい。
【００３０】
眼球撮像結果入力手段５は、スクリーン２に提示されている指標画像、左右画像を観察者が観察している場合に、当該観察者の左右眼球を撮像した結果である眼球撮像結果を入力するものである。この眼球撮像結果入力手段５に入力された眼球撮像結果は画像処理手段７に出力される。なお、画像処理手段７の黒目取得判定手段７ａ（詳しくは後記する）で、まばたき等によって黒目画像が取得されていないと判定された場合、別の時刻に撮像された眼球撮像結果が画像処理手段７に出力される。また、指標画像を見ている観察者の左右眼球を撮像した眼球撮像結果には、観察者からスクリーン２までの距離が含まれているものとする。
【００３１】
また、観察者の顔を赤外発光ダイオード（図示せず、赤外光発光部）で照らして、カメラ４をスクリーン２の下部に取り付けて当該観察者の顔を撮像することで、眼球撮像結果を得て、この眼球撮像結果を入力することも可能である。この場合、このカメラ４は赤外線カメラである。
【００３２】
画像処理手段７は、眼球撮像結果に２値化処理を施して、観察者の左右眼球の瞳孔間隔を検出するもので、黒目取得判定手段７ａと、注視判定手段７ｂとを備えている。観察者の瞳孔間隔を検出する画像処理として、この実施の形態では、赤外発光ダイオード（図示せず）を用いることなく、網膜からの反射像がない場合に、瞳孔および虹彩が白目や皮膚よりも黒く写ることを利用して、カメラ４で撮像した画像の中で黒い部分（黒目画像）を手がかりとして検出する方法を採用している。なお、網膜からの反射像を手がかりとして、瞳孔間隔を検出する方法もある。また、この画像処理手段７は、黒目画像によって黒目（瞳孔および虹彩部分）の面積の計測も行うものである。
【００３３】
なお、観察者からスクリーン２までの距離が変化（前後）した場合に、左右眼球の瞳孔間隔も変化するが、黒目（瞳孔および虹彩部分）の面積も変化するので、指標画像を見ている観察者の左右眼球の瞳孔間隔と、観察者からスクリーン２までの距離とが判明しているので、これを基準として、この画像処理手段７では、観察者からスクリーン２までの距離の変化と、左右眼球の瞳孔間隔の変化とを対応付けることができる。
【００３４】
黒目取得判定手段７ａは、眼球撮像結果入力手段５に入力された眼球撮像結果に含まれている画像中において、左右眼球の瞳孔部分である黒目画像が正確に取得（撮像）できているかどうかを一定時間間隔で判定するものである。つまり、スクリーン２に出力されている左右画像を見ている観察者が動いたり、まばたきしたりした場合に、黒目を正確に取得できない場合が生じ、この黒目の位置が把握できないと、左右眼球の瞳孔間隔が正確に計測できなくなってしまうので、この黒目取得判定手段７ａは、一定時間間隔（例えば、数十ミリ秒おき）に黒目画像が正確に検出できているかどうかを判定するものである。
【００３５】
この黒目取得判定手段７ａは、眼球撮像結果に円形状の色彩の濃い部分が含まれている場合に、この色彩の濃い部分を、黒目の部分とみなして、黒目画像が取得できているものと判定するものである。
【００３６】
注視判定手段７ｂは、黒目取得判定手段７ａによって黒目画像が取得できていると判定された場合に、左右眼球がスクリーン２を注視しているかどうかを、一定時間間隔における眼球の移動距離によって判定するものである。つまり、眼球の移動距離が大きい場合、左右眼球の眼球運動が行われている途中であることになり、注視していないと判定する。眼球の移動距離が小さい場合、左右眼球の眼球運動が行われていないことになり、注視していると判定する。
【００３７】
すなわち、この画像処理手段７は、画像処理の結果、観察者の瞳孔間隔を検出し、指標画像を見ている観察者の左右眼球を撮像した眼球撮像結果を画像処理したものを第一画像処理結果とし、左右画像を見ている観察者の左右眼球を撮像した眼球撮像結果を画像処理したものを第二画像処理結果として、視差補正判定手段９に出力する。なお、第一画像処理結果によって得られる、観察者が指標画像を見ている際の瞳孔間隔を基準値Ｗｏ、黒目の面積を面積Ｓｏとし、第二画像処理結果によって得られる、観察者が左右画像を見ている際の瞳孔間隔を変動値Ｗｓ、黒目の面積を面積Ｓｓとする。
【００３８】
これら画像処理手段７の黒目取得判定手段７ａおよび注視判定手段７ｂによって、眼球撮像結果に左右眼球が正確に撮像されているかどうかが判定されることとなる。つまり、この画像処理手段７により眼球撮像結果に左右眼球が正確に撮像されていないと判定された場合には、視差補正判定手段９によって左右画像の両眼視差の補正を行うかどうかの判定を下さいことになる。この場合、再度、眼球撮像結果入力手段５から画像処理手段７に眼球撮像結果が入力されることになる。
【００３９】
視差補正判定手段９は、左右画像による両眼視差が観察者に視覚疲労を生じさせないように、左右画像による両眼視差を補正するか否かを判定するもので、左右黒目距離算出手段９ａと、輻輳・調節数値判定手段９ｂとを備えている。
左右黒目距離算出手段９ａは、黒目取得判定手段７ａによって、黒目が検出されていると判定された場合、黒目の瞳孔および虹彩部分の色の違い（色差）を利用して、黒目の重心を求めて、左右眼球の黒目の距離を、瞳孔間隔として算出するものである。この実施の形態では、左右眼球の黒目の距離は、黒目の重心間の距離としている。以下、瞳孔間隔のことを左右黒目重心間距離という場合がある。なお、黒目の内側（左右の眼球間）の任意の端点間距離や、黒目の外側（左右の耳側）の任意の端点間距離としてもよい。
【００４０】
輻輳・調節数値判定手段９ｂは、左右画像による両眼視差の補正を行うかどうかを、左右眼球の焦点深度が予め設定した数値範囲に収まっているかどうかによって判定するものである。左右眼球の焦点深度は、瞳孔間隔の差分に基づいて算出できるものである。この左右眼球の焦点深度は、観察者とスクリーン２との距離（一般的に「視距離」という）の逆数をＤとすると、一般的に０．２〜０．３Ｄであると言われている。
【００４１】
例えば、観察者とスクリーン２との視距離が１ｍである場合、観察者の手前から約０．７ｍ〜約１．５ｍの範囲に左右眼球が輻輳していれば（左右眼球からの視線が交差していれば）、輻輳・調節の矛盾は生じないとされている。また、例えば、観察者とスクリーン２との視距離が２ｍである場合、観察者の手前から約１．２５ｍ〜約５ｍの範囲に左右眼球が輻輳していれば（左右眼球からの視線が交差していれば）、輻輳・調節の矛盾は生じないとされている。
【００４２】
つまり、この輻輳・調節数値判定手段９ｂは、瞳孔間隔の差分に基づいて算出した左右眼球の焦点深度が、図示を省略した記録部に記録されている数値範囲（観察者とスクリーン２との間の距離）に収まっている場合には、視差補正を行わないと判定し、画像出力手段３に、左右画像をそのままスクリーン２に出力させる制御情報である出力情報を出力する。また、この輻輳・調節数値判定手段９ｂは、瞳孔間隔の差分に基づいて算出した左右眼球の焦点深度が、図示を省略した記録部に記録されている数値範囲（観察者とスクリーン２との間の距離）に収まっていない場合には、視差補正を行うと判定し、左右画像水平位相制御手段１１に、瞳孔間隔の差分を出力する。
【００４３】
左右画像水平位相制御手段１１は、視差補正判定手段９から出力された瞳孔間隔の差分に基づいて、左右画像の水平位相を制御するものである。瞳孔間隔の差分は、基準値Ｗｏから変動値Ｗｓを減算した値で、左右眼球が輻輳していれば、差分は正の値となり、左右眼球が開散していれば、差分は負の値となる。
【００４４】
すなわち、立体映像に含まれる立体像がスクリーン２の表示面よりも飛び出した場合に、左右眼球は輻輳し、基準値Ｗｏよりも変動値Ｗｓが狭くなり、立体映像に含まれる立体像がスクリーン２の表示面よりも奥に定位した場合に、左右眼球は開散する。
【００４５】
この左右画像水平位相制御手段１１は、差分が正の値（輻輳）の場合、左右眼球からの視線が開散するように、つまり、スクリーン２の表示面上に表示される左画像の位置を左側へ、右画像の位置を右側へずらすことによって、差分がなくなるようにする情報である水平位相制御情報（視差補正）を画像出力手段３に出力する。また、この左右画像水平位相制御手段１１は、差分が負の値（開散）の場合、左右眼球からの視線が輻輳するように、つまり、スクリーン２の表示面上に表示される左画像の位置を右側へ、右画像の位置を左側へずらすことによって、差分がなくなるようにする情報である水平位相制御情報（視差補正）を画像出力手段３に出力する。
【００４６】
なお、この左右画像水平位相制御手段１１では、１回の水平位相の補正によって、急激に輻輳（開散）が変化し、見づらさが伴われる可能性があるため、１回の水平位相の補正量（左右画像の位置をずらす量）には上限値が設定されている。このため、この左右画像水平位相制御手段１１では、上限値を上回る補正が必要な場合には、複数回に分散して左右画像の水平位相の制御が行われる。
【００４７】
つまり、水平位相制御情報により、上限値以下に抑えられた補正量に基づいて、１組の左右画像の水平位相が制御され、続いて、上限値以下に抑えられた補正量に基づいて、連なる１組の左右画像の水平位相が制御され、順次、左右画像の水平位相が制御される。
【００４８】
この立体画像表示装置１によれば、画像出力手段３によって、指標座標が出力され、指標画像を見ている観察者の左右眼球を撮像した眼球撮像結果が眼球撮像結果入力手段５に入力され、その後、画像出力手段３によって、左右画像が出力され、左右画像を見ている観察者の左右眼球を撮像した眼球撮像結果が眼球撮像結果入力手段５に入力される。そして、画像処理手段７によって、指標画像を見ている観察者の左右眼球を撮像した眼球撮像結果が画像処理されて第一画像処理結果とされ、左右画像を見ている観察者の左右眼球を撮像した眼球撮像結果が画像処理されて第二画像処理結果とされる。さらに、視差補正判定手段９によって、第一画像処理結果および第二画像処理結果から左右眼球の瞳孔間隔の差分を計測し、この差分に基づいて、左右画像による両眼視差の補正を行うかどうかを判定する。その後、左右画像水平位相制御手段１１によって、視差補正判定手段９による判定結果に基づいて、左右画像の水平位相を制御する。
【００４９】
このように、基準値Ｗｏを基に、左右画像を見ている観察者の瞳孔間隔の変動値Ｗｓとの差分によって、常に、左右画像による両眼視差を補正するフィードバック制御をすることにより、輻輳位置と、焦点調節位置との矛盾を緩和することができる。つまり、視覚疲労を軽減することができる。
【００５０】
また、従来の装置のように、立体画像に含まれる立体像を観察するのに顎台に自らの顎をのせることをせずに、また、赤外線の照射装置等を予め準備しておくことなく、観察者の負担を小さくすることができると共に、観察者の視覚疲労を軽減するように立体画像を表示することができる。
【００５１】
また、この立体画像表示装置１によれば、画像処理手段７の黒目取得判定手段７ａによって、観察者の左右眼球の黒目が取得できているかどうかが一定時間間隔で判定され、注視判定手段７ｂによって、観察者の眼球が左右画像を注視しているかどうかが判定される。そして、視差補正判定手段９の左右黒目距離算出手段９ａによって、黒目画像の取得を判定する一定時間間隔毎に、左右眼球の黒目の距離である左右黒目距離を算出する。また、輻輳・調節数値判定手段９ｂによって、左右黒目距離算出手段７ｂで算出された距離（基準値Ｗｏと変動値Ｗｓとの差分による焦点深度）と、予め設定した設定数値（観察者とスクリーン２との間の距離）とに基づいて、左右画像の視差の補正を行うかどうかを判定する。これらによれば、左右画像の両眼視差の補正をするかどうかを、より正確に判定することができる。
【００５２】
（輻輳位置と焦点調節位置とについて）
次に、図３を参照して、輻輳位置と焦点調節位置とについて説明する。
図３は、輻輳位置と焦点調節位置と観察者の左右眼球とを模式的に図示したもので、図３（ａ）は、輻輳位置と焦点調節位置とが一致していない場合を示したものであり、図３（ｂ）は、輻輳位置と焦点調節位置とが一致している場合を示したものである。
【００５３】
図３（ａ）に示すように、スクリーン２の表示面上に、右目像（右画像）と左目像（左画像）とが表示されており、立体像が観察者の手前側に飛び出しているように観察者には観察される。なお、右目像（右画像）と左目像（左画像）とが表示されているところが焦点調節位置となる。また、立体像が観察されるところが輻輳位置となる。
【００５４】
図３（ｂ）に示すように、スクリーン２の表示面上に、右目像（右画像）と左目像（左画像）とが表示されており、且つ、立体像がスクリーン２の表示面上にあるように観察者には観察される。
【００５５】
つまり、図３（ａ）に示した右目像（右画像）と左目像（左画像）との水平位相を動かす（位置を調整する）ことによって、図３（ｂ）に示した右目像（右画像）と左目像（左画像）とによる立体像がスクリーン２の表示面上で観察することができる。
【００５６】
（赤外線カメラで観察者の顔画像を取得する様子について）
次に、図４を参照して、赤外線カメラで観察者の顔画像を取得する様子についいて説明する。図４は、図１に示した立体画像表示装置１に眼球撮像結果を入力するカメラ４を赤外線カメラによって構成して、当該赤外線カメラで観察者の顔画像（左右眼球を撮像した眼球撮像結果）を取得する様子を模式的に図示したものである。
【００５７】
観察者は、スクリーン２に出力された指標画像または左右画像を観察しており、当該観察者の顔面は、赤外光発光部から照射された赤外光によって、網膜の血管が映し出され、特に黒目の部分は、はっきりと赤色に着色された状態となっている。この赤外光が照射された顔面全体、或いは、左右眼球近傍のみが赤外線カメラによって撮像されており、この撮像結果が眼球撮像結果として立体画像表示装置１に入力されることとなる。
【００５８】
（瞳孔間隔と両眼視差との関係１）
次に、図５を参照して、瞳孔間隔と両眼視差との関係１（両眼視差がない場合）について説明する。
【００５９】
図５は、スクリーン２の表示面に出力された視差のない左右画像を見ている観察者の眼球を模式的に図示したものである。このときの左目と右目との瞳孔間隔を基準値Ｗｏとしている。つまり、輻輳位置と焦点調節位置とがスクリーン２の表示面上で一致している場合である。
【００６０】
（瞳孔間隔と両眼視差との関係２）
次に、図６を参照して、瞳孔間隔と両眼視差との関係２（両眼視差がある場合で、立体像が飛び出している場合）について説明する。
【００６１】
図６は、スクリーン２の表示面に出力された視差のある左右画像を見ている観察者の眼球を模式的に図示したものである。このときの左目と右目との瞳孔間隔を変動値Ｗｓとしている。つまり、輻輳位置と焦点調節位置とが一致せず、輻輳位置が観察者の手前にある場合である。この場合、左右画像による立体像が飛び出しているように観察することができる。
【００６２】
（立体画像表示装置の動作）
次に、図２に示すフローチャートを参照して、立体画像表示装置１の動作を説明する（適宜、図１参照）。
【００６３】
まず、立体画像表示装置１の画像出力手段３で両眼視差のない指標画像が出力され（Ｓ１）、この指標画像がスクリーン２に提示される。そして、この指標画像を見ている観察者の左右眼球がカメラ４によって撮像され、この撮像された結果である眼球撮像結果が眼球撮像結果入力手段５に入力される（Ｓ２）。つまり、左右画像による両眼視差によって立体感を生じる立体画像を観察するにあたり、事前にキャリブレーションをとる。すなわち、画像処理手段７によって眼球撮像結果が画像処理され、指標画像を見ている観察者の瞳孔間隔（左右黒目重心間距離）の基準値Ｗｏと、黒目の面積Ｓｏとが取得される（Ｓ３）。なお、これらＳ１からＳ３が指標画像瞳孔間隔計測ステップに相当する処理である。
【００６４】
このキャリブリレーションの後、左右画像が画像出力手段３で出力される（Ｓ４）。ここでまず、左右画像を見ている観察者の左右眼球がカメラ４によって撮像され、この撮像された結果である眼球撮像結果が眼球撮像結果入力手段５に入力される（Ｓ５）。また、これらＳ４、Ｓ５が左右画像瞳孔間隔計測ステップに相当する処理である。
【００６５】
そして、画像処理手段７によって、黒目取得手段７ａによって、眼球撮像結果によって画像中において黒目が取得されているかどうかが判定される（Ｓ６）。画像中において黒目が取得されていると判定されなかった場合（Ｓ６、Ｎｏ）には、再度、眼球撮像結果入力手段５によって、眼球撮像結果が入力される。画像中において黒目が取得されていると判定された場合（Ｓ６、Ｙｅｓ）には、注視判定手段７ｂによって、観察者が左右画像を注視しているかどうかが判定される（Ｓ７）。注視していると判定されなかった場合（Ｓ７、Ｎｏ）には、再度、眼球撮像結果入力手段５によって、眼球撮像結果が入力される。
【００６６】
そして、視差補正判定手段９の左右黒目距離算出手段９ａによって、観察者の瞳孔間隔（左右黒目重心間距離）の変動値Ｗｓと、黒目の面積Ｓｓが取得される（Ｓ８）。また、輻輳・調節数値判定手段９ｂによって、左右画像の視差の補正が必要であるかどうかが判定される（Ｓ９）。左右画像の視差の補正が必要であると判定されなかった場合（Ｓ９、Ｎｏ）には、視差補正判定手段９から出力情報が画像出力手段３に出力され（Ｓ１０）、これによって、視差を補正しないそのままの左右画像が画像出力手段３から出力される。左右画像の視差の補正が必要であると判定された場合（Ｓ９、Ｙｅｓ）には、左右画像の位相を制御する水平位相補正情報が左右画像水平位相制御手段１１から画像出力手段３に出力される（Ｓ１１）。
【００６７】
その後、左右画像の出力による立体画像の表示を終了させるかどうかが判定され（Ｓ１２）、終了と判定された場合（Ｓ１２、Ｙｅｓ）、立体画像表示装置１の動作は終了し、終了すると判定されなかった場合（Ｓ１２、Ｎｏ）、Ｓ５に戻って、眼球撮像結果が眼球撮像結果入力手段５に入力される。
【００６８】
以上、一実施形態に基づいて本発明を説明したが、本発明はこれに限定されるものではない。
例えば、立体画像表示装置１の各構成の処理を一つずつの過程ととらえた立体画像表示方法とみなすことや、各構成の処理を汎用的なコンピュータ言語で記述した立体画像表示プログラムとみなすことは可能である。これらの場合、立体画像表示装置１と同様の効果を得ることができる。
【００６９】
【発明の効果】
請求項１、３、４記載の発明によれば、従来の装置のように立体画像に含まれる立体像を観察するのに顎台に自らの顎をのせることをせずに、また、赤外線の照射装置等を予め準備しておくことなく、観察者の負担を小さくすることができると共に、左右画像を見ている観察者の瞳孔間隔の差分によって、常に、左右画像による両眼視差を補正するフィードバック制御をすることにより、輻輳位置と、焦点調節位置との矛盾を緩和することができ、視覚疲労を軽減することができる。
【００７０】
請求項２記載の発明によれば、観察者の左右眼球の黒目画像が取得できているかどうかが一定時間間隔で判定され、観察者の眼球が左右画像を注視しているかどうかが判定される。そして、この一定時間間隔毎に、左右眼球の黒目の距離である左右黒目距離が算出される。また、瞳孔間隔と、一定時間前に算出された瞳孔間隔との差分によって、瞳孔間隔の差分による焦点深度と、予め設定した設定数値とに基づいて、左右画像の視差の補正を行うかどうかが判定される。これらによって、左右画像の両眼視差の補正をするかどうかを、より正確に判定することができる。
【図面の簡単な説明】
【図１】本発明による一実施の形態である立体画像表示装置のブロック図である。
【図２】図１に示した立体画像表示装置の動作を説明したフローチャートである。
【図３】輻輳位置と焦点調節位置との関係を説明した図である。
【図４】赤外線カメラで観察者の顔画像を取得している様子を模式的に描いた図である。
【図５】瞳孔間隔と両眼視差との関係を説明した図である（視差がない場合）。
【図６】瞳孔間隔と両眼視差との関係を説明した図である（視差がある場合）。
【符号の説明】
１ 立体画像表示装置
２ スクリーン
３ 画像出力手段
３ａ 指標画像記録手段
３ｂ 左右画像記録手段
４ カメラ
５ 眼球撮像結果入力手段
７ 画像処理手段
７ａ 黒目取得判定手段
７ｂ 注視判定手段
９ 視差補正判定手段
９ａ 左右黒目距離算出手段
９ｂ 輻輳・調節数値判定手段
１１ 左右画像水平位相制御手段[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a three-dimensional image display device, a three-dimensional image display method, and a three-dimensional image display program for displaying a three-dimensional image by a binocular parallax method.
[0002]
[Prior art]
Conventionally, a left and right image including a right eye image as a right eye image and a left eye image as a left eye image is displayed on a display screen, and the left and right images are observed by an observer, so that a stereoscopic effect is obtained by binocular parallax. Are known.
[0003]
When the amount of projection of the stereoscopic image included in this stereoscopic image is extremely large, or when the parallax on the diverging side that forms the left and right images when the interval between the left and right images is greater than or equal to the pupil interval, that is, In the case where a stereoscopic image formed by the left and right images is localized at a very deep part of the display screen, the convergence / adjustment becomes inconsistent, resulting in visual fatigue.
[0004]
In order to alleviate the inconsistency of the convergence / adjustment, a horizontal phase adjustment operation for adjusting the horizontal phase of the left and right images is performed in advance in an editing stage of editing the left and right images from a video as a source of the left and right images. . Note that the convergence / adjustment mismatch indicates that the convergence position of both eyes of the observer does not match the focus adjustment position of the observer. The visual fatigue caused by the inconsistency between the convergence and the adjustment refers to fatigue such as eye fatigue that occurs when an observer attempts to recognize a stereoscopic image from the presented left and right images.
[0005]
However, the convergence / adjustment mismatch depends on which part of the left and right images the observer is actually looking at. For this reason, the work of adjusting the horizontal phase in the editing stage is effective for alleviating the mismatch between the convergence and the adjustment, but does not solve the problem fundamentally.
[0006]
For example, as one of the solutions for fundamentally solving the inconsistency of the convergence / adjustment, there is a “focus adjustment compensation type stereoscopic display device using real-time gaze detection” (see Non-Patent Document 1). This focus adjustment compensation type stereoscopic display device controls the adjustment using a relay lens system in order to reduce visual fatigue due to inconsistency of convergence and adjustment, and detects the chin of the observer to detect the gaze of the observer. A chin rest to be placed, an infrared light irradiation device, and the like are required.
[0007]
For reference, “convergence” refers to the function of both eyes when the left and right eyeballs rotate inward when looking at an object, and “divergence” is the opposite of convergence, Is the function of both eyes, where the left and right eyeballs rotate outward when looking at the camera. Further, “adjustment” refers to adjusting the focus by changing the thickness of the crystalline lens of the eye when viewing the object.
[0008]
[Non-patent document 1]
Omura, Shiwa and Miyazato, "Focal Adjustment Compensated Stereo Display Using Real-Time Eye Gaze Detection," ATR, 3D Image Conference, 1996, all pages
[0009]
[Problems to be solved by the invention]
However, in the conventional focus adjustment compensation type stereoscopic display device, the user can put his / her chin on the chin rest to observe a stereoscopic image, thereby depriving the head of freedom and preparing an infrared irradiation device in advance. And the burden on the observer is large.
[0010]
Therefore, an object of the present invention is to solve the above-described problems of the conventional technology, reduce the burden on the observer, and display a stereoscopic image so as to reduce the visual fatigue of the observer. Another object of the present invention is to provide a stereoscopic image display method and a stereoscopic image display program.
[0011]
[Means for Solving the Problems]
The present invention has the following configuration to achieve the above object.
The stereoscopic image display device according to claim 1, wherein left and right images including a left eye image for a left eye and a right eye image for a right eye are output to a presentation device, and left and right eyes of an observer who observes the presentation device. A stereoscopic image display device for displaying as a stereoscopic image that produces a stereoscopic effect by binocular parallax, which is a parallax of an image output unit, an eyeball imaging result input unit, an image processing unit, a parallax correction determination unit, And an image horizontal phase control unit.
[0012]
According to this configuration, the stereoscopic image display device outputs the index image without binocular parallax and the left and right images to the presentation device by the image output unit, and outputs the index image presented by the presentation device by the eyeball imaging result input unit. Further, an eyeball imaging result obtained by imaging the left and right eyes of the observer watching the left and right images is input. Note that first, an index image is output by the image output unit, an eyeball imaging result obtained by imaging the left and right eyes of the observer watching the index image is input, and then the left and right images are output by the image output unit, and the left and right images are output. Eyeball imaging results obtained by imaging the left and right eyeballs of the watching observer are input.
[0013]
Further, the three-dimensional image display device performs image processing on an eyeball imaging result obtained by imaging the left and right eyeballs of an observer watching the index image by an image processing unit to obtain a first image processing result, and to view the left and right images. Image processing is performed on an eyeball imaging result obtained by imaging the left and right eyeballs of the observer, and a second image processing result is obtained. That is, the position of the pupil (black eye) of each of the left and right eyeballs is detected by this image processing means, and the distance between the center of the pupil of the left eyeball and the center of the pupil of the right eyeball is detected.
[0014]
Further, the stereoscopic image display device measures a difference between pupil intervals of the left and right eyes from the first image processing result and the second image processing result by the parallax correction determining unit, and based on the difference, the binocular parallax by the left and right images. It is determined whether or not to perform the correction. In other words, if the pupil distance between the left and right eyes watching the left and right images is smaller than the pupil distance between the left and right eyes watching the index image, the left and right eyes are congested. Conversely, if the pupil distance between the left and right eyes watching the left and right images is larger than the pupil distance between the left and right eyes watching the index image, the left and right eyes are open. In such a case, it is determined whether or not the parallax is appropriate.
[0015]
Thereafter, the stereoscopic image display device controls the horizontal phase of the left and right images by the left and right image horizontal phase control means based on the determination result by the parallax correction determination means. To control the phase of the left and right images means to adjust the horizontal display positions of the left and right images, which are the left and right images, respectively.
[0016]
The image processing for obtaining the positions of the pupils of the left and right eyeballs from the eyeball imaging result obtained by imaging the eyeballs is performed by cutting out the images of both eyes and performing binarization processing. When this binarization processing is performed, infrared light is previously radiated to the eyeball of the observer, and processing (such as infrared light emitted from an infrared light emitting diode or the like) that allows the pupil of the iris to be accurately grasped is performed. It is preferable to perform the processing of the image captured by the irradiation unit and the infrared camera as the imaging unit.
[0017]
The stereoscopic image display device according to claim 2 is the stereoscopic image display device according to claim 1, wherein the image processing unit includes a iris acquisition determination unit and a gaze determination unit, and the parallax correction determination unit includes: The configuration includes left and right iris distance calculation means and convergence / adjustment numerical value determination means.
[0018]
According to this configuration, the image processing means of the stereoscopic image display device determines at regular time intervals whether or not the black eye images of the left and right eyes of the observer have been obtained by the black eye acquisition determining means. That is, the iris acquisition determining means is for confirming whether or not irises have been acquired at regular intervals in consideration of a case where the iris image cannot be acquired due to blinking or the like. Further, the image processing means of the stereoscopic image display device determines whether or not the observer's eyeball is gazing at the left and right images based on the moving distance of the observer's eyeball at a fixed time interval by the gaze determination means. In other words, smooth eyeballs and saccades can be distinguished in eyeball movements that are eyeball movements. Smooth soot is continuous low-speed eye movement that occurs when the eye (gaze) follows a moving object. Saccades are leaping and very fast eye movements that also occur when you are looking at a stationary object.
[0019]
Further, the parallax correction determining means of the stereoscopic image display device determines the distance between the left and right iris, which is the distance between the left and right eyeballs, at each pupil interval by the left and right iris distance calculating means to determine whether the iris has been acquired. Is calculated as That is, the distance between the pupils of the left and right eyeballs (pupil interval) is calculated from the pupil of the left and right eyeballs, that is, the pupil and the iris portion, at the timing when the iris is acquired.
[0020]
Then, the parallax correction determining means of the stereoscopic image display device, based on the left and right iris distance calculated by the left and right iris distance calculating means by the convergence / adjustment numerical value determining means, and the set numerical value set in advance, the left and right eyes It is determined whether to perform parallax correction.
[0021]
The stereoscopic image display method according to claim 3, wherein a left and right image including a left eye image for a left eye and a right eye image for a right eye is output to a presentation device, and left and right eyes of an observer who observes the presentation device. A stereoscopic image display method for displaying a stereoscopic image that generates a stereoscopic effect by binocular parallax, which is a parallax of an index image, a pupil interval measuring step, a left and right image pupil interval measuring step, a parallax correction determining step, and a left and right image And a horizontal phase control step.
[0022]
According to this procedure, the stereoscopic image display method first presents an index image without binocular parallax to the observer in the index image pupil interval measurement step, and captures the left and right eyes of the observer looking at the index coordinates. Then, the pupil interval of the index image, which is the pupil interval of the left and right eyeballs, is measured from the image processing result obtained by performing image processing on the captured image. Subsequently, in the stereoscopic image display method, in the left and right image pupil interval measuring step, the left and right images are presented to the observer, and the left and right eyes of the observer watching the left and right images are imaged. The left and right image pupil intervals, which are the pupil intervals of the left and right eyeballs, are measured from the processed image processing results.
[0023]
Then, the stereoscopic image display method is based on a difference between the index image pupil interval measured in the index image pupil interval measurement step and the left and right image pupil interval measured in the left and right image pupil interval measurement step in the parallax correction determination step. Then, it is determined whether to correct the binocular parallax of the left and right images. That is, by measuring the change (change value) of the left and right image pupil intervals as needed based on the index image pupil interval, for example, if the left and right image pupil intervals are larger than the index image pupil interval, the left and right eyes of the observer are opened. If the pupil distance between the left and right images is smaller than the pupil distance between the index images, the left and right eyes of the observer are congested. Thereafter, in the stereoscopic image display method, in the left and right image horizontal phase control step, the horizontal phase of the left and right images is controlled based on the determination result determined in the parallax correction determination step.
[0024]
The stereoscopic image display program according to claim 4, wherein a left and right image including a left eye image for a left eye and a right eye image for a right eye is output to a presentation device, and left and right eyes of an observer who observes the presentation device. A device that displays a stereoscopic image that produces a stereoscopic effect due to binocular parallax, which is parallax, functions as an image presenting unit, an eyeball imaging result input unit, an image processing unit, a parallax correction determining unit, and a left and right image horizontal phase control unit. Configuration.
[0025]
According to this configuration, the stereoscopic image display program outputs the index image without binocular parallax and the left and right images to the presentation device by the image output unit, and outputs the index image presented by the presentation device by the eyeball imaging result input unit. Further, an eyeball imaging result obtained by imaging the left and right eyes of the observer watching the left and right images is input. The three-dimensional image display program uses the image processing means to perform image processing on an eyeball imaging result obtained by imaging the left and right eyeballs of the observer watching the index image to obtain a first image processing result, and to view the left and right images. Image processing is performed on an eyeball imaging result obtained by imaging the left and right eyeballs of the observer, and a second image processing result is obtained.
[0026]
Further, the stereoscopic image display program uses a parallax correction determining unit to measure a difference between pupil intervals of the left and right eyes from the first image processing result and the second image processing result, and based on the change value, the two eyes of the left and right images are used. It is determined whether to perform parallax correction. Thereafter, the stereoscopic image display program controls the horizontal phase of the left and right images by the left and right image horizontal phase control means based on the determination result by the parallax correction determination means.
[0027]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, an embodiment of the present invention will be described in detail with reference to the drawings.
(Configuration of stereoscopic image display device)
FIG. 1 is a block diagram of the stereoscopic image display device. As shown in FIG. 1, the stereoscopic image display device 1 displays a stereoscopic image having a stereoscopic effect for an observer who is observing the left and right images, based on the left and right images output to the screen (presentation device) 2. The camera 4 captures the eyeball of the observer observing the stereoscopic image. The image output unit 3, the eyeball imaging result input unit 5, the image processing unit 7, the parallax correction determination unit 9, the left and right And an image horizontal phase control unit 11.
[0028]
The image output means 3 outputs an index image having no binocular parallax, and a left and right image including a left image as an image for the left eyeball and a right image as an image for the right eye, to a screen connected to the outside of the device 1. 2 is output. This screen 2 is observed by an observer.
[0029]
The index image is formed on the display surface of the screen 2 and is an image having no binocular parallax where the convergence position and the focus adjustment position match. On the other hand, the left and right images form a stereoscopic image in front of or behind the display surface of the screen 2, and the convergence position and the focus adjustment position change as appropriate. The index image is recorded in advance in the index image recording unit 3a, and the left and right images are recorded in advance in the left and right image recording unit 3b. In this embodiment, the left and right images are recorded in advance in the left and right image recording means 3b, but the left and right images may be input to the stereoscopic image display device 1 as appropriate.
[0030]
The eyeball imaging result input means 5 inputs an eyeball imaging result which is a result of imaging the left and right eyeballs of the observer when the observer observes the index image and the left and right images presented on the screen 2. It is. The eyeball imaging result input to the eyeball imaging result input means 5 is output to the image processing means 7. If the iris acquisition determining means 7a (described later in detail) of the image processing means 7 determines that the iris image has not been acquired due to blinking or the like, the eyeball imaging result captured at another time is determined by the image processing means. 7 is output. Further, it is assumed that the eyeball imaging result obtained by imaging the left and right eyes of the observer watching the index image includes the distance from the observer to the screen 2.
[0031]
Further, the face of the observer is illuminated by an infrared light emitting diode (not shown, an infrared light emitting unit), and the camera 4 is attached to the lower portion of the screen 2 to image the observer's face. It is also possible to input this eyeball imaging result. In this case, the camera 4 is an infrared camera.
[0032]
The image processing means 7 performs a binarization process on an eyeball imaging result to detect a pupil interval between left and right eyes of an observer, and includes a iris acquisition determining means 7a and a gaze determining means 7b. As the image processing for detecting the pupil interval of the observer, in this embodiment, the pupil and the iris are separated from the white eye and the skin without using an infrared light emitting diode (not shown) when there is no reflected image from the retina. A method of detecting a black portion (a black-eye image) in the image captured by the camera 4 as a clue by utilizing the fact that the image is also black is adopted. Note that there is also a method of detecting a pupil interval using a reflection image from the retina as a clue. The image processing means 7 also measures the area of the iris (pupil and iris portion) based on the iris image.
[0033]
When the distance from the observer to the screen 2 changes (before and after), the pupil interval between the left and right eyes also changes, but the area of the iris (pupil and iris portion) also changes. Since the pupil distance between the left and right eyes of the observer and the distance from the observer to the screen 2 are known, the image processing means 7 uses this as a reference to change the distance from the observer to the screen 2 The change of the pupil interval of the eyeball can be correlated.
[0034]
The iris acquisition determining means 7a determines whether or not the iris images of the pupils of the left and right eyeballs have been accurately acquired (imaged) in the image included in the eyeball imaging result input to the eyeball imaging result inputting means 5. The determination is made at regular time intervals. That is, when the observer looking at the left and right images output on the screen 2 moves or blinks, the iris may not be accurately obtained. Since the pupil interval cannot be accurately measured, the iris acquisition determining means 7a determines whether or not the iris image has been accurately detected at regular time intervals (for example, every several tens of milliseconds).
[0035]
The iris acquisition determining means 7a considers that when the eyeball imaging result includes a circularly-colored dark portion, the dark-colored portion is regarded as the iris portion and the iris image has been acquired. It is to judge.
[0036]
The gaze determination unit 7b determines whether the left and right eyes are gazing at the screen 2 based on the distance of movement of the eyeballs at fixed time intervals when the iris acquisition determination unit 7a determines that the iris image has been acquired. Things. That is, when the moving distance of the eyeball is long, it means that the eyeball movement of the left and right eyeballs is being performed, and it is determined that the user is not gazing. When the moving distance of the eyeball is short, it means that the eyeball movement of the left and right eyeballs is not performed, and it is determined that the user is gazing.
[0037]
That is, the image processing means 7 detects the pupil interval of the observer as a result of the image processing, and performs image processing on an eyeball imaging result obtained by imaging the left and right eyeballs of the observer watching the index image. As a result, the image processing result of the eyeball imaging result obtained by imaging the left and right eyeballs of the observer watching the left and right images is output to the parallax correction determination unit 9 as a second image processing result. Note that the pupil interval when the observer is viewing the index image obtained by the first image processing result is the reference value Wo, and the area of the iris is the area So. The pupil interval when viewing the image is a variation value Ws, and the area of the iris is an area Ss.
[0038]
The iris acquisition determining unit 7a and the gaze determining unit 7b of the image processing unit 7 determine whether or not the left and right eyeballs are accurately imaged in the eyeball imaging result. That is, when the image processing unit 7 determines that the left and right eyeballs are not accurately captured in the eyeball imaging result, the parallax correction determination unit 9 determines whether to correct the binocular parallax of the left and right images. I will give you. In this case, the eyeball imaging result is again input from the eyeball imaging result input unit 5 to the image processing unit 7.
[0039]
The parallax correction determining unit 9 determines whether or not to correct the binocular parallax based on the left and right images so that the binocular parallax based on the right and left images does not cause visual fatigue to an observer. , A congestion / adjustment numerical value judging means 9b.
When the iris acquisition determining means 7a determines that the iris is detected, the left and right iris distance calculation means 9a calculates the center of gravity of the iris using the color difference (color difference) between the pupil and the iris of the iris. The distance between the pupils of the left and right eyes is calculated as the pupil interval. In this embodiment, the distance between the irises of the left and right eyes is the distance between the centers of gravity of the irises. Hereinafter, the pupil interval may be referred to as the distance between the left and right iris centroids. The distance between any end points inside the iris (between the left and right eyeballs) and the distance between any end points outside the iris (between the left and right ears) may be used.
[0040]
The convergence / adjustment numerical value determining means 9b determines whether or not to correct the binocular parallax using the left and right images, based on whether or not the depth of focus of the left and right eyeballs falls within a preset numerical range. The depth of focus of the left and right eyeballs can be calculated based on the difference between the pupil intervals. The depth of focus of the left and right eyeballs is generally said to be 0.2-0.3D, where D is the reciprocal of the distance between the observer and the screen 2 (generally referred to as "viewing distance"). .
[0041]
For example, when the viewing distance between the observer and the screen 2 is 1 m, if the left and right eyes are congested in a range of about 0.7 m to about 1.5 m from the front of the observer (the eyes from the left and right eyes intersect). ), There is no contradiction between congestion and accommodation. Further, for example, when the viewing distance between the observer and the screen 2 is 2 m, if the left and right eyes are congested in a range of about 1.25 m to about 5 m from the front of the observer (the line of sight from the left and right eyes intersects). ), There is no contradiction between congestion and accommodation.
[0042]
In other words, the convergence / adjustment numerical value determining means 9b calculates the depth of focus of the left and right eyes calculated based on the difference between the pupil distances in the numerical range (the distance between the observer and the screen 2) recorded in a recording unit not shown. If the distance is within the range, it is determined that parallax correction is not to be performed, and output information that is control information for directly outputting the left and right images to the screen 2 is output to the image output unit 3. The convergence / adjustment numerical value determining means 9b calculates the depth of focus of the right and left eyes calculated based on the difference between the pupil distances in a numerical range (a distance between the observer and the screen 2) recorded in a recording unit not shown. If the distance is not within the range, it is determined that the parallax correction is to be performed, and the difference between the pupil intervals is output to the left and right image horizontal phase control unit 11.
[0043]
The left and right image horizontal phase control means 11 controls the horizontal phase of the left and right images based on the difference between the pupil intervals output from the parallax correction determination means 9. The pupil interval difference is a value obtained by subtracting the variation value Ws from the reference value Wo. If the left and right eyes are congested, the difference is a positive value. If the left and right eyes are diverging, the difference is a negative value. It becomes.
[0044]
That is, when the stereoscopic image included in the stereoscopic image protrudes from the display surface of the screen 2, the left and right eyes converge, the fluctuation value Ws becomes narrower than the reference value Wo, and the stereoscopic image included in the stereoscopic image is displayed on the screen 2. The left and right eyeballs diverge when localized at a position deeper than the display surface of.
[0045]
When the difference is a positive value (convergence), the left and right image horizontal phase control means 11 adjusts the position of the left image displayed on the display surface of the screen 2 so that the line of sight from the left and right eyes diverges. Horizontal phase control information (parallax correction), which is information for eliminating the difference by shifting the position of the right image to the left and to the right, is output to the image output means 3. Further, when the difference is a negative value (divergence), the left and right image horizontal phase control means 11 causes the line of sight from the left and right eyeballs to be congested, that is, the left image displayed on the display surface of the screen 2. By shifting the position to the right and the position of the right image to the left, horizontal phase control information (parallax correction) as information for eliminating the difference is output to the image output means 3.
[0046]
In the left and right image horizontal phase control means 11, the convergence (divergence) may be rapidly changed by one horizontal phase correction, and it may be difficult to see. An upper limit is set for the amount (the amount by which the positions of the left and right images are shifted). For this reason, in the left and right image horizontal phase control means 11, when a correction exceeding the upper limit value is required, the horizontal phases of the left and right images are controlled in a plurality of times.
[0047]
In other words, the horizontal phase control information controls the horizontal phase of one set of left and right images based on the correction amount suppressed to the upper limit or less, and then continues based on the correction amount suppressed to the upper limit or less. The horizontal phase of one set of left and right images is controlled, and the horizontal phase of the left and right images is controlled sequentially.
[0048]
According to the three-dimensional image display device 1, the index coordinates are output by the image output unit 3, and the eyeball imaging result obtained by imaging the left and right eyes of the observer watching the index image is input to the eyeball imaging result input unit 5, Thereafter, the left and right images are output by the image output unit 3, and the eyeball imaging results obtained by imaging the left and right eyes of the observer watching the left and right images are input to the eyeball imaging result input unit 5. Then, the image processing means 7 performs image processing on an eyeball imaging result obtained by imaging the left and right eyeballs of the observer watching the index image and sets the result as a first image processing result. The captured eyeball imaging result is subjected to image processing to be a second image processing result. Further, the parallax correction determining unit 9 measures a difference between the pupil intervals of the left and right eyes from the first image processing result and the second image processing result, and determines whether to correct the binocular parallax using the left and right images based on the difference. Is determined. Thereafter, the horizontal phase of the left and right images is controlled by the left and right image horizontal phase control means 11 based on the determination result by the parallax correction determination means 9.
[0049]
As described above, by performing the feedback control for always correcting the binocular parallax based on the left and right images based on the difference from the pupil interval variation value Ws of the observer watching the left and right images based on the reference value Wo, the convergence is achieved. The contradiction between the position and the focus adjustment position can be reduced. That is, visual fatigue can be reduced.
[0050]
Also, do not put your own chin on the chin rest to observe the stereoscopic image included in the stereoscopic image as in the conventional device, and prepare an infrared irradiation device etc. in advance. In addition, the burden on the observer can be reduced, and the stereoscopic image can be displayed so as to reduce the visual fatigue of the observer.
[0051]
Further, according to the three-dimensional image display device 1, it is determined by the iris acquisition determining unit 7a of the image processing unit 7 at regular time intervals whether or not the iris of the left and right eyes of the observer has been acquired. It is determined whether or not the observer's eyeball is gazing at the left and right images. Then, the left and right iris distance calculating means 9a of the parallax correction determining means 9 calculates the left and right iris distance, which is the distance of the iris of the left and right eyeballs, at fixed time intervals for determining the acquisition of the iris image. The distance calculated by the convergence / adjustment numerical value determining means 9b (the depth of focus based on the difference between the reference value Wo and the fluctuation value Ws) calculated by the left and right iris distance calculating means 7b and a preset numerical value (observer and screen 2). It is determined whether or not to correct the parallax of the left and right images based on the distance between the left and right images. According to these, it is possible to more accurately determine whether to correct the binocular parallax of the left and right images.
[0052]
(About convergence position and focus adjustment position)
Next, the convergence position and the focus adjustment position will be described with reference to FIG.
FIG. 3 schematically illustrates the convergence position, the focus adjustment position, and the left and right eyeballs of the observer, and FIG. 3A illustrates a case where the convergence position does not match the focus adjustment position. FIG. 3B shows a case where the convergence position and the focus adjustment position match.
[0053]
As shown in FIG. 3A, a right-eye image (right image) and a left-eye image (left image) are displayed on the display surface of the screen 2, and the three-dimensional image protrudes toward the viewer. Is observed by the observer. The position where the right eye image (right image) and the left eye image (left image) are displayed is the focus adjustment position. The place where the stereoscopic image is observed is the convergence position.
[0054]
As shown in FIG. 3B, a right-eye image (right image) and a left-eye image (left image) are displayed on the display surface of the screen 2, and a three-dimensional image is displayed on the display surface of the screen 2. It is observed by the observer as it is.
[0055]
That is, by moving (adjusting the position) the horizontal phase of the right-eye image (right image) and the left-eye image (left image) shown in FIG. 3A, the right-eye image (right image) shown in FIG. (A left image) and a left eye image (left image) can be observed on the display surface of the screen 2.
[0056]
(About acquiring the face image of the observer with an infrared camera)
Next, with reference to FIG. 4, the manner in which an infrared camera acquires a face image of an observer will be described. FIG. 4 shows an example in which the camera 4 for inputting the eyeball imaging result to the three-dimensional image display device 1 shown in FIG. 1 is constituted by an infrared camera, and the observer's face image (eyeball imaging result obtained by imaging the left and right eyeballs) with the infrared camera. Is schematically illustrated in FIG.
[0057]
The observer observes the index image or the left and right images output on the screen 2, and the face of the observer reflects blood vessels of the retina by the infrared light emitted from the infrared light emitting unit. The iris is clearly colored red. The entire face irradiated with the infrared light or only the vicinity of the left and right eyeballs is imaged by the infrared camera, and the imaging result is input to the stereoscopic image display device 1 as an eyeball imaging result.
[0058]
(Relationship 1 between pupil interval and binocular parallax)
Next, with reference to FIG. 5, the relationship 1 (when there is no binocular parallax) between the pupil interval and the binocular parallax will be described.
[0059]
FIG. 5 schematically illustrates an eyeball of an observer watching a left and right image without parallax output on the display surface of the screen 2. The pupil interval between the left eye and the right eye at this time is set as a reference value Wo. That is, this is a case where the convergence position and the focus adjustment position match on the display surface of the screen 2.
[0060]
(Relationship between pupil interval and binocular parallax 2)
Next, with reference to FIG. 6, the relationship 2 between the pupil interval and the binocular parallax (when there is a binocular parallax and a stereoscopic image is protruding) will be described.
[0061]
FIG. 6 schematically illustrates the eyeball of the observer who is viewing the left and right images with parallax output on the display surface of the screen 2. The pupil interval between the left eye and the right eye at this time is set as a variation value Ws. That is, the convergence position does not match the focus adjustment position, and the convergence position is in front of the observer. In this case, it can be observed that a stereoscopic image of the left and right images is projected.
[0062]
(Operation of stereoscopic image display device)
Next, the operation of the stereoscopic image display device 1 will be described with reference to the flowchart shown in FIG. 2 (see FIG. 1 as appropriate).
[0063]
First, an index image without binocular parallax is output by the image output means 3 of the stereoscopic image display device 1 (S1), and this index image is presented on the screen 2. Then, the left and right eyeballs of the observer watching the index image are imaged by the camera 4, and the eyeball imaging result, which is the imaged result, is input to the eyeball imaging result input means 5 (S2). That is, when observing a stereoscopic image that produces a stereoscopic effect due to binocular parallax between the left and right images, calibration is performed in advance. That is, the eyeball imaging result is image-processed by the image processing means 7, and the reference value Wo of the pupil interval (the distance between the left and right iris centroids) of the observer watching the index image and the iris area So are acquired (S3). ). Note that S1 to S3 are processes corresponding to the index image pupil interval measurement step.
[0064]
After this calibration, the left and right images are output by the image output means 3 (S4). Here, first, the left and right eyeballs of the observer watching the left and right images are captured by the camera 4, and the obtained eyeball imaging result is input to the eyeball imaging result input means 5 (S 5). Steps S4 and S5 correspond to a left-right image pupil interval measuring step.
[0065]
Then, it is determined by the image processing unit 7 whether or not the iris is acquired in the image by the iris acquiring unit 7a based on the eyeball imaging result (S6). When it is not determined that the iris is acquired in the image (S6, No), the eyeball imaging result input unit 5 inputs the eyeball imaging result again. When it is determined that the iris is acquired in the image (S6, Yes), the gaze determination unit 7b determines whether the observer is gazing at the left and right images (S7). If it is not determined that the user is gazing (S7, No), the eyeball imaging result input unit 5 inputs the eyeball imaging result again.
[0066]
Then, the fluctuation value Ws of the pupil interval of the observer (the distance between the left and right iris centroids) and the area Ss of the iris are acquired by the left and right iris distance calculating means 9a of the parallax correction determining means 9 (S8). Further, the convergence / adjustment numerical value determining means 9b determines whether or not the parallax between the left and right images needs to be corrected (S9). When it is not determined that the correction of the parallax of the left and right images is necessary (S9, No), the output information is output from the parallax correction determination unit 9 to the image output unit 3 (S10), thereby correcting the parallax. The left and right images that are not changed are output from the image output means 3. If it is determined that the parallax between the left and right images needs to be corrected (S9, Yes), horizontal phase correction information for controlling the phases of the left and right images is output from the left and right image horizontal phase control unit 11 to the image output unit 3. (S11).
[0067]
Thereafter, it is determined whether or not to end the display of the stereoscopic image based on the output of the left and right images (S12). When it is determined that the display is to be ended (Yes in S12), the operation of the stereoscopic image display device 1 ends, and it is determined to end. If not (S12, No), the process returns to S5, and the eyeball imaging result is input to the eyeball imaging result input means 5.
[0068]
As described above, the present invention has been described based on one embodiment, but the present invention is not limited to this.
For example, the processing of each component of the three-dimensional image display device 1 is regarded as a three-dimensional image display method in which it is regarded as one process, or the processing of each component is regarded as a three-dimensional image display program described in a general-purpose computer language. Is possible. In these cases, effects similar to those of the stereoscopic image display device 1 can be obtained.
[0069]
【The invention's effect】
According to the first, third and fourth aspects of the present invention, it is possible to observe a three-dimensional image included in a three-dimensional image as in a conventional apparatus without placing its own chin on a chin rest. The burden on the observer can be reduced without preparing an irradiation device or the like in advance, and the binocular parallax based on the left and right images is always corrected by the difference between the pupil intervals of the observer watching the left and right images. By performing such feedback control, the contradiction between the convergence position and the focus adjustment position can be reduced, and visual fatigue can be reduced.
[0070]
According to the second aspect of the present invention, it is determined at regular time intervals whether or not the iris images of the left and right eyes of the observer have been acquired, and it is determined whether or not the observer's eyes are gazing at the left and right images. Then, the left and right iris distance, which is the distance between the irises of the left and right eyeballs, is calculated at each fixed time interval. Further, based on a difference between the pupil interval and the pupil interval calculated a predetermined time ago, it is determined whether or not to perform the parallax correction of the left and right images based on a depth of focus due to the pupil interval difference and a preset numerical value. Is determined. With these, it is possible to more accurately determine whether to correct the binocular parallax of the left and right images.
[Brief description of the drawings]
FIG. 1 is a block diagram of a stereoscopic image display device according to an embodiment of the present invention.
FIG. 2 is a flowchart illustrating the operation of the stereoscopic image display device shown in FIG.
FIG. 3 is a diagram illustrating a relationship between a convergence position and a focus adjustment position.
FIG. 4 is a diagram schematically illustrating a state in which a face image of an observer is acquired by an infrared camera.
FIG. 5 is a diagram illustrating a relationship between a pupil interval and binocular disparity (when there is no disparity).
FIG. 6 is a diagram illustrating the relationship between pupil spacing and binocular parallax (when there is parallax).
[Explanation of symbols]
1 stereoscopic image display device
2 screen
3 Image output means
3a Index image recording means
3b Left and right image recording means
4 Camera
5 Eyeball imaging result input means
7 Image processing means
7a Black eye acquisition determination means
7b Gaze determination means
9 Parallax correction determination means
9a Left and right iris distance calculating means
9b Congestion / adjustment numerical value judgment means
11 Left and right image horizontal phase control means

Claims (4)

左眼用の左眼画像と右眼用の右眼画像とからなる左右画像を提示装置に出力して、当該提示装置を観察する観察者の両眼視差により立体感を生じさせる立体画像として表示する立体画像表示装置であって、
両眼視差のない指標画像と前記左右画像とを前記提示装置に出力する画像出力手段と、
前記提示装置で提示された前記指標画像および前記左右画像を見ている前記観察者の左右眼球を撮像した眼球撮像結果を入力する眼球撮像結果入力手段と、
この眼球撮像結果入力手段に入力された前記指標画像を見ている前記眼球撮像結果を画像処理して第一画像処理結果とすると共に、前記左右画像を見ている前記眼球撮像結果を画像処理して第二画像処理結果とする画像処理手段と、
この画像処理手段で画像処理された第一画像処理結果および第二画像処理結果から前記左右眼球の瞳孔間隔の差分を計測し、前記左右画像による両眼視差の補正を行うかどうかを判定する視差補正判定手段と、
この視差補正判定手段による判定結果に基づいて、前記左右画像の水平位相を制御する左右画像水平位相制御手段と、
を備えることを特徴とする立体画像表示装置。A left-right image composed of a left-eye image for the left eye and a right-eye image for the right eye is output to a presentation device and displayed as a stereoscopic image that produces a stereoscopic effect due to binocular parallax of an observer who observes the presentation device. A three-dimensional image display device,
Image output means for outputting the index image and the left and right images without binocular parallax to the presentation device,
An eyeball imaging result input unit that inputs an eyeball imaging result obtained by imaging the left and right eyes of the observer viewing the index image and the left and right images presented by the presentation device,
The eyeball imaging result viewing the index image input to the eyeball imaging result input means is image-processed to be a first image processing result, and the eyeball imaging result viewing the left and right images is image-processed. Image processing means for obtaining a second image processing result,
The difference between the pupil intervals of the left and right eyes is measured from the first image processing result and the second image processing result image-processed by the image processing unit, and the parallax is determined to determine whether to correct the binocular parallax using the left and right images. Correction determining means;
Left and right image horizontal phase control means for controlling the horizontal phase of the left and right images based on the determination result by the parallax correction determination means,
A stereoscopic image display device comprising: 前記画像処理手段は、前記観察者の左右眼球の黒目画像が取得できているかどうかを一定時間間隔で判定する黒目取得判定手段と、
この黒目取得判定手段による黒目画像の取得を判定する一定時間間隔毎に、前記観察者の眼球が前記左右画像を注視しているかどうかを判定する注視判定手段と、を備え、
前記視差補正判定手段は、前記左右眼球の黒目の距離である左右黒目距離を瞳孔間隔として算出する左右黒目距離算出手段と、
この左右黒目距離算出手段で算出された左右黒目距離と、予め設定した設定数値とに基づいて、前記左右画像の両眼視差の補正を行うかどうかを判定する輻輳・調節数値判定手段と、
を備えることを特徴とする請求項１に記載の立体画像表示装置。The image processing means, iris acquisition determining means for determining at regular time intervals whether or not the iris images of the left and right eyes of the observer have been acquired,
At a predetermined time interval for determining the acquisition of the iris image by the iris acquisition determination means, gaze determination means for determining whether the eyeball of the observer is gazing at the left and right images,
The parallax correction determination unit, a left and right iris distance calculation unit that calculates a left and right iris distance that is the distance of the iris of the left and right eyeballs as a pupil interval,
A left-right iris distance calculated by the left-right iris distance calculation means, and a convergence / adjustment numerical value determination means for determining whether to correct the binocular disparity of the left and right images based on a preset numerical value,
The stereoscopic image display device according to claim 1, comprising: 左眼用の左眼画像と右眼用の右眼画像とからなる左右画像を提示装置に出力して、当該提示装置を観察する観察者の両眼視差により立体感を生じさせる立体画像として表示する立体画像表示方法であって、
両眼視差のない指標画像を前記提示装置に出力して前記観察者に提示し、この指標画像を見ている前記観察者の左右眼球を撮像した眼球撮像結果を画像処理した画像処理結果から前記左右眼球の瞳孔間隔である指標画像瞳孔間隔を計測する指標画像瞳孔間隔計測ステップと、
前記左右画像を前記提示装置に出力して前記観察者に提示し、この左右画像を見ている前記観察者の左右眼球を撮像した眼球撮像結果を画像処理した画像処理結果から前記左右眼球の瞳孔間隔である左右画像瞳孔間隔を計測する左右画像瞳孔間隔計測ステップと、
前記指標画像瞳孔間隔計測ステップにて計測した指標画像瞳孔間隔と、前記左右画像瞳孔間隔計測ステップにて計測した左右画像瞳孔間隔との差分に基づいて、前記左右画像による両眼視差の補正を行うかどうかを判定する視差補正判定ステップと、
この視差補正判定ステップによる判定結果に基づいて、前記左右画像の水平位相を制御する左右画像水平位相制御ステップと、
を含むことを特徴とする立体画像表示方法。A left-right image composed of a left-eye image for the left eye and a right-eye image for the right eye is output to a presentation device and displayed as a stereoscopic image that produces a stereoscopic effect due to binocular parallax of an observer who observes the presentation device. Stereoscopic image display method,
An index image having no binocular parallax is output to the presenting device and presented to the observer, and the image processing result obtained by performing image processing on the eyeball imaging result obtained by imaging the left and right eyeballs of the observer watching the index image is obtained from the image processing result. An index image pupil interval measuring step of measuring an index image pupil interval that is a pupil interval between the left and right eyes,
The left and right images are output to the presentation device and presented to the observer, and the pupils of the left and right eyes are obtained from an image processing result obtained by performing image processing on an eyeball imaging result obtained by imaging the left and right eyes of the observer watching the left and right images. A left and right image pupil interval measurement step of measuring a left and right image pupil interval which is an interval,
Based on the difference between the index image pupil interval measured in the index image pupil interval measurement step and the left and right image pupil interval measured in the left and right image pupil interval measurement step, the binocular parallax is corrected by the left and right images. A parallax correction determining step of determining whether or not
A left and right image horizontal phase control step of controlling a horizontal phase of the left and right images based on a result of the determination by the parallax correction determination step;
A stereoscopic image display method comprising: 左眼用の左眼画像と右眼用の右眼画像とからなる左右画像を提示装置に出力して、当該提示装置を観察する観察者の両眼視差により立体感を生じさせる立体画像として表示する装置を、
両眼視差のない指標画像と前記左右画像とを前記提示装置に出力する画像出力手段、
この画像出力手段で出力され前記提示装置に提示された前記指標画像および前記左右画像を見ている前記観察者の左右眼球を撮像した眼球撮像結果を入力する眼球撮像結果入力手段、
この眼球撮像結果入力手段で入力された前記指標画像を見ている前記眼球撮像結果を画像処理して第一画像処理結果とすると共に、前記左右画像を見ている前記眼球撮像結果を画像処理して第二画像処理結果とする画像処理手段、
この画像処理手段で画像処理された第一画像処理結果および第二画像処理結果から前記左右眼球の瞳孔間隔の差分を計測し、前記左右画像による両眼視差の補正を行うかどうかを判定する視差補正判定手段、
この視差制御手段による制御に基づいて、前記左右画像の水平位相を制御する左右画像水平位相制御手段、
として機能させることを特徴とする立体画像表示プログラム。A left-right image composed of a left-eye image for the left eye and a right-eye image for the right eye is output to a presentation device and displayed as a stereoscopic image that produces a stereoscopic effect due to binocular parallax of an observer who observes the presentation device. Equipment to
Image output means for outputting an index image without binocular parallax and the left and right images to the presentation device,
An eyeball imaging result input unit for inputting an eyeball imaging result of capturing the left and right eyeballs of the observer watching the index image and the left and right images output by the image output unit and presented to the presentation device,
The eyeball imaging result viewing the index image input by the eyeball imaging result input means is image-processed to be a first image processing result, and the eyeball imaging result viewing the left and right images is image-processed. Image processing means for obtaining a second image processing result,
The difference between the pupil intervals of the left and right eyeballs is measured from the first image processing result and the second image processing result image-processed by the image processing means, and the parallax for determining whether to correct the binocular parallax using the left and right images. Correction determination means,
Left and right image horizontal phase control means for controlling the horizontal phase of the left and right images based on the control by the parallax control means,
A stereoscopic image display program characterized by functioning as a computer.
JP2003126854A 2003-05-02 2003-05-02 Stereoscopic image display device, stereoscopic image display method, and stereoscopic image display program Pending JP2004333661A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003126854A JP2004333661A (en) 2003-05-02 2003-05-02 Stereoscopic image display device, stereoscopic image display method, and stereoscopic image display program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003126854A JP2004333661A (en) 2003-05-02 2003-05-02 Stereoscopic image display device, stereoscopic image display method, and stereoscopic image display program

Publications (1)

Publication Number Publication Date
JP2004333661A true JP2004333661A (en) 2004-11-25

Family

ID=33503610

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003126854A Pending JP2004333661A (en) 2003-05-02 2003-05-02 Stereoscopic image display device, stereoscopic image display method, and stereoscopic image display program

Country Status (1)

Country Link
JP (1) JP2004333661A (en)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010210737A (en) * 2009-03-09 2010-09-24 Nikon Corp Display device
JP2011217939A (en) * 2010-04-09 2011-11-04 Sankyo Co Ltd Game machine
JP2012023567A (en) * 2010-07-14 2012-02-02 Nikon Corp Display device, image processing device, and program
JP2012119739A (en) * 2010-11-29 2012-06-21 Sony Corp Information processing apparatus, information processing method and program
JP2012129896A (en) * 2010-12-17 2012-07-05 New Opto Corp Stereoscopic image analyzer
JP2012169759A (en) * 2011-02-10 2012-09-06 Sony Corp Display device and display method
WO2012117703A1 (en) * 2011-03-02 2012-09-07 パナソニック株式会社 Three-dimensional image processing device, three-dimensional image processing method, spectacles device for viewing three-dimensional image, integrated circuit for three-dimensional image processing device, optical disk playback device, three-dimensional video signal playback device, and three-dimensional video signal display device
WO2012157177A1 (en) * 2011-05-19 2012-11-22 パナソニック株式会社 Vergence performance determination device and method therefor
WO2012169220A1 (en) * 2011-06-06 2012-12-13 シャープ株式会社 3d image display device and 3d image display method
JP5181084B1 (en) * 2012-01-27 2013-04-10 パナソニック株式会社 Stereoscopic image display control apparatus and stereoscopic image display control method
JP2013104937A (en) * 2011-11-11 2013-05-30 Toshiba Corp Display processing device and display processing method
WO2013111201A1 (en) * 2012-01-27 2013-08-01 パナソニック株式会社 Three-dimensional image display control device and three-dimensional image display control method
US8908017B2 (en) 2008-10-15 2014-12-09 Samsung Electronics Co., Ltd. Method for driving glasses-type stereoscopic display preventing visual fatigue and refractive index-variable shutter glasses
JP5725159B2 (en) * 2011-03-30 2015-05-27 富士通株式会社 Measuring device, stereoscopic image display device, and measuring method
JP2015125407A (en) * 2013-12-27 2015-07-06 国立大学法人 筑波大学 Time-division parallax barrier type naked eye three-dimensional image display apparatus
CN111103975A (en) * 2019-11-30 2020-05-05 华为技术有限公司 Display method, electronic equipment and system
JP2020522010A (en) * 2017-05-29 2020-07-27 アイウェイ ビジョン リミテッドＥｙｅＷａｙ Ｖｉｓｉｏｎ Ｌｔｄ． Title: Eye projection system with focus management and method

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8908017B2 (en) 2008-10-15 2014-12-09 Samsung Electronics Co., Ltd. Method for driving glasses-type stereoscopic display preventing visual fatigue and refractive index-variable shutter glasses
JP2010210737A (en) * 2009-03-09 2010-09-24 Nikon Corp Display device
JP2011217939A (en) * 2010-04-09 2011-11-04 Sankyo Co Ltd Game machine
JP2012023567A (en) * 2010-07-14 2012-02-02 Nikon Corp Display device, image processing device, and program
JP2012119739A (en) * 2010-11-29 2012-06-21 Sony Corp Information processing apparatus, information processing method and program
US9955138B2 (en) 2010-11-29 2018-04-24 Saturn Licensing Llc Information processing apparatus, information processing method and program
JP2012129896A (en) * 2010-12-17 2012-07-05 New Opto Corp Stereoscopic image analyzer
JP2012169759A (en) * 2011-02-10 2012-09-06 Sony Corp Display device and display method
WO2012117703A1 (en) * 2011-03-02 2012-09-07 パナソニック株式会社 Three-dimensional image processing device, three-dimensional image processing method, spectacles device for viewing three-dimensional image, integrated circuit for three-dimensional image processing device, optical disk playback device, three-dimensional video signal playback device, and three-dimensional video signal display device
JP5725159B2 (en) * 2011-03-30 2015-05-27 富士通株式会社 Measuring device, stereoscopic image display device, and measuring method
JP5096643B1 (en) * 2011-05-19 2012-12-12 パナソニック株式会社 Congestion capability determination device and method
WO2012157177A1 (en) * 2011-05-19 2012-11-22 パナソニック株式会社 Vergence performance determination device and method therefor
US9186056B2 (en) 2011-05-19 2015-11-17 Panasonic Intellectual Property Management Co., Ltd. Device and method for determining convergence eye movement performance of a user when viewing a stereoscopic video
WO2012169220A1 (en) * 2011-06-06 2012-12-13 シャープ株式会社 3d image display device and 3d image display method
JP2013104937A (en) * 2011-11-11 2013-05-30 Toshiba Corp Display processing device and display processing method
JP5181084B1 (en) * 2012-01-27 2013-04-10 パナソニック株式会社 Stereoscopic image display control apparatus and stereoscopic image display control method
US9123146B2 (en) 2012-01-27 2015-09-01 Panasonic Intellectual Property Management Co., Ltd. Stereoscopic image display control apparatus, and stereoscopic image display control method
WO2013111201A1 (en) * 2012-01-27 2013-08-01 パナソニック株式会社 Three-dimensional image display control device and three-dimensional image display control method
JP2015125407A (en) * 2013-12-27 2015-07-06 国立大学法人 筑波大学 Time-division parallax barrier type naked eye three-dimensional image display apparatus
JP2020522010A (en) * 2017-05-29 2020-07-27 アイウェイ ビジョン リミテッドＥｙｅＷａｙ Ｖｉｓｉｏｎ Ｌｔｄ． Title: Eye projection system with focus management and method
CN111103975A (en) * 2019-11-30 2020-05-05 华为技术有限公司 Display method, electronic equipment and system

Similar Documents

Publication Publication Date Title
JP2004333661A (en) Stereoscopic image display device, stereoscopic image display method, and stereoscopic image display program
US7428001B2 (en) Materials and methods for simulating focal shifts in viewers using large depth of focus displays
EP0641132B1 (en) Stereoscopic image pickup apparatus
US20160345822A1 (en) Ophthalmologic apparatus
US20150215614A1 (en) Imaging system and method
WO2015027599A1 (en) Content projection system and content projection method
US9427198B2 (en) Live 3D X-ray viewing
KR102194178B1 (en) Method for determining optical parameters of a test subject with measurement accuracy in order to adapt a pair of eyeglasses to the test subject, and immobile video centering system
JP2002223458A (en) Stereoscopic video image generator
JP6542028B2 (en) Ophthalmic microscope system
JP2017191546A (en) Medical use head-mounted display, program of medical use head-mounted display, and control method of medical use head-mounted display
KR101374295B1 (en) Apparatus for ocular and method for measuring treatment position thereof
JP5331785B2 (en) Stereoscopic image analyzer
Terzic et al. Causes of discomfort in stereoscopic content: a review
JPWO2019050049A1 (en) Ophthalmic equipment, management methods, and management equipment
US20200260945A1 (en) Panum&#39;s area measurement method, apparatus, and wearable display device
JP2012109725A (en) Stereoscopic video processing device and stereoscopic video processing method
CN116725473B (en) Dynamic stereoscopic vision detection device and method
JP2015094831A (en) Stereoscopic imaging device, control method thereof, and control program
WO2021255779A1 (en) Information display method, information display device, and program
US20230393655A1 (en) Electronic apparatus
JP2006271740A (en) Three-dimensional fundus image display apparatus
KR20230089497A (en) AR Motion Sensor-based Childhood Experience Activity EduTech Platform
KR101246846B1 (en) Method for displaying of Stereopic 3 Dimension
JP5777681B2 (en) Control apparatus and control method