JP2022144888A - 表示装置、表示制御方法、及び表示制御プログラム - Google Patents

表示装置、表示制御方法、及び表示制御プログラム Download PDF

Info

Publication number
JP2022144888A
JP2022144888A JP2021046081A JP2021046081A JP2022144888A JP 2022144888 A JP2022144888 A JP 2022144888A JP 2021046081 A JP2021046081 A JP 2021046081A JP 2021046081 A JP2021046081 A JP 2021046081A JP 2022144888 A JP2022144888 A JP 2022144888A
Authority
JP
Japan
Prior art keywords
unit
user
display
light
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021046081A
Other languages
English (en)
Inventor
文彦 伊藤
Fumihiko Ito
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2021046081A priority Critical patent/JP2022144888A/ja
Priority to PCT/JP2022/012769 priority patent/WO2022196809A1/ja
Publication of JP2022144888A publication Critical patent/JP2022144888A/ja
Priority to US18/464,301 priority patent/US20230421750A1/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)

Abstract

【課題】ユーザに適切に画像を提供する。【解決手段】表示装置1は、ユーザに画像を提供するものであって、複数の画素を含む表示パネル12と、表示パネル12に光を照射する光源部14と、ユーザの視線の検出結果を取得する視線情報取得部と、表示パネル12を、所定の周期で移動させる駆動制御部と、ユーザの視線の検出結果と、表示パネル12の位置とに基づき、光源部14の光の照射タイミングを設定するタイミング設定部と、を含む。【選択図】図3

Description

本発明は、表示装置、表示制御方法、及び表示制御プログラムに関する。
ユーザの右眼と左眼に異なる視差の画像を視認させて、輻輳の違いを利用して立体画像を表示させる表示装置が知られている。このような表示装置としては、ユーザの頭部に搭載されるいわゆるヘッドマウントディスプレイ(HMD)がある。例えば特許文献1には、ディスプレイと光学系との間にマイクロレンズアレイを配置するヘッドマウントディスプレイが記載されている。
国際公開第2019/044501号
ここで、画像を表示する表示装置においては、ユーザに適切に画像を提供することが求められている。
本発明は、上記課題に鑑み、ユーザに適切に画像を提供可能な表示装置、表示制御方法、及び表示制御プログラムを提供することを目的とする。
本発明の一態様にかかる表示装置は、ユーザに画像を提供する表示装置であって、複数の画素を含む表示パネルと、前記表示パネルに光を照射する光源部と、前記ユーザの視線の検出結果を取得する視線情報取得部と、前記表示パネルを、所定の周期で移動させる駆動制御部と、前記ユーザの視線の検出結果と、前記表示パネルの位置とに基づき、前記光源部の光の照射タイミングを設定するタイミング設定部と、を含む。
本発明の一態様にかかる表示制御方法は、複数の画素を含む表示パネルに光を照射する光源ステップと、ユーザの視線の検出結果を取得する視線情報取得ステップと、表示パネルを、所定の周期で移動させる駆動制御ステップと、前記ユーザの視線の検出結果と、前記表示パネルの位置とに基づき、前記光源ステップの光の照射タイミングを設定するタイミング設定ステップとを含む。
本発明の一態様にかかる表示制御プログラムは、複数の画素を含む表示パネルに光を照射する光源ステップと、ユーザの視線の検出結果を取得する視線情報取得ステップと、表示パネルを、所定の周期で移動させる駆動制御ステップと、前記ユーザの視線の検出結果と、前記表示パネルの位置とに基づき、前記光源ステップの光の照射タイミングを設定するタイミング設定ステップと、を、コンピュータに実行させる。
本発明によれば、ユーザに適切に画像を提供できる。
図1は、輻輳調節矛盾を説明するための模式図である。 図2は、第1実施形態に係る表示装置の模式図である。 図3は、第1実施形態に係る表示装置の各構成の模式図である。 図4は、第1実施形態に係る制御装置の模式的なブロック図である。 図5は、照射タイミングの設定を説明するための模式図である。 図6は、照射タイミングの設定を説明するための模式図である。 図7は、照射タイミングの設定を説明するための模式図である。 図8は、本実施形態に係る制御装置の処理フローを説明するフローチャートである。 図9は、第2実施形態に係る表示装置の模式図である。 図10は、マイクロレンズアレイを設けた場合の表示部の移動量の違いを説明するグラフである。 図11は、第3実施形態に係る表示装置の模式図である。 図12は、第3実施形態に係る制御装置の処理フローを説明するフローチャートである。 図13は、第4実施形態に係る表示装置の模式図である。 図14は、マイクロレンズアレイを設けた場合の表示部の移動量の違いを説明するグラフである。 図15は、変形例に係る表示装置の模式図である。
以下に、本発明の実施形態を図面に基づいて詳細に説明する。なお、以下に説明する実施形態により本発明が限定されるものではない。
(輻輳調節矛盾)
図1は、輻輳調節矛盾を説明するための模式図である。立体画像を表示する表示装置は、ユーザの右眼と左眼に異なる視差の画像を視認させて、輻輳の違いを利用して立体画像を表示させる。立体画像を表示する場合には、実際に画像が表示される表示面がユーザの眼の焦点位置となり、左右の眼の視線が交差する位置が輻輳位置となる。しかし、図1の例に示すように、立体画像においては、立体画像の奥行き方向であるZ方向における焦点位置PO1と輻輳位置PO2との位置がずれることがある。焦点位置PO1と輻輳位置PO2との位置がずれると、いわゆる輻輳調節矛盾が起こり、眼精疲労やいわゆる3D酔いなどの原因となる。そのため、輻輳調節矛盾を抑制することが求められている。なお、図1の(A)は、焦点位置PO1が輻輳位置PO2よりもユーザの眼EY側にあり、図1の(B)は、輻輳位置PO2が焦点位置PO1よりもユーザの眼EY側にある例を示している。
(第1実施形態)
(表示装置の全体構成)
図2は、第1実施形態に係る表示装置の模式図である。第1実施形態に係る表示装置1は、立体画像を表示する表示装置である。図2に示すように、表示装置1は、ユーザUの頭部に装着される、いわゆるHMD(Head Mount Display)である。例えば、表示装置1は、ユーザUの眼EYに面した位置に表示部10が装着される。そして、表示装置1は、表示部10に画像を表示させて、ユーザUにコンテンツを提供する。なお、図2に示した表示装置1の構成は一例である。例えば、表示装置1は、ユーザUの耳に装着される音声出力部(スピーカ)を備えていてもよい。
表示装置1は、このようにユーザUに装着されるため、ユーザUの眼EYに対する位置が固定される。表示装置1は、ユーザUに装着されるHMDであることに限られず、設備に固定された表示装置などであってもよい。このような場合でも、表示装置1は、例えばユーザUの座席に対する位置が固定されるなど、ユーザUの眼EYに対する位置が固定されることが好ましい。
図3は、第1実施形態に係る表示装置の各構成の模式図である。図3に示すように、表示装置1は、表示部10と、接眼レンズ20と、駆動部30と、視線検出部40と、位置検出部50と、制御装置60とを有する。
(表示部)
表示部10は、立体画像を表示する装置である。表示部10は、表示パネル12と光源部14とを有する。表示パネル12は、マトリクス状に並ぶ複数の画素を有するディスプレイである。本実施形態の例では、表示パネル12は、マトリクス状に並ぶ複数の画素電極と、液晶素子が充填される液晶層とを有する液晶表示パネルである。表示パネル12で画像が表示される面を表示面12Aとする。以下、表示面12AからユーザUの眼EYへ向かう方向を、方向Z1とし、方向Z1と反対方向を、すなわちユーザUの眼EYから表示面12Aに向かう方向を、方向Z2とする。方向Z1、Z2を区別しない場合は、方向Zと記載する。なお、図3では、表示パネル12のユーザUの眼EY側の表面を表示面12Aとしているが、表示面12Aは、ユーザUの眼EY側の表面であることに限られず、ユーザUの眼EY側の表面よりも内側にあってもよい。なお、表示部10は、後述する制御装置60から表示パネル12を駆動させる駆動信号や光源部14の光の照射タイミングを制御する制御信号を受信する。
光源部14は、表示パネル12に光を照射する光源である。本実施形態では、光源部14は、表示パネル12の表示面12Aとは反対側の表面に設けられる、いわゆるバックライドである。光源部14の設けられる位置はこれに限られず任意であり、例えば表示パネル12の横にあるサイドライトであってもよい。本実施形態では、光源部14は、表示パネル12の全ての画素に対して一様に光を照射するものであり、言い換えれば、画素毎に個別に光の照射を制御するものではない。ただし、光源部14は、表示パネル12の全ての画素に一様に光を照射するものに限られず、例えば複数の画素毎に光の照射を調整可能な、例えば画面全体をいくつかの区画に分け区画ごとに光の強度を調整可能な、いわゆるローカルディミングの方式のものであってもよい。
このように、表示部10は、表示パネル12と光源部14とを有する。表示部10は、光源部14から表示パネル12に照射された光である画像光LをユーザUの眼EYに到達させることで、ユーザUに立体画像を提供する。本実施形態の例では、光源部14から照射された光は、表示パネル12の各画素を透過して、画像光LとしてユーザUの眼EYに入射する。より詳しくは、表示パネル12は、左眼用画像と右眼用画像とが提供されるように、例えば画素電極の電圧が制御されつつ、表示パネル12に向けて光源部14からの光が照射される。光源部14からの光のうち、左眼用画像に対応する画素を透過した画像光LがユーザUの左眼に入射し、右眼用画像に対応する画素を透過した画像光LがユーザUの左眼に入射することで、ユーザUに立体画像が提供される。
(接眼レンズ)
接眼レンズ20は、表示部10のZ1方向側に設けられる。接眼レンズ20は、光(画像光)を透過する光学素子である。さらに言えば、接眼レンズ20は、表示装置1で最もユーザUの眼EY側にある光学素子(レンズ)である。表示パネル12から出射された画像光Lは、接眼レンズ20を通って、ユーザUの眼EYに入射する。なお、本実施形態では、接眼レンズ20(接眼レンズ)からユーザUの眼EYまでの画像光Lの光路における光軸方向が、方向Zともいえる。なお、本実施形態では、接眼レンズ20は移動せず、表示装置1内での位置が固定されている。
なお、図3の例では、表示部10のZ1方向側の光学素子として、接眼レンズ20のみが示されているが、それに限られず、接眼レンズ20以外の光学素子が設けられていてもよい。
(駆動部)
駆動部30は、表示部10をZ方向に移動させる駆動機構であり、アクチュエータであるともいえる。本実施形態では、駆動部30は、表示パネル12及び光源部14を含む表示部10の全体をZ方向に移動させるが、それに限られない。駆動部30は、表示パネル12を、Z方向に移動させるものであってもよい。以降においても、表示部10の移動や表示部10の位置について説明しているが、特に断りのない限り、表示部10全体ではなく、表示パネル12に説明を置き換えてよい。なお、駆動部30は、後述する制御装置60から、駆動制御を行う信号を取得する。
(視線検出部)
視線検出部40は、ユーザUの眼EYが向いている方向、すなわちユーザUの視線を検出する。視線検出部40は、ユーザUの視線を検出可能な任意のセンサであってよいが、例えば、ユーザUの眼EYを撮像するカメラであってよい。視線検出部40は、制御装置60へ視線の検出結果を送出する。
(位置検出部)
位置検出部50は、表示部10のZ方向における位置を検出するセンサである。位置検出部50は、表示部10のZ方向における位置を検出可能なセンサであれば、任意のものであってよい。なお、表示部10の全体がZ方向に移動せず、表示パネル12だけがZ方向に移動する場合には、位置検出部50は、表示パネル12のZ方向の位置を検出すればよい。位置情報検出部50は、制御装置60へ位置の検出結果を送出する。
(制御装置)
制御装置60は、表示装置1の各部を制御する装置である。図4は、第1実施形態に係る制御装置の模式的なブロック図である。制御装置60は、本実施形態ではコンピュータであり、記憶部62と制御部64とを有する。記憶部62は、制御部64の演算内容やプログラムなどの各種情報を記憶するメモリであり、例えば、RAM(Random Access Memory)と、ROM(Read Only Memory)のような主記憶装置と、HDD(Hard Disk Drive)などの外部記憶装置とのうち、少なくとも1つ含む。記憶部62が記憶する制御部64用のプログラムは、制御装置60が読み取り可能な記録媒体に記憶されていてもよい。
制御部64は、演算装置であり、例えばCPU(Central Processing Unit)などの演算回路を含む。制御部64は、画像情報取得部70と、視線情報取得部72と、位置情報取得部74と、駆動制御部76と、表示制御部78と、タイミング設定部80と、照射制御部82とを含む。制御部64は、記憶部62からプログラム(ソフトウェア)を読み出して実行することで、画像情報取得部70と視線情報取得部72と位置情報取得部74と駆動制御部76と表示制御部78とタイミング設定部80と照射制御部82とを実現して、それらの処理を実行する。なお、制御部64は、1つのCPUによってこれらの処理を実行してもよいし、複数のCPUを備えて、それらの複数のCPUで、処理を実行してもよい。また、画像情報取得部70と視線情報取得部72と位置情報取得部74と駆動制御部76と表示制御部78とタイミング設定部80と照射制御部82との少なくとも1つを、ハードウェア回路で実現してもよい。
(画像情報取得部)
画像情報取得部70は、表示部10が表示する立体画像の画像データを取得する。すなわち、画像情報取得部70は、左眼用画像の画像データと、右眼用画像の画像データとを取得する。また、画像情報取得部70は、立体画像の奥行き方向における位置を示す奥行き情報を取得する。立体画像の奥行き方向における位置とは、表示面12Aに画像を表示した際にユーザUに視認される虚像の奥行き方向における位置を指す。奥行き方向とは、表示パネル12の表示面12Aに直交する方向であるとも言え、本実施形態ではZ方向である。奥行き情報は、画像データに関連付けられている。さらに言えば、立体画像は、1フレームに含まれる各画像について、奥行き方向における位置が設定されており、言い換えれば、表示面12A上の位置毎に、奥行き方向における位置が設定されている。そのため、画像情報取得部70は、立体画像についての、表示面12A上の位置毎の奥行き情報を取得するといえる。なお、立体画像は、画素毎に奥行き方向における位置が設定されているが、1つの画像を構成する複数の画素に対しては、奥行き方向における位置が同じとなるように設定されていてもよい。画像情報取得部70は、任意の方法で画像データ及び奥行き情報を取得してよく、記憶部62に予め記憶されていた画像データ及び奥行き情報を読み出してもよいし、図示しない通信部を介して画像データ及び奥行き情報を受信してもよい。また、画像情報取得部70は、画像データに基づき奥行き方向の位置を算出することで、奥行き情報を取得してもよい。
(視線情報取得部)
視線情報取得部72は、視線検出部40を制御して、視線検出部40にユーザUの視線を検出させ、視線検出部40による視線の検出結果を取得する。本実施形態では、視線情報取得部72は、視線の検出結果に基づき、ユーザUが注視している注視位置を検出する。注視位置とは、立体画像のうちでユーザUが注視している画像の表示面12A上での位置を指し、言い換えれば、表示面12Aの全域のうちでユーザUが注視している位置を指す。本実施形態では、視線情報取得部72は、ユーザUの視線の検出結果からユーザUの輻輳位置を検出し、輻輳位置と重なる位置にある虚像に対応する画像の、表示面12Aでの位置を、注視位置として検出する。すなわち例えばユーザUの輻輳位置が、立体画像における車の虚像に重なっている場合には、その車の画像の表示面12Aでの位置が、注視位置とされる。ただし、注視位置の検出方法はそれに限られず、ユーザUの視線の検出結果から任意の方法で検出してよい。
(位置情報取得部)
位置情報取得部74は、位置検出部50を制御して、位置検出部50に表示部10のZ方向における位置を検出させ、表示部10のZ方向における位置の検出結果を取得する。なお、表示部10の全体がZ方向に移動せず、表示パネル12がZ方向に移動する場合には、位置情報取得部74は、表示パネル12のZ方向の位置の検出結果を取得すればよい。
(駆動制御部)
駆動制御部76は、駆動部30を制御して、駆動部30に表示部10をZ方向に移動させる。駆動制御部76は、表示部10がZ1方向に所定距離移動した後にZ2方向に所定距離移動するZ方向の往復移動(振動)を繰り返し行うように、表示部10を移動させる。駆動制御部76は、表示部10を、Z方向に沿って所定の周期で移動させる。言い換えれば、駆動制御部76は、表示部10のZ方向の往復移動を、所定の周期で行わせる。本実施形態では、Z方向の往復移動の周期(表示部10がZ方向において元の位置に戻ってくるまでの時間)は一定であるが、一定であることに限られず、周期を変化させてもよい。なお、駆動制御部76は、表示部10の全体をZ方向に移動させることに限られず、表示パネル12をZ方向に移動させてよい。
(表示制御部)
表示制御部78は、画像データに基づいて表示パネル12の各画素を駆動して、表示パネル12に立体画像を表示させる。本実施形態では、表示制御部78は、画像データに基づいて、表示パネル12の画素電極毎の印加電圧を制御して液晶素子を配向させる。これにより、光源部14からの光が液晶層を透過して、立体画像用の画像光LとしてユーザYの眼EYに向けて出射される。
(タイミング設定部及び照射制御部)
タイミング設定部80は、光源部14の光の照射タイミングを設定する。照射制御部82は、光源部14を制御して光源部14に光を照射させる。照射制御部82は、タイミング設定部80が設定した照射タイミングで、光源部14に光を照射させる。タイミング設定部80は、ユーザUの視線の検出結果と、表示部10のZ方向(画像光Lの光軸方向)における位置とに基づき、照射タイミングを設定する。さらに言えば、タイミング設定部80は、ユーザUの視線の検出結果と、立体画像の奥行き情報と、表示部10のZ方向における位置とに基づき、照射タイミングを設定する。なお、表示部10の全体がZ方向に移動せず、表示パネル12だけがZ方向に移動する場合には、タイミング設定部80は、表示パネル12のZ方向の位置に基づき、照射タイミングを設定すればよい。以下、タイミング設定部80の設定についてより具体的に説明する。
図5から図7は、照射タイミングの設定を説明するための模式図である。例えば図5に示すように、表示部10から出射された画像光Lは、所定の開き角をもつ光束として、ユーザUの眼EYに入射する。この場合、ユーザUは、この光束の開き角に合うように、眼球の水晶体の厚さを無意識に変えて、網膜に焦点が合うように調節している。輻輳調節矛盾は、左右の眼の輻輳度合い(左右の眼のより度合い)と、光束の開き角に焦点を合わせた状態とが、合致していないことを指す。それに対して、本実施形態の表示装置1は、虚像(輻輳位置)から光が出射されて眼EYに入射したと仮定した場合の開き角である虚像開き角(図5の例では角度θ1A)と、実際に表示部10から画像光Lが出射されて眼EYに入射した場合の画像光Lの開き角との差分が小さくなるように、画像光Lを出射させる。ここで、画像光Lの開き角は、表示部10(表示面12A)から眼EYまでのZ方向(光軸方向)の距離に応じて決まる。本実施形態では、表示部10を所定周期でZ方向に移動させているため、タイミング設定部80は、虚像開き角と画像光Lの開き角との差分が小さくなる位置に表示部10が到達したタイミングを、照射タイミングとして設定する。
より詳しくは、タイミング設定部80は、視線情報取得部72が検出した注視位置における、奥行き情報を取得する。すなわち、タイミング設定部80は、注視位置の奥行き方向(Z方向)における位置の情報を取得する。言い換えれば、タイミング設定部80は、ユーザUが注視している虚像のZ方向における位置の情報を取得する。そして、タイミング設定部80は、注視位置における奥行き情報に基づき、光源部14に光の照射を開始させる際の表示部10の位置である照射位置を設定する。タイミング設定部80は、注視位置での奥行き方向の位置(ユーザUが注視している虚像の位置)から眼EYに光が照射された場合の光束の開き角(注視位置からの虚像開き角)に、画像光Lの開き角が一致する際の、表示部10のZ方向における位置を、照射位置として設定する。そして、タイミング設定部80は、表示部10と照射位置との距離が所定距離範囲内となる位置に表示部10が到達するタイミングを、照射タイミングとして設定する。本実施形態では、タイミング設定部80は、位置情報取得部74から表示部10のZ方向の位置の情報を逐次取得し、表示部10のZ方向の位置が照射位置に対して所定距離まで近づいたら、照射タイミングとなったと判断する。ここでの所定距離は任意に設定してよいが、輻輳調節矛盾を小さくするために、注視位置からの虚像開き角と画像光Lの開き角との差分が小さくなるような距離に、設定されることが好ましい。また、タイミング設定部80は、奥行き方向を量子化した値を、照射位置の設定に用いる、注視位置での奥行き方向における位置として用いてよい。すなわち例えば、奥行き方向を複数の数値範囲に区分し、それぞれの数値範囲に対して、その数値範囲内にある所定値を基準位置として設定しておく。そして、タイミング設定部80は、視線情報取得部72が検出した注視位置での奥行き方向における位置が含まれる数値範囲を抽出し、その数値範囲に対する基準位置を、照射位置の設定に用いる、注視位置での奥行き方向における位置として扱う。
タイミング設定部80は、このようにして照射タイミングを設定する。さらに、タイミング設定部80は、照射タイミングより後のタイミングを照射停止タイミングとして設定する。照射制御部82は、タイミング設定部80によって照射タイミングに到達したと判断されたら、光源部14に光の照射を開始させる。照射制御部82は、照射タイミングから照射停止タイミングまでの間、光源部14に光を照射させ、照射停止タイミングに到達したら、光源部14に光の照射を停止させる。なお、照射停止タイミングは任意に設定してよく、例えば照射タイミングから所定時間後を照射停止タイミングとして設定してもよいし、照射タイミングの直後に、表示部10と照射位置との距離が所定距離範囲外となるタイミングを、照射停止タイミングとして設定してもよい。
表示装置1は、このように、照射タイミングに到達したら光源部14に光を照射させ、照射停止タイミングに到達したら光の照射を停止させる。画像光Lは、照射タイミングから照射停止タイミングの間に、ユーザUの眼EYに入射する。従って、眼EYに入射する画像光Lの光束の開き角は、注視位置(ユーザUが注視している虚像)からの虚像開き角に近くなり、輻輳調節矛盾を小さくすることができる。なお、表示部10は、Z方向に往復運動するため、照射位置との距離が所定距離範囲内になることと所定距離範囲外になることとを繰り返す。制御装置60は、表示部10と照射位置との距離が所定距離範囲となる度に、すなわち照射タイミングに到達する度に、光源部14に光を照射させる。そのため、ユーザUには、立体画像が動画像として視認される。また、表示部10はZ方向に往復移動するため、往復移動の1周期で、照射位置との距離が所定距離になるタイミングが2回ある。そのため、表示部10の往復移動の振動数は、立体画像のフレームレートの1/2倍以上にすることが望ましい。ただし、表示部10の往復移動の振動数(周期)は任意に設定してよい。
以上説明した照射タイミングの設定の例を、図5から図7を用いて説明する。以下では、家の画像と車の画像とヘリコプタの画像とが立体画像として表示され、車の画像、家の画像、ヘリコプタの画像の順で、奥行き方向(Z方向)の位置がユーザUの眼EYから遠くなる場合を例にする。すなわち、車の画像の虚像P2は、家の画像の虚像P1よりもZ1方向側に位置し、ヘリコプタの画像の虚像P3は、家の画像の虚像P1よりもZ2方向側に位置する。
図5は、ユーザUが家の画像の虚像P1を注視している場合の例である。図5の例では、虚像P1(注視位置の奥行き方向の位置)から眼EYに光が照射された場合の光束の開き角(注視位置からの虚像開き角)を、角度θ1Aとする。そして、表示部10と接眼レンズ20とのZ方向の距離が距離D1となる表示部10の位置において、画像光Lの光束の開き角が、角度θ1Aとなるとする。この場合、接眼レンズ20とのZ方向の距離が距離D1となる位置が照射位置となり、タイミング設定部80は、照射位置との距離が所定距離範囲内となる位置に表示部10が到達するタイミングを、照射タイミングとして設定し、照射制御部82は、照射タイミングとなったら、光源部14に光を照射させる。これにより、家の画像の虚像P1からの虚像開き角と、実際にユーザUの眼EYに入射する画像光L(ユーザUが注視する画像光L)の開き角とが近くなり、輻輳調節矛盾を小さくすることができる。なお、画像光Lは接眼レンズ20で屈折されて眼EYに入射するため、ここでの画像光Lの光束の開き角とは、接眼レンズ20を透過した後の画像光Lの光束の開き角を指す。なお、本実施形態では、表示パネル12の全体に光が照射されるため、車の画像の虚像P2やヘリコプタの画像の虚像P3もユーザUに視認される。この場合、虚像P2、P3に対する虚像開き角と、実際にユーザUの眼EYに入射する画像光Lの開き角とが一致しないこととなるが、虚像P2、P3はユーザUの注視している領域の範囲外であり、ユーザUの注視している領域の範囲内である虚像P1の虚像開き角とは一致しているため、ユーザUへの負担を小さくできる。
図6は、ユーザUが車の画像の虚像P2を注視している場合の例である。図6の例では、虚像P2(注視位置の奥行き方向の位置)から眼EYに光が照射された場合の光束の開き角(注視位置からの虚像開き角)を、角度θ2Aとする。そして、表示部10と接眼レンズ20とのZ方向の距離が距離D2となる表示部10の位置において、画像光Lの光束の開き角が、角度θ2Aとなるとする。なお、虚像P2は虚像P1よりもZ1方向に視認されるため、角度θ2Aは、図5の角度θ1Aより大きく、距離D2は、図5の距離D1より短い。この場合、接眼レンズ20とのZ方向の距離が距離D2となる位置が照射位置となり、タイミング設定部80は、表示部10と照射位置との距離が所定距離範囲内となる位置に表示部10が到達するタイミングを、照射タイミングとして設定し、照射制御部82は、照射タイミングとなったら、光源部14に光を照射させる。これにより、車の画像の虚像P2からの虚像開き角と、実際にユーザUの眼EYに入射する画像光Lの開き角とが近くなり、輻輳調節矛盾を小さくすることができる。
図7は、ユーザUがヘリコプタの画像の虚像P3を注視している場合の例である。図7の例では、虚像P3(注視位置の奥行き方向の位置)から眼EYに光が照射された場合の光束の開き角(注視位置からの虚像開き角)を、角度θ3Aとする。そして、表示部10と接眼レンズ20とのZ方向の距離が距離D3となる表示部10の位置において、画像光Lの光束の開き角が、角度θ3Aとなるとする。なお、虚像P3は虚像P1よりもZ2方向に視認されるため、角度θ3Aは、図5の角度θ1Aより小さく、距離D3は、図5の距離D1より長い。この場合、接眼レンズ20とのZ方向の距離が距離D3となる位置が照射位置となり、タイミング設定部80は、表示部10と照射位置との距離が所定距離範囲内となる位置に表示部10が到達するタイミングを、照射タイミングとして設定し、照射制御部82は、照射タイミングとなったら、光源部14に光を照射させる。これにより、車の画像の虚像P2からの虚像開き角と、実際にユーザUの眼EYに入射する画像光Lの開き角とが近くなり、輻輳調節矛盾を小さくすることができる。
なお、以上の説明では、タイミング設定部80は、位置検出部50の検出結果から、表示部10のZ方向における位置の情報を逐次取得して、表示部10が照射位置から所定距離に到達したかを判断していたが、それに限られない。例えば、表示部10を所定の周期でZ方向に往復運動させている場合には、位置検出部50に検出させなくても、時刻毎の表示部10のZ方向における位置(予測位置)を把握できる。従って、タイミング設定部80は、時刻情報から表示部10のZ方向における位置の情報を取得してもよい。この場合、タイミング設定部80は、時刻毎の表示部10の予測位置の情報と照射位置の情報とに基づき、表示部10が照射位置から所定距離に到達する時刻を照射タイミングとして設定し、現在の時刻が照射タイミングに達したら、表示部10が照射位置に到達したと判断して、光源部14に光を照射させてもよい。
(処理フロー)
次に、以上説明した制御装置60の処理フローを説明する。図8は、本実施形態に係る制御装置の処理フローを説明するフローチャートである。制御装置60は、表示制御部78により、画像データに基づき表示パネル12の画素を駆動しつつ、駆動制御部76により、表示部10を所定周期でZ方向に往復移動させる。制御装置60は、画素を駆動させつつ表示部10を往復移動させながら、視線情報取得部72により、ユーザUの視線の検出結果を取得し(ステップS10)、視線の検出結果に基づき、注視位置を検出する(ステップS12)。そして、制御装置60は、タイミング設定部80により、注視位置の奥行き情報から、照射位置を設定する(ステップS14)。制御装置60は、位置情報取得部74により、表示部10のZ方向における位置を逐次取得し、表示部10が照射位置から所定距離内に到達したかを判断する(ステップS16)。表示部10が照射位置から所定距離内に到達したら(ステップS16;Yes)、タイミング設定部80は、照射タイミングに到達したと判断し、照射制御部82は、光源部14に光を照射させる(ステップS18)。その後、照射停止タイミングで光の照射を停止させ、処理を終了しない場合は(ステップS20;No)、ステップS10に戻り処理を続ける。一方、表示部10が照射位置から所定距離内に到達していない場合には(ステップS16;No)、ステップS16に戻り、表示部10が照射位置から所定距離内に到達するまで光源部14に光を照射させない。なお、表示部10が照射位置から所定距離内に到達していない場合、すなわちステップS16でNoの場合も、ステップS10に戻ってよい。ステップS20で処理を終了する場合(ステップS20;Yes)、本処理を終了する。
(効果)
以上説明したように、本実施形態に係る表示装置1は、ユーザUに立体画像を提供するものであって、表示部10と、視線情報取得部72と、駆動制御部76と、タイミング設定部80と、照射制御部82とを含む。表示部10は、複数の画素を含む表示パネル12と、表示パネル12に光を照射する光源部14とを有し、光源部14から表示パネル12に照射された光である画像光LをユーザUに到達させることで、ユーザUに立体画像を提供する。視線情報取得部72は、ユーザUの視線の検出結果を取得する。駆動制御部76は、表示部10全体または表示パネル12を、画像光Lの光軸方向(本実施形態ではZ方向)に沿って所定の周期で移動させる。タイミング設定部80は、ユーザUの視線の検出結果と、表示部10全体または表示パネル12の光軸方向(本実施形態ではZ方向)における位置とに基づき、光源部14の光の照射タイミングを設定する。照射制御部82は、照射タイミングで、光源部14に光を照射させる。
ここで、立体画像を表示する場合には、ユーザに適切に立体画像を提供することが求められている。それに対し、本実施形態においては、表示部10を光軸方向に移動させておき、ユーザUの視点と表示部10の光軸方向の位置とに基づき、光の照射タイミングを設定する。従って、本実施形態によると、ユーザUの視点と表示部10の光軸方向の位置とに基づいて、適切なタイミングでユーザUに画像光Lを到達させることが可能となり、ユーザUに立体画像を適切に提供できる。さらに言えば、上述のように、立体画像を表示する際には、輻輳調節矛盾が起こる場合がある。それに対して、本実施形態においては、表示部10を光軸方向に移動させつつ、ユーザUの視点と表示部10の光軸方向の位置とに基づき、光の照射タイミングを設定することで、画像光Lの光束の開き角を適切に調整して、輻輳調節矛盾を小さくすることができる。さらに言えば、本実施形態においては、画像光Lの光束の開き角が適切となる位置に表示部10をその都度移動させずに、表示部10は所定周期で移動させておき、画像光Lの光束の開き角が適切となるタイミングで光源部14の光照射を制御している。このように光照射を制御することで、制御遅れが抑制されて、画像光Lの光束の開き角を適切に調整できる。
また、タイミング設定部80は、立体画像の奥行き方向(本実施形態ではZ方向)の位置を示す奥行き情報にも基づき、照射タイミングを設定する。本実施形態によると、奥行き情報も用いて照射タイミングを設定するため、表示される立体画像に合わせて画像光Lの光束の開き角を適切に調整することが可能となり、輻輳調節矛盾を小さくすることができる。
また、視線情報取得部72は、視線の検出結果に基づき、立体画像のうちでユーザUが注視している注視位置を検出する。そして、タイミング設定部80は、注視位置の奥行き情報に基づき、光源部14に光を照射させた場合の画像光Lの光束の開き角が、注視位置の奥行き方向の位置からユーザUに向けて画像光Lを照射した場合の光束の開き角(注視位置からの虚像開き角)に対応するような、表示部10全体または表示パネル12の光軸方向における位置である、照射位置の情報を取得する。タイミング設定部80は、表示部10全体または表示パネル12が照射位置に対して所定距離範囲内となるタイミングを、照射タイミングとして設定する。本実施形態によると、画像光Lの光束の開き角を、ユーザUが注視している虚像からの虚像開き角に近づけることができるため、輻輳調節矛盾を適切に小さくすることができる。
また、表示装置1は、光軸方向において表示部10よりもユーザU側に、接眼レンズが設けられる。表示装置1は、接眼レンズを設けることで、ユーザUに立体画像を適切に提供できる。
また、表示装置1は、ヘッドマウントディスプレイである。そのため、ヘッドマウントディスプレイにより立体画像を適切に提供できる。
(第2実施形態)
次に、第2実施形態について説明する。第2実施形態においては、マイクロレンズアレイを設ける点で、第1実施形態とは異なる。第2実施形態において第1実施形態と構成が共通する箇所は、説明を省略する。
図9は、第2実施形態に係る表示装置の模式図である。図9に示すように、第2実施形態に係る表示装置1aは、画像光Lの光軸方向において表示部10よりもユーザUの眼EY側に、マイクロレンズアレイ20Aが設けられている。マイクロレンズアレイ20Aは、画像光Lの光軸方向において、表示部10と接眼レンズ20との間に設けられている。マイクロレンズアレイ20Aは、表示面12Aと平行な平面に沿ってマトリクス状に複数のレンズが並ぶ光学素子である。本実施形態では、マイクロレンズアレイ20Aの各レンズのピッチは、すなわち隣り合うレンズの中心同士の距離は、例えば表示パネル12の画素のピッチ(隣り合う画素電極の中心同士の距離)と同程度であり、マイクロレンズアレイ20Aの各レンズは、表示パネル12の画素に対向する位置に設けられている。
第2実施形態においては、表示部10からの画像光Lは、マイクロレンズアレイ20A及び接眼レンズ20を通って、ユーザUの眼EYに到達する。ここで、表示部10のZ方向の移動量は、すなわち1周期の往復移動での最もZ1方向側の位置と最もZ2方向側の位置との距離は、画像光Lの光束の開き角が、虚像からの虚像開き角に追従できるような長さに設定される必要がある。それに対し、マイクロレンズアレイ20Aを設けた場合には、マイクロレンズアレイ20Aによって画像光Lの光束の開き角を広げるため、表示部10が単位距離移動した際の画像光Lの光束の開き角の変化度合い(開き角の変化度合いの感度)が大きくなる。従って、第2実施形態においては、表示部10のZ方向の移動量を小さくして、表示部10の移動に伴う駆動部30や表示部10への負荷を低減できる。
このように、第2実施形態に係る表示装置1aは、光軸方向において表示部10よりもユーザU側に、マイクロレンズアレイが設けられる。表示装置1aは、マイクロレンズアレイを設けることで、表示部10の移動量を小さくしつつ輻輳調節矛盾を小さくすることができる。
図10は、マイクロレンズアレイを設けた場合の表示部の移動量の違いを説明するグラフである。以降では、光学シミュレーションにより、マイクロレンズアレイを設けない場合と設ける場合とで、表示部10の必要な移動量の違いを計算した結果を説明する。この光学シミュレーションにおいては、3.5インチのディスプレイ、接眼レンズの焦点距離を40mm、マイクロレンズアレイの各レンズの焦点距離を4.8mm、各レンズの曲率半径を2.5mmとした。なお、実際のHMDのレンズ光学系は、一般に接眼レンズの構成枚数の制限から、比較的大きな像面湾曲があるが、その大きさはレンズ設計によって変わるため、このシミュレーションではフォーカス量の変化だけを見るために、収差のない理想レンズを用いて計算した。ディスプレイから出た画像光の光束は、マイクロレンズアレイを通り接眼レンズでほぼ平行光になって、アイポイントに入射する。その光束をアイポイントで折り返すと、虚像上の物点に収束する構成である。本シミュレーションでは、虚像距離100m(無限遠相当)を基準として、虚像距離を5000mmから1500mmまで変化させたときの、ディスプレイの移動量をフォーカス量として算出した。図10の線N1が、マイクロレンズアレイを設けない場合の虚像距離毎のフォーカス量を示し、線N2が、マイクロレンズアレイを設けた場合の虚像距離毎のフォーカス量を示している。線N1、N2に示すように、マイクロレンズアレイを設けた場合には、フォーカス量が少なくなり、ディスプレイの移動量を少なくできることが分かる。
(第3実施形態)
次に、第3実施形態について説明する。第3実施形態においては、接眼レンズ20をZ方向に移動させる点で、第1実施形態と異なる。第3実施形態において、第1実施形態と構成が共通する箇所は、説明を省略する。
図11は、第3実施形態に係る表示装置の模式図である。図11に示すように、第3実施形態に係る表示装置1bは、接眼レンズ20に駆動部30が取り付けられおり、駆動部30が、接眼レンズ20をZ方向に移動させる。第3実施形態においては、表示部10は、後述する制御装置60から表示パネル12を駆動させる駆動信号や光源部14の光の照射タイミングを制御する制御信号を受信する。また、駆動部30は、後述する制御装置60から、駆動制御を行う信号を取得し、視線検出部40は、制御装置60へ視線の検出結果を送出し、位置情報検出部50は、制御装置60へ位置の検出結果を送出する。第3実施形態の駆動制御部76は、接眼レンズ20がZ1方向に所定距離移動した後にZ2方向に所定距離移動するZ方向の往復移動(振動)を繰り返し行うように、接眼レンズ20を移動させる。駆動制御部76は、接眼レンズ20を、Z方向に沿って所定の周期で移動させる。言い換えれば、駆動制御部76は、接眼レンズ20のZ方向の往復移動を、所定の周期で行わせる。本実施形態では、Z方向の往復移動の周期は一定であるが、一定であることに限られず、周期を変化させてもよい。
また、第3実施形態の位置検出部50は、接眼レンズ20のZ方向における位置を検出する。第3実施形態の位置情報取得部74は、位置検出部50に接眼レンズ20のZ方向における位置を検出させ、接眼レンズ20のZ方向における位置の検出結果を取得する。
第3実施形態においては、タイミング設定部80は、ユーザUの視線の検出結果と、接眼レンズ20のZ方向(画像光Lの光軸方向)における位置とに基づき、照射タイミングを設定する。さらに言えば、タイミング設定部80は、ユーザUの視線の検出結果と、立体画像の奥行き情報と、接眼レンズ20のZ方向における位置とに基づき、照射タイミングを設定する。
より詳しくは、第3実施形態のタイミング設定部80は、視線情報取得部72が検出した注視位置における、奥行き情報を取得する。すなわち、タイミング設定部80は、注視位置の奥行き方向(Z方向)における位置の情報を取得する。そして、タイミング設定部80は、注視位置における奥行き情報に基づき、光源部14に光の照射を開始させる際の接眼レンズ20の位置である照射位置を設定する。タイミング設定部80は、注視位置での奥行き方向の位置(ユーザUが注視している虚像の位置)から眼EYに光が照射された場合の光束の開き角(注視位置からの虚像開き角)に、画像光Lの開き角が一致する際の、接眼レンズ20のZ方向における位置を、照射位置として設定する。タイミング設定部80は、照射位置との距離が所定距離範囲内となる位置に接眼レンズ20が到達するタイミングを、照射タイミングとして設定する。本実施形態では、タイミング設定部80は、位置情報取得部74から接眼レンズ20のZ方向の位置の情報を逐次取得し、接眼レンズ20のZ方向の位置が照射位置に対して所定距離まで近づいたら、照射タイミングとなったと判断する。ここでの所定距離は任意に設定してよいが、輻輳調節矛盾を小さくするために、注視位置からの虚像開き角と画像光Lの開き角との差分が小さくなるような距離に、設定されることが好ましい。
タイミング設定部80は、このようにして照射タイミングを設定する。さらに、タイミング設定部80は、照射タイミングより後のタイミングを照射停止タイミングとして設定する。照射制御部82は、タイミング設定部80によって照射タイミングに到達したと判断されたら、光源部14に光の照射を開始させる。照射制御部82は、照射停止タイミングから照射停止タイミングまでの間、光源部14に光を照射させ、照射停止タイミングに到達したら、光源部14に光の照射を停止させる。
なお、以上の説明では、タイミング設定部80は、位置検出部50の検出結果から、接眼レンズ20のZ方向における位置の情報を逐次取得して、接眼レンズ20が照射位置から所定距離に到達したかを判断していたが、それに限られない。例えば、接眼レンズ20を所定の周期でZ方向に往復運動させている場合には、位置検出部50に検出させなくても、時刻毎の接眼レンズ20のZ方向における位置(予測位置)を把握できる。従って、タイミング設定部80は、時刻情報から接眼レンズ20のZ方向における位置の情報を取得してもよい。この場合、タイミング設定部80は、時刻毎の接眼レンズ20の予測位置の情報と照射位置の情報とに基づき、接眼レンズ20が照射位置から所定距離に到達する時刻を照射タイミングとして設定し、現在の時刻が照射タイミングに達したら、接眼レンズ20が照射位置に到達したと判断して、光源部14に光を照射させてもよい。
(処理フロー)
次に、以上説明した第3実施形態の制御装置60の処理フローを説明する。図12は、第3実施形態に係る制御装置の処理フローを説明するフローチャートである。制御装置60は、表示制御部78により、画像データに基づき表示パネル12の画素を駆動しつつ、駆動制御部76により、接眼レンズ20を所定周期でZ方向に往復移動させる。制御装置60は、画素を駆動させつつ接眼レンズ20を往復移動させながら、視線情報取得部72により、ユーザUの視線の検出結果を取得し(ステップS10b)、視線の検出結果に基づき、注視位置を検出する(ステップS12b)。そして、制御装置60は、タイミング設定部80により、注視位置の奥行き情報から、照射位置を設定する(ステップS14b)。制御装置60は、位置情報取得部74により、接眼レンズ20のZ方向における位置を逐次取得し、接眼レンズ20が照射位置から所定距離内に到達したかを判断する(ステップS16b)。接眼レンズ20が照射位置から所定距離内に到達したら(ステップS16b;Yes)、タイミング設定部80は、照射タイミングに到達したと判断し、照射制御部82は、光源部14に光を照射させる(ステップS18b)。その後、照射停止タイミングで光の照射を停止させ、処理を終了しない場合は(ステップS20b;No)、ステップS10bに戻り処理を続ける。一方、接眼レンズ20が照射位置から所定距離内に到達していない場合には(ステップS16b;No)、ステップS16bに戻り、接眼レンズ20が照射位置から所定距離内に到達するまで光源部14に光を照射させない。なお、接眼レンズ20が照射位置から所定距離内に到達していない場合、すなわちステップS16bでNoの場合も、ステップS10bに戻ってよい。ステップS20bで処理を終了する場合(ステップS20b;Yes)、本処理を終了する。
(効果)
以上説明したように、第3実施形態に係る表示装置1bは、ユーザUに立体画像を提供するものであって、表示部10と、光学素子と、視線情報取得部72と、駆動制御部76と、タイミング設定部80と、照射制御部82とを含む。表示部10は、複数の画素を含む表示パネル12と、表示パネル12に光を照射する光源部14とを有し、光源部14から表示パネル12に照射された光である画像光LをユーザUに到達させることで、ユーザUに立体画像を提供する。光学素子(本実施形態の例では接眼レンズ20)は、画像光Lの光軸方向において表示部10よりもユーザU側に設けられる。視線情報取得部72は、ユーザUの視線の検出結果を取得する。駆動制御部76は、光学素子を、画像光Lの光軸方向(本実施形態ではZ方向)に沿って所定の周期で移動させる。タイミング設定部80は、ユーザUの視線の検出結果と、光学素子の光軸方向(本実施形態ではZ方向)における位置とに基づき、光源部14の光の照射タイミングを設定する。照射制御部82は、照射タイミングで、光源部14に光を照射させる。
第3実施形態の表示装置1bのように、光学素子を移動させた場合でも、第1実施形態と同様に、ユーザUに立体画像を適切に提供でき、画像光Lの光束の開き角を適切に調整して、輻輳調節矛盾を小さくすることができる。さらに、光学素子は、例えば樹脂やガラス製のレンズであり、表示部10と比べて構成が簡素であるため、移動させた場合の不具合のリスクを少なくできる。
また、視線情報取得部72は、視線の検出結果に基づき、立体画像のうちでユーザUが注視している注視位置を検出する。そして、タイミング設定部80は、注視位置の奥行き情報に基づき、光源部14に光を照射させた場合の画像光Lの光束の開き角が、注視位置の奥行き方向の位置からユーザUに向けて画像光Lを照射した場合の光束の開き角(注視位置からの虚像開き角)に対応するような、光学素子(本実施形態の例では接眼レンズ20)の光軸方向における位置である、照射位置の情報を取得する。タイミング設定部80は、光学素子が照射位置に対して所定距離範囲内となるタイミングを、照射タイミングとして設定する。本実施形態によると、画像光Lの光束の開き角を、ユーザUが注視している虚像からの虚像開き角に近づけることができるため、輻輳調節矛盾を適切に小さくすることができる。
また、光学素子は、接眼レンズ20を含み、駆動制御部76は、接眼レンズ20を移動させる。本実施形態によると、接眼レンズ20を移動させることで、ユーザUに立体画像を適切に提供でき、画像光Lの光束の開き角を適切に調整して、輻輳調節矛盾を小さくすることができる。
なお、第1実施形態においては、表示部10(または表示パネル12)を移動させ、第3実施形態においては光学素子を移動させていた。ただし、表示部10(または表示パネル12)と光学素子との両方を移動させてもよい。
(第4実施形態)
次に、第4実施形態について説明する。第4実施形態においては、接眼レンズ20の替わりにマイクロレンズアレイ20AをZ方向に移動させる点で、第3実施形態と異なる。第4実施形態において、第3実施形態と構成が共通する箇所は、説明を省略する。
図13は、第4実施形態に係る表示装置の模式図である。図13に示すように、第4実施形態に係る表示装置1cは、画像光Lの光軸方向において表示部10よりもユーザUの眼EY側に、マイクロレンズアレイ20Aが設けられている。マイクロレンズアレイ20Aは、画像光Lの光軸方向において、表示部10と接眼レンズ20との間に設けられている。第4実施形態においては、マイクロレンズアレイ20Aに駆動部30が取り付けられおり、駆動部30が、マイクロレンズアレイ20AをZ方向に移動させる。第4実施形態においては、接眼レンズ20の替わりにマイクロレンズアレイ20Aを移動させる以外は、第3実施形態と内容が共通するため、他の説明は省略する。すなわち、第4実施形態の内容は、第3実施形態での「接眼レンズ20」を「マイクロレンズアレイ20A」に置き換えればよい。
このように、第4実施形態においては、光学素子がマイクロレンズアレイ20Aを含み、駆動制御部76は、マイクロレンズアレイ20Aを移動させる。本実施形態によると、マイクロレンズアレイ20Aを移動させることで、ユーザUに立体画像を適切に提供でき、画像光Lの光束の開き角を適切に調整して、輻輳調節矛盾を小さくすることができる。
図14は、マイクロレンズアレイを設けた場合の表示部の移動量の違いを説明するグラフである。以降では、光学シミュレーションにより、マイクロレンズアレイを設けない場合と設ける場合とで、表示部10の必要な移動量の違いを計算した結果を説明する。この光学シミュレーションは、マイクロレンズアレイの曲率半径を2.5mm、1mmと2種類準備し、ディスプレイではなくマイクロレンズアレイを動かした点以外は、第2実施形態で説明した光学シミュレーションと同内容である。図14の線N1が、マイクロレンズアレイを設けずディスプレイを動かした場合の虚像距離毎のフォーカス量を示し、線N3が、曲率半径が2.5mmのマイクロレンズアレイを設けた場合の虚像距離毎のフォーカス量を示し、線N4が、曲率半径が1mmのマイクロレンズアレイを設けた場合の虚像距離毎のフォーカス量を示している。線N1、N3、N4に示すように、マイクロレンズアレイを設けた場合には、フォーカス量が少なくなり、移動量を少なくできることが分かる。
なお、第4実施形態のようにマイクロレンズアレイ20Aを設けた構成において、第3実施形態のように接眼レンズ20を移動させてもよいし、接眼レンズ20とマイクロレンズアレイ20Aの両方を移動させてもよい。また、第3実施形態では接眼レンズ20を移動させ、第4実施形態ではマイクロレンズアレイ20Aを移動させていたが、移動させる光学素子は、接眼レンズ20やマイクロレンズアレイ20Aに限られず、表示部10よりも光軸方向でユーザU側に設けられている任意の光学素子を移動させてもよい。
(変形例)
次に、変形例について説明する。変形例に係る表示装置1dは、接眼レンズ20の替わりに凹面鏡20Cでディスプレイを拡大する点で、第2実施形態とは異なる。変形例において第2実施形態と構成が共通する箇所は、説明を省略する。
図15は、変形例に係る表示装置の模式図である。図15に示すように、変形例に係る表示装置1dは、接眼レンズ20が設けられておらず、画像光Lの光軸方向において表示部10よりもユーザUの眼EY側に、ハーフミラー20Bと凹面鏡20Cとが設けられている。ハーフミラー20Bと凹面鏡20Cも、光学素子であるといえる。変形例においては、表示部10から出射された画像光Lは、ハーフミラー20Bで反射されて凹面鏡20Cに入射する。凹面鏡20Cに入射した画像光Lは、凹面鏡20Cで若干の広がり角を持ちつつほぼ平行光になって、ハーフミラー20Bを透過してユーザUの眼EYに入射する。
変形例においては、第2実施形態と同様にマイクロレンズアレイ20Aを移動させる。変形例のような構成であっても、マイクロレンズアレイ20Aを移動させるため、第2実施形態と同様に、ユーザUに立体画像を適切に提供でき、画像光Lの光束の開き角を適切に調整して、輻輳調節矛盾を小さくすることができる。
なお、変形例は、他の実施例にも適用可能である。すなわち、変形例の構成において、表示部10を移動させてもよいし、ハーフミラー20B以外の光学素子を移動させてもよい。また、表示装置の構成は、各実施形態や図15で挙げた変形例以外のものであってもよい。例えば、表示部10がOLED(Organic Light Emitting Diode)やいわゆるマイクロLEDなど、画素毎に点灯制御が可能な自発光型のディスプレイであってよい。また、表示部10が反射型の液晶表示装置であってもよい。
以上、本発明の実施形態を説明したが、これら実施形態の内容により実施形態が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能であり、各実施形態の構成を組み合わせることも可能である。さらに、前述した実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。
1 表示装置
10 表示部
12 表示パネル
14 光源部
20 接眼レンズ
30 駆動部
40 視線検出部
50 位置検出部
60 制御装置
70 画像情報取得部
72 視線情報取得部
74 位置情報取得部
76 駆動制御部
78 表示制御部
80 タイミング設定部
82 照射制御部
L 画像光
U ユーザ

Claims (7)

  1. ユーザに画像を提供する表示装置であって、
    複数の画素を含む表示パネルと、
    前記表示パネルに光を照射する光源部と、
    前記ユーザの視線の検出結果を取得する視線情報取得部と、
    前記表示パネルを、所定の周期で移動させる駆動制御部と、
    前記ユーザの視線の検出結果と、前記表示パネルの位置とに基づき、前記光源部の光の照射タイミングを設定するタイミング設定部と、
    を含む、
    表示装置。
  2. 前記タイミング設定部は、画像の奥行き方向の位置を示す奥行き情報にも基づき、前記照射タイミングを設定する、請求項1に記載の表示装置。
  3. 前記視線情報取得部は、前記視線の検出結果に基づき、前記画像のうちで前記ユーザが注視している注視位置を検出し、
    前記タイミング設定部は、前記注視位置の奥行き情報に基づき、前記光源部に光を照射させた場合の光束の開き角が、前記注視位置での奥行き方向の位置から前記ユーザに向けて光を照射した場合の光束の開き角に対応する前記表示パネルの位置である照射位置の情報を取得し、前記表示パネルが前記照射位置に対して所定距離範囲内となるタイミングを、前記照射タイミングとして設定する、請求項2に記載の表示装置。
  4. 前記表示部よりも前記ユーザ側に、接眼レンズが設けられる、請求項1から請求項3のいずれか1項に記載の表示装置。
  5. 前記表示部よりも前記ユーザ側に、マイクロレンズアレイが設けられる、請求項1から請求項4のいずれか1項に記載の表示装置。
  6. 複数の画素を含む表示パネルに光を照射する光源ステップと、
    ユーザの視線の検出結果を取得する視線情報取得ステップと、
    表示パネルを、所定の周期で移動させる駆動制御ステップと、
    前記ユーザの視線の検出結果と、前記表示パネルの位置とに基づき、前記光源ステップの光の照射タイミングを設定するタイミング設定ステップと、
    を含む、
    表示制御方法。
  7. 複数の画素を含む表示パネルに光を照射する光源ステップと、
    ユーザの視線の検出結果を取得する視線情報取得ステップと、
    表示パネルを、所定の周期で移動させる駆動制御ステップと、
    前記ユーザの視線の検出結果と、前記表示パネルの位置とに基づき、前記光源ステップの光の照射タイミングを設定するタイミング設定ステップと、
    を、コンピュータに実行させる、
    表示制御プログラム。
JP2021046081A 2021-03-19 2021-03-19 表示装置、表示制御方法、及び表示制御プログラム Pending JP2022144888A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021046081A JP2022144888A (ja) 2021-03-19 2021-03-19 表示装置、表示制御方法、及び表示制御プログラム
PCT/JP2022/012769 WO2022196809A1 (ja) 2021-03-19 2022-03-18 表示装置、表示制御方法、及び表示制御プログラム
US18/464,301 US20230421750A1 (en) 2021-03-19 2023-09-11 Display device, display control method, and computer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021046081A JP2022144888A (ja) 2021-03-19 2021-03-19 表示装置、表示制御方法、及び表示制御プログラム

Publications (1)

Publication Number Publication Date
JP2022144888A true JP2022144888A (ja) 2022-10-03

Family

ID=83453939

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021046081A Pending JP2022144888A (ja) 2021-03-19 2021-03-19 表示装置、表示制御方法、及び表示制御プログラム

Country Status (1)

Country Link
JP (1) JP2022144888A (ja)

Similar Documents

Publication Publication Date Title
US11238836B2 (en) Depth based foveated rendering for display systems
US11669160B2 (en) Predictive eye tracking systems and methods for foveated rendering for electronic displays
US11644669B2 (en) Depth based foveated rendering for display systems
US10871825B1 (en) Predictive eye tracking systems and methods for variable focus electronic displays
US10502876B2 (en) Waveguide optics focus elements
JP6018579B2 (ja) シースルー・ディスプレイのための好ましい視覚的適応
JP2017522587A (ja) 仮想および拡張現実における焦点面を作成する方法およびシステム
US20180074324A1 (en) Fresnel Lens with Dynamic Draft for Variable Gaze
US11695913B1 (en) Mixed reality system
JP2022144863A (ja) 表示装置、表示制御方法、及び表示制御プログラム
JP2022144985A (ja) 表示装置、表示制御方法、及び表示制御プログラム
WO2022196809A1 (ja) 表示装置、表示制御方法、及び表示制御プログラム
JP2022144888A (ja) 表示装置、表示制御方法、及び表示制御プログラム
JP2022144839A (ja) 表示装置、表示制御方法、及び表示制御プログラム
JP2022145159A (ja) 表示装置、表示制御方法、及び表示制御プログラム
JP2022144840A (ja) 表示装置、表示制御方法、及び表示制御プログラム
JP2022144984A (ja) 表示装置、表示制御方法、及び表示制御プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240618