JP2022144840A - 表示装置、表示制御方法、及び表示制御プログラム - Google Patents
表示装置、表示制御方法、及び表示制御プログラム Download PDFInfo
- Publication number
- JP2022144840A JP2022144840A JP2021046023A JP2021046023A JP2022144840A JP 2022144840 A JP2022144840 A JP 2022144840A JP 2021046023 A JP2021046023 A JP 2021046023A JP 2021046023 A JP2021046023 A JP 2021046023A JP 2022144840 A JP2022144840 A JP 2022144840A
- Authority
- JP
- Japan
- Prior art keywords
- image
- irradiation
- timing
- display
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 18
- 230000003287 optical effect Effects 0.000 claims abstract description 64
- 230000001678 irradiating effect Effects 0.000 claims abstract description 3
- 230000004907 flux Effects 0.000 claims description 33
- 210000000695 crystalline len Anatomy 0.000 description 22
- 238000010586 diagram Methods 0.000 description 20
- 238000001514 detection method Methods 0.000 description 18
- 230000008569 process Effects 0.000 description 12
- 238000012545 processing Methods 0.000 description 9
- 230000004048 modification Effects 0.000 description 7
- 238000012986 modification Methods 0.000 description 7
- 230000004308 accommodation Effects 0.000 description 6
- 238000013041 optical simulation Methods 0.000 description 5
- 240000001973 Ficus microcarpa Species 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 206010047571 Visual impairment Diseases 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 201000003152 motion sickness Diseases 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Controls And Circuits For Display Device (AREA)
- Devices For Indicating Variable Information By Combining Individual Elements (AREA)
Abstract
【課題】ユーザに適切に立体画像を提供する。【解決手段】表示装置1bは、複数の画素Pを含み、画素Pから光を照射することでユーザに画像を提供する表示部10と、表示部10よりもユーザ側に設けられる光学素子と、光学素子を所定の周期で移動させる駆動制御部と、光学素子の位置に基づき、光の照射タイミングを、画素P毎に設定するタイミング設定部と、を含む。【選択図】図11
Description
本発明は、表示装置、表示制御方法、及び表示制御プログラムに関する。
ユーザの右眼と左眼に異なる視差の画像を視認させて、輻輳の違いを利用して立体画像を表示させる表示装置が知られている。このような表示装置としては、ユーザの頭部に搭載されるいわゆるヘッドマウントディスプレイ(HMD)がある。例えば特許文献1には、ディスプレイと光学系との間にマイクロレンズアレイを配置するヘッドマウントディスプレイが記載されている。
ここで、立体画像を表示する表示装置においては、ユーザに適切に画像を提供することが求められている。
本発明は、上記課題に鑑み、ユーザに適切に立体画像を提供可能な表示装置、表示制御方法、及び表示制御プログラムを提供することを目的とする。
本発明の一態様にかかる表示装置は、複数の画素を含み、前記画素から光を照射することでユーザに画像を提供する表示部と、前記表示部よりも前記ユーザ側に設けられる光学素子と、前記光学素子を所定の周期で移動させる駆動制御部と、前記光学素子の位置に基づき、前記光の照射タイミングを、前記画素毎に設定するタイミング設定部と、を含む。
本発明の一態様にかかる表示制御方法は、複数の画素を含み前記画素から光を照射する表示部よりもユーザ側に設けられる光学素子を所定の周期で移動させる駆動制御ステップと、前記光学素子の位置に基づき、前記光の照射タイミングを、前記画素毎に設定するタイミング設定ステップと、を含む。
本発明の一態様にかかる表示制御プログラムは、複数の画素を含み前記画素から光を照射する表示部よりもユーザ側に設けられる光学素子を所定の周期で移動させる駆動制御ステップと、前記光学素子の位置に基づき、前記光の照射タイミングを、前記画素毎に設定するタイミング設定ステップとを、コンピュータに実行させる。
本発明によれば、ユーザに適切に画像を提供できる。
以下に、本発明の実施形態を図面に基づいて詳細に説明する。なお、以下に説明する実施形態により本発明が限定されるものではない。
(輻輳調節矛盾)
図1は、輻輳調節矛盾を説明するための模式図である。立体画像を表示する表示装置は、ユーザの右眼と左眼に異なる視差の画像を視認させて、輻輳の違いを利用して立体画像を表示させる。立体画像を表示する場合には、実際に画像が表示される表示面がユーザの眼の焦点位置となり、左右の眼の視線が交差する位置が輻輳位置となる。しかし、図1の例に示すように、立体画像においては、立体画像の奥行き方向であるZ方向における焦点位置PO1と輻輳位置PO2との位置がずれることがある。焦点位置PO1と輻輳位置PO2との位置がずれると、いわゆる輻輳調節矛盾が起こり、眼精疲労やいわゆる3D酔いなどの原因となる。そのため、輻輳調節矛盾を抑制することが求められている。なお、図1の(A)は、焦点位置PO1が輻輳位置PO2よりもユーザの眼EY側にあり、図1の(B)は、輻輳位置PO2が焦点位置PO1よりもユーザの眼EY側にある例を示している。
図1は、輻輳調節矛盾を説明するための模式図である。立体画像を表示する表示装置は、ユーザの右眼と左眼に異なる視差の画像を視認させて、輻輳の違いを利用して立体画像を表示させる。立体画像を表示する場合には、実際に画像が表示される表示面がユーザの眼の焦点位置となり、左右の眼の視線が交差する位置が輻輳位置となる。しかし、図1の例に示すように、立体画像においては、立体画像の奥行き方向であるZ方向における焦点位置PO1と輻輳位置PO2との位置がずれることがある。焦点位置PO1と輻輳位置PO2との位置がずれると、いわゆる輻輳調節矛盾が起こり、眼精疲労やいわゆる3D酔いなどの原因となる。そのため、輻輳調節矛盾を抑制することが求められている。なお、図1の(A)は、焦点位置PO1が輻輳位置PO2よりもユーザの眼EY側にあり、図1の(B)は、輻輳位置PO2が焦点位置PO1よりもユーザの眼EY側にある例を示している。
(第1実施形態)
(表示装置の全体構成)
図2は、第1実施形態に係る表示装置の模式図である。第1実施形態に係る表示装置1は、立体画像を表示する表示装置である。図2に示すように、表示装置1は、ユーザUの頭部に装着される、いわゆるHMD(Head Mount Display)である。例えば、表示装置1は、ユーザUの眼EYに面した位置に表示部10が装着される。そして、表示装置1は、表示部10に画像を表示させて、ユーザUにコンテンツを提供する。なお、図2に示した表示装置1の構成は一例である。例えば、表示装置1は、ユーザUの耳に装着される音声出力部(スピーカ)を備えていてもよい。
(表示装置の全体構成)
図2は、第1実施形態に係る表示装置の模式図である。第1実施形態に係る表示装置1は、立体画像を表示する表示装置である。図2に示すように、表示装置1は、ユーザUの頭部に装着される、いわゆるHMD(Head Mount Display)である。例えば、表示装置1は、ユーザUの眼EYに面した位置に表示部10が装着される。そして、表示装置1は、表示部10に画像を表示させて、ユーザUにコンテンツを提供する。なお、図2に示した表示装置1の構成は一例である。例えば、表示装置1は、ユーザUの耳に装着される音声出力部(スピーカ)を備えていてもよい。
表示装置1は、このようにユーザUに装着されるため、ユーザUの眼EYに対する位置が固定される。表示装置1は、ユーザUに装着されるHMDであることに限られず、設備に固定された表示装置などであってもよい。このような場合でも、表示装置1は、例えばユーザUの座席に対する位置が固定されるなど、ユーザUの眼EYに対する位置が固定されることが好ましい。
図3は、第1実施形態に係る表示装置の各構成の模式図である。図3に示すように、表示装置1は、表示部10と、接眼レンズ20と、駆動部30と、位置検出部50と、制御装置60とを有する。
(表示部)
表示部10は、立体画像を表示する装置である。表示部10は、マトリクス状に並び自発光する複数の画素P(表示素子)を有するディスプレイである。表示部10が有する各画素Pは自発光するため、表示部10は、画素P毎に個別に発光(光の照射)の制御が可能である。表示部10の各画素Pは、例えば有機発光ダイオード(OLED: Organic Light Emitting Diode)であってもよいし、無機発光ダイオード(マイクロLED(micro LED)であってもよい。表示部10で画像が表示される面を表示面10Aとする。以下、表示面10AからユーザUの眼EYへ向かう方向を、方向Z1とし、方向Z1と反対方向を、すなわちユーザUの眼EYから表示面10Aに向かう方向を、方向Z2とする。方向Z1、Z2を区別しない場合は、方向Zと記載する。なお、図3では、表示部10のユーザUの眼EY側の表面を表示面10Aとしているが、表示面10Aは、ユーザUの眼EY側の表面であることに限られず、ユーザUの眼EY側の表面よりも内側にあってもよい。なお、表示部10は、後述する制御装置60から表示部10の画素Pを制御する制御信号を受信する。
表示部10は、立体画像を表示する装置である。表示部10は、マトリクス状に並び自発光する複数の画素P(表示素子)を有するディスプレイである。表示部10が有する各画素Pは自発光するため、表示部10は、画素P毎に個別に発光(光の照射)の制御が可能である。表示部10の各画素Pは、例えば有機発光ダイオード(OLED: Organic Light Emitting Diode)であってもよいし、無機発光ダイオード(マイクロLED(micro LED)であってもよい。表示部10で画像が表示される面を表示面10Aとする。以下、表示面10AからユーザUの眼EYへ向かう方向を、方向Z1とし、方向Z1と反対方向を、すなわちユーザUの眼EYから表示面10Aに向かう方向を、方向Z2とする。方向Z1、Z2を区別しない場合は、方向Zと記載する。なお、図3では、表示部10のユーザUの眼EY側の表面を表示面10Aとしているが、表示面10Aは、ユーザUの眼EY側の表面であることに限られず、ユーザUの眼EY側の表面よりも内側にあってもよい。なお、表示部10は、後述する制御装置60から表示部10の画素Pを制御する制御信号を受信する。
表示部10は、各画素Pから照射(発光)された光である画像光LをユーザUの眼EYに到達させることで、ユーザUに立体画像を提供する。より詳しくは、表示部10は、左眼用画像と右眼用画像とが提供されるように、各画素Pの発光が制御される。各画素Pからの画像光Lのうち、左眼用画像に対応する画素Pからの画像光LがユーザUの左眼に入射し、右眼用画像に対応する画素Pからの画像光LがユーザUの左眼に入射することで、ユーザUに立体画像が提供される。
(接眼レンズ)
接眼レンズ20は、表示部10のZ1方向側に設けられる。接眼レンズ20は、光(画像光)を透過する光学素子である。さらに言えば、接眼レンズ20は、表示装置1で最もユーザUの眼EY側にある光学素子(レンズ)である。表示部10から出射された画像光Lは、接眼レンズ20を通って、ユーザUの眼EYに入射する。なお、本実施形態では、接眼レンズ20(接眼レンズ)からユーザUの眼EYまでの画像光Lの光路における光軸方向が、方向Zともいえる。なお、本実施形態では、接眼レンズ20は移動せず、表示装置1内での位置が固定されている。
接眼レンズ20は、表示部10のZ1方向側に設けられる。接眼レンズ20は、光(画像光)を透過する光学素子である。さらに言えば、接眼レンズ20は、表示装置1で最もユーザUの眼EY側にある光学素子(レンズ)である。表示部10から出射された画像光Lは、接眼レンズ20を通って、ユーザUの眼EYに入射する。なお、本実施形態では、接眼レンズ20(接眼レンズ)からユーザUの眼EYまでの画像光Lの光路における光軸方向が、方向Zともいえる。なお、本実施形態では、接眼レンズ20は移動せず、表示装置1内での位置が固定されている。
なお、図3の例では、表示部10のZ1方向側の光学素子として、接眼レンズ20のみが示されているが、それに限られず、接眼レンズ20以外の光学素子が設けられていてもよい。
(駆動部)
駆動部30は、表示部10をZ方向に移動させる駆動機構であり、アクチュエータであるともいえる。なお、駆動部30は、後述する制御装置60から、駆動制御を行う信号を取得する。
駆動部30は、表示部10をZ方向に移動させる駆動機構であり、アクチュエータであるともいえる。なお、駆動部30は、後述する制御装置60から、駆動制御を行う信号を取得する。
(位置検出部)
位置検出部50は、表示部10のZ方向における位置を検出するセンサである。位置検出部50は、表示部10のZ方向における位置を検出可能なセンサであれば、任意のものであってよい。位置情報検出部50は、制御装置60へ位置の検出結果を送出する。
位置検出部50は、表示部10のZ方向における位置を検出するセンサである。位置検出部50は、表示部10のZ方向における位置を検出可能なセンサであれば、任意のものであってよい。位置情報検出部50は、制御装置60へ位置の検出結果を送出する。
(制御装置)
制御装置60は、表示装置1の各部を制御する装置である。図4は、第1実施形態に係る制御装置の模式的なブロック図である。制御装置60は、本実施形態ではコンピュータであり、記憶部62と制御部64とを有する。記憶部62は、制御部64の演算内容やプログラムなどの各種情報を記憶するメモリであり、例えば、RAM(Random Access Memory)と、ROM(Read Only Memory)のような主記憶装置と、HDD(Hard Disk Drive)などの外部記憶装置とのうち、少なくとも1つ含む。記憶部62が記憶する制御部64用のプログラムは、制御装置60が読み取り可能な記録媒体に記憶されていてもよい。
制御装置60は、表示装置1の各部を制御する装置である。図4は、第1実施形態に係る制御装置の模式的なブロック図である。制御装置60は、本実施形態ではコンピュータであり、記憶部62と制御部64とを有する。記憶部62は、制御部64の演算内容やプログラムなどの各種情報を記憶するメモリであり、例えば、RAM(Random Access Memory)と、ROM(Read Only Memory)のような主記憶装置と、HDD(Hard Disk Drive)などの外部記憶装置とのうち、少なくとも1つ含む。記憶部62が記憶する制御部64用のプログラムは、制御装置60が読み取り可能な記録媒体に記憶されていてもよい。
制御部64は、演算装置であり、例えばCPU(Central Processing Unit)などの演算回路を含む。制御部64は、画像情報取得部72と、位置情報取得部74と、駆動制御部76と、タイミング設定部78と、照射制御部80とを含む。制御部64は、記憶部62からプログラム(ソフトウェア)を読み出して実行することで、画像情報取得部72と位置情報取得部74と駆動制御部76とタイミング設定部78と照射制御部80とを実現して、それらの処理を実行する。なお、制御部64は、1つのCPUによってこれらの処理を実行してもよいし、複数のCPUを備えて、それらの複数のCPUで、処理を実行してもよい。また、画像情報取得部72と位置情報取得部74と駆動制御部76とタイミング設定部78と照射制御部80との少なくとも1つを、ハードウェア回路で実現してもよい。
(画像情報取得部)
画像情報取得部72は、表示部10が表示する立体画像の画像データを取得する。すなわち、画像情報取得部72は、左眼用画像の画像データと、右眼用画像の画像データとを取得する。また、画像情報取得部72は、立体画像の奥行き方向における位置を示す奥行き情報を取得する。立体画像の奥行き方向における位置とは、表示面10Aに画像を表示した際にユーザUに視認される虚像の、奥行き方向における位置を指す。奥行き方向とは、表示部10の表示面10Aに直交する方向であるとも言え、本実施形態ではZ方向である。奥行き情報は、画像データに関連付けられている。さらに言えば、立体画像は、1フレームに含まれる各画像について、奥行き方向における位置が設定されており、言い換えれば、表示面10A上の位置毎に、奥行き方向における位置が設定されている。そのため、画像情報取得部72は、立体画像についての、表示面10A上の位置毎の奥行き情報を取得するといえる。なお、立体画像は、画素P毎に奥行き方向における位置が設定されているが、1つの画像を構成する複数の画素Pに対しては、奥行き方向における位置が同じとなるように設定されていてもよい。画像情報取得部72は、任意の方法で画像データ及び奥行き情報を取得してよく、記憶部62に予め記憶されていた画像データ及び奥行き情報を読み出してもよいし、図示しない通信部を介して画像データ及び奥行き情報を受信してもよい。また、画像情報取得部72は、画像データに基づき奥行き方向の位置を算出することで、奥行き情報を取得してもよい。
画像情報取得部72は、表示部10が表示する立体画像の画像データを取得する。すなわち、画像情報取得部72は、左眼用画像の画像データと、右眼用画像の画像データとを取得する。また、画像情報取得部72は、立体画像の奥行き方向における位置を示す奥行き情報を取得する。立体画像の奥行き方向における位置とは、表示面10Aに画像を表示した際にユーザUに視認される虚像の、奥行き方向における位置を指す。奥行き方向とは、表示部10の表示面10Aに直交する方向であるとも言え、本実施形態ではZ方向である。奥行き情報は、画像データに関連付けられている。さらに言えば、立体画像は、1フレームに含まれる各画像について、奥行き方向における位置が設定されており、言い換えれば、表示面10A上の位置毎に、奥行き方向における位置が設定されている。そのため、画像情報取得部72は、立体画像についての、表示面10A上の位置毎の奥行き情報を取得するといえる。なお、立体画像は、画素P毎に奥行き方向における位置が設定されているが、1つの画像を構成する複数の画素Pに対しては、奥行き方向における位置が同じとなるように設定されていてもよい。画像情報取得部72は、任意の方法で画像データ及び奥行き情報を取得してよく、記憶部62に予め記憶されていた画像データ及び奥行き情報を読み出してもよいし、図示しない通信部を介して画像データ及び奥行き情報を受信してもよい。また、画像情報取得部72は、画像データに基づき奥行き方向の位置を算出することで、奥行き情報を取得してもよい。
(位置情報取得部)
位置情報取得部74は、位置検出部50を制御して、位置検出部50に表示部10のZ方向における位置を検出させ、表示部10のZ方向における位置の検出結果を取得する。
位置情報取得部74は、位置検出部50を制御して、位置検出部50に表示部10のZ方向における位置を検出させ、表示部10のZ方向における位置の検出結果を取得する。
(駆動制御部)
駆動制御部76は、駆動部30を制御して、駆動部30に表示部10をZ方向に移動させる。駆動制御部76は、表示部10がZ1方向に所定距離移動した後にZ2方向に所定距離移動するZ方向の往復移動(振動)を繰り返し行うように、表示部10を移動させる。駆動制御部76は、表示部10を、Z方向に沿って所定の周期で移動させる。言い換えれば、駆動制御部76は、表示部10のZ方向の往復移動を、所定の周期で行わせる。本実施形態では、Z方向の往復移動の周期(表示部10がZ方向において元の位置に戻ってくるまでの時間)は一定であるが、一定であることに限られず、周期を変化させてもよい。
駆動制御部76は、駆動部30を制御して、駆動部30に表示部10をZ方向に移動させる。駆動制御部76は、表示部10がZ1方向に所定距離移動した後にZ2方向に所定距離移動するZ方向の往復移動(振動)を繰り返し行うように、表示部10を移動させる。駆動制御部76は、表示部10を、Z方向に沿って所定の周期で移動させる。言い換えれば、駆動制御部76は、表示部10のZ方向の往復移動を、所定の周期で行わせる。本実施形態では、Z方向の往復移動の周期(表示部10がZ方向において元の位置に戻ってくるまでの時間)は一定であるが、一定であることに限られず、周期を変化させてもよい。
(タイミング設定部及び照射制御部)
タイミング設定部78は、画像光Lの照射タイミングを、表示部10の画素P毎に設定する。照射制御部80は、画像データに基づき、表示部10の画素Pを制御して画素Pに光を照射させる。照射制御部80は、タイミング設定部78が設定した画素P毎の照射タイミングで、画素P毎に画像光Lを照射させる。すなわち、照射制御部80は、表示部10のある画素Pに、その画素Pについて設定された照射タイミングで、画像光Lを照射させる。タイミング設定部78は、表示部10のZ方向(画像光Lの光軸方向)における位置に基づき、照射タイミングを設定する。さらに言えば、タイミング設定部78は、立体画像の奥行き情報と、表示部10のZ方向における位置とに基づき、照射タイミングを設定する。なお、タイミング設定部78は、画素P毎に照射タイミングを設定するが、画素P毎に照射タイミングが異なることに限られず、例えば1つの画像を構成する一群の画素P(例えば図5の家の画像を表示する一群の画素Pなど)の照射タイミングを、同じに設定してよい。以下、タイミング設定部78の設定についてより具体的に説明する。
タイミング設定部78は、画像光Lの照射タイミングを、表示部10の画素P毎に設定する。照射制御部80は、画像データに基づき、表示部10の画素Pを制御して画素Pに光を照射させる。照射制御部80は、タイミング設定部78が設定した画素P毎の照射タイミングで、画素P毎に画像光Lを照射させる。すなわち、照射制御部80は、表示部10のある画素Pに、その画素Pについて設定された照射タイミングで、画像光Lを照射させる。タイミング設定部78は、表示部10のZ方向(画像光Lの光軸方向)における位置に基づき、照射タイミングを設定する。さらに言えば、タイミング設定部78は、立体画像の奥行き情報と、表示部10のZ方向における位置とに基づき、照射タイミングを設定する。なお、タイミング設定部78は、画素P毎に照射タイミングを設定するが、画素P毎に照射タイミングが異なることに限られず、例えば1つの画像を構成する一群の画素P(例えば図5の家の画像を表示する一群の画素Pなど)の照射タイミングを、同じに設定してよい。以下、タイミング設定部78の設定についてより具体的に説明する。
図5から図7は、照射タイミングの設定を説明するための模式図である。例えば図5に示すように、表示部10の画素Pから出射された画像光Lは、所定の開き角をもつ光束として、ユーザUの眼EYに入射する。この場合、ユーザUは、この光束の開き角に合うように、眼球の水晶体の厚さを無意識に変えて、網膜に焦点が合うように調節している。輻輳調節矛盾は、左右の眼の輻輳度合い(左右の眼のより度合い)と、光束の開き角に焦点を合わせた状態とが、合致していないことを指す。それに対して、本実施形態の表示装置1は、虚像(輻輳位置)から光が出射されて眼EYに入射したと仮定した場合の開き角である虚像開き角(図5の例では角度θ1A)と、実際に画素Pから画像光Lが出射されて眼EYに入射した場合の画像光Lの開き角との差分が小さくなるように、画像光Lを出射させる。ここで、画像光Lの開き角は、表示部10(表示面10A)から眼EYまでのZ方向(光軸方向)の距離に応じて決まる。本実施形態では、表示部10を所定周期でZ方向に移動させているため、タイミング設定部78は、虚像開き角と画像光Lの開き角との差分が小さくなる位置に表示部10が到達したタイミングを、照射タイミングとして設定する。
より詳しくは、タイミング設定部78は、画素P毎の奥行き情報を取得する。すなわち、タイミング設定部78は、画素P毎の奥行き方向(Z方向)における位置の情報を取得する。そして、タイミング設定部78は、画素Pの奥行き情報に基づき、その画素Pに画像光Lの照射を開始させる際の表示部10の位置である照射位置を設定する。タイミング設定部78は、画素Pによって表示される立体画像の部分の奥行き方向の位置(その画素Pによって形成される虚像の位置)から眼EYに光が照射された場合の光束の開き角(虚像開き角)に、その画素Pからの実際の画像光Lの開き角が一致する際の、表示部10のZ方向における位置を、その画素Pについての照射位置として設定する。そして、タイミング設定部78は、表示部10と照射位置との距離が所定距離範囲内となる位置に表示部10が到達するタイミングを、その画素Pについての照射タイミングとして設定する。タイミング設定部78は、画素P毎に照射位置を設定し、画素P毎に照射タイミングを設定する。なお、タイミング設定部78は、画素P毎に照射位置や照射タイミングを設定するが、画素P毎に照射位置や照射タイミングが異なることに限られず、例えば1つの画像を構成する一群の画素P(例えば図5の家の画像を表示する一群の画素Pなど)の照射位置や照射タイミングを、同じに設定してよい。
本実施形態では、タイミング設定部78は、位置情報取得部74から表示部10のZ方向の位置の情報を逐次取得し、表示部10のZ方向の位置が照射位置に対して所定距離まで近づいたら、照射タイミングとなったと判断する。ここでの所定距離は任意に設定してよいが、輻輳調節矛盾を小さくするために、虚像開き角と画像光Lの開き角との差分が小さくなるような距離に、設定されることが好ましい。また、タイミング設定部78は、奥行き方向を量子化した値を、照射位置の設定に用いる画素Pの奥行き方向における位置として用いてよい。すなわち例えば、奥行き方向を複数の数値範囲に区分し、それぞれの数値範囲に対して、その数値範囲内にある所定値を基準位置として設定しておく。そして、タイミング設定部78は、画像情報取得部72が取得した画素Pの奥行き方向における位置が含まれる数値範囲を抽出し、その数値範囲に対する基準位置を、照射位置の設定に用いる画素Pの奥行き方向における位置として扱う。
タイミング設定部78は、このようにして画素P毎に照射タイミングを設定する。さらに、タイミング設定部78は、照射タイミングより後のタイミングを照射停止タイミングとして設定する。照射制御部80は、ある画素Pについて照射タイミングに到達したと判断されたら、その画素Pに画像光Lの照射を開始させる。照射制御部80は、照射タイミングから照射停止タイミングまでの間、その画素Pに画像光Lを照射させ、照射停止タイミングに到達したら、その画素Pに画像光Lの照射を停止させる。なお、照射停止タイミングは任意に設定してよく、例えば照射タイミングから所定時間後を照射停止タイミングとして設定してもよいし、照射タイミングの直後に、表示部10と照射位置との距離が所定距離範囲外となるタイミングを、照射停止タイミングとして設定してもよい。
表示装置1は、このように、照射タイミングに到達したら画素Pに画像光Lを照射させ、照射停止タイミングに到達したら画像光Lの照射を停止させる。画像光Lは、照射タイミングから照射停止タイミングの間に、ユーザUの眼EYに入射する。従って、眼EYに入射する画像光Lの光束の開き角は、その画素Pが形成する虚像からの虚像開き角に近くなり、輻輳調節矛盾を小さくすることができる。なお、表示部10は、Z方向に往復運動するため、照射位置との距離が所定距離範囲内になることと所定距離範囲外になることとを繰り返す。制御装置60は、表示部10と照射位置との距離が所定距離範囲となる度に、すなわち照射タイミングに到達する度に、画素Pに画像光Lを照射させる。そのため、ユーザUには、立体画像が動画像として視認される。また、表示部10はZ方向に往復移動するため、往復移動の1周期で、照射位置との距離が所定距離になるタイミングが2回ある。そのため、表示部10の往復移動の振動数は、立体画像のフレームレートの1/2倍以上にすることが望ましい。ただし、表示部10の往復移動の振動数(周期)は任意に設定してよい。
以上説明した照射タイミングの設定の例を、図5から図7を用いて説明する。以下では、家の画像と車の画像とヘリコプタの画像とが立体画像として表示され、車の画像、家の画像、ヘリコプタの画像の順で、奥行き方向(Z方向)の位置がユーザUの眼EYから遠くなる場合を例にする。すなわち、車の画像の虚像P2は、家の画像の虚像P1よりもZ1方向側に位置し、ヘリコプタの画像の虚像P3は、家の画像の虚像P1よりもZ2方向側に位置する。
図5は、家の画像の虚像P1をユーザUに視認させる場合の例である。図5の例では、虚像P1(家の画像を構成する画素Pの奥行き方向の位置)から眼EYに光が照射された場合の光束の開き角(虚像開き角)を、角度θ1Aとする。そして、表示部10と接眼レンズ20とのZ方向の距離が距離D1となる表示部10の位置において、家の画像を構成する画素Pからの画像光Lの光束の開き角が、角度θ1Aとなるとする。この場合、接眼レンズ20とのZ方向の距離が距離D1となる位置が、家の画像を構成する画素Pについての照射位置となり、タイミング設定部78は、照射位置との距離が所定距離範囲内となる位置に表示部10が到達するタイミングを、家の画像を構成する画素Pについての照射タイミングとして設定する。照射制御部80は、照射タイミングとなったら、家の画像を構成する画素Pに画像光Lを照射させる。これにより、家の画像の虚像P1からの虚像開き角と、実際にユーザUの眼EYに入射する画像光Lの開き角とが近くなり、輻輳調節矛盾を小さくすることができる。なお、画像光Lは接眼レンズ20で屈折されて眼EYに入射するため、ここでの画像光Lの光束の開き角とは、接眼レンズ20を透過した後の画像光Lの光束の開き角を指す。
図6は、車の画像の虚像P2をユーザUに視認させる場合の例である。図6の例では、虚像P2(車の画像を構成する画素Pの奥行き方向の位置)から眼EYに光が照射された場合の光束の開き角(虚像開き角)を、角度θ2Aとする。そして、表示部10と接眼レンズ20とのZ方向の距離が距離D2となる表示部10の位置において、車の画像を構成する画素Pからの画像光Lの光束の開き角が、角度θ2Aとなるとする。なお、虚像P2は虚像P1よりもZ1方向に視認されるため、角度θ2Aは、図5の角度θ1Aより大きく、距離D2は、図5の距離D1より短い。この場合、接眼レンズ20とのZ方向の距離が距離D2となる位置が、車の画像を構成する画素Pについての照射位置となり、タイミング設定部78は、表示部10と照射位置との距離が所定距離範囲内となる位置に表示部10が到達するタイミングを、車の画像を構成する画素Pについての照射タイミングとして設定する。照射制御部80は、照射タイミングとなったら、車の画像を構成する画素Pに光を照射させる。これにより、車の画像の虚像P2からの虚像開き角と、実際にユーザUの眼EYに入射する画像光Lの開き角とが近くなり、輻輳調節矛盾を小さくすることができる。
図7は、ヘリコプタの画像の虚像P3をユーザUに視認させる場合の例である。図7の例では、虚像P3(ヘリコプタの画像を構成する画素Pの奥行き方向の位置)から眼EYに光が照射された場合の光束の開き角(虚像開き角)を、角度θ3Aとする。そして、表示部10と接眼レンズ20とのZ方向の距離が距離D3となる表示部10の位置において、ヘリコプタの画像を構成する画素Pからの画像光Lの光束の開き角が、角度θ3Aとなるとする。なお、虚像P3は虚像P1よりもZ2方向に視認されるため、角度θ3Aは、図5の角度θ1Aより小さく、距離D3は、図5の距離D1より長い。この場合、接眼レンズ20とのZ方向の距離が距離D3となる位置が、ヘリコプタの画像を構成する画素Pについての照射位置となり、タイミング設定部78は、表示部10と照射位置との距離が所定距離範囲内となる位置に表示部10が到達するタイミングを、ヘリコプタの画像を構成する画素Pについての照射タイミングとして設定する。照射制御部80は、照射タイミングとなったら、ヘリコプタの画像を構成する画素Pに画像光Lを照射させる。これにより、ヘリコプタの画像の虚像P3からの虚像開き角と、実際にユーザUの眼EYに入射する画像光Lの開き角とが近くなり、輻輳調節矛盾を小さくすることができる。
なお、表示装置1は、画素P毎に照射タイミングを設定するため、1フレームでは一部の画素Pしか点灯しない場合もあり、例えば図5のタイミングでは家の画像のみが表示され、図6のタイミングでは車の画像のみが表示され、図7のタイミングではヘリコプタの画像のみが表示される。ただし、複数フレームを連続させることによる残像効果で、ユーザUには家、車、ヘリコプタが一つの画像に写っていると認識される。また、1フレームの表示時間内で画像全体(ここでは家、車、ヘリコプタの全て)を表示する構成にしてもよい。この場合、駆動制御部76は、1フレームの表示時間内で接眼レンズ20の焦点の位置を少なくとも往復移動の半周期分移動させればよい。これにより、1フレームの表示時間内で、往復移動内における全ての焦点の位置を網羅することができ、画像全体を表示することが可能となる。
また、以上の説明では、タイミング設定部78は、位置検出部50の検出結果から、表示部10のZ方向における位置の情報を逐次取得して、表示部10が照射位置から所定距離に到達したかを判断していたが、それに限られない。例えば、表示部10を所定の周期でZ方向に往復運動させている場合には、位置検出部50に検出させなくても、時刻毎の表示部10のZ方向における位置(予測位置)を把握できる。従って、タイミング設定部78は、時刻情報から表示部10のZ方向における位置の情報を取得してもよい。この場合、タイミング設定部78は、時刻毎の表示部10の予測位置の情報と照射位置の情報とに基づき、表示部10が照射位置から所定距離に到達する時刻を照射タイミングとして設定し、現在の時刻が照射タイミングに達したら、表示部10が照射位置に到達したと判断して、画素Pに画像光Lを照射させてもよい。
(処理フロー)
次に、以上説明した制御装置60の処理フローを説明する。図8は、本実施形態に係る制御装置の処理フローを説明するフローチャートである。制御装置60は、駆動制御部76により、表示部10を所定周期でZ方向に往復移動させる。制御装置60は、タイミング設定部78により、画素P毎の奥行き情報から、画素P毎の照射位置を設定する(ステップS10)。制御装置60は、位置情報取得部74により、表示部10のZ方向における位置を逐次取得し、表示部10が照射位置から所定距離内に到達したかを、画素P毎に判断する(ステップS12)。表示部10が照射位置から所定距離内に到達したら(ステップS12;Yes)、すなわち表示部10が照射位置から所定距離内に到達したと判断される画素Pがある場合には、タイミング設定部78は、その画素Pが照射タイミングに到達したと判断し、照射制御部80は、画像データに基づき、その画素Pに画像光Lを照射させる(ステップS14)。その後、照射停止タイミングで画像光Lの照射を停止させ、処理を終了しない場合は(ステップS16;No)、ステップS10に戻り処理を続ける。一方、表示部10が照射位置から所定距離内に到達していない場合には(ステップS12;No)、すなわち表示部10が照射位置から所定距離内に到達したと判断される画素Pが無い場合には、ステップS12に戻り、表示部10が照射位置から所定距離内に到達するまで画素Pに光を照射させない。ステップS16で処理を終了する場合(ステップS16;Yes)、本処理を終了する。
次に、以上説明した制御装置60の処理フローを説明する。図8は、本実施形態に係る制御装置の処理フローを説明するフローチャートである。制御装置60は、駆動制御部76により、表示部10を所定周期でZ方向に往復移動させる。制御装置60は、タイミング設定部78により、画素P毎の奥行き情報から、画素P毎の照射位置を設定する(ステップS10)。制御装置60は、位置情報取得部74により、表示部10のZ方向における位置を逐次取得し、表示部10が照射位置から所定距離内に到達したかを、画素P毎に判断する(ステップS12)。表示部10が照射位置から所定距離内に到達したら(ステップS12;Yes)、すなわち表示部10が照射位置から所定距離内に到達したと判断される画素Pがある場合には、タイミング設定部78は、その画素Pが照射タイミングに到達したと判断し、照射制御部80は、画像データに基づき、その画素Pに画像光Lを照射させる(ステップS14)。その後、照射停止タイミングで画像光Lの照射を停止させ、処理を終了しない場合は(ステップS16;No)、ステップS10に戻り処理を続ける。一方、表示部10が照射位置から所定距離内に到達していない場合には(ステップS12;No)、すなわち表示部10が照射位置から所定距離内に到達したと判断される画素Pが無い場合には、ステップS12に戻り、表示部10が照射位置から所定距離内に到達するまで画素Pに光を照射させない。ステップS16で処理を終了する場合(ステップS16;Yes)、本処理を終了する。
(効果)
以上説明したように、本実施形態に係る表示装置1は、ユーザUに立体画像を提供するものであって、表示部10と、駆動制御部76と、タイミング設定部78と、照射制御部80とを含む。表示部10は、自発光する複数の画素Pを含み、画素Pからの画像光LをユーザUに到達させることで、ユーザUに立体画像を提供する。駆動制御部76は、表示部10を、画像光Lの光軸方向(本実施形態ではZ方向)に沿って所定の周期で移動させる。タイミング設定部78は、表示部10の光軸方向(本実施形態ではZ方向)における位置に基づき、画像光Lの照射タイミングを画素P毎に設定する。照射制御部80は、照射タイミングで、画素Pに画像光Lを照射させる。
以上説明したように、本実施形態に係る表示装置1は、ユーザUに立体画像を提供するものであって、表示部10と、駆動制御部76と、タイミング設定部78と、照射制御部80とを含む。表示部10は、自発光する複数の画素Pを含み、画素Pからの画像光LをユーザUに到達させることで、ユーザUに立体画像を提供する。駆動制御部76は、表示部10を、画像光Lの光軸方向(本実施形態ではZ方向)に沿って所定の周期で移動させる。タイミング設定部78は、表示部10の光軸方向(本実施形態ではZ方向)における位置に基づき、画像光Lの照射タイミングを画素P毎に設定する。照射制御部80は、照射タイミングで、画素Pに画像光Lを照射させる。
ここで、立体画像を表示する場合には、ユーザに適切に立体画像を提供することが求められている。それに対し、本実施形態においては、表示部10を光軸方向に移動させておき、表示部10の光軸方向の位置に基づき、画像光Lの照射タイミングを設定する。従って、本実施形態によると、表示部10の光軸方向の位置に基づいた適切なタイミングでユーザUに画像光Lを到達させることが可能となり、ユーザUに立体画像を適切に提供できる。さらに言えば、上述のように、立体画像を表示する際には、輻輳調節矛盾が起こる場合がある。それに対して、本実施形態においては、表示部10を光軸方向に移動させつつ、表示部10の光軸方向の位置に基づき、画像光Lの照射タイミングを設定することで、画像光Lの光束の開き角を適切に調整して、輻輳調節矛盾を小さくすることができる。さらに言えば、本実施形態においては、画像光Lの光束の開き角が適切となる位置に表示部10をその都度移動させずに、表示部10は所定周期で移動させておき、画像光Lの光束の開き角が適切となるタイミングで画素Pの光照射を制御している。このように光照射を制御することで、制御遅れが抑制されて、画像光Lの光束の開き角を適切に調整できる。
また、タイミング設定部78は、立体画像の奥行き方向(本実施形態ではZ方向)の位置を示す奥行き情報にも基づき、照射タイミングを設定する。本実施形態によると、奥行き情報も用いて照射タイミングを設定するため、表示される立体画像に合わせて画像光Lの光束の開き角を適切に調整することが可能となり、輻輳調節矛盾を小さくすることができる。
また、タイミング設定部78は、画素Pからの画像光Lの光束の開き角が、その画素Pによって表示される立体画像の部分での奥行き方向の位置からユーザUに向けて画像光Lを照射した場合の光束の開き角(虚像開き角)に対応するような、表示部10の光軸方向における位置である、照射位置の情報を取得する。タイミング設定部78は、表示部10が照射位置に対して所定距離範囲内となるタイミングを、その画素Pについての照射タイミングとして設定する。本実施形態によると、光束の開き角と虚像開き角とが近い画素Pに発光させて、光束の開き角と虚像開き角とが遠い画素Pに発光させないことが可能となるため、輻輳調節矛盾を適切に小さくすることができる。
また、表示装置1は、光軸方向において表示部10よりもユーザU側に、接眼レンズが設けられる。表示装置1は、接眼レンズを設けることで、ユーザUに立体画像を適切に提供できる。
また、表示装置1は、ヘッドマウントディスプレイである。そのため、ヘッドマウントディスプレイにより立体画像を適切に提供できる。
(第2実施形態)
次に、第2実施形態について説明する。第2実施形態においては、マイクロレンズアレイを設ける点で、第1実施形態とは異なる。第2実施形態において第1実施形態と構成が共通する箇所は、説明を省略する。
次に、第2実施形態について説明する。第2実施形態においては、マイクロレンズアレイを設ける点で、第1実施形態とは異なる。第2実施形態において第1実施形態と構成が共通する箇所は、説明を省略する。
図9は、第2実施形態に係る表示装置の模式図である。図9に示すように、第2実施形態に係る表示装置1aは、画像光Lの光軸方向において表示部10よりもユーザUの眼EY側に、マイクロレンズアレイ20Aが設けられている。マイクロレンズアレイ20Aは、画像光Lの光軸方向において、表示部10と接眼レンズ20との間に設けられている。マイクロレンズアレイ20Aは、表示面10Aと平行な平面に沿ってマトリクス状に複数のレンズが並ぶ光学素子である。本実施形態では、マイクロレンズアレイ20Aの各レンズのピッチは、すなわち隣り合うレンズの中心同士の距離は、例えば表示部10の画素Pのピッチ(隣り合う画素Pの中心同士の距離)と同程度であり、マイクロレンズアレイ20Aの各レンズは、表示部10の画素Pに対向する位置に設けられている。
第2実施形態においては、表示部10からの画像光Lは、マイクロレンズアレイ20A及び接眼レンズ20を通って、ユーザUの眼EYに到達する。ここで、表示部10のZ方向の移動量は、すなわち1周期の往復移動での最もZ1方向側の位置と最もZ2方向側の位置との距離は、画像光Lの光束の開き角が、虚像からの虚像開き角に追従できるような長さに設定される必要がある。それに対し、マイクロレンズアレイ20Aを設けた場合には、マイクロレンズアレイ20Aによって画像光Lの光束の開き角を広げるため、表示部10が単位距離移動した際の画像光Lの光束の開き角の変化度合い(開き角の変化度合いの感度)が大きくなる。従って、第2実施形態においては、表示部10のZ方向の移動量を小さくして、表示部10の移動に伴う駆動部30や表示部10への負荷を低減できる。
このように、第2実施形態に係る表示装置1aは、光軸方向において表示部10よりもユーザU側に、マイクロレンズアレイが設けられる。表示装置1aは、マイクロレンズアレイを設けることで、表示部10の移動量を小さくしつつ輻輳調節矛盾を小さくすることができる。
図10は、マイクロレンズアレイを設けた場合の表示部の移動量の違いを説明するグラフである。以降では、光学シミュレーションにより、マイクロレンズアレイを設けない場合と設ける場合とで、表示部10の必要な移動量の違いを計算した結果を説明する。この光学シミュレーションにおいては、3.5インチのディスプレイ、接眼レンズの焦点距離を40mm、マイクロレンズアレイの各レンズの焦点距離を4.8mm、各レンズの曲率半径を2.5mmとした。なお、実際のHMDのレンズ光学系は、一般に接眼レンズの構成枚数の制限から、比較的大きな像面湾曲があるが、その大きさはレンズ設計によって変わるため、このシミュレーションではフォーカス量の変化だけを見るために、収差のない理想レンズを用いて計算した。ディスプレイから出た画像光の光束は、マイクロレンズアレイを通り接眼レンズでほぼ平行光になって、アイポイントに入射する。その光束をアイポイントで折り返すと、虚像上の物点に収束する構成である。本シミュレーションでは、虚像距離100m(無限遠相当)を基準として、虚像距離を5000mmから1500mmまで変化させたときの、ディスプレイの移動量をフォーカス量として算出した。図10の線N1が、マイクロレンズアレイを設けない場合の虚像距離毎のフォーカス量を示し、線N2が、マイクロレンズアレイを設けた場合の虚像距離毎のフォーカス量を示している。線N1、N2に示すように、マイクロレンズアレイを設けた場合には、フォーカス量が少なくなり、ディスプレイの移動量を少なくできることが分かる。
(第3実施形態)
次に、第3実施形態について説明する。第3実施形態においては、接眼レンズ20をZ方向に移動させる点で、第1実施形態と異なる。第3実施形態において、第1実施形態と構成が共通する箇所は、説明を省略する。
次に、第3実施形態について説明する。第3実施形態においては、接眼レンズ20をZ方向に移動させる点で、第1実施形態と異なる。第3実施形態において、第1実施形態と構成が共通する箇所は、説明を省略する。
図11は、第3実施形態に係る表示装置の模式図である。図11に示すように、第3実施形態に係る表示装置1bは、接眼レンズ20に駆動部30が取り付けられおり、駆動部30が、接眼レンズ20をZ方向に移動させる。第3実施形態の駆動制御部76は、接眼レンズ20がZ1方向に所定距離移動した後にZ2方向に所定距離移動するZ方向の往復移動(振動)を繰り返し行うように、接眼レンズ20を移動させる。駆動制御部76は、接眼レンズ20を、Z方向に沿って所定の周期で移動させる。言い換えれば、駆動制御部76は、接眼レンズ20のZ方向の往復移動を、所定の周期で行わせる。本実施形態では、Z方向の往復移動の周期は一定であるが、一定であることに限られず、周期を変化させてもよい。
また、第3実施形態の位置検出部50は、接眼レンズ20のZ方向における位置を検出する。第3実施形態の位置情報取得部74は、位置検出部50に接眼レンズ20のZ方向における位置を検出させ、接眼レンズ20のZ方向における位置の検出結果を取得する。
第3実施形態においては、タイミング設定部78は、接眼レンズ20のZ方向(画像光Lの光軸方向)における位置に基づき、照射タイミングを設定する。さらに言えば、タイミング設定部78は、立体画像の奥行き情報と、接眼レンズ20のZ方向における位置とに基づき、照射タイミングを設定する。
より詳しくは、タイミング設定部78は、画素P毎の奥行き情報を取得する。すなわち、タイミング設定部78は、画素P毎の奥行き方向(Z方向)における位置の情報を取得する。そして、タイミング設定部78は、画素Pの奥行き情報に基づき、その画素Pに画像光Lの照射を開始させる際の接眼レンズ20の位置である照射位置を設定する。タイミング設定部78は、画素Pによって表示される立体画像の部分の奥行き方向の位置(その画素Pによって形成される虚像の位置)から眼EYに光が照射された場合の光束の開き角(虚像開き角)に、その画素Pからの実際の画像光Lの開き角が一致する際の、接眼レンズ20のZ方向における位置を、その画素Pについての照射位置として設定する。そして、タイミング設定部78は、接眼レンズ20と照射位置との距離が所定距離範囲内となる位置に接眼レンズ20が到達するタイミングを、その画素Pについての照射タイミングとして設定する。タイミング設定部78は、画素P毎に照射位置を設定し、画素P毎に照射タイミングを設定する。なお、タイミング設定部78は、画素P毎に照射位置や照射タイミングを設定するが、画素P毎に照射位置や照射タイミングが異なることに限られず、例えば1つの画像を構成する一群の画素P(例えば図5の家の画像を表示する一群の画素Pなど)の照射位置や照射タイミングを、同じに設定してよい。
本実施形態では、タイミング設定部78は、位置情報取得部74から接眼レンズ20のZ方向の位置の情報を逐次取得し、接眼レンズ20のZ方向の位置が照射位置に対して所定距離まで近づいたら、照射タイミングとなったと判断する。ここでの所定距離は任意に設定してよいが、輻輳調節矛盾を小さくするために、虚像開き角と画像光Lの開き角との差分が小さくなるような距離に、設定されることが好ましい。
タイミング設定部78は、このようにして画素P毎に照射タイミングを設定する。さらに、タイミング設定部78は、照射タイミングより後のタイミングを照射停止タイミングとして設定する。照射制御部80は、ある画素Pについて照射タイミングに到達したと判断されたら、その画素Pに画像光Lの照射を開始させる。照射制御部80は、照射タイミングから照射停止タイミングまでの間、その画素Pに画像光Lを照射させ、照射停止タイミングに到達したら、その画素Pに画像光Lの照射を停止させる。
なお、以上の説明では、タイミング設定部78は、位置検出部50の検出結果から、接眼レンズ20のZ方向における位置の情報を逐次取得して、接眼レンズ20が照射位置から所定距離に到達したかを判断していたが、それに限られない。例えば、接眼レンズ20を所定の周期でZ方向に往復運動させている場合には、位置検出部50に検出させなくても、時刻毎の接眼レンズ20のZ方向における位置(予測位置)を把握できる。従って、タイミング設定部78は、時刻情報から接眼レンズ20のZ方向における位置の情報を取得してもよい。この場合、タイミング設定部78は、時刻毎の接眼レンズ20の予測位置の情報と照射位置の情報とに基づき、接眼レンズ20が照射位置から所定距離に到達する時刻を照射タイミングとして設定し、現在の時刻が照射タイミングに達したら、接眼レンズ20が照射位置に到達したと判断して、画素Pに光を照射させてもよい。
(処理フロー)
次に、以上説明した第3実施形態の制御装置60の処理フローを説明する。図12は、第3実施形態に係る制御装置の処理フローを説明するフローチャートである。制御装置60は、駆動制御部76により、接眼レンズ20を所定周期でZ方向に往復移動させる。制御装置60は、タイミング設定部78により、画素P毎の奥行き情報から、画素P毎の照射位置を設定する(ステップS10b)。制御装置60は、位置情報取得部74により、接眼レンズ20のZ方向における位置を逐次取得し、接眼レンズ20が照射位置から所定距離内に到達したかを、画素P毎に判断する(ステップS12b)。接眼レンズ20が照射位置から所定距離内に到達したら(ステップS12b;Yes)、すなわち接眼レンズ20が照射位置から所定距離内に到達したと判断される画素Pがある場合には、タイミング設定部78は、その画素Pが照射タイミングに到達したと判断し、照射制御部80は、画像データに基づき、その画素Pに画像光Lを照射させる(ステップS14b)。その後、照射停止タイミングで画像光Lの照射を停止させ、処理を終了しない場合は(ステップS16b;No)、ステップS10bに戻り処理を続ける。一方、接眼レンズ20が照射位置から所定距離内に到達していない場合には(ステップS12b;No)、すなわち接眼レンズ20が照射位置から所定距離内に到達したと判断される画素Pが無い場合には、ステップS12bに戻り、接眼レンズ20が照射位置から所定距離内に到達するまで画素Pに光を照射させない。ステップS16bで処理を終了する場合(ステップS16b;Yes)、本処理を終了する。
次に、以上説明した第3実施形態の制御装置60の処理フローを説明する。図12は、第3実施形態に係る制御装置の処理フローを説明するフローチャートである。制御装置60は、駆動制御部76により、接眼レンズ20を所定周期でZ方向に往復移動させる。制御装置60は、タイミング設定部78により、画素P毎の奥行き情報から、画素P毎の照射位置を設定する(ステップS10b)。制御装置60は、位置情報取得部74により、接眼レンズ20のZ方向における位置を逐次取得し、接眼レンズ20が照射位置から所定距離内に到達したかを、画素P毎に判断する(ステップS12b)。接眼レンズ20が照射位置から所定距離内に到達したら(ステップS12b;Yes)、すなわち接眼レンズ20が照射位置から所定距離内に到達したと判断される画素Pがある場合には、タイミング設定部78は、その画素Pが照射タイミングに到達したと判断し、照射制御部80は、画像データに基づき、その画素Pに画像光Lを照射させる(ステップS14b)。その後、照射停止タイミングで画像光Lの照射を停止させ、処理を終了しない場合は(ステップS16b;No)、ステップS10bに戻り処理を続ける。一方、接眼レンズ20が照射位置から所定距離内に到達していない場合には(ステップS12b;No)、すなわち接眼レンズ20が照射位置から所定距離内に到達したと判断される画素Pが無い場合には、ステップS12bに戻り、接眼レンズ20が照射位置から所定距離内に到達するまで画素Pに光を照射させない。ステップS16bで処理を終了する場合(ステップS16b;Yes)、本処理を終了する。
(効果)
以上説明したように、第3実施形態に係る表示装置1bは、ユーザUに立体画像を提供するものであって、表示部10と、光学素子と、駆動制御部76と、タイミング設定部78と、照射制御部80とを含む。表示部10は、自発光する複数の画素Pを含み、画素Pからの画像光LをユーザUに到達させることで、ユーザUに立体画像を提供する。光学素子(本実施形態の例では接眼レンズ20)は、画像光Lの光軸方向において表示部10よりもユーザU側に設けられる。駆動制御部76は、光学素子を、画像光Lの光軸方向(本実施形態ではZ方向)に沿って所定の周期で移動させる。タイミング設定部78は、光学素子の光軸方向(本実施形態ではZ方向)における位置に基づき、画像光Lの照射タイミングを画素P毎に設定する。照射制御部80は、照射タイミングで、画素Pに画像光Lを照射させる。
以上説明したように、第3実施形態に係る表示装置1bは、ユーザUに立体画像を提供するものであって、表示部10と、光学素子と、駆動制御部76と、タイミング設定部78と、照射制御部80とを含む。表示部10は、自発光する複数の画素Pを含み、画素Pからの画像光LをユーザUに到達させることで、ユーザUに立体画像を提供する。光学素子(本実施形態の例では接眼レンズ20)は、画像光Lの光軸方向において表示部10よりもユーザU側に設けられる。駆動制御部76は、光学素子を、画像光Lの光軸方向(本実施形態ではZ方向)に沿って所定の周期で移動させる。タイミング設定部78は、光学素子の光軸方向(本実施形態ではZ方向)における位置に基づき、画像光Lの照射タイミングを画素P毎に設定する。照射制御部80は、照射タイミングで、画素Pに画像光Lを照射させる。
第3実施形態の表示装置1bのように、光学素子を移動させた場合でも、第1実施形態と同様に、ユーザUに立体画像を適切に提供でき、画像光Lの光束の開き角を適切に調整して、輻輳調節矛盾を小さくすることができる。さらに、光学素子は、例えば樹脂やガラス製のレンズであり、表示部10と比べて構成が簡素であるため、移動させた場合の不具合のリスクを少なくできる。
また、タイミング設定部78は、画素Pからの画像光Lの光束の開き角が、その画素Pによって表示される立体画像の部分での奥行き方向の位置からユーザUに向けて画像光Lを照射した場合の光束の開き角(虚像開き角)に対応するような、光学素子の光軸方向における位置である、照射位置の情報を取得する。タイミング設定部78は、光学素子が照射位置に対して所定距離範囲内となるタイミングを、その画素Pについての照射タイミングとして設定する。本実施形態によると、光束の開き角と虚像開き角とが近い画素Pに発光させて、光束の開き角と虚像開き角とが遠い画素Pに発光させないことが可能となるため、輻輳調節矛盾を適切に小さくすることができる。
また、光学素子は、接眼レンズ20を含み、駆動制御部76は、接眼レンズ20を移動させる。本実施形態によると、接眼レンズ20を移動させることで、ユーザUに立体画像を適切に提供でき、画像光Lの光束の開き角を適切に調整して、輻輳調節矛盾を小さくすることができる。
なお、第1実施形態においては、表示部10を移動させ、第3実施形態においては光学素子を移動させていた。ただし、表示部10と光学素子との両方を移動させてもよい。
(第4実施形態)
次に、第4実施形態について説明する。第4実施形態においては、接眼レンズ20の替わりにマイクロレンズアレイ20AをZ方向に移動させる点で、第3実施形態と異なる。第4実施形態において、第3実施形態と構成が共通する箇所は、説明を省略する。
次に、第4実施形態について説明する。第4実施形態においては、接眼レンズ20の替わりにマイクロレンズアレイ20AをZ方向に移動させる点で、第3実施形態と異なる。第4実施形態において、第3実施形態と構成が共通する箇所は、説明を省略する。
図13は、第4実施形態に係る表示装置の模式図である。図13に示すように、第4実施形態に係る表示装置1cは、画像光Lの光軸方向において表示部10よりもユーザUの眼EY側に、マイクロレンズアレイ20Aが設けられている。マイクロレンズアレイ20Aは、画像光Lの光軸方向において、表示部10と接眼レンズ20との間に設けられている。第4実施形態においては、マイクロレンズアレイ20Aに駆動部30が取り付けられおり、駆動部30が、マイクロレンズアレイ20AをZ方向に移動させる。第4実施形態においては、接眼レンズ20の替わりにマイクロレンズアレイ20Aを移動させる以外は、第3実施形態と内容が共通するため、他の説明は省略する。すなわち、第4実施形態の内容は、第3実施形態での「接眼レンズ20」を「マイクロレンズアレイ20A」に置き換えればよい。
このように、第4実施形態においては、光学素子がマイクロレンズアレイ20Aを含み、駆動制御部76は、マイクロレンズアレイ20Aを移動させる。本実施形態によると、マイクロレンズアレイ20Aを移動させることで、ユーザUに立体画像を適切に提供でき、画像光Lの光束の開き角を適切に調整して、輻輳調節矛盾を小さくすることができる。
図14は、マイクロレンズアレイを設けた場合の表示部の移動量の違いを説明するグラフである。以降では、光学シミュレーションにより、マイクロレンズアレイを設けない場合と設ける場合とで、表示部10の必要な移動量の違いを計算した結果を説明する。この光学シミュレーションは、マイクロレンズアレイの曲率半径を2.5mm、1mmと2種類準備し、ディスプレイではなくマイクロレンズアレイを動かした点以外は、第2実施形態で説明した光学シミュレーションと同内容である。図14の線N1が、マイクロレンズアレイを設けずディスプレイを動かした場合の虚像距離毎のフォーカス量を示し、線N3が、曲率半径が2.5mmのマイクロレンズアレイを設けた場合の虚像距離毎のフォーカス量を示し、線N4が、曲率半径が1mmのマイクロレンズアレイを設けた場合の虚像距離毎のフォーカス量を示している。線N1、N3、N4に示すように、マイクロレンズアレイを設けた場合には、フォーカス量が少なくなり、移動量を少なくできることが分かる。
なお、第4実施形態のようにマイクロレンズアレイ20Aを設けた構成において、第3実施形態のように接眼レンズ20を移動させてもよいし、接眼レンズ20とマイクロレンズアレイ20Aの両方を移動させてもよい。また、第3実施形態では接眼レンズ20を移動させ、第4実施形態ではマイクロレンズアレイ20Aを移動させていたが、移動させる光学素子は、接眼レンズ20やマイクロレンズアレイ20Aに限られず、表示部10よりも光軸方向でユーザU側に設けられている任意の光学素子を移動させてもよい。
(変形例)
次に、変形例について説明する。変形例に係る表示装置1dは、接眼レンズ20の替わりに凹面鏡20Cでディスプレイを拡大する点で、第2実施形態とは異なる。変形例において第2実施形態と構成が共通する箇所は、説明を省略する。
次に、変形例について説明する。変形例に係る表示装置1dは、接眼レンズ20の替わりに凹面鏡20Cでディスプレイを拡大する点で、第2実施形態とは異なる。変形例において第2実施形態と構成が共通する箇所は、説明を省略する。
図15は、変形例に係る表示装置の模式図である。図15に示すように、変形例に係る表示装置1dは、接眼レンズ20が設けられておらず、画像光Lの光軸方向において表示部10よりもユーザUの眼EY側に、ハーフミラー20Bと凹面鏡20Cとが設けられている。ハーフミラー20Bと凹面鏡20Cも、光学素子であるといえる。変形例においては、表示部10から出射された画像光Lは、ハーフミラー20Bで反射されて凹面鏡20Cに入射する。凹面鏡20Cに入射した画像光Lは、凹面鏡20Cで若干の広がり角を持ちつつほぼ平行光になって、ハーフミラー20Bを透過してユーザUの眼EYに入射する。
変形例においては、第2実施形態と同様にマイクロレンズアレイ20Aを移動させる。変形例のような構成であっても、マイクロレンズアレイ20Aを移動させるため、第2実施形態と同様に、ユーザUに立体画像を適切に提供でき、画像光Lの光束の開き角を適切に調整して、輻輳調節矛盾を小さくすることができる。
なお、変形例は、他の実施例にも適用可能である。すなわち、変形例の構成において、表示部10を移動させてもよいし、ハーフミラー20B以外の光学素子を移動させてもよい。また、表示装置の構成は、各実施形態や図15で挙げた変形例以外のものであってもよい。
以上、本発明の実施形態を説明したが、これら実施形態の内容により実施形態が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能であり、各実施形態の構成を組み合わせることも可能である。さらに、前述した実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。
1 表示装置
10 表示部
20 接眼レンズ
30 駆動部
50 位置検出部
60 制御装置
72 画像情報取得部
74 位置情報取得部
76 駆動制御部
78 タイミング設定部
80 照射制御部
L 画像光
P 画素
U ユーザ
10 表示部
20 接眼レンズ
30 駆動部
50 位置検出部
60 制御装置
72 画像情報取得部
74 位置情報取得部
76 駆動制御部
78 タイミング設定部
80 照射制御部
L 画像光
P 画素
U ユーザ
Claims (7)
- 複数の画素を含み、前記画素から光を照射することでユーザに画像を提供する表示部と、
前記表示部よりも前記ユーザ側に設けられる光学素子と、
前記光学素子を所定の周期で移動させる駆動制御部と、
前記光学素子の位置に基づき、前記光の照射タイミングを、前記画素毎に設定するタイミング設定部と、
を含む、
表示装置。 - 前記タイミング設定部は、前記画像の奥行き方向の位置を示す奥行き情報にも基づき、前記照射タイミングを設定する、請求項1に記載の表示装置。
- 前記タイミング設定部は、前記画素からの光の光束の開き角が、その画素によって表示される前記画像の部分での奥行き方向の位置から前記ユーザに向けて前記光を照射した場合の光束の開き角に対応する前記光学素子の位置である照射位置の情報を取得し、前記光学素子が前記照射位置に対して所定距離範囲内となるタイミングを、その画素についての前記照射タイミングとして設定する、請求項2に記載の表示装置。
- 前記光学素子はマイクロレンズアレイを含み、前記駆動制御部は、前記マイクロレンズアレイを移動させる、請求項1から請求項3のいずれか1項に記載の表示装置。
- ヘッドマウントディスプレイである、請求項1から請求項4のいずれか1項に記載の表示装置。
- 複数の画素を含み前記画素から光を照射する表示部よりもユーザ側に設けられる光学素子を所定の周期で移動させる駆動制御ステップと、
前記光学素子の位置に基づき、前記光の照射タイミングを、前記画素毎に設定するタイミング設定ステップと、
を含む、
表示制御方法。 - 複数の画素を含み前記画素から光を照射する表示部よりもユーザ側に設けられる光学素子を所定の周期で移動させる駆動制御ステップと、
前記光学素子の位置に基づき、前記光の照射タイミングを、前記画素毎に設定するタイミング設定ステップと、
を、コンピュータに実行させる、
表示制御プログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021046023A JP2022144840A (ja) | 2021-03-19 | 2021-03-19 | 表示装置、表示制御方法、及び表示制御プログラム |
PCT/JP2022/012769 WO2022196809A1 (ja) | 2021-03-19 | 2022-03-18 | 表示装置、表示制御方法、及び表示制御プログラム |
US18/464,301 US20230421750A1 (en) | 2021-03-19 | 2023-09-11 | Display device, display control method, and computer-readable storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021046023A JP2022144840A (ja) | 2021-03-19 | 2021-03-19 | 表示装置、表示制御方法、及び表示制御プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022144840A true JP2022144840A (ja) | 2022-10-03 |
Family
ID=83454662
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021046023A Pending JP2022144840A (ja) | 2021-03-19 | 2021-03-19 | 表示装置、表示制御方法、及び表示制御プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2022144840A (ja) |
-
2021
- 2021-03-19 JP JP2021046023A patent/JP2022144840A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11669160B2 (en) | Predictive eye tracking systems and methods for foveated rendering for electronic displays | |
US10871825B1 (en) | Predictive eye tracking systems and methods for variable focus electronic displays | |
CN108369325B (zh) | 焦点调整虚拟现实耳机 | |
TWI688789B (zh) | 虛擬影像產生器及投影虛擬影像的方法 | |
JP6018579B2 (ja) | シースルー・ディスプレイのための好ましい視覚的適応 | |
US10502876B2 (en) | Waveguide optics focus elements | |
US10379360B2 (en) | Fresnel lens with dynamic draft for variable gaze | |
CN112136094A (zh) | 用于显示系统的基于深度的凹式渲染 | |
KR20170084094A (ko) | 조정 가능 초점 평면 광학 시스템 | |
US10379359B2 (en) | Fresnel lens with dynamic draft for reduced optical artifacts | |
CN105531716A (zh) | 显示设备中的近眼光学定位 | |
US10379348B2 (en) | Hybrid fresnel lens with increased field of view | |
US11695913B1 (en) | Mixed reality system | |
CN113646688A (zh) | 具有多个光引擎的扫描投影仪显示器 | |
CN113589534B (zh) | 屈光度自适应调节的近眼显示装置和增强现实显示设备 | |
KR101059763B1 (ko) | 3차원 디스플레이 장치 | |
JP2022144985A (ja) | 表示装置、表示制御方法、及び表示制御プログラム | |
JP2022144840A (ja) | 表示装置、表示制御方法、及び表示制御プログラム | |
JP2022144863A (ja) | 表示装置、表示制御方法、及び表示制御プログラム | |
JP2022144984A (ja) | 表示装置、表示制御方法、及び表示制御プログラム | |
WO2022196809A1 (ja) | 表示装置、表示制御方法、及び表示制御プログラム | |
JP7567593B2 (ja) | 表示装置、表示制御方法、及び表示制御プログラム | |
JP2022145159A (ja) | 表示装置、表示制御方法、及び表示制御プログラム | |
JP2022144888A (ja) | 表示装置、表示制御方法、及び表示制御プログラム | |
US20170359572A1 (en) | Head mounted display and operating method thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231228 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240723 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240924 |