JP2019053644A - 頭部装着型表示装置、及び頭部装着型表示装置の制御方法 - Google Patents

頭部装着型表示装置、及び頭部装着型表示装置の制御方法 Download PDF

Info

Publication number
JP2019053644A
JP2019053644A JP2017178631A JP2017178631A JP2019053644A JP 2019053644 A JP2019053644 A JP 2019053644A JP 2017178631 A JP2017178631 A JP 2017178631A JP 2017178631 A JP2017178631 A JP 2017178631A JP 2019053644 A JP2019053644 A JP 2019053644A
Authority
JP
Japan
Prior art keywords
display
image
unit
display position
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017178631A
Other languages
English (en)
Inventor
賢 富澤
Ken Tomizawa
賢 富澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2017178631A priority Critical patent/JP2019053644A/ja
Priority to US16/134,408 priority patent/US20190086677A1/en
Publication of JP2019053644A publication Critical patent/JP2019053644A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0185Displaying image at variable distance

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】できるだけ簡易な構成で、使用者の目の負担を軽減する。【解決手段】表示領域VRに表示される画像の表示位置を制御する制御部150と、表示領域VRに表示される画像に対して使用者が知覚する視認距離を表現する距離情報と、距離情報に対応付けられ、表示領域VRに表示される画像の表示位置または表示位置の移動量とを含む表示位置テーブル164を記憶する記憶部160と、を備え、制御部150は、操作部110により受け付けた操作に基づいて距離情報を選択し、選択した距離情報に対し表示位置テーブル164によって対応付けられた画像の表示位置または表示位置の移動量に従って、表示領域VRに表示される画像の表示位置を制御する、HMD100。【選択図】図5

Description

本発明は、頭部装着型表示装置、及び頭部装着型表示装置の制御方法に関する。
従来、使用者の頭部に装着され、実空間を視認可能に画像を表示する頭部装着型表示装置が知られている(例えば、特許文献1参照)。この頭部装着型表示装置の使用者は、実空間の物体と、頭部装着型表示装置が表示する画像とを両方同時に視認することができる。このため、使用者が、頭部装着型表示装置が表示する画像と、実空間の物体との両方を注視する場合に、画像と実空間の物体との焦点距離の差が大きいと、画像と物体とを両方同時に見ることができなかったり、又は画像が二重に見えたりして、使用者の目の負担となる。
特許文献1の頭部装着型表示装置は、距離を取得する距離取得部と、使用者の視線方向を検出する視線方向検出部と、外景を撮影する外景撮影部と、支援画像を表示させる支援画像表示制御部とを備える。支援画像表示制御部は、外景撮影部の撮影画像から人物の顔を検出して、視線方向検出部により検出される使用者の視線方向に存在する顔を物体として選択する。また、支援画像表示制御部は、距離取得部により取得された距離に対応した長さとなるように支援画像の焦点距離を調整する。
特開2016−9056号公報
しかしながら、特許文献1の頭部装着型表示装置は、使用者の視線方向を検して、対象の物体を選択する構成であるため、処理が複雑になる場合がある。このため、より簡単に、表示される画像の表示位置を調整したいというニーズがある。
本発明は、できるだけ簡易な構成で、使用者の目の負担を軽減することを目的とする。
上記課題を解決するため、本発明は、使用者の頭部に装着され、外景を透過して視認可能に構成され、前記外景と重畳する表示領域に画像を表示する表示部と、入力を受け付ける入力部と、前記表示領域に表示される画像の表示位置を制御する制御部と、前記表示領域に表示される画像に対して前記使用者が知覚する視認距離を表現する距離情報と、前記距離情報に対応付けられ、前記表示領域に表示される画像の表示位置又は表示位置の移動量とを含む表示位置情報を記憶する記憶部と、を備え、前記制御部は、前記入力部により受け付けた入力に基づき前記距離情報を選択し、選択した前記距離情報に対し前記表示位置情報によって対応付けられた画像の表示位置又は表示位置の移動量に従って、前記表示領域に表示される画像の表示位置を制御する。
この構成によれば、選択された距離情報に対応した位置に画像が表示される。このため、選択された距離情報が示す距離付近に存在する物体との焦点距離差が小さくなるように画像を表示することができ、使用者の目の負担を軽減することができる。
また、本発明は、前記制御部は、前記入力部により受け付けた入力により前記距離情報が指定された場合に、指定された前記距離情報に対し前記表示位置情報によって対応付けられた画像の表示位置又は表示位置の移動量に従って、前記表示領域に表示される画像の表示位置を制御する。
この構成によれば、指定された距離情報に対応した位置に画像が表示される。このため、選択された距離情報が示す距離付近に存在する物体との焦点距離差が小さくなるように画像を表示することができ、使用者の目の負担を軽減することができる。
また、本発明は、前記記憶部は、前記頭部装着型表示装置の利用状況に関する利用情報と、前記距離情報とを対応付けて記憶し、前記制御部は、前記入力部により受け付けた入力により前記利用情報が指定された場合に、指定された前記利用情報に対応する前記距離情報を特定し、特定した前記距離情報に対し前記表示位置情報によって対応付けられた画像の表示位置又は表示位置の移動量に従って、前記表示領域に表示される画像の表示位置を制御する。
この構成によれば、指定された利用状況に対応した位置に画像が表示される。このため、指定された利用状況に対応した距離付近に存在する物体との焦点距離差が小さくなるように画像を表示することができ、使用者の目の負担を軽減することができる。
また、本発明は、前記記憶部は、前記頭部装着型表示装置の利用状況に関する利用情報と、前記距離情報とを対応付けて記憶し、前記制御部は、前記頭部装着型表示装置の利用状況を判定し、判定した利用状況に該当する前記利用情報に対応付けて前記記憶部に記憶された前記距離情報を特定し、特定した前記距離情報に対し前記表示位置情報によって対応付けられた画像の表示位置又は表示位置の移動量に従って、前記表示領域に表示される画像の表示位置を制御する。
この構成によれば、使用者の利用状況を特定し、特定した利用状況に対応付けられた表示位置に画像が表示される。このため、利用状況に対応付けられた距離付近に存在する物体との焦点距離差が小さくなるように画像を表示することができ、使用者の目の負担を軽減することができる。
また、本発明は、前記距離情報は、視認距離を段階的に表現する自然言語で構成される情報である。
この構成によれば、視認距離の選択が容易になり、表示領域に表示される画像の表示位置の調整を簡易に行うことができる。
また、本発明は、前記距離情報は、少なくとも、近い、普通、遠い、のいずれかの語を用いて前記使用者が知覚する視認距離を表現する情報である。
この構成によれば、視認距離の選択が容易になり、表示領域に表示される画像の表示位置の調整を簡易に行うことができる。
また、本発明は、前記制御部は、前記表示位置情報に含まれる前記距離情報を前記表示部により表示させた状態で、前記入力部により受け付けた入力により指定される前記距離情報に基づき、前記表示領域に表示される画像の表示位置を制御する。
この構成によれば、距離情報が表示されているので、表示された画像との焦点距離差が大きい場合に、適切な距離情報を選択することができる。
また、本発明は、前記表示部は、前記使用者の左眼に対応する左表示領域と、前記使用者の右眼に対応する右表示領域とを有し、前記左表示領域及び前記右表示領域の各々に画像を表示し、前記制御部は、前記左表示領域に表示される画像の表示位置、及び、前記右表示領域に表示される画像の表示位置を、それぞれ制御する。
この構成によれば、表示部が表示する画像の表示位置を最適に調整することができる。
上記課題を解決するため、本発明は、使用者の頭部に装着され、外景を透過して視認可能に構成され、前記外景と重畳する表示領域に画像を表示する表示部と、少なくとも前記表示部を透過して視認される範囲でマーカーを検出する検出部と、前記表示領域に表示される画像の表示位置を制御する制御部と、を備え、前記制御部は、前記検出部により検出された前記マーカーの検出位置に基づいて、前記表示領域に表示される画像の表示位置を制御する。
この構成によれば、マーカーの検出位置に基づいて、画像の表示位置が制御される。このため、検出されたマーカーの位置に対応する距離付近に存在する物体との焦点距離差が小さくなるように画像を表示することができ、使用者の目の負担を軽減することができる。
また、本発明は、前記検出部により検出される前記マーカーの検出位置と、前記表示領域に表示される画像の表示位置又は表示位置の移動量とを関係付ける表示制御情報を記憶する記憶部を備え、前記制御部は、前記検出部により検出された前記マーカーの検出位置に基づき、前記記憶部に記憶される前記表示制御情報を用いて、前記表示領域に表示される画像の表示位置又は表示位置の移動量を求めることにより、前記表示領域に表示される画像の表示位置を制御する。
この構成によれば、マーカーの検出位置に基づいて画像の表示位置を好適に制御することができる。
また、本発明は、入力を受け付ける入力部を備え、前記制御部は、前記検出部により検出された前記マーカーの検出位置と、前記入力部により受け付けた入力に基づき決定される前記画像の表示位置と、を関連付ける前記表示制御情報を生成し、前記記憶部に記憶させる。
この構成によれば、簡易な構成で、マーカーの検出位置と、画像の表示位置とを対応付けた表示制御情報を生成することができる。また、使用者の距離感覚に基づいて画像の表示位置を設定することができる。
また、本発明は、前記制御部は、前記表示領域に表示される画像に対して前記使用者が知覚する視認距離が異なるように、前記表示領域に表示される画像の表示位置を複数段階に変更し、前記入力部により受け付けた入力に基づき選択される表示位置と、前記検出部により検出された前記マーカーの検出位置と、を関連付ける前記表示制御情報を生成し、前記記憶部に記憶させる。
この構成によれば、マーカーの検出位置に基づいて、使用者が知覚する視認距離が異なる位置に画像を表示させることができる。
上記課題を解決するため、本発明は、使用者の頭部に装着され、外景を透過して視認可能に構成され、前記外景と重畳する表示領域に画像を表示する表示部を備える頭部装着型表示装置の制御方法であって、前記表示領域に表示される画像に対して前記使用者が知覚する視認距離を表現する距離情報と、前記距離情報に対応付けられ、前記表示領域に表示される画像の表示位置又は表示位置の移動量とを含む表示位置情報を予め記憶し、
入力部によって入力を受け付け、前記入力部により受け付けた入力により前記距離情報が指定された場合に、指定された前記距離情報に対し前記表示位置情報によって対応付けられた画像の表示位置又は表示位置の移動量に従って、前記表示領域に表示される画像の表示位置を制御する。
この構成によれば、選択された距離情報に対応した位置に画像が表示される。このため、選択された距離情報が示す距離付近に存在する物体との焦点距離差が小さくなるように画像を表示することができ、使用者の目の負担を軽減することができる。
上記課題を解決するため、本発明は、使用者の頭部に装着され、外景を透過して視認可能に構成され、前記外景と重畳する表示領域に画像を表示する表示部を備える頭部装着型表示装置の制御方法であって、少なくとも前記表示部を透過して視認される範囲でマーカーを検出し、検出した前記マーカーの検出位置に基づいて、前記表示領域に表示される画像の表示位置を制御する。
この構成によれば、マーカーの検出位置に基づいて、画像の表示位置が制御される。このため、検出されたマーカーの位置に対応する距離付近に存在する物体との焦点距離差が小さくなるように画像を表示することができ、使用者の目の負担を軽減することができる。
HMDの外観図。 HMDの光学系の構成を示す要部平面図。 画像表示部の構成を示す斜視図。 HMDのブロック図。 制御装置の機能ブロック図。 表示位置テーブルを示す図。 表示位置テーブルを示す図。 基準領域の大きさと、射出領域の大きさとの関係を示す図。 表示ユニットから射出された画像光により形成される像について説明するための説明図。 視野範囲及び表示領域を示す図。 制御部の動作を示すフローチャート。 制御部の動作を示すフローチャート。 制御部の動作を示すフローチャート。
[第1実施形態]
以下、図面を参照して本発明の実施形態について説明する。
図1は、本発明を適用したHMD(Head Mounted Display:頭部装着型表示装置)100の外観構成を示す説明図である。HMD100は、制御装置10と画像表示部20とを備える表示装置である。画像表示部20は、本発明の「表示部」に相当する。
制御装置10は、使用者の操作を受け付ける操作部を備え、使用者がHMD100を操作するコントローラーとして機能する。制御装置10は、使用者の操作を受け付けて、受け付けた操作に応じて画像表示部20を制御する。画像表示部20は、使用者の頭部に装着され、使用者に虚像を視認させる。使用者とは、画像表示部20を頭部に装着した者をいう。
制御装置10は、図1に示すように平たい箱形のケース10A(筐体又は本体ともいえる)を備える。ケース10Aには、操作ボタン11、LEDインジケーター12、トラックパッド14、上下キー15、切替スイッチ16及び電源スイッチ18の各部を備える。操作ボタン11、上下キー15、切替スイッチ16及び電源スイッチ18を総称して操作子13(図4)という。使用者は、操作子13やトラックパッド14を操作することによりHMD100を操作できる。
操作ボタン11は、メニューキー、ホームキー、戻るキー等を含み、特に、これらのキーやスイッチのうち押圧操作により変位するものを含む。LEDインジケーター12は、HMD100の動作状態に対応して点灯し、又は点滅する。
トラックパッド14は、接触操作を検出する操作面を有し、操作面に対する操作に応じて操作信号を出力する。トラックパッド14の操作面における操作の検出方式は、静電式、圧力検出式、光学式等、種々の検出方式を採用できる。
上下キー15は、右イヤホン32及び左イヤホン34から出力される音量の増減の指示入力や、画像表示部20の表示の明るさの増減の指示入力に利用される。切替スイッチ16は、上下キー15の操作に対応する入力を切り替えるスイッチである。電源スイッチ18は、HMD100の電源のオン/オフを切り替えるスイッチであり、例えばスライドスイッチにより構成される。
画像表示部20は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有する。画像表示部20は、右保持部21と、左保持部23と、前部フレーム27とを有する本体に、右表示ユニット22、左表示ユニット24、右導光板26及び左導光板28を備える。
右保持部21及び左保持部23は、それぞれ、前部フレーム27の両端部から後方に延び、眼鏡のテンプル(つる)のように、使用者の頭部に画像表示部20を保持する。ここで、前部フレーム27の両端部のうち、画像表示部20の装着状態において使用者の右側に位置する端部を端部ERとし、使用者の左側に位置する端部を端部ELとする。右保持部21は、前部フレーム27の端部ERから、画像表示部20の装着状態において使用者の右側頭部に対応する位置まで延伸して設けられる。左保持部23は、端部ELから、画像表示部20の装着状態において使用者の左側頭部に対応する位置まで延伸して設けられる。
右導光板26及び左導光板28は、前部フレーム27に設けられる。右導光板26は、画像表示部20の装着状態において使用者の右眼の眼前に位置し、右眼に画像を視認させる。左導光板28は、画像表示部20の装着状態において使用者の左眼の眼前に位置し、左眼に画像を視認させる。
前部フレーム27は、右導光板26の一端と左導光板28の一端とを互いに連結した形状を有し、この連結位置は、使用者が画像表示部20を装着する装着状態で、使用者の眉間に対応する。前部フレーム27は、右導光板26と左導光板28との連結位置において、画像表示部20の装着状態で使用者の鼻に当接する鼻当て部を設けてもよい。この場合、鼻当て部と、右保持部21及び左保持部23とにより画像表示部20を使用者の頭部に保持できる。また、右保持部21及び左保持部23に、画像表示部20の装着状態において使用者の後頭部に接するベルト(図示略)を連結してもよく、この場合、ベルトによって画像表示部20を使用者の頭部に保持できる。
右表示ユニット22は、右導光板26による画像の表示を実現する。右表示ユニット22は、右保持部21に設けられ、装着状態において使用者の右側頭部の近傍に位置する。左表示ユニット24は、左導光板28による画像の表示を実現する。左表示ユニット24は、左保持部23に設けられ、装着状態において使用者の左側頭部の近傍に位置する。
右導光板26及び左導光板28は、光透過性の樹脂等によって形成される光学部であり、例えばプリズムによって構成される。右導光板26及び左導光板28は、右表示ユニット22及び左表示ユニット24が出力する画像光を使用者の眼に導く。
右導光板26及び左導光板28の表面には、調光板(図示略)を設けてもよい。調光板は、光の波長域により透過率が異なる薄板上の光学素子であり、いわゆる波長フィルターとして機能する。調光板は、例えば、使用者の眼の側と反対の側である前部フレーム27の表側を覆うように配置される。この調光板の光学特性を適宜選択することにより、可視光、赤外光及び紫外光等の任意の波長域の光の透過率を調整することができ、外部から右導光板26及び左導光板28に入射し、右導光板26及び左導光板28を透過する外光の光量を調整できる。
画像表示部20は、外光を透過することにより外景を視認させる透過型の表示装置である。画像表示部20は、右表示ユニット22及び左表示ユニット24がそれぞれ生成する画像光を、右導光板26及び左導光板28に導く。右導光板26及び左導光板28に導かれた画像光は使用者の右眼と左眼に入射され、使用者に虚像を視認させる。これにより、画像表示部20は画像を表示する。画像表示部20を頭部に装着した使用者の視野範囲FVにおいて、画像表示部20が画像を表示可能な領域を表示領域VRという。
使用者の前方から、右導光板26及び左導光板28を透過して外光が使用者の眼に入射する場合、使用者の眼には、虚像を構成する画像光及び外光が入射されることとなり、虚像の視認性が外光の強さに影響される。このため、例えば前部フレーム27に調光板を装着し、調光板の光学特性を適宜選択又は調整することによって、虚像の視認のしやすさを調整できる。典型的な例では、HMD100を装着した使用者が少なくとも外の景色を視認できる程度の光透過性を有する調光板を用いることができる。また、調光板を用いると、右導光板26及び左導光板28を保護し、右導光板26及び左導光板28の損傷や汚れの付着等を抑制する効果が期待できる。調光板は、前部フレーム27、又は、右導光板26及び左導光板28のそれぞれに対して着脱可能に構成してもよく、複数種類の調光板を交換して装着可能としてもよい。また、調光板を設けない構成の画像表示部20としてもよい。
画像表示部20の前部フレーム27には、カメラ61が配設される。カメラ61の構成及び配置は、使用者が画像表示部20を装着した状態で視認する外景を撮像するように決められる。外景とは、画像表示部20を頭部に装着した使用者の視線方向の外部の景色をいう。例えば、カメラ61は、前部フレーム27の前面において、右導光板26及び左導光板28を透過する外光を遮らない位置に設けられる。図1に示す例では、カメラ61は、前部フレーム27の端部ER側に配置される。カメラ61は、本発明の「入力部」に相当する。
カメラ61は、CCDやCMOS等の撮像素子及び撮像レンズ等を備えるデジタルカメラである。本実施形態では、カメラ61は単眼カメラであるが、ステレオカメラで構成してもよい。カメラ61は、HMD100の表側方向、換言すれば、HMD100を装着した状態における使用者の視界方向の少なくとも一部の外景を撮像する。別の表現では、カメラ61は、使用者の視界と重なる範囲又は方向を撮像し、使用者が注視する方向を撮像する。カメラ61の画角の方向及び広さは適宜設定可能である。本実施形態では、後述するように、カメラ61の画角が、使用者が右導光板26及び左導光板28を通して視認する外界を含む。より好ましくは、カメラ61の画角は、右導光板26及び左導光板28を透過して視認可能な使用者の視界の全体を撮像できるように設定される。
カメラ61は、制御部150が備える撮像制御部153(図5)の制御に従って撮像を実行する。
メインプロセッサー140は、電源スイッチ18がオンされ、電源部130の電源供給を受けて起動すると、電源部130にカメラ61への電源供給を開始させ、カメラ61の電源をオンさせる。
HMD100は、予め設定された測定方向に位置する測定対象物までの距離を検出する距離センサー(図示略)を備えてもよい。距離センサーは、例えば、前部フレーム27において右導光板26と左導光板28との連結部分に配置できる。この場合、画像表示部20の装着状態において、距離センサーの位置は、水平方向では使用者の両眼のほぼ中間であり、鉛直方向では使用者の両眼より上である。距離センサーの測定方向は、例えば、前部フレーム27の表側方向とすることができ、言い換えればカメラ61の撮像方向と重複する方向である。距離センサーは、例えば、LEDやレーザーダイオード等の光源と、光源が発する光が測定対象物に反射する反射光を受光する受光部とを有する構成とすることができる。距離センサーは、制御部150の制御に従い、三角測距処理や時間差に基づく測距処理を実行すればよい。また、距離センサーは、超音波を発する音源と、測定対象物で反射する超音波を受信する検出部とを備える構成としてもよい。この場合、距離センサーは、制御部150の制御に従い、超音波の反射までの時間差に基づき測距処理を実行すればよい。
図2は、画像表示部20が備える光学系の構成を示す要部平面図である。図2には説明のため使用者の左眼LE及び右眼REを図示する。
図2に示すように、右表示ユニット22及び左表示ユニット24は、左右対称に構成される。右表示ユニット22は、使用者の右眼REに画像を視認させる構成として、画像光を発するOLED(Organic Light Emitting Diode)ユニット221と、OLEDユニット221が発する画像光Lを導くレンズ群等を備えた右光学系251とを備える。画像光Lは、右光学系251により右導光板26に導かれる。
OLEDユニット221は、OLEDパネル223と、OLEDパネル223を駆動するOLED駆動回路225とを有する。OLEDパネル223は、有機エレクトロルミネッセンスにより発光してR(赤)、G(緑)、B(青)の色光をそれぞれ発する発光素子を、マトリクス状に配置して構成される自発光型の表示パネルである。OLEDパネル223は、R、G、Bの素子を1個ずつ含む単位を1画素として、複数の画素を備え、マトリクス状に配置される画素により画像を形成する。OLED駆動回路225は、制御部150(図5)の制御に従って、OLEDパネル223が備える発光素子の選択及び発光素子への通電を実行して、OLEDパネル223の発光素子を発光させる。OLED駆動回路225は、OLEDパネル223の裏面すなわち発光面の裏側に、ボンディング等により固定される。OLED駆動回路225は、例えばOLEDパネル223を駆動する半導体デバイスで構成され、OLEDパネル223の裏面に固定される基板(図示略)に実装されてもよい。この基板には温度センサー217が実装される。
なお、OLEDパネル223は、白色に発光する発光素子をマトリクス状に配置し、R、G、Bの各色に対応するカラーフィルターを重ねて配置する構成であってもよい。また、R、G、Bの色光をそれぞれ放射する発光素子に加え、W(白)の光を発する発光素子を備えるWRGB構成のOLEDパネル223を用いてもよい。
右光学系251は、OLEDパネル223から射出された画像光Lを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Lは、右導光板26に入射する。右導光板26の内部において光を導く光路には、画像光Lを反射する複数の反射面が形成される。画像光Lは、右導光板26の内部で複数回の反射を経て右眼RE側に導かれる。右導光板26には、右眼REの眼前に位置するハーフミラー261(反射面)が形成される。画像光Lは、ハーフミラー261で反射して右眼REに向けて右導光板26から射出され、この画像光Lが右眼REの網膜に像を結び、使用者に画像を視認させる。
また、左表示ユニット24は、使用者の左眼LEに画像を視認させる構成として、画像光を発するOLEDユニット241と、OLEDユニット241が発する画像光Lを導くレンズ群等を備えた左光学系252とを備える。画像光Lは、左光学系252により左導光板28に導かれる。
OLEDユニット241は、OLEDパネル243と、OLEDパネル243を駆動するOLED駆動回路245とを有する。OLEDパネル243は、OLEDパネル223と同様に構成される自発光型の表示パネルである。OLED駆動回路245は、制御部150(図5)の制御に従って、OLEDパネル243が備える発光素子の選択及び発光素子への通電を実行して、OLEDパネル243の発光素子を発光させる。OLED駆動回路245は、OLEDパネル243の裏面すなわち発光面の裏側に、ボンディング等により固定される。OLED駆動回路245は、例えばOLEDパネル243を駆動する半導体デバイスで構成され、OLEDパネル243の裏面に固定される基板(図示略)に実装されてもよい。この基板には、温度センサー239が実装される。
左光学系252は、OLEDパネル243から射出された画像光Lを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Lは、左導光板28に入射する。左導光板28は、画像光Lを反射する複数の反射面が形成された光学素子であり、例えばプリズムである。画像光Lは、左導光板28の内部で複数回の反射を経て左眼LE側に導かれる。左導光板28には、左眼LEの眼前に位置するハーフミラー281(反射面)が形成される。画像光Lは、ハーフミラー281で反射して左眼LEに向けて左導光板28から射出され、この画像光Lが左眼LEの網膜に像を結び、使用者に画像を視認させる。
この構成によれば、HMD100は、シースルー型の表示装置として機能する。すなわち、使用者の右眼REには、ハーフミラー261で反射した画像光Lと、右導光板26を透過した外光OLとが入射する。また、左眼LEには、ハーフミラー281で反射した画像光Lと、ハーフミラー281を透過した外光OLとが入射する。このように、HMD100は、内部で処理した画像の画像光Lと外光OLとを重ねて使用者の眼に入射させる。使用者にとっては、右導光板26及び左導光板28を透かして外景が見え、この外景に重ねて、又は外景の周辺に画像光Lによる画像が視認可能に表示される。ハーフミラー261、281は、右表示ユニット22及び左表示ユニット24がそれぞれ出力する画像光を反射して画像を取り出す画像取り出し部である。
なお、左光学系252と左導光板28とを総称して「左導光部」とも呼び、右光学系251と右導光板26とを総称して「右導光部」と呼ぶ。右導光部及び左導光部の構成は上記の例に限定されず、画像光を用いて使用者の眼前に虚像を形成する限りにおいて任意の方式を用いることができ、例えば、回折格子を用いても良いし、半透過反射膜を用いても良い。
図1に戻り、制御装置10及び画像表示部20は、接続ケーブル40により接続される。接続ケーブル40は、ケース10Aの下部に設けられるコネクター(図示略)に着脱可能に接続され、左保持部23の先端から、画像表示部20の内部に設けられる各種回路に接続する。接続ケーブル40は、デジタルデータを伝送するメタルケーブル又は光ファイバーケーブルを有し、アナログ信号を伝送するメタルケーブルを有していてもよい。接続ケーブル40の途中には、コネクター46が設けられる。コネクター46は、ステレオミニプラグを接続するジャックであり、コネクター46及び制御装置10は、例えばアナログ音声信号を伝送するラインで接続される。図1に示す構成例では、ステレオヘッドホンを構成する右イヤホン32と左イヤホン34、及びマイク63を有するヘッドセット30が、コネクター46に接続される。
制御装置10と画像表示部20とを無線接続してもよい。例えば、Bluetooth(登録商標)、無線LAN(Wi−Fi(登録商標)を含む)等の規格に準拠した無線通信により、制御装置10と画像表示部20とが制御信号やデータを相互に送受信する構成としてもよい。
マイク63は、例えば図1に示すように、マイク63の集音部が使用者の視線方向を向くように配置され、音声を集音して、音声信号を音声インターフェイス180(図4)に出力する。マイク63は、例えばモノラルマイクであってもステレオマイクであってもよく、指向性を有するマイクであってもよいし、無指向性のマイクであってもよい。
図3は、画像表示部20の構成を示す斜視図であり、画像表示部20を使用者の頭部側から見た要部構成を示す。この図3は、画像表示部20の使用者の頭部に接する側、言い換えれば使用者の右眼RE及び左眼LEに見える側である。別の言い方をすれば、右導光板26及び左導光板28の裏側が見えている。
図3では、使用者の右眼REに画像光を照射するハーフミラー261、及び左眼LEに画像光を照射するハーフミラー281が、略四角形の領域として見える。また、ハーフミラー261、281を含む右導光板26及び左導光板28の全体が、上述したように外光を透過する。このため、使用者には、右導光板26及び左導光板28の全体を透過して外景が視認され、ハーフミラー261、281の位置に矩形の表示画像が視認される。
カメラ61は、画像表示部20において右側の端部に配置され、使用者の両眼が向く方向、すなわち使用者にとっての前方を撮像する。カメラ61の光軸は、右眼RE及び左眼LEの視線方向を含む方向とされる。使用者がHMD100を装着した状態で視認できる外景は、無限遠とは限らない。例えば、使用者が両眼で、使用者の前方に位置する対象物を注視する場合、使用者から対象物までの距離は、30cm〜10m程度であることが多く、1m〜4m程度であることがより多い。そこで、HMD100について、通常使用時における使用者から対象物までの距離の上限、及び下限の目安を定めてもよい。この目安は調査や実験により求めてもよいし、使用者が設定してもよい。カメラ61の光軸及び画角は、通常使用時における対象物までの距離が、設定された上限の目安に相当する場合、及び下限の目安に相当する場合に、この対象物が画角に含まれるように設定されることが好ましい。
一般に、人間の視野角は水平方向におよそ200度、垂直方向におよそ125度とされ、そのうち情報受容能力に優れる有効視野は水平方向に30度、垂直方向に20度程度である。さらに、人間が注視する注視点が迅速に安定して見える安定注視野は、水平方向に60〜90度、垂直方向に45度〜70度程度とされている。注視点が使用者の前方に位置する対象物であるとき、使用者の視野において、右眼RE及び左眼LEのそれぞれの視線を中心として水平方向に30度、垂直方向に20度程度が有効視野である。また、水平方向に60〜90度、垂直方向に45度〜70度程度が安定注視野であり、水平方向に約200度、垂直方向に約125度が視野角となる。さらに、使用者が右導光板26及び左導光板28を透過して視認する実際の視野を、実視野(FOV:Field Of View)と呼ぶことができる。図1及び図2に示す本実施形態の構成で、実視野は、右導光板26及び左導光板28を透過して使用者が視認する実際の視野に相当する。実視野は、視野角及び安定注視野より狭いが、有効視野より広い。
カメラ61は、画像表示部20が表示する画像と共に視認可能な外景を含む範囲を撮像する。カメラ61の画角は、使用者の視野よりも広い範囲を撮像可能であることが好ましく、具体的には、画角が、少なくとも使用者の有効視野よりも広いことが好ましい。また、画角が、使用者の実視野よりも広いことがより好ましい。さらに好ましくは、画角が、使用者の安定注視野よりも広く、最も好ましくは、画角が使用者の両眼の視野角よりも広いことがより好ましい。
カメラ61が、撮像レンズとして、いわゆる広角レンズを備え、広い画角を撮像できる構成としてもよい。広角レンズには、超広角レンズ、準広角レンズと呼ばれるレンズを含んでもよいし、単焦点レンズであってもズームレンズであってもよく、複数のレンズからなるレンズ群をカメラ61が備える構成であってもよい。
図4は、HMD100を構成する各部の構成を示すブロック図である。
制御装置10は、プログラムを実行してHMD100を制御するメインプロセッサー140を備える。メインプロセッサー140には、メモリー121や不揮発性記憶部123が接続される。また、メインプロセッサー140には、センサー類として、6軸センサー111、磁気センサー113が接続される。また、メインプロセッサー140には、GPS受信部115、通信部117、音声コーデック182、外部コネクター184、外部メモリーインターフェイス186、USBコネクター188、センサーハブ192及びFPGA194が接続される。これらは外部とのインターフェイスとして機能する。また、メインプロセッサー140には、LEDインジケーター12や、LED表示部17、バイブレーター19、操作部110、電源部130が接続される。操作部110は、本発明の「入力部」に相当する。
メインプロセッサー140は、制御装置10に内蔵されたコントローラー基板120に実装される。コントローラー基板120には、メインプロセッサー140に加えて、メモリー121、不揮発性記憶部123、6軸センサー111、磁気センサー113、GPS受信部115、通信部117、音声コーデック182等がさらに実装される。また、本実施形態は、外部コネクター184、外部メモリーインターフェイス186、USBコネクター188、センサーハブ192、FPGA194及びインターフェイス196がコントローラー基板120に実装される。
メモリー121は、メインプロセッサー140が制御プログラムを実行する場合に、実行される制御プログラム、及び処理されるデータを一時的に記憶するワークエリアを構成する。不揮発性記憶部123は、フラッシュメモリーやeMMC(embedded Multi Media Card)で構成される。不揮発性記憶部123は、メインプロセッサー140が実行するプログラムや、メインプロセッサー140がプログラムを実行して処理する各種データを記憶する。
図4には一つのメインプロセッサー140により制御装置10の機能を実現する構成を示すが、複数のプロセッサー又は半導体チップにより制御装置10の機能を実現するようにしてもよい。例えば、コントローラー基板120に、SoC(System-on-a-Chip)やMCU(Micro Control Unit)、FPGA(Field-Programmable Gate Array)等の副処理装置(co-processor)をさらに搭載してもよい。また、制御装置10は、メインプロセッサー140及び副処理装置の双方を協働させるか、あるいは双方のうちの一方を選択的に用いて各種の制御を行ってもよい。
6軸センサー111は、3軸加速度センサー及び3軸ジャイロ(角速度)センサーを備えるモーションセンサー(慣性センサー)である。6軸センサー111は、上記のセンサーがモジュール化されたIMU(Inertial Measurement Unit)を採用してもよい。磁気センサー113は、例えば、3軸の地磁気センサーである。
6軸センサー111及び磁気センサー113は、検出値を、予め指定されたサンプリング周期に従ってメインプロセッサー140に出力する。また、6軸センサー111及び磁気センサー113は、メインプロセッサー140の要求に応じて、メインプロセッサー140により指定されたタイミングで、検出値をメインプロセッサー140に出力する。
GPS受信部115は、図示しないGPSアンテナを備え、GPS衛星から送信されるGPS信号を受信する。GPS受信部115は、受信したGPS信号をメインプロセッサー140に出力する。また、GPS受信部115は、受信したGPS信号の信号強度を計測し、メインプロセッサー140に出力する。信号強度には、例えば、受信信号強度(RSSI:Received Signal Strength Indication)、電界強度、磁界強度、信号雑音比(SNR:Signal to Noise ratio)等の情報を用いることができる。
通信部117は、外部の機器との間で無線通信を実行する。通信部117は、アンテナ、RF回路、ベースバンド回路、通信制御回路等を備えて構成され、又はこれらが統合されたデバイスで構成される。通信部117は、例えば、Bluetooth、無線LAN(Wi−Fiを含む)等の規格に準拠した無線通信を行う。
音声インターフェイス180は、音声信号を入出力するインターフェイスである。本実施形態では、音声インターフェイス180は、接続ケーブル40に設けられたコネクター46(図1)を含む。コネクター46はヘッドセット30に接続される。音声インターフェイス180が出力する音声信号は右イヤホン32、及び左イヤホン34に入力され、これにより右イヤホン32及び左イヤホン34が音声を出力する。また、ヘッドセット30が備えるマイク63は、音声を集音して、音声信号を音声インターフェイス180に出力する。マイク63から音声インターフェイス180に入力される音声信号は、外部コネクター184に入力される。
音声コーデック182は、音声インターフェイス180に接続され、音声インターフェイス180を介して入出力される音声信号のエンコード及びデコードを行う。音声コーデック182はアナログ音声信号からデジタル音声データへの変換を行うA/Dコンバーター、及びその逆の変換を行うD/Aコンバーターを備えてもよい。例えば、本実施形態のHMD100は、音声を右イヤホン32及び左イヤホン34により出力し、マイク63で集音する。音声コーデック182は、メインプロセッサー140が出力するデジタル音声データをアナログ音声信号に変換して、音声インターフェイス180を介して出力する。また、音声コーデック182は、音声インターフェイス180に入力されるアナログ音声信号をデジタル音声データに変換してメインプロセッサー140に出力する。
外部コネクター184は、メインプロセッサー140と通信する外部の装置を接続するコネクターである。外部コネクター184は、例えば、外部の装置をメインプロセッサー140に接続して、メインプロセッサー140が実行するプログラムのデバッグや、HMD100の動作のログの収集を行う場合に、この外部の装置を接続するインターフェイスである。
外部メモリーインターフェイス186は、可搬型のメモリーデバイスを接続可能なインターフェイスであり、例えば、カード型記録媒体を装着してデータの読取が可能なメモリーカードスロットとインターフェイス回路とを含む。この場合のカード型記録媒体のサイズ、形状、規格は制限されず、適宜に変更可能である。
USB(Universal Serial Bus)コネクター188は、USB規格に準拠したコネクターとインターフェイス回路とを備える。USBコネクター188は、USBメモリーデバイス、スマートフォン、コンピューター等を接続できる。USBコネクター188のサイズや形状、適合するUSB規格のバージョンは適宜に選択、変更可能である。
センサーハブ192及びFPGA194は、インターフェイス(I/F)196を介して、画像表示部20に接続される。センサーハブ192は、画像表示部20が備える各種センサーの検出値を取得してメインプロセッサー140に出力する。また、FPGA194は、メインプロセッサー140と画像表示部20の各部との間で送受信するデータの処理、及びインターフェイス196を介した伝送を実行する。
LEDインジケーター12は、HMD100の動作状態に対応して点灯し、又は点滅する。LED表示部17は、メインプロセッサー140の制御に従って、LEDインジケーター12の点灯及び消灯を制御する。また、LED表示部17は、トラックパッド14の直下に配置されるLED(図示略)、及びこのLEDを点灯させる駆動回路を含む構成であってもよい。この場合、LED表示部17は、メインプロセッサー140の制御に従って、LEDを点灯、点滅、消灯させる。
バイブレーター19は、モーター、偏心した回転子(いずれも図示略)を備え、その他の必要な構成を備えてもよい。バイブレーター19は、メインプロセッサー140の制御に従って上記モーターを回転させることにより振動を発生する。HMD100は、例えば、操作部110に対する操作を検出した場合や、HMD100の電源がオン又はオフされる場合、その他の場合に、所定の振動パターンでバイブレーター19により振動を発生する。
操作部110は、操作子13及びトラックパッド14を備える。操作子13には、操作ボタン11、上下キー15、切替スイッチ16及び電源スイッチ18が含まれる。操作部110は、操作子13やトラックパッド14が操作を受けた場合に、操作を受けた操作子13やトラックパッド14の識別情報と、受けた操作内容を示す情報とを含む操作信号を制御部150に出力する。
制御装置10は、電源部130を備え、電源部130から供給される電力により動作する。電源部130は、充電可能なバッテリー132、及びバッテリー132の残容量の検出及びバッテリー132への充電の制御を行う電源制御回路134を備える。電源制御回路134はメインプロセッサー140に接続され、バッテリー132の残容量の検出値、又は電圧の検出値をメインプロセッサー140に出力する。また、電源部130が供給する電力に基づき、制御装置10から画像表示部20に電力を供給してもよい。また、電源部130から制御装置10の各部及び画像表示部20への電力の供給状態を、メインプロセッサー140が制御可能な構成としてもよい。
画像表示部20の右表示ユニット22及び左表示ユニット24は、それぞれ、制御装置10に接続される。図1に示すように、HMD100では左保持部23に接続ケーブル40が接続され、この接続ケーブル40に繋がる配線が画像表示部20内部に敷設され、右表示ユニット22と左表示ユニット24のそれぞれが制御装置10に接続される。
右表示ユニット22は、表示ユニット基板210を有する。表示ユニット基板210には、インターフェイス196に接続されるインターフェイス(I/F)211、インターフェイス211を介して制御装置10から入力されるデータを受信する受信部(Rx)213、及びEEPROM215が実装される。
インターフェイス211は、受信部213、EEPROM215、温度センサー217、カメラ61、照度センサー65及びLEDインジケーター67を、制御装置10に接続する。
EEPROM(Electrically Erasable Programmable Read-Only Memory)215は、各種のデータをメインプロセッサー140が読み取り可能に記憶する。EEPROM215は、例えば、画像表示部20が備えるOLEDユニット221、241の発光特性や表示特性に関するデータ、右表示ユニット22又は左表示ユニット24が備えるセンサーの特性に関するデータなどを記憶する。具体的には、OLEDユニット221、241のガンマ補正に係るパラメーター、温度センサー217、239の検出値を補償するデータ等を記憶する。これらのデータは、HMD100の工場出荷時の検査によって生成され、EEPROM215に書き込まれ、出荷後はメインプロセッサー140がEEPROM215のデータを利用して処理を行える。
カメラ61は、インターフェイス211を介して入力される信号に従って撮像を実行し、撮像画像データ、又は撮像結果を示す信号を制御装置10に出力する。
照度センサー65は、図1に示すように、前部フレーム27の端部ERに設けられ、画像表示部20を装着する使用者の前方からの外光を受光するよう配置される。照度センサー65は、受光量(受光強度)に対応する検出値を出力する。
LEDインジケーター67は、図1に示すように、前部フレーム27の端部ERにおいてカメラ61の近傍に配置される。LEDインジケーター67は、カメラ61による撮像を実行中に点灯して、撮像中であることを報知する。
温度センサー217は、温度を検出し、検出温度に対応する電圧値又は抵抗値を、検出値として出力する。温度センサー217は、OLEDパネル223(図2)の裏面側に実装される。温度センサー217は、例えばOLED駆動回路225と同一の基板に実装されてもよい。この構成により、温度センサー217は、主としてOLEDパネル223の温度を検出する。
受信部213は、インターフェイス211を介してメインプロセッサー140が送信するデータを受信する。受信部213は、OLEDユニット221で表示する画像の画像データを受信した場合に、受信した画像データを、OLED駆動回路225(図2)に出力する。
左表示ユニット24は、表示ユニット基板230を有する。表示ユニット基板230には、インターフェイス196に接続されるインターフェイス(I/F)231、インターフェイス231を介して制御装置10から入力されるデータを受信する受信部(Rx)233が実装される。また、表示ユニット基板210には、6軸センサー235及び磁気センサー237が実装される。インターフェイス231は、受信部233、6軸センサー235、磁気センサー237、及び温度センサー239を制御装置10に接続する。
6軸センサー235は、3軸加速度センサー及び3軸ジャイロ(角速度)センサーを備えるモーションセンサー(慣性センサー)である。6軸センサー235は、上記のセンサーがモジュール化されたIMUを採用してもよい。磁気センサー237は、例えば、3軸の地磁気センサーである。
温度センサー239は、温度を検出し、検出温度に対応する電圧値又は抵抗値を、検出値として出力する。温度センサー239は、OLEDパネル243(図2)の裏面側に実装される。温度センサー239は、例えばOLED駆動回路245と同一の基板に実装されてもよい。この構成により、温度センサー239は、主としてOLEDパネル243の温度を検出する。また、温度センサー239が、OLEDパネル243又はOLED駆動回路245に内蔵されてもよい。また、上記基板は半導体基板であってもよい。具体的には、OLEDパネル243が、Si−OLEDとして、OLED駆動回路245等とともに統合半導体チップ上の集積回路として実装される場合、この半導体チップに温度センサー239を実装してもよい。
右表示ユニット22が備えるカメラ61、照度センサー65、温度センサー217、及び左表示ユニット24が備える6軸センサー235、磁気センサー237、温度センサー239は、センサーハブ192に接続される。
センサーハブ192は、メインプロセッサー140の制御に従って各センサーのサンプリング周期の設定及び初期化を行う。センサーハブ192は、各センサーのサンプリング周期に合わせて、各センサーへの通電、制御データの送信、検出値の取得等を実行する。また、センサーハブ192は、予め設定されたタイミングで、右表示ユニット22及び左表示ユニット24が備える各センサーの検出値を、メインプロセッサー140に出力する。センサーハブ192は、各センサーの検出値を、メインプロセッサー140に対する出力のタイミングに合わせて一時的に保持する機能を備えてもよい。また、センサーハブ192は、各センサーの出力値の信号形式、又はデータ形式の相違に対応し、統一されたデータ形式のデータに変換して、メインプロセッサー140に出力する機能を備えてもよい。
また、センサーハブ192は、メインプロセッサー140の制御に従ってLEDインジケーター67への通電を開始及び停止させ、カメラ61が撮像を開始及び終了するタイミングに合わせて、LEDインジケーター67を点灯又は点滅させる。
図5は、制御装置10の制御系を構成する記憶部160、及び制御部150の機能ブロック図である。図5に示す記憶部160は、不揮発性記憶部123(図4)により構成される論理的な記憶部であり、EEPROM215やメモリー121を含んでもよい。また、制御部150、及び制御部150が有する各種の機能部は、メインプロセッサー140がプログラムを実行することによって、ソフトウェアとハードウェアとの協働により形成される。制御部150、及び制御部150を構成する各機能部は、例えば、メインプロセッサー140、メモリー121及び不揮発性記憶部123により構成される。
記憶部160は、制御部150が実行する制御プログラムや、制御部150が処理する各種データを記憶する。具体的には、記憶部160は、制御プログラム161、設定データ162、コンテンツデータ163、表示位置テーブル164、撮像画像データ165等を記憶する。
制御プログラム161は、OS151上で実行される特定機能を持つアプリケーションプログラムである。アプリケーションプログラムには、例えば、ブラウザーソフトウェアや、業務用プログラム、文書作成ソフトウェアや表計算ソフトウェア等のオフィスプログラム等が含まれる。また、アプリケーションプログラムには、使用者の手の動きや、形状、位置をジェスチャーとして検出し、検出したジェスチャーに対応付けられた処理を実行するプログラムが含まれる。制御部150が、このアプリケーションプログラムを実行した場合の動作の詳細については後述する。
設定データ162は、HMD100の動作を設定する各種の設定値を含む。また、制御部150がHMD100を制御する際にパラメーター、行列式、演算式、LUT(LookUp Table)等を用いる場合、これらを設定データ162に含めてもよい。
コンテンツデータ163は、制御部150の制御によって画像表示部20が表示する表示画像や映像を含むコンテンツのデータであり、画像データ又は映像データを含む。また、コンテンツデータ163として、音楽や音声のデータを含んでもよい。
また、コンテンツデータ163は、双方向型のコンテンツデータであってもよい。すなわち、画像表示部20によりコンテンツデータ163に含まれる画像データや映像データを表示し、表示した画像データや映像データに対する操作を操作部110で受け付け、受け付けた操作に対応した処理を制御部150で実行する。この場合、コンテンツデータ163は、操作を受け付ける場合に表示するメニュー画面の画像データ、メニュー画面に含まれる項目に対応する処理等を定めるデータ等を有していてもよい。
図6及び図7は、表示位置テーブル164を示す図である。
表示位置テーブル164には、視認距離を表現した情報である距離情報と、表示位置の移動量とが対応付けて登録される。視認距離とは、使用者が作業を行う場合に、使用者が視認する作業対象の実物体との距離を示す情報である。
また、表示位置の移動量は、以下の情報である。
一般に、左右両方の眼で実物体を視認する場合、実物体を眼の近くにおいて視認するときは輻輳角が大きくなり、遠くにおいて視認するときは輻輳角が小さくなる。この原理を利用して、ソフトウェアによる補正処理で画像の表示位置をシフト(移動)させることで使用者の眼の輻輳角を変化させ、使用者に視認させる焦点距離を変化させることができる。表示位置の移動量とは、焦点距離を変更するために画像の表示位置を移動させる量を示す。
図6に示す表示位置テーブル164には、距離を示す距離情報として、「とても近く」、「近く」、「やや近く」、「普通」、「やや遠く」、「遠く」、「とても遠く」の7つの情報が登録される。これらの情報は、視認距離を段階的に表現する自然言語で構成される情報である。また、表示位置テーブル164には、各距離情報に対応した移動量が登録される。
また、図7に示す表示位置テーブル164には、距離情報として、使用者が行う作業や行為を示す情報である利用状況が登録される。例えば、手元作業や、キーワード検索、ショッピング、美術館(美術鑑賞)、中型部品の組み立て、大型部品の組み立て等の情報が登録される。これらの情報は、HMD100の利用状況を示す情報である。また、図7に示す表示位置テーブル164にも、作業や行為に対応した移動量が登録される。
表示位置テーブル164は、本実施形態では、HMD100の製造業者によって生成され、製品の出荷時に記憶部160に記憶される。また、表示位置テーブル164は、HMD100の製造業者によって提供されるサーバー装置からダウンロードして、記憶部160に記憶させるものであってもよい。また、表示位置テーブル164に登録される移動量は、使用者が操作部110等の操作により補正することも可能である。
撮像画像データ165は、カメラ61により撮像された撮像画像データである。撮像画像データ165は、記憶部160に一時的に記憶されるデータであり、例えば、制御部150による処理が終了すると、記憶部160から消去される。
制御部150は、記憶部160が記憶するデータを利用して各種処理を実行し、HMD100を制御する。制御部150は、OS(Operating System)151、画像処理部152、撮像制御部153、検出制御部154、表示制御部155及び処理制御部156を機能ブロックとして備える。機能ブロックとは、メインプロセッサー140が制御プログラムを実行することで実現される機能をブロックとして便宜的に示したものであり、特定のアプリケーションプログラムやハードウェアを示すものではない。撮像制御部153及び検出制御部154は、本発明の「入力部」に相当する。
OS151の機能は、記憶部160が記憶する制御プログラムの機能であり、その他の各部は、OS151上で実行されるアプリケーションプログラムの機能である。
画像処理部152は、例えば、記憶部160からコンテンツデータ163を読み出し、読み出したコンテンツデータ163から垂直同期信号VSyncや水平同期信号HSync等の同期信号を分離する。画像処理部152は、分離した垂直同期信号VSyncや水平同期信号HSyncの周期に応じて、PLL(Phase Locked Loop)回路等(図示略)を利用してクロック信号PCLKを生成する。また、画像処理部152は、コンテンツデータ163に含まれる画像データに対して解像度変換、輝度、彩度の調整、2D/3D変換処理等の種々の画像処理を必要に応じて実行してもよい。
画像処理部152は、画像処理を施した画像データを、画像の表示単位である1フレームごとに記憶部160内のDRAMに展開する。画像データの1フレームが展開されるDRAMの領域を、以下ではフレーム領域という。画像処理部152は、フレーム領域から画像データを読み出し、読み出した画像データを表示画像データとして画像表示部20に出力する。
画像処理部152は、メインプロセッサー140がプログラムを実行して実現される構成のほか、メインプロセッサー140と別のハードウェア(例えば、DSP:Digital Signal Processor)で構成してもよい。
撮像制御部153は、カメラ61を制御して撮像を実行させ、撮像画像データを生成させる。撮像制御部153は、生成された撮像画像データを記憶部160に一時的に記憶させる。また、カメラ61が撮像画像データを生成する回路を含むカメラユニットとして構成される場合、撮像制御部153は撮像画像データをカメラ61から取得して記憶部160に一時的に記憶させる。
検出制御部154は、記憶部160から撮像画像データを読み出し、読み出した撮像画像データに撮像されたマーカーの画像を検出する。
マーカーは、例えば、実空間の実物体であって、カメラ61により撮像可能な物体であればよい。例えば、バーコード等の1次元コードや、QRコード(登録商標)等の2次元コードであってもよい。また、マーカーは、使用者の利用状況に関連づけられた実物体であればなおよい。例えば、使用者がHMD100を利用する利用状況が製品の組み立てラインであれば、組み立て工程を特定する文字や、看板であってもよいし、実際の組み立てに使用される部品であってもよい。また、使用者がHMD100を使用する利用状況がスーパーマーケット等での買い物であれば、スーパーマーケットに陳列される商品であってもよいし、スーパーマーケットの看板や商品陳列棚、買い物かご、カートであってもよい。また、使用者がHMD100を使用する利用状況が美術館での美術鑑賞であれば、美術品である絵画の額縁をマーカーとすることも可能である。
表示制御部155は、右表示ユニット22及び左表示ユニット24を制御する制御信号を生成し、生成した制御信号により、右表示ユニット22及び左表示ユニット24のそれぞれによる画像光の生成及び射出を制御する。具体的には、表示制御部155は、OLED駆動回路225、245を制御して、OLEDパネル223、243による画像の表示を実行させる。表示制御部155は、画像処理部152が出力する信号に基づきOLED駆動回路225、245がOLEDパネル223、243に描画するタイミングの制御、OLEDパネル223、243の輝度の制御等を行う。
図8は、基準領域の大きさと、射出領域の大きさとの関係を示す図である。また、図9は、焦点距離がLaである場合に表示ユニットから射出された画像光により形成される像について説明するための図である。
表示制御部155は、表示位置テーブル164を参照して、距離情報に対応付けられた移動量を取得する。次に、表示制御部155は、右表示ユニット22及び左表示ユニット24における射出領域CA1、CA2を、取得した移動量だけ移動させる。その結果、焦点距離が調整される。右表示ユニット22における射出領域CA1は、本発明の「右表示領域」に相当し、左表示ユニット24における射出領域CA2は、本発明の「左表示領域」に相当する。
基準領域とは、右表示ユニット22及び左表示ユニット24が画像光を射出する領域を示す。より詳細には、基準領域は、例えば、右表示ユニット22及び左表示ユニット24が画像光を射出することができる最大の領域よりも少し小さく設定されてもよいし、最大の領域とすることもできる。
基準領域は、右表示ユニット22が備えるOLEDユニット221、及び、左表示ユニット24が備えるOLEDユニット241のそれぞれが、画像を形成することが可能な領域の全体または一部を指すものとして定義できる。或いは、右表示ユニット22及び左表示ユニット24がハーフミラー261、281に画像光を照射可能な領域の全部または一部としてもよい。また、右表示ユニット22及び左表示ユニット24が射出する光によりハーフミラー261、281から右眼RE、左眼LEに画像光を照射可能な領域を基準領域としてもよく、ハーフミラー261、281に虚像が形成される領域を基準領域としてもよい。
図8の例では、使用者の右眼REに対応する右表示ユニット22における基準領域MA1の大きさは、xピクセル:yピクセルである。同様に、使用者の左眼LEに対応する左表示ユニット24における基準領域MA2の大きさは、xピクセル:yピクセルである。
また、図8において、右表示ユニット22、左表示ユニット24から画像光が実際に射出される領域である射出領域を斜線で示す。本実施形態において、射出領域は、基準領域よりも水平方向(横方向)に小さい。具体的には、使用者の右眼REに対応する右表示ユニット22における射出領域CA1の大きさは、x−nピクセル:yピクセルであり、基準領域MA1より水平方向に小さく設定されている。同様に、使用者の左眼LEに対応する左表示ユニット24における射出領域CA2の大きさは、x−nピクセル:yピクセルであり、基準領域MA2より水平方向に小さく設定されている。
例えば、焦点距離を最長焦点距離(無限遠)に調整する場合、射出領域の移動量は「0(ピクセル)」となる。その結果、図8に示すように射出領域CA1から射出される画像光に基づいて使用者の右眼REが視認する画像IM1と、射出領域CA2から射出される画像光に基づいて使用者の左眼LEが視認する画像IM2とは、平行視の状態となる。このため、無限遠の焦点距離を実現することができる。
図9は、焦点距離がLaの場合に、右表示ユニット22及び左表示ユニット24から射出された画像光により形成される像について説明する説明図である。
焦点距離をLaに調整する場合の射出領域の移動量を「n(ピクセル)」と仮定する。表示制御部155は、使用者の右眼REに対応する右表示ユニット22における射出領域CA1と、左眼LEに対応する左表示ユニット24における射出領域CA2とを、使用者の眉間に向かう方向(図9の白抜き矢印の方向)にnピクセル、連動させて移動させる。その結果、射出領域CA1から射出される画像光に基づいて使用者の右眼REが視認する画像IM1と、射出領域CA2から射出される画像光に基づいて使用者の左眼LEが視認する画像IM2とは、使用者の両眼から距離Laだけ離れた位置(IM)に結像する。この結果、目標の焦点距離に調整される。
以上のように、一方の表示ユニット(22又は24)から射出された画像光により形成される像と、他方の表示ユニット(24又は22)から射出された画像光により形成される像とを互いに連動して近づける(又は遠ざける)。その結果、両画像光によって形成される像に対する使用者の右眼REと左眼LEとの輻輳角が大きくなる(小さくなる)。このため、HMD100の使用者は近く(遠く)に画像を知覚することができる。従って、使用者の右眼REと左眼LEとの輻輳角を調整することにより焦点距離を調整することが可能となる。
また、右表示ユニット22を調整して、右表示領域に表示される画像の表示位置と、左表示ユニット24を調整して、左表示領域に表示される画像の表示位置とをそれぞれ別々に制御してもよい。右表示ユニット22及び左表示ユニット24をそれぞれ独立に制御することで、画像の焦点距離をさらに高精度に調整することができる。
処理制御部156は、検出制御部154の制御に従って、制御対象としてのデバイスの動作を制御する。また、処理制御部156は、検出制御部154の制御に従ってアプリケーションプログラムを実行して処理を行う。処理制御部156が制御するデバイスには、例えば、マイク63、6軸センサー111、235、磁気センサー113、237、温度センサー217、239、照度センサー65、LEDインジケーター12、67等が含まれる。また、アプリケーションプログラムを実行して行う処理には、例えば、動画像や音楽等のコンテンツデータ163を再生する処理が含まれる。また、アプリケーションプログラムを実行して行う処理には、アプリケーションプログラムとしてのブラウザーソフトウェアを起動させる処理や、ブラウザーソフトウェアの検索欄に入力されたキーワードに基づいて検索を実行する処理が含まれる。
図10は、視野範囲FV及び表示領域VRを示す図である。視野範囲FVとは、画像表示部20を頭部に装着した使用者が視認可能な範囲を示す。また、図10に示すx軸は、視野範囲FVの横方向を示し、y軸方向は、視野範囲FVの縦方向を示し、z軸方向は、視野範囲FVの奥行き方向を示す。表示制御部155は、右表示ユニット22及び左表示ユニット24を制御して画像の奥行き方向の表示位置を調整し、画像の焦点距離を調整する。
シースルー型の表示装置であるHMD100の場合、使用者は、視野範囲FVにおいて、実空間の実物体と、画像表示部20が表示する画像との両方を同時視認することができる。例えば、図10には、実物体として使用者の手とQRコードが印刷された用紙301とが視認され、画像として枠状の画像(以下、枠画像303という)が視認された状態を示す。
使用者は、枠画像303内にQRコードが納まるように手に持った用紙301を動かす。表示制御部150は、カメラ61の撮像画像データから枠画像303内に撮像されたQRコードの画像を取得して、QRコードが示す情報を取得する。
また、画像表示部20を頭部に装着して、美術館で美術鑑賞する場合に、展示された美術品と、画像表示部20が表示する美術品についての説明文とを同時に視認する場合がある。
使用者が、HMD100の表示する画像と、実物体との両方を注視する場合に、画像と実物体との焦点距離の差が大きいと、画像と物体とを両方同時に見ることができなかったり、又は画像が二重に見えたりして、使用者の目の負担となる場合がある。
図11は、制御部150の動作を示すフローチャートである。特に、画像表示部20が表示する画像と、実物体との焦点距離を調整する動作を示すフローチャートである。
まず、表示制御部165は、まず、予め設定された条件が成立したか否かを判定する(ステップS1)。予め設定された条件には、例えば、アプリケーションプログラムが起動された場合や、トラックパッド14等を含む操作部110の操作を受け付けた場合、マイク63により予め設定されたキーワード等の音声が入力された場合等が含まれる。
表示制御部165は、予め設定された条件が成立していない場合(ステップS1/NO)、予め設定された条件が成立するまで待機する。また、表示制御部165は、予め設定された条件が成立した場合(ステップS1/YES)、表示領域VRに画像を表示させる(ステップS2)。ここでは、図10に示す枠画像303を表示させる場合を例にして説明する。
次に、表示制御部165は、操作部110の操作、又はマイク63による音声入力により、距離情報の入力を受け付けたか否かを判定する(ステップS3)。表示制御部165は、例えば、操作部110としてのトラックパッド14がタップされた回数に基づいて距離情報を判定してもよいし、マイク63から入力される音声により、距離情報を判定してもよい。制御部150は、距離情報の入力を受け付けていない場合(ステップS3/NO)、距離情報の入力を受け付けるまで待機する。
また、表示制御部165は、距離情報の入力を受け付けた場合(ステップS3/YES)、表示位置テーブル164を参照して、受け付けた距離情報に対応付けられ移動量を取得する。表示制御部165は、移動量を取得すると、取得した移動量に従って画像表示部20を制御し、枠画像303の焦点距離を調整する(ステップS4)。また、表示制御部165は、調整した焦点距離を示す距離情報を表示領域VRに表示させる(ステップS5)。図10には、距離情報として焦点距離を示す「近く」の文字305が表示された例を示す。
次に、表示制御部165は、カメラ61の撮像画像データから枠画像303が撮像された領域の画像を取り出し、取り出した画像内からQRコードの画像が検出されたか否かを判定する(ステップS6)。表示制御部165は、QRコードの画像を検出することができなかった場合(ステップS6/NO)、距離情報を変更する操作を受け付けたか否かを判定する(ステップS7)。表示制御部165は、距離情報を変更する操作を受け付けた場合(ステップS7/YES)、ステップS4の処理に戻り焦点距離の調整を行う。また、表示制御部165は、距離情報を変更する操作を受け付けていない場合(ステップS7/NO)、ステップS6に戻り、QRコードの画像が検出されたか否かを判定する(ステップS6)。
また、表示制御部165は、QRコードの画像が検出された場合(ステップS6/YES)、検出したQRコードの画像に基づいてコード情報を認識し(ステップS8)、認識したコード情報を処理制御部156に渡す。処理制御部156は、表示制御部155から渡されたコード情報に対応した処理を実行する(ステップS9)。例えば、処理制御部156は、コード情報が示すWebサイトに接続し、接続したWebサイトのWebページを表示領域VRに表示させる。
上述の説明では、操作部110の操作等によって距離情報の入力を受け付けて、表示制御部165が、画像表示部20により表示される画像の焦点距離を、受け付けた距離情報に対応した焦点距離となるように調整する場合を説明した。
変形例として、表示制御部165が、カメラ61の撮像画像データに基づいて、HMD100の利用状況を判定する構成であってもよい。詳細には、表示制御部165は、撮像画像データからマーカーとして登録された画像を検出し、表示位置テーブル164を参照して、検出したマーカーの画像に対応付けられた表示位置の移動量を取得する。表示制御部165は、取得した表示位置の移動量に従って、表示領域VRに表示される画像の焦点距離を調整する。
例えば、表示制御部165は、撮像画像データから、美術品である絵画の額縁の画像を検出した場合、GPS受信部115が受信したGPS信号に基づいて使用者の現在位置を特定する。表示制御部165は、特定した使用者の現在位置に基づいて美術館を特定し、特定した美術館のWebサイトから美術館や美術品について説明した説明文を取得する。そして、表示制御部165は、表示領域VRに美術館や美術品について説明した説明文の画像を表示させる。この際、表示制御部165は、表示位置テーブル164から、利用状況である美術館に対応した表示位置の移動量を取得し、取得した表示位置の移動量に従って、表示領域VRに表示される説明文の画像の焦点距離を調整する。
また、表示制御部165は、撮像画像データから、製造ラインで組み付ける部品の画像を検出した場合、検出した部品を組み立てる手順について説明した説明書を記憶部160から読み出す。そして、表示制御部165は、表示領域VRに説明文の画像を表示させる。この際、表示制御部165は、表示位置テーブル164から、利用状況である部品の組み立てに対応した表示位置の移動量を取得し、取得した表示位置の移動量に従って、表示領域VRに表示される説明文の画像の焦点距離を調整する。
以上説明したように本実施形態のHMD100は、表示部としての画像表示部20と、入力部としての操作部110又はカメラ61と、制御部150と、記憶部160とを備える。
画像表示部20は、使用者の頭部に装着され、外景を透過して視認可能に構成され、外景と重畳する表示領域VRに画像を表示する。操作部110は、操作を受け付ける。制御部150は、表示領域VRに表示される画像の表示位置を制御する。記憶部160は、表示領域VRに表示される画像に対して使用者が知覚する視認距離を表現する距離情報と、距離情報に対応付けられ、表示領域VRに表示される画像の表示位置又は表示位置の移動量とを含む表示位置情報を記憶する。制御部150は、操作部110が受け付けた操作、又はカメラ61により撮像されたマーカーの画像に基づいて距離情報を選択する。制御部150は、選択した距離情報に対して表示位置情報によって対応付けられた画像の表示位置又は表示位置の移動量に従って、表示領域VRに表示される画像の表示位置を制御する。
従って、選択された距離情報が示す距離付近に存在する物体との焦点距離差が小さくなるように画像を表示することができ、使用者の目の負担を軽減することができる。
また、制御部150は、操作部110により距離情報を指定する情報を受け付けた場合に、指定された距離情報に対して表示位置情報によって対応付けられた画像の表示位置又は表示位置の移動量に従って、表示領域VRに表示される画像の表示位置を制御する。
従って、選択された距離情報が示す距離付近に存在する物体との焦点距離差が小さくなるように画像を表示することができ、使用者の目の負担を軽減することができる。
また、記憶部160は、HMD100の利用状況と、距離情報とを対応付けて記憶する。制御部150は、操作部110により受け付けた操作、又はカメラ61により撮像されたマーカーの画像に基づいて利用情報が指定された場合に、指定された利用状況に対応する距離情報を特定する。制御部150は、特定した距離情報に対し表示位置情報によって対応付けられた画像の表示位置又は表示位置の移動量に従って、表示領域VRに表示される画像の表示位置を制御する。
従って、指定された利用状況に対応した距離付近に存在する物体との焦点距離差が小さくなるように画像を表示することができ、使用者の目の負担を軽減することができる。
また、記憶部160は、HMD100の利用状況と、距離情報とを対応付けて記憶する。制御部150は、HMD100の利用状況を判定して、判定した利用状況に対応付けて記憶部160に記憶された距離情報を特定する。制御部150は、特定した距離情報に対し表示位置情報によって対応付けられた画像の表示位置又は表示位置の移動量に従って、表示領域VRに表示される画像の表示位置を制御する。
従って、利用状況に対応付けられた距離付近に存在する物体との焦点距離差が小さくなるように画像を表示することができ、使用者の目の負担を軽減することができる。
また、距離情報は、視認距離を段階的に表現する自然言語で構成される情報である。
従って、視認距離の選択が容易になり、表示領域VRに表示される画像の表示位置の調整を簡易に行うことができる。
また、距離情報は、少なくとも、近い、普通、遠い、のいずれかの語を用いて使用者が知覚する視認距離を表現する情報である。
従って、距離情報の選択が容易になり、表示領域VRに表示される画像の表示位置の調整を簡易に行うことができる。
また、制御部150は、表示位置情報に含まれる距離情報を画像表示部20により表示させた状態で、操作部110により受け付けた操作により指定される距離情報に基づき、表示領域VRに表示される画像の表示位置を制御する。
従って、距離情報が表示されているので、表示された画像との焦点距離差が大きい場合には、適切な距離情報を選択することができる。
また、画像表示部20は、使用者の左眼に対応する左表示領域と、使用者の右眼に対応する右表示領域とを有し、左表示領域及び右表示領域の各々に画像を表示する。制御部150は、左表示領域に表示される画像の表示位置、及び、右表示領域に表示される画像の表示位置を、それぞれ制御する。
従って、画像表示部20により表示される画像の表示位置を最適に調整することができる。
[第2実施形態]
添付図面を参照して本発明の第2実施形態について説明する。
上述した第1実施形態では、表示位置テーブル164は、HMD100の製造業者によって生成され、製品の出荷時に製造業者が記憶部160に記憶させたテーブルであった。
本実施形態は、カメラ61によりマーカーの画像を撮像してテーブルを生成する。
図12は、マーカー登録処理の動作を示すフローチャートである。
制御部150は、距離情報の登録を要求する操作を受け付けると、マーカー登録処理を実行する。制御部150は、マーカー登録処理を開始すると、マーカーの撮像距離を設定した設定ファイルを参照して、設定ファイルに登録された距離情報の1つを選択する(ステップS11)。制御部150は、距離情報の1つを選択すると、表示領域VRに、距離情報が示す距離の位置にマーカーを設置してくださいといったメッセージを表示させる。また、距離情報は、使用者が操作部110を操作して、設定したい任意の距離を入力する構成であってもよい。
また、マーカー登録処理において使用可能なマーカーは、実物体であれば特に限定されないが、使用者の利用状況に関連づけられた実物体であればなおよい。また、マーカーの色を黒色とし、マーカーの画像を撮像する際の背景色を白色とすることで、マーカーの検出精度を向上させることができる。
使用者は、設定した距離に対応する位置にマーカーとなる実物体を設置する。マーカーを設置する際に、使用者は、マーカーまでの距離を計測して、画像表示部20からマーカーまでの距離が設定した距離に一致するようにしてもよい。使用者の目測によってマーカーを設置してもよい。例えば、予め設定された距離が5mである場合、使用者が5mであると思う位置にマーカーを設置して、カメラ61によりマーカーの画像を撮像してもよい。目測によってマーカーを設置することで、画像表示部20が表示する画像の焦点距離を、使用者の距離感に近づけることができる。
使用者は、マーカーを設置すると、操作部110を操作して、カメラ61によりマーカーの画像を撮像させる(ステップS12)。制御部150は、画像表示部20を制御して、撮像された撮像画像データを表示領域VRに表示させる。使用者は、表示された撮像画像データを視認して、撮像画像データの中心に、マーカーが撮像されるようにカメラ61による撮像位置を変更してもよい。
また、使用者は、トラックパッド14を操作して、ポインターがマーカーの画像に重なるように表示領域VRにおけるポインターの表示位置を変更し、操作部110に設けられた確定ボタンを押下する。制御部150は、確定ボタンが押下されたときにポインターに重なる位置に表示された画像をマーカーとして認識する。
制御部150は、確定操作を受け付けると、撮像画像データを記憶部160に記憶させる(ステップS13)。このとき、制御部150は、ステップS11で設定された距離情報に対応付けて記憶部160に記憶させる。ステップS11で設定された距離情報は、「入力部により受け付けた入力に基づき決定される画像の表示位置」に相当する。また、カメラ61の撮像画像データは、本発明の「検出部により検出されたマーカーの検出位置」に相当する。さらに、記憶部160に対応付けて記憶させた撮像画像データと、距離情報とが本発明の「表示制御情報」に相当する。
次に、制御部150は、設定ファイルに、選択していない他の距離情報があるか否かを判定する(ステップS14)。また、使用者が操作部110を操作して距離情報を入力する構成の場合、制御部150は、他の距離に対応したマーカーの画像を登録しますかといったメッセージを表示領域VRに表示させてもよい。
制御部150は、設定ファイルに、選択していない他の距離情報がある場合、ステップS11に戻り、ステップS11〜S13の処理を再度繰り返す。また、制御部150は、設定ファイルに、選択していない他の距離情報がない場合(ステップS14/NO)、この処理フローを終了させる。
図13は、制御部150の動作を示すフローチャートである。特に、図13は、マーカーの画像を検出して、検出したマーカーの画像に対応した焦点距離に、画像を表示させるフローを示す。
制御部150は、カメラ61に撮像を実行させて撮像画像データを生成する(ステップS21)。次に、制御部150は、撮像画像データを取得し、取得した撮像画像データを解析して、図12に示すマーカー登録処理で登録されたマーカーの画像(以下、検出マーカー画像という)を検出する(ステップS22)。次に、制御部150は、検出マーカー画像が検出されると、検出された検出マーカー画像のサイズに最も近い登録マーカー画像を特定する(ステップS23)。登録マーカー画像は、図12に示すステップS13において、距離情報に対応付けて記憶部160に記憶させたマーカーの画像である。
制御部150は、検出マーカー画像のサイズに最も近い登録マーカー画像を特定すると、この登録マーカー画像に対応付けられた距離情報を、記憶部160を参照して取得する。次に、制御部150は、画像表示部20を制御して、検出マーカー画像に対応した画像を表示させる(ステップS24)。制御部150は、例えば、検出マーカー画像が、製造ラインで組み付ける部品の画像であった場合、検出した部品を組み立てる手順について説明した説明書を記憶部160から読み出す。そして、制御部150は、表示領域VRに説明文の画像を表示させる。この際、制御部150は、記憶部160から登録マーカー画像に対応付けて登録した距離情報を取得する(ステップS25)。そして、制御部150は、画像表示部20が表示する画像の焦点距離が、ステップS25で取得した距離情報に対応した距離となるように画像表示部20を制御する(ステップS26)。
以上説明したように本実施形態では、制御部150は、検出部としてのカメラ61の撮像画像データにより検出されたマーカーの検出位置に基づいて、表示領域VRに表示される画像の表示位置を制御する。
従って、検出されたマーカーの位置に対応する距離付近に存在する物体との焦点距離差が小さくなるように画像を表示することができ、使用者の目の負担を軽減することができる。
また、記憶部160は、カメラ61の撮像画像データにより検出されるマーカーの検出位置と、表示領域VRに表示される画像の表示位置又は表示位置の移動量とを関係付ける表示制御情報を記憶する。
制御部150は、カメラ61の撮像画像データにより検出されたマーカーの検出位置に基づいて、記憶部160に記憶される表示制御情報を用いて、表示領域VRに表示される画像の表示位置又は表示位置の移動量を求める。そして、制御部150は、表示領域VRに表示される画像の表示位置を制御する。
従って、マーカーの検出位置に基づいて画像の表示位置を好適に制御することができる。
また、制御部150は、カメラ61の撮像画像データにより検出されたマーカーの検出位置と、操作部110により受け付けた操作に基づき決定される画像の表示位置と、を関連付ける表示制御情報を生成し、記憶部160に記憶させる。
従って、簡易な構成で、マーカーの検出位置と、画像の表示位置とを対応付けた表示制御情報を生成することができる。また、使用者の距離感覚に基づいて画像の表示位置を設定することができる。
また、制御部150は、表示領域VRに表示される画像に対して使用者が知覚する視認距離が異なるように、表示領域VRに表示される画像の表示位置を複数段階に変更する。制御部150は、操作部110により受け付けた操作に基づき選択される表示位置と、カメラ61の撮像画像データにより検出されたマーカーの検出位置と、を関連付ける表示制御情報を生成して、記憶部160に記憶させる。
従って、マーカーの検出位置に基づいて、使用者が知覚する視認距離が異なる位置に画像を表示させることができる。
上述した実施形態は、本発明の好適な実施の形態である。但し、これに限定されるものではく、本発明の要旨を逸脱しない範囲内において種々の変形実施が可能である。
例えば、上述した実施形態では、表示位置テーブル164に、距離情報と、表示位置の移動量とを登録した場合について説明したが、移動量に代えて画像の表示位置を示す情報を登録してもよい。画像の表示位置として、画像の描画開始位置を示す座標情報を登録してもよい。
上述した実施形態では、制御装置10が画像表示部20と有線接続される構成を例示したが、本発明はこれに限定されず、制御装置10に対して画像表示部20が無線接続される構成であってもよい。この場合の無線通信方式は通信部117が対応する通信方式として例示した方式を採用してもよいし、その他の通信方式であってもよい。
また、制御装置10が備える一部の機能を画像表示部20に設けてもよく、制御装置10を複数の装置により実現してもよい。すなわち、制御装置10は、箱形のケース10Aを備える構成に限定されない。例えば、制御装置10に代えて、使用者の身体、着衣又は、使用者が身につける装身具に取り付け可能なウェアラブルデバイスを用いてもよい。この場合のウェアラブルデバイスは、例えば、時計型の装置、指輪型の装置、レーザーポインター、マウス、エアーマウス、ゲームコントローラー、ペン型のデバイス等であってもよい。
さらに、上記の実施形態では、画像表示部20と制御装置10とが分離され、接続ケーブル40を介して接続された構成を例に挙げて説明した。本発明はこれに限定されず、制御装置10と画像表示部20とが一体に構成され、使用者の頭部に装着される構成とすることも可能である。
また、制御装置10として、ノート型コンピューター、タブレット型コンピューター又はデスクトップ型コンピューターを用いてもよい。また、制御装置10として、ゲーム機や携帯型電話機やスマートフォンや携帯型メディアプレーヤーを含む携帯型電子機器、その他の専用機器等を用いてもよい。
また、例えば、画像表示部20に代えて、例えば帽子のように装着する画像表示部等の他の方式の画像表示部を採用してもよく、使用者の左眼LEに対応して画像を表示する表示部と、使用者の右眼REに対応して画像を表示する表示部とを備えていればよい。また、画像表示部20に代えてヘッドアップディスプレイを用いることで、自動車や飛行機等の車両に搭載することも可能である。例えば、車両にヘッドアップディスプレイを搭載する場合、トラックパッド14の操作面に相当する操作面を車両のハンドル等に設ける。
また、例えば、ヘルメット等の身体防護具に内蔵された頭部装着型表示装置として構成されてもよい。この場合、使用者の身体に対する位置を位置決めする部分、及び当該部分に対し位置決めされる部分を装着部とすることができる。
また、画像光を使用者の眼に導く光学系として、右導光板26及び左導光板28の一部に、ハーフミラー261、281により虚像が形成される構成を例示した。本発明はこれに限定されず、右導光板26及び左導光板28の全面又は大部分を占める面積を有する表示領域に、画像を表示する構成としてもよい。この場合、画像の表示位置を変化させる動作において、画像を縮小する処理を含めてもよい。
さらに、本発明の光学素子は、ハーフミラー261、281を有する右導光板26、左導光板28に限定されず、画像光を使用者の眼に入射させる光学部品であればよく、具体的には、回折格子、プリズム、ホログラフィー表示部を用いてもよい。
また、図4、図5等に示した各機能ブロックのうち少なくとも一部は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよく、図に示した通りに独立したハードウェア資源を配置する構成に限定されない。また、制御部150が実行するプログラムは、不揮発性記憶部123又は制御装置10内の他の記憶装置(図示略)に記憶されてもよい。また、外部の装置に記憶されたプログラムを通信部117や外部コネクター184を介して取得して実行する構成としてもよい。また、制御装置10に形成された構成のうち、操作部110が使用者インターフェイス(UI)として形成されてもよい。
また、図11〜図13に示すフローチャートの処理単位は、HMD100の制御部150の処理を理解容易にするために、主な処理内容に応じて分割したものであり、処理単位の分割の仕方や名称によって本発明が制限されることはない。また、制御部150の処理は、処理内容に応じて、さらに多くの処理単位に分割することもできるし、1つの処理単位がさらに多くの処理を含むように分割することもできる。また、上記のフローチャートの処理順序も、図示した例に限られるものではない。
10…制御装置、10A…ケース、11…操作ボタン、12、67…LEDインジケーター、13…操作子、14…トラックパッド、15…上下キー、16…切替スイッチ、17…LED表示部、18…電源スイッチ、19…バイブレーター、20…画像表示部(表示部)、21…右保持部、22…右表示ユニット、23…左保持部、24…左表示ユニット、26…右導光板、27…前部フレーム、28…左導光板、30…ヘッドセット、32…右イヤホン、34…左イヤホン、40…接続ケーブル、46…コネクター、61…カメラ(入力部)、63…マイク、65…照度センサー、100…頭部装着型表示装置、111…6軸センサー、113…磁気センサー、110…操作部(入力部)、115…GPS受信部、117…通信部、120…コントローラー基板、121…メモリー、123…不揮発性記憶部、127…設定データ、130…電源部、132…バッテリー、134…電源制御回路、140…メインプロセッサー、150…制御部、151…OS、152…画像処理部、153…撮像制御部(入力部)、154…検出制御部(入力部)、155…表示制御部、156…処理制御部、160…記憶部、161…制御プログラム、162…設定データ、163…コンテンツデータ、164…表示位置テーブル、165…撮像画像データ、180…音声インターフェイス、182…音声コーデック、184…外部コネクター、186…外部メモリーインターフェイス、188…USBコネクター、192…センサーハブ、194…FPGA、196、211、231…インターフェイス、213、233…受信部、215…EEPROM、217…温度センサー、221…OLEDユニット、223…OLEDパネル、225…OLED駆動回路、235…6軸センサー、237…磁気センサー、239…温度センサー、241…OLEDユニット、243…OLEDパネル、245…OLED駆動回路、251…右光学系、252…左光学系、261…ハーフミラー、281…ハーフミラー、301…用紙、303…枠画像、305…文字。

Claims (14)

  1. 使用者の頭部に装着され、外景を透過して視認可能に構成され、前記外景と重畳する表示領域に画像を表示する表示部と、
    入力を受け付ける入力部と、
    前記表示領域に表示される画像の表示位置を制御する制御部と、
    前記表示領域に表示される画像に対して前記使用者が知覚する視認距離を表現する距離情報と、前記距離情報に対応付けられ、前記表示領域に表示される画像の表示位置または表示位置の移動量とを含む表示位置情報を記憶する記憶部と、を備え、
    前記制御部は、前記入力部により受け付けた入力に基づき前記距離情報を選択し、選択した前記距離情報に対し前記表示位置情報によって対応付けられた画像の表示位置または表示位置の移動量に従って、前記表示領域に表示される画像の表示位置を制御する、頭部装着型表示装置。
  2. 前記制御部は、前記入力部により受け付けた入力により前記距離情報が指定された場合に、指定された前記距離情報に対し前記表示位置情報によって対応付けられた画像の表示位置または表示位置の移動量に従って、前記表示領域に表示される画像の表示位置を制御する、請求項1記載の頭部装着型表示装置。
  3. 前記記憶部は、前記頭部装着型表示装置の利用状況に関する利用情報と、前記距離情報とを対応付けて記憶し、
    前記制御部は、前記入力部により受け付けた入力により前記利用情報が指定された場合に、指定された前記利用情報に対応する前記距離情報を特定し、特定した前記距離情報に対し前記表示位置情報によって対応付けられた画像の表示位置または表示位置の移動量に従って、前記表示領域に表示される画像の表示位置を制御する、請求項1記載の頭部装着型表示装置。
  4. 前記記憶部は、前記頭部装着型表示装置の利用状況に関する利用情報と、前記距離情報とを対応付けて記憶し、
    前記制御部は、前記頭部装着型表示装置の利用状況を判定し、判定した利用状況に該当する前記利用情報に対応付けて前記記憶部に記憶された前記距離情報を特定し、特定した前記距離情報に対し前記表示位置情報によって対応付けられた画像の表示位置または表示位置の移動量に従って、前記表示領域に表示される画像の表示位置を制御する、請求項1記載の頭部装着型表示装置。
  5. 前記距離情報は、視認距離を段階的に表現する自然言語で構成される情報である、請求項1から4のいずれか1項に記載の頭部装着型表示装置。
  6. 前記距離情報は、少なくとも、近い、普通、遠い、のいずれかの語を用いて前記使用者が知覚する視認距離を表現する情報である、請求項5記載の頭部装着型表示装置。
  7. 前記制御部は、前記表示位置情報に含まれる前記距離情報を前記表示部により表示させた状態で、前記入力部により受け付けた入力により指定される前記距離情報に基づき、前記表示領域に表示される画像の表示位置を制御する、請求項1から6のいずれか1項に記載の頭部装着型表示装置。
  8. 前記表示部は、前記使用者の左眼に対応する左表示領域と、前記使用者の右眼に対応する右表示領域とを有し、前記左表示領域及び前記右表示領域の各々に画像を表示し、
    前記制御部は、前記左表示領域に表示される画像の表示位置、及び、前記右表示領域に表示される画像の表示位置を、それぞれ制御する、請求項1から7のいずれか1項に記載の頭部装着型表示装置。
  9. 使用者の頭部に装着され、外景を透過して視認可能に構成され、前記外景と重畳する表示領域に画像を表示する表示部と、
    少なくとも前記表示部を透過して視認される範囲でマーカーを検出する検出部と、
    前記表示領域に表示される画像の表示位置を制御する制御部と、を備え、
    前記制御部は、前記検出部により検出された前記マーカーの検出位置に基づいて、前記表示領域に表示される画像の表示位置を制御する、頭部装着型表示装置。
  10. 前記検出部により検出される前記マーカーの検出位置と、前記表示領域に表示される画像の表示位置または表示位置の移動量とを関係付ける表示制御情報を記憶する記憶部を備え、
    前記制御部は、前記検出部により検出された前記マーカーの検出位置に基づき、前記記憶部に記憶される前記表示制御情報を用いて、前記表示領域に表示される画像の表示位置または表示位置の移動量を求めることにより、前記表示領域に表示される画像の表示位置を制御する、請求項9記載の頭部装着型表示装置。
  11. 入力を受け付ける入力部を備え、
    前記制御部は、前記検出部により検出された前記マーカーの検出位置と、前記入力部により受け付けた入力に基づき決定される前記画像の表示位置と、を関連付ける前記表示制御情報を生成し、前記記憶部に記憶させる、請求項10記載の頭部装着型表示装置。
  12. 前記制御部は、前記表示領域に表示される画像に対して前記使用者が知覚する視認距離が異なるように、前記表示領域に表示される画像の表示位置を複数段階に変更し、
    前記入力部により受け付けた入力に基づき選択される表示位置と、前記検出部により検出された前記マーカーの検出位置と、を関連付ける前記表示制御情報を生成し、前記記憶部に記憶させる、請求項11記載の頭部装着型表示装置。
  13. 使用者の頭部に装着され、外景を透過して視認可能に構成され、前記外景と重畳する表示領域に画像を表示する表示部を備える頭部装着型表示装置の制御方法であって、
    前記表示領域に表示される画像に対して前記使用者が知覚する視認距離を表現する距離情報と、前記距離情報に対応付けられ、前記表示領域に表示される画像の表示位置または表示位置の移動量とを含む表示位置情報を予め記憶し、
    入力部によって入力を受け付け、
    前記入力部により受け付けた入力により前記距離情報が指定された場合に、指定された前記距離情報に対し前記表示位置情報によって対応付けられた画像の表示位置または表示位置の移動量に従って、前記表示領域に表示される画像の表示位置を制御する、頭部装着型表示装置の制御方法。
  14. 使用者の頭部に装着され、外景を透過して視認可能に構成され、前記外景と重畳する表示領域に画像を表示する表示部を備える頭部装着型表示装置の制御方法であって、
    少なくとも前記表示部を透過して視認される範囲でマーカーを検出し、
    検出した前記マーカーの検出位置に基づいて、前記表示領域に表示される画像の表示位置を制御する、頭部装着型表示装置の制御方法。
JP2017178631A 2017-09-19 2017-09-19 頭部装着型表示装置、及び頭部装着型表示装置の制御方法 Pending JP2019053644A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017178631A JP2019053644A (ja) 2017-09-19 2017-09-19 頭部装着型表示装置、及び頭部装着型表示装置の制御方法
US16/134,408 US20190086677A1 (en) 2017-09-19 2018-09-18 Head mounted display device and control method for head mounted display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017178631A JP2019053644A (ja) 2017-09-19 2017-09-19 頭部装着型表示装置、及び頭部装着型表示装置の制御方法

Publications (1)

Publication Number Publication Date
JP2019053644A true JP2019053644A (ja) 2019-04-04

Family

ID=65720046

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017178631A Pending JP2019053644A (ja) 2017-09-19 2017-09-19 頭部装着型表示装置、及び頭部装着型表示装置の制御方法

Country Status (2)

Country Link
US (1) US20190086677A1 (ja)
JP (1) JP2019053644A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020116179A1 (ja) * 2018-12-05 2020-06-11 ソニー株式会社 情報処理装置および方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110880719A (zh) * 2019-11-30 2020-03-13 国网河南省电力公司孟州市供电公司 一种可以模拟多种电缆头制作工具的手柄装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5387377B2 (ja) * 2009-12-14 2014-01-15 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP5541974B2 (ja) * 2010-06-14 2014-07-09 任天堂株式会社 画像表示プログラム、装置、システムおよび方法
EP2395765B1 (en) * 2010-06-14 2016-08-24 Nintendo Co., Ltd. Storage medium having stored therein stereoscopic image display program, stereoscopic image display device, stereoscopic image display system, and stereoscopic image display method
JP5725975B2 (ja) * 2011-05-27 2015-05-27 キヤノン株式会社 撮像装置及び撮像方法
JP5970872B2 (ja) * 2012-03-07 2016-08-17 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP6214236B2 (ja) * 2013-03-05 2017-10-18 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム
US9335547B2 (en) * 2013-03-25 2016-05-10 Seiko Epson Corporation Head-mounted display device and method of controlling head-mounted display device
JP6232763B2 (ja) * 2013-06-12 2017-11-22 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
WO2016073986A1 (en) * 2014-11-07 2016-05-12 Eye Labs, LLC Visual stabilization system for head-mounted displays
GB2532954A (en) * 2014-12-02 2016-06-08 Ibm Display control system for an augmented reality display system
US10162412B2 (en) * 2015-03-27 2018-12-25 Seiko Epson Corporation Display, control method of display, and program
CN107636514B (zh) * 2015-06-19 2020-03-13 麦克赛尔株式会社 头戴式显示装置和使用该装置的视觉辅助方法
US10757399B2 (en) * 2015-09-10 2020-08-25 Google Llc Stereo rendering system

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020116179A1 (ja) * 2018-12-05 2020-06-11 ソニー株式会社 情報処理装置および方法
US11924708B2 (en) 2018-12-05 2024-03-05 Sony Group Corporation Information processing device and information processing method

Also Published As

Publication number Publication date
US20190086677A1 (en) 2019-03-21

Similar Documents

Publication Publication Date Title
US11310483B2 (en) Display apparatus and method for controlling display apparatus
US10635182B2 (en) Head mounted display device and control method for head mounted display device
US10838205B2 (en) Head mounted display, control method thereof, and computer program
US10782531B2 (en) Head-mounted type display device and method of controlling head-mounted type display device
US10976836B2 (en) Head-mounted display apparatus and method of controlling head-mounted display apparatus
JP2018142857A (ja) 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法
US20170289533A1 (en) Head mounted display, control method thereof, and computer program
JP6492638B2 (ja) 表示装置、及び、表示装置の制御方法
US20170308157A1 (en) Head-mounted display device, display system, control method for head-mounted display device, and computer program
JP2018142168A (ja) 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法
JP2018148257A (ja) 頭部装着型表示装置およびその制御方法
JP2018124721A (ja) 頭部装着型表示装置、及び頭部装着型表示装置の制御方法
JP2019164420A (ja) 透過型頭部装着型表示装置および透過型頭部装着型表示装置の制御方法、透過型頭部装着型表示装置の制御のためのコンピュータープログラム
JP6776578B2 (ja) 入力装置、入力方法、コンピュータープログラム
JP2016024208A (ja) 表示装置、表示装置の制御方法、および、プログラム
JP2017146726A (ja) 移動支援装置、及び、移動支援方法
JP2018055416A (ja) 表示装置、頭部装着型表示装置、表示装置の制御方法、及び、プログラム
JP2019053644A (ja) 頭部装着型表示装置、及び頭部装着型表示装置の制御方法
JP6784056B2 (ja) 頭部装着型表示装置、表示システム、頭部装着型表示装置の制御方法、およびコンピュータープログラム
JP2017134630A (ja) 表示装置、表示装置の制御方法、及び、プログラム
JP2017182413A (ja) 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
JP2018091882A (ja) 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法
JP2017182460A (ja) 頭部装着型表示装置、頭部装着型表示装置の制御方法、コンピュータープログラム
JP2018067160A (ja) 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
JP2018092206A (ja) 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法