JP2016122177A - 表示装置、及び、表示装置の制御方法 - Google Patents

表示装置、及び、表示装置の制御方法 Download PDF

Info

Publication number
JP2016122177A
JP2016122177A JP2015195599A JP2015195599A JP2016122177A JP 2016122177 A JP2016122177 A JP 2016122177A JP 2015195599 A JP2015195599 A JP 2015195599A JP 2015195599 A JP2015195599 A JP 2015195599A JP 2016122177 A JP2016122177 A JP 2016122177A
Authority
JP
Japan
Prior art keywords
unit
head
user
display
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015195599A
Other languages
English (en)
Inventor
佐藤 慎也
Shinya Sato
慎也 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to US14/956,868 priority Critical patent/US9904053B2/en
Priority to CN201510924552.6A priority patent/CN105739095B/zh
Publication of JP2016122177A publication Critical patent/JP2016122177A/ja
Pending legal-status Critical Current

Links

Images

Abstract

【課題】使用者の頭部に装着される表示装置において、シンプルな装置構成により、使用者が好ましい状態で画像を見ることが可能な構成を実現する。【解決手段】頭部装着型表示装置100は、使用者の頭部に装着され、画像を表示し、外景を透過可能に構成された画像表示部20と、使用者の頭部に対する画像表示部20の相対位置を検出する9軸センサー66及び頭部側センサー71とを備える。頭部装着型表示装置100のAR表示制御部185は、9軸センサー66及び頭部側センサー71の検出結果に基づき、画像表示部20に表示されるオブジェクトの表示位置を調整する。【選択図】図3

Description

本発明は、表示装置、及び、表示装置の制御方法に関する。
従来、使用者が頭部に装着して使用する、ヘッドマウントディスプレイ(Head Mounted Display:HMD)と呼ばれる表示装置が知られている。この種の表示装置は、装着位置が標準的な位置からずれると、表示される画像を視認しにくいという問題がある。そこで、従来、使用者の目頭と眼球をカメラで撮像して、ディスプレイに対する目頭や目じりの位置を計測することにより、ディスプレイの位置ずれを検出する方法が提案された(例えば、特許文献1参照)。
国際公開2012/172719号
第1の課題として、上述した従来の構成では、使用者の目頭と眼球を撮像するカメラや、HMDに貼付するマーカーなど、位置の検出を行うための装備を設ける必要があったことが挙げられる。このため、装置構成の複雑化を招き、位置の検出を行うための使用者の作業の負荷が高いという問題があった。
或いは、第2の課題として、HMDにおいては使用者に面する側の面積は限られており、上述した従来の構成では、この限られた面積の部分に、光源、カメラ、これらに関する配線を設ける必要があったことが挙げられる。しかも、これらの光源やカメラは目頭や目じりを照明し撮像できる位置に配置する必要があった。この構成上の制約は、HMDのフレームを構成する枠体や構造体を小さく、或いは細いものにしようとする場合の妨げになる可能性があった。
本発明は上記事情に鑑みてなされたものであり、使用者の頭部に装着される表示装置において、シンプルな装置構成により、使用者が好ましい状態で画像を見ることが可能な構成を実現することを目的とする。
或いは、本発明は、使用者の頭部に装着される表示装置において、小型化が可能な構成を提供することを目的とする。
上記目的を達成するために、本発明の表示装置は、使用者の頭部に装着され、画像を表示し、外景を透過可能に構成された表示部と、前記使用者の頭部に対する前記表示部の相対位置を検出する検出部と、前記検出部の検出結果に基づき、前記表示部に表示されるオブジェクトの表示位置を調整する位置調整部と、を備えることを特徴とする。
本発明によれば、シンプルな装置構成により、使用者の頭部に対する表示部の相対位置に対応して表示位置を調整する。このため、適切な位置にオブジェクトを表示でき、使用者が好ましい状態で画像を見ることができる。
また、本発明は、上記表示装置において、前記検出部の検出結果に基づき、前記使用者の頭部に対する前記表示部の相対位置について、設定される基準時からの変化量を求める制御部を有すること、を特徴とする。
本発明によれば、使用者の頭部に対する表示部の相対位置の変化を、基準時からの変化量として求めることができるので、この相対位置の変化に対応する表示の調整等を容易に行うことができる。
また、本発明は、上記表示装置において、前記制御部は、前記表示部に表示されるオブジェクトの表示位置が調整された状態で前記基準時を設定すること、を特徴とする。
本発明によれば、使用者の頭部に対する表示部の相対位置の変化に対応して、オブジェクトの表示位置を容易に調整できる。
また、本発明は、上記表示装置において、前記検出部は前記表示部の動きまたは姿勢を検出するセンサーを含み、前記検出部は、前記センサーの出力と、前記使用者の頭部に設けられ前記頭部の動きまたは姿勢を検出する補助センサーの出力とに基づいて、前記使用者の頭部に対する前記表示部の前記相対位置を検出すること、を特徴とする。
本発明によれば、シンプルな構成により、使用者の頭部に対する表示部の相対位置の変化を検出できる。
また、本発明は、上記表示装置において、前記検出部は、前記表示部を支持する表示部本体と前記使用者の頭部との間の圧力を検出する圧力センサーを含むこと、を特徴とする。
本発明によれば、シンプルな構成により、使用者の頭部に対する表示部の相対位置の変化を検出できる。
また、本発明は、上記表示装置において、前記検出部は磁気センサーを含み、前記検出部は、前記磁気センサーが、前記使用者の頭部に配置された磁性体を検出した結果に基づいて、前記使用者の頭部に対する前記表示部の前記相対位置を検出すること、を特徴とする。
本発明によれば、磁気センサーを利用したシンプルな構成により、使用者の頭部に対する表示部の相対位置の変化を検出できる。
また、本発明は、上記表示装置において、前記検出部は磁性体を含み、前記検出部は、前記使用者の頭部に配置された磁気センサーが前記磁性体を検出した結果に基づいて、前記使用者の頭部に対する前記表示部の前記相対位置を検出すること、を特徴とする。
本発明によれば、磁気センサーを利用したシンプルな構成により、使用者の頭部に対する表示部の相対位置の変化を検出できる。
また、上記目的を達成するために、本発明の表示装置の制御方法は、使用者の頭部に装着され、画像を表示し、外景を透過可能に構成された表示部を有し、前記使用者の頭部に対する前記表示部の相対位置を検出する検出部を設けた表示装置を制御して、前記検出部の検出結果に基づき、前記表示部に表示するオブジェクトの表示位置を調整すること、を特徴とする。
本発明によれば、使用者の頭部に対する表示部の相対位置に対応してオブジェクトの表示位置を調整し、使用者が好ましい状態で画像を見ることを可能とする。
また、本発明は、使用者の頭部に装着され、画像を表示し、外景を透過可能に構成された表示部を有し、前記使用者の頭部に対する前記表示部の相対位置を検出する検出部を設けた表示装置を制御するコンピューターが実行するプログラムであって、前記検出部の検出結果に基づき、前記表示部に表示するオブジェクトの表示位置を調整することを特徴とするプログラムとして構成してもよい。
また、本発明は、上記のプログラムを記憶した記録媒体として構成してもよい。
上記のプログラムをコンピューターが実行することにより、表示装置は、使用者の頭部に対する表示部の相対位置に対応してオブジェクトの表示位置を調整し、使用者が好ましい状態で画像を見ることを可能とする。
第1実施形態に係る頭部装着型表示装置の外観構成を示す説明図。 画像表示部の光学系の構成を示す図。 第1実施形態の頭部装着型表示装置を構成する各部の機能ブロック図。 使用者の眼と表示画像との相対位置を示す図。 頭部装着型表示装置の動作を示すフローチャート。 頭部装着型表示装置の動作を示すフローチャート。 第2実施形態に係る頭部装着型表示装置の外観構成を示す説明図。 第2実施形態の頭部装着型表示装置を構成する各部の機能ブロック図。 第3実施形態に係る頭部装着型表示装置の外観構成を示す説明図。 第3実施形態の頭部装着型表示装置を構成する各部の機能ブロック図。
図1は、本発明を適用した実施形態に係る頭部装着型表示装置100(表示装置)の外観構成を示す説明図である。
頭部装着型表示装置100は、使用者の頭部に装着された状態で使用者に虚像を視認させる画像表示部20(表示部)と、画像表示部20を制御する制御装置10と、を備えている。制御装置10は、使用者が頭部装着型表示装置100を操作するコントローラーとしても機能する。
画像表示部20は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状のフレーム2(表示部本体)を有する。フレーム2は、表示部としての画像表示部20を支持する。フレーム2は、右保持部21及び左保持部23を有する。右保持部21は、右光学像表示部26の他端である端部ERから、使用者が画像表示部20を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部23は、左光学像表示部28の他端である端部ELから、使用者が画像表示部20を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部21は使用者の頭部において右耳またはその近傍に当接し、左保持部23は使用者の左耳またはその近傍に当接して、使用者の頭部に画像表示部20を保持する。
フレーム2には、右保持部21と、右表示駆動部22と、左保持部23と、左表示駆動部24と、右光学像表示部26と、左光学像表示部28と、カメラ61(撮像部)と、マイク63とが設けられる。
右光学像表示部26及び左光学像表示部28は、それぞれ、使用者が画像表示部20を装着した際に使用者の右及び左の眼前に位置するように配置されている。右光学像表示部26の一端と左光学像表示部28の一端とは、使用者が画像表示部20を装着した際の使用者の眉間に対応する位置で、互いに連結されている。
右保持部21は、右光学像表示部26の他端である端部ERから、使用者が画像表示部20を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部23は、左光学像表示部28の他端である端部ELから、使用者が画像表示部20を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部21及び左保持部23は、眼鏡のテンプル(つる)のようにして、使用者の頭部に画像表示部20を保持する。
右表示駆動部22と左表示駆動部24とは、使用者が画像表示部20を装着した際の使用者の頭部に対向する側に配置されている。なお、右表示駆動部22及び左表示駆動部24を総称して単に「表示駆動部」とも呼び、右光学像表示部26及び左光学像表示部28を総称して単に「光学像表示部」とも呼ぶ。
表示駆動部22,24は、液晶ディスプレイ241,242(Liquid Crystal Display、以下「LCD241,242」と呼ぶ)、図3を参照して後述する投写光学系251,252等を含む。
右光学像表示部26及び左光学像表示部28は、導光板261,262(図2)と、調光板20Aとを備える。導光板261,262は、光透過性の樹脂等によって形成され、表示駆動部22,24が出力する画像光を、使用者の眼に導く。調光板20Aは、薄板状の光学素子であり、使用者の眼の側とは反対の側である画像表示部20の表側を覆うように配置される。調光板20Aは、光透過性がほぼ無いもの、透明に近いもの、光量を減衰させて光を透過するもの、特定の波長の光を減衰又は反射するもの等、種々のものを用いることができる。調光板20Aの光学特性(光透過率など)を適宜選択することにより、外部から右光学像表示部26及び左光学像表示部28に入射する外光量を調整して、虚像の視認のしやすさを調整できる。本実施形態では、少なくとも、頭部装着型表示装置100を装着した使用者が外の景色を視認できる程度の光透過性を有する調光板20Aを用いる場合について説明する。調光板20Aは、右導光板261及び左導光板262を保護し、右導光板261及び左導光板262の損傷や汚れの付着等を抑制する。
調光板20Aは、右光学像表示部26及び左光学像表示部28に対し着脱可能としてもよく、複数種類の調光板20Aを交換して装着可能としてもよいし、省略してもよい。
カメラ61は、右光学像表示部26と左光学像表示部28との境目部分に配置される。使用者が画像表示部20を装着した状態で、カメラ61の位置は、水平方向においては使用者の両眼のほぼ中間であり、鉛直方向においては使用者の両眼より上である。カメラ61は、CCDやCMOS等の撮像素子及び撮像レンズ等を備えるデジタルカメラであり、単眼カメラであってもステレオカメラであってもよい。
カメラ61は、頭部装着型表示装置100の表側方向、換言すれば、頭部装着型表示装置100を装着した状態における使用者の視界方向の少なくとも一部の外景を撮像する。カメラ61の画角の広さは適宜設定可能であるが、カメラ61の撮像範囲が、使用者が右光学像表示部26、左光学像表示部28を通して視認する外界を含む範囲であることが好ましい。さらに、調光板20Aを通した使用者の視界の全体を撮像できるようにカメラ61の撮像範囲が設定されているとより好ましい。
カメラ61は、制御部140が備える撮像処理部161(図3)の制御に従って撮像を実行し、撮像画像データを撮像処理部161に出力する。
図2は、画像表示部20が備える光学系の構成を示す要部平面図である。図2には説明のため使用者の左眼LE及び右眼REを図示する。
左表示駆動部24は、左バックライト222、左LCD242、及び左投写光学系252を備える。左バックライト222はLED等の光源と拡散板とを有する。左LCD242は、左バックライト222の拡散板から発せられる光の光路上に配置され、複数の画素をマトリクス状に配置した透過型液晶パネルである。左投写光学系252は、左LCD242を透過した画像光Lを導くレンズ群等を備える。
左投写光学系252は、左LCD242から射出された画像光Lを平行状態の光束にするコリメートレンズを有する。コリメートレンズにより平行状態の光束にされた画像光Lは、左導光板262に入射される。左導光板262は、画像光Lを反射する複数の反射面が形成されたプリズムであり、画像光Lは、左導光板262の内部において複数回の反射を経て左眼LE側に導かれる。左導光板262には、左眼LEの眼前に位置するハーフミラー262Aが形成される。
ハーフミラー262Aで反射した画像光Lは左眼LEに向けて左光学像表示部28から射出され、この画像光Lが左眼LEの網膜に像を結び、使用者に画像を視認させる。
右表示駆動部22は、左表示駆動部24と左右対称に構成される。右表示駆動部22は、右バックライト221、右LCD241、及び右投写光学系251を備える。右バックライト221はLED等の光源と拡散板とを有する。右LCD241は、右バックライト221の拡散板から発せられる光の光路上に配置され、複数の画素をマトリクス状に配置した透過型液晶パネルである。右投写光学系251は、右LCD241を透過した画像光Lを導くレンズ群等を備える。
右投写光学系251は、右LCD241から射出された画像光Lを平行状態の光束にするコリメートレンズを有する。コリメートレンズにより平行状態の光束にされた画像光Lは、右導光板261に入射される。右導光板261は、画像光Lを反射する複数の反射面が形成されたプリズムであり、画像光Lは、右導光板261の内部において複数回の反射を経て右眼RE側に導かれる。右導光板261には、右眼REの眼前に位置するハーフミラー261Aが形成される。
ハーフミラー261Aで反射した画像光Lは右眼REに向けて右光学像表示部26から射出され、この画像光Lが右眼REの網膜に像を結び、使用者に画像を視認させる。
使用者の右眼REには、ハーフミラー261Aで反射した画像光Lと、調光板20Aを透過した外光OLとが入射する。左眼LEには、ハーフミラー262Aで反射した画像光Lと、調光板20Aを透過した外光OLとが入射する。このように、頭部装着型表示装置100は、内部で処理した画像の画像光Lと外光OLとを重ねて使用者の眼に入射させ、使用者にとっては、調光板20Aを透かして外景が見え、この外景に重ねて、画像光Lによる画像が視認される。このように、頭部装着型表示装置100は、シースルー型の表示装置として機能する。
なお、左投写光学系252と左導光板262とを総称して「左導光部」とも呼び、右投写光学系251と右導光板261とを総称して「右導光部」と呼ぶ。右導光部及び左導光部の構成は上記の例に限定されず、画像光を用いて使用者の眼前に虚像を形成する限りにおいて任意の方式を用いることができ、例えば、回折格子を用いても良いし、半透過反射膜を用いても良い。
画像表示部20は、制御装置10に接続部40を介して接続する。接続部40は、制御装置10に接続される本体コード48、右コード42、左コード44、及び、連結部材46を備える。右コード42及び左コード44は、本体コード48が2本に分岐したコードである。右コード42は、右保持部21の延伸方向の先端部APから右保持部21の筐体内に挿入され、右表示駆動部22に接続される。同様に、左コード44は、左保持部23の延伸方向の先端部APから左保持部23の筐体内に挿入され、左表示駆動部24に接続される。
連結部材46は、本体コード48と、右コード42及び左コード44との分岐点に設けられ、イヤホンプラグ30を接続するためのジャックを有する。イヤホンプラグ30からは、右イヤホン32及び左イヤホン34が延伸する。イヤホンプラグ30の近傍にはマイク63が設けられる。イヤホンプラグ30からマイク63までは一本のコードにまとめられ、マイク63からコードが分岐して、右イヤホン32と左イヤホン34のそれぞれに繋がる。
マイク63は、例えば図1に示すように、マイク63の集音部が使用者の視線方向を向くように配置され、音声を集音して、音声信号を音声処理部187(図3)に出力する。マイク63は、例えばモノラルマイクであってもステレオマイクであってもよく、指向性を有するマイクであってもよいし、無指向性のマイクであってもよい。
右コード42、左コード44、及び、本体コード48は、デジタルデータを伝送可能なものであればよく、例えば金属ケーブルや光ファイバーで構成できる。また、右コード42と左コード44とを一本のコードにまとめた構成としてもよい。
画像表示部20と制御装置10とは、接続部40を介して各種信号を伝送する。本体コード48の連結部材46とは反対側の端部、及び、制御装置10には、互いに嵌合するコネクター(図示略)が設けられる。本体コード48のコネクターと制御装置10のコネクターとを嵌合し、或いは、この嵌合を外すことで、制御装置10と画像表示部20とを接離できる。
制御装置10は、頭部装着型表示装置100を制御する。制御装置10は、決定キー11、点灯部12、表示切替キー13、輝度切替キー15、方向キー16、メニューキー17、及び電源スイッチ18を含むスイッチ類を備える。また、制御装置10は、使用者が手指で操作するトラックパッド14を備える。
決定キー11は、押下操作を検出して、制御装置10で操作された内容を決定する信号を出力する。点灯部12は、LED(Light Emitting Diode)等の光源を備え、光源の点灯状態により、頭部装着型表示装置100の動作状態(例えば、電源のON/OFF)を通知する。表示切替キー13は、押下操作に応じて、例えば、画像の表示モードの切り替えを指示する信号を出力する。
トラックパッド14は、接触操作を検出する操作面を有し、操作面に対する操作に応じて操作信号を出力する。操作面における検出方式は限定されず、静電式、圧力検出式、光学式等を採用できる。輝度切替キー15は、押下操作に応じて画像表示部20の輝度の増減を指示する信号を出力する。方向キー16は、上下左右方向に対応するキーへの押下操作に応じて操作信号を出力する。電源スイッチ18は、頭部装着型表示装置100の電源オン/オフを切り替えるスイッチである。
また、図1に示すように、頭部装着型表示装置100は、使用者の頭部に装着される頭部側センサー71(補助センサー)と協働するように構成されている。本明細書では、特に記載した場合を除き、頭部装着型表示装置100と、頭部側センサー71と、を備えた装置を「表示システム」と表記することもある。頭部側センサー71は、使用者の頭部に、直接また間接的に固定される慣性センサーであり、使用者の頭部の動き、或いは、使用者の頭部の姿勢を検出する。具体的には、頭部側センサー71は、図示しないベルト、紐、髪留め用のピン、或いは粘着材等の手段により、使用者の頭部や頭髪に直接固定され、或いは、帽子やヘルメット、左・右イヤホン32、34等の頭部装着体に固定される。頭部側センサー71は、加速度センサーや角速度(ジャイロ)センサーで構成できる。本実施形態の頭部側センサー71は、3軸のジャイロセンサーとする。
頭部側センサー71と画像表示部20とは、互いに自由に変位可能である。本実施形態の頭部側センサー71は、画像表示部20とは別体として構成され、画像表示部20に接続されていないため、画像表示部20を、頭部側センサー71の位置に制限されず変位させることが可能である。頭部側センサー71は、画像表示部20に接続する形態としてもよい。例えば、頭部側センサー71の紛失を防止するためのワイヤーや紐、或いは、頭部側センサー71と画像表示部20とを電気的に接続するケーブルで、接続する態様としてもよい。この場合も、画像表示部20が頭部側センサー71に対して自由に変位できる構成とすることが好ましい。
フレーム2には、9軸センサー66(センサー)が内蔵される。9軸センサー66は、後述するように、加速度センサー、磁気センサー、及び角速度センサーを内蔵したユニットである。9軸センサー66は、図1に示すように、眼鏡のテンプル部に相当する右保持部21に内蔵される。9軸センサー66はフレーム2に固定されており、フレーム2が変位した場合に、この動き及びフレーム2の姿勢が9軸センサー66で検出される。9軸センサー66の位置はフレーム2の右保持部21に限定されず、フレーム2に対して変位しないよう配置されていればよく、9軸センサー66の位置は任意である。
頭部側センサー71は、内蔵する検出機構の測定基準点において、図1に示すX軸まわりの回転(ピッチ)、Y軸回りの回転(ヨー)、及びZ軸まわりの回転(ロール)を検出する。頭部側センサー71が角速度を検出する軸は、図1に示すように、画像表示部20を装着する使用者の頭部に対し左右方向をX軸、前後方向をY軸、上下方向をZ軸とする。より詳細には、頭部装着型表示装置100の装着状態において、画像表示部20は左右の眼に対し、使用者が知覚する水平な位置にある。
また、また、9軸センサー66が備える3軸の角速度センサーは、X軸、Y軸、及びZ軸回りの回転を検出する。9軸センサー66が角速度を検出するX軸は、頭部装着型表示装置100のフレーム2において、右光学像表示部26及び左光学像表示部28を含む前部の水平方向に相当する。また、Y軸は、フレーム2の前後に相当し、Z軸はフレーム2の高さ方向に相当する。フレーム2が、通常の状態で使用者の頭部に装着された場合、9軸センサー66が角速度を検出する軸は、頭部側センサー71が角速度を検出する軸に概ね一致するが、必ずしも一致させる必要はない。
図3は、頭部装着型表示装置100を構成する各部の機能ブロック図である。
頭部装着型表示装置100は、コンテンツの供給元となる種々の外部機器OAを接続するインターフェイス125を備える。インターフェイス125は、例えば、USBインターフェイス、マイクロUSBインターフェイス、メモリーカード用インターフェイス等の有線接続に対応したインターフェイスを用いることができ、無線通信インターフェイスで構成してもよい。外部機器OAは、頭部装着型表示装置100に画像を供給する画像供給装置であり、パーソナルコンピューター(PC)、携帯電話端末、携帯型ゲーム機等が用いられる。
制御装置10は、制御部140、入力情報取得部110、記憶部120、送信部(Tx)51及び送信部(Tx)52を有する。
入力情報取得部110は、操作部111に接続される。操作部111は、上記のトラックパッド14、方向キー16、電源スイッチ18等を含み、入力情報取得部110は、操作部111から入力される信号に基づき、入力内容を取得する。また、制御装置10は、電源部(図示略)を備え、制御装置10及び画像表示部20の各部に電源を供給する。
記憶部120は、不揮発性の記憶装置であって、種々のコンピュータープログラム、および、これらのプログラムに係るデータを記憶する。また、記憶部120は、画像表示部20に表示する静止画像や動画像のデータを記憶しても良い。
記憶部120は、設定データを記憶する。設定データは、制御部140が実行する各種処理に関して予め設定される設定値を含む。例えば、画像処理部160及び表示制御部170が画像信号を処理する場合の解像度等の設定値を含む。設定データが含む値は、予め操作部111の操作で入力された値であってもよいし、通信部117またはインターフェイス125を介して外部機器OAまたは他の装置(図示略)から設定値を受信して記憶してもよい。
また、記憶部120は、コンテンツデータを記憶する。このコンテンツデータは、AR表示制御部185(位置調整部)がAR表示するコンテンツの画像(静止画像、或いは動画像)データ、及び/又は音声データを含む。
制御部140には、3軸センサー113、GPS115、通信部117及び音声認識部114が接続される。3軸センサー113は3軸の加速度センサーであり、制御部140は3軸センサー113の検出値を取得する。GPS115は、アンテナ(図示略)を備え、GPS(Global Positioning System)信号を受信し、制御装置10の現在位置を算出する。GPS115は、GPS信号に基づいて求めた現在位置や現在時刻を制御部140に出力する。また、GPS115はGPS信号に含まれる情報に基づいて現在時刻を取得し、制御部140が計時する時刻を修正させる機能を備えていてもよい。
通信部117は、無線LAN(WiFi(登録商標))、Miracast(登録商標)、Bluetooth(登録商標)等の規格に準じた無線データ通信を実行する。
外部機器OAが、通信部117に無線接続された場合、制御部140は、コンテンツデータを通信部117より取得して、画像表示部20に画像を表示させる。一方、外部機器OAが、インターフェイス125に有線接続された場合、制御部140は、コンテンツデータをインターフェイス125より取得して、画像表示部20に画像を表示させる。通信部117及びインターフェイス125は、外部機器OAからコンテンツデータを取得するデータ取得部DAとして機能する。
制御部140は、プログラムを実行するCPU(図示略)、CPUが実行するプログラムやデータを一時的に格納するRAM(図示略)、及び、CPUが実行する基本制御プログラムやデータを不揮発的に記憶するROM(図示略)を有する。制御部140は、CPUにより制御プログラムを実行することで、頭部装着型表示装置100の各部を制御する。また、制御部140は、記憶部120が記憶するコンピュータープログラムを読み出して実行し、制御部140の各種機能を実現する。すなわち、オペレーティングシステム(OS)150、画像処理部160、表示制御部170、撮像処理部181、装着位置検出部183、AR表示制御部185、及び、音声処理部187として機能する。
画像処理部160は、コンテンツに含まれる画像信号を取得する。画像処理部160は、取得した画像信号から、垂直同期信号VSyncや水平同期信号HSync等の同期信号を分離する。また、画像処理部160は、分離した垂直同期信号VSyncや水平同期信号HSyncの周期に応じて、PLL(Phase Locked Loop)回路等(図示略)を利用してクロック信号PCLKを生成する。画像処理部160は、同期信号が分離されたアナログ画像信号を、A/D変換回路等(図示略)を用いてディジタル画像信号に変換する。画像処理部160は、変換後のディジタル画像信号を、対象画像の画像データ(図中、Data)として、1フレームごとに、制御部140のRAMに格納する。この画像データは、例えばRGBデータである。
なお、画像処理部160は、必要に応じて、画像データの解像度を右表示駆動部22及び左表示駆動部24に適した解像度に変換する解像度変換処理を行ってもよい。また、画像処理部160は、画像データの輝度や彩度を調整する画像調整処理、3D画像データから2D画像データを作成し、或いは2D画像データから3D画像データを生成する2D/3D変換処理等を実行してもよい。
画像処理部160は、クロック信号PCLK、垂直同期信号VSync、水平同期信号HSync、RAMに格納された画像データDataのそれぞれを送信部51、52を介して送信する。送信部51、52は、トランシーバーとして機能し、制御装置10と画像表示部20との間におけるシリアル伝送を実行する。なお、送信部51を介して送信される画像データDataを「右眼用画像データ」と呼び、送信部52を介して送信される画像データDataを「左眼用画像データ」と呼ぶ。
表示制御部170は、右表示駆動部22及び左表示駆動部24を制御する制御信号を生成し、この制御信号により、右表示駆動部22及び左表示駆動部24のそれぞれによる画像光の生成及び射出を制御する。具体的には、右LCD制御部211による右LCD241の駆動ON/OFF、右バックライト制御部201による右バックライト221の駆動ON/OFFを制御する。また、表示制御部170は、左LCD制御部212による左LCD242の駆動ON/OFF、左バックライト制御部202による左バックライト222の駆動ON/OFFを制御する。
画像処理部160及び表示制御部170は、後述するAR表示制御部185の制御に従って、右LCD241及び左LCD242における画像の表示位置を変更する機能を有する。具体的には、AR表示制御部185が、表示位置をシフトさせるシフト量及びシフト方向を示す制御データを生成した場合、この制御データに従って、画像処理部160が画像データをシフトさせる。また、表示制御部170は、AR表示制御部185が生成する制御データに従って、右LCD制御部211及び左LCD制御部212を制御し、右LCD241及び左LCD242における画像の表示位置をシフトさせる。
さらに、画像処理部160及び表示制御部170は、後述するAR表示制御部185の制御に従って、右LCD241及び左LCD242における画像の表示サイズを変更する機能を有する。具体的には、AR表示制御部185が、表示サイズを指定する制御データを生成した場合、この制御データに従って、画像処理部160が画像データを拡大または縮小させる。また、表示制御部170は、AR表示制御部185が生成する制御データに従って、右LCD制御部211及び左LCD制御部212を制御し、右LCD241及び左LCD242における画像の表示サイズを拡大または縮小させる。
画像処理部160及び表示制御部170のいずれか一方が上記処理を行って表示位置を変更してもよい。また、両方で上記処理を行ってもよく、この場合、AR表示制御部185は画像処理部160と表示制御部170のそれぞれに対応する制御データを生成してもよい。
撮像処理部181は、カメラ61を制御して撮像を実行させ、撮像画像データを取得する。
装着位置検出部183は、9軸センサー66及び頭部側センサー71に接続して、フレーム2の動きの検出値、及び、頭部側センサー71の動きに係る角速度の検出値を取得する。装着位置検出部183は、9軸センサー66とともに、本発明の検出部として機能し、そして検出部は、頭部側センサー71と協働する。これらの検出部は、画像表示部20を透過して使用者が視認する範囲外に設けられる。
装着位置検出部183は、使用者が画像表示部20を装着した状態で指定された時点(基準時)における9軸センサー66及び頭部側センサー71の検出値、又は、9軸センサー66の検出値と頭部側センサー71の検出値の差を保持する。この保持した値を基準値とする。基準値は制御部140が有するメモリー(図示略)に記憶されてもよいし、記憶部120が記憶してもよい。
装着位置検出部183は、9軸センサー66及び頭部側センサー71の検出値を取得し、取得した検出値、または検出値の差を基準値と比較することにより、使用者の頭部に対するフレーム2の相対位置の変化を検出し、変化量を算出する。
AR表示制御部185は、記憶部120が記憶するコンテンツデータを読み出し、画像処理部160及び表示制御部170を制御して、AR表示用の画像を画像表示部20により表示させる。また、AR表示制御部185は、コンテンツデータ123が音声データを含む場合、音声処理部187を制御して、右イヤホン32、左イヤホン34からコンテンツの音声を出力させる。
AR表示制御部185は、使用者が画像表示部20越しに対象物を見ている状態でARコンテンツを表示する。AR表示制御部185は、対象物に対応する位置に画像や文字等を表示するAR表示を行うことで、対象物に関する情報を提供し、或いは、画像表示部20越しに見える対象物の姿の見え方を変える。ARコンテンツは、対象物に対応する位置に表示される画像や文字のデータを含む。また、ARコンテンツに、対象物を特定するデータ、及び、画像や文字の表示位置に関するデータ等を含んでもよい。ARコンテンツの表示位置は対象物に重なる位置であっても対象物の周囲であってもよい。対象物は物体であればよく、建物等の不動産であってもよいし、自動車や電車などの移動体であってもよく、人間や動物などの生物であってもよい。AR表示制御部185は、撮像処理部181が取得する撮像画像データから、使用者の視界に位置する対象物を検出する。そして、AR表示制御部185は、検出した対象物に対応するARコンテンツの表示位置を決定し、ARコンテンツを表示する。
ARコンテンツは、使用者が対象物を視認する位置に重なるように、或いは、対象物を視認する位置に合わせて、表示することが望ましい。このため、AR表示制御部185は、撮像処理部181の撮像画像データから対象物の画像を検出し、検出した対象物の画像と撮像画像全体との位置関係に基づき、カメラ61の撮像範囲における対象物の位置を特定する。
AR表示制御部185は、例えばAR表示を開始する際に、カメラ61の撮像範囲と、画像表示部20の表示領域との位置関係を特定するキャリブレーションを実行する。キャリブレーションを実行した後は、カメラ61の撮像範囲と画像表示部20の表示領域とが対応付けられるため、AR表示の対象物をカメラ61の撮像画像から検出し、この対象物に対応する位置にコンテンツを表示できる。
このキャリブレーションでは、例えば、実際の物体を撮像したカメラ61の撮像画像を画像表示部20の表示領域に表示する。そして、画像表示部20の表示領域を透過して視認される上記物体と、画像表示部20の表示領域に画像として表示された上記物体とが、頭部装着型表示装置100を装着する使用者の眼の中で重なるようにする。より具体的には、画像表示部20の表示領域を透過して視認される物体の像と画像表示部20の表示領域に表示された物体の画像とが、位置、大きさ、及び向きが同じ状態で視認されるように、画像表示部20の表示位置やサイズを調整する。この調整は、後述するように、使用者の操作に応じて制御部140のAR表示制御部185が実行する。
また、AR表示制御部185は、フレーム2の位置がずれる等の原因で、キャリブレーションで対応付けられたカメラ61の撮像範囲と画像表示部20の表示領域との相対位置が変化した場合、この変化に合わせてコンテンツの表示位置を補正できる。
この場合、AR表示制御部185は、装着位置検出部183が算出する変化量に基づき、表示位置を移動する方向及び移動量を算出する。AR表示制御部185は、表示位置の移動(シフト)に関する制御データを生成して、画像処理部160及び表示制御部170に出力し、表示位置を移動させる。ここで、AR表示制御部185は、コンテンツを表示する表示サイズを変更させる制御データを生成して出力してもよい。
音声処理部187は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、右イヤホン32および左イヤホン34に出力する。また、音声処理部187は、マイク63により集音される音声を取得してディジタル音声データに変換する。音声処理部187は、ディジタル音声データに対して予め設定された処理を行ってもよい。
画像表示部20は、インターフェイス25と、右表示駆動部22と、左表示駆動部24と、右光学像表示部26としての右導光板261と、左光学像表示部28としての左導光板262と、カメラ61と、振動センサー65と、9軸センサー66とを備えている。
振動センサー65は、加速度センサーを利用して構成され、例えば図1に示すように、右保持部21において右光学像表示部26の端部ERの近傍に内蔵される。振動センサー65は、使用者が端部ERを叩く操作(ノック操作)を行った場合に、この操作による振動を検出して、検出結果を制御部140に出力する。この振動センサー65の検出結果により、制御部140は、使用者によるノック操作を検出する。
9軸センサー66は、加速度(3軸)、角速度(3軸)、地磁気(3軸)を検出するモーションセンサーである。制御部140は、画像表示部20が使用者の頭部に装着されているとき、9軸センサー66の検出値に基づいて使用者の頭部の動きを検出できる。例えば、制御部140は、9軸センサー66の検出値に基づき、画像表示部20の傾きの大きさと傾きの向きを推定できる。
インターフェイス25は、右コード42と左コード44とが接続されるコネクターを備える。インターフェイス25は、送信部51から送信されるクロック信号PCLK、垂直同期信号VSync、水平同期信号HSync、画像データDataを、対応する受信部(Rx)53、54に出力する。また、インターフェイス25は、表示制御部170から送信される制御信号を、対応する受信部53、54、右バックライト制御部201又は左バックライト制御部202に出力する。
また、インターフェイス25は、カメラ61、振動センサー65及び9軸センサー66を接続するインターフェイスである。振動センサー65による振動の検出結果や、9軸センサー66による加速度(3軸)、角速度(3軸)、地磁気(3軸)の検出結果は、インターフェイス25を介して制御部140に送られる。
右表示駆動部22は、上述した右バックライト221、右LCD241、及び右投写光学系251を備える。また、右表示駆動部22は、受信部53、右バックライト(BL)221を制御する右バックライト(BL)制御部201、及び、右LCD241を駆動する右LCD制御部211を備える。
受信部53は、送信部51に対応するレシーバーとして動作し、制御装置10と画像表示部20との間におけるシリアル伝送を実行する。右バックライト制御部201は、入力された制御信号に基づいて、右バックライト221を駆動する。右LCD制御部211は、受信部53を介して入力されたクロック信号PCLKと、垂直同期信号VSyncと、水平同期信号HSyncと、右眼用画像データDataと、に基づいて、右LCD241を駆動する。
左表示駆動部24は、右表示駆動部22と同様の構成を有する。左表示駆動部24は、上述した左バックライト222、左LCD242、及び左投写光学系252を備える。また、左表示駆動部24は、受信部54、左バックライト222を駆動する左バックライト制御部202、及び、左LCD242を駆動する左LCD制御部212を備える。
受信部54は、送信部52に対応するレシーバーとして動作し、制御装置10と画像表示部20との間におけるシリアル伝送を実行する。左バックライト制御部202は、入力された制御信号に基づいて、左バックライト222を駆動する。左LCD制御部212は、受信部54を介して入力されたクロック信号PCLKと、垂直同期信号VSyncと、水平同期信号HSyncと、右眼用画像データDataと、に基づいて、左LCD242を駆動する。
なお、右バックライト制御部201と、右LCD制御部211と、右バックライト221と、右LCD241とを総称して、右の「画像光生成部」とも呼ぶ。同様に、左バックライト制御部202と、左LCD制御部212と、左バックライト222と、左LCD242とを総称して、左の「画像光生成部」とも呼ぶ。
ところで、使用者が頭部装着型表示装置100を装着して画像を見る場合に、使用者の眼とフレーム2との相対位置が変化すると、使用者にとっての画像の見え方に影響が生じる。
図4(A)及び(B)は、使用者の眼とフレーム2との位置関係を示す説明図であり、図4(A)は平面図、図4(B)は側面図である。
図4(A)及び(B)には、使用者が画像表示部20を頭部に装着して、使用者の前方に位置する対象物Oを視認する例を示す。画像表示部20は、AR(Augmented Reality)効果を奏する画像等のコンテンツ(以下、ARコンテンツという)を、使用者に視認させる。使用者は、実際に使用者の前方にある対象物Oを、右導光板261、左導光板262及び調光板20A越しに視認し、ARコンテンツを視認する。そして、対象物OにARコンテンツが重なって見えることで、ARの効果が得られる。
画像表示部20は、右導光板261、左導光板262により、画像光Lを使用者の眼に入射させることでARコンテンツを視認させる。このとき使用者が視認するARコンテンツは、右導光板261上に形成される実像でなく、画像光Lが眼内に形成する虚像である。図4(A)及び(B)には、画像表示部20が生成する虚像を実像と見なした場合の、奥行き方向における表示位置を、符号Pで示す。言い換えれば、画像表示位置Pに画像(実像)を表示すると、この画像は画像表示部20が生成する虚像と等価とみなすことができる。
画像表示位置Pは、使用者の両眼と対象物Oとを結ぶ仮想軸線上の位置であり、ハーフミラー261A、262Aの位置により決まる。
図4(A)に示すように、使用者が対象物Oを視認する場合、対象物Oから右眼REと左眼LEのそれぞれに、外光OLが入射する。このとき、右眼REには、画像表示位置Pに表示される画像のうち位置RPにあるARコンテンツが、対象物Oに重なって視認される。また、左眼LEには、画像表示位置Pに表示される画像のうち位置LPにあるARコンテンツが、対象物Oに重なって視認される。
従って、頭部装着型表示装置100は、表示位置Pにおいて、符号RP、LPで示す位置に視認されるように、ARコンテンツを表示すると、ARコンテンツと対象物Oとが重なり、ARの効果を十分に得ることができる。
また、図4(B)は、対象物Oと右眼RE及び左眼LEとの間の距離の影響を示す。なお、図4(B)は側面視を示しているので、使用者の左眼LEを図示するが、使用者の右眼REにおける見え方も同じように考えることができる。
ARコンテンツは対象物Oに重なって見える場合に、実際の景色にない情報を使用者に提供したり、実際の景色と異なる見え方で対象物Oを視認させたりする効果がある。このため、ARコンテンツが視認されるサイズと対象物Oの実際の大きさとを対応させることが望ましい。
使用者がARコンテンツを視認するサイズは、図4(B)に示すように、位置Pにおける表示サイズと、左眼LEと位置Pとの間の距離D1、及び、位置Pから対象物Oまでの距離D2により決まる。ここで、画像表示位置Pと左眼LEとの距離D1は、画像表示部20の形状、仕様から概ね一定であるが、フレーム2の位置がずれた場合は距離D1が変化する。このため、使用者が視認するARコンテンツのサイズが変わる。
また、フレーム2の位置がずれた場合に、図4(A)に示す対象物O、使用者の眼RE、LE、及び位置RP、LPの相対位置関係が変化する。すなわち、対象物Oと右眼REとを結ぶ直線に対し、位置RPの相対的な位置が変化する。左眼LE及び位置LPについても同様である。この変化は、画像表示部20に表示されるARコンテンツの表示位置の変化を生み、使用者にはARコンテンツの表示位置がずれたように視認される。
そこで、頭部装着型表示装置100は、使用者が頭部装着型表示装置100を装着し、ARコンテンツを表示する場合に、使用者の頭部に対するフレーム2の位置が変化したときに、この変化に対応してARコンテンツの表示位置、及び/又は表示サイズを調整する。例えば、図4(A)に示す対象物O、使用者の眼RE、LE、及び位置RP、LPの相対位置関係の変化に対応して、ARコンテンツの表示位置を調整する。また、例えば、図4(B)に示す左眼LEと位置Pとの間の距離D1、及び、位置Pから対象物Oまでの距離D2の値または距離の比の変化に対応して、ARコンテンツの表示サイズを調整する。
使用者の眼と画像表示部20の表示領域であるハーフミラー261A、262Aとの相対位置の変化は、使用者の頭部とフレーム2の相対位置の変化として検出できる。この構成では、使用者の眼を直接観測する必要がなく、構成がシンプルで済むという利点がある。例えば、上述した特許文献1に記載された構成は、HMDにおいて使用者側に面する限られたスペースに、使用者の目頭や目じりを撮像するカメラや、光源、及びこれらに接続する配線を設ける必要がある。これに対し、本実施形態の構成は、使用者の頭部とフレーム2の相対位置の変化を検出すれば実現可能であり、使用者の眼を観測する機能部をフレーム2に設ける等の複雑な構造、或いは構造的な制約が発生しにくい。従って、頭部装着型表示装置100の装置構成はシンプルであり、構造上の制約を受けにくく、例えばフレーム2を小型化し、或いは細いフレームで構成しようとした場合、実現容易性の面で優れる。また、9軸センサー66および頭部側センサー71といった、カメラの検出レート(フレームレート)よりも高い検出レートを実現し得る構成を用いて、またはカメラの解像度よりも高い解像度(検出精度)を実現し得る構成を用いて、使用者の頭部に対するフレーム2の相対位置、または相対位置の変化を検出することから、カメラに取得された撮像画像等の画像データを処理する構成に比べて、相対位置の検出の遅延を生じにくく、また相対値の検出精度の高いHMDが得られるという利点がある。また、本実施形態では、カメラを用いる場合と異なり、相対位置の検出において撮像画像の各フレームから特徴点を抽出する画像処理が不要になることから、相対位置の検出がより高速になり得る。
図5及び図6は、頭部装着型表示装置100の動作を示すフローチャートである。図5は特に、制御部140の制御により実行されるキャリブレーションを示す。
使用者が頭部装着型表示装置100を装着して(ステップS11)、初期化の操作を行うと、制御部140のAR表示制御部185は、初期キャリブレーションを実行する(ステップS12)。
図6に、初期キャリブレーションの動作を詳細に示す。
AR表示制御部185は、画像処理部160及び表示制御部170を制御して、キャリブレーション用の画像を、画像表示部20により表示させる(ステップS31)。キャリブレーション用の画像は、使用者が目安とする画像や文字、或いは記号であり、ここでは仮想のオブジェクトとする。AR表示制御部185は、仮想のオブジェクトを画像表示部20の表示領域の中心に表示する。なお、画像表示部20の表示領域の中心とは、ハーフミラー261A、262Aの中心を指すが、本実施形態では右LCD241及び左LCD242の中心が、ハーフミラー261A、262Aの中心に対応する。また、仮想オブジェクトは、ハーフミラー261A、262Aのいずれか一方に表示してもよい。
続いて、AR表示制御部185は、仮想オブジェクトに指を重ねるように、使用者への案内を行う(ステップS32)。この案内は、例えば、右LCD241及び/又は左LCD242に画像や文字を表示する方法、音声処理部187が右イヤホン32及び/又は左イヤホン34で音声を出力する方法で行われる。使用者は、案内に従って、手指を仮想オブジェクトに重なって見える位置にする。
ここで、撮像処理部181がカメラ61を制御して撮像を実行させ、AR表示制御部185が撮像画像データを取得する(ステップS33)。AR表示制御部185は、撮像画像データに対する画像処理を実行し、撮像画像から手指の画像を検出して、撮像画像における指先の座標を算出する(ステップS34)。AR表示制御部185が撮像画像から手指の画像を検出する処理は、例えば、予め記憶部120に記憶した画像の特徴量等を利用すればよい。また、この初期キャリブレーションでは、手指の代わりにペン型や棒状の指示体等を用いることができる。この場合、指示体の画像を検出するための特徴量等、必要なデータが、予め、記憶部120に記憶されていればよい。
AR表示制御部185は、撮像画像における指先の座標に基づき、撮像画像において指の画像を検出した位置と、表示領域の中心とを対応付ける処理を行い(ステップS35)、この処理の結果を示すデータを記憶部120に記憶する(ステップS36)。
ステップS36で記憶されたデータを利用すれば、カメラ61の撮像画像で物体の画像を検出した場合に、使用者がこの物体の位置に重なるように視認する表示領域上の位置を、制御部140が特定できる。
図5に戻り、初期キャリブレーションの実行後、装着位置検出部183は、9軸センサー66及び頭部側センサー71の検出値を取得し(ステップS13)、取得した検出値に基づく基準値を算出して、記憶部120に記憶する(ステップS14)。ステップS14で記憶される基準値は、ステップS13で取得した検出値そのものであってもよい。ステップS14で記憶される基準値は、記憶部120には、キャリブレーションを行った状態におけるフレーム2と使用者の頭部との相対位置を示す値である。また、ステップS13で検出値を取得したタイミングが、本発明の基準時に相当する。
続いて、AR表示制御部185は、ARコンテンツを表示する処理を開始する(ステップS15)。AR表示制御部185は、記憶部120からコンテンツのデータを取得し(ステップS16)、撮像処理部181がカメラ61に撮像を実行させ、撮像画像データからAR表示制御部185が対象物を検出する(ステップS17)。続いて、AR表示制御部185は、対象物の位置に基づいてARコンテンツの表示位置を決定し(ステップS18)、ARコンテンツの表示を開始する(ステップS19)。
ARコンテンツの表示開始後、装着位置検出部183は、9軸センサー66及び頭部側センサー71の検出値を取得し(ステップS20)、取得した検出値に基づいて、頭部に対するフレーム2の相対位置の変化量を算出する(ステップS21)。
AR表示制御部185は、装着位置検出部183が算出した変化量に基づき、ARコンテンツの表示位置の補正が必要か否かを判定する(ステップS22)。例えば、装着位置検出部183が算出した変化量が、記憶部120に記憶されるしきい値を超える場合に、表示位置の補正が必要と判定する。
表示位置の補正が必要と判定した場合(ステップS22;YES)、AR表示制御部185は、表示位置の補正を行う旨の報知を行う(ステップS23)。ステップS23では、例えば、画像表示部20により報知用のメッセージや画像を表示する。このメッセージや画像は、ARコンテンツと同様に対象物の位置に合わせて表示してもよく、補正後のARコンテンツの表示位置に、報知用のメッセージや画像を表示してもよい。
ここで、AR表示制御部185は、ステップS23で報知を行わずにステップS24に移行してもよいし、ステップS23の報知を行った後で所定時間が経過した後に、自動的にステップS24に移行してもよい。或いは、ステップS23で報知を行った後で使用者の操作を待機し、使用者が実行を指示する操作を行った場合にステップS24に移行してもよい。
AR表示制御部185は、装着位置検出部183が算出した変化量、または、この変化量から算出される補正量に従って、ARコンテンツの表示位置を補正し(ステップS24)、終了条件の正否を判定する(ステップS25)。また、表示位置を補正しないと判定した場合(ステップS22;NO)、制御部140はステップS25に移行して終了条件の正否を判定する。
制御部140は、終了条件が成立している場合(ステップS25;YES)、本処理を終了する。また、終了条件が成立していない場合は(ステップS25;NO)、ステップS20に戻る。終了条件は、例えば、ARコンテンツを最後まで表示し、表示が完了すること、操作部135の操作によりARコンテンツの表示の終了が指示されたこと、インターフェイス125を介して外部機器より動作終了が指示されたこと、等である。
以上説明したように、本発明を適用した実施形態の頭部装着型表示装置100は、使用者の頭部に装着され、画像を表示し、外景を透過可能に構成された画像表示部20を備える。頭部装着型表示装置100は、使用者の頭部に対する画像表示部20の相対位置を検出する検出部としての9軸センサー66、頭部側センサー71及び装着位置検出部183を有する。AR表示制御部185は、9軸センサー66及び頭部側センサー71の検出結果に基づき、画像表示部20に表示されるARコンテンツ等のオブジェクトの表示位置を調整する。
この頭部装着型表示装置100の構成、及び、頭部装着型表示装置100の制御方法によれば、シンプルな装置構成を有する頭部装着型表示装置100が、使用者の頭部に対する画像表示部20の相対位置の変化に対応して、表示を調整することができる。このため、使用者が好ましい状態で画像を見ることができる。
また、制御部140は、9軸センサー66及び頭部側センサー71の検出結果に基づき、使用者の頭部に対する画像表示部20の相対位置について、設定される基準時からの変化量を求める。これにより、使用者の頭部に対する画像表示部20の相対位置の変化を、基準時からの変化量として求めることができるので、この相対位置の変化に対応する表示の調整等を容易に行うことができる。
また、制御部140は、画像表示部20に表示されるARコンテンツの表示位置が調整された状態、例えば初期キャリブレーションの実行後に基準時を設定する。これにより、使用者の頭部に対する画像表示部20の相対位置の変化に対応して、ARコンテンツの表示位置を容易に調整できる。
また、頭部装着型表示装置100は、画像表示部20の動きまたは姿勢を検出する9軸センサー66を備える。装着位置検出部183は、9軸センサー66の出力と、使用者の頭部に設けられ使用者の頭部の動きまたは姿勢を検出する頭部側センサー71の出力とに基づいて、使用者の頭部に対する画像表示部20の相対位置を検出する。これにより、使用者の頭部に対する画像表示部20の相対位置の変化を容易に検出できる。
また、上記実施形態の頭部装着型表示装置100は、例えば特許文献1に記載されたような使用者の眼を直接観測する構成を必須としない。このため、フレーム2の限られた面積に、設置位置の制約を有するカメラ等を設ける場合に比べ、複雑な構造が必須とされず、構造上の制約を受けにくい。このため、頭部装着型表示装置100の装置構成をシンプルな構成とすることができる。また、例えばフレーム2を小型化し、或いは細いフレームで構成しようとした場合、実現容易性の面で優れる。 さらに、実施形態の頭部装着型表示装置100は、使用者の頭部に対する画像表示部20の相対位置の変化に対応して、画像表示部20に表示されるARコンテンツ等のオブジェクトの表示位置を調整する。このため、機械的に表示装置の位置ずれを修正する場合に比べ、より一層、構造上の制約を受けにくく、シンプルな装置構成により実現でき、小型化も容易である。
第1実施形態では、頭部装着型表示装置100における検出部としての装着位置検出部183及び9軸センサー66が、頭部側センサー71と協働する構成を例示した。本発明はこれに限定されず、検出部が有するセンサーの構成は、他にも挙げられる。その具体的な例を、第2実施形態及び第3実施形態として説明する。
[第2実施形態]
図7は、第2実施形態に係る頭部装着型表示装置100B(表示装置)の外観構成を示す説明図である。また、図8は、頭部装着型表示装置100Bを構成する各部の機能ブロック図である。
第2実施形態の頭部装着型表示装置100Bは、画像表示部20に代えて、画像表示部20Bを有する。画像表示部20Bは、画像表示部20の9軸センサー66を排し、代わりに鼻側圧力センサー73及び耳側圧力センサー74を設けた構成である。また、頭部装着型表示装置100Bでは、図1に示した頭部側センサー71を用いない。これらの相違点を除く各部において、頭部装着型表示装置100Bは第1実施形態の頭部装着型表示装置100と共通の構成である。頭部装着型表示装置100Bにおいて、頭部装着型表示装置100と共通する構成部については、同符号を付して図示及び説明を省略する。
図7に示すように、フレーム2は、2つの鼻側圧力センサー73A、73B、及び、2つの耳側圧力センサー74A、74Bを有する。鼻側圧力センサー73A、73Bは、右光学像表示部26と左光学像表示部28との中央部分において、左右対称に配置される。フレーム2が使用者の頭部に装着された状態において、使用者の鼻に当接する位置にあり、フレーム2で鼻に当たるように形成された凹部2Jに固定される。フレーム2が使用者の頭部に装着された状態で、鼻側圧力センサー73Aは鼻の右眼側の面に当接し、鼻側圧力センサー73Bは鼻の左眼側の面に当接する。
また、耳側圧力センサー74A、74Bは、メガネ型のフレーム2のテンプルを構成する右保持部21、及び左保持部23の下面に固定される。すなわち、耳側圧力センサー74A、74Bは、フレーム2が使用者の頭部に装着された状態において、使用者の耳に当接する位置にある。フレーム2が使用者の頭部に装着された状態で、耳側圧力センサー74Aは右耳の上部に当接し、耳側圧力センサー74Bは左耳の上部に当接する。
鼻側圧力センサー73A,73B及び耳側圧力センサー74A、74Bは、圧力が加わった場合に、加わる圧力に応じた検出値を出力する圧力センサーである。使用者がフレーム2を装着すると、鼻側圧力センサー73A、73Bは、使用者の鼻に加わるフレーム2の荷重を検出し、耳側圧力センサー74A、74Bは、使用者の耳に加わる荷重を検出する。
図8に示すように、鼻側圧力センサー73A,73B、及び、耳側圧力センサー74A、74Bは、それぞれ、制御部140に接続される。装着位置検出部183は、鼻側圧力センサー73A,73Bのそれぞれの検出値を取得できる。また、装着位置検出部183は、耳側圧力センサー74A、74Bのそれぞれの検出値を取得できる。この構成では、装着位置検出部183は、鼻側圧力センサー73A,73B、及び、耳側圧力センサー74A、74Bとともに検出部を構成し、画像表示部20Bを支持する表示部本体としてのフレーム2と、使用者の頭部との間の圧力を検出する圧力センサーとして機能する。また、これらの検出部は、画像表示部20Bを透過して使用者が視認する範囲外に設けられる。
フレーム2が使用者の頭部に装着された状態では、フレーム2と使用者の頭部との相対位置によって、鼻側圧力センサー73A,73Bの検出値、及び、耳側圧力センサー74A、74Bの検出値が変化する。例えば、フレーム2の位置が変化した場合、鼻側圧力センサー73A、73B、及び、耳側圧力センサー74A、74Bのそれぞれの検出値が変化する。さらに、鼻側圧力センサー73A,73Bの検出値の左右差や、耳側圧力センサー74A、74Bの検出値の左右差も変化する。従って、装着位置検出部183は、鼻側圧力センサー73A,73B、及び、耳側圧力センサー74A、74Bの検出値に基づき、フレーム2の位置の変化を検出できる。そして、鼻側圧力センサー73A,73Bの検出値の左右差や、耳側圧力センサー74A、74Bの検出値の左右差を求める演算処理を行うことにより、フレーム2の位置変化の大きさを推定することができる。
上記第1実施形態の図5で説明した動作において、装着位置検出部183は、ステップS14で基準時における検出値を取得した。さらに、ステップS20で検出値を取得し、ステップS21で、検出値に基づきフレーム2の装着位置の変化量を算出していた。ステップS21で算出する変化量は、例えば上述のように推定される値であっても目的を達成し得る。
装着位置検出部183は、図5のステップS13及びS20において、鼻側圧力センサー73A、73B、及び、耳側圧力センサー74A、74Bのそれぞれの検出値を取得する。そして、装着位置検出部183は、取得した検出値の比較、或いは、取得した検出値に対する演算処理を実行する。
このように、頭部装着型表示装置100Bは、検出部として、フレーム2と使用者の頭部との間の圧力を検出する鼻側圧力センサー73A,73B、及び耳側圧力センサー74A、74Bを備える構成とした。この場合においても、図5及び図6を参照して説明した動作を実行し、フレーム2の位置の変化を検出し、この位置変化に対応する表示位置の調整を行える。このため、フレーム2の位置がずれた場合であっても、ARコンテンツを、良好な状態で使用者に見せることができる。
この第2実施形態の頭部装着型表示装置100Bは、鼻側圧力センサー73A、73B、及び、耳側圧力センサー74A、74Bを利用することにより、フレーム2の位置の変化を検出できる。この頭部装着型表示装置100Bの構成、及び、頭部装着型表示装置100Bの制御方法によれば、第1実施形態の頭部装着型表示装置100と同様、使用者の眼を直接観測する構成を必須としないので、フレーム2の限られた面積に、設置位置の制約を有するカメラ等を設ける場合に比べ、複雑な構造が必須とされず、構造上の制約を受けにくい。このため、頭部装着型表示装置100Bの装置構成をシンプルな構成とすることができる。また、例えばフレーム2を小型化し、或いは細いフレームで構成しようとした場合、実現容易性の面で優れる。
[第3実施形態]
図9は、第3実施形態に係る頭部装着型表示装置100C(表示装置)の外観構成を示す説明図である。また、図10は、頭部装着型表示装置100Cを構成する各部の機能ブロック図である。
第3実施形態の頭部装着型表示装置100Cは、画像表示部20に代えて、画像表示部20Cを有する。画像表示部20Cは、画像表示部20の9軸センサー66を排し、代わりに磁気センサー78を設けた構成である。さらに、頭部装着型表示装置100Cは、図1に示した頭部側センサー71に代えて、磁性体8を使用者の頭部に装着する。これらの相違点を除く各部において、頭部装着型表示装置100Cは第1実施形態の頭部装着型表示装置100と共通の構成である。頭部装着型表示装置100Cにおいて、頭部装着型表示装置100と共通する構成部については、同符号を付して図示及び説明を省略する。
磁気センサー78は、図9に示すように、眼鏡のテンプル部に相当する右保持部21に内蔵される。磁気センサー78はフレーム2に固定される。これに対し、磁性体8は、使用者の頭部に固定される。使用者がフレーム2を装着した状態において、磁性体8は、磁気センサー78に対応する位置に固定される。例えば、図9に示すように、磁性体8は磁気センサー78に近接する位置で、右保持部21に接するように配置される。磁性体8を使用者の頭部に固定的に設ける方法は、頭部側センサー71と同様の方法を採用できる。
磁気センサー78は、磁場を検出して、検出した磁場の強さに応じた検出値を出力する。なお、磁気センサー78は、磁場の変化を検出し、検出する磁場の単位時間あたりの変化量に応じた検出値を出力するものであってもよい。
磁性体8は、例えば永久磁石であるが、画像表示部20から電源の供給を受ける電磁石であってもよい。
磁性体8と画像表示部20Cとは、互いに自由に変位可能である。本実施形態の磁性体8は、画像表示部20Cとは別体として構成され、画像表示部20Cに接続されていないため、画像表示部20Cを、磁性体8の位置に制限されず変位させることが可能である。磁性体8は、画像表示部20Cに接続する形態とすることも可能である。例えば、磁性体8の紛失を防止するためのワイヤーや紐、或いは、磁性体8と画像表示部20Cとを電気的に接続するケーブルで、接続する態様としてもよい。この場合も、画像表示部20Cが磁性体8に対して自由に変位できる構成とすることが好ましい。
図10に示すように、磁気センサー78はインターフェイス25を介して制御部140に接続される。装着位置検出部183は、磁気センサー78の検出値を取得できる。この構成では、装着位置検出部183は、磁気センサー78とともに検出部を構成する。これらの検出部は、画像表示部20Cを透過して使用者が視認する範囲外に設けられる。
図9において、フレーム2がずり下がるなど、磁性体8とフレーム2の相対位置が変化した場合、磁性体8と磁気センサー78との距離が変化する。従って、磁気センサー78の検出値が変化した場合、磁性体8に対する磁気センサー78の変位、すなわち、使用者の頭部に対するフレーム2の位置が変化したことになる。このため、装着位置検出部183は、磁気センサー78の検出値に基づき、フレーム2の位置の変化を検出できる。
上記第1実施形態の図5で説明した動作において、装着位置検出部183は、ステップS14で基準時における検出値を取得した。さらに、ステップS20で検出値を取得し、ステップS21で、検出値に基づきフレーム2の装着位置の変化量を算出していた。
装着位置検出部183は、図5のステップS13及びS20において、磁気センサー78の検出値を取得する。そして、装着位置検出部183は、取得した検出値の比較、或いは、取得した検出値に対する演算処理を実行する。
このように、頭部装着型表示装置100Cは、検出部として磁気センサー78を有し、磁気センサー78が、使用者の頭部に配置された磁性体8を検出した結果に基づいて、使用者の頭部に対する画像表示部20の相対位置を検出する。この構成において、図5及び図6を参照して説明した動作を実行し、フレーム2の位置の変化を検出し、この位置変化に対応する表示位置の調整を行える。このため、シンプルな構成により、使用者の頭部に対する画像表示部20(フレーム2)の相対位置の変化を検出できる。従って、フレーム2の位置がずれた場合であっても、ARコンテンツを、良好な状態で使用者に見せることができる。
また、第3実施形態において、磁性体8と磁気センサー78とを逆に設けてもよい。即ち、磁気センサー78を使用者の頭部に固定し、フレーム2に磁性体8を内蔵してもよい。この構成では、検出部は磁性体8を含み、頭部装着型表示装置100は、使用者の頭部に配置される磁気センサー78が磁性体8を検出した結果に基づいて、使用者の頭部に対する画像表示部20の相対位置を検出する。
この場合も、磁気センサー78を使用したシンプルな構成により、使用者の頭部に対する画像表示部20の相対位置の変化を検出できる。
この第3実施形態の頭部装着型表示装置100Cは、磁性体8と磁気センサー78とを利用することにより、フレーム2の位置の変化を検出できる。この頭部装着型表示装置100Cの構成、及び、頭部装着型表示装置100Cの制御方法によれば、第1実施形態の頭部装着型表示装置100と同様、使用者の眼を直接観測する構成を必須としないので、フレーム2の限られた面積に、設置位置の制約を有するカメラ等を設ける場合に比べ、複雑な構造が必須とされず、構造上の制約を受けにくい。このため、頭部装着型表示装置100Bの装置構成をシンプルな構成とすることができる。また、例えばフレーム2を小型化し、或いは細いフレームで構成しようとした場合、実現容易性の面で優れる。
なお、この発明は上記実施形態の構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。
例えば、画像表示部20に代えて、例えば帽子のように装着する画像表示部等の他の方式の画像表示部を採用してもよく、使用者の左眼に対応して画像を表示する表示部と、使用者の右眼に対応して画像を表示する表示部とを備えていればよい。また、本発明の表示装置は、例えば、自動車や飛行機等の車両に搭載されるヘッドマウントディスプレイとして構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよい。この場合、使用者の身体に対する位置を位置決めする部分、及び、当該部分に対し位置決めされる部分を装着部とすることができる。画像表示部20B、20Cについても同様である。
さらに、上記実施形態では、画像表示部20、20B、20Cと制御装置10とが分離され、接続部40を介して接続された構成を例に挙げて説明した。本発明はこれに限定されず、制御装置10と画像表示部20、20B、20Cとが一体に構成され、使用者の頭部に装着される構成とすることも可能である。
また、制御装置10として、ノート型コンピューター、タブレット型コンピューター又はデスクトップ型コンピューターを用いてもよい。また、制御装置10として、ゲーム機や携帯型電話機やスマートフォンや携帯型メディアプレーヤーを含む携帯型電子機器、その他の専用機器等を用いてもよい。また、制御装置10が画像表示部20、20B、20Cと分離して構成され、制御装置10と画像表示部20、20B、20Cとの間で無線通信により各種信号を送受信する構成としてもよい。
また、例えば、画像表示部20、20B、20Cにおいて画像光を生成する構成として、有機EL(有機エレクトロルミネッセンス、Organic Electro-Luminescence)のディスプレイと、有機EL制御部とを備える構成としてもよい。また、画像光を生成する構成として、LCOS(Liquid crystal on silicon, LCoSは登録商標)や、デジタル・マイクロミラー・デバイス等を用いることもできる。
また、画像光を使用者の眼に導く光学系としては、外部から装置に向けて入射する外光を透過する光学部材を備え、画像光とともに使用者の眼に入射させる構成を採用できる。また、使用者の眼の前方に位置して使用者の視界の一部または全部に重なる光学部材を用いてもよい。さらに、レーザー光等を走査させて画像光とする走査方式の光学系を採用してもよい。また、光学部材の内部で画像光を導光させるものに限らず、使用者の眼に向けて画像光を屈折及び/または反射させて導く機能のみを有するものであってもよい。
例えば、レーザー網膜投影型のヘッドマウントディスプレイに対して本発明を適用することも可能である。すなわち、光射出部が、レーザー光源と、レーザー光源を使用者の眼に導く光学系とを備え、レーザー光を使用者の眼に入射させて網膜上を走査し、網膜に結像させることにより、使用者に画像を視認させる構成を採用してもよい。
また、本発明を、MEMSミラーを用いた走査光学系を採用し、MEMSディスプレイ技術を利用した表示装置に適用することも可能である。すなわち、信号光形成部と、信号光形成部が射出する光を走査するMEMSミラーを有する走査光学系と、走査光学系により走査される光によって虚像が形成される光学部材とを光射出部として備えてもよい。この構成では、信号光形成部が射出した光がMEMSミラーにより反射され、光学部材に入射し、光学部材の中を導かれて、虚像形成面に達する。MEMSミラーが光を走査することにより、虚像形成面に虚像が形成され、この虚像を使用者が眼で捉えることで、画像が認識される。この場合の光学部品は、例えば上記実施形態の右導光板261及び左導光板262のように、複数回の反射を経て光を導くものであってもよく、ハーフミラー面を利用してもよい。
さらに、本発明の光学素子は、ハーフミラー261A、262Aを有する右導光板261、左導光板262に限定されず、画像光を使用者の眼に入射させる光学部品であればよく、具体的には、回折格子、プリズム、ホログラフィー表示部を用いてもよい。
また、図3、図8、及び図10に示した各機能ブロックのうち少なくとも一部は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよい。つまり、図3、図8、図10に示した通りに独立したハードウェア資源を配置する構成に限定されない。また、制御部140が実行するプログラムは、記憶部120または制御装置10内の記憶装置に記憶されてもよいし、外部の装置に記憶されたプログラムを通信部117又はインターフェイス125を介して取得して実行する構成としてもよい。また、制御装置10に形成された構成のうち、操作部111のみが単独の使用者インターフェイス(UI)として形成されてもよい。また、制御装置10に形成された構成が重複して画像表示部20に形成されていてもよい。例えば、図3、図8、図10に示す制御部140が制御装置10と画像表示部20、20B、20Cとの両方に形成されていてもよい。また、制御装置10に形成された制御部140と画像表示部20、20B、20Cに形成されたCPUとが行う機能が別々に分けられている構成としてもよい。
2…フレーム(表示部本体)、10…制御装置、20、20B、20C…画像表示部(表示部)、21…右保持部、22…右表示駆動部、23…左保持部、24…左表示駆動部、26…右光学像表示部、28…左光学像表示部、61…カメラ、66…9軸センサー(検出部、センサー)、71…頭部側センサー(検出部、補助センサー)、73…鼻側圧力センサー(検出部、圧力センサー)、74…耳側圧力センサー(検出部、圧力センサー)、78…磁気センサー、100、100B、100C…頭部装着型表示装置(表示装置)、117…通信部、120…記憶部、140…制御部、150…オペレーティングシステム、160…画像処理部、170…表示制御部、181…撮像処理部、183…装着位置検出部、185…AR表示制御部、187…音声処理部。

Claims (8)

  1. 使用者の頭部に装着され、画像を表示し、外景を透過可能に構成された表示部と、
    前記使用者の頭部に対する前記表示部の相対位置を検出する検出部と、
    前記検出部の検出結果に基づき、前記表示部に表示されるオブジェクトの表示位置を調整する位置調整部と、
    を備えることを特徴とする表示装置。
  2. 前記検出部の検出結果に基づき、前記使用者の頭部に対する前記表示部の相対位置について、設定される基準時からの変化量を求める制御部を有すること、
    を特徴とする請求項1記載の表示装置。
  3. 前記制御部は、前記表示部に表示されるオブジェクトの表示位置が調整された状態で前記基準時を設定すること、
    を特徴とする請求項2記載の表示装置。
  4. 前記検出部は前記表示部の動きまたは姿勢を検出するセンサーを含み、
    前記検出部は、前記センサーの出力と、前記使用者の頭部に設けられ前記頭部の動きまたは姿勢を検出する補助センサーの出力とに基づいて、前記使用者の頭部に対する前記表示部の前記相対位置を検出すること、
    を特徴とする請求項1から3のいずれかに記載の表示装置。
  5. 前記検出部は、前記表示部を支持する表示部本体と前記使用者の頭部との間の圧力を検出する圧力センサーを含むこと、
    を特徴とする請求項1から3のいずれかに記載の表示装置。
  6. 前記検出部は磁気センサーを含み、
    前記検出部は、前記磁気センサーが、前記使用者の頭部に配置された磁性体を検出した結果に基づいて、前記使用者の頭部に対する前記表示部の前記相対位置を検出すること、
    を特徴とする請求項1から3のいずれかに記載の表示装置。
  7. 前記検出部は磁性体を含み、
    前記検出部は、前記使用者の頭部に配置された磁気センサーが前記磁性体を検出した結果に基づいて、前記使用者の頭部に対する前記表示部の前記相対位置を検出すること、
    を特徴とする請求項1から3のいずれかに記載の表示装置。
  8. 使用者の頭部に装着され、画像を表示し、外景を透過可能に構成された表示部を有し、前記表示部を透過して視認される範囲外の位置に検出部を設けた表示装置を制御して、
    前記検出部の検出結果に基づき、前記使用者の頭部に対する前記表示部の相対位置の変化を求め、
    求める前記使用者の頭部に対する前記表示部の相対位置の変化に基づき、前記表示部に表示するオブジェクトの表示位置を調整すること、
    を特徴とする表示装置の制御方法。
JP2015195599A 2014-12-25 2015-10-01 表示装置、及び、表示装置の制御方法 Pending JP2016122177A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US14/956,868 US9904053B2 (en) 2014-12-25 2015-12-02 Display device, and method of controlling display device
CN201510924552.6A CN105739095B (zh) 2014-12-25 2015-12-14 显示装置以及显示装置的控制方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014261729 2014-12-25
JP2014261729 2014-12-25

Publications (1)

Publication Number Publication Date
JP2016122177A true JP2016122177A (ja) 2016-07-07

Family

ID=56327404

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015195599A Pending JP2016122177A (ja) 2014-12-25 2015-10-01 表示装置、及び、表示装置の制御方法

Country Status (1)

Country Link
JP (1) JP2016122177A (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106739750A (zh) * 2016-12-12 2017-05-31 北京沃富瑞德文化传播有限公司 一种混合现实的mr景观喷泉或mr瀑布系统
US10613333B2 (en) 2017-02-28 2020-04-07 Seiko Epson Corporation Head-mounted display device, computer program, and control method for head-mounted display device
CN111061360A (zh) * 2019-11-12 2020-04-24 北京字节跳动网络技术有限公司 基于用户头部动作的控制方法、装置、介质和电子设备
CN112219234A (zh) * 2018-06-08 2021-01-12 国际商业机器公司 虚拟现实环境的用户的生理压力
WO2021106502A1 (ja) * 2019-11-29 2021-06-03 ソニーグループ株式会社 頭部装着型表示装置、画像表示システム、及び画像表示方法
JP2021525036A (ja) * 2018-06-06 2021-09-16 北京七▲シン▼易▲維▼信息技▲術▼有限公司Beijing 7Invensun Technology Co.,Ltd. スマートグラス、眼球軌跡の追跡方法、装置及び記憶媒体
WO2023026550A1 (ja) * 2021-08-26 2023-03-02 ソニーグループ株式会社 ウェアラブル表示装置、検出方法、記録媒体

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106739750A (zh) * 2016-12-12 2017-05-31 北京沃富瑞德文化传播有限公司 一种混合现实的mr景观喷泉或mr瀑布系统
CN106739750B (zh) * 2016-12-12 2019-08-13 北京沃富瑞德文化传播有限公司 一种混合现实的mr景观喷泉或mr瀑布系统
US10613333B2 (en) 2017-02-28 2020-04-07 Seiko Epson Corporation Head-mounted display device, computer program, and control method for head-mounted display device
JP2021525036A (ja) * 2018-06-06 2021-09-16 北京七▲シン▼易▲維▼信息技▲術▼有限公司Beijing 7Invensun Technology Co.,Ltd. スマートグラス、眼球軌跡の追跡方法、装置及び記憶媒体
US11334155B2 (en) 2018-06-06 2022-05-17 Beijing 7Invensun Technology Co., Ltd. Smart glasses, method and device for tracking eyeball trajectory, and storage medium
JP7096369B2 (ja) 2018-06-06 2022-07-05 北京七▲しん▼易▲維▼信息技▲術▼有限公司 スマートグラス、眼球軌跡の追跡方法、装置及び記憶媒体
CN112219234A (zh) * 2018-06-08 2021-01-12 国际商业机器公司 虚拟现实环境的用户的生理压力
US11903712B2 (en) 2018-06-08 2024-02-20 International Business Machines Corporation Physiological stress of a user of a virtual reality environment
CN111061360A (zh) * 2019-11-12 2020-04-24 北京字节跳动网络技术有限公司 基于用户头部动作的控制方法、装置、介质和电子设备
CN111061360B (zh) * 2019-11-12 2023-08-22 北京字节跳动网络技术有限公司 基于用户头部动作的控制方法、装置、介质和电子设备
WO2021106502A1 (ja) * 2019-11-29 2021-06-03 ソニーグループ株式会社 頭部装着型表示装置、画像表示システム、及び画像表示方法
WO2023026550A1 (ja) * 2021-08-26 2023-03-02 ソニーグループ株式会社 ウェアラブル表示装置、検出方法、記録媒体

Similar Documents

Publication Publication Date Title
US9898868B2 (en) Display device, method of controlling the same, and program
CN105739095B (zh) 显示装置以及显示装置的控制方法
US9959591B2 (en) Display apparatus, method for controlling display apparatus, and program
JP6492531B2 (ja) 表示装置、及び、表示装置の制御方法
KR101845350B1 (ko) 두부 장착형 표시 장치 및 두부 장착형 표시 장치의 제어 방법
JP6337418B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
CN105607255B (zh) 头部佩戴型显示装置、控制其的方法及计算机可读存储介质
JP6492638B2 (ja) 表示装置、及び、表示装置の制御方法
JP2016122177A (ja) 表示装置、及び、表示装置の制御方法
US10782528B2 (en) Head mounted display and control method thereof
JP6369005B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP2018142857A (ja) 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法
JP6459380B2 (ja) 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
JP6600945B2 (ja) 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
JP6707809B2 (ja) 表示装置、表示装置の制御方法、及び、プログラム
JP6554948B2 (ja) 表示装置、表示装置の制御方法、及び、プログラム
JP6432197B2 (ja) 表示装置、表示装置の制御方法、および、プログラム
JP2016122244A (ja) 電子機器、表示装置、及び、電子機器の制御方法
JP2016024208A (ja) 表示装置、表示装置の制御方法、および、プログラム
JP2016033759A (ja) 表示装置、表示装置の制御方法、および、プログラム
JP2017092628A (ja) 表示装置、及び、表示装置の制御方法
JP2016090853A (ja) 表示装置、表示装置の制御方法、及び、プログラム
JP2017079389A (ja) 表示装置、表示装置の制御方法、及び、プログラム
JP2016033763A (ja) 表示装置、表示装置の制御方法、および、プログラム
JP2016116066A (ja) 表示装置、及び、表示装置の制御方法