JP2016090853A - Display device, control method of display device and program - Google Patents
Display device, control method of display device and program Download PDFInfo
- Publication number
- JP2016090853A JP2016090853A JP2014226262A JP2014226262A JP2016090853A JP 2016090853 A JP2016090853 A JP 2016090853A JP 2014226262 A JP2014226262 A JP 2014226262A JP 2014226262 A JP2014226262 A JP 2014226262A JP 2016090853 A JP2016090853 A JP 2016090853A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- image
- outside scene
- display
- display unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Controls And Circuits For Display Device (AREA)
Abstract
Description
本発明は、表示装置、表示装置の制御方法、及び、プログラムに関する。 The present invention relates to a display device, a display device control method, and a program.
従来、使用者が頭部に装着して使用する、ヘッドマウントディスプレイ(Head Mounted Display:HMD)と呼ばれる表示装置が知られている(例えば、特許文献1参照)。この種の表示装置は、例えば特許文献1に記載されたように、現実の空間に関連した表示を行う用途に使用されるが、装着者に、表示する内容と現実の空間との位置関係の食い違いを感じさせるという課題があった。この課題に対し、特許文献1には、使用者の頭部の動きの変化を検出して表示を補正する構成が記載されている。
2. Description of the Related Art Conventionally, a display device called a head mounted display (HMD) that is used by being worn on a head by a user is known (for example, see Patent Document 1). This type of display device is used, for example, for the purpose of performing display related to the real space, as described in
特許文献1記載の構成では、HMDを装着中は、使用者は表示画像を見るが、その外界を見ることはない。このため、特許文献1の構成では、使用者の前庭反射の運動感覚と表示の食い違いを防止する。
ところで、使用者がHMDの画像を視認する間に、HMDの外の外景を視認できる構成を考えると、HMDの表示画像と外景の見え方が異なるという課題がある。すなわち、HMDを装着する使用者にとって、表示画像を視認する範囲が、外景が見える範囲と一致することは少ない。例えば、表示画像が、外景が見える範囲に比べて小さい範囲にしか見えないという事態が起こり得る。このような構成で効果的な表示を行うための手法が望まれていた。
本発明は上記事情に鑑みてなされたものであり、使用者が表示装置を装着して、画像と、表示装置の外景を見る場合に、表示装置の表示画像が見える範囲と外景が見える範囲との不整合に起因する問題を防止することを目的とする。
In the configuration described in
By the way, when considering a configuration in which an outside scene outside the HMD can be viewed while the user visually recognizes the HMD image, there is a problem that the display image of the HMD and the appearance of the outside scene are different. That is, for the user wearing the HMD, the range in which the display image is visually recognized is unlikely to coincide with the range in which the outside scene can be seen. For example, a situation in which the display image can be seen only in a smaller range than the range in which the outside scene can be seen may occur. A method for performing effective display with such a configuration has been desired.
The present invention has been made in view of the above circumstances, and when a user wears a display device and sees an image and an outside scene of the display device, a range where the display image of the display device can be seen and a range where the outside scene can be seen The purpose is to prevent problems caused by inconsistencies.
上記目的を達成するために、本発明の表示装置は、外景を透過し、前記外景とともに視認できるように画像を表示する表示部と、前記表示部を透過して視認される外景を含む外景画像を取得する外景画像取得部と、前記外景画像取得部が取得する外景画像に基づいて、前記表示部を透過して視認される対象を認識し、前記対象に関する情報を前記表示部に表示する制御部と、を備えることを特徴とする。
本発明によれば、外景画像に基づいて表示部を透過して視認される対象を認識するので、使用者が視認する外景における対象の位置や大きさ等に対応して、対象に関する情報を表示できる。このため、使用者が視認する外景と表示画像との不整合を防ぐことができ、効果的な表示を行うことができる。
In order to achieve the above object, a display device of the present invention includes an external scene image that includes an external scene that transmits an external scene and displays an image that can be viewed together with the external scene, and an external scene that is viewed through the display section. And a control for recognizing an object viewed through the display unit and displaying information on the object on the display unit based on the outside scene image acquired by the outside scene image acquisition unit And a section.
According to the present invention, since an object viewed through the display unit is recognized based on the outside scene image, information on the object is displayed in accordance with the position and size of the object in the outside scene visually recognized by the user. it can. For this reason, inconsistency between the outside scene visually recognized by the user and the display image can be prevented, and effective display can be performed.
また、本発明は、上記表示装置において、前記制御部は、前記対象が前記表示部において前記情報が表示される範囲の外にある場合に、前記表示部により、視線を前記対象へ誘導する誘導表示を行うこと、を特徴とする。
本発明によれば、対象の位置が、情報が表示される範囲に収まるように、視線を誘導できる。
In the display device, the control unit may guide the line of sight to the target by the display unit when the target is outside a range where the information is displayed on the display unit. It is characterized by performing display.
According to the present invention, it is possible to guide the line of sight so that the position of the target falls within the range in which information is displayed.
また、本発明は、上記表示装置において、前記制御部は、前記外景画像取得部が取得する外景画像に基づいて、前記表示部を透過して視認可能な範囲の外景の画像を、前記表示部に表示すること、を特徴とする。
本発明によれば、使用者が視認する外景の画像の見え方を変化させることができる。
Further, according to the present invention, in the display device, the control unit displays an image of an outside scene in a range that is visible through the display unit based on the outside scene image acquired by the outside scene image acquiring unit. It is characterized by displaying.
ADVANTAGE OF THE INVENTION According to this invention, the appearance of the image of the outside scene visually recognized by the user can be changed.
また、本発明は、上記表示装置において、前記表示部は、使用者の頭部に装着される頭部装着型の表示部であり、前記画像を表示する第1表示部と、前記第1表示部よりも外景側において前記第1表示部よりも広い範囲で視認される画像を表示する第2表示部と、を備え、前記制御部は、前記第2表示部により、視線を前記対象へ誘導する誘導表示を行うこと、を特徴とする。
本発明によれば、頭部装着型の表示装置が2つの表示部で表示を行う場合に、使用者が視認する外景と表示画像との不整合を防ぐことができる。また、使用者に表示画像を視認させた状態で、使用者の視線を表示画像の外に誘導できる。
In the display device according to the present invention, the display unit is a head-mounted display unit mounted on a user's head, and the first display unit displays the image and the first display unit. A second display unit that displays an image that is visible in a wider range than the first display unit on the outside scene side of the unit, and the control unit guides the line of sight to the target by the second display unit It is characterized by performing guidance display.
ADVANTAGE OF THE INVENTION According to this invention, when a head-mounted display apparatus displays on two display parts, inconsistency with the external scene visually recognized by a user and a display image can be prevented. In addition, the user's line of sight can be guided out of the display image in a state where the user is viewing the display image.
また、本発明は、上記表示装置において、前記表示部は、使用者の頭部に装着される頭部装着型の表示部であり、前記使用者の視線を検出する視線検出部を備え、前記制御部は、前記視線検出部が検出する前記使用者の視線の方向に対応して前記表示部の表示を変化させること、を特徴とする。
本発明によれば、表示画像を使用者の視線に対応させることができ、より効果的に、使用者が視認する外景と表示画像との不整合を防ぐことができる。
In the display device according to the present invention, the display unit is a head-mounted display unit that is mounted on a user's head, and includes a line-of-sight detection unit that detects the line of sight of the user, The control unit changes the display of the display unit in accordance with the direction of the user's line of sight detected by the line-of-sight detection unit.
ADVANTAGE OF THE INVENTION According to this invention, a display image can be made to respond | correspond to a user's eyes | visual_axis, and inconsistency with the external scene visually recognized by a user and a display image can be prevented more effectively.
また、本発明は、上記表示装置において、前記制御部は、前記外景画像取得部が取得する外景画像の一部領域を前記表示部に表示し、前記視線検出部が検出する前記使用者の視線の方向に対応して、前記外景画像において前記表示部に表示する一部領域の位置を変化させること、を特徴とする。
本発明によれば、使用者の視線に対応させて、外景画像を表示するので、使用者が視認する外景と表示画像との不整合を防ぎ、外景画像を使用者に視認させることができる。
Further, according to the present invention, in the display device, the control unit displays a partial area of the outside scene image acquired by the outside scene image acquisition unit on the display unit, and the user's line of sight detected by the line of sight detection unit. The position of the partial area displayed on the display unit in the outside scene image is changed in accordance with the direction of.
According to the present invention, since the outside scene image is displayed in correspondence with the user's line of sight, inconsistency between the outside scene visually recognized by the user and the display image can be prevented, and the outside scene image can be visually recognized by the user.
また、本発明は、上記表示装置において、前記表示部を透過して視認される外景を含む範囲を撮像する撮像部を備え、前記外景画像取得部は、前記撮像部の撮像画像を前記外景画像として取得すること、を特徴とする。
本発明によれば、外景画像を事前に用意することなく、使用者が視認する外景に対応する外景画像を取得し、画像を表示できる。
The display device may further include an imaging unit that captures a range including an outside scene that is visible through the display unit, and the outside scene image acquisition unit converts the captured image of the imaging unit into the outside scene image. It is characterized by acquiring as.
According to the present invention, an outside scene image corresponding to the outside scene visually recognized by the user can be acquired and displayed without preparing an outside scene image in advance.
また、本発明は、上記表示装置において、前記外景画像取得部は、前記撮像部が撮像した複数の撮像画像を取得して合成することにより前記外景画像を生成すること、を特徴とする。
本発明によれば、撮像部の画角等に制限されず、好ましいサイズや画角を有する外景画像を得ることができる。
Further, the present invention is characterized in that, in the display device, the outside scene image acquisition unit generates the outside scene image by acquiring and synthesizing a plurality of captured images captured by the imaging unit.
According to the present invention, an outside scene image having a preferable size and angle of view can be obtained without being limited to the angle of view of the imaging unit.
また、本発明は、上記表示装置において、複数の前記撮像部を備え、前記外景画像取得部は、複数の前記撮像部がそれぞれ撮像した複数の撮像画像を取得して合成することにより前記外景画像を生成すること、を特徴とする。
本発明によれば、複数の撮像画像を用いて、好ましいサイズや画角を有する外景画像を得ることができる。
Further, the present invention provides the display device including a plurality of the imaging units, wherein the outside scene image acquisition unit acquires and combines the plurality of captured images captured by the plurality of imaging units, respectively. Generating.
According to the present invention, an outside scene image having a preferable size and angle of view can be obtained using a plurality of captured images.
また、本発明は、上記表示装置において、外部機器に接続する接続部を備え、前記外景画像取得部は、前記接続部に接続する前記外部機器から前記外景画像を取得すること、を特徴とする。
本発明によれば、予め外景画像を記憶したり、撮像する手段を設けたりすることなく、外景画像を取得できる。
The display device may further include a connection unit connected to an external device, and the outside scene image acquisition unit acquires the outside scene image from the external device connected to the connection unit. .
According to the present invention, an outside scene image can be acquired without storing the outside scene image in advance or providing a means for imaging.
また、本発明は、上記表示装置において、現在位置を検出する位置検出部を備え、前記外景画像取得部は、前記接続部に接続する前記外部機器から、前記位置検出部が検出する現在位置に対応する前記外景画像を取得すること、を特徴とする。
本発明によれば、表示装置の位置に対応する外景画像を取得できる。
The display device may further include a position detection unit that detects a current position, and the outside scene image acquisition unit may detect the current position detected by the position detection unit from the external device connected to the connection unit. The corresponding outside scene image is acquired.
According to the present invention, an outside scene image corresponding to the position of the display device can be acquired.
また、本発明は、上記表示装置において、前記制御部は、前記外景画像取得部が取得した前記外景画像から前記対象の画像を抽出することにより、前記対象を認識すること、を特徴とする。
本発明によれば、外景画像を用いて対象の位置を速やかに検出できる。
ここで、制御部は、外景画像から、予め設定された対象の画像を検出し、検出した画像の外景画像における位置を特定することで、対象を認識してもよい。また、制御部には、予め、認識する対象が設定されてもよく、この対象に関するデータが、予め記憶部に記憶されてもよい。ここで記憶されるデータは、対象を検出し認識するためのデータであり、例えば、対象の画像の特徴量等である。例えば、対象が物体である場合に、この物体を撮像した場合の撮像画像の色、形状、その他の特徴を示す特徴量が設定データに含まれる。この場合、制御部は、外景画像の画像データから物体の画像を抽出する処理を行い、抽出した物体の画像の特徴量を算出し、算出した特徴量と、予め記憶されたデータに含まれる特徴量とを比較照合する。特徴量が近い値であり、或いは同一である場合は、外景画像から抽出した画像の物体と、対象とが一致したと判定でき、この物体を対象として認識する。また、対象について複数の特徴量のデータが記憶される場合、制御部は、複数の特徴量に基づき外景画像から対象を認識してもよい。また、制御部は、対象までの距離を検出する距離検出部を利用して、対象までの距離を検出し、検出した距離に基づき対象を認識してもよい。
In the display device, the control unit may recognize the target by extracting the target image from the outside scene image acquired by the outside scene image acquisition unit.
According to the present invention, it is possible to quickly detect the position of an object using an outside scene image.
Here, the control unit may recognize the target by detecting a preset target image from the outside scene image and specifying the position of the detected image in the outside scene image. In addition, a target to be recognized may be set in advance in the control unit, and data regarding this target may be stored in the storage unit in advance. The data stored here is data for detecting and recognizing a target, for example, a feature amount of the target image. For example, when the target is an object, the setting data includes a feature amount indicating the color, shape, and other characteristics of the captured image when the object is captured. In this case, the control unit performs a process of extracting the object image from the image data of the outside scene image, calculates the feature amount of the extracted object image, and calculates the feature amount and the feature included in the data stored in advance. Compare with quantity. When the feature amounts are close or the same, it can be determined that the object of the image extracted from the outside scene image matches the target, and this object is recognized as the target. In addition, when data of a plurality of feature amounts is stored for the target, the control unit may recognize the target from the outside scene image based on the plurality of feature amounts. In addition, the control unit may detect the distance to the target using a distance detection unit that detects the distance to the target, and recognize the target based on the detected distance.
また、上記目的を達成するために、本発明の表示装置の制御方法は、外景を透過し、前記外景とともに視認できるように画像を表示する表示部を備える表示装置を制御して、前記表示部を透過して視認される外景を含む外景画像を取得し、取得した前記外景画像に基づいて、前記表示部を透過して視認される対象を認識し、前記対象に関する情報を前記表示部に表示すること、を特徴とする。
本発明によれば、外景画像に基づいて表示部を透過して視認される対象を認識するので、使用者が視認する外景における対象の位置や大きさ等に対応して、対象に関する情報を表示できる。このため、使用者が視認する外景に対応した、効果的な表示を行うことができる。
In order to achieve the above object, the display device control method according to the present invention controls a display device that includes a display unit that displays an image so that the image can be visually recognized together with the outside scene. An outside scene image including an outside scene that is visible through the screen is acquired, a target that is viewed through the display section is recognized based on the acquired outside scene image, and information related to the target is displayed on the display section. It is characterized by doing.
According to the present invention, since an object viewed through the display unit is recognized based on the outside scene image, information on the object is displayed in accordance with the position and size of the object in the outside scene visually recognized by the user. it can. For this reason, an effective display corresponding to the outside scene visually recognized by the user can be performed.
上記目的を達成するために、本発明のプログラムは、外景を透過し、前記外景とともに視認できるように画像を表示する表示部を備えた表示装置を制御するコンピューターを、前記表示部を透過して視認される外景を含む外景画像を取得する外景画像取得部と、前記外景画像取得部が取得する外景画像に基づいて、前記表示部を透過して視認される対象を認識し、前記対象に関する情報を前記表示部に表示する制御部と、して機能させる。
本発明によれば、表示装置を制御して、外景画像に基づいて表示部を透過して視認される対象を認識するので、使用者が視認する外景における対象の位置や大きさ等に対応して、対象に関する情報を表示できる。このため、使用者が視認する外景に対応した、効果的な表示を行うことができる。
In order to achieve the above object, a program of the present invention transmits a computer that controls a display device including a display unit that displays an image so that the program can be seen through the outside scene and the outside scene. An external scene image acquisition unit that acquires an external scene image including an external scene to be visually recognized, and an object that is viewed through the display unit based on the external scene image acquired by the external scene image acquisition unit, and information on the target Is made to function as a control unit for displaying on the display unit.
According to the present invention, since the display device is controlled to recognize the object that is viewed through the display unit based on the outside scene image, it corresponds to the position and size of the object in the outside scene that the user visually recognizes. Information about the subject can be displayed. For this reason, an effective display corresponding to the outside scene visually recognized by the user can be performed.
[第1実施形態]
図1は、本発明を適用した実施形態に係る頭部装着型表示装置100(表示装置)の外観構成を示す説明図である。
頭部装着型表示装置100は、使用者の頭部に装着された状態で使用者に虚像を視認させる画像表示部20と、画像表示部20を制御する制御装置10と、を備えている。制御装置10は、使用者が頭部装着型表示装置100を操作するコントローラーとしても機能する。
[First Embodiment]
FIG. 1 is an explanatory diagram showing an external configuration of a head-mounted display device 100 (display device) according to an embodiment to which the present invention is applied.
The head-mounted
画像表示部20は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有する。画像表示部20は、右保持部21と、右表示駆動部22と、左保持部23と、左表示駆動部24と、右光学像表示部26と、左光学像表示部28と、右カメラ61(撮像部)と、左カメラ62(撮像部)と、マイク63と、距離センサー64とを備える。右光学像表示部26及び左光学像表示部28は、それぞれ、使用者が画像表示部20を装着した際に使用者の右及び左の眼前に位置するように配置されている。右光学像表示部26の一端と左光学像表示部28の一端とは、使用者が画像表示部20を装着した際の使用者の眉間に対応する位置で、互いに連結されている。
The
右保持部21は、右光学像表示部26の他端である端部ERから、使用者が画像表示部20を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部23は、左光学像表示部28の他端である端部ELから、使用者が画像表示部20を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部21及び左保持部23は、眼鏡のテンプル(つる)のようにして、使用者の頭部に画像表示部20を保持する。
The
右表示駆動部22と左表示駆動部24とは、使用者が画像表示部20を装着した際の使用者の頭部に対向する側に配置されている。なお、右表示駆動部22及び左表示駆動部24を総称して単に「表示駆動部」とも呼び、右光学像表示部26及び左光学像表示部28を総称して単に「光学像表示部」とも呼ぶ。
The right
表示駆動部22,24は、液晶ディスプレイ241,242(Liquid Crystal Display、以下「LCD241,242」と呼ぶ)、図2〜図4を参照して後述する投写光学系251,252等を含む。
右光学像表示部26及び左光学像表示部28は、導光板261,262(図2)と、調光板20Aとを備える。導光板261,262は、光透過性の樹脂等によって形成され、表示駆動部22,24が出力する画像光を、使用者の眼に導く。調光板20Aは、薄板状の光学素子であり、使用者の眼の側とは反対の側である画像表示部20の表側を覆うように配置される。調光板20Aは、光透過性がほぼ無いもの、透明に近いもの、光量を減衰させて光を透過するもの、特定の波長の光を減衰又は反射するもの等、種々のものを用いることができる。調光板20Aの光学特性(光透過率など)を適宜選択することにより、外部から右光学像表示部26及び左光学像表示部28に入射する外光量を調整して、虚像の視認のしやすさを調整できる。本実施形態では、少なくとも、頭部装着型表示装置100を装着した使用者が外の景色を視認できる程度の光透過性を有する調光板20Aを用いる場合について説明する。調光板20Aは、右導光板261及び左導光板262を保護し、右導光板261及び左導光板262の損傷や汚れの付着等を抑制する。
調光板20Aは、右光学像表示部26及び左光学像表示部28に対し着脱可能としてもよく、複数種類の調光板20Aを交換して装着可能としてもよいし、省略してもよい。
The
The right optical
The dimming
右カメラ61は、頭部装着型表示装置100の前面において右保持部21側の端部に配置される。また、左カメラ62は、頭部装着型表示装置100の前面において左保持部23側の端部に配置される。右カメラ61、左カメラ62は、CCDやCMOS等の撮像素子及び撮像レンズ等を備えるデジタルカメラであり、単眼カメラであってもステレオカメラであってもよい。
右カメラ61及び左カメラ62は、頭部装着型表示装置100の表側方向、換言すれば、頭部装着型表示装置100を装着した状態における使用者の視界方向の少なくとも一部の外景を撮像する。右カメラ61及び左カメラ62の画角の広さは適宜設定可能であるが、本実施形態では、後述するように、使用者が右光学像表示部26、左光学像表示部28を通して視認する外界を含む画角である。さらに、調光板20Aを通した使用者の視界の全体を撮像できるように右カメラ61、左カメラ62の撮像範囲が設定されているとより好ましい。
右カメラ61及び左カメラ62は、制御部140が備える画像取得部161(図3)の制御に従って撮像を実行し、撮像画像データを画像取得部161に出力する。
The
The
The
距離センサー64は、右光学像表示部26と左光学像表示部28との境目部分に配置される。使用者が画像表示部20を装着した状態で、距離センサー64の位置は、水平方向においては使用者の両眼のほぼ中間であり、鉛直方向においては使用者の両眼より上である。
距離センサー64は、予め設定された測定方向に位置する測定対象物までの距離を検出する。距離センサー64は、例えば、LEDやレーザーダイオード等の光源と、光源が発する光が測定対象物に反射する反射光を受光する受光部とを有する。この場合、距離センサー64は、後述する位置検出部162の制御に従い、三角測距処理や時間差に基づく測距処理を実行する。また、距離センサー64は、超音波を発する音源と、測定対象物で反射する超音波を受信する検出部とを備える構成としてもよい。この場合、距離センサー64は、後述する位置検出部162の制御に従い、超音波の反射までの時間差に基づき測距処理を実行する。なお、距離センサー64は光源や受光部、或いは音源と検出部とを備え、測距処理を位置検出部162が行ってもよい。
本実施形態の距離センサー64の測定方向は、頭部装着型表示装置100の表側方向であり、右カメラ61及び左カメラ62の撮像方向と重複する。
The
The
The measurement direction of the
図2は、画像表示部20が備える光学系の構成を示す要部平面図である。図2には説明のため使用者の左眼LE及び右眼REを図示する。
左表示駆動部24は、LED等の光源と拡散板とを有する左バックライト222、左バックライト222の拡散板から発せられる光の光路上に配置される透過型の左LCD242、および、左LCD242を透過した画像光Lを導くレンズ群等を備えた左投写光学系252を備える。左LCD242は、複数の画素をマトリクス状に配置した透過型液晶パネルである。
FIG. 2 is a principal plan view showing the configuration of the optical system provided in the
The left
左投写光学系252は、左LCD242から射出された画像光Lを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Lは、左導光板262に入射される。左導光板262は、画像光Lを反射する複数の反射面が形成されたプリズムであり、画像光Lは、左導光板262の内部において複数回の反射を経て左眼LE側に導かれる。左導光板262には、左眼LEの眼前に位置するハーフミラー262A(反射面)が形成される。
ハーフミラー262Aで反射した画像光Lは左眼LEに向けて左光学像表示部28から射出され、この画像光Lが左眼LEの網膜に像を結び、使用者に画像を視認させる。
The left projection
The image light L reflected by the
右表示駆動部22は、左表示駆動部24と左右対称に構成される。右表示駆動部22は、LED等の光源と拡散板とを有する右バックライト221、右バックライト221の拡散板から発せられる光の光路上に配置される透過型の右LCD241、および、右LCD241を透過した画像光Lを導くレンズ群等を備えた右投写光学系251を備える。右LCD241は、複数の画素をマトリクス状に配置した透過型液晶パネルである。
The right
右投写光学系251は、右LCD241から射出された画像光Lを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Lは、右導光板261に入射される。右導光板261は、画像光Lを反射する複数の反射面が形成されたプリズムであり、画像光Lは、右導光板261の内部において複数回の反射を経て右眼RE側に導かれる。右導光板261には、右眼REの眼前に位置するハーフミラー261A(反射面)が形成される。
ハーフミラー261Aで反射した画像光Lは右眼REに向けて右光学像表示部26から射出され、この画像光Lが右眼REの網膜に像を結び、使用者に画像を視認させる。
The right projection
The image light L reflected by the
使用者の右眼REには、ハーフミラー261Aで反射した画像光Lと、調光板20Aを透過した外光OLとが入射する。左眼LEには、ハーフミラー262Aで反射した画像光Lと、調光板20Aを透過した外光OLとが入射する。このように、頭部装着型表示装置100は、内部で処理した画像の画像光Lと外光OLとを重ねて使用者の眼に入射させ、使用者にとっては、調光板20Aを透かして外景が見え、この外景に重ねて、画像光Lによる画像が視認される。このように、頭部装着型表示装置100は、シースルー型の表示装置として機能する。
The image light L reflected by the
なお、左投写光学系252と左導光板262とを総称して「左導光部」とも呼び、右投写光学系251と右導光板261とを総称して「右導光部」と呼ぶ。右導光部及び左導光部の構成は上記の例に限定されず、画像光を用いて使用者の眼前に虚像を形成する限りにおいて任意の方式を用いることができ、例えば、回折格子を用いても良いし、半透過反射膜を用いても良い。
The left projection
画像表示部20は、制御装置10に接続部40を介して接続する。接続部40は、制御装置10に接続される本体コード48、右コード42、左コード44、及び、連結部材46を備える。右コード42及び左コード44は、本体コード48が2本に分岐したコードである。右コード42は、右保持部21の延伸方向の先端部APから右保持部21の筐体内に挿入され、右表示駆動部22に接続される。同様に、左コード44は、左保持部23の延伸方向の先端部APから左保持部23の筐体内に挿入され、左表示駆動部24に接続される。
The
連結部材46は、本体コード48と、右コード42及び左コード44との分岐点に設けられ、イヤホンプラグ30を接続するためのジャックを有する。イヤホンプラグ30からは、右イヤホン32及び左イヤホン34が延伸する。イヤホンプラグ30の近傍にはマイク63が設けられる。イヤホンプラグ30からマイク63までは一本のコードにまとめられ、マイク63からコードが分岐して、右イヤホン32と左イヤホン34のそれぞれに繋がる。
The connecting
マイク63は、例えば図1に示すように、マイク63の集音部が使用者の視線方向を向くように配置され、音声を集音して、音声信号を音声処理部187(図4)に出力する。マイク63は、例えばモノラルマイクであってもステレオマイクであってもよく、指向性を有するマイクであってもよいし、無指向性のマイクであってもよい。
For example, as shown in FIG. 1, the
右コード42、左コード44、及び、本体コード48は、デジタルデータを伝送可能なものであればよく、例えば金属ケーブルや光ファイバーで構成できる。また、右コード42と左コード44とを一本のコードにまとめた構成としてもよい。
The
画像表示部20と制御装置10とは、接続部40を介して各種信号を伝送する。本体コード48の連結部材46とは反対側の端部、及び、制御装置10には、互いに嵌合するコネクター(図示略)が設けられる。本体コード48のコネクターと制御装置10のコネクターとを嵌合し、或いは、この嵌合を外すことで、制御装置10と画像表示部20とを接離できる。
The
制御装置10は、頭部装着型表示装置100を制御する。制御装置10は、決定キー11、点灯部12、表示切替キー13、輝度切替キー15、方向キー16、メニューキー17、及び電源スイッチ18を含むスイッチ類を備える。また、制御装置10は、使用者が手指で操作するトラックパッド14を備える。
The
決定キー11は、押下操作を検出して、制御装置10で操作された内容を決定する信号を出力する。点灯部12は、LED(Light Emitting Diode)等の光源を備え、光源の点灯状態により、頭部装着型表示装置100の動作状態(例えば、電源のON/OFF)を通知する。表示切替キー13は、押下操作に応じて、例えば、画像の表示モードの切り替えを指示する信号を出力する。
The
トラックパッド14は、接触操作を検出する操作面を有し、操作面に対する操作に応じて操作信号を出力する。操作面における検出方式は限定されず、静電式、圧力検出式、光学式等を採用できる。輝度切替キー15は、押下操作に応じて画像表示部20の輝度の増減を指示する信号を出力する。方向キー16は、上下左右方向に対応するキーへの押下操作に応じて操作信号を出力する。電源スイッチ18は、頭部装着型表示装置100の電源オン/オフを切り替えるスイッチである。
The
図3は、画像表示部20の要部構成を示す図であり、(A)は画像表示部20を使用者の頭部側から見た要部斜視図、(B)は右カメラ61及び左カメラ62の画角の説明図である。なお、図3(A)では画像表示部20に繋がる右コード42、左コード44等の図示を省略する。
3A and 3B are diagrams showing the configuration of the main part of the
図3(A)は、画像表示部20の使用者の頭部に接する側、言い換えれば使用者の右眼RE及び左眼LEに見える側である。別の言い方をすれば、右光学像表示部26及び左光学像表示部28の裏側が見えている。
この図3(A)では、使用者の右眼REに画像光を照射するハーフミラー261A、及び、左眼LEに画像光を照射するハーフミラー262Aが、略四角形の領域として見える。また、ハーフミラー261A、262Aを含む右光学像表示部26及び左光学像表示部28の全体が、上述したように外光を透過する。このため、使用者には、右光学像表示部26及び左光学像表示部28の全体を透過して外景が視認され、ハーフミラー261A、262Aの位置に矩形の表示画像が視認される。
FIG. 3A shows the side of the
In FIG. 3A, the
右カメラ61は、上記のように右保持部21側の端部に、画像表示部20の前方を向いて配置され、左カメラ62は、左保持部23側の端部に配置される。また、距離センサー64は、右光学像表示部26と左光学像表示部28との中央において、前方を向いて配置される。
図3(B)は、右カメラ61、左カメラ62、及び距離センサー64の位置を、使用者の右眼RE及び左眼LEとともに平面視で模式的に示す図である。右カメラ61の画角(撮像範囲)をCR、左カメラ62の画角(撮像範囲)をCLで示す。なお、図3(B)には水平方向の画角CR、CLを示すが、右カメラ61及び左カメラ62の実際の画角は、一般的なデジタルカメラと同様に上下方向に拡がる。
As described above, the
FIG. 3B is a diagram schematically showing the positions of the
画角CRと画角CLとは、画像表示部20の中央位置に対してほぼ左右対称であり、画角CRと画角CLは、いずれも画像表示部20の中央位置の真正面方向を含む。このため、画像表示部20の中央位置の正面で、画角CR、CLが重なる。
例えば、図3(B)に示すように、画像表示部20の正面方向に対象OBがある場合、対象OBは画角CR及び画角CLのどちらにも含まれる。このため、右カメラ61の撮像画像と、左カメラ62の撮像画像のいずれも、対象OBが写る。ここで、使用者が対象OBを注視すると、使用者の視線は、図中符号RD、LDに示すように対象OBに向けられる。一般に、人間の視野角は水平方向におよそ200度、垂直方向におよそ125度とされ、そのうち情報受容能力に優れる有効視野は水平方向に30度、垂直方向に20度程度である。さらに、人間が注視する注視点が迅速に安定して見える安定注視野は、水平方向に60〜90度、垂直方向に45度〜70度程度とされている。
従って、注視点が対象OBである場合、視線RD、LDを中心として水平方向に30度、垂直方向に20度程度が有効視野であり、水平方向に60〜90度、垂直方向に45度〜70度程度が安定注視野であり、水平方向に約200度、垂直方向に約125度が視野角となる。
The angle of view CR and the angle of view CL are substantially bilaterally symmetric with respect to the center position of the
For example, as shown in FIG. 3B, when there is a target OB in the front direction of the
Therefore, when the gazing point is the target OB, the effective visual field is about 30 degrees in the horizontal direction and about 20 degrees in the vertical direction around the lines of sight RD and LD, and 60 to 90 degrees in the horizontal direction and 45 degrees to the vertical direction. A stable visual field is about 70 degrees, and a viewing angle is about 200 degrees in the horizontal direction and about 125 degrees in the vertical direction.
また、頭部装着型表示装置100を装着する使用者が右光学像表示部26及び左光学像表示部28を透過して視認する実際の視野を、実視野(FOV:Field Of View)と呼ぶ。実視野は、図3(B)を参照して説明した視野角及び安定注視野より狭いが、有効視野より広い。
In addition, an actual field of view that is viewed by the user wearing the head-mounted
右カメラ61及び左カメラ62は、使用者の視野よりも広い範囲を撮像可能であることが好ましく、具体的には、画角CR、CLの全体が、少なくとも使用者の有効視野よりも広いことが好ましい。また、画角CR、CLの全体が、使用者の実視野よりも広いことが、より好ましい。さらに好ましくは、画角CR、CLの全体が、使用者の安定注視野よりも広く、最も好ましくは、画角CR、CLの全体が使用者の視野角よりも広い。
The
このため、右カメラ61及び左カメラ62は、画角CRと画角CLとが、図3(B)に示すように画像表示部20の前方で重なるように配置される。また、右カメラ61及び左カメラ62を広角カメラで構成してもよい。すなわち、右カメラ61及び左カメラ62が、撮像レンズとして、いわゆる広角レンズを備え、広い画角を撮像できる構成としてもよい。広角レンズには、超広角レンズ、準広角レンズと呼ばれるレンズを含んでもよいし、単焦点レンズであってもズームレンズであってもよく、複数のレンズからなるレンズ群を右カメラ61及び左カメラ62が備えてもよい。また、右カメラ61の画角CRと左カメラ62の画角CLとは同じ角度でなくてもよい。また、右カメラ61の撮像方向と左カメラ62の撮像方向とは、完全に平行である必要はない。右カメラ61の撮像画像と、左カメラ62の撮像画像とを重ね合わせた場合に、使用者の視野よりも広い範囲が撮像されていればよい。
For this reason, the
図3(B)には、距離センサー64の検出方向を符号64Aで示す。本実施形態で、距離センサー64は、画像表示部20の中央位置から正面方向に位置する物体までの距離を検出可能に構成され、例えば対象OBまでの距離を検出する。頭部装着型表示装置100を装着した使用者は、注視する方向に頭を向けるため、注視する対象は画像表示部20の正面にあると考えることができる。このため、画像表示部20の中央に配置された距離センサー64が、画像表示部20の正面を検出方向64Aとすれば、使用者が注視する対象までの距離を検出できる。
In FIG. 3B, the detection direction of the
また、図3(A)に示すように、画像表示部20の使用者側には視線センサー68が配置される。視線センサー68は、使用者の右眼RE、及び、左眼LEのそれぞれに対応するように、右光学像表示部26と左光学像表示部28との中央位置に一対、設けられる。視線センサー68は、例えば、使用者の右眼REと左眼LEとをそれぞれ撮像する一対のカメラで構成される。視線センサー68は、制御部140(図4)の制御に従って撮像を行い、制御部140が、撮像画像データから右眼RE及び左眼LEの眼球表面における反射光や瞳孔の画像を検出し、視線方向を特定する。
Further, as shown in FIG. 3A, a line-of-
図4は、頭部装着型表示装置100を構成する各部の機能ブロック図である。
頭部装着型表示装置100は、コンテンツの供給元となる種々の外部機器OAを接続するインターフェイス125を備える。インターフェイス125は、例えば、USBインターフェイス、マイクロUSBインターフェイス、メモリーカード用インターフェイス等の有線接続に対応したインターフェイスを用いることができ、無線通信インターフェイスで構成してもよい。外部機器OAは、頭部装着型表示装置100に画像を供給する画像供給装置であり、パーソナルコンピューター(PC)、携帯電話端末、携帯型ゲーム機等が用いられる。
FIG. 4 is a functional block diagram of each part constituting the head-mounted
The head-mounted
制御装置10は、制御部140、入力情報取得部110、記憶部120、送信部(Tx)51及び送信部(Tx)52を有する。
入力情報取得部110は、操作部135に接続される。操作部135は、上記のトラックパッド14、方向キー16、電源スイッチ18等を含み、入力情報取得部110は、操作部135から入力される信号に基づき、入力内容を取得する。また、制御装置10は、電源部(図示略)を備え、制御装置10及び画像表示部20の各部に電源を供給する。
The
The input
記憶部120は、不揮発性の記憶装置であって、種々のコンピュータープログラム、および、これらのプログラムに係るデータを記憶する。また、記憶部120は、画像表示部20に表示する静止画像や動画像のデータを記憶しても良い。
記憶部120は、設定データ121を記憶する。設定データ121は、制御部140が使用する各種の設定値を含む。設定データ121が含む設定値は、予め操作部135の操作で入力された値であってもよいし、通信部117またはインターフェイス125を介して外部機器OAまたは他の装置(図示略)から設定値を受信して記憶してもよい。
The
The
制御部140には、3軸センサー113、GPS115、通信部117及び音声認識部114が接続される。3軸センサー113は3軸の加速度センサーであり、制御部140は3軸センサー113の検出値を取得する。3軸センサー113により、制御部140は、制御装置10の動きを検出することができ、例えば制御装置10を振る等の操作を検出できる。また、3軸センサー113は9軸センサーに置き換えてもよい。この場合、制御部140は、3軸の加速度センサー、3軸の角速度センサー、及び3軸の地磁気センサーの検出値を取得し、例えば、制御装置10の姿勢、向き、動きを検出できる。
GPS115は、アンテナ(図示略)を備え、GPS(Global Positioning System)信号を受信し、制御装置10の現在位置を算出する。GPS115は、GPS信号に基づいて求めた現在位置や現在時刻を制御部140に出力する。また、GPS115はGPS信号に含まれる情報に基づいて現在時刻を取得し、制御部140が計時する時刻を修正させる機能を備えていてもよい。
A three-
The
通信部117は、無線LAN(WiFi(登録商標))、Miracast(登録商標)、Bluetooth(登録商標)等の規格に準じた無線データ通信を実行する。
外部機器OAが、通信部117に無線接続された場合、制御部140は、コンテンツデータを通信部117より取得して、画像表示部20に画像を表示させる。一方、外部機器OAが、インターフェイス125に有線接続された場合、制御部140は、コンテンツデータをインターフェイス125より取得して、画像表示部20に画像を表示させる。通信部117及びインターフェイス125は、外部機器OAからコンテンツデータを取得するデータ取得部DAとして機能する。
The
When the external device OA is wirelessly connected to the
制御部140は、プログラムを実行するCPU(図示略)、CPUが実行するプログラムやデータを一時的に格納するRAM(図示略)、及び、CPUが実行する基本制御プログラムやデータを不揮発的に記憶するROM(図示略)を備える。制御部140は、記憶部120が記憶するコンピュータープログラムを読み出して実行し、オペレーティングシステム(OS)150、画像処理部160、画像取得部161、位置検出部162、画像選択部163、動作処理部164、表示位置制御部165、音声処理部187、及び、表示制御部190として機能する。
The
画像処理部160は、コンテンツに含まれる画像信号を取得する。画像処理部160は、取得した画像信号から、垂直同期信号VSyncや水平同期信号HSync等の同期信号を分離する。また、画像処理部160は、分離した垂直同期信号VSyncや水平同期信号HSyncの周期に応じて、PLL(Phase Locked Loop)回路等(図示略)を利用してクロック信号PCLKを生成する。画像処理部160は、同期信号が分離されたアナログ画像信号を、A/D変換回路等(図示略)を用いてディジタル画像信号に変換する。画像処理部160は、変換後のディジタル画像信号を、対象画像の画像データ(図中、Data)として、1フレームごとに、制御部140のRAMに格納する。この画像データは、例えばRGBデータである。
なお、画像処理部160は、必要に応じて、画像データの解像度を右表示駆動部22及び左表示駆動部24に適した解像度に変換する解像度変換処理を行ってもよい。また、画像処理部160は、画像データの輝度や彩度を調整する画像調整処理、3D画像データから2D画像データを作成し、或いは2D画像データから3D画像データを生成する2D/3D変換処理等を実行してもよい。
The
Note that the
画像処理部160は、クロック信号PCLK、垂直同期信号VSync、水平同期信号HSync、RAMに格納された画像データDataのそれぞれを、送信部51、52を介して送信する。送信部51、52は、トランシーバーとして機能し、制御装置10と画像表示部20との間におけるシリアル伝送を実行する。なお、送信部51を介して送信される画像データDataを「右眼用画像データ」と呼び、送信部52を介して送信される画像データDataを「左眼用画像データ」と呼ぶ。
The
表示制御部190は、右表示駆動部22及び左表示駆動部24を制御する制御信号を生成し、この制御信号により、右表示駆動部22及び左表示駆動部24のそれぞれによる画像光の生成及び射出を制御する。具体的には、右LCD制御部211による右LCD241の駆動ON/OFF、右バックライト制御部201による右バックライト221の駆動ON/OFFを制御する。また、表示制御部190は、左LCD制御部212による左LCD242の駆動ON/OFF、左バックライト制御部202による左バックライト222の駆動ON/OFFを制御する。
The
音声処理部187は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、右イヤホン32および左イヤホン34に出力する。また、音声処理部187は、マイク63により集音される音声を取得してディジタル音声データに変換する。音声処理部187は、ディジタル音声データに対して予め設定された処理を行ってもよい。
The
画像表示部20は、上記の右カメラ61、左カメラ62、及び距離センサー64を備える。また、画像表示部20は、インターフェイス25と、右表示駆動部22と、左表示駆動部24と、右光学像表示部26としての右導光板261と、左光学像表示部28としての左導光板262と、9軸センサー66と、視線センサー68とを備える。
The
9軸センサー66は、加速度(3軸)、角速度(3軸)、地磁気(3軸)を検出するモーションセンサーである。制御部140は、画像表示部20が使用者の頭部に装着されているとき、9軸センサー66の検出値に基づいて使用者の頭部の動きを検出できる。例えば、制御部140は、9軸センサー66の検出値に基づき、画像表示部20の傾きの大きさと傾きの向きを推定できる。
The 9-
インターフェイス25は、右コード42と左コード44とが接続されるコネクターを備える。インターフェイス25は、送信部51から送信されるクロック信号PCLK、垂直同期信号VSync、水平同期信号HSync、画像データDataを、対応する受信部(Rx)53、54に出力する。また、インターフェイス25は、表示制御部190から送信される制御信号を、対応する受信部53、54、右バックライト制御部201又は左バックライト制御部202に出力する。
また、インターフェイス25は、右カメラ61、左カメラ62、距離センサー64、9軸センサー66及び視線センサー68を接続するインターフェイスである。右カメラ61、左カメラ62の撮像データ、距離センサー64の検出結果、9軸センサー66による加速度(3軸)、角速度(3軸)、地磁気(3軸)の検出結果、及び、視線センサー68の検出結果は、インターフェイス25を介して制御部140に送られる。
The
The
右表示駆動部22は、上述した右バックライト221、右LCD241、及び右投写光学系251を備える。また、右表示駆動部22は、受信部53、右バックライト(BL)221を制御する右バックライト(BL)制御部201、及び、右LCD241を駆動する右LCD制御部211を備える。
The right
受信部53は、送信部51に対応するレシーバーとして動作し、制御装置10と画像表示部20との間におけるシリアル伝送を実行する。右バックライト制御部201は、入力された制御信号に基づいて、右バックライト221を駆動する。右LCD制御部211は、受信部53を介して入力されたクロック信号PCLKと、垂直同期信号VSyncと、水平同期信号HSyncと、右眼用画像データDataと、に基づいて、右LCD241を駆動する。
The
左表示駆動部24は、右表示駆動部22と同様の構成を有する。左表示駆動部24は、上述した左バックライト222、左LCD242、及び左投写光学系252を備える。また、左表示駆動部24は、受信部54、左バックライト222を駆動する左バックライト制御部202、及び、左LCD242を駆動する左LCD制御部212を備える。
The left
受信部54は、送信部52に対応するレシーバーとして動作し、制御装置10と画像表示部20との間におけるシリアル伝送を実行する。左バックライト制御部202は、入力された制御信号に基づいて、左バックライト222を駆動する。左LCD制御部212は、受信部54を介して入力されたクロック信号PCLKと、垂直同期信号VSyncと、水平同期信号HSyncと、右眼用画像データDataと、に基づいて、左LCD242を駆動する。
なお、右バックライト制御部201と、右LCD制御部211と、右バックライト221と、右LCD241とを総称して、右の「画像光生成部」とも呼ぶ。同様に、左バックライト制御部202と、左LCD制御部212と、左バックライト222と、左LCD242とを総称して、左の「画像光生成部」とも呼ぶ。
The
The right
図3(A)に示したように、頭部装着型表示装置100を装着する使用者が、ハーフミラー261A、262Aから照射される画像光を視認する範囲は、実視野より小さい。例えば、頭部装着型表示装置100が、AR(Augmented Reality)効果を奏する画像(以下、AR画像という)を表示する場合、使用者が注視する対象OBに重なるようにAR画像を表示する。この場合、対象OBにAR画像が重なって見えることで、ARの効果が得られるが、AR画像が視認される領域はハーフミラー261A、262Aの大きさの制約を受ける。このため、実視野に対象OBが含まれる場合であっても、対象OBに重なる位置にAR画像を表示することが困難なケースも考えられる。また、AR画像以外の画像を表示する場合も、頭部装着型表示装置100が画像を表示できる領域が、実視野に比べて小さいことが機能上の制約となる可能性がある。
As shown in FIG. 3A, the range in which the user wearing the head-mounted
そこで、頭部装着型表示装置100は、右カメラ61及び左カメラ62の撮像画像や、予め用意された画像など、使用者の実視野よりも広い範囲の外景の画像を利用して、使用者が注視する外景中の対象OBに対応するARコンテンツを表示するなど、外景に対応した表示を行う。
Therefore, the head-mounted
画像取得部161は、頭部装着型表示装置100の現在の位置に対応する外景画像を取得する。外景画像は、右カメラ61及び左カメラ62の撮像画像、または、通信部117を介して通信可能な外部装置から取得する画像が挙げられる。画像取得部161が外景画像を取得する処理については後述する。
The
位置検出部162は、制御部140が外景画像から対象物(対象)を検出(認識)する機能を実行する。この機能では、位置検出部162は、例えば画像取得部161が取得した外景画像を解析する。位置検出部162は、外景画像から対象物の画像を検出し、検出した画像の外景画像における位置を特定することで、使用者が注視する対象物の位置を検出する。この処理については後述する。また、位置検出部162は、距離センサー64を制御して検出した対象物までの距離を計測することにより、対象物の位置を検出してもよく、外景画像の処理と距離センサー64で検出した距離とを併用して対象物の位置を検出してもよい。
The
画像選択部163は、外部機器OAからインターフェイス125に入力されるARコンテンツのうち、表示するARコンテンツを選択する。
動作処理部164は、9軸センサー66の検出値等に基づいて、画像表示部20の動きを検出し、画像表示部20の動きに対応した処理を行う。画像表示部20の動きは、頭部装着型表示装置100を装着する使用者の頭の動きと見なすことができる。また、動作処理部164は、視線センサー68を制御して、使用者の視線方向を検出する。
表示位置制御部165は、位置検出部162が検出する対象物の位置、動作処理部164が検出する画像表示部20の動き、及び/又は使用者の視線方向に対応して右表示駆動部22及び左表示駆動部24のAR画像の表示位置に係る制御を行う。
The
The
The display
図5は、頭部装着型表示装置100の動作を示すフローチャートである。
使用者が頭部装着型表示装置100を装着し(ステップS11)、操作部135の操作によりARコンテンツの表示が指示されると、制御部140は、表示に係る動作を開始する(ステップS11)。
制御部140は、画像取得部161により、外景画像取得処理を実行する(ステップS12)。外景画像取得処理の具体的な態様は3通りある。
FIG. 5 is a flowchart showing the operation of the head-mounted
When the user wears the head-mounted display device 100 (step S11) and the display of the AR content is instructed by the operation of the
The
図6は、ステップS12の外景画像取得処理の第1の態様を示すフローチャートである。この第1の態様では、画像取得部161は、右カメラ61及び左カメラ62を制御して撮像を実行させ(ステップSA1)、撮像画像データを取得する(ステップSA2)。
画像取得部161は、取得した撮像画像データが複数あるか否かを判定する(ステップSA3)。本実施形態の頭部装着型表示装置100は2つの右カメラ61、左カメラ62のそれぞれが撮像画像データを出力するので、画像取得部161は複数の撮像画像データを取得し(ステップSA3;YES)、取得した撮像画像データを合成することにより外景画像データを得る(ステップSA4)。また、ステップSA2で取得した撮像画像データが1つである場合(ステップSA3;NO)、画像取得部161は、取得した撮像画像データを外景画像データとする。撮像画像データが1つである場合とは、例えば、右カメラ61と左カメラ62が撮像した範囲の1つの撮像画像データが制御部140に入力される場合や、右カメラ61または左カメラ62のいずれか一方のみを使用するよう設定された場合、1つのカメラを備えた構成である場合等が挙げられる。
FIG. 6 is a flowchart showing a first aspect of the outside scene image acquisition processing in step S12. In the first mode, the
The
図7及び図8は、外景画像取得処理の第2の態様を示し、図7は撮像処理を示すフローチャートであり、図8は外景画像取得処理を示すフローチャートである。
第2の態様では、頭部装着型表示装置100の動作中、画像取得部161が、一定時間毎に右カメラ61及び左カメラ62による撮像を実行する。すなわち、画像取得部161は、頭部装着型表示装置100の動作開始またはARコンテンツの表示開始をトリガーとして撮像動作を開始し(ステップSB1)、右カメラ61及び左カメラ62による撮像を実行する(ステップSB2)。
画像取得部161は右カメラ61及び左カメラ62が撮像した撮像画像データを取得する(ステップSB3)。続いて、画像取得部161は、GPS115により頭部装着型表示装置100の現在位置の座標、及び/又は9軸センサー66の検出値を取得する(ステップSB4)。例えば、画像取得部161は、GPS115の現在位置と、9軸センサー66の地磁気センサー、角速度センサー及び加速度センサーの検出値とを取得し、頭部装着型表示装置100の現在位置と姿勢を特定できる。
7 and 8 show a second aspect of the outside scene image acquisition process, FIG. 7 is a flowchart showing the imaging process, and FIG. 8 is a flowchart showing the outside scene image acquisition process.
In the second mode, during operation of the head-mounted
The
画像取得部161は、ステップSB3で取得した撮像画像データを、ステップSB4で取得した現在位置や検出値に対応付けて記憶部120に記憶する(ステップSB5)。
その後、画像取得部161は、撮像を終了する条件が成立しているか否かを判定し(ステップSB6)、撮像終了の条件が成立していない場合は(ステップSB6;NO)、ステップSB2に戻る。撮像終了の条件とは、操作部135の操作により撮像終了が指示された場合、頭部装着型表示装置100の動作モードが、ARコンテンツを表示する動作モードや、右カメラ61、左カメラ62の撮像を行わない動作モードに切り換えられた場合等が挙げられる。
The
Thereafter, the
頭部装着型表示装置100は、例えば、右カメラ61及び左カメラ62が撮像を実行可能な状態で、ステップSB2〜SB6の動作を、所定時間ごとに繰り返し実行してもよい。この場合、頭部装着型表示装置100がAR表示を行うか否かにかかわらず、記憶部120には、頭部装着型表示装置100の現在位置やセンサーの検出値に対応付けて、撮像画像データが記憶される。なお、記憶部120の記憶容量の制限がある場合、画像取得部161は、通信部117を介して接続される外部装置に、撮像画像データと現在位置とセンサーの検出値とを対応付けて送信してもよい。この場合の外部装置は、LAN(Local Area Network)に接続された記憶装置や、オンラインストレージと呼ばれる記憶装置、或いは、クラウドストレージサーバー等が挙げられる。
また、撮像終了の条件が成立した場合は(ステップSB6;YES)、本処理を終了する。
For example, the head-mounted
If the condition for ending imaging is satisfied (step SB6; YES), this process ends.
図8の外景画像取得処理は、図7の動作で記憶された撮像画像データを使用するが、図7の動作と連動または協調して実行する必要はない。つまり、図7の動作および図8の動作は、互いに、実行タイミングは拘束されない。
画像取得部161は、GPS115で頭部装着型表示装置100の現在位置を検出して取得し、9軸センサー66の検出値を取得する(ステップSB11)。続いて、画像取得部161は、ステップSB11で取得した現在位置及びセンサーの検出値に対応付けて記憶された撮像画像データを、記憶部120または通信部117で接続された外部機器から取得する(ステップSB12)。ステップSB12で、画像取得部161は、ステップSB11で取得した現在位置及びセンサー検出値を検索条件として撮像画像データを検索する。画像取得部161は、検索条件の全てに該当する撮像画像データを取得してもよいし、一部の検索条件にのみ該当する撮像画像データを取得してもよい。
The outside scene image acquisition process of FIG. 8 uses the captured image data stored in the operation of FIG. 7, but does not need to be executed in conjunction with or in cooperation with the operation of FIG. That is, the execution timing of the operation of FIG. 7 and the operation of FIG.
The
画像取得部161は、ステップSB12で取得した撮像画像データが複数か否かを判定する(ステップSB13)。撮像画像データが複数ある場合(ステップSB13;YES)、画像取得部161は、取得した複数の撮像画像データを合成して1つの撮像画像データにして(ステップSB14)、図5のステップS13に移行する。一方、取得した撮像画像データが1つである場合(ステップSB13;NO)、画像取得部161は、図5のステップS13に移行する。
The
図9は、外景画像取得処理の第3の態様を示し、図7は撮像処理を示すフローチャートであり、図8は外景画像取得処理を示すフローチャートである。
第3の態様では、画像取得部161は外部機器から撮像画像データを取得する。この場合の外部機器は、限定的な範囲に敷設されたLAN等の通信回線、或いは、インターネット等の広域ネットワークを介して、頭部装着型表示装置100と通信可能に接続されたサーバー装置等である。この外部機器は、頭部装着型表示装置100の位置やセンサーの検出値等に対応する画像データを記憶する。
FIG. 9 shows a third mode of outside scene image acquisition processing, FIG. 7 is a flowchart showing imaging processing, and FIG. 8 is a flowchart showing outside scene image acquisition processing.
In the third aspect, the
画像取得部161は、GPS115で頭部装着型表示装置100の現在位置を検出して取得し、9軸センサー66の検出値を取得する(ステップSC1)。続いて、画像取得部161は、ステップSB11で取得した現在位置及びセンサーの検出値を、通信部117を介して接続される外部機器に送信し、撮像画像データを要求する(ステップSC3)。
その後、画像取得部161は、ステップSC3で送信した要求への応答として、外部機器が送信する画像データを受信する(ステップSC3)。
The
Thereafter, the
画像取得部161は、ステップSC3で受信した撮像画像データが複数か否かを判定する(ステップSC4)。撮像画像データが複数ある場合(ステップSC4;YES)、画像取得部161は、受信した複数の撮像画像データを合成して1つの撮像画像データにして(ステップSC5)、図5のステップS13に移行する。一方、受信した撮像画像データが1つである場合(ステップSC4;NO)、画像取得部161は、図5のステップS13に移行する。
The
上記の第1、第2、或いは第3の態様の外景画像取得処理を実行し、画像取得部161は、1つの外景画像を得る。
その後、位置検出部162は、取得した外景画像から、AR表示の対象を認識する(ステップS13)。AR表示の対象とは、頭部装着型表示装置100の使用者が外景において視認する物体であり、人間、動物、及び無生物のいずれであってもよく、移動可能なものに限定されず建物等の移動できない物を含む。対象は、使用者が対象の方を向いたときに、右光学像表示部26及び左光学像表示部28を透過して視認される。頭部装着型表示装置100は、予め設定された対象に関する情報を、対象と同時に見えるように画像表示部20により表示することで、AR表示を行う。
The outside scene image acquisition process of the first, second, or third aspect is executed, and the
Thereafter, the
位置検出部162には、予め、検出する対象が設定される。対象は、AR表示のコンテンツ毎に設定可能であり、例えば、AR表示のコンテンツ(以下、ARコンテンツと呼ぶ)のデータに含まれる。また、検出する対象に関するデータが設定データ121として記憶されてもよい。ステップS13で、位置検出部162は、ARコンテンツまたは設定データ121から対象を検出するためのデータを取得し、このデータを用いて、外景画像に含まれる対象物(対象)を認識する。対象物を検出するためのデータとは、撮像画像から対象物の画像を検出する処理に用いるデータであり、対象物の画像の特徴量等である。例えば、対象物が物体である場合に、この物体を撮像した場合の撮像画像の色、形状、その他の特徴を示す特徴量が設定データに含まれる。この場合、位置検出部162は、外景画像の画像データから物体の画像を抽出する処理を行い、抽出した物体の画像の特徴量を算出し、算出した特徴量と、設定データ121に含まれる特徴量とを比較照合する。特徴量が近い値であり、或いは同一である場合は、外景画像から抽出した画像の物体を対象物として認識できる。また、対象物について複数の特徴量が設定データ121に含まれる場合、位置検出部162は複数の特徴量に基づき外景画像から対象物を検出し、認識できる。位置検出部162は、外景画像において対象を認識できない場合、ステップS12で画像取得部161が新たな外景画像を取得するまで待機し、新たな外景画像について対象を認識する処理を行う。
A target to be detected is set in the
続いて、位置検出部162は、ステップS13で認識した対象の位置、または、位置および距離を算出する(ステップS14)。位置検出部162は、頭部装着型表示装置100を基準とした位置及び距離を算出する。より詳細には、画像表示部20に対する対象の相対位置および画像表示部20から対象までの距離を算出する。この場合、画像表示部20の右光学像表示部26と左光学像表示部28との中央の位置を、位置及び距離を算出するときの基準にしてもよい。
Subsequently, the
位置検出部162が位置を算出する方法は、ステップS13で外景画像から認識した対象の外景画像における座標を求め、求めた座標から、画像表示部20に対する対象の相対位置を求める方法を採用できる。この場合、位置検出部162は、外景画像における対象の画像のサイズから、画像表示部20から対象までの距離の推定値を算出できる。ここで、外景画像と画像表示部20の位置との位置関係を示すデータが、外景画像のデータに付加されていてもよい。
As a method for calculating the position by the
また、位置検出部162は、右カメラ61及び左カメラ62により対象を撮像して、撮像画像における対象の画像を検出し、検出した画像の撮像画像における座標及びサイズに基づき、対象の位置と距離とを算出してもよい。画像取得部161が図6の動作で外景画像を取得した場合、この外景画像をもとに上記処理を実行できる。また、画像取得部161が図7、8の動作または図9の動作で外景画像を取得した場合、位置検出部162は、外景画像で対象を検出した後に、右カメラ61及び左カメラ62に撮像を実行させて、上記処理を行えばよい。
In addition, the
また、位置検出部162は、対象までの距離を、距離センサー64を利用して求めてもよい。位置検出部162は、外景画像から検出した対象が、距離センサー64の検出方向に位置すると判定した場合に、距離センサー64を動作させて距離を検出し、検出した距離を、対象までの距離とすればよい。
Further, the
ステップS14で位置検出部162が算出する対象の位置及び距離に基づき、表示位置制御部165は、右光学像表示部26及び左光学像表示部28の表示領域における対象の位置を算出する(ステップS15)。右光学像表示部26及び左光学像表示部28の表示領域は、具体的には、図3(A)に示したように、ハーフミラー261A、262Aが相当する。表示位置制御部165は、使用者がハーフミラー261A、262A越しに視認する外景の範囲を基準とし、ARコンテンツの対象の位置を算出する。
Based on the position and distance of the target calculated by the
表示位置制御部165は、ステップS15で算出した対象の位置が画像表示部20の表示領域内か否かを判定する(ステップS16)。ここで、表示領域とは、使用者がハーフミラー261A、262A越しに視認する外景の範囲を指す。この対象は外景に存在するものであり、表示位置制御部165は、対象が、使用者に、ハーフミラー261A、262Aと重なって見えるか否かを判定する。
The display
ステップS16で、表示位置制御部165は、ハーフミラー261Aとハーフミラー262Aのそれぞれについて判定を行っても良い。この場合、表示位置制御部165は、使用者がハーフミラー261A越しに視認する範囲に対象が含まれるか否かの判定、及び、使用者がハーフミラー262A越しに視認する範囲に対象が含まれるか否かの判定を、それぞれ行う。
例えば、画像選択部163が3DのARコンテンツを選択した場合等は、ハーフミラー261A、262Aの両方において対象が表示範囲内であることが好ましい。この場合、表示位置制御部165は、ハーフミラー261A、262Aの両方で対象が表示範囲内にある場合に、対象が表示領域内にあると判定する。
また、例えば、画像選択部163が、対象に関する説明文や注釈のテキストまたは画像を表示するARコンテンツを選択した場合、ハーフミラー261A、262Aのいずれか一方に、ARコンテンツが表示されればよい。この場合、表示位置制御部165は、ハーフミラー261A、262Aのいずれか一方で対象が表示範囲内にあれば、対象が表示領域内にあると判定する。
このように、表示位置制御部165は、ハーフミラー261A、262Aに関する判定結果を、画像選択部163が選択するARコンテンツの種類に応じて統合し、ステップS16の判定を行ってもよい。
In step S16, the display
For example, when the
Further, for example, when the
As described above, the display
表示位置制御部165が、対象の位置表示領域内でないと判定した場合(ステップS16;NO)、動作処理部164は、表示制御部190を制御して、視線を誘導する誘導画像を右光学像表示部26及び左光学像表示部28に表示させる(ステップS17)。
When the display
図10は、本実施形態における表示例を示す図であり、(A)は使用者の視野VRを示し、(B)は外景画像の例を示し、(C)は誘導画像の表示例を示す。
図10(A)は使用者の右眼の視野VRの例を示しており、使用者の左眼の視野は図10(A)と同一または左右対称であるため図示を省略する。視野VRのうちハーフミラー261Aに相当する領域が表示領域D1となり、この表示領域D1に、右LCD241(図4)に描画される画像が表示される。
図10(A)の例では視野VRに自転車が見えているが、この自転車は画像表示部20の外側に置かれている実物の自転車である。つまり、使用者は、右光学像表示部26を透過して、外景の自転車を視認する。
FIG. 10 is a diagram illustrating a display example in the present embodiment, in which (A) shows a user's visual field VR, (B) shows an example of an outside scene image, and (C) shows a display example of a guidance image. .
FIG. 10A shows an example of the visual field VR of the user's right eye. The visual field of the user's left eye is the same as or symmetrical with that of FIG. An area corresponding to the
In the example of FIG. 10A, a bicycle can be seen in the field of view VR, but this bicycle is a real bicycle placed outside the
図10(B)には画像取得部161が取得する外景画像Pの例を示す。この例では、画像取得部161は、使用者が視認する範囲より広い範囲の外景画像Pを取得し、この外景画像Pには使用者の視野VRに見える範囲より大きな範囲が写っている。参考のため、外景画像Pにおいて、視野VRに見える範囲を符号P1で示し、表示領域D1に対応する範囲を符号P2で示す。
図10(B)の例では、ARコンテンツに対応する対象OBが、視野VRに見える範囲P1の外にあり、表示領域D1に対応する範囲P2の外でもある。このため、表示位置制御部165は、ステップS16で、対象OBの位置が表示領域内でないと判定する。この場合、動作処理部164がステップS17で表示する誘導画像は、例えば図10(C)に示すように、使用者の視線を対象OB側に移動させる画像である。図10(C)の誘導画像D2は、対象OBの方向を示す矢印である。この矢印に従って使用者が頭部の向きを変えると、対象OBが表示領域D1に入る可能性がある。
FIG. 10B shows an example of the outside scene image P acquired by the
In the example of FIG. 10B, the target OB corresponding to the AR content is outside the range P1 that is visible in the visual field VR, and is also outside the range P2 corresponding to the display area D1. For this reason, the display
動作処理部164は、頭部装着型表示装置100の移動を検出したか否かを判定する(ステップS18)。動作処理部164は、9軸センサー66により、画像表示部20の向きや位置の変化を検出し、予め設定された閾値よりも大きい変化があった場合に、移動を検出したと判定する。また、動作処理部164は、GPS115を利用して頭部装着型表示装置100の移動を検出してもよい。頭部装着型表示装置100の移動を検出しないと判定した場合(ステップS18;NO)、動作処理部164は、誘導画像の表示を継続し、一定時間毎にステップS18の判定を行う。頭部装着型表示装置100の移動を検出した場合(ステップS18;YES)、動作処理部164はステップS14に戻る。
The
また、表示位置制御部165が、対象が表示領域内であると判定した場合(ステップS16;YES)、動作処理部164は表示制御部190を制御して、ARコンテンツを右光学像表示部26、左光学像表示部28に表示させる(ステップS19)。ここで、動作処理部164は、ARコンテンツのデータを間引きして表示制御部190に表示させてもよい。データの間引きとは、具体的には、動画像データの一部のフレームを抽出することでフレームレートを低下させる、フレームの解像度を低下させる、等の処理を含む。これにより、表示制御部190が処理するデータ量を削減でき、表示タイミングの遅延を防止できる等の利点がある。
When the display
続いて、表示位置制御部165が、表示位置のフィッティングを実行する(ステップS20)。フィッティングは使用者が制御装置10を操作して、手動でARコンテンツの表示位置を調整する機能である。使用者が、ステップS19でARコンテンツが表示された位置の変更を望む場合など、必要があれば実行される。従って、ステップS20を省略することも可能であり、ステップS20のフィッティングを実行するか否かを設定可能な構成であってもよい。ステップS20で、表示位置制御部165は、操作部135等の操作に従って、ARコンテンツの表示位置を移動させる。ここで、表示位置制御部165は、操作部135等の操作に従ってARコンテンツの表示サイズを変更してもよい。また、ステップS20で実行した位置調整やサイズ調整の調整量を、記憶部120に設定データ121として記憶してもよい。
Subsequently, the display
ステップS19〜S20の動作により、使用者には、対象に重なる位置、或いは対象に対応する位置で、ARコンテンツを視認できる。
その後、動作処理部164は、操作部135等においてズーム表示を指示する操作があったか否かを判定する(ステップS21)。該当する操作があった場合(ステップS21;YES)、動作処理部164は、視線センサー68によって使用者の視線を検出する(ステップS22)。動作処理部164は、検出した視線に基づき、表示領域において使用者が注視する方向を特定し、注視方向を中心にしたズーム表示を実行し(ステップS23)、ステップS24に移行する。また、ズーム表示を指示する操作がないと判定した場合(ステップS21;NO)、動作処理部164はステップS24に移行する。
Through the operations in steps S19 to S20, the user can visually recognize the AR content at a position overlapping the target or a position corresponding to the target.
Thereafter, the
図11は、頭部装着型表示装置100の表示例を示す図であり、(A)は縮小表示の例を示し、(B)は注視方向を検出する例を示し、(C)はズーム表示の例を示す。
図11(A)に示す縮小表示は、操作部135の操作に対応して動作処理部164が実行する動作の一例であり、外景画像P(図10(B))を縮小して表示領域D1に表示する。外景画像Pが、使用者が画像表示部20を透過して視認する外景よりも広い範囲の画像である場合に、縮小表示を行うと、使用者は視野VRよりも広い範囲の外景を見ることができる。
FIG. 11 is a diagram illustrating a display example of the head-mounted
The reduced display shown in FIG. 11A is an example of the operation performed by the
表示位置制御部165は、ステップS22で、視線センサー68を使用して視線を検出し、検出した視線に基づいて使用者が注視している方向を求め、表示領域D1に重なる外景において使用者が注視している注視点を算出する。図11(B)には注視点VPOが表示領域D1の内部にあるが、視線センサー68を使用すれば、注視点VPOが表示領域D1の外にある場合も検出できる。
図11(C)の例では、注視点VPOを中心とした所定範囲が、拡大されて表示領域D1に表示される。図11(C)では外景画像Pの一部が拡大されて表示されているが、表示領域D1に表示中のAR画像を、拡大表示してもよい。
In step S22, the display
In the example of FIG. 11C, a predetermined range centered on the gazing point VPO is enlarged and displayed in the display area D1. Although part of the outside scene image P is enlarged and displayed in FIG. 11C, the AR image being displayed in the display area D1 may be enlarged and displayed.
ステップS24で、動作処理部164は、頭部装着型表示装置100の移動を検出したか否かを判定する(ステップS24)。動作処理部164は、9軸センサー66及び/又はGPS115を利用して、頭部装着型表示装置100の移動を検出する。頭部装着型表示装置100の移動を検出しないと判定した場合(ステップS24;NO)、動作処理部164は、誘導画像の表示を継続し、一定時間毎にステップS21の判定を行う。
In step S24, the
頭部装着型表示装置100の移動を検出した場合(ステップS24;YES)、動作処理部164は、表示領域における対象の位置を算出する(ステップS25)。この動作はステップS15と同様である。表示位置制御部165は、ステップS25で算出した対象の位置が画像表示部20の表示領域内か否かを判定する(ステップS26)。ステップS26の判定は、ステップS16と同様に行うことができる。
When the movement of the head-mounted
表示位置制御部165が、対象の位置が表示領域内でないと判定した場合(ステップS26;NO)、制御部140はステップS17に移行して、視線を誘導する誘導画像を右光学像表示部26及び左光学像表示部28に表示させる(ステップS17)。
AR表示の対象の位置が表示領域内であると判定した場合(ステップS26;YES)、表示位置制御部165は、AR表示の表示位置を算出して更新し、更新後の位置に基づき、動作処理部164が表示制御部190を制御してARコンテンツを表示する(ステップS27)。
When the display
When it is determined that the target position of the AR display is within the display area (step S26; YES), the display
その後、動作処理部164は、表示終了の条件が成立しているか否かを判定し(ステップS28)、表示終了の条件が成立していない場合は(ステップS28;NO)、ステップS21に戻る。また、表示終了の条件が成立した場合(ステップS28;YES)、ARコンテンツの表示を停止する。表示終了の条件は、例えば、操作部135による終了の指示があること、ARコンテンツの表示が完了したこと、等である。
Thereafter, the
以上説明したように、本発明を適用した第1実施形態に係る頭部装着型表示装置100は、頭部装着型表示装置100は、外景を透過し、外景とともに視認できるように画像を表示する画像表示部20を備える。また、画像表示部20を透過して視認される外景を含む外景画像を取得し、取得した外景画像に基づいて、画像表示部20を透過して視認される対象を認識し、対象に関する情報を画像表示部20に表示する制御部140を備える。これにより、使用者が視認する外景における対象の位置や大きさ等に対応して、対象に関する情報を表示できる。このため、使用者が視認する外景と表示画像との不整合を防ぐことができ、効果的な表示を行うことができる。
As described above, the head-mounted
また、制御部140は、対象が画像表示部20において情報が表示される範囲の外にある場合に、画像表示部20により、視線を対象へ誘導する誘導表示を行う。これにより、対象の位置が、情報が表示される範囲に収まるように、視線を誘導できる。
また、制御部140は、取得した外景画像に基づいて、画像表示部20を透過して視認可能な範囲の外景の画像を、画像表示部20に表示する。これにより、使用者が視認する外景の画像の見え方を変化させることができる。
In addition, when the target is outside the range where information is displayed on the
Further, the
また、画像表示部20は、使用者の頭部に装着される頭部装着型の表示部であり、使用者の視線を検出する視線センサー68を備える。制御部140は、視線センサー68が検出する使用者の視線の方向に対応して画像表示部20の表示を変化させる。これにより、表示画像を使用者の視線に対応させることができ、より効果的に、使用者が視認する外景と表示画像との不整合を防ぐことができる。
The
また、制御部140は、外景画像の一部領域を画像表示部20に表示し、視線検出部が検出する使用者の視線の方向に対応して、外景画像において画像表示部20に表示する一部領域の位置を変化させる。これにより、使用者の視線に対応させて、外景画像を表示するので、使用者が視認する外景と表示画像との不整合を防ぎ、外景画像を使用者に視認させることができる。
In addition, the
また、頭部装着型表示装置100は、画像表示部20を透過して視認される外景を含む範囲を撮像する右カメラ61及び左カメラ62を備える。制御部140は、第1の態様で説明したように、右カメラ61及び左カメラ62の撮像画像を外景画像として取得してもよい。この場合、外景画像を事前に用意することなく、使用者が視認する外景に対応する外景画像を取得し、画像を表示できる。
また、制御部140は、複数の撮像部である右カメラ61、左カメラ62がそれぞれ撮像した複数の撮像画像を取得して合成することにより外景画像を生成してもよい。この場合、複数の撮像画像を用いて、好ましいサイズや画角を有する外景画像を得ることができる。
The head-mounted
The
また、制御部140は、第2の態様で説明したように、右カメラ61及び左カメラ62が撮像した複数の撮像画像を取得して合成することにより外景画像を生成してもよい。この場合、右カメラ61、左カメラ62の画角等に制限されず、好ましいサイズや画角を有する外景画像を得ることができる。
Further, as described in the second aspect, the
また、頭部装着型表示装置100は、外部機器に接続する通信部117を備え、制御部140は、第3の態様で説明したように、通信部117に接続する外部機器から外景画像を取得してもよい。この場合、予め外景画像を記憶したり、撮像する手段を設けたりすることなく、外景画像を取得できる。
また、頭部装着型表示装置100は、現在位置を検出するGPS115を備え、制御部140は、通信部117を介して、外部機器から、GPS115で検出する現在位置に対応する外景画像を取得してもよい。この場合、頭部装着型表示装置100の位置に対応する外景画像を取得できる。
The head-mounted
The head-mounted
[第2実施形態]
図12は、第2実施形態における頭部装着型表示装置100の動作を示すフローチャートである。
第2実施形態の頭部装着型表示装置100の構成は、上記第1実施形態で図1〜図4を参照して説明した構成と共通であるため、図示及び説明を省略する。
この第2実施形態で、頭部装着型表示装置100は、ARコンテンツの表示中に使用者の視線が移動したことを検出し、視線の移動に合わせて表示位置を変更する。
[Second Embodiment]
FIG. 12 is a flowchart illustrating the operation of the head-mounted
Since the configuration of the head-mounted
In the second embodiment, the head-mounted
使用者が頭部装着型表示装置100を装着し(ステップS11)、操作部135の操作によりARコンテンツの表示が指示されると、制御部140は、表示に係る動作を開始する(ステップS11)。
制御部140は、画像取得部161により、外景画像取得処理を実行する(ステップS12)。外景画像取得処理は、上述した第1〜第3の態様で実行できる。
When the user wears the head-mounted display device 100 (step S11) and the display of the AR content is instructed by the operation of the
The
画像取得部161が外景画像取得処理で外景画像を取得した後、動作処理部164は、視線センサー68によって使用者の視線を検出する(ステップS41)。動作処理部164は、検出した視線に基づき、表示領域において使用者が注視する方向を特定し、外景画像から、注視方向に対応する部分を切り出す処理を行う(ステップS42)。
After the
動作処理部164は、ステップS41において、視線センサー68を使用して使用者の視線を検出し、画像表示部20を基準として使用者が注視する方向を特定する。この場合の基準は、画像表示部20の右光学像表示部26と左光学像表示部28との中央位置や、ハーフミラー261A、262Aの中心等とすることができる。
ステップS42において、動作処理部164は、画像取得部161がステップS12で取得した外景画像と、使用者が画像表示部20を透過して視認する実際の外景との対応を特定する。画像取得部161が取得する外景画像は、使用者が視認する実際の外景を含み、これに加えて、使用者が視認できない範囲の外景の画像を含む。動作処理部164は、ステップS12の外景画像取得処理が第1の態様(図6)または第2の態様(図7、図8)で実行された場合は、右カメラ61及び左カメラ62の画角に基づき、使用者が視認する外景と外景画像との相対位置を求める。また、外景画像取得処理が第3の態様(図9)で実行された場合、動作処理部164は、外部機器から外景画像を受信する際に検出した画像表示部20の位置や方向に基づき、使用者が視認する外景と外景画像との相対位置を求める。この相対位置をもとに、動作処理部164は、外景画像において使用者の視線方向に重なる位置、すなわち注視点を特定する。
In step S <b> 41, the
In step S <b> 42, the
図13は、第2実施形態における表示例を示す図であり、(A)は使用者の視野VRを示し、(B)は外景画像の例を示し、(C)は視線方向に対応した表示例を示す。
図13(A)、(C)は使用者の右眼の視野VRの例を示しており、使用者の左眼の視野は図13(A)、(C)と同一または左右対称であるため図示を省略する。視野VRのうちハーフミラー261Aに相当する領域として表示領域D1を示す。
図13(A)の例では視野VRに自転車が見えているが、この自転車は画像表示部20の外側に置かれている実物の自転車である。つまり、使用者は、右光学像表示部26を透過して、外景の自転車を視認する。
FIG. 13 is a diagram illustrating a display example in the second embodiment, where (A) shows a user's visual field VR, (B) shows an example of an outside scene image, and (C) shows a table corresponding to the line-of-sight direction. An example is shown.
13A and 13C show examples of the visual field VR of the user's right eye, and the visual field of the user's left eye is the same as or symmetrical with FIGS. 13A and 13C. Illustration is omitted. A display area D1 is shown as an area corresponding to the
In the example of FIG. 13A, a bicycle is visible in the field of view VR, but this bicycle is a real bicycle placed outside the
動作処理部164は、図13(B)に示すように、使用者の視線方向に対応する外景画像中の位置を特定し、この位置を注視点VPOとする。さらに、動作処理部164は、注視点VPOを中心とする矩形の部分P3を、外景画像から切り出す処理を行う。部分P3のサイズは、右LCD241及び左LCD242の表示解像度等に合わせて予め設定される。
As shown in FIG. 13B, the
ステップS42で動作処理部164が切り出す画像について、表示位置制御部165は、表示位置及びサイズを決定する(ステップS43)。続いて、動作処理部164は、表示の輝度の調整を行い、ステップS43で決定した位置及びサイズに従って、ステップS42で切り出した外景画像を表示する(ステップS44)。
外景画像の表示例を図13(C)に示す。視野VRには、注視点VPOを中心とした画像が、ハーフミラー261Aの位置に表示される。ハーフミラー261Aの表示画像は、外景の一部の表示位置をずらしたような表示となっており、使用者は、自分が見たい位置の外景を、見やすい位置にシフトした状態で視認できる。
表示輝度を調整すると、外景画像から切り出した画像と、実際の外景との視認性を調整できる。ハーフミラー261A、262Aが使用者の眼に入射させる画像光の光量が多いほど、ハーフミラー261A、262Aを透過する外光の光量が相対的に小さくなるので、実際の外景が見えにくくなる。言い換えれば、画像表示部20の表示画像の輝度が高いと、表示画像の視認性が高く、実際の外景の視認性が低い。反対に、画像表示部20の表示画像の輝度を低くすれば、表示画像の視認性が低くなり、実際の外景の視認性が高くなる。この第2実施形態で表示する画像は外景画像であるから、実際の外景と似ている。このため、輝度を高くすれば、表示される外景画像と実際の外景とを混同しにくくなるという利点がある。一方、表示画像の輝度を低くすれば、外景の視認性を確保して画像を表示できるという利点がある。
The display
A display example of the outside scene image is shown in FIG. In the visual field VR, an image centered on the gazing point VPO is displayed at the position of the
When the display brightness is adjusted, the visibility between the image cut out from the outside scene image and the actual outside scene can be adjusted. As the amount of image light incident on the user's eyes by the half mirrors 261A and 262A increases, the amount of external light transmitted through the half mirrors 261A and 262A becomes relatively small, so that the actual outside scene becomes difficult to see. In other words, when the brightness of the display image of the
ステップS44で外景画像の表示を開始した後、動作処理部164は、視線センサー68による視線の検出を行い、視線の移動があったか否かを判定する(ステップS45)。すなわち、動作処理部164は、使用者の視線方向が、前回検出した視線方向から、予め設定されたしきい値を超えて変化したか否かを判定する。
視線の移動がないと判定した場合(ステップS45;NO)、動作処理部164は、視線センサー68による視線検出とステップS45の判定を、所定時間ごとに繰り返し実行する。そして、視線の移動があったと判定した場合(ステップS45;YES)、動作処理部164は、移動後の視線に基づき注視点の位置を特定し、特定した注視点に対応する部分を、ステップS12で取得した外景画像から切り出す(ステップS46)。
After starting the display of the outside scene image at step S44, the
When it is determined that there is no movement of the line of sight (step S45; NO), the
表示位置制御部165は、ステップS46で動作処理部164が切り出す外景画像について、表示位置及びサイズを決定する(ステップS47)。動作処理部164は、ステップS47で決定した位置及びサイズに従って、表示中の画像を、ステップS46で切り出した外景画像に更新する(ステップS48)。
The display
その後、動作処理部164は、表示終了の条件が成立しているか否かを判定し(ステップS49)、表示終了の条件が成立していない場合は(ステップS49;NO)、ステップS45に戻る。また、表示終了の条件が成立した場合(ステップS49;YES)、ARコンテンツの表示を停止する。表示終了の条件は、例えば、操作部135による終了の指示があること、ARコンテンツの表示が完了したこと、等である。
Thereafter, the
このように、第2実施形態において、頭部装着型表示装置100の制御部140は、画像取得部161が取得する外景画像の一部領域を画像表示部20に表示し、視線センサー68が検出する使用者の視線の方向に対応して、外景画像において画像表示部20に表示する一部領域の位置を変化させる。このため、使用者の視線に対応させて、外景画像を表示するので、使用者が視認する外景と表示画像との不整合を防ぎ、外景画像を使用者に視認させることができる。また、使用者の視線の変化に追従するように、外景画像の表示が変化するので、使用者には、外景が視線に合わせて移動するように見える。また、外景画像が使用者の視界より大きい範囲を含む場合、使用者には、視認できる範囲が拡大したように見える。このように、使用者の視線に合わせて、擬似的な外景を表示し、擬似的な外景の位置を変化させることで、外景の視認性に関する新たな操作感を提供できる。
また、動作処理部164は、画像表示部20で表示する外景画像の表示輝度を調整し、実際の外景よりも表示画像が明瞭に視認できるようにすることができる。これにより、実際の外景と外景画像を混同することがなく、使用者を外景画像に注目させることができ、擬似的な外景を表示することの効果を、より顕著にすることができる。
As described above, in the second embodiment, the
In addition, the
[第3実施形態]
図14は、第3実施形態に係る頭部装着型表示装置100Aを構成する各部の機能ブロック図である。
頭部装着型表示装置100Aは、右透明LCD271及び左透明LCD272を備える点を除き、第1実施形態の頭部装着型表示装置100と共通の構成を有する。この共通の構成部については、同符号を付して説明を省略する。
[Third Embodiment]
FIG. 14 is a functional block diagram of each part constituting the head-mounted
The head-mounted
詳細には、頭部装着型表示装置100Aは、画像表示部20Bに、右透明LCD271を有する右表示駆動部22Aと、左透明LCD272を有する左表示駆動部24Aとを備える。右表示駆動部22Aは、上述した右表示駆動部22に、透過型液晶表示パネルで構成される右透明LCD271を設け、右透明LCD271を右LCD制御部211で駆動する構成である。また、左表示駆動部24Aは、上述した左表示駆動部24に、透過型液晶表示パネルで構成される左透明LCD272を設け、左透明LCD272を左LCD制御部212で駆動する構成である。
Specifically, the head-mounted
右LCD制御部211が右透明LCD271を駆動して表示する画像のデータ、及び、左LCD制御部212が左透明LCD272を駆動して表示する画像のデータは、画像処理部160から、送信部51及び受信部53を介して送信される。
The image data displayed by the right
図15は、画像表示部20Bが備える光学系の構成を示す要部平面図であり、説明のため使用者の左眼LE及び右眼REを図示する。
図15に示すように、右透明LCD271は、右導光板261と調光板20Aとの間に配置される。右透明LCD271は、右導光板261の、使用者の眼の側とは反対の側である画像表示部20Bの表側を覆うように配置される。右透明LCD271は光透過性を有し、調光板20Aを透過する外光OLを、さらに右導光板261側に透過させる。
また、左透明LCD272は、左導光板262と調光板20Aとの間に配置される。すなわち、左透明LCD272は、左導光板262の、使用者の眼の側とは反対側である画像表示部20Bの表側を覆うように配置される。左透明LCD272は光透過性を有し、調光板20Aを透過する外光OLを、さらに左導光板262側に透過させる。
FIG. 15 is a main part plan view showing the configuration of the optical system provided in the
As shown in FIG. 15, the right
The left
右透明LCD271、左透明LCD272の光透過性は制限されないが、右透明LCD271及び左透明LCD272の表示を視認可能な程度の光量の外光OLを透過することが好ましい。また、右透明LCD271及び左透明LCD272を透過して、外景を視認できることは要求されない。
The light transparency of the right
図16は、頭部装着型表示装置100Aの動作を示すフローチャートである。また、図17は、頭部装着型表示装置100Aの表示例を示す図であり、(A)は右透明LCD271、左透明LCD272の表示の例を示し、(B)はハーフミラー261A、262Aによる表示の例を示す。(C)は右導光板261、左導光板262、右透明LCD271及び左透明LCD272の表示が重なった状態を示す。
図17(A)〜(C)には使用者の右眼に対応する右透明LCD271及び視野VRの例を示す。使用者の左眼に対応する表示例は図17(A)〜(C)と同一の表示、または、表示位置が左右対称な同内容の表示となるため図示を省略する。
FIG. 16 is a flowchart showing the operation of the head-mounted
17A to 17C show examples of the right
使用者が頭部装着型表示装置100Aを装着し(ステップS61)、操作部135の操作によりARコンテンツの表示が指示されると、動作処理部164は、外景画像を取得する処理を実行する(ステップS62)。ステップS62の動作は、上述した第1実施形態の図5のステップS12に示した動作と同様である。
When the user wears the head-mounted
動作処理部164は、視線センサー68によって使用者の視線を検出する(ステップS63)。動作処理部164は、検出した視線に基づき、表示領域において使用者が注視する方向を特定し、外景画像から、注視方向に対応する部分を切り出す処理を行う(ステップS64)。
The
動作処理部164は、ステップS64において、視線センサー68を使用して使用者の視線を検出し、画像表示部20を基準として使用者が注視する方向を特定する。この場合の基準は、画像表示部20の右光学像表示部26と左光学像表示部28との中央位置や、ハーフミラー261A、262Aの中心等とすることができる。そして、動作処理部164は、外景画像と、使用者の視線方向との対応付けを行い、外景画像において使用者の視線方向に重なる位置、すなわち注視点を特定する。
In step S <b> 64, the
動作処理部164は、注視点を基準として外景画像から切り出した画像を、右表示駆動部22A、左表示駆動部24Aにより表示し(ステップS65)、続いて、外景画像を右透明LCD271、左透明LCD272により表示する(ステップS66)。
The
図17(A)には右透明LCD271の表示領域を符号D5で示す。表示領域D5には外景画像が表示される。この外景画像は画像表示部20を装着した使用者が、同じ位置および同じ向きにおいて画像表示部20を装着しない場合に視認できる外景を含む。頭部装着型表示装置100Aでは右透明LCD271、左透明LCD272があるため、使用者の眼に入射する外光OLは外景を明瞭に視認できる程度の光量を有さない可能性がある。そこで、右透明LCD271、272に外景画像を表示し、使用者が外景を認識できるようにする。但し、表示領域D5では、図17(B)に示す表示領域D1に重なる位置に表示をしないことが望ましい。ハーフミラー261A、262Aは右透明LCD271及び左透明LCD272の画像光を透過するので、ハーフミラー261A、262Aの表示画像の視認性を確保するためには、右透明LCD271及び左透明LCD272の表示画像がハーフミラー261A、262Aを避けた範囲であることが好ましい。図17(A)の表示領域D5はハーフミラー261Aでは表示をしない構成となっている。
In FIG. 17A, the display area of the right
図17(B)に示すように、表示領域D1には、外景画像から、使用者の視線に合わせて切り出した画像が表示される。また、右透明LCD271に対応する表示領域D5には、図17(A)に示す外景画像の全体が表示される。使用者の眼には、表示領域D5に表示される画像と、表示領域D1に表示される画像とが重なって、図17(C)に示すように視認される。
右透明LCD271、左透明LCD272は、右導光板261、左導光板262のように最適化された光学特性を持たない構成とすることがあり、表示領域D5に表示される画像は、表示領域D1に比べて不明瞭な画像に見える可能性がある。しかしながら、図17(C)に示すように、使用者には、表示領域D1で視線方向に対応する明瞭な外景画像が視認され、その背景として、表示領域D5に外景画像の全体が表示される。このため、使用者には、外景画像の全体と、視線方向の一部とが視認されるため、直接外景を見ることができない使用者に、擬似的な外景を見せることができる。
As shown in FIG. 17B, an image cut out from the outside scene image according to the user's line of sight is displayed in the display area D1. In addition, the entire outside scene image shown in FIG. 17A is displayed in the display area D5 corresponding to the right
The right
動作処理部164は、視線センサー68による視線の検出を行い、視線の移動があったか否かを判定する(ステップS67)。すなわち、動作処理部164は、使用者の視線方向が、前回検出した視線方向から、予め設定されたしきい値を超えて変化したか否かを判定する。視線の移動がないと判定した場合(ステップS67;NO)、動作処理部164は、視線センサー68による視線検出とステップS67の判定を、所定時間ごとに繰り返し実行する。そして、視線の移動があったと判定した場合(ステップS67;YES)、動作処理部164は、移動後の視線に基づき注視点の位置を特定し、特定した注視点に対応する部分を、ステップS62で取得した外景画像から切り出す(ステップS68)。
表示位置制御部165は、ハーフミラー261A、262Aにより表示中の画像を、ステップS68で切り出した外景画像に更新する(ステップS69)。
The
The display
その後、動作処理部164は、表示終了の条件が成立しているか否かを判定し(ステップS70)、表示終了の条件が成立していない場合は(ステップS70;NO)、ステップS67に戻る。また、表示終了の条件が成立した場合(ステップS70;YES)、ARコンテンツの表示を停止する。表示終了の条件は、例えば、操作部135による終了の指示があること、ARコンテンツの表示が完了したこと、等である。
Thereafter, the
このように、第3実施形態の頭部装着型表示装置100Aは、右透明LCD271、左透明LCD272における表示と、右導光板261、左導光板262による表示とを組合せて行う。右透明LCD271、左透明LCD272にはARコンテンツ(例えば、外景画像)の全体を表示し、右導光板261、左導光板262にはARコンテンツの一部を切り出した画像を表示する。これにより、2つの表示を組み合わせて効果的なAR表示を行える。また、右導光板261、左導光板262に表示する画像が、使用者の視線方向に対応してARコンテンツから切り出された画像であってもよい。また、ARコンテンツから切り出された画像を拡大表示、または縮小表示してもよい。さらに、ARコンテンツが、右カメラ61及び左カメラ62の撮像画像や、この撮像画像を用いて生成された外景画像である場合、使用者に擬似的に外景を視認させることができる。
As described above, the head-mounted
なお、この発明は上記各実施形態の構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。
また、例えば、画像表示部20、20Bに代えて、例えば帽子のように装着する画像表示部等の他の方式の画像表示部を採用してもよく、使用者の左眼に対応して画像を表示する表示部と、使用者の右眼に対応して画像を表示する表示部とを備えていればよい。また、本発明の表示装置は、例えば、自動車や飛行機等の車両に搭載されるヘッドマウントディスプレイとして構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよい。この場合、使用者の身体に対する位置を位置決めする部分、及び、当該部分に対し位置決めされる部分を装着部とすることができる。
In addition, this invention is not restricted to the structure of said each embodiment, In the range which does not deviate from the summary, it can be implemented in a various aspect.
Further, for example, instead of the
さらに、上記実施形態では、画像表示部20、20Bと制御装置10とが分離され、接続部40を介して接続された構成を例に挙げて説明したが、制御装置10と画像表示部20とが一体に構成され、使用者の頭部に装着される構成とすることも可能である。
また、制御装置10として、ノート型コンピューター、タブレット型コンピューター又はデスクトップ型コンピューターを用いてもよい。また、制御装置10として、ゲーム機や携帯型電話機やスマートフォンや携帯型メディアプレーヤーを含む携帯型電子機器、その他の専用機器等を用いてもよい。また、制御装置10が画像表示部20、20Bと分離して構成され、制御装置10と画像表示部20、20Bとの間で無線通信により各種信号を送受信する構成としてもよい。
Furthermore, in the above embodiment, the
As the
また、例えば、画像表示部20、20Bにおいて画像光を生成する構成として、有機EL(有機エレクトロルミネッセンス、Organic Electro-Luminescence)のディスプレイと、有機EL制御部とを備える構成としてもよい。また、画像光を生成する構成として、LCOS(Liquid crystal on silicon, LCoSは登録商標)や、デジタル・マイクロミラー・デバイス等を用いることもできる。
For example, as a configuration for generating image light in the
また、画像光を使用者の眼に導く光学系としては、外部から装置に向けて入射する外光を透過する光学部材を備え、画像光とともに使用者の眼に入射させる構成を採用できる。また、使用者の眼の前方に位置して使用者の視界の一部または全部に重なる光学部材を用いてもよい。さらに、レーザー光等を走査させて画像光とする走査方式の光学系を採用してもよい。また、光学部材の内部で画像光を導光させるものに限らず、使用者の眼に向けて画像光を屈折及び/または反射させて導く機能のみを有するものであってもよい。
例えば、レーザー網膜投影型のヘッドマウントディスプレイに対して本発明を適用することも可能である。すなわち、光射出部が、レーザー光源と、レーザー光源を使用者の眼に導く光学系とを備え、レーザー光を使用者の眼に入射させて網膜上を走査し、網膜に結像させることにより、使用者に画像を視認させる構成を採用してもよい。
また、本発明を、MEMSミラーを用いた走査光学系を採用し、MEMSディスプレイ技術を利用した表示装置に適用することも可能である。すなわち、信号光形成部と、信号光形成部が射出する光を走査するMEMSミラーを有する走査光学系と、走査光学系により走査される光によって虚像が形成される光学部材とを光射出部として備えてもよい。この構成では、信号光形成部が射出した光がMEMSミラーにより反射され、光学部材に入射し、光学部材の中を導かれて、虚像形成面に達する。MEMSミラーが光を走査することにより、虚像形成面に虚像が形成され、この虚像を使用者が眼で捉えることで、画像が認識される。この場合の光学部品は、例えば上記実施形態の右導光板261及び左導光板262のように、複数回の反射を経て光を導くものであってもよく、ハーフミラー面を利用してもよい。
The optical system that guides the image light to the user's eyes may include an optical member that transmits external light that is incident on the apparatus from the outside and that is incident on the user's eyes together with the image light. Moreover, you may use the optical member which is located ahead of a user's eyes and overlaps a part or all of a user's visual field. Further, a scanning optical system that scans a laser beam or the like to obtain image light may be employed. Further, the optical member is not limited to guiding the image light inside the optical member, and may have only a function of guiding the image light by refracting and / or reflecting it toward the user's eyes.
For example, the present invention can also be applied to a laser retinal projection type head mounted display. That is, the light emitting unit includes a laser light source and an optical system that guides the laser light source to the user's eyes, and the laser light is incident on the user's eyes to scan the retina and form an image on the retina. A configuration that allows the user to visually recognize an image may be employed.
Further, the present invention can be applied to a display device that employs a scanning optical system using a MEMS mirror and uses MEMS display technology. That is, a light emitting unit includes a signal light forming unit, a scanning optical system having a MEMS mirror that scans light emitted from the signal light forming unit, and an optical member on which a virtual image is formed by light scanned by the scanning optical system. You may prepare. In this configuration, the light emitted from the signal light forming unit is reflected by the MEMS mirror, enters the optical member, is guided through the optical member, and reaches the virtual image forming surface. When the MEMS mirror scans the light, a virtual image is formed on the virtual image forming surface, and the user recognizes the virtual image with the eyes, thereby recognizing the image. The optical component in this case may be one that guides light through a plurality of reflections, such as the right
さらに、本発明の光学素子は、ハーフミラー261A、262Aを有する右導光板261、左導光板262に限定されず、画像光を使用者の眼に入射させる光学部品であればよく、具体的には、回折格子、プリズム、ホログラフィー表示部を用いてもよい。
Furthermore, the optical element of the present invention is not limited to the right
また、図4、図14に示した各機能ブロックのうち少なくとも一部は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよく、図4に示した通りに独立したハードウェア資源を配置する構成に限定されない。また、制御部140が実行するプログラムは、記憶部120または制御装置10内の記憶装置に記憶されてもよいし、外部の装置に記憶されたプログラムを通信部117又はインターフェイス125を介して取得して実行する構成としてもよい。また、制御装置10に形成された構成のうち、操作部135のみが単独の使用者インターフェイス(UI)として形成されてもよい。また、制御装置10に形成された構成が重複して画像表示部20に形成されていてもよい。例えば、図4、図14に示す制御部140が制御装置10と画像表示部20との両方に形成されていてもよいし、制御装置10に形成された制御部140と画像表示部20、20Bに形成されたCPUとが行う機能が別々に分けられている構成としてもよい。
Further, at least a part of the functional blocks shown in FIGS. 4 and 14 may be realized by hardware, or may be realized by cooperation of hardware and software, and is shown in FIG. As described above, the present invention is not limited to a configuration in which independent hardware resources are arranged. Further, the program executed by the
10…制御装置、20、20B…画像表示部(表示部)、21…右保持部、22、22A…右表示駆動部、23…左保持部、24、24A…左表示駆動部、25…インターフェイス、26…右光学像表示部、28…左光学像表示部、61…右カメラ(撮像部)、62…左カメラ(撮像部)、64…距離センサー、68…視線センサー(視線検出部)、100、100A…頭部装着型表示装置(表示装置)、117…通信部(接続部)、120…記憶部、125…インターフェイス、140…制御部、150…オペレーティングシステム、160…画像処理部、161…画像取得部(外景画像取得部)、162…位置検出部、163…画像選択部、164…動作処理部、165…表示位置制御部、187…音声処理部、190…表示制御部、201…右バックライト制御部、202…左バックライト制御部、211…右LCD制御部、212…左LCD制御部、221…右バックライト、222…左バックライト、241…右LCD、242…左LCD、251…右投写光学系、252…左投写光学系、261…右導光板、262…左導光板、261A、262A…ハーフミラー、271…右透明LCD、272…左透明LCD。
DESCRIPTION OF
Claims (14)
前記表示部を透過して視認される外景を含む外景画像を取得する外景画像取得部と、
前記外景画像取得部が取得する外景画像に基づいて、前記表示部を透過して視認される対象を認識し、前記対象に関する情報を前記表示部に表示する制御部と、
を備えることを特徴とする表示装置。 A display unit that displays an image so that it can be seen through the outside scene together with the outside scene;
An outside scene image acquisition unit that acquires an outside scene image including an outside scene that is visible through the display unit;
A control unit that recognizes an object viewed through the display unit based on an outside scene image acquired by the outside scene image acquisition unit, and displays information on the object on the display unit;
A display device comprising:
を特徴とする請求項1記載の表示装置。 The control unit, when the target is outside the range in which the information is displayed on the display unit, by the display unit to perform a guidance display that guides the line of sight to the target;
The display device according to claim 1.
を特徴とする請求項1または2記載の表示装置。 The control unit displays, on the display unit, an image of an outside scene in a range that is visible through the display unit, based on the outside scene image acquired by the outside scene image acquisition unit;
The display device according to claim 1 or 2.
前記制御部は、前記第2表示部により、視線を前記対象へ誘導する誘導表示を行うこと、
を特徴とする請求項1から3のいずれかに記載の表示装置。 The display unit is a head-mounted display unit that is worn on a user's head, and includes a first display unit that displays the image, and the first display unit that is closer to the outside scene than the first display unit. A second display unit that displays an image that is visually recognized in a wider range,
The control unit performs guidance display for guiding a line of sight to the target by the second display unit,
The display device according to claim 1, wherein:
前記使用者の視線を検出する視線検出部を備え、
前記制御部は、前記視線検出部が検出する前記使用者の視線の方向に対応して前記表示部の表示を変化させること、
を特徴とする請求項1から4のいずれかに記載の表示装置。 The display unit is a head-mounted display unit mounted on the user's head,
A line-of-sight detector that detects the line of sight of the user;
The control unit changes the display of the display unit corresponding to the direction of the line of sight of the user detected by the line-of-sight detection unit;
The display device according to claim 1, wherein:
を特徴とする請求項5記載の表示装置。 The control unit displays a partial region of the outside scene image acquired by the outside scene image acquisition unit on the display unit, and corresponds to the direction of the user's line of sight detected by the line of sight detection unit. Changing the position of a partial area to be displayed on the display unit;
The display device according to claim 5.
前記外景画像取得部は、前記撮像部の撮像画像を前記外景画像として取得すること、
を特徴とする請求項1から6のいずれかに記載の表示装置。 An imaging unit that images a range including an outside scene that is visible through the display unit;
The outside scene image acquisition unit acquires a captured image of the imaging unit as the outside scene image;
The display device according to claim 1, wherein:
を特徴とする請求項7記載の表示装置。 The outside scene image acquisition unit generates the outside scene image by acquiring and combining a plurality of captured images captured by the imaging unit;
The display device according to claim 7.
前記外景画像取得部は、複数の前記撮像部がそれぞれ撮像した複数の撮像画像を取得して合成することにより前記外景画像を生成すること、
を特徴とする請求項7または8記載の表示装置。 A plurality of the imaging units;
The outside scene image acquisition unit generates the outside scene image by acquiring and combining a plurality of captured images respectively captured by the plurality of imaging units;
The display device according to claim 7 or 8.
前記外景画像取得部は、前記接続部に接続する前記外部機器から前記外景画像を取得すること、
を特徴とする請求項1から6のいずれかに記載の表示装置。 It has a connection to connect to external equipment,
The outside scene image acquisition unit acquires the outside scene image from the external device connected to the connection unit;
The display device according to claim 1, wherein:
前記外景画像取得部は、前記接続部に接続する前記外部機器から、前記位置検出部が検出する現在位置に対応する前記外景画像を取得すること、
を特徴とする請求項10記載の表示装置。 It has a position detector that detects the current position,
The outside scene image acquisition unit acquires the outside scene image corresponding to the current position detected by the position detection unit from the external device connected to the connection unit;
The display device according to claim 10.
を特徴とする請求項1から11のいずれかに記載の表示装置。 The control unit recognizes the target by extracting the target image from the outside scene image acquired by the outside scene image acquisition unit;
The display device according to claim 1, wherein:
前記表示部を透過して視認される外景を含む外景画像を取得し、取得した前記外景画像に基づいて、前記表示部を透過して視認される対象を認識し、前記対象に関する情報を前記表示部に表示すること、
を特徴とする表示装置の制御方法。 Control a display device that includes a display unit that displays an image so that it can be seen with the outside scene through the outside scene,
An outside scene image including an outside scene that is visible through the display unit is acquired, an object that is viewed through the display unit is recognized based on the acquired outside scene image, and information about the object is displayed. Display in the department,
A control method of a display device characterized by the above.
前記表示部を透過して視認される外景を含む外景画像を取得する外景画像取得部と、
前記外景画像取得部が取得する外景画像に基づいて、前記表示部を透過して視認される対象を認識し、前記対象に関する情報を前記表示部に表示する制御部と、
して機能させるプログラム。 A computer that controls a display device that includes a display unit that transmits an outside scene and displays an image so as to be visible together with the outside scene.
An outside scene image acquisition unit that acquires an outside scene image including an outside scene that is visible through the display unit;
A control unit that recognizes an object viewed through the display unit based on an outside scene image acquired by the outside scene image acquisition unit, and displays information on the object on the display unit;
Program to make it work.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014226262A JP2016090853A (en) | 2014-11-06 | 2014-11-06 | Display device, control method of display device and program |
US14/884,302 US9898868B2 (en) | 2014-11-06 | 2015-10-15 | Display device, method of controlling the same, and program |
CN201510731717.8A CN105589199B (en) | 2014-11-06 | 2015-11-02 | Display device, control method for display device, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014226262A JP2016090853A (en) | 2014-11-06 | 2014-11-06 | Display device, control method of display device and program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016090853A true JP2016090853A (en) | 2016-05-23 |
Family
ID=56018558
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014226262A Pending JP2016090853A (en) | 2014-11-06 | 2014-11-06 | Display device, control method of display device and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2016090853A (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017228848A (en) * | 2016-06-20 | 2017-12-28 | パナソニックIpマネジメント株式会社 | Video display system |
JP2017227659A (en) * | 2016-06-20 | 2017-12-28 | カシオ計算機株式会社 | Output control device, output control method and program |
JP2019117338A (en) * | 2017-12-27 | 2019-07-18 | ホヤ レンズ タイランド リミテッドHOYA Lens Thailand Ltd | Spectacle lens, head mount display, lens blank and semifinished lens blank |
-
2014
- 2014-11-06 JP JP2014226262A patent/JP2016090853A/en active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017228848A (en) * | 2016-06-20 | 2017-12-28 | パナソニックIpマネジメント株式会社 | Video display system |
JP2017227659A (en) * | 2016-06-20 | 2017-12-28 | カシオ計算機株式会社 | Output control device, output control method and program |
JP2019117338A (en) * | 2017-12-27 | 2019-07-18 | ホヤ レンズ タイランド リミテッドHOYA Lens Thailand Ltd | Spectacle lens, head mount display, lens blank and semifinished lens blank |
JP7007184B2 (en) | 2017-12-27 | 2022-02-10 | ホヤ レンズ タイランド リミテッド | Eyeglass lenses, head-mounted displays, lens blanks and semi-finished lens blanks |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105589199B (en) | Display device, control method for display device, and program | |
JP6693060B2 (en) | Display system, display device, display device control method, and program | |
JP6492531B2 (en) | Display device and control method of display device | |
KR101845350B1 (en) | Head-mounted display device, control method of head-mounted display device, and display system | |
CN105988219B (en) | Head-mounted display device and method for controlling head-mounted display device | |
JP7087481B2 (en) | Head-mounted display device, display control method, and computer program | |
CN105739095B (en) | Display device and control method of display device | |
JP2016224086A (en) | Display device, control method of display device and program | |
JP6369005B2 (en) | Head-mounted display device and method for controlling head-mounted display device | |
JP2017102768A (en) | Information processor, display device, information processing method, and program | |
JP6459380B2 (en) | Head-mounted display device, head-mounted display device control method, and computer program | |
JP6707823B2 (en) | Display device, display device control method, and program | |
JP2014192550A (en) | Head-mounted display device, and control method of head-mounted display device | |
JP2016208348A (en) | Display device, control method for display device, and program | |
JP2018142857A (en) | Head mounted display device, program, and control method of head mounted display device | |
JP6554948B2 (en) | Display device, display device control method, and program | |
JP6707809B2 (en) | Display device, display device control method, and program | |
JP2016122177A (en) | Display device and control method of display device | |
JP2016024208A (en) | Display device, method for controlling display device, and program | |
JP6582419B2 (en) | Head-mounted display device, head-mounted display device control method, and computer program | |
JP6135162B2 (en) | Head-mounted display device, head-mounted display device control method, and image display system | |
JP2016090853A (en) | Display device, control method of display device and program | |
JP2017092628A (en) | Display device and display device control method | |
JP2015087523A (en) | Head-mounted display device, method for controlling head-mounted display device, and image display system | |
JP2018042004A (en) | Display device, head-mounted type display device, and method for controlling display device |