JP2016213663A - Display device, control method for the same, and program - Google Patents
Display device, control method for the same, and program Download PDFInfo
- Publication number
- JP2016213663A JP2016213663A JP2015095603A JP2015095603A JP2016213663A JP 2016213663 A JP2016213663 A JP 2016213663A JP 2015095603 A JP2015095603 A JP 2015095603A JP 2015095603 A JP2015095603 A JP 2015095603A JP 2016213663 A JP2016213663 A JP 2016213663A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- imaging
- display
- light
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Studio Devices (AREA)
Abstract
Description
本発明は、表示装置、表示装置の制御方法、及び、プログラムに関する。 The present invention relates to a display device, a display device control method, and a program.
従来、使用者（ユーザー）の頭部に装着されるＨＭＤ（Head Mounted Display）等の表示装置が知られている（例えば、特許文献１参照）。この種の表示装置において、ビデオカメラ等の撮像部を備え、撮影画像を表示に利用するものがあった。例えば、特許文献１記載のＨＭＤは、撮像部をＨＭＤに対して上下方向に動かすスライダーを具備する。
Conventionally, a display device such as an HMD (Head Mounted Display) mounted on the head of a user (user) is known (see, for example, Patent Document 1). Some of these types of display devices include an imaging unit such as a video camera and use captured images for display. For example, the HMD described in
特許文献１に記載の構成ではユーザーがビデオカメラを動かして、表示するＣＧの視点を変化させる。これに対し、撮像部が動いても表示画像を変化させないようにする場合、撮像部の動きを検出する必要がある。撮像部の動きを検出する方法として、特許文献１には、撮像部からの映像を画像解析して位置姿勢を求める等の記載があるが、単に画像を解析するだけでは正確な検出はできない。
本発明は、上記課題に鑑みてなされたものであり、撮像部を備え、撮像部の動きを検出することが可能な表示装置、表示装置の制御方法、及び、プログラムを提供することを目的とする。
In the configuration described in
The present invention has been made in view of the above problems, and an object of the present invention is to provide a display device that includes an imaging unit and can detect the movement of the imaging unit, a control method for the display device, and a program. To do.
上記課題を解決するため、本発明の表示装置は、外景を視認可能に、画像を表示する表示部と、前記表示部を通して視認される範囲に重なる撮像範囲を撮像する撮像部と、少なくとも１つの可動部を有し、前記撮像部を前記表示部に連結する連結部と、前記表示部に対して固定的に設けられる発光部と、を備え、前記発光部は所定パターンを含む光を発し、前記撮像部の撮像範囲に位置する対象物に前記発光部の光が投射された場合に、前記対象物上の前記光を前記撮像部で撮像可能であること、を特徴とする。
本発明によれば、発光部が発する光が対象物に投射された場合に、対象物上の光を撮像部で撮像し、撮像画像を利用して、表示部に対する撮像部の相対位置や相対方向等を検出できる。
上記表示装置において、前記可動部により前記撮像部の撮像方向が変化する範囲の少なくとも一部において、前記撮像部の撮像範囲に、前記発光部が光を発する方向を含む構成としてもよい。また、前記所定パターンは位置検出用のパターンであってもよい。
In order to solve the above-described problem, a display device according to the present invention includes a display unit that displays an image so that an outside scene can be visually recognized, an imaging unit that captures an imaging range that overlaps a range visually recognized through the display unit, and at least one A connecting portion that has a movable portion and connects the imaging portion to the display portion; and a light emitting portion that is fixedly provided to the display portion, the light emitting portion emits light including a predetermined pattern, When the light of the light emitting unit is projected onto an object located in the imaging range of the imaging unit, the light on the object can be imaged by the imaging unit.
According to the present invention, when light emitted from the light emitting unit is projected onto an object, the light on the object is imaged by the imaging unit, and the relative position or relative position of the imaging unit with respect to the display unit is captured using the captured image. The direction and the like can be detected.
The display device may be configured to include a direction in which the light emitting unit emits light in an imaging range of the imaging unit in at least a part of a range in which an imaging direction of the imaging unit is changed by the movable unit. The predetermined pattern may be a position detection pattern.
また、本発明は、上記表示装置において、前記発光部は複数の光源を備え、複数の前記光源が発する光により前記所定パターンが形成されること、を特徴とする。
本発明によれば、撮像部により、表示部に対する撮像部の相対位置や相対方向等を高精度で検出可能な撮像画像を得ることができる。
In the display device according to the present invention, the light emitting unit includes a plurality of light sources, and the predetermined pattern is formed by light emitted from the plurality of light sources.
According to the present invention, it is possible to obtain a captured image in which the relative position and relative direction of the imaging unit with respect to the display unit can be detected with high accuracy by the imaging unit.
また、本発明は、上記表示装置において、前記発光部は、光源と、前記光源が発する光を前記所定パターンに基づき変調する変調部とを備えること、を特徴とする。
本発明によれば、表示部に対する撮像部の相対位置や相対方向等を検出するためのパターンを容易に得ることができる。
In the display device according to the present invention, the light emitting unit includes a light source and a modulating unit that modulates light emitted from the light source based on the predetermined pattern.
According to the present invention, it is possible to easily obtain a pattern for detecting the relative position and relative direction of the imaging unit with respect to the display unit.
また、上記表示装置において、前記光源は固体光源で構成されてもよい。 In the display device, the light source may be a solid light source.
また、上記課題を解決するため、本発明は、外景を視認可能に、画像を表示する表示部と、前記表示部を通して視認される範囲に重なる撮像範囲を撮像する第１撮像部と、少なくとも１つの可動部を有し、前記第１撮像部を前記表示部に連結する連結部と、前記表示部に対して固定的に設けられる第２撮像部と、前記第１撮像部の撮像画像と前記第２撮像部の撮像画像とに基づいて、前記第１撮像部と前記表示部との相対位置を検出する制御部と、を備えることを特徴とする。
本発明によれば、複数の撮像部の撮像画像を利用して、表示部に対する撮像部の相対的な位置関係を検出できる。
上記表示装置において、前記可動部により前記第１撮像部の撮像方向と前記第２撮像部の撮像方向との相対方向が変化する範囲の少なくとも一部において、前記第１撮像部の撮像範囲と前記第２撮像部の撮像範囲との少なくとも一部が重複する構成としてもよい。また、前記制御部は、前記第１撮像部の撮像画像に基づき前記表示部に画像を表示させて、前記第１撮像部の撮像画像と前記第２撮像部の撮像画像とに基づいて、前記第１撮像部と前記表示部との相対位置を検出してもよい。
In order to solve the above-described problem, the present invention provides a display unit that displays an image so that an outside scene can be visually recognized, a first imaging unit that captures an imaging range that overlaps a range visually recognized through the display unit, and at least one A movable part, a connecting part for connecting the first imaging part to the display part, a second imaging part fixed to the display part, a captured image of the first imaging part, and the And a control unit that detects a relative position between the first imaging unit and the display unit based on a captured image of the second imaging unit.
ADVANTAGE OF THE INVENTION According to this invention, the relative positional relationship of the imaging part with respect to a display part is detectable using the captured image of a some imaging part.
In the above display device, the imaging range of the first imaging unit and the imaging range of the first imaging unit in at least part of the range in which the relative direction between the imaging direction of the first imaging unit and the imaging direction of the second imaging unit is changed by the movable unit. It is good also as a structure with which at least one part overlaps with the imaging range of a 2nd imaging part. Further, the control unit displays an image on the display unit based on a captured image of the first imaging unit, and based on the captured image of the first imaging unit and the captured image of the second imaging unit, A relative position between the first imaging unit and the display unit may be detected.
また、上記課題を解決するため、本発明の表示装置の制御方法は、外景を視認可能に画像を表示する表示部と、前記表示部を通して視認される範囲に重なる撮像範囲を撮像する撮像部と、少なくとも１つの可動部を有し、前記撮像部を前記表示部に連結する連結部と、前記表示部に対して固定的に設けられる発光部と、を有した表示装置を制御して、前記発光部が発する光が対象物に投射された場合に、前記対象物上の前記光を前記撮像部により撮像し、前記撮像部の撮像画像から前記光を検出し、前記撮像画像における前記光の位置を求め、前記撮像画像における前記光の位置に基づき、前記撮像部と前記表示部との相対位置関係の変化、または相対位置関係を求めること、を特徴とする。
本発明によれば、発光部が発する光が対象物に投射された場合に、対象物上の光を撮像部で撮像し、撮像画像を利用して、表示部に対する撮像部の相対位置関係の変化、または相対位置関係を検出できる。
In order to solve the above-described problem, the display device control method of the present invention includes a display unit that displays an image so that an outside scene can be visually recognized, and an imaging unit that captures an imaging range that overlaps a range that is viewed through the display unit. Controlling a display device having at least one movable part, a connecting part for connecting the imaging part to the display part, and a light emitting part fixedly provided to the display part, When the light emitted from the light emitting unit is projected onto the object, the light on the object is imaged by the imaging unit, the light is detected from the captured image of the imaging unit, and the light in the captured image is detected. A position is obtained, and a change in relative positional relationship between the imaging unit and the display unit or a relative positional relationship is obtained based on the position of the light in the captured image.
According to the present invention, when the light emitted from the light emitting unit is projected onto the target, the light on the target is captured by the imaging unit, and the relative positional relationship of the imaging unit with respect to the display unit is obtained using the captured image. A change or relative positional relationship can be detected.
また、上記課題を解決するため、本発明の表示装置の制御方法は、外景を視認可能に画像を表示する表示部と、前記表示部を通して視認される範囲に重なる撮像範囲を撮像する第１撮像部と、少なくとも１つの可動部を有し、前記第１撮像部を前記表示部に連結する連結部と、前記表示部に対して固定的に設けられる第２撮像部と、を備える表示装置を制御して、前記第１撮像部の撮像画像と前記第２撮像部の撮像画像とに基づいて、前記第１撮像部と前記表示部との相対位置を検出すること、を特徴とする。
本発明によれば、複数の撮像部の撮像画像を利用して、表示部に対する撮像部の相対的な位置関係を検出できる。
In order to solve the above-described problem, the display device control method of the present invention includes a display unit that displays an image so that an outside scene can be visually recognized, and a first imaging that captures an imaging range that overlaps a range that is visually recognized through the display unit. A display device comprising: a connecting portion that has a portion, at least one movable portion, and connects the first imaging portion to the display portion; and a second imaging portion that is fixedly provided to the display portion. And controlling to detect a relative position between the first imaging unit and the display unit based on a captured image of the first imaging unit and a captured image of the second imaging unit.
ADVANTAGE OF THE INVENTION According to this invention, the relative positional relationship of the imaging part with respect to a display part is detectable using the captured image of a some imaging part.
また、上記課題を解決するため、本発明は、外景を視認可能に画像を表示する表示部と、前記表示部を通して視認される範囲に重なる撮像範囲を撮像する撮像部と、少なくとも１つの可動部を有し、前記撮像部を前記表示部に連結する連結部と、前記表示部に対して固定的に設けられる発光部と、を有した表示装置を制御するコンピューターが実行可能なプログラムであって、前記コンピューターを、前記発光部が発する光が対象物に投射された場合に、前記対象物上の前記光を前記撮像部により撮像し、前記撮像部の撮像画像から前記光を検出し、前記撮像画像における前記光の位置を求め、前記撮像画像における前記光の位置に基づき、前記撮像部と前記表示部との相対位置関係の変化、または相対位置関係を求める制御部として機能させるプログラムである。
本発明によれば、発光部が発する光が対象物に投射された場合に、対象物上の光を撮像部で撮像し、撮像画像を利用して、表示部に対する撮像部の相対位置関係の変化、または相対位置関係を検出できる。
In order to solve the above problems, the present invention provides a display unit that displays an image so that an outside scene can be visually recognized, an imaging unit that captures an imaging range that overlaps a range visually recognized through the display unit, and at least one movable unit. A computer-executable program for controlling a display device, comprising: a coupling unit that couples the imaging unit to the display unit; and a light-emitting unit that is fixed to the display unit. , When the light emitted from the light emitting unit is projected onto an object, the computer captures the light on the object by the imaging unit, detects the light from the captured image of the imaging unit, The position of the light in the captured image is obtained, and based on the position of the light in the captured image, the relative position relationship between the imaging unit and the display unit is changed, or the control unit obtains the relative position relationship. Is that program.
According to the present invention, when the light emitted from the light emitting unit is projected onto the target, the light on the target is captured by the imaging unit, and the relative positional relationship of the imaging unit with respect to the display unit is obtained using the captured image. A change or relative positional relationship can be detected.
また、上記課題を解決するため、本発明は、外景を視認可能に画像を表示する表示部と、前記表示部を通して視認される範囲に重なる撮像範囲を撮像する第１撮像部と、少なくとも１つの可動部を有し、前記第１撮像部を前記表示部に連結する連結部と、前記表示部に対して固定的に設けられる第２撮像部と、を備える表示装置を制御するコンピューターが実行可能なプログラムであって、前記コンピューターを、前記第１撮像部の撮像画像と前記第２撮像部の撮像画像とに基づいて、前記第１撮像部と前記表示部との相対位置を検出する制御部として機能させるプログラムである。
本発明によれば、複数の撮像部の撮像画像を利用して、表示部に対する撮像部の相対的な位置関係を検出できる。
In order to solve the above problems, the present invention includes a display unit that displays an image so that an outside scene can be visually recognized, a first imaging unit that captures an imaging range that overlaps a range visually recognized through the display unit, and at least one A computer that controls a display device that includes a movable unit and includes a coupling unit that couples the first imaging unit to the display unit and a second imaging unit that is fixedly provided to the display unit is executable. A control unit that detects a relative position between the first imaging unit and the display unit based on a captured image of the first imaging unit and a captured image of the second imaging unit. It is a program that functions as
ADVANTAGE OF THE INVENTION According to this invention, the relative positional relationship of the imaging part with respect to a display part is detectable using the captured image of a some imaging part.
［第１実施形態］
図１から図１１に基づき、本発明を適用した第１実施形態について説明する。
[First Embodiment]
A first embodiment to which the present invention is applied will be described with reference to FIGS.
［虚像表示装置の概略構成］
図１は、本実施形態に係るＨＭＤ（Head Mounted Display：頭部装着型表示装置）１００の構成を示す斜視図であり、虚像表示装置１が使用者に装着された状態を示す。また、図２及び図３は、虚像表示装置１を正面側及び背面側から見た斜視図である。換言すると、図２は、虚像表示装置１を使用者側とは反対側から見た斜視図であり、図３は、使用者側から見た斜視図である。
[Schematic configuration of virtual image display device]
FIG. 1 is a perspective view showing a configuration of an HMD (Head Mounted Display) 100 according to the present embodiment, and shows a state in which the virtual
ＨＭＤ１００（表示装置）は、使用者（観察者、ユーザー）ＵＳの頭部に装着された状態で使用者に虚像を視認させる虚像表示装置１と、虚像表示装置１を制御する制御装置３００と、を備えている。制御装置３００は、使用者がＨＭＤ１００を操作するコントローラーとしても機能する。本明細書では、ＨＭＤ１００によって使用者が視認する虚像を便宜的に「表示画像」と呼ぶ。また、画像データに基づいて生成された画像光を虚像表示装置１が射出することを「画像を表示する」ともいう。
The HMD 100 (display device) includes a virtual
虚像表示装置１は、ケーブルＣＢで制御装置３００に接続される。ケーブルＣＢは、制御装置３００から虚像表示装置１へ電源を供給する電源ケーブル（図示略）、及び、虚像表示装置１と制御装置３００とが各種データを送受信するデータ通信ケーブル（図示略）を内蔵する。
また、制御装置３００には、ケーブルＣＢと分岐するオーディオケーブルＣＯが接続する。オーディオケーブルＣＯは、右イヤホン３３及び左イヤホン３４と、マイク６３とが接続される。右イヤホン３３及び左イヤホン３４は、音声処理部１８７（図１０）が出力する音声信号に基づき音声を出力する。
The virtual
In addition, the
マイク６３は、音声を集音して、音声信号を後述する音声処理部１８７（図１０）に出力する。マイク６３は、例えばモノラルマイクであってもステレオマイクであってもよく、指向性を有するマイクであってもよいし、無指向性のマイクであってもよい。
ここで、虚像表示装置１が電池等の電源を有する場合には、虚像表示装置１と制御装置３００とを無線通信により接続することも可能である。
The
Here, when the virtual
虚像表示装置１は、詳しくは、観察者によって視認可能に虚像を表示するとともに、外光を透過させて外界（外景）を観察可能とするシースルー型の表示装置である。この虚像表示装置１は、図１〜図３に示すように、使用者の頭部又は頭部に装着されたヘルメット等に装着される本体部としてのヘッドバンド部２と、虚像を表示する表示部３と、ヘッドバンド部２に対して回動可能に取り付けられ、これらヘッドバンド部２及び表示部３を接続する一対のアーム部４と、表示部３をアーム部４に対して移動させる移動機構５（図６参照）とを備える。
Specifically, the virtual
なお、以下の説明において、Ｚ方向は、虚像表示装置１を装着した使用者が正面を向いた場合の視方向であり、Ｘ方向及びＹ方向は、当該Ｚ方向に直交し、かつ、互いに直交する方向である。これらのうち、Ｘ方向は、虚像表示装置１を装着した使用者から見て左から右に向かう方向であり、Ｙ方向は、当該使用者から見て下から上に向う方向である。更に、Ｚ方向側とは、Ｚ方向における下流側（Ｚ方向先端側）を指し、Ｚ方向とは反対側とは、Ｚ方向における上流側（Ｚ方向基端側）を指す。他の方向も同様である。
In the following description, the Z direction is a viewing direction when the user wearing the virtual
［ヘッドバンド部の構成］
ヘッドバンド部２は、後述するアーム部４の一端が取り付けられるとともに、虚像表示装置１における機能の一部を制御するものである。
このヘッドバンド部２は、使用者ＵＳの頭部に沿う円弧状の外形を有し、図２に示すように、使用者ＵＳの頭部に沿って配置される本体ケース２１と、当該ヘッドバンド部２を使用者ＵＳの頭部やヘルメット等の固定部位に固定する固定部としてのバンド２２と、撮像部２３と、制御基板２４とを有する。なお、固定部位は、使用者ＵＳの頭部（詳しくは、眉及び耳を通る頭部の外周線より上側の部位）に応じた位置であり、頭部とヘッドバンド部２との間にヘルメット等が介在していてもよい。
制御基板２４は、ケーブルＣＢにより制御装置３００に接続される。制御基板２４は、撮像部２３及び撮像部２３に付随する回路（図示略）、及び、９軸センサー２３８（図９）を実装する。また、制御基板２４は、後述する発光部８１とケーブルＣＢとを接続する。制御基板２４は、制御装置３００に対し、撮像部２３の撮像画像及び９軸センサー２３８の検出値等を送受信し、制御装置３００が発光部８１の点灯を制御する信号を、発光部８１に送出する。
[Configuration of headband]
The
The
The
図４は、虚像表示装置１をＹ方向とは反対方向から見た平面図である。また、図５は、虚像表示装置１をＸ方向から見た側面図である。
本体ケース２１は、図４に示すように、使用者ＵＳ（図４における点線で輪郭を示す使用者ＵＳ）の前額部に沿って配置され、頭部にバンド２２によって固定される。この本体ケース２１は、上記制御基板２４（図２参照）やケーブルＣＢ等を内部に収納し、かつ、撮像部２３やアーム部４を支持する筐体である。
この本体ケース２１は、使用者ＵＳの前額部及び側頭部の形状に沿う略半円形状（略Ｕ字状）の外形を有する。すなわち、本体ケース２１において、使用者ＵＳの前額部から側頭部に対向する内面２１１は、Ｙ方向側から見て、使用者ＵＳの頭部に沿って湾曲している。
また、図５に示すように、本体ケース２１の円弧状の両端近傍には、それぞれのアーム部４の一端を回動可能に軸支する回動軸部２５が設けられている。なお、後に詳述するが、各アーム部４における当該一端は、本体ケース２１の内部に配置されている。
FIG. 4 is a plan view of the virtual
As shown in FIG. 4, the
The
Further, as shown in FIG. 5, in the vicinity of both ends of the arcuate shape of the
バンド２２は、当該本体ケース２１を使用者ＵＳの頭部に固定する。このバンド２２は、図４に示すように、本体ケース２１の内面２１１に取り付けられるバンド本体２２１と、バンド本体２２１に取り付けられる帯部２２２とを有する。
バンド本体２２１は、図３及び図４に示すように、両端に帯部２２２を取り付ける環状部２２１Ａを有する。
帯部２２２は、図４に示すように、バンド本体２２１の両端の環状部２２１Ａに取り付けられ、バンド本体２２１とともに環状のバンド２２を構成する。帯部２２２は、例えば、伸縮性を有する帯状の部材で形成される。この帯部２２２が、バンド本体２２１側に向かって使用者ＵＳの頭部やヘルメット等の装着対象を押圧することにより、バンド２２ひいてはヘッドバンド部２が、使用者ＵＳの頭部に固定される。
The
As shown in FIGS. 3 and 4, the band
As shown in FIG. 4, the
撮像部２３は、図２及び図４に示すように、本体ケース２１において上記内面２１１とは反対側に位置する外面２１２における略中央に配置されており、使用者ＵＳの前方、すなわち、当該使用者ＵＳの視野における一部の領域を撮像する。この撮像部２３は、図２に示すように、ステレオカメラ２３１と、外光の照度を検出する照度センサー２３２と、ＬＥＤ２３３と、これらを内部に収納するモジュール筐体２３４とを備える。なお、ＬＥＤ２３３は、例えば、虚像表示装置１の駆動時に点灯され、非駆動時に消灯されるパワーインジケーターとして機能する。
As shown in FIGS. 2 and 4, the
モジュール筐体２３４は、図２に示すように、Ｚ方向側の面に、透光性部材によって覆われた窓部２３５を有し、上記ステレオカメラ２３１は、当該窓部２３５を介して外部を撮像する他、上記照度センサー２３２は、窓部２３５を介して入射される外光の照度を検出する。
また、モジュール筐体２３４のＸ方向に交差する側面２３４Ａには、当該側面２３４ＡからＸ方向に沿って突出する回動軸部２３６が設けられている。詳述すると、回動軸部２３６は、側面２３４ＡにおけるＹ方向とは反対側の位置に突設されている。この回動軸部２３６は、モジュール筐体２３４が配置される本体ケース２１の凹部２１３に設けられた軸受け部（図示省略）によって支持されている。これら回動軸部２３６及び軸受け部等により、本発明の調整機構が構成される。なお、図２では、２つの側面２３４ＡのＸ方向の基端側における回動軸部２３６のみを図示しているが、Ｘ方向の先端側の側面の対応する位置にも回動軸部が設けられている。
このようなモジュール筐体２３４は、回動軸部２３６によって規定されるＸ方向に平行な回動軸Ｒ１を中心として所定範囲内にて回動可能である。このため、本体ケース２１に対するモジュール筐体２３４の姿勢を調整することにより、ステレオカメラ２３１の撮像方向（すなわち、撮像部２３による撮像方向）を調整できる。
As shown in FIG. 2, the
Further, on the
Such a
［表示部の構成］
表示部３は、入力される画像情報に応じた画像を形成して、当該画像を虚像として使用者に視認させる。この表示部３は、使用者の右眼と左眼のそれぞれに対して配置される一対の光学装置３１（左眼用及び右眼用光学装置を、それぞれ３１Ｌ，３１Ｒとする）と、一対の光学装置３１を保持する略Ｕ字状のフレーム部３２とを備える。一対の光学装置３１のうちの左眼用光学装置３１Ｌは、ハーフミラーを含む導光部材３１３Ｌを有し、右眼用光学装置３１Ｒは、ハーフミラーを含む導光部材３１３Ｒを有する。なお、左眼用光学装置３１Ｌと、右眼用光学装置３１Ｒとは、互いに鏡面対称の関係を有する。
[Configuration of display section]
The
図６は、カバー部材３１１の一部を除き、光学装置３１の内部を示す図である。
一対の光学装置３１のそれぞれは、カバー部材３１１と、光学ユニット３１２（図６参照）と、導光部材３１３（図３参照）とを有する。
カバー部材３１１は、光学ユニット３１２を内部に収納する筐体である。
光学ユニット３１２は、カバー部材３１１の内部に配置されており、後述する画像生成部２０が生成する画像光を、対応する導光部材３１３に出射する。
FIG. 6 is a view showing the inside of the
Each of the pair of
The
The
導光部材３１３（右眼用及び左眼用の導光部材を、それぞれ３１３Ｒ，３１３Ｌとする）は、使用者ＵＳの眼に応じた位置に配置される。この導光部材３１３は、内部に、ハーフミラーの形態を有する半透過層（半反射層）が形成されており、当該半透過層を介して外界を観察可能に構成されている他、上記光学ユニット３１２から出射されて当該半透過層にて反射された画像光が眼に入射されることにより虚像が視認される。このような導光部材３１３は、可視光領域で高い光透過性を示す樹脂（例えばシクロオレフィンポリマー）により主に形成される。
The light guide members 313 (the light guide members for the right eye and the left eye are respectively 313R and 313L) are arranged at positions corresponding to the eyes of the user US. The
光学装置３１Ｒ，３１Ｌには、光学ユニット３１２に画像光を送出する画像生成部２０Ｒ、２０Ｌがそれぞれ配置される。画像生成部２０Ｒ、２０Ｌには、画像情報（画像信号）を出力するケーブルＣＲが接続されており、当該ケーブルＣＲは、図３及び図６に示すように、カバー部材３１１外に延出した後、図５に示すように、アーム部４内に挿入される。画像生成部２０（画像生成部２０Ｒ、２０Ｌ）は、図１０を参照して後述するように、制御装置３００（図１）の制御により発光する光源としてのバックライト、及び、制御装置３００が出力する画像信号に基づき画像光を生成するＬＣＤ等を備える。画像生成部２０が生成する画像光は光学ユニット３１２に入射され、光学ユニット３１２から導光部材３１３を経て使用者の眼球に照射される。
In the
フレーム部３２は、Ｙ方向の先端側において、一対の光学装置３１を保持する。このフレーム部３２のＸ方向の基端側には、左眼用光学装置３１Ｌが固定され、Ｘ方向の先端側には、右眼用光学装置３１Ｒが固定される。
The
［アーム部の構成］
一対のアーム部４は、図２及び図３に示したように、ヘッドバンド部２の本体ケース２１と、表示部３の各カバー部材３１１とを接続するとともに、当該本体ケース２１に対して回動可能に構成されている。これらアーム部４における本体ケース２１側の端部は、図５に示すように、当該本体ケース２１の下面２１４（Ｙ方向とは反対側の面２１４）に形成された開口部２１４Ａを介して、本体ケース２１の内に回動自在に支持されている。これらアーム部４は、それぞれ、第１端部４１及び第２端部４２を有する。
[Configuration of arm part]
As shown in FIGS. 2 and 3, the pair of
第１端部４１は、アーム部４においてＺ方向とは反対側の端部であり、Ｘ方向側から見た場合に、略円形状に形成されている。この第１端部４１は、上記開口部２１４Ａを挿通して、本体ケース２１内にて回動軸部２５によって軸支されている。このため、アーム部４は、当該第１端部４１の軸支位置を通り、かつ、Ｘ方向に平行な回動軸Ｒ２を中心とする所定範囲で回動可能である。
The
第２端部４２は、アーム部４においてＺ方向側の端部であり、当該第２端部４２には、後述する移動機構５を構成するスライド部材５２が設けられている。このスライド部材５２は、当該移動機構５を構成し、表示部３のカバー部材３１１内に配置されたガイドレール５１と係合しており、これにより、第２端部４２と表示部３とが接続される。
The
図７は、表示部３及びアーム部４が回動する様子を示す図である。図７では、図５に示す状態から、Ｘ軸に平行、すなわち視方向に略直交する回動軸Ｒ２を中心に時計回りにアーム部４が回転された場合を示す。
本実施形態では、図７に示すように、アーム部４は、表示部３及びアーム部４のいずれかがヘッドバンド部２と接触するまで、当該ヘッドバンド部２側に上記回動軸Ｒ２を中心として、図中に矢印ＲＡで示す方向に回動可能である。一方、アーム部４は、開口部２１４ＡのＺ方向とは反対側の端部と、アーム部４とが接触するまで、上記とは逆方向すなわち図中に矢印ＲＢで示す方向に回動可能である。
FIG. 7 is a diagram illustrating a state in which the
In the present embodiment, as shown in FIG. 7, the
このようにアーム部４を回動させることにより、表示部３の位置や角度を調整でき、図７に示すように、虚像を視認しづらくなる位置、すなわち、外界（使用者ＵＳの周囲）を観察しやすい位置に当該表示部３を移動させることができる。また、使用者が、表示部３で表示される画像を視認しなくてよいとき等に、アーム部４を回動させて表示部３をＲＡ方向に動かすことで、使用者の視界から表示部３を退避させることができる。
By rotating the
また、虚像表示装置１は、ヘッドバンド部２と表示部３とを別体とし、アーム部４により連結した構成を有する。この構成により、虚像表示装置１の荷重による使用者への負荷を軽減している。すなわち、虚像表示装置１は、ヘッドバンド部２により使用者の頭部に装着されるので、使用者は虚像表示装置１の荷重を頭部で支えればよく、使用者は鼻や耳で荷重を受け止めなくて良いので、負担感が軽い。このような構成でありながら、虚像表示装置１は、使用者の眼前に表示部３を位置させて、後述するＡＲ（Augmented Reality：拡張現実）表示を行うことができる。また、ヘッドバンド部２は使用者の頭部に直接接触する必要はなく、例えば使用者が保護帽の上から虚像表示装置１を装着できる。
In addition, the virtual
なお、上記表示部３からアーム部４内に挿入されたケーブルＣＲ（図６参照）は、図５に示すように当該アーム部４内を通って、第１端部４１から上記本体ケース２１内に侵入する。そして、このケーブルＣＲは、上記本体ケース２１内にて制御基板２４から延出するケーブルＣＢとともに、図１〜図７に示すように、本体ケース２１の一端（Ｘ方向とは反対側の端部）から、外部に延出する。
The cable CR (see FIG. 6) inserted from the
［移動機構の構成］
移動機構５は、表示部３とアーム部４とを接続するとともに、アーム部４に対して表示部３を、ヘッドバンド部２に接離する方向（すなわちＹ方向及びＹ方向とは反対方向）に移動可能に構成されている。この移動機構５は、図６に示すように、ガイドレール５１及びスライド部材５２を２組備える。
[Configuration of moving mechanism]
The moving mechanism 5 connects the
ガイドレール５１は、上記第２端部４２に設けられたスライド部材５２のＹ方向及びＹ方向とは反対方向への移動を案内するものであり、それぞれのカバー部材３１１の内部に固定されている。このガイドレール５１は、円柱状の部材であり、導光部材３１３から使用者の眼に向かう画像光の進行方向がＺ方向に平行となる場合に、軸方向がＹ方向に沿うように配置されている。このようなガイドレール５１の外周面には、スライド部材５２の停止位置を決めるための周方向に沿う溝５１１が、軸方向に沿った複数位置に形成され、スライド部材５２をガイドレール５１に沿って段階的に移動させることができるように構成されている他、スライド部材５２のスライド時にクリック感を生じさせている。
The
図８は、移動機構５によって表示部３が移動される様子を示す図である。なお、図８では、移動機構５による移動方向が、Ｙ方向に沿うようにアーム部４が位置決めされている状態を図示している。
スライド部材５２は、上記のように、各アーム部４の第２端部４２におけるＺ方向側の面から突設されている。このスライド部材５２は、ガイドレール５１の軸方向に沿って摺動可能に係合されている。これにより、図８に示すように、表示部３がＹ方向に移動され、ヘッドバンド部２と表示部３との距離を調整することができる。すなわち、表示部３は、矢印ＴＡで示すようにＹ方向に沿って上昇する方向、及び、矢印ＴＢで示すように、Ｙ方向に沿って下降するように、動かすことができる。
FIG. 8 is a diagram illustrating a state in which the
As described above, the
このように表示部３を上下にスライド可能に支持することにより、使用者は、例えば作業の状況に合わせて表示部３の表示画像の位置を自在に調整できる。例えば、ＡＲ表示により作業支援を行う場合、使用者は、手元を見ながら作業をする場合に表示部３をＴＢ方向に下降させ、棚など上部の作業時には表示部３をＴＡ方向に上昇させればよい。この場合、使用者が作業のために外部（手元や上方）を見やすいように、表示部３をスライドさせ、表示部３の位置を変更できる。表示部３を移動させる方向としては、理想的には、使用者の眼球の回転中心を通る軸の回りで、表示部３を回動させることが好ましいが、表示部３を眼の近くで上下（ＴＡ、ＴＢ方向）にスライドさせることで、理想的な回動に代えることができる。
In this way, by supporting the
また、上述のように、表示部３は、第１端部４１のＲ２軸を中心として回動させることができる。このＲ２軸まわりの回動は、表示部３を使用者の視界から退避させる退避用の動作として有用であるが、回動により表示部３と使用者の眼球との間の距離が変化することから、Ｒ２軸まわりに表示部３を動かすと、移動量（回動角）が小さくても表示部３が見にくくなることがある。これに対し、移動機構５を利用して表示部３を上下にスライドさせる動作、及び、眼球の回転中心を通る軸を中心として表示部３を回動させる動作は、表示部３と眼との間の距離を一定にしたまま表示部３を変位させるので、視認性は良好に保たれる。
虚像表示装置１は、Ｒ２軸を中心として表示部３を回動させる機構と、移動機構５により表示部３を上下にスライドさせる機構との両方を具備することで、使用者の視界から表示部３を退避させることも、表示部３の表示を見る位置を変更することもできる。なお、眼球の回転中心を通る仮想軸を中心として表示部３を回動させる機構が採用され、当該構造において表示部３の回動範囲で表示部３が利用者の顔に抵触しないような構成（例えば長い回動半径、または小さい表示部３）が採用されてもよい。そのような機構によれば、適切に表示部３を退避させることと、適切に表示部３の表示を見る位置を変更することと、を一つの可動部で実現し得る。
Further, as described above, the
The virtual
また、ヘッドバンド部２においては、回動軸Ｒ１を中心として撮像部２３、図８に矢印ＲＣで示す方向、及びその逆方向（矢印ＲＤ）に回動させることにより、ステレオカメラ２３１の撮像方向を動かすことができる。これにより、ステレオカメラ２３１の撮像範囲Ａを上下に調整できる。
虚像表示装置１は、ヘッドバンド部２と表示部３とを、アーム部４を介してＲＡ、ＲＢ方向の回動及びＴＡ、ＴＢ方向のスライドが可能なように連結することで、撮像部２３の撮像範囲と表示部３の位置との相対位置が変化する。この構成は、撮像部２３をヘッドバンド部２に設けることで表示部３を軽量化できる点で有利である。表示部３を軽量化することで、表示部３を支える構造、例えば移動機構５、及び第１端部４１の支持構造をシンプルかつ軽量な構成とすることができる。また、使用者の意図に応じて、使用者が弱い力で表示部３を動かすことができるという利点もある。撮像部２３の撮像範囲は、少なくとも、表示部３を通して視認される範囲に重なる。撮像部２３の撮像範囲に、表示部３を通して視認される範囲を含んでもよい。
Further, in the
The virtual
なお、スライド部材５２は、図７に示すように、上記ガイドレール５１が挿通する孔部５２１と、Ｙ方向における中間位置に孔部５２１を横切るように形成されたスリット５２２と、図示を省略するが、アナンゴム等の弾性体により形成されたＯリングとを有する。Ｏリングは、スリット５２２に配置され、ガイドレール５１が挿通される。このＯリングがガイドレール５１を内径方向に締め付けることにより、適度な抵抗感を付与しつつ、スライド部材５２がガイドレール５１に沿ってスライド可能とされている。そして、当該Ｏリングが、ガイドレール５１の溝５１１に嵌合することにより、これらの相対位置が維持される。しかしながら、移動機構５の構成はこれに限らず、スライド部材５２は、ガイドレール５１の高さ方向に沿って連続的に相対移動可能としてもよい。この場合、溝５１１を設けなくてもよい。
As shown in FIG. 7, the
また、虚像表示装置１は、表示部３の両側端部から光を発する構成を具備する。
図１、図２及び他の各図に示すように、表示部３は、左右両端部に、４つの発光部８１を備える。発光部８１は、ＬＥＤ、或いはレーザーダイオード等の固体光源、或いはランプを有して構成され、光を前方に照射する。本実施形態の発光部８１は、光源としてＬＥＤを備える。より詳細には、発光部８１は、表示部３の右側の端部においてカバー部材３１１に埋設設置されるＬＥＤ８１Ａ、８１Ｂ、及び、表示部３の左側の端部においてカバー部材３１１に埋設設置されるＬＥＤ８１Ｃ、８１Ｄにより構成される。これら４つのＬＥＤ８１Ａ、８１Ｂ、８１Ｃ、８１Ｄが発する光ＬＡ、ＬＢ、ＬＣ、ＬＤ（図５参照）は、使用者の略視線方向に向けて照射される。光ＬＡ、ＬＢ、ＬＣ、ＬＤは、ステレオカメラ２３１により撮像可能な波長域の光であって、可視領域内の光であってもよいし、赤外光等の可視領域外の光であってもよい。また、ＬＥＤ８１Ａ、８１Ｂ、８１Ｃ、８１Ｄが発する光は、好ましくは直進性の高い光であり、例えばＬＥＤ８１Ａ、８１Ｂ、８１Ｃ、８１Ｄに光の照射方向を制限するレンズ等の光学部品を設けてもよい。
The virtual
As shown in FIGS. 1, 2 and other figures, the
表示部３の右端部の上部にはＬＥＤ８１Ａが配置され、下部にはＬＥＤ８１Ｂが配置される。また、表示部３の左端部において上部にはＬＥＤ８１Ｃが配置され、下部にはＬＥＤ８１Ｄが配置される。これらの４つのＬＥＤ８１Ａ、８１Ｂ、８１Ｃ、８１Ｄが発する光ＬＡ、ＬＢ、ＬＣ、ＬＤは、ほぼ直進するとともに、わずかに表示部３の幅方向中央を向くように傾いて、使用者ＵＳの視線方向に向けて照射される。
The
このように構成される虚像表示装置１では、以下の利点がある。
使用者ＵＳの頭部に沿う本体部としてのヘッドバンド部２は、当該ヘッドバンド部２とアーム部４を介して接続される表示部３によって表示される虚像が使用者ＵＳによって視認可能な位置に固定される。これによれば、ヘッドバンド部２は、額に沿って配置された状態で、使用者ＵＳの額等の固定部位に固定されるので、虚像表示装置１の荷重が使用者の鼻に加わることを抑制できる。従って、虚像表示装置１の使用時における使用者ＵＳへの負荷を軽減でき、使用感を向上させることができる。
The virtual
The
アーム部４は、ヘッドバンド部２との接続部位を中心として回動可能であるので、当該アーム部４を回動させることにより、ヘッドバンド部２に対する表示部３の位置や角度を調整できる。これによれば、装着時の使用者ＵＳの視線方向に応じた位置に表示部３を位置させて、当該表示部３によって表示される虚像の視認性を向上させることができる。また、上記虚像を視認しない場合には、使用者の眼前から表示部３を退避させることができる。従って、虚像表示装置１の利便性を向上させることができる。
Since the
アーム部４は、上記回動軸Ｒ２を中心として回動可能にヘッドバンド部２に接続されている。これによれば、アーム部４に対する回動操作によって、表示部３の位置を簡易に調整できる他、上記虚像を視認しない場合に、使用者の眼前から表示部３を確実に退避させることができる。従って、虚像表示装置１の利便性を確実に向上させることができる。
The
移動機構５は、ヘッドバンド部２に対して接離する方向に表示部３を移動させる。これによれば、使用者ＵＳの眼の位置に応じて、視方向に重なるように表示部３の位置を調整しやすくすることができる。従って、使用者ＵＳに応じて表示部３の位置を調整でき、虚像表示装置１の利便性及び汎用性を向上させることができる。
The moving mechanism 5 moves the
ヘッドバンド部２が有する撮像部２３により、使用者ＵＳの視野における一部の領域を撮像できるので、例えば、撮像部２３による撮像画像を表示部３に表示したり、或いは、当該撮像画像を外部に出力したりすることにより、使用者ＵＳの周囲の状況を、当該使用者ＵＳ又は他者が把握できる。
ここで、表示部３に撮像部２３が位置する場合には、撮像部２３の荷重によって虚像表示装置１の重量バランスがずれることが考えられる。これに対し、撮像部２３は、上記固定部位に固定されるヘッドバンド部２に位置することにより、表示部３の重量を低減できるだけでなく、虚像表示装置１の重量バランスを適正化しやすくすることができる。従って、使用者ＵＳへの負荷を一層軽減できる。
Since the
Here, when the
撮像部２３は、回動軸Ｒ２を中心に回動可能に構成される。これにより、使用者ＵＳの視線方向に応じた位置に、撮像部２３の撮像方向を調整できる。従って、撮像部２３によって、使用者ＵＳの視野における少なくとも一部の領域を確実に撮像できる。
The
虚像表示装置１の少なくとも一部の機能を制御する制御基板２４は、ヘッドバンド部２内に配置されている。これにより、上記撮像部２３と同様に、表示部３に制御基板２４が設けられる場合と比べて、表示部３の重量を低減できるだけでなく、虚像表示装置１の重量バランスを適正化しやすくすることができる。従って、使用者ＵＳへの負荷を一層軽減できる。
A
ここで、表示部３からケーブルを直接外部に延出させる場合には、ケーブルが動くことを考慮して、表示部３の外形を構成する筐体としてのカバー部材３１１やフレーム部３２の強度を高める必要がある。また、表示部３からケーブルが外部に延出していると見た目がよくないという問題がある。
これに対し、表示部３から延出したケーブルＣＲは、アーム部４内及びヘッドバンド部２内を通って制御基板２４に接続される。また、制御基板２４から延出したケーブルＣＢは、ヘッドバンド部２内を通って外部に延出する。これによれば、カバー部材３１１やフレーム部３２等の強度を高める必要がない他、虚像表示装置１の外観を良好なものにすることができる。
Here, when extending the cable directly from the
On the other hand, the cable CR extending from the
ヘッドバンド部２は、使用者ＵＳの頭部に沿う円弧状の外形を有する。これによれば、当該ヘッドバンド部２をより確実に頭部に沿うように配置できるため、装着感を向上させることができる他、虚像表示装置１の装着時の外観を良好なものとすることができる。
The
表示部３は、左眼用光学装置３１Ｌ及び右眼用光学装置３１Ｒにより、使用者ＵＳの左目及び右目にてそれぞれ同じ虚像を視認させることができるだけでなく、それぞれ異なる虚像を視認させることができる。従って、虚像表示装置１の利便性及び汎用性を向上させることができる。
The
虚像表示装置１は、虚像を形成する光を使用者ＵＳの眼に導光するとともに、外光を透過する導光部材３１３を有する、シースルー型の構成を採用している。これにより、導光部材３１３を介して、上記虚像と使用者の周囲とを観察できる。このため、虚像を視認中の使用者ＵＳに安心感を付与できる他、周囲の風景に重ね合わせた虚像を視認させることにより、拡張現実を実現できる。従って、虚像表示装置１の利便性及び汎用性を一層向上させることができる。
The virtual
［制御系の構成］
図１０は、ＨＭＤ１００を構成する各部の機能ブロック図である。
図１０に示すように、ＨＭＤ１００は、インターフェイス１２５を介して外部機器ＯＡに接続される。インターフェイス１２５は、制御装置３００に対して、コンテンツの供給元となる種々の外部機器ＯＡを接続する。インターフェイス１２５としては、例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等の有線接続に対応したインターフェイスを用いることができる。
外部機器ＯＡは、ＨＭＤ１００に画像を供給する画像供給装置として用いられ、例えば、パーソナルコンピューター（ＰＣ）や携帯電話端末、ゲーム端末等が用いられる。
[Control system configuration]
FIG. 10 is a functional block diagram of each part constituting the
As shown in FIG. 10, the
The external device OA is used as an image supply device that supplies an image to the
制御装置３００は、制御部１４０と、操作部１１１と、入力情報取得部１１０と、記憶部１２０と、送信部（Ｔｘ）１３１及び送信部（Ｔｘ）１３２とを有している。制御装置３００は、表示部３に設けられる画像生成部２０が備える受信部１３３、１３４に対し、各種信号を送信する。
The
操作部１１１は、使用者による操作を検出する。操作部１１１は、図１に示した電源スイッチ３０１、トラックパッド３０２、キースイッチ部３０３、及び上下キー３０５を含む。入力情報取得部１１０は、使用者による操作入力に対応して操作部１１１が出力する操作信号あるいは操作データを取得する。
また、制御装置３００は、電源部１３０を備え、制御装置３００及び虚像表示装置１の各部に電源を供給する。
The
The
記憶部１２０は、不揮発性の記憶装置であって、種々のコンピュータープログラムを格納している。また、記憶部１２０には、ＨＭＤ１００の虚像表示装置１に表示する画像データが格納されていても良い。また、制御部１４０が、記憶部１２０に記憶されるプログラムを実行することにより、虚像表示装置１が表示する表示データを生成してもよい。
The
制御部１４０には、３軸センサー１１３、ＧＰＳ１１５、及び通信部１１７が接続される。３軸センサー１１３は３軸の加速度センサーであり、３軸センサー１１３の検出値を制御部１４０が取得可能である。ＧＰＳ１１５は、アンテナ（図示略）を備え、ＧＰＳ（Global Positioning System）信号を受信し、制御装置３００の現在位置を求める。ＧＰＳ１１５は、ＧＰＳ信号に基づいて求めた現在位置や現在時刻を制御部１４０に出力する。ＧＰＳ１１５はＧＰＳ信号に含まれる情報に基づいて現在時刻を取得し、制御装置３００の制御部１４０が計時する時刻を修正させる機能を備えてもよい。
A three-
通信部１１７は、無線ＬＡＮ（ＷｉＦｉ（登録商標））や、Ｍｉｒａｃａｓｔ（登録商標）等の無線通信の規格に準じた無線データ通信を実行する。また、通信部１１７は、Ｂｌｕｅｔｏｏｔｈ（登録商標）や、Bluetooth Low Energy、ＲＦＩＤ、Ｆｅｌｉｃａ（登録商標）等の近距離無線通信の規格に準じた無線データ通信を実行することも可能である。
The
外部機器ＯＡが、通信部１１７に無線接続された場合、制御部１４０は、コンテンツデータを通信部１１７より取得して、虚像表示装置１に画像を表示するための制御を行う。一方、外部機器ＯＡが、インターフェイス１２５に有線接続された場合には、制御部１４０は、コンテンツデータをインターフェイス１２５より取得して、虚像表示装置１に画像を表示するための制御を行う。よって、通信部１１７及びインターフェイス１２５を、以下総称してデータ取得部と呼ぶ。データ取得部は、外部機器ＯＡからコンテンツデータを取得する。また、コンテンツデータは、例えば記憶部１２０に記憶してもよい。
When the external device OA is wirelessly connected to the
制御部１４０は、ＣＰＵ、ＲＯＭ、ＲＡＭ（いずれも図示略）等を備える。制御部１４０は、記憶部１２０またはＲＯＭに記憶したプログラムを読み出して実行することにより、ＨＭＤ１００の各部を制御する。また、制御部１４０は、上記プログラムを実行して、オペレーティングシステム（ＯＳ）１５０、画像処理部１６０、表示制御部１７０、撮像制御部１８１、位置検出制御部１８２、ＡＲ表示制御部１８３、及び音声処理部１８７として機能する。
The
画像処理部１６０は、コンテンツに含まれる画像信号を取得する。画像処理部１６０は、コンテンツに含まれる画像を表示するための垂直同期信号ＶＳｙｎｃ、水平同期信号ＨＳｙｎｃ等の同期信号、クロック信号ＰＣＬＫ、及びディジタル画像データ（図中、Ｄａｔａ）を送信部１３１により、画像生成部２０Ｒ、２０Ｌのそれぞれに送信する。また、画像処理部１６０は、必要に応じて、画像データに対して、解像度変換処理や、輝度、彩度の調整といった種々の色調補正処理、キーストーン補正処理等の画像処理を実行してもよい。送信部１３１、１３２は、制御装置３００と虚像表示装置１との間におけるシリアル伝送のためのトランシーバーとして機能する。
The
画像生成部２０Ｒ、２０Ｌは、画像処理部１６０から受信部１３３、１３４を介して入力される信号に基づき、右バックライト２０５、左バックライト２０６が発する光を変調して画像光を生成する。
画像生成部２０Ｒは、ＬＥＤ等の光源と拡散板とを有する右バックライト２０５と、右バックライト２０５を駆動する右バックライト制御部２０１とを備える。また、右バックライト２０５が発する光の光路上に配置される透過型の右ＬＣＤ２４１、及び、右ＬＣＤ２４１を駆動する右ＬＣＤ制御部２０３を備える。
右ＬＣＤ２４１を透過した画像光は光学ユニット３１２に入射する。右ＬＣＤ２４１は、複数の画素をマトリクス状に配置した透過型液晶パネルである。
The
The image generation unit 20 </ b> R includes a
The image light transmitted through the
同様に、画像生成部２０Ｌは、ＬＥＤ等の光源と拡散板とを有する左バックライト２０６と、左バックライト２０６を制御する左バックライト制御部２０２とを備える。また、左バックライト２０６が発する光の光路上に配置される透過型の左ＬＣＤ２４２、及び、左ＬＣＤ２４２を駆動する左ＬＣＤ制御部２０４を備える。左ＬＣＤ２４２を透過した画像光は光学ユニット３１２に入射する。左ＬＣＤ２４２は、複数の画素をマトリクス状に配置した透過型液晶パネルである。
Similarly, the
表示制御部１７０は、虚像表示装置１が備える画像生成部２０Ｒ、２０Ｌに対して制御信号を送信する。表示制御部１７０は、画像生成部２０Ｒ、２０Ｌが備える右バックライト２０５、左バックライト２０６の点灯を制御する右バックライト制御部２０１及び左バックライト制御部２０２に対して制御信号を送信する。
右バックライト制御部２０１及び左バックライト制御部２０２は、表示制御部１７０から受信する制御信号に従って、右バックライト２０５及び左バックライト２０６のそれぞれに対し、点灯、消灯の制御および発光輝度の制御を行う。右バックライト２０５及び左バックライト２０６は、例えば、ＬＥＤやエレクトロルミネセンス（ＥＬ）等の発光体であり、レーザー光源やランプを用いて構成してもよい。
The
The right
表示制御部１７０は、虚像表示装置１が備える画像生成部２０Ｒ、２０Ｌのそれぞれに制御信号を送信する。右バックライト制御部２０１及び左バックライト制御部２０２は、表示制御部１７０から受信する制御信号に従って、右バックライト２０５及び左バックライト２０６のそれぞれに対し、点灯、消灯の制御および発光輝度の制御を行う。右バックライト２０５及び左バックライト２０６は、例えば、ＬＥＤやエレクトロルミネセンス（ＥＬ）等の発光体であり、レーザー光源やランプを用いて構成してもよい。
The
画像生成部２０Ｒ、２０Ｌは、それぞれ、表示制御部１７０から受信する制御信号に従って、右バックライト２０５、左バックライト２０６、右ＬＣＤ２４１、及び左ＬＣＤ２４２の駆動のオン／オフを切り替える。従って、表示制御部１７０の制御により、画像生成部２０におけるバックライトの点灯／消灯や画像の表示が制御される。
The
音声処理部１８７は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、オーディオケーブルＣＯにより右イヤホン３３及び左イヤホン３４に出力する。
また、音声処理部１８７は、マイク６３により集音された音声をディジタルデータに変換する。音声処理部１８７は、ディジタル音声データから特徴を抽出してモデル化することにより、例えば話者認識処理や音声認識処理を実行する。話者認識処理では、マイク６３が集音する音声から人間の声を検出し、検出した人間の声を人毎に識別して、声ごとに話している人間を特定する。また、音声認識処理では、例えば、マイク６３が集音した音声をテキストに変換するテキスト変換を行う。
The
Also, the
虚像表示装置１の各部はインターフェイス２８を介して制御部１４０に接続する。インターフェイス２８は、ケーブルＣＢ、及び、ケーブルＣＢを接続するコネクター等で構成され、ケーブルＣＢに代えて無線通信回線により構成してもよい。インターフェイス２８は、送信部１３１により送信されるクロック信号ＰＣＬＫ、垂直同期信号ＶＳｙｎｃ、水平同期信号ＨＳｙｎｃ、画像データＤａｔａを、対応する受信部（Ｒｘ）１３３、１３４に出力する。また、インターフェイス２８は、表示制御部１７０が送信する制御信号を、受信部１３３、１３４に出力する。
また、インターフェイス２８は、ステレオカメラ２３１の撮像画像を制御部１４０に出力し、制御部１４０が送出するＬＥＤ２３３の駆動信号を、ＬＥＤ２３３に出力する。これにより、ＬＥＤ２３３は、制御部１４０の制御に従って点灯及び消灯する。
また、インターフェイス２８は、発光部８１を構成するＬＥＤ８１Ａ、８１Ｂ、８１Ｃ、８１Ｄ（図２）を、制御部１４０に接続する。制御部１４０が発光部８１の駆動信号を出力すると、インターフェイス２８を介してＬＥＤ８１Ａ、８１Ｂ、８１Ｃ、８１Ｄのそれぞれに駆動信号が入力され、ＬＥＤ８１Ａ、８１Ｂ、８１Ｃ、８１Ｄは制御部１４０の制御により点灯及び消灯する。
なお、虚像表示装置１は、インターフェイス２８にＬＥＤ２３３及びＬＥＤ８１Ａ、８１Ｂ、８１Ｃ、８１Ｄを接続する構成に限定されない。例えば、制御部１４０の制御に従って、ＬＥＤ２３３及びＬＥＤ８１Ａ、８１Ｂ、８１Ｃ、８１Ｄのそれぞれに対し、駆動電流、駆動パルス等を出力するドライバー回路（図示略）を備えてもよい。
本実施形態の発光部８１は、４つのＬＥＤ８１Ａ、８１Ｂ、８１Ｃ、８１Ｄを同時に点灯、及び消灯させることができればよく、ＬＥＤ８１Ａ、８１Ｂ、８１Ｃ、８１Ｄのそれぞれに対して個別に点灯、及び消灯させることが可能な構成は必須ではない。
Each unit of the virtual
Further, the
Further, the
The virtual
The
また、虚像表示装置１は、９軸センサー２３８を備える。９軸センサー２３８は、加速度（３軸）、角速度（３軸）、地磁気（３軸）を検出するモーションセンサー（慣性センサー）である。９軸センサー２３８はインターフェイス２８を介して制御部１４０に接続する。制御部１４０は、虚像表示装置１が使用者の頭部に装着されているとき、９軸センサー２３８の検出値に基づいて使用者の頭部の動きを検出できる。９軸センサー２３８は、ステレオカメラ２３１の裏面に接着等により固定され、撮像部２３が回動軸Ｒ１まわりに回動する場合に、撮像部２３とともに回動する。
受信部１３３、１３４は、制御装置３００と虚像表示装置１との間におけるシリアル伝送のためのレシーバーとして機能する。
Further, the virtual
The receiving
ＨＭＤ１００は、虚像表示装置１を装着する使用者の視線方向に対応して、虚像表示装置１で表示する画像の表示態様を調整する機能を具備する。
図１０は、ＨＭＤ１００の表示に係る制御の説明図であり、（Ａ）はＡＲ表示の例を示し、（Ｂ）は位置検出の様子を示す。
虚像表示装置１が備える表示部３は、使用者が外景を視認でき、かつ、導光部材３１３により画像を視認するシースルー型の表示装置である。ＨＭＤ１００は、使用者が表示部３を透過して外景を視認する場合に、外景と重なって視認される画像を表示する。この表示の一態様として、実空間である外景に関する情報を提供する、いわゆるＡＲ効果を奏する画像（以下、ＡＲ画像という）を表示する。ＡＲ画像は、実空間に存在する対象物に関する情報を、対象物と重なって、或いは対象物と並ぶように表示される。ＡＲ画像を見ることで、使用者は、対象物と、対象物に関する各種の情報とを同時に見ることができる。ＡＲ画像の表示は、使用者にとって対象物が見える位置に合わせて表示するときにより効果的である。
The
FIG. 10 is an explanatory diagram of the control related to the display of the
The
図１０（Ａ）には、実空間すなわち外景に存在する対象物ＯＢに重なるように、画像ＡＲ１を表示する例を示す。図中のＶＲは使用者の視界を示す。この例では、対象物ＯＢである自転車をＨＭＤ１００が検出し、使用者が対象物ＯＢを見る位置に合わせて画像ＡＲ１の表示位置を決めて、矢印形状の画像ＡＲ１を表示する。画像ＡＲ１の表示位置を決定するため、ＨＭＤ１００は、撮像部２３で撮像を実行し、撮像画像から、対象物ＯＢの画像を検出する。ＨＭＤ１００は、撮像画像における対象物ＯＢの位置を特定し、撮像画像の位置と表示部３が画像を表示する表示領域の位置との対応関係に基づき、画像ＡＲ１の表示位置を決定する。
FIG. 10A shows an example in which the image AR1 is displayed so as to overlap the object OB existing in the real space, that is, the outside scene. VR in the figure indicates the field of view of the user. In this example, the
すなわち、ＡＲ表示を行う場合、ＨＭＤ１００は、撮像部２３で撮像を実行し、撮像画像から、対象物の画像を検出する。ＨＭＤ１００は、撮像画像における対象物の位置を特定し、撮像画像における位置と表示部３が画像を表示する表示領域における位置との対応関係に基づき、ＡＲ画像の表示位置を決定する。または、撮像画像に基づいて撮像部２３に対する対象物の姿勢と距離（回転と並進）を推定し、後述のキャリブレーションデータ１２１に基づいて、使用者が仮想オブジェクトが当該対象物に重畳または位置合わせされて視認するように、仮想オブジェクトをレンダリングする。本実施形態では、レンダリングされた仮想オブジェクトがＡＲ画像である。
That is, when performing AR display, the
このように、ＡＲ画像を表示する場合は画像の表示位置に係る制御を要するので、制御部１４０は、撮像制御部１８１、位置検出制御部１８２、及びＡＲ表示制御部１８３を備える。
撮像制御部１８１は、虚像表示装置１が備える撮像部２３を制御して撮像を実行させ、撮像画像データを取得する。
ＡＲ表示制御部１８３は、撮像制御部１８１の機能により取得される撮像画像を解析し、撮像画像から対象物の画像を検出する。ＨＭＤ１００では、検出する対象物の画像について、形状、色彩などの特徴量に関するデータを記憶部１２０に記憶する。ＡＲ表示制御部１８３は、記憶部１２０に記憶したデータを用いて、撮像画像から対象物の画像を検出し、撮像画像における対象物の画像の位置を特定する。さらに、ＡＲ表示制御部１８３は、表示部３の表示領域、すなわち、導光部材３１３Ｒ、３１３Ｌにおいて画像光を使用者の眼に向けて反射する領域に対する画像ＡＲ１の位置を特定し、画像ＡＲ１を表示制御部１７０に表示させる。画像ＡＲ１の画像データは、インターフェイス１２５を介して取得するコンテンツデータ、記憶部１２０に記憶されたコンテンツデータ、または、ＡＲ表示制御部１８３がデータ処理により生成する画像データ等である。
As described above, when an AR image is displayed, control related to the display position of the image is required. Therefore, the
The
The AR
ＨＭＤ１００においては、表示部３における表示位置と撮像部２３の撮像画像における位置とを対応付けるため、初期キャリブレーションが実行される。初期キャリブレーションは、使用者が虚像表示装置１を頭部に装着し、虚像表示装置１の装着位置や帯部２２２の止め具合等の調整を行い、ヘッドバンド部２と使用者の眼との相対位置が固定された後、この位置に適合するように行われる。
In the
初期キャリブレーションには、種々の方法があるが、例えば、本実施形態では、次のようなステップを実行する。
（Ｉ）眼間距離：
制御部１４０が、表示部３における２つの光学装置に、同一のキャリブレーション用画像を表示させる。そうすると、表示部３を掛ける使用者は、左右の眼を介して、キャリブレーション用画像を視認する。そこで、使用者は、ユーザーインターフェイス（トラックパッドなど）を介して制御部１４０に指示を与えることで、２つのキャリブレーション用画像が一致して視認できるように、表示された２つのキャリブレーション用画像の少なくとも一方を他方に対して相対移動させる。２つのキャリブレーション用画像を一致して視認したタイミングで、使用者はユーザーインターフェイスを介して制御部１４０に通知する。制御部１４０は、その通知に応じて、当該タイミングでの２つのキャリブレーション用画像の光学装置に対する位置に基づき、画像処理部１６０に画像の光学装置上での表示位置を調整させる。このことにより、眼間距離に対応した表示部３のキャリブレーションができる。
There are various methods for the initial calibration. For example, in the present embodiment, the following steps are executed.
(I) Interocular distance:
The
（ＩＩ）ＡＲオブジェクトと実物体との位置合わせ：
上記（Ｉ）により眼間距離についてのキャリブレーションがされた後で、制御部１４０が、表示部３の中央にキャリブレーション用画像（例えば仮想２Ｄマーカー）を固定して表示させる。また、制御部１４０は、キャリブレーション用画像に対応した参照実物体（例えば、仮想２Ｄマーカーに相似で、大きさが既知の２Ｄマーカー）を、撮像部２３を介して撮像し、その特徴点に基づいて、撮像部２３に対する参照実物体の回転、並進を検出する。使用者は、頭部を動かし、キャリブレーション用画像を参照実物体にアライン（位置、大きさ、向きを一致）させ、アラインしたタイミングで制御部１４０に通知する。このとき、表示部３と参照用実物体との間の回転、並進が既定の関係になる。制御部１４０は、上記通知の当該タイミングでの参照実物体の撮像画像における位置情報を取得し、ＡＲオブジェクトと実物体とを重ねて表示するためのパラメーター（キャリブレーションデータ１２１）を、その使用者用にカスタマイズする。キャリブレーションデータ１２１は、表示部３に対する撮像部２３の回転と並進を表すパラメーターを含む。
(II) Alignment of AR object and real object:
After calibrating the interocular distance according to (I) above, the
この結果、ＨＭＤ１００において、使用者の視野と表示部３の表示領域との対応付け、及び、表示部３の表示領域と撮像部２３の撮像画像との対応付けがなされるので、その後は、ＡＲ表示制御部１８３が、撮像部２３の撮像画像を利用してＡＲ表示を行う。すなわち、位置検出制御部１８２は、キャリブレーションデータ１２１を用いて表示位置を調整することで、例えば図１０（Ａ）に示すように、使用者に、対象物の位置に合わせて画像ＡＲ１を視認させることができる。
As a result, in the
ところで、上述したように、撮像部２３は、回動軸Ｒ１により回動可能にヘッドバンド部２に設けられる。また、表示部３は、回動軸Ｒ２、及び移動機構５を介してヘッドバンド部２に取り付けられる。従って、撮像部２３と表示部３とは、３つの可動部である回動軸部２３６、回動軸部２５、及び移動機構５によって、相対位置が変化するように連結され、支持される。これらは本発明の連結部に相当する。また、これらの連結部は、撮像部２３と表示部３とのうち一方を他方に支持する支持部として機能する。
Incidentally, as described above, the
３つの可動部である回動軸部２３６、回動軸部２５、及び移動機構５における変位が発生すると、撮像部２３と表示部３との相対位置が変化する。この種の動きは、例えば、使用者が表示部３の見え方を再調整するために表示部３を回動軸Ｒ２まわりに動かす場合に発生する。また、使用者が、表示部３を視界（視野）から退避させるためにＲＡ方向に動かし、その後、表示部３をＲＢ方向に戻す場合も、表示部３が退避前と全く同じ位置に戻されるとは限らない。さらに、撮像部２３の撮像範囲の調整のために、使用者が撮像部２３を動かす可能性もある。
When displacement occurs in the
上記可動部における動きにより、撮像部２３と表示部３との相対位置が変化すると、初期キャリブレーションで対応付けられた位置関係から逸脱する。このため、ＡＲ表示を行う場合に、ＡＲ用の画像（例えば、画像ＡＲ１）を適切な表示位置に表示できない可能性がある。
When the relative position between the
そこで、虚像表示装置１は、発光部８１を利用して、撮像部２３と表示部３との相対位置の変化を検出し、キャリブレーションデータ１２１を補正することにより、表示部３における画像の表示位置を適正に維持する。
Therefore, the virtual
図１１は、ＨＭＤ１００の動作を示すフローチャートであり、発光部８１を利用したキャリブレーションに係る動作を示す。
制御部１４０は、キャリブレーションの実行条件の成立に対し待機する（ステップＳＴ１１）。キャリブレーションの実行条件は、例えば、トラックパッド３０２に対する操作が挙げられるが、９軸センサー２３８が閾値を超えるヘッドバンド部２の動きを検出した場合としてもよい。具体的には、９軸センサー２３８により、ヘッドバンド部２の着脱、ヘッドバンド部２への衝撃などを検出したことを実行条件としてもよい。制御部１４０は、ＨＭＤ１００の電源がオンの間、或いはＨＭＤ１００によりＡＲ画像を表示する間、キャリブレーションの実行条件が成立しなければ待機する（ステップＳＴ１１；Ｎｏ）。
FIG. 11 is a flowchart showing the operation of the
The
実行条件が成立した場合（ステップＳＴ１１；Ｙｅｓ）、制御部１４０は、トラックパッド３０２等に対する操作に対応して、キャリブレーションを開始し（ステップＳＴ１２）、発光部８１を点灯させる（ステップＳＴ１３）。ここで、制御部１４０は、撮像部２３による撮像を実行させて、撮像部２３による撮像画像データを取得する（ステップＳＴ１４）。
When the execution condition is satisfied (step ST11; Yes), the
上述したように、表示部３には、４つのＬＥＤ８１Ａ、８１Ｂ、８１Ｃ、８１Ｄを有する発光部８１が配置され、ぞれぞれのＬＥＤ８１Ａ、８１Ｂ、８１Ｃ、８１Ｄが発する光は、ほぼ直進する。
As described above, the
図１０（Ｂ）には発光部８１を点灯してキャリブレーションを行う状態を示す。
ＨＭＤ１００のキャリブレーションでは、使用者が、ＨＭＤ１００を固定平面Ｓ（対象物）に正対させる。固定平面Ｓは壁面であってもよいし、虚像表示装置１の正面に対し多少の傾きがあってもよい。また、固定平面Ｓは硬質な平面でなくてもよく、幕であってもよい。また、キャリブレーションに用いる対象物は、少なくとも、ＬＥＤ８１Ａ、８１Ｂ、８１Ｃ、８１Ｄが発する光ＬＡ、ＬＢ、ＬＣ、ＬＤを反射できる平面を有するものであればよい。従って、固定平面Ｓのように大きな平面に制限されず、例えば、箱状の対象物の一側面を、固定平面Ｓと同様に使用することも可能である。後述するように、ＨＭＤ１００は、固定平面Ｓに光を投射するが、固定平面Ｓは鏡面のように光を反射する面に限定されない。固定平面Ｓ上において、投射された光を撮像部２３の撮像画像から検出できればよい。固定平面Ｓ等の対象物にＨＭＤ１００が投射した光が、対象物上で視認され或いは撮像画像において検出可能な場合に、この対象物上の光を、反射光と呼ぶ。
FIG. 10B shows a state in which calibration is performed by turning on the
In the calibration of the
図１０（Ｂ）の状態を実現するため、制御部１４０は、ステップＳＴ１３で発光部８１を点灯する際に、表示制御部１７０により案内用の画像を表示させて、発光部８１の光を、キャリブレーションに用いる平面に向けるように案内をしてもよい。この場合、制御部１４０は、使用者の制御装置３００への操作により、或いは、撮像部２３の撮像画像に基づき、発光部８１の反射光を撮像部２３で撮像できる状態になったと判定してから、撮像部２３による撮像画像データを取得すればよい。
In order to realize the state of FIG. 10B, the
図１０（Ｂ）に示すように、ＬＥＤ８１Ａ、８１Ｂ、８１Ｃ、８１Ｄが発する光ＬＡ、ＬＢ、ＬＣ、ＬＤは、固定平面Ｓに反射して４つの反射光による像ＬＰＡ、ＬＰＢ、ＬＰＣ、ＬＰＤを形成する。本実施形態では像ＬＰＡ、ＬＰＢ、ＬＰＣ、ＬＰＤを、４つの光点で形成される一種の図形（パターン）と見ることができ、この図形が位置検出用のパターンとして機能する。
As shown in FIG. 10B, the light beams LA, LB, LC, and LD emitted from the
また、撮像部２３は、ＬＥＤ８１Ａ、８１Ｂ、８１Ｃ、８１Ｄが光ＬＡ、ＬＢ、ＬＣ、ＬＤを照射する方向を撮像できる構成である。
撮像部２３はヘッドバンド部２に対し回動軸Ｒ１まわりに回動可能に設けられる。また、ＬＥＤ８１Ａ、８１Ｂ、８１Ｃ、８１Ｄは表示部３に固定的に設けられる。このため、撮像部２３の撮像範囲Ａは、ＬＥＤ８１Ａ、８１Ｂ、８１Ｃ、８１Ｄの光の照射方向に対し、回動軸Ｒ１、Ｒ２及び移動機構５の各可動部の動きによって変化する。撮像部２３は、可動部の動きにより変化する範囲の少なくとも一部で、撮像範囲Ａに、ＬＥＤ８１Ａ、８１Ｂ、８１Ｃ、８１Ｄが光ＬＡ、ＬＢ、ＬＣ、ＬＤを照射する方向を含む。言い換えれば、可動部を動かすことで、ＬＥＤ８１Ａ、８１Ｂ、８１Ｃ、８１Ｄが光ＬＡ、ＬＢ、ＬＣ、ＬＤを照射する方向が、撮像部２３の撮像範囲Ａから外れることがあってもよい。この場合、キャリブレーションを実行できないが、制御部１４０は、撮像部２３の向きが適正でない旨を表示部３の表示等により使用者に報知すればよい。
Moreover, the
The
制御部１４０は、撮像部２３により像ＬＰＡ、ＬＰＢ、ＬＰＣ、ＬＰＤが形成された範囲を撮像させ、撮像画像データを解析する。制御部１４０は、撮像画像から像ＬＰＡ、ＬＰＢ、ＬＰＣ、ＬＰＤを検出して、それぞれの像ＬＰＡ、ＬＰＢ、ＬＰＣ、ＬＰＤの位置に基づき、表示部３と撮像部２３との相対位置を検出する。具体的には、制御部１４０は、ＬＰＡ−ＬＰＣ間、ＬＰＢ−ＬＰＤ間、ＬＰＡ−ＬＰＢ間、ＬＰＣ−ＬＰＤ間のそれぞれの距離を求める。また、ＬＰＡ−ＬＰＤ間、ＬＰＢ−ＬＰＣ間の距離を求めてもよい。制御部１４０が求める距離は、例えば、撮像画像における距離である。制御部１４０は、求めた各距離の大きさに基づいて撮像部２３から固定平面Ｓまでの距離を算出する。また、制御部１４０は、求めた各距離の比から、撮像部２３に対する固定平面Ｓの相対的な傾きを求める。そして、これらの情報に基づいて、制御部１４０は、表示部３に対する撮像部２３の相対位置、及び、相対的な傾きの少なくともいずれかを求めることができる。
The
制御部１４０は、上述したように、撮像画像から光ＬＡ、ＬＢ、ＬＣ、ＬＤの反射光による像ＬＰＡ、ＬＰＢ、ＬＰＣ、ＬＰＤを検出して解析を行い（ステップＳＴ１５）、解析データを取得する（ステップＳＴ１６）。この解析データは、表示部３に対する撮像部２３の相対位置、及び、相対的な傾きの少なくともいずれかを含む。
As described above, the
ステップＳＴ１６で解析データを取得した後、制御部１４０は、取得したデータを、既に記憶部１２０に記憶しているキャリブレーションデータ１２１と比較する（ステップＳＴ１７）。制御部１４０は比較結果の判定を行い（ステップＳＴ１８）、閾値以上の差異がある場合は（ステップＳＴ１８；Ｙｅｓ）、キャリブレーションデータ１２１を更新するとともに、現在表示している画像があれば、その表示位置を調整する（ステップＳＴ１９）。または、本実施形態では、制御部１４０は、上記差異に基づき、撮像部２３と左眼用光学装置におけるスクリーンとの間での回転および並進の少なくとも一方を表すパラメーター、撮像部２３と右眼用光学装置におけるスクリーンとの間での回転および並進の少なくとも一方を表すパラメーターを補正することでキャリブレーションデータ１２１を補正する。この場合、本実施形態では、左右のそれぞれのスクリーンの中心は、左眼用・右眼用光学装置が有するそれぞれのハーフミラーの曲面上または平面上に位置し中心に一致し、かつ、それらスクリーンは左眼用・右眼用光学装置のそれぞれの光軸を法線とするそれぞれのＸＹ平面で規定されている。制御部１４０は、補正後のキャリブレーションデータ１２１により、記憶部１２０に記憶されたキャリブレーションデータ１２１を更新する。また、ステップＳＴ１６で取得したデータが示す撮像部２３と表示部３との位置関係が、既に記憶されているキャリブレーションデータ１２１と、閾値以上の差異を有さない場合（ステップＳＴ１８；Ｎｏ）、制御部１４０は本処理を終了する。
なお、本処理を終了した後、制御部１４０は、再びステップＳＴ１１で実行条件の成立を監視すれば良い。
After acquiring the analysis data in step ST16, the
In addition, after complete | finishing this process, the
ＨＭＤ１００は、図１１のステップＳＴ１２〜ＳＴ１６の処理を実行する場合、事前に、発光部２４０の発光により形成される平面図形の内部座標、すなわち、ＬＥＤ８１Ａ、８１Ｂ、８１Ｃ、８１Ｄが発する光の配置に関するデータを、記憶部１２０に記憶する。このデータは、ＬＥＤ８１Ａ、８１Ｂ、８１Ｃ、８１Ｄのそれぞれの位置、または、これらＬＥＤが発する光の位置について、予め設定される平面座標系における座標として規定するデータである。或いは、ＨＭＤ１００は、ＬＥＤ８１Ａ、８１Ｂ、８１Ｃ、８１Ｄが発する光が、発光部８１の真正面に対向する固定平面Ｓに反射した場合の像ＬＰＡ、ＬＰＢ、ＬＰＣ、ＬＰＤが形成する平面図形について、この平面図形に含まれる特徴点の位置を平面座標系における座標として規定するデータを記憶する。また、虚像表示装置１は、ステレオカメラ２３１のカメラパラメーターを含むデータを、記憶部１２０に記憶する。カメラパラメーターは、例えば、焦点距離、センサー（撮像素子）の位置、センサーの水平・垂直方向のそれぞれの画素密度等を含む。
When the
平面図形の特徴点の配置に関するデータを用いることで、固定平面Ｓを撮像した撮像画像から、固定平面Ｓに反射した像ＬＰＡ、ＬＰＢ、ＬＰＣ、ＬＰＤ（特徴点）の位置を検出できる。かつ、これらの特徴点である像ＬＰＡ、ＬＰＢ、ＬＰＣ、ＬＰＤの座標を利用して、ホモグラフィー法によって、像ＬＰＡ、ＬＰＢ、ＬＰＣ、ＬＰＤが構成する図形に対する撮像部２３の回転・並進を表すパラメーター（回転行列、並進ベクトル）を導出することができる。このパラメーターをパラメーターＰＡ１とする。
By using the data related to the arrangement of the feature points of the plane figure, the positions of the images LPA, LPB, LPC, LPD (feature points) reflected on the fixed plane S can be detected from the captured image obtained by imaging the fixed plane S. In addition, by using the coordinates of the images LPA, LPB, LPC, LPD, which are these feature points, the rotation / translation of the
また、ＨＭＤ１００は、平面図形に対する表示部３の回転・並進に関するパラメーターＰＡ２を取得する。そして、パラメーターＰＡ１、ＰＡ２を用いることで、表示部３に対する撮像部２３の回転・並進すなわち相対的位置関係を導出（補正）することができる。
In addition, the
パラメーターＰＡ２を取得する方法は、例えば、次の通りである。
パラメーターＰＡ２の回転に関する成分は、ＨＭＤ１００が表示部３の表示により、使用者に対し、平面図形を映している平面（例えば、図１０（Ｂ）の固定平面Ｓ）と表示部３とが平行になるように、平面の前に立つように促すことで、ゼロと見なすことができる。壁などの平面は重力方向に平行に立っており、人間も垂直に立つことから、使用者が装着する表示部３が平面の真正面に正対すると考えてよいので、回転成分はないと見なせるからである。
パラメーターＰＡ２の並進（距離）に関する成分は、平面（例えば、図１０（Ｂ）の固定平面Ｓ）と、使用者が装着する表示部３との間の距離が、予め設定された距離であれば、この距離に基づき算出できる。
上記は、キャリブレーションデータ１２１を補正するパラメーターを求めるための動作の一例であるが、例えば上記のようにして、ＨＭＤ１００は、キャリブレーションデータ１２１を適切に補正できる。
The method for obtaining the parameter PA2 is, for example, as follows.
The component related to the rotation of the parameter PA2 is such that the plane on which the
The component related to translation (distance) of the parameter PA2 is that the distance between the plane (for example, the fixed plane S in FIG. 10B) and the
The above is an example of an operation for obtaining a parameter for correcting the
以上説明したように、本発明を適用したＨＭＤ１００は、外景を視認可能に、画像を表示する表示部３を備える。ＨＭＤ１００は、表示部３を通して視認される範囲に重なる撮像範囲を撮像する撮像部２３を備える。ＨＭＤ１００は、少なくとも１つの可動部を有し、撮像部２３を表示部３に連結する連結部と、表示部３に対して固定的に設けられた複数の発光部８１（ＬＥＤ８１Ａ、８１Ｂ、８１Ｃ、８１Ｄ）とを有する。ＬＥＤ８１Ａ、８１Ｂ、８１Ｃ、８１Ｄは所定パターンを含む光を発し、撮像部２３の撮像範囲に位置する対象物にＬＥＤ８１Ａ、８１Ｂ、８１Ｃ、８１Ｄの光が投射された場合に、対象物上の光を撮像部２３で撮像可能である。このため、図１０（Ｂ）に示したように、発光部８１が発する光ＬＡ、ＬＢ、ＬＣ、ＬＤが対象物に投射された場合に、この対象物上の光を撮像部２３で撮像し、撮像画像を利用して、表示部に対する撮像部２３の相対位置や相対方向等を検出できる。
また、ＨＭＤ１００では、可動部により撮像部２３の撮像方向が変化する範囲の少なくとも一部において、撮像部２３の撮像範囲Ａに、発光部が光を発する方向を含む。
As described above, the
Further, in the
また、発光部８１は、ＬＥＤ８１Ａ、８１Ｂ、８１Ｃ、８１Ｄが発する光ＬＡ、ＬＢ、ＬＣ、ＬＤにより所定パターンを形成する。この所定パターンは、例えば、位置検出用あるいは位置調整用のパターンである。撮像部２３の撮像範囲Ａに位置する対象物としての固定平面Ｓに光ＬＡ、ＬＢ、ＬＣ、ＬＤが投射された場合に、固定平面Ｓ上の上記光が形成する像を撮像部２３で撮像できる。この光は、例えば固定平面Ｓで反射した反射光である。制御部１４０は、撮像画像から光の像を検出して解析を行うことで、表示部３に対する撮像部２３の相対位置関係、または相対位置関係の変化を検出できる。
Further, the
また、発光部８１は、複数の光源としてのＬＥＤ８１Ａ、８１Ｂ、８１Ｃ、８１Ｄを備え、これらＬＥＤ８１Ａ、８１Ｂ、８１Ｃ、８１Ｄが発する光により位置検出用のパターンが形成される。このため、撮像部２３により、表示部３に対する撮像部２３の相対位置や相対方向等を高精度で検出可能な撮像画像を得ることができる。
The
なお、発光部８１が備える光源の数は４個に限定されない。２つ或いは３つの光源を備えてもよいし、５以上の光源を備えてもよい。さらに、複数のＬＥＤ８１Ａ、８１Ｂ、８１Ｃ、８１Ｄのそれぞれが発する光により位置検出用のパターンを形成する構成に限定されない。例えば、光源が発する光を変調することで、位置検出用のパターンを照射できる構成としてもよい。この例について第２、第３実施形態として説明する。
The number of light sources provided in the
［第２実施形態］
図１２は、本発明を適用した第２実施形態に係る虚像表示装置１Ａの構成を示す斜視図である。また、図１３は、ＨＭＤ１００Ａの説明図であり、（Ａ）は位置検出の様子を示し、（Ｂ）は虚像表示装置１Ａが備えるプロジェクター８２（発光部）の構成を示す。
第２実施形態は、後述するプロジェクター８２に係る構成及び制御部１４０の動作を除き、第１実施形態と共通する構成及び機能を具備する。このため、第２実施形態の説明において、第１実施形態と同一の構成を有する各部には同符号を付し、同一の構成及び動作についての説明を省略する。
[Second Embodiment]
FIG. 12 is a perspective view showing a configuration of a virtual
The second embodiment has the same configuration and functions as those of the first embodiment except for the configuration related to the
虚像表示装置１Ａは、上記第１実施形態で説明した虚像表示装置１が備える発光部８１を排し、プロジェクター８２を設けた構成である。
図１２には、虚像表示装置１Ａの構成を示す。この図１２に示すように、虚像表示装置１Ａは、表示部３に、プロジェクター８２を備える。プロジェクター８２は、表示部３に固定的に設けられ、使用者が光学装置３１を通して視認する外景の方向に、画像光を投射する。プロジェクター８２は、表示部３において前面側に配置されていればよく、図１２には表示部３の右側端部においてカバー部材３１１に埋設された例を示す。例えば、プロジェクター８２を表示部３の左側端部に設けてもよい。
The virtual
FIG. 12 shows the configuration of the virtual
図１３（Ａ）には、虚像表示装置１Ａが発光駆動部８３により画像光を投射する状態を示す。図１３（Ａ）の例では、虚像表示装置１Ａが固定平面Ｓに対向する位置にあり、二次元コード化された位置調整用パターンＰ（所定パターン）をプロジェクター８２によって固定平面Ｓに投射する。位置調整用パターンＰは二次元コードに限定されず、撮像部２３により位置調整用パターンＰを撮像した撮像画像において、少なくとも複数の点を検出できればよい。従って、例えば第１実施形態で例示した４つの点からなるパターンを採用してもよい。
FIG. 13A shows a state in which the virtual
プロジェクター８２が位置調整用パターンＰを構成する画像光を投射する方向と、撮像部２３の撮像範囲Ａとの関係は、第１実施形態で説明した通りである。すなわち、虚像表示装置１Ａの可動部を動かすことで撮像部２３の撮像範囲Ａが変化する間において、少なくとも一部で、撮像範囲Ａに固定平面Ｓが含まれればよい。言い換えれば、可動部を動かすことで、位置調整用パターンＰが撮像部２３の撮像範囲Ａから外れることがあってもよい。この場合、キャリブレーションを実行できないが、制御部１４０は、撮像部２３の向きが適正でない旨を表示部３の表示等により使用者に報知すればよい。
The relationship between the direction in which the
図１３（Ｂ）にはプロジェクター８２の構成を模式的に示す。
プロジェクター８２は、光源８２１、光変調部８２２（変調部）、及び投射光学系８２３を備える。光源８２１は、例えば、ＬＥＤ、レーザーダイオード、有機ＥＬ（有機エレクトロルミネッセンス、Organic Electro-Luminescence）素子等の固体光源、あるいはランプ等を備えて構成される。光源８２１は、光変調部８２２に向けて光を照射する。光変調部８２２は、透過型の液晶表示パネル、反射型の液晶表示パネル、或いはＤＭＤ（デジタルミラーデバイス）等を備え、光源８２１が発する光を変調して、画像光を生成する。投射光学系８２３は、例えばレンズ群を備え、光変調部８２２が生成する画像光Ｌを表示部３の前方に向けて投射する。プロジェクター８２において、光源８２１と光変調部８２２との間、及び光変調部８２２と投射光学系８２３との間において、光路を形成するプリズムやミラー等の光学素子（図示略）を設けてもよい。光変調部８２２は、例えばマトリクス状に配置される画素を単位として光を変調して画像光を生成するので、位置調整用パターンＰの形状は限定されない。すなわち、位置調整用パターンＰの構成を、光変調部８２２において自在に変更できる。
FIG. 13B schematically shows the configuration of the
The
図１４は、ＨＭＤ１００Ａの機能ブロック図である。
第２実施形態のＨＭＤ１００Ａは、上記第１実施形態のＨＭＤ１００において、虚像表示装置１を虚像表示装置１Ａに代えた構成である。すなわち、ＨＭＤ１００Ａは、ＨＭＤ１００が有する発光部８１に代えて、プロジェクター８２、及び、発光駆動部８３を備える。
FIG. 14 is a functional block diagram of the
HMD100A of 2nd Embodiment is the structure which replaced the virtual
発光駆動部８３は、インターフェイス２８を介して制御部１４０に接続され、制御部１４０の制御に従って、プロジェクター８２の各部を駆動する。発光駆動部８３は、プロジェクター８２が備える光源８２１を点灯及び消灯させる。また、プロジェクター８２は、光変調部８２２の液晶パネル等を駆動し、各画素の表示等を制御する。例えば、制御部１４０が発光駆動部８３に対して、光源８２１の点灯を指示する制御信号と画像信号とを出力し、発光駆動部８３が光源８２１に制御パルス及び電流を出力して点灯させ、光変調部８２２に画像を描画させる。また、光源８２１が固体光源を備える場合、発光駆動部８３が光源８２１に対しＰＷＭ（Pulse Wave Modulation）制御を行い、光源８２１の輝度を調整してもよい。
The light
このように構成されるＨＭＤ１００Ａは、上記第１実施形態のＨＭＤ１００と同様に、図１１に示す動作を行うことができる。この動作において、ＨＭＤ１００Ａの制御部１４０は、ステップＳＴ１３において発光駆動部８３により光源８２１及び光変調部８２２を駆動して、位置調整用パターンＰの投射を開始させる。また、制御部１４０は、ステップＳＴ１５〜ＳＴ１６において、撮像部２３の撮像画像から位置調整用パターンＰの画像を検出し、撮像画像における位置調整用パターンＰの形状やサイズに基づき、撮像部２３と表示部３との相対位置を求めればよい。
これにより、ＨＭＤ１００Ａを用いてＡＲ表示を行うことで、ＨＭＤ１００と同様の効果を得ることができる。また、位置調整用パターンＰを光変調部８２２により形成するので、位置調整用パターンＰの複雑さに影響されず、位置調整用パターンＰを容易に得ることができる。
HMD100A comprised in this way can perform the operation | movement shown in FIG. 11 similarly to HMD100 of the said 1st Embodiment. In this operation, the
Thereby, the same effect as HMD100 can be acquired by performing AR display using HMD100A. Further, since the position adjustment pattern P is formed by the
ＨＭＤ１００Ａは、上記第１の実施形態で説明したＨＭＤ１００と同様に、プロジェクター８２が投射する位置調整用パターンＰ、または、固定平面Ｓに位置調整用パターンＰが反射した像で構成される平面図形に関するデータを、事前に、記憶部１２０に記憶する。このデータは、位置調整用パターンＰを構成する特徴点の位置について、予め設定される平面座標系における座標として規定するデータである。また、ＨＭＤ１００Ａは、ステレオカメラ２３１のカメラパラメーターを含むデータを、記憶部１２０に記憶する。カメラパラメーターは、例えば、焦点距離、センサー（撮像素子）の位置、センサーの水平・垂直方向のそれぞれの画素密度等を含む。これらのデータを利用して、ＨＭＤ１００Ａは、固定平面Ｓを撮像した撮像画像から、固定平面Ｓに反射した位置調整用パターンＰの像である平面図形、または、この平面図形を構成する特徴点の位置を検出できる。そして、第１の実施形態と同様に、特徴点の座標を利用して、ホモグラフィー法によって、位置調整用パターンＰが形成する平面図形に対する撮像部２３の回転・並進を表すパラメーター（回転行列、並進ベクトル）を導出することができる。このパラメーターをパラメーターＰＡ１とする。
そして、ＨＭＤ１００Ａは、平面図形に対する表示部３の回転・並進に関するパラメーターＰＡ２を取得し、パラメーターＰＡ１、ＰＡ２を用いることで、表示部３に対する撮像部２３の回転・並進すなわち相対的位置関係を導出（補正）することができる。
Similar to the
Then, the
パラメーターＰＡ２を取得する方法は、例えば、第１の実施形態と同様に、使用者に対し、平面図形を映している平面（例えば、図１３（Ａ）の固定平面Ｓ）と表示部３とが平行になるように、平面の前に立つように促すことで、得ることができる。この場合、使用者に対し、平面（例えば、図１３（Ａ）の固定平面Ｓ）と、使用者が装着する表示部３との間の距離が、予め設定された距離となるように指示すれば良い。或いは、プロジェクター８２の焦点距離に基づき、固定平面Ｓと表示部３との距離を求めても良い。例えば、利用者は、壁に投射される平面図形の焦点が合う距離まで移動し、焦点が合った時に、撮像する。例えばこのようにして、ＨＭＤ１００Ａは、キャリブレーションデータ１２１を適切に補正できる。
For example, as in the first embodiment, a method for obtaining the parameter PA2 is as follows: a plane (for example, a fixed plane S in FIG. 13A) and a
［第３実施形態］
図１５は、本発明を適用した第３実施形態に係る虚像表示装置１Ｂの機能ブロック図である。第３実施形態は、後述する発光部８４に係る構成及び制御部１４０の動作を除き、第１、第２実施形態と共通する構成及び機能を具備する。このため、第３実施形態の説明において、第１、第２実施形態と同一の構成を有する各部には同符号を付し、同一の構成及び動作についての説明を省略する。
[Third Embodiment]
FIG. 15 is a functional block diagram of a virtual
虚像表示装置１Ｂは、上記第２実施形態で説明した虚像表示装置１Ａが備えるプロジェクター８２及び発光駆動部８３に代えて、発光部８４を備える。
発光部８４は、表示部３に対して固定的に設けられ、例えばプロジェクター８２と同様に、表示部３の右側の端部でカバー部材３１１に埋設設置される。
The virtual
The
発光部８４は、光源８４１、及びパターンプレート８４２（変調部）を備える。光源８４１は、例えば、ＬＥＤ、レーザーダイオード、有機ＥＬ素子等の固体光源、あるいはランプ等を備えて構成される。光源８４１は、パターンプレート８４２に向けて光を照射する。パターンプレート８４２は、光源８４１が発する光を、位置調整用パターンＰの形状で透過させる板状部材である。パターンプレート８４２を通過することで、光源８４１が発する光は、パターンプレート８４２に形成されたスリットや孔の形状を有する光に変調され、表示部３の前方に照射される。
The
ＨＭＤ１００Ｂは、上記第１実施形態のＨＭＤ１００、及び第２実施形態のＨＭＤ１００Ａと同様に、図１１に示す動作を行うことができる。この動作において、ＨＭＤ１００Ｂの制御部１４０は、ステップＳＴ１３において光源８４１を点灯させて、位置調整用パターンＰの投射を開始させる。また、制御部１４０は、ステップＳＴ１５〜ＳＴ１６において、撮像部２３の撮像画像から、光変調部８２２により形成される位置調整用パターンＰの画像を検出し、撮像画像における位置調整用パターンＰの形状やサイズに基づき、撮像部２３と表示部３との相対位置を求めればよい。
これにより、ＨＭＤ１００Ｂを用いてＡＲ表示を行うことで、ＨＭＤ１００、１００Ａと同様の効果を得ることができる。また、位置調整用パターンＰを、パターンプレート８４２を用いたシンプルな構成によって容易に形成できる。例えば複数の光源で位置調整用パターンを構成する発光部８１に比べ、比較的複雑な位置調整用パターンＰを得ることができる。
The
Thereby, by performing AR display using HMD100B, the same effect as HMD100 and 100A can be acquired. Further, the position adjustment pattern P can be easily formed with a simple configuration using the
ＨＭＤ１００Ｂは、上記第２の実施形態で説明したＨＭＤ１００と同様に、発光部８４が投射する位置調整用パターンＰ、または、固定平面Ｓに位置調整用パターンＰが反射した像で構成される平面図形に関するデータを、事前に、記憶部１２０に記憶する。このデータは、位置調整用パターンＰを構成する特徴点の位置について、予め設定される平面座標系における座標として規定するデータである。また、ＨＭＤ１００Ｂは、ステレオカメラ２３１のカメラパラメーターを含むデータを、記憶部１２０に記憶する。カメラパラメーターは、例えば、焦点距離、センサー（撮像素子）の位置、センサーの水平・垂直方向のそれぞれの画素密度等を含む。これらのデータを利用して、ＨＭＤ１００Ｂは、固定平面Ｓを撮像した撮像画像から、固定平面Ｓに反射した位置調整用パターンＰの像である平面図形、または、この平面図形を構成する特徴点の位置を検出できる。そして、第１及び第２の実施形態と同様に、特徴点の座標を利用して、ホモグラフィー法によって、位置調整用パターンＰが形成する平面図形に対する撮像部２３の回転・並進を表すパラメーター（回転行列、並進ベクトル）を導出することができる。このパラメーターをパラメーターＰＡ１とする。
そして、ＨＭＤ１００Ｂは、平面図形に対する表示部３の回転・並進に関するパラメーターＰＡ２を取得し、パラメーターＰＡ１、ＰＡ２を用いることで、表示部３に対する撮像部２３の回転・並進すなわち相対的位置関係を導出（補正）することができる。
Similar to the
Then, the
パラメーターＰＡ２を取得する方法は、例えば、第１及び第２の実施形態と同様に、使用者に対し、平面図形を映している平面（例えば、図１３（Ａ）の固定平面Ｓ）と表示部３とが平行になるように、平面の前に立つように促すことで、得ることができる。この場合、使用者に対し、平面（例えば、図１３（Ａ）の固定平面Ｓ）と、使用者が装着する表示部３との間の距離が、予め設定された距離となるように指示すれば良い。例えばこのようにして、ＨＭＤ１００Ｂは、キャリブレーションデータ１２１を適切に補正できる。
The method for obtaining the parameter PA2 is, for example, as in the first and second embodiments, a plane showing a plane figure (for example, the fixed plane S in FIG. 13A) and the display unit to the user. 3 can be obtained by prompting to stand in front of a plane so that it is parallel to 3. In this case, the user is instructed so that the distance between the plane (for example, the fixed plane S in FIG. 13A) and the
［第４実施形態］
図１６は、本発明を適用した第４実施形態に係る虚像表示装置１Ｃの構成を示す斜視図である。図１７は、ＨＭＤ１００Ｃの位置検出の様子を示す説明図である。
第４実施形態は、後述するカメラ８６に係る構成及び制御部１４０の動作を除き、第１実施形態と共通する構成及び機能を具備する。このため、第４実施形態の説明において、第１実施形態と同一の構成を有する各部には同符号を付し、同一の構成及び動作についての説明を省略する。
[Fourth Embodiment]
FIG. 16 is a perspective view showing a configuration of a virtual image display device 1C according to the fourth embodiment to which the present invention is applied. FIG. 17 is an explanatory diagram showing how the position of the HMD 100C is detected.
The fourth embodiment has the same configuration and functions as those of the first embodiment except for the configuration related to the
虚像表示装置１Ｃは、上記第１実施形態で説明した虚像表示装置１が備える発光部８１を排し、カメラ８６を設けた構成である。この構成において、撮像部２３のステレオカメラ２３１（図２）は第１撮像部に相当し、カメラ８６は第２撮像部に相当する。
The virtual image display device 1C has a configuration in which the
図１６及び図１７には、虚像表示装置１Ｃの構成を示す。図１６に示すように、虚像表示装置１Ｃは、表示部３に、カメラ８６を備える。カメラ８６は表示部３に固定的に設けられ、使用者が光学装置３１を通して視認する外景の方向を撮像する。
16 and 17 show the configuration of the virtual image display device 1C. As illustrated in FIG. 16, the virtual
図１７に示すように、カメラ８６の撮像範囲Ｂは、撮像部２３の撮像範囲Ａと重複する。より詳細に説明すると、撮像部２３は回動軸Ｒ１を介してヘッドバンド部２に取り付けられ、カメラ８６は表示部３に固定的に設けられ、表示部３とヘッドバンド部２とは可動部である回動軸Ｒ２及び移動機構５を介して連結、支持される。このため、撮像範囲Ａと撮像範囲Ｂとは、可動部における動きにより、相対的な位置が変化する。撮像部２３と表示部３との相対位置が可動部の動きにより変化する間の少なくとも一部で、撮像範囲Ａと撮像範囲Ｂとが重複する。言い換えれば、可動部を動かすことで、撮像範囲Ａと撮像範囲Ｂとが重ならないことがあってもよい。この場合、キャリブレーションを実行できないが、制御部１４０は、撮像部２３の向きが適正でない旨を表示部３の表示等により使用者に報知すればよい。より好ましくは、撮像部２３と表示部３との相対位置が可動部の動きにより変化する間の大部分で、撮像範囲Ａと撮像範囲Ｂとが、少なくとも一部で重複する。さらに好ましくは、可動部を動作させることが可能な全範囲において、撮像範囲Ａと撮像範囲Ｂとが少なくとも一部で重複する。
As shown in FIG. 17, the imaging range B of the
キャリブレーションを行う場合、虚像表示装置１Ｃを装着する使用者は、図１７に示すように位置調整用パターンＰが付された固定平面Ｓの前に、虚像表示装置１Ｃを位置させる。位置調整用パターンＰは、固定平面Ｓに接着等の手法で付され、或いは、固定平面Ｓに描かれている。固定平面Ｓは壁面であってもよく、虚像表示装置１Ｃの正面に対し多少の傾きがあってもよい。また、固定平面Ｓは硬質な平面でなくてもよく、幕であってもよい。また、キャリブレーションに用いる対象物は、少なくとも、撮像部２３及びカメラ８６で撮像可能な位置調整用パターンＰを有していればよく、好ましくは、固定平面Ｓが位置調整用パターンＰを、歪みを生じない状態で支持すれば良い。従って、対象物は固定平面Ｓのように大きな平面に制限されず、例えば、箱状の対象物の一側面を、固定平面Ｓと同様に使用することも可能である。
When performing the calibration, the user wearing the virtual image display device 1C positions the virtual image display device 1C in front of the fixed plane S to which the position adjustment pattern P is attached as shown in FIG. The position adjustment pattern P is attached to the fixed plane S by a technique such as adhesion, or is drawn on the fixed plane S. The fixed plane S may be a wall surface, and may have a slight inclination with respect to the front surface of the virtual image display device 1C. Further, the fixed plane S may not be a hard plane but may be a curtain. The object used for calibration only needs to have at least the position adjustment pattern P that can be imaged by the
図１８は、ＨＭＤ１００Ｃの機能ブロック図である。
第４実施形態のＨＭＤ１００Ｃは、上記第１実施形態のＨＭＤ１００において、虚像表示装置１を虚像表示装置１Ｃに代えた構成である。すなわち、ＨＭＤ１００Ｃは、ＨＭＤ１００が有する発光部８１に代えて、カメラ８６を備える。
カメラ８６は、インターフェイス２８を介して制御部１４０に接続され、制御部１４０の制御により撮像を行い、撮像画像データを制御部１４０に出力する。制御部１４０は、ステレオカメラ２３１及びカメラ８６を制御して、同時に撮像を実行させることも可能である。
FIG. 18 is a functional block diagram of the HMD 100C.
The HMD 100C of the fourth embodiment has a configuration in which the virtual
The
図１９は、ＨＭＤ１００の動作を示すフローチャートであり、キャリブレーションに係る動作を示す。
制御部１４０は、キャリブレーションの実行条件の成立に対し待機する（ステップＳＴ３１）。キャリブレーションの実行条件は、図１１で説明した通りである。制御部１４０は、ＨＭＤ１００の電源がオンの間、或いはＨＭＤ１００によりＡＲ画像を表示する間、キャリブレーションの実行条件が成立しなければ待機する（ステップＳＴ３１；Ｎｏ）。
FIG. 19 is a flowchart showing the operation of the
The
実行条件が成立した場合（ステップＳＴ３１；Ｙｅｓ）、制御部１４０は、トラックパッド３０２等に対する操作に対応して、キャリブレーションを開始し（ステップＳＴ３２）、撮像部２３及びカメラ８６による撮像を実行させて、撮像部２３による撮像画像データを取得する（ステップＳＴ３３）。
When the execution condition is satisfied (step ST31; Yes), the
図１７に示すように、ＨＭＤ１００Ｃのキャリブレーションでは、使用者が、虚像表示装置１Ｃを固定平面Ｓ（対象物）に正対させる。この図１７の状態を実現するため、制御部１４０は、ステップＳＴ３２でキャリブレーションを開始する際に、表示制御部１７０により案内用の画像を表示させて、虚像表示装置１Ｃを位置調整用パターンＰに向けるように案内をしてもよい。この場合、制御部１４０は、使用者の制御装置３００への操作により、或いは、撮像部２３及びカメラ８６の撮像画像に基づき、位置調整用パターンＰを撮像部２３とカメラ８６の両方で撮像できる状態になったと判定してから、撮像部２３による撮像画像データを取得すればよい。
As shown in FIG. 17, in the calibration of the HMD 100C, the user directly faces the virtual image display device 1C to the fixed plane S (object). In order to realize the state of FIG. 17, when starting calibration in step ST32, the
制御部１４０は、撮像部２３とカメラ８６の撮像画像から位置調整用パターンＰの画像を検出して解析を行い（ステップＳＴ３４）、解析データを取得する（ステップＳＴ３５）。この解析データは表示部３に対する撮像部２３の相対位置、及び、相対的な傾きの少なくともいずれかを含む。
The
制御部１４０は、ステップＳＴ３５で取得したデータを、既に記憶部１２０に記憶しているキャリブレーションデータ１２１と比較する（ステップＳＴ３６）。制御部１４０は比較結果の判定を行い（ステップＳＴ３７）、閾値以上の差異がある場合は（ステップＳＴ３７；Ｙｅｓ）、キャリブレーションデータ１２１を更新するとともに、現在表示している画像があれば、その表示位置を調整する（ステップＳＴ３８）。
また、ステップＳＴ３５で取得したデータが示す撮像部２３と表示部３との位置関係が、既に記憶されているキャリブレーションデータ１２１と、閾値以上の差異を有さない場合（ステップＳＴ３７；Ｎｏ）、制御部１４０は本処理を終了する。
なお、本処理を終了した後、制御部１４０は、再びステップＳＴ３１で実行条件の成立を監視すれば良い。
The
Further, when the positional relationship between the
In addition, after complete | finishing this process, the
このように、第４の実施形態に係るＨＭＤ１００Ｃは、外景を視認可能に、画像を表示する表示部３と、表示部３を通して視認される範囲に重なる撮像範囲を撮像する撮像部２３（第１撮像部）とを備える。ＨＭＤ１００Ｃは、少なくとも１つの可動部を有する連結部で撮像部２３を表示部３に連結し、表示部３に対して固定的に設けられるカメラ８６（第２撮像部）を備える。このため、制御部１４０が、複数の撮像部の撮像画像を利用して、表示部３に対する撮像部２３の相対位置や相対方向等を検出できる。また、ＨＭＤ１００Ｃでは、可動部により撮像部２３の撮像方向とカメラ８６の撮像方向との相対方向が変化する範囲の少なくとも一部において、撮像範囲Ａと撮像範囲Ｂとの少なくとも一部が重複する。
As described above, the HMD 100C according to the fourth embodiment displays the image so that the outside scene can be visually recognized, and the
また、ＨＭＤ１００Ｃは、第１撮像部である撮像部２３を、表示部３に画像を表示する表示位置の算出に利用する。すなわち、ＡＲ表示の対象物を検出し、この対象物の位置に合わせてＡＲ画像を表示する場合に、撮像部２３の撮像画像を利用する。そして、この撮像部２３と表示部３との相対位置の変化、或いは相対位置を求めるために、撮像部２３に加えてカメラ８６を用いる。このため、ＡＲ表示用の撮像部２３を利用して、撮像部２３と表示部３のキャリブレーションを行うことができる。
In addition, the HMD 100C uses the
ＨＭＤ１００Ｃは、上記第１〜第３の実施形態と同様に、発光部８４が投射する位置調整用パターンＰ、または、固定平面Ｓに位置調整用パターンＰが反射した像で構成される平面図形に関するデータを、事前に、記憶部１２０に記憶する。このデータは、位置調整用パターンＰを構成する特徴点の位置について、予め設定される平面座標系における座標として規定するデータである。また、ＨＭＤ１００Ｃは、ステレオカメラ２３１及び／又はカメラ８６のカメラパラメーターを含むデータを、記憶部１２０に記憶する。カメラパラメーターは、例えば、焦点距離、センサー（撮像素子）の位置、センサーの水平・垂直方向のそれぞれの画素密度等を含む。これらのデータを利用して、ＨＭＤ１００Ｃは、固定平面Ｓを撮像した撮像画像から、固定平面Ｓに反射した位置調整用パターンＰの像である平面図形、または、この平面図形を構成する特徴点の位置を検出できる。そして、第１及び第２の実施形態と同様に、特徴点の座標を利用して、ホモグラフィー法によって、位置調整用パターンＰが形成する平面図形に対する撮像部２３の回転・並進を表すパラメーター（回転行列、並進ベクトル）を導出することができる。このパラメーターをパラメーターＰＡ１とする。
そして、ＨＭＤ１００Ｃは、平面図形に対する表示部３の回転・並進に関するパラメーターＰＡ２を取得し、パラメーターＰＡ１、ＰＡ２を用いることで、表示部３に対する撮像部２３の回転・並進すなわち相対的位置関係を導出（補正）することができる。
Similar to the first to third embodiments, the
Then, the HMD 100C acquires the parameter PA2 related to the rotation / translation of the
パラメーターＰＡ２を取得する方法は、例えば、第１〜第３の実施形態と同様に、使用者に対し、平面図形を映している平面（例えば、図１７の固定平面Ｓ）と表示部３とが平行になるように、平面の前に立つように促すことで、得ることができる。この場合、使用者に対し、平面（例えば、図１７の固定平面Ｓ）と、使用者が装着する表示部３との間の距離が、予め設定された距離となるように指示すれば良い。
The method for obtaining the parameter PA2 is, for example, as in the first to third embodiments, for the user, the plane (for example, the fixed plane S in FIG. It can be obtained by prompting to stand in front of a plane so that they are parallel. In this case, the user may be instructed so that the distance between the plane (for example, the fixed plane S in FIG. 17) and the
また、ＨＭＤ１００Ｃでは、カメラ８６の撮像画像を利用して、平面図形に対するカメラ８６の回転・並進に関するパラメーターを算出できる。さらに、ＨＭＤ１００Ｃの表示部３に対するカメラ８６の回転・並進の状態または位置は、ＨＭＤ１００Ｃの構成から既知である。このため、ＨＭＤ１００Ｃは、平面図形に対するカメラ８６の回転・並進に関するパラメーターと、表示部３に対するカメラ８６の回転・並進の状態または位置とに基づき、パラメーターＰＡ２を算出できる。例えばこのようにして、ＨＭＤ１００Ｃは、キャリブレーションデータ１２１を適切に補正できる。
Further, in the HMD 100C, parameters relating to rotation / translation of the
［実施形態の変形］
本発明は、上記の各実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
上記各実施形態では、一対のアーム部４を備え、これら一対のアーム部４が表示部３をＸ方向の両側から支持する構成を例示した。しかしながら、本発明は、これに限らない。例えば、１つのアーム部４を備える構成としてもよい。この際、アーム部４は、表示部３のＸ方向における略中央と接続されていてもよく、Ｘ方向における一端側に接続されていてもよい。このような構成では、虚像表示装置１を構成する部品点数を減らすことができ、軽量化を図ることができる。なお、表示部３を一対のアーム部４で両側から支持する構成では、１箇所で支持するよりも、表示部３を安定的に支持することができる。
[Modification of Embodiment]
The present invention is not limited to the above-described embodiments, and modifications, improvements, and the like within the scope that can achieve the object of the present invention are included in the present invention.
In each of the above-described embodiments, a configuration in which the pair of
上記各実施形態では、表示部３は、左眼用光学装置３１Ｌと、右眼用光学装置３１Ｒとを備え、これら一対の光学装置３１がフレーム部３２によって一体的に固定され、１対のアーム部４によって一体的に回動される構成を例示した。しかしながら、本発明はこれに限らない。例えば、右眼用光学装置３１Ｒは、使用者から見て右側のアーム部４によって、左眼用光学装置３１Ｌは、使用者から見て左側のアーム部４によって、個別に回動可能に構成されてもよい。
In each of the embodiments described above, the
上記各実施形態では、表示部３は、左眼用光学装置３１Ｌと、右眼用光学装置３１Ｒとを備える構成を例示した。しかしながら、本発明はこれに限らない。すなわち、左眼用光学装置３１Ｌ及び右眼用光学装置３１Ｒのうちのいずれか一方を備える構成を採用してもよい。この場合、表示部３を１つのアーム部４のみで支持する構成、例えば、左眼用光学装置３１Ｌを左側のアーム部４のみで支持する構成としてもよく、１対のアーム部４で支持する構成としてもよい。
In each of the above embodiments, the
上記各実施形態では、アーム部４は、使用者が視認する際の視方向と略直交するＸ軸に平行な回動軸Ｒ２を中心に回動可能に構成された。しかしながら、本発明はこれに限らない。すなわち、ヘッドバンド部２との接続部位を中心として回動可能とする各種の構成を採用してもよい。
例えば、１つのアーム部４で表示部３を支持する構成や、上述のように左側のアーム部４で左眼用光学装置３１Ｌを、右側のアーム部４で右眼用光学装置３１Ｒを個別に支持する構成において、Ｙ軸に平行な回動軸を中心にアーム部４を回動可能としてもよい。
また、例えば、ＺＸ面に沿い、かつ、使用者ＵＳの視方向と交差する回動軸を中心にアーム部４を回動可能としてもよい。
In each of the embodiments described above, the
For example, a configuration in which the
Further, for example, the
上記各実施形態では、本体部としてのヘッドバンド部２は、略半円形状（略Ｕ字状）に形成されていた。しかしながら、本発明はこれに限らない。すなわち、ヘッドバンド部２は、使用者の頭部（頭部の中心軸を中心とする周方向に沿い、かつ、両眼を通る線より上の部位）に沿って配置可能に構成されていればよく、例えば、少なくとも一部に頭部に沿った円弧状の内面を有する構成でもよい。また、例えば、前額部に相当する部分と側頭部に対応する部位とが互いに略直交する構成でもよい。このように、ヘッドバンド部２（本体ケース２１）は、バンド２２によって頭部に沿って配置可能であれば、その外形は特に制限されない。
In each of the above embodiments, the
また、ヘッドバンド部２は、固定部としてバンド２２を有するとした。しかしながら、本発明はこれに限らない。すなわち、アーム部を介して本体部に接続された表示部によって表示された虚像が使用者によって視認される位置に本体部を固定できれば、固定部の構成は問わない。例えば、固定部が、帽子又はヘルメットのように、使用者の頭部（詳しくは、頭部における上部分）の少なくとも一部を覆う形状及び構成であってもよい。
具体的には、固定部の構成として、固定部位を覆って装着されるヘッドキャップ型や、固定部位に沿う複数のバンドが頭頂部において交差する交差バンド型や、固定部位の周囲を囲み配置されるベルト型の構成を採用してもよい。また、固定部は、使用者の前後方向や、左右方向から、固定部位を挟むように当接される２以上の当接部材と、当該当接部材を連結する連結部と、を備える構成であってもよい。
The
Specifically, as a configuration of the fixing portion, a head cap type that covers the fixing portion, a cross band type in which a plurality of bands along the fixing portion intersect at the top of the head, and a surrounding portion of the fixing portion are arranged. A belt-type configuration may be employed. In addition, the fixed portion includes two or more contact members that are contacted so as to sandwich the fixed portion from the front-rear direction or the left-right direction of the user, and a connecting portion that connects the contact members. There may be.
上記各実施形態では、ヘッドバンド部２との接続部位を中心としてアーム部４を回動可能とし、表示部３の位置を調整可能とする構成を例示した。しかしながら、本発明はこれに限らない。例えば、アーム部４が可動部を備え、表示部３の位置を調整可能な構成を採用してもよい。また、アーム部４が、ヘッドバンド部２に対して固定されて回動可能とされず、かつ、可動部も備えない構成、すなち、ヘッドバンド部２に対して表示部３の所定の位置や角度に設定された構成としてもよい。
In each of the embodiments described above, the configuration in which the
上記各実施形態では、移動機構５として、表示部３側に設けられたガイドレール５１と、アーム部４側に設けられたスライド部材５２とを備える構成を例示した。しかしながら、本発明はこれに限らない。すなわち、ガイドレール５１がアーム部４側に、スライド部材５２が表示部３側に設けられてもよい。
また、移動機構５は、ガイドレール５１に沿ってスライド部材５２を摺動させる構成に限らず、表示部３とアーム部４とを相対的に移動させることで、ヘッドバンド部２に対して表示部３を接離させることができる移動機構であればよい。例えば、表示部３に接続されたアーム部４が、本体部としてのヘッドバンド部２に対してＹ方向に沿って移動可能に構成されていてもよい。
In each said embodiment, the structure provided with the
In addition, the moving mechanism 5 is not limited to the configuration in which the
上記各実施形態では、撮像部２３は、Ｘ方向に平行な回動軸Ｒ１を中心に回動されることにより、ＹＺ面内、すなわち図１における上下方向で撮像方向を調整可能に構成されていた。しかしながら、本発明はこれに限らない。すなわち、上下方向以外の他の方向、例えば左右方向に撮像方向を調整可能に構成してもよいし、上下方向及び左右方向に撮像方向を調整可能に構成してもよい。また、撮像部２３の撮像方向が固定されていてもよい。また、撮像部２３を設けなくてもよい。
In each of the above-described embodiments, the
上記各実施形態では、導光部材３１３Ｌ，３１３Ｒは、それぞれ固定されていた。しかしながら、本発明はこれに限らない。例えば、Ｘ方向に沿う回動軸を中心として、導光部材３１３Ｌ，３１３Ｒをそれぞれ独立して、或いは、連動して、使用者とは反対側に回動可能に構成してもよい。この場合、当該回動軸を、導光部材３１３におけるＹ方向側又はＹ方向とは反対側に位置するように構成することにより、導光部材３１３を回動させて、使用者ＵＳの視方向から退避させることができる。
In each of the above embodiments, the
上記各実施形態では、制御基板２４が、ヘッドバンド部２に設けられる構成を例示した。しかしながら、本発明はこれに限らない。例えば、制御基板２４は、表示部３やアーム部４に設けられていてもよい。
上記各実施形態では、ケーブルＣＢがヘッドバンド部２の内部を引き回され、ケーブルＣＲがアーム部４の内部を引き回された後、ヘッドバンド部２の内部を引き回されて制御基板２４に接続される構成を例示した。しかしながら、本発明はこれに限らない。例えば、ケーブルＣＢ，ＣＲが、ヘッドバンド部２やアーム部４の外側を引き回された構成としてもよい。
In the above embodiments, the configuration in which the
In each of the above embodiments, the cable CB is routed inside the
上記各実施形態では、使用者による各種入力操作を受け付けるコントローラーが接続され、当該コントローラーからの入力に応じて、制御基板２４により虚像表示装置１、１Ａ、１Ｂ、１Ｃが制御されていた。しかしながら、本発明はこれに限らない。
例えば、コントローラーが接続される構成において、虚像表示装置１（画像表示装置）とコントローラーとのうちの一方が、使用者の操作に応じた操作情報を取得する機能と、画像情報を取得して当該画像情報に応じて表示部３を駆動させる機能と、電力を供給する機能の少なくともいずれかを有し、他方が、残りの機能を有するように構成してもよい。
また、虚像表示装置１（画像表示装置）が、コントローラーを介して画像供給装置（ＰＣ等）に接続されてもよく、コントローラーを介さずに当該画像供給装置に直接接続されてもよい。このような構成において、虚像表示装置１は、画像供給装置における画像表示部分として用いられ、虚像表示装置１の各種動作は、画像供給装置によって制御される構成としてもよい。なお、この場合、画像供給装置が、虚像表示装置１を駆動させる電力を供給してもよい。
また、虚像表示装置１、１Ａ、１Ｂ、１Ｃ（例えば、ヘッドバンド部２や表示部３）にバッテリーや、画像処理装置等の制御装置が配置されてもよく、更に、メモリーカード等のスロットが設けられていてもよい。更に、虚像表示装置１に、使用者の操作を受け付ける操作部を設けてもよく、タップ操作を検出可能な構成を設けてもよい。すなわち、コントローラーは無くてもよい。
In each of the above embodiments, a controller that accepts various input operations by the user is connected, and the virtual
For example, in a configuration in which a controller is connected, one of the virtual image display device 1 (image display device) and the controller acquires the operation information according to the user's operation, You may comprise so that it may have at least any one of the function to drive the
The virtual image display device 1 (image display device) may be connected to an image supply device (PC or the like) via a controller, or may be directly connected to the image supply device without going through a controller. In such a configuration, the virtual
In addition, a control device such as a battery or an image processing device may be disposed in the virtual
上記各実施形態では、虚像表示装置として、シースルー型の虚像表示装置１を例示した。しかしながら、本発明はこれに限らない。すなわち、外界を観察できない非透過型の虚像表示装置や、外界を撮像する撮像素子による撮像画像を表示するビデオシースルー型の虚像表示装置に対しても、本発明を適用できる。
In the above embodiments, the see-through type virtual
上記各実施形態において、虚像表示装置１、１Ａ、１Ｂ、１Ｃにおいて画像光を生成する構成として、有機ＥＬのディスプレイと、有機ＥＬ制御部とを備える構成としてもよい。また、画像光を生成する構成として、ＬＣＯＳ（Liquid crystal on silicon, LCoSは登録商標）や、デジタル・マイクロミラー・デバイス等を用いることもできる。また、例えば、レーザー網膜投影型のヘッドマウントディスプレイに対して本発明を適用することも可能である。すなわち、画像生成部が、レーザー光源と、レーザー光源を使用者の眼に導く光学系とを備え、レーザー光を使用者の眼に入射させて網膜上を走査し、網膜に結像させることにより、使用者に画像を視認させる構成を採用してもよい。
In each of the above embodiments, the virtual
また、本発明はＬＣＤにより光を変調して画像光を生成する構成に限定されない。例えば、ＭＥＭＳ（Micro Electro Mechanical System）ミラーを用いた走査光学系を採用し、ＭＥＭＳディスプレイ技術を利用した表示装置に適用することも可能である。すなわち、画像生成部２０は、画像表示素子として、信号光形成部と、信号光形成部が射出する光を走査するＭＥＭＳミラーを有する走査光学系と、走査光学系により走査される光によって虚像が形成される光学部材とを備えてもよい。この構成では、信号光形成部が射出した光がＭＥＭＳミラーにより反射され、光学部材に入射し、光学部材の中を導かれて、虚像形成面に達する。ＭＥＭＳミラーが光を走査することにより、虚像形成面に虚像が形成され、この虚像を使用者が眼で捉えることで、画像が認識される。 Further, the present invention is not limited to a configuration in which image light is generated by modulating light by an LCD. For example, a scanning optical system using a MEMS (Micro Electro Mechanical System) mirror can be adopted and applied to a display device using the MEMS display technology. That is, the image generation unit 20 has a signal light forming unit, a scanning optical system having a MEMS mirror that scans light emitted from the signal light forming unit, and a light scanned by the scanning optical system as an image display element. And an optical member to be formed. In this configuration, the light emitted from the signal light forming unit is reflected by the MEMS mirror, enters the optical member, is guided through the optical member, and reaches the virtual image forming surface. When the MEMS mirror scans the light, a virtual image is formed on the virtual image forming surface, and the user recognizes the virtual image with the eyes, thereby recognizing the image.
また、図９、１４、１５及び図１８に示した各機能ブロックのうち少なくとも一部は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよく、各ブロック図に示した通りに独立したハードウェア資源を配置する構成に限定されない。また、制御部１４０が実行するプログラムは、記憶部１２０又は制御装置３００内の記憶装置に記憶されてもよいし、外部の装置に記憶されたプログラムを通信部１１７又はインターフェイス１２５を介して取得して実行する構成としてもよい。また、制御装置３００に形成された構成のうち、操作部１１１のみが単独の使用者インターフェイス（ＵＩ）として形成されてもよい。また、制御装置３００に形成された構成が重複して虚像表示装置１に形成されていてもよい。例えば、ブロック図に示した制御部１４０が制御装置３００と虚像表示装置１、１Ａ、１Ｂ、１Ｃとの両方に形成されていてもよいし、制御装置３００に形成された制御部１４０と虚像表示装置１、１Ａ、１Ｂ、１Ｃに形成されたＣＰＵとが行う機能が別々に分けられている構成としてもよい。
In addition, at least a part of the functional blocks shown in FIGS. 9, 14, 15 and 18 may be realized by hardware, or may be realized by cooperation of hardware and software. The present invention is not limited to a configuration in which independent hardware resources are arranged as shown in each block diagram. Further, the program executed by the
１、１Ａ、１Ｂ、１Ｃ…虚像表示装置、３…表示部、４…アーム部（連結部）、５…移動機構（連結部、可動部）、２０…画像生成部、２０Ｌ…画像生成部、２０Ｒ…画像生成部、２１…本体ケース、２２…バンド、２３…撮像部（第１撮像部）、２５…回動軸部、３１…光学装置、３１Ｌ…左眼用光学装置、３１Ｒ…右眼用光学装置、４１…第１端部（連結部、可動部）、５１…ガイドレール、５２…スライド部材、８１…発光部、８１Ａ、８１Ｂ、８１Ｃ、８１Ｄ…ＬＥＤ（光源）、８２…プロジェクター（発光部）、８３…発光駆動部、８４…発光部、８６…カメラ（第２撮像部）、１００、１００Ａ、１００Ｂ、１００Ｃ…ＨＭＤ（表示装置）、１２０…記憶部、１２１…キャリブレーションデータ、１４０…制御部、１６０…画像処理部、１７０…表示制御部、１８１…撮像制御部、１８２…位置検出制御部、１８３…ＡＲ表示制御部、２３１…ステレオカメラ、２３６…回動軸部（連結部、可動部）、２３８…９軸センサー、３００…制御装置、８２１…光源８、８２２…光変調部（変調部）、８２３…投射光学系、８４１…光源、８４２…パターンプレート（変調部）、Ｐ…位置調整用パターン（所定パターン）、Ｒ１…回動軸、Ｒ２…回動軸、Ｓ…固定平面、ＵＳ…使用者。
DESCRIPTION OF
Claims (9)
前記表示部を通して視認される範囲に重なる撮像範囲を撮像する撮像部と、
少なくとも１つの可動部を有し、前記撮像部を前記表示部に連結する連結部と、
前記表示部に対して固定的に設けられる発光部と、を備え、
前記発光部は所定パターンを含む光を発し、
前記撮像部の撮像範囲に位置する対象物に前記発光部の光が投射された場合に、前記対象物上の前記光を前記撮像部で撮像可能であること、
を特徴とする表示装置。 A display unit for displaying an image so that an outside scene can be visually recognized;
An imaging unit that captures an imaging range that overlaps a range visually recognized through the display unit;
A connecting portion that has at least one movable portion and connects the imaging portion to the display portion;
A light emitting part fixedly provided with respect to the display part,
The light emitting unit emits light including a predetermined pattern,
The light on the object can be imaged by the imaging unit when the light of the light emitting unit is projected onto the object located in the imaging range of the imaging unit;
A display device.
を特徴とする請求項１記載の表示装置。 The light emitting unit includes a plurality of light sources, and the predetermined pattern is formed by light emitted from the plurality of light sources.
The display device according to claim 1.
を特徴とする請求項３記載の表示装置。 The light emitting unit includes a light source and a modulation unit that modulates light emitted from the light source based on the predetermined pattern;
The display device according to claim 3.
を特徴とする請求項２または３記載の表示装置。 The light source comprises a solid light source;
The display device according to claim 2, wherein:
前記表示部を通して視認される範囲に重なる撮像範囲を撮像する第１撮像部と、
少なくとも１つの可動部を有し、前記第１撮像部を前記表示部に連結する連結部と、
前記表示部に対して固定的に設けられる第２撮像部と、
前記第１撮像部の撮像画像と前記第２撮像部の撮像画像とに基づいて、前記第１撮像部と前記表示部との相対位置を検出する制御部と、
を備えることを特徴とする表示装置。 A display unit for displaying an image so that an outside scene can be visually recognized;
A first imaging unit that images an imaging range that overlaps a range visually recognized through the display unit;
A connecting portion having at least one movable portion and connecting the first imaging portion to the display portion;
A second imaging unit fixedly provided to the display unit;
A control unit that detects a relative position between the first imaging unit and the display unit based on a captured image of the first imaging unit and a captured image of the second imaging unit;
A display device comprising:
前記発光部が発する光が対象物に投射された場合に、前記対象物上の前記光を前記撮像部により撮像し、
前記撮像部の撮像画像から前記光を検出し、前記撮像画像における前記光の位置を求め、
前記撮像画像における前記光の位置に基づき、前記撮像部と前記表示部との相対位置関係の変化、または相対位置関係を求めること、
を特徴とする表示装置の制御方法。 A display unit that displays an image so that an outside scene can be visually recognized; an imaging unit that captures an imaging range that overlaps a range that is viewed through the display unit; and at least one movable unit, and the imaging unit is connected to the display unit Controlling a display device having a connecting portion to be connected, and a light emitting portion fixed to the display portion,
When the light emitted from the light emitting unit is projected onto an object, the light on the object is imaged by the imaging unit,
Detecting the light from the captured image of the imaging unit, obtaining the position of the light in the captured image,
Based on the position of the light in the captured image, obtaining a change in relative positional relationship between the imaging unit and the display unit, or obtaining a relative positional relationship;
A control method of a display device characterized by the above.
前記第１撮像部の撮像画像と前記第２撮像部の撮像画像とに基づいて、前記第１撮像部と前記表示部との相対位置を検出すること、
を特徴とする表示装置の制御方法。 A display unit that displays an image so that an outside scene can be visually recognized; a first imaging unit that captures an imaging range that overlaps a range that is viewed through the display unit; and at least one movable unit, wherein the first imaging unit includes the first imaging unit Controlling a display device comprising: a coupling unit coupled to a display unit; and a second imaging unit fixed to the display unit;
Detecting a relative position between the first imaging unit and the display unit based on a captured image of the first imaging unit and a captured image of the second imaging unit;
A control method of a display device characterized by the above.
前記コンピューターを、
前記発光部が発する光が対象物に投射された場合に、前記対象物上の前記光を前記撮像部により撮像し、
前記撮像部の撮像画像から前記光を検出し、前記撮像画像における前記光の位置を求め、
前記撮像画像における前記光の位置に基づき、前記撮像部と前記表示部との相対位置関係の変化、または相対位置関係を求める制御部として機能させる、プログラム。 A display unit that displays an image so that an outside scene can be visually recognized; an imaging unit that captures an imaging range that overlaps a range that is viewed through the display unit; and at least one movable unit, and the imaging unit is connected to the display unit A computer-executable program for controlling a display device having a connecting portion and a light emitting portion fixed to the display portion,
The computer,
When the light emitted from the light emitting unit is projected onto an object, the light on the object is imaged by the imaging unit,
Detecting the light from the captured image of the imaging unit, obtaining the position of the light in the captured image,
A program that functions as a control unit that determines a change in relative positional relationship between the imaging unit and the display unit or a relative positional relationship based on the position of the light in the captured image.
前記コンピューターを、
前記第１撮像部の撮像画像と前記第２撮像部の撮像画像とに基づいて、前記第１撮像部と前記表示部との相対位置を検出する制御部として機能させる、プログラム。 A display unit that displays an image so that an outside scene can be visually recognized; a first imaging unit that captures an imaging range that overlaps a range that is viewed through the display unit; and at least one movable unit, wherein the first imaging unit includes the first imaging unit A computer-executable program for controlling a display device comprising: a coupling unit coupled to a display unit; and a second imaging unit fixed to the display unit,
The computer,
A program that functions as a control unit that detects a relative position between the first imaging unit and the display unit based on a captured image of the first imaging unit and a captured image of the second imaging unit.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015095603A JP6565310B2 (en) | 2015-05-08 | 2015-05-08 | Display device, display device control method, and program |
| US15/092,041 US10306217B2 (en) | 2015-04-17 | 2016-04-06 | Display device, control method for display device, and computer program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015095603A JP6565310B2 (en) | 2015-05-08 | 2015-05-08 | Display device, display device control method, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016213663A true JP2016213663A (en) | 2016-12-15 |
| JP6565310B2 JP6565310B2 (en) | 2019-08-28 |
Family
ID=57552118
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015095603A Active JP6565310B2 (en) | 2015-04-17 | 2015-05-08 | Display device, display device control method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6565310B2 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022024764A1 (en) * | 2020-07-28 | 2022-02-03 | ソニーグループ株式会社 | Information processing device |
| WO2024004338A1 (en) * | 2022-06-30 | 2024-01-04 | キヤノン株式会社 | Head-mounted display device, state determination device, method for controlling head-mounted display device, method for controlling state determination device, and program |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10327433A (en) * | 1997-05-23 | 1998-12-08 | Minolta Co Ltd | Display device for composted image |
| JP2001211403A (en) * | 2000-01-25 | 2001-08-03 | Mixed Reality Systems Laboratory Inc | Head mount display device and head mount display system |
| JP2005004165A (en) * | 2003-05-21 | 2005-01-06 | Nec Viewtechnology Ltd | Projector having tilt angle measuring device |
| JP2005293291A (en) * | 2004-03-31 | 2005-10-20 | Brother Ind Ltd | Image input/output device |
| JP2009200691A (en) * | 2008-02-20 | 2009-09-03 | Konica Minolta Holdings Inc | Head-mounted video display device |
| JP2010050757A (en) * | 2008-08-21 | 2010-03-04 | Kwansei Gakuin | Information providing method and information providing system |
| US20140176609A1 (en) * | 2011-08-09 | 2014-06-26 | Pioneer Corporation | Mixed reality apparatus |
-
2015
- 2015-05-08 JP JP2015095603A patent/JP6565310B2/en active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10327433A (en) * | 1997-05-23 | 1998-12-08 | Minolta Co Ltd | Display device for composted image |
| JP2001211403A (en) * | 2000-01-25 | 2001-08-03 | Mixed Reality Systems Laboratory Inc | Head mount display device and head mount display system |
| JP2005004165A (en) * | 2003-05-21 | 2005-01-06 | Nec Viewtechnology Ltd | Projector having tilt angle measuring device |
| JP2005293291A (en) * | 2004-03-31 | 2005-10-20 | Brother Ind Ltd | Image input/output device |
| JP2009200691A (en) * | 2008-02-20 | 2009-09-03 | Konica Minolta Holdings Inc | Head-mounted video display device |
| JP2010050757A (en) * | 2008-08-21 | 2010-03-04 | Kwansei Gakuin | Information providing method and information providing system |
| US20140176609A1 (en) * | 2011-08-09 | 2014-06-26 | Pioneer Corporation | Mixed reality apparatus |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022024764A1 (en) * | 2020-07-28 | 2022-02-03 | ソニーグループ株式会社 | Information processing device |
| WO2024004338A1 (en) * | 2022-06-30 | 2024-01-04 | キヤノン株式会社 | Head-mounted display device, state determination device, method for controlling head-mounted display device, method for controlling state determination device, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6565310B2 (en) | 2019-08-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10306217B2 (en) | Display device, control method for display device, and computer program | |
| JP6550885B2 (en) | Display device, display device control method, and program | |
| US9959591B2 (en) | Display apparatus, method for controlling display apparatus, and program | |
| US9898868B2 (en) | Display device, method of controlling the same, and program | |
| US9411160B2 (en) | Head mounted display, control method for head mounted display, and image display system | |
| TWI615631B (en) | Head-mounted display device and control method of head-mounted display device | |
| US9836120B2 (en) | Display device, method of controlling the same, and computer program | |
| US9904053B2 (en) | Display device, and method of controlling display device | |
| JP6492531B2 (en) | Display device and control method of display device | |
| KR20160048881A (en) | Head mounted display device and control method for head mounted display device | |
| JP2017016056A (en) | Display system, display device, display device control method, and program | |
| TW201506444A (en) | Display device, head mounted display, display system, and control method for display device | |
| JP2016004340A (en) | Information distribution system, head-mounted type display device, control method of head-mounted type display device and computer program | |
| JP6432197B2 (en) | Display device, display device control method, and program | |
| US20160170482A1 (en) | Display apparatus, and control method for display apparatus | |
| JP2016024208A (en) | Display device, method for controlling display device, and program | |
| JP2016122177A (en) | Display device and control method of display device | |
| JP2016033759A (en) | Display device, method for controlling display device, and program | |
| JP2017092628A (en) | Display device and display device control method | |
| JP6620417B2 (en) | Display device, control method therefor, and computer program | |
| JP6565310B2 (en) | Display device, display device control method, and program | |
| JP6638195B2 (en) | DISPLAY DEVICE, DISPLAY DEVICE CONTROL METHOD, AND PROGRAM | |
| JP6582374B2 (en) | Display device, control method therefor, and computer program | |
| JP2016219897A (en) | Display device, control method for the same and program | |
| JP2016033763A (en) | Display device, method for controlling display device, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180419 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190312 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190319 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190509 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190702 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190715 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6565310 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |