JP2017022635A

JP2017022635A - Head-mounted display device and image processing system

Info

Publication number: JP2017022635A
Application number: JP2015140156A
Authority: JP
Inventors: 明生山▲崎▼; Akio Yamazaki; 薫山口; Kaoru Yamaguchi
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2015-07-14
Filing date: 2015-07-14
Publication date: 2017-01-26

Abstract

PROBLEM TO BE SOLVED: To provide a display device capable of easily executing calibration for positioning a display image to an outside scene transmitted through an image display unit.SOLUTION: A transmission type head-mounted display device comprises: an imaging unit that images an outside scene; an image display unit that can transmit the outside scene and display an image; and an identified unit used in calibration for superposing the image displayed on the image display unit onto the outside scene by being imaged by the imaging unit.SELECTED DRAWING: Figure 1

Description

本発明は、表示装置の技術に関する。 The present invention relates to a display device technology.

外景に表示画像を重畳させて使用者に視認させるために、画像表示部を透過する外景に対して表示画像の位置合わせを行なうキャリブレーションが知られている。従来では、例えば、非特許文献１に記載されているように、右眼に対応する右画像表示部および左眼に対応する左画像表示部のそれぞれに、大きさが異なる複数のキャリブレーション用画像が表示される。使用者がキャリブレーション画像と外景に含まれるマーカーとが重複するような位置に移動して、キャリブレーション用画像を撮像する動作が複数回行なわれることで、キャリブレーションが行なわれていた。 In order to superimpose the display image on the outside scene and make it visible to the user, there is known a calibration that aligns the display image with respect to the outside scene that passes through the image display unit. Conventionally, for example, as described in Non-Patent Document 1, a plurality of calibration images having different sizes are provided on each of a right image display unit corresponding to the right eye and a left image display unit corresponding to the left eye. Is displayed. The calibration is performed by the user moving to a position where the calibration image and the marker included in the outside scene overlap to capture the calibration image a plurality of times.

Vuforia Calibration App、［online］、[平成２７年６月３日検索]、インターネット〈ＵＲＬ：https://developer.vuforia.com/library/articles/Training/Vuforia-Calibration-App〉Vuforia Calibration App, [online], [Search June 3, 2015], Internet <URL: https://developer.vuforia.com/library/articles/Training/Vuforia-Calibration-App>

しかし、特許文献１に記載された技術では、所定の位置に配置されたマーカーを撮像するために、使用者が移動する必要があった。そのため、使用者が移動しなくても容易にキャリブレーションを行ないたい課題があった。そのほか、従来のキャリブレーションの技術においては、低コスト化や使い勝手の向上等が望まれていた。 However, in the technique described in Patent Document 1, it is necessary for the user to move in order to image the marker arranged at a predetermined position. For this reason, there is a problem that it is desired to perform calibration easily even if the user does not move. In addition, the conventional calibration technique has been desired to reduce costs and improve usability.

本発明は、上述の課題を解決するためになされたものであり、以下の形態として実現することが可能である。 The present invention has been made to solve the above-described problems, and can be realized as the following forms.

（１）本発明の一形態によれば、透過型の頭部装着型表示装置が提供される。この頭部装着型表示装置は、外景を撮像する撮像部と；前記外景を透過可能で、画像を表示可能な画像表示部と；前記撮像部によって撮像されることで前記画像表示部に表示される画像を外景に重畳させるためのキャリブレーションに用いられる被識別部と；を備える。この形態の頭部装着型表示装置によれば、被識別部の位置を動かすことで、撮像部の撮像範囲に被識別部が含まれるように容易にできるため、キャリブレーションを容易に実行できる。 (1) According to one aspect of the present invention, a transmissive head-mounted display device is provided. The head-mounted display device includes: an imaging unit that captures an outside scene; an image display unit that can transmit the outside scene and display an image; and is displayed on the image display unit by being captured by the imaging unit. An identification target unit used for calibration for superimposing an image to be superimposed on the outside scene. According to the head-mounted display device of this aspect, it is possible to easily execute the calibration by moving the position of the identified part so that the identified part is included in the imaging range of the imaging unit.

（２）上記形態の頭部装着型表示装置において、さらに；前記画像表示部が前記被識別部に対応付けられている識別対象画像を表示している場合であって、前記被識別部と前記識別対象画像とが所定の相対位置関係にあることを示す指示を受け付ける受付部と；当該指示が受け付けられた場合に前記撮像部によって取得された前被記識別部の撮像画像に少なくとも基づいて、撮像された前記外景に含まれる対象物に位置、大きさ、向きの少なくとも一つを対応させて前記対象物に対応付けられたオブジェクト画像を表示させるためのパラメーターを設定する校正部と、を備えてもよい。この形態の頭部装着型表示装置によれば、画像表示部に表示された識別対象画像に位置合わせされて撮像された被識別部の画像が用いられて、オブジェクト画像の表示位置を決定するためのパラメーターが設定される。これにより、外景に含まれる対象物に対応付けられたオブジェクト画像を、対象物の位置に対応付けて表示させることができる。 (2) In the head-mounted display device according to the above aspect, in addition, when the image display unit displays an identification target image associated with the identified unit, the identified unit and the A reception unit that receives an instruction indicating that the image to be identified is in a predetermined relative positional relationship; and at least based on a captured image of the preceding-described identification unit acquired by the imaging unit when the instruction is received, A calibration unit that sets parameters for displaying an object image associated with the target object by associating at least one of position, size, and orientation with the target object included in the captured outside scene. May be. According to the head-mounted display device of this form, the image of the identified portion that is imaged by being aligned with the identification target image displayed on the image display portion is used to determine the display position of the object image Parameters are set. As a result, the object image associated with the object included in the outside scene can be displayed in association with the position of the object.

（３）上記形態の頭部装着型表示装置において、前記識別対象画像と前記被識別部の画像とは、同じ画像であり；前記撮像部は、前記画像表示部に表示された前記識別対象画像に重なるような前記所定の相対位置関係になるように位置合わせされた状態の前記被識別部の画像を撮像し；前記校正部は、前記撮像部によって撮像された前記被識別部の画像の座標値と、前記画像表示部に表示させた前記識別対象画像の座標値と、に基づいて前記パラメーターを設定してもよい。この形態の頭部装着型表示装置によれば、画像表示部に表示された識別対象画像に、被識別部の画像を重なるように位置合わせをすればよいので、使用者は、容易にキャリブレーションを実行できる。 (3) In the head-mounted display device of the above aspect, the identification target image and the image of the identified portion are the same image; the imaging portion is the identification target image displayed on the image display portion An image of the identified part in a state of being aligned so as to overlap with the predetermined relative positional relationship; and the calibration unit coordinates the image of the identified part captured by the imaging unit The parameter may be set based on the value and the coordinate value of the identification target image displayed on the image display unit. According to the head-mounted display device of this aspect, the user can easily perform calibration because it is only necessary to align the identification target image displayed on the image display unit so that the image of the identification target portion overlaps. Can be executed.

（４）上記形態の頭部装着型表示装置において、前記撮像部は、前記画像表示部と一体で形成され；前記被識別部は、前記校正部と一体で形成され、前記画像表示部とは別体で形成されてもよい。この形態の頭部装着型表示装置によれば、使用者は、校正部の位置を手で移動させ、頭部を動かすことで撮像部の位置を移動させられるため、キャリブレーションを容易に実行できる。 (4) In the head-mounted display device of the above aspect, the imaging unit is formed integrally with the image display unit; the identified unit is formed integrally with the calibration unit, and the image display unit It may be formed separately. According to the head-mounted display device of this aspect, the user can easily execute calibration because the position of the imaging unit can be moved by moving the position of the calibration unit by hand and moving the head. .

（５）本発明の他の形態によれば、透過型の頭部装着型表示装置と、画像を表示可能な画像表示装置と、を含む画像処理システムが提供される。この画像処理システムは、前記頭部装着型表示装置は；外景を撮像する撮像部と；前記外景を透過可能で、画像を表示可能な第１画像表示部と；前記撮像部によって撮像されることで前記第１画像表示部に表示される画像を外景に重畳させるためのキャリブレーションに用いられる被識別部の画像を他の装置へと送信する校正部と、を備え；前記画像表示装置は；前記校正部によって送信された前記被識別部の画像を受信する受信部と；前記受信部によって受信された前記被識別部の画像を表示する第２画像表示部と、を備える。この形態の画像処理システムによれば、頭部装着型表示装置と異なる画像表示装置に表示させた被識別部の画像を用いて、キャリブレーションを実行できるため、被識別部の画像データと、被識別部の画像を表示できる装置があれば、どこでもキャリブレーションを実行できる。 (5) According to another aspect of the present invention, there is provided an image processing system including a transmissive head-mounted display device and an image display device capable of displaying an image. In the image processing system, the head-mounted display device includes: an imaging unit that images an outside scene; a first image display unit that can transmit the outside scene and display an image; and is captured by the imaging unit And a calibration unit that transmits the image of the identified unit used for calibration for superimposing the image displayed on the first image display unit to the outside scene; the image display device; A receiving unit that receives the image of the identified unit transmitted by the calibration unit; and a second image display unit that displays the image of the identified unit received by the receiving unit. According to this form of the image processing system, since calibration can be executed using the image of the identified portion displayed on an image display device different from the head-mounted display device, the image data of the identified portion, If there is a device that can display the image of the identification unit, calibration can be performed anywhere.

上述した本発明の各形態の有する複数の構成要素はすべてが必須のものではなく、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、適宜、前記複数の構成要素の一部の構成要素について、その変更、削除、新たな他の構成要素との差し替え、限定内容の一部削除を行なうことが可能である。また、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、上述した本発明の一形態に含まれる技術的特徴の一部または全部を上述した本発明の他の形態に含まれる技術的特徴の一部または全部と組み合わせて、本発明の独立した一形態とすることも可能である。 A plurality of constituent elements of each embodiment of the present invention described above are not essential, and some or all of the effects described in the present specification are to be solved to solve part or all of the above-described problems. In order to achieve the above, it is possible to appropriately change, delete, replace with another new component, and partially delete the limited contents of some of the plurality of components. In order to solve part or all of the above-described problems or to achieve part or all of the effects described in this specification, technical features included in one embodiment of the present invention described above. A part or all of the technical features included in the other aspects of the present invention described above may be combined to form an independent form of the present invention.

例えば、本発明の一形態は、撮像部と、画像表示部と、被識別部と、の３つの要素の内の一部または全部を備えた装置として実現可能である。すなわち、この装置は、撮像部を有していてもよく、有していなくてもよい。また、装置は、画像表示部を有していてもよく、有していなくてもよい。また、この装置は、被識別部を有していてもよく、有していなくてもよい。撮像部は、例えば、外景を撮像してもよい。画像表示部は、例えば、前記外景を透過可能で、画像を表示可能であってもよい。被識別部は、例えば、前記撮像部によって撮像されることで前記画像表示部に表示される画像を外景に重畳させるためのキャリブレーションに用いられてもよい。こうした装置は、例えば、頭部装着型表示装置として実現できるが、頭部装着型表示装置以外の他の装置としても実現可能である。このような形態によれば、装置の操作性の向上および簡易化、装置の一体化や、装置を使用する使用者の利便性の向上、等の種々の課題の少なくとも１つを解決することができる。前述した頭部装着型表示装置の各形態の技術的特徴の一部または全部は、いずれもこの装置に適用することが可能である。 For example, one embodiment of the present invention can be realized as an apparatus including a part or all of the three elements of the imaging unit, the image display unit, and the identified unit. That is, this apparatus may or may not have an imaging unit. Further, the apparatus may or may not have an image display unit. Moreover, this apparatus may have the to-be-identified part and does not need to have it. The imaging unit may image an outside scene, for example. For example, the image display unit may be capable of transmitting the outside scene and displaying an image. For example, the identified unit may be used for calibration for superimposing an image displayed on the image display unit by being captured by the imaging unit on an outside scene. Such a device can be realized as, for example, a head-mounted display device, but can also be realized as a device other than the head-mounted display device. According to such a form, it is possible to solve at least one of various problems such as improvement and simplification of the operability of the device, integration of the device, and improvement of convenience of the user who uses the device. it can. Any or all of the technical features of each form of the head-mounted display device described above can be applied to this device.

本発明は、頭部装着型表示装置以外の種々の形態で実現することも可能である。例えば、表示装置、頭部装着型表示装置または表示装置の制御方法、頭部装着型表示装置または表示装置を有するシステム、頭部装着型表示装置または表示装置の制御方法およびシステムを実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体、および、そのコンピュータープログラムを含み搬送波内に具現化されたデータ信号等の形態で実現できる。 The present invention can also be realized in various forms other than the head-mounted display device. For example, a display device, a head-mounted display device or a display device control method, a head-mounted display device or a system having a display device, a head-mounted display device or a display device control method and system The present invention can be realized in the form of a computer program, a recording medium that records the computer program, and a data signal that includes the computer program and is embodied in a carrier wave.

キャリブレーションを行なう頭部装着型表示装置（ＨＭＤ）の外観構成を示す説明図である。It is explanatory drawing which shows the external appearance structure of the head mounted display apparatus (HMD) which performs calibration. 制御部の裏面に配置されたマーカーを示す概略図である。It is the schematic which shows the marker arrange | positioned at the back surface of a control part. マーカーの詳細図である。It is detail drawing of a marker. ＨＭＤの構成を機能的に示すブロック図である。It is a block diagram which shows the structure of HMD functionally. キャリブレーション実行処理のフローチャートである。It is a flowchart of a calibration execution process. マーカー撮像処理のフローチャートである。It is a flowchart of a marker imaging process. 制御部の裏面に配置されたマーカーと使用者との位置関係を表す概略図である。It is the schematic showing the positional relationship between the marker arrange | positioned on the back surface of a control part, and a user. マーカーを見ている使用者の視野を示す説明図である。It is explanatory drawing which shows the visual field of the user who is watching the marker.

Ａ．実施形態：
Ａ−１．頭部装着型表示装置の構成：
図１は、キャリブレーションを行なう頭部装着型表示装置１００（ＨＭＤ１００）の外観構成を示す説明図である。ＨＭＤ１００は、画像表示部２０が表示する表示画像を使用者に視認させ、画像表示部２０を透過する外景も使用者に視認させることができる。ＨＭＤ１００は、画像を表示する画像表示部２０と、画像表示部２０を制御する制御部１０（コントローラー１０）と、を備えている。 A. Embodiment:
A-1. Configuration of head mounted display device:
FIG. 1 is an explanatory diagram showing an external configuration of a head-mounted display device 100 (HMD 100) that performs calibration. The HMD 100 allows a user to visually recognize a display image displayed by the image display unit 20 and allows the user to visually recognize an outside scene that is transmitted through the image display unit 20. The HMD 100 includes an image display unit 20 that displays an image, and a control unit 10 (controller 10) that controls the image display unit 20.

画像表示部２０は、使用者の頭部に装着される装着体であり、眼鏡形状を有している。画像表示部２０は、右保持部２１と、右表示駆動部２２と、左保持部２３と、左表示駆動部２４と、右光学像表示部２６と、左光学像表示部２８と、カメラ６１と、を含んでいる。右光学像表示部２６および左光学像表示部２８は、それぞれ、使用者が画像表示部２０を装着した際に使用者の右および左の眼前に位置するように配置されている。右光学像表示部２６の一端と左光学像表示部２８の一端とは、使用者が画像表示部２０を装着した際の使用者の眉間に対応する位置で、互いに接続されている。 The image display unit 20 is a mounting body attached to the user's head and has a glasses shape. The image display unit 20 includes a right holding unit 21, a right display driving unit 22, a left holding unit 23, a left display driving unit 24, a right optical image display unit 26, a left optical image display unit 28, and a camera 61. And. The right optical image display unit 26 and the left optical image display unit 28 are arranged so as to be positioned in front of the right and left eyes of the user when the user wears the image display unit 20, respectively. One end of the right optical image display unit 26 and one end of the left optical image display unit 28 are connected to each other at a position corresponding to the eyebrow of the user when the user wears the image display unit 20.

右保持部２１は、右光学像表示部２６の他端である端部ＥＲから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部２３は、左光学像表示部２８の他端である端部ＥＬから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右表示駆動部２２と左表示駆動部２４とは、使用者が画像表示部２０を装着した際の使用者の頭部に対向する側に配置されている。 The right holding unit 21 extends from the end ER which is the other end of the right optical image display unit 26 to a position corresponding to the user's temporal region when the user wears the image display unit 20. It is a member. Similarly, the left holding unit 23 extends from the end EL which is the other end of the left optical image display unit 28 to a position corresponding to the user's temporal region when the user wears the image display unit 20. It is a member provided. The right display drive unit 22 and the left display drive unit 24 are disposed on the side facing the user's head when the user wears the image display unit 20.

表示駆動部２２，２４は、図３で後述する液晶ディスプレイ２４１，２４２（Liquid Crystal Display、以下「ＬＣＤ２４１，２４２」とも呼ぶ）や投写光学系２５１，２５２等を含む。表示駆動部２２，２４の構成の詳細な説明は後述する。光学像表示部２６，２８は、後述する導光板２６１，２６２（図３参照）と調光板とを含んでいる。導光板２６１，２６２は、光透過性の樹脂材料等によって形成され、表示駆動部２２，２４から出力された画像光を使用者の眼に導く。調光板は、薄板状の光学素子であり、使用者の眼の側とは反対の側である画像表示部２０の表側を覆うように配置されている。調光板の光透過率を調整することによって、使用者の眼に入る外光量を調整して虚像の視認のしやすさを調整できる。 The display drive units 22 and 24 include liquid crystal displays 241 and 242 (hereinafter also referred to as “LCDs 241 and 242”), projection optical systems 251 and 252 and the like which will be described later with reference to FIG. A detailed description of the configuration of the display driving units 22 and 24 will be described later. The optical image display units 26 and 28 include light guide plates 261 and 262 (see FIG. 3), which will be described later, and a light control plate. The light guide plates 261 and 262 are formed of a light transmissive resin material or the like, and guide the image light output from the display driving units 22 and 24 to the eyes of the user. The light control plate is a thin plate-like optical element, and is arranged so as to cover the front side of the image display unit 20 which is the side opposite to the user's eye side. By adjusting the light transmittance of the light control plate, the amount of external light entering the user's eyes can be adjusted to adjust the visibility of the virtual image.

カメラ６１は、使用者が画像表示部２０を装着した際の使用者の眉間に対応する位置に配置されている。そのため、カメラ６１は、使用者が画像表示部２０を頭部に装着した状態において、使用者の視線方向の外部の景色である外景を撮像し、撮像された画像である撮像画像を取得する。 The camera 61 is disposed at a position corresponding to the user's eyebrow when the user wears the image display unit 20. Therefore, the camera 61 captures an outside scene that is an external scenery in the direction of the user's line of sight in a state where the user wears the image display unit 20 on the head, and acquires a captured image that is the captured image.

画像表示部２０は、さらに、画像表示部２０を制御部１０に接続するための接続部４０を有している。接続部４０は、制御部１０に接続される本体コード４８と、右コード４２と、左コード４４と、連結部材４６と、を含んでいる。右コード４２と左コード４４とは、本体コード４８が２本に分岐したコードである。右コード４２は、右保持部２１の延伸方向の先端部ＡＰから右保持部２１の筐体内に挿入され、右表示駆動部２２に接続されている。同様に、左コード４４は、左保持部２３の延伸方向の先端部ＡＰから左保持部２３の筐体内に挿入され、左表示駆動部２４に接続されている。連結部材４６は、本体コード４８と、右コード４２および左コード４４と、の分岐点に設けられ、イヤホンプラグ３０を接続するためのジャックを有している。イヤホンプラグ３０からは、右イヤホン３２および左イヤホン３４が延伸している。画像表示部２０と制御部１０とは、接続部４０を介して各種信号の伝送を行なう。右コード４２と、左コード４４と、本体コード４８とには、例えば、金属ケーブルや光ファイバーを採用できる。 The image display unit 20 further includes a connection unit 40 for connecting the image display unit 20 to the control unit 10. The connection unit 40 includes a main body cord 48, a right cord 42, a left cord 44, and a connecting member 46 that are connected to the control unit 10. The right cord 42 and the left cord 44 are codes in which the main body cord 48 is branched into two. The right cord 42 is inserted into the casing of the right holding unit 21 from the distal end AP in the extending direction of the right holding unit 21 and connected to the right display driving unit 22. Similarly, the left cord 44 is inserted into the housing of the left holding unit 23 from the distal end AP in the extending direction of the left holding unit 23 and connected to the left display driving unit 24. The connecting member 46 is provided at a branch point between the main body cord 48, the right cord 42 and the left cord 44, and has a jack for connecting the earphone plug 30. A right earphone 32 and a left earphone 34 extend from the earphone plug 30. The image display unit 20 and the control unit 10 transmit various signals via the connection unit 40. For the right cord 42, the left cord 44, and the main body cord 48, for example, a metal cable or an optical fiber can be adopted.

制御部１０は、ＨＭＤ１００を制御するための装置である。制御部１０は、静電式のトラックパッドや押下可能な複数のボタンなどを含み、制御部１０の前面に形成された操作部１３５と、制御部１０の裏面に配置されたマーカーＭＫ１（図示していない）と、を有する。マーカーＭＫ１は、カメラ６１によって撮像されることでキャリブレーションが行なわれるために必要な被識別部である。 The control unit 10 is a device for controlling the HMD 100. The control unit 10 includes an electrostatic trackpad, a plurality of buttons that can be pressed, and the like, and includes an operation unit 135 formed on the front surface of the control unit 10 and a marker MK1 (not shown) disposed on the back surface of the control unit 10. Not). The marker MK1 is a part to be identified that is necessary for calibration by being imaged by the camera 61.

図２は、制御部１０の裏面に配置されたマーカーＭＫ１を示す概略図である。図３は、マーカーＭＫ１の詳細図である。図２に示すように、制御部１０の裏面には、正方形の中に１０個の円が形成されたマーカーＭＫ１が配置されている。図３に示すように、マーカーＭＫ１は、４つの頂点Ｐ０，Ｐ１，Ｐ２，Ｐ３を直線で結んだ正方形の中に、１０個の円が形成された２次元のマーカーである。マーカーＭＫ１では、図２および図３においてハッチングで表す黒色の部分に、ハッチングが施されないで図２および図３に表された白色の円が形成されている。後述するキャリブレーション実行処理では、白色の円の中心の座標値が用いられることで、カメラ６１によって撮像されたマーカーＭＫ１と後述するマーカーＭＫ１に対応するように予め用意された識別対象画像ＩＭＧ１との重複の度合いが判定される。なお、マーカーＭＫ１は、請求項における被識別部に相当する。 FIG. 2 is a schematic diagram showing the marker MK1 arranged on the back surface of the control unit 10. As shown in FIG. FIG. 3 is a detailed view of the marker MK1. As shown in FIG. 2, a marker MK1 in which ten circles are formed in a square is arranged on the back surface of the control unit 10. As shown in FIG. 3, the marker MK1 is a two-dimensional marker in which ten circles are formed in a square connecting four vertices P0, P1, P2, and P3 with straight lines. In the marker MK1, a white circle shown in FIGS. 2 and 3 is formed in the black portion indicated by hatching in FIGS. 2 and 3 without being hatched. In the calibration execution process described later, by using the coordinate value of the center of the white circle, a marker MK1 imaged by the camera 61 and an identification target image IMG1 prepared in advance so as to correspond to a marker MK1 described later are used. The degree of overlap is determined. The marker MK1 corresponds to the identified part in the claims.

図４は、ＨＭＤ１００の構成を機能的に示すブロック図である。図３に示すように、制御部１０は、ＲＯＭ１２１と、ＲＡＭ１２２と、電源１３０と、操作部１３５と、識別対象記憶部１３９と、ＣＰＵ１４０と、インターフェイス１８０と、送信部５１（Ｔｘ５１）および送信部５２（Ｔｘ５２）と、を有している。 FIG. 4 is a block diagram functionally showing the configuration of the HMD 100. As shown in FIG. 3, the control unit 10 includes a ROM 121, a RAM 122, a power supply 130, an operation unit 135, an identification target storage unit 139, a CPU 140, an interface 180, a transmission unit 51 (Tx51), and a transmission unit. 52 (Tx52).

電源１３０は、ＨＭＤ１００の各部に電力を供給する。ＲＯＭ１２１には、種々のコンピュータープログラムが格納されている。後述するＣＰＵ１４０は、ＲＯＭ１２１に格納された各種コンピュータープログラムを、ＲＡＭ１２２に展開することで、各種コンピュータープログラムを実行する。 The power supply 130 supplies power to each part of the HMD 100. Various computer programs are stored in the ROM 121. The CPU 140 described later executes various computer programs by expanding various computer programs stored in the ROM 121 in the RAM 122.

識別対象記憶部１３９は、制御部１０の裏面に配置されたマーカーＭＫ１と同じ画像を、識別対象画像ＩＭＧ１として記憶している。識別対象画像ＩＭＧ１は、後述するキャリブレーション実行処理において、右光学像表示部２６または左光学像表示部２８に表示される画像である。キャリブレーション実行処理では、表示された識別対象画像ＩＭＧ１と重複するようにマーカーＭＫ１が撮像されることで、識別対象画像ＩＭＧ１と撮像されたマーカーＭＫ１とが用いられて、キャリブレーションが実行される。 The identification target storage unit 139 stores the same image as the marker MK1 arranged on the back surface of the control unit 10 as the identification target image IMG1. The identification target image IMG1 is an image displayed on the right optical image display unit 26 or the left optical image display unit 28 in a calibration execution process described later. In the calibration execution process, the marker MK1 is imaged so as to overlap with the displayed identification target image IMG1, so that the calibration is performed using the identification target image IMG1 and the captured marker MK1.

図４に示すＣＰＵ１４０は、ＲＯＭ１２１に格納されているコンピュータープログラムを、ＲＡＭ１２２に展開することにより、オペレーティングシステム１５０（ＯＳ１５０）、表示制御部１９０、音声処理部１７０、画像処理部１６０、マーカー識別部１６５および演算部１６７として機能する。 The CPU 140 shown in FIG. 4 expands the computer program stored in the ROM 121 in the RAM 122, thereby operating the operating system 150 (OS 150), the display control unit 190, the sound processing unit 170, the image processing unit 160, and the marker identification unit 165. And functions as a calculation unit 167.

表示制御部１９０は、右表示駆動部２２および左表示駆動部２４を制御する制御信号を生成する。表示制御部１９０は、右表示駆動部２２および左表示駆動部２４のそれぞれによる画像光の生成および射出を制御する。表示制御部１９０は、右ＬＣＤ制御部２１１と左ＬＣＤ制御部２１２とに対する制御信号のそれぞれを、送信部５１および５２を介して送信する。また、表示制御部１９０は、右バックライト制御部２０１と左バックライト制御部２０２とに対する制御信号のそれぞれを送信する。 The display control unit 190 generates control signals for controlling the right display drive unit 22 and the left display drive unit 24. The display control unit 190 controls the generation and emission of image light by the right display drive unit 22 and the left display drive unit 24, respectively. The display control unit 190 transmits control signals for the right LCD control unit 211 and the left LCD control unit 212 via the transmission units 51 and 52, respectively. In addition, the display control unit 190 transmits control signals to the right backlight control unit 201 and the left backlight control unit 202, respectively.

画像処理部１６０は、コンテンツに含まれる画像信号を取得し、送信部５１，５２を介して、取得した画像信号を画像表示部２０の受信部５３，５４へと送信する。音声処理部１７０は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、連結部材４６に接続された右イヤホン３２内のスピーカー（図示しない）および左イヤホン３４内のスピーカー（図示しない）に対して供給する。 The image processing unit 160 acquires an image signal included in the content, and transmits the acquired image signal to the reception units 53 and 54 of the image display unit 20 via the transmission units 51 and 52. The audio processing unit 170 acquires an audio signal included in the content, amplifies the acquired audio signal, and a speaker (not shown) in the right earphone 32 and a speaker (not shown) connected to the connecting member 46 ( (Not shown).

マーカー識別部１６５は、カメラ６１によって得られた撮像画像に対して、所定の階調値を閾値として２値化を行なう。マーカー識別部１６５は、２値化した画像の中から、識別対象記憶部１３９に記憶された識別対象画像ＩＭＧ１と同じマーカーＭＫ１を抽出する。本実施形態では、マーカー識別部１６５は、撮像画像に対して、初めに、予め設定された初期閾値で２値化を行なう。マーカー識別部１６５は、２値化した画像に対して、識別対象画像ＩＭＧ１の特徴点と同じと判定する画像を撮像画像の中から抽出する。識別対象画像ＩＭＧ１の特徴点としては、正方形の４個の頂点である頂点Ｐ０，Ｐ１，Ｐ２，Ｐ３および正方形の中に含まれる白色の９個の円である。マーカー識別部１６５は、９個の円の特徴点として、対向する２つの頂点を結んだ対角線上に、識別対象画像ＩＭＧ１と同じ位置関係で円が並んでいるか否かの判定をすることで、撮像画像の中から識別対象画像ＩＭＧ１と同じと判定するマーカーＭＫ１を抽出する。例えば、マーカー識別部１６５は、図３において、頂点Ｐ０と頂点Ｐ２とを結んだ直線上、および／または頂点Ｐ１と頂点Ｐ３を結んだ直線上に、２値化された白色の円が黒色に対して５個並んでいるか否かや並んでいる白色の円の大きさや複数の円に挟まれる黒色の領域の大きさなどで判定する。 The marker identifying unit 165 binarizes the captured image obtained by the camera 61 using a predetermined gradation value as a threshold value. The marker identifying unit 165 extracts the same marker MK1 as the identification target image IMG1 stored in the identification target storage unit 139 from the binarized image. In the present embodiment, the marker identifying unit 165 first binarizes the captured image with a preset initial threshold value. The marker identifying unit 165 extracts an image determined to be the same as the feature point of the identification target image IMG1 from the captured image with respect to the binarized image. The feature points of the identification target image IMG1 are four vertices of squares P0, P1, P2, and P3, and nine white circles included in the square. The marker identifying unit 165 determines whether or not the circles are arranged in the same positional relationship as the identification target image IMG1 on the diagonal line connecting the two opposite vertices as the feature points of the nine circles. A marker MK1 that is determined to be the same as the identification target image IMG1 is extracted from the captured image. For example, in FIG. 3, the marker identifying unit 165 converts the binarized white circle into black on the straight line connecting the vertex P0 and the vertex P2 and / or on the straight line connecting the vertex P1 and the vertex P3. On the other hand, the determination is made based on whether or not five are arranged, the size of the white circles arranged, the size of the black region sandwiched between a plurality of circles, and the like.

マーカー識別部１６５は、初期閾値を用いた２値化でマーカーＭＫ１を抽出できない場合には、予め設定された階調値である加算閾値を初期閾値に加えた新たな閾値として、撮像画像に対して、２値化を行ない、マーカーＭＫ１を抽出する。このように、マーカー識別部１６５は、いくつかの階調値を閾値として２値化することで、撮像画像の中からマーカーＭＫ１を抽出する。なお、マーカー識別部１６５は、複数の閾値を用いても撮像範囲からマーカーＭＫ１を抽出できない場合には、撮像範囲にマーカーＭＫ１が含まれないと判定する。 If the marker identification unit 165 cannot extract the marker MK1 by binarization using the initial threshold value, the marker identification unit 165 uses the added threshold value, which is a preset gradation value, as a new threshold value added to the initial threshold value for the captured image. Then, binarization is performed to extract the marker MK1. In this way, the marker identifying unit 165 extracts the marker MK1 from the captured image by binarizing several gradation values as threshold values. Note that the marker identification unit 165 determines that the marker MK1 is not included in the imaging range when the marker MK1 cannot be extracted from the imaging range using a plurality of threshold values.

演算部１６７は、マーカー識別部１６５によって撮像画像の中から抽出されたマーカーＭＫ１に含まれる円の中心点を特定する。演算部１６７は、特定したマーカーＭＫ１の中心点の座標値を、マーカーＭＫ１の重心に形成された中心円の中心点を基準として設定する。演算部１６７は、抽出されたマーカーＭＫ１の形状が適切であるか否かを、設定した座標値を用いて判定する。具体的には、演算部１６７は、抽出されたマーカーＭＫ１の正方形を構成する四辺の比に基づいて、撮像されたマーカーＭＫ１の位置を判定する。例えば、抽出されたマーカーＭＫ１の外形が極端な辺の比の台形になる場合には、キャリブレーションを実行するための後述する座標変換の値を精度良く算出できないため、マーカーＭＫ１の位置を変更して撮像するように使用者に報知する。使用者への報知の方法としては、光学像表示部２６，２８への所定の画像の表示やイヤホン３２，３４への所定の音声の出力などがある。 The calculation unit 167 specifies the center point of the circle included in the marker MK1 extracted from the captured image by the marker identification unit 165. The calculation unit 167 sets the coordinate value of the center point of the identified marker MK1 with reference to the center point of the center circle formed at the center of gravity of the marker MK1. The calculation unit 167 determines whether or not the shape of the extracted marker MK1 is appropriate using the set coordinate value. Specifically, the calculation unit 167 determines the position of the captured marker MK1 based on the ratio of the four sides constituting the square of the extracted marker MK1. For example, when the outer shape of the extracted marker MK1 is a trapezoid having an extreme side ratio, a coordinate conversion value (to be described later) for executing calibration cannot be accurately calculated, and therefore the position of the marker MK1 is changed. To inform the user to take an image. As a method of notifying the user, there are display of a predetermined image on the optical image display units 26 and 28, output of a predetermined sound to the earphones 32 and 34, and the like.

演算部１６７は、表示された識別対象画像ＩＭＧ１に含まれる円の中心点の座標値と、撮像されたマーカーＭＫ１の円の中心点の座標値と、を用いて座標変換の値を算出する。座標変換の値は、右光学像表示部２６または左光学像表示部２８に表示される画像を外景に重畳させて使用者に視認させるための補正値である。なお、マーカー識別部１６５および演算部１６７は、請求項における校正部に相当する。 The calculation unit 167 calculates a coordinate conversion value using the coordinate value of the center point of the circle included in the displayed identification target image IMG1 and the coordinate value of the center point of the circle of the imaged marker MK1. The coordinate conversion value is a correction value for allowing the user to visually recognize the image displayed on the right optical image display unit 26 or the left optical image display unit 28 by superimposing it on the outside scene. The marker identification unit 165 and the calculation unit 167 correspond to a calibration unit in the claims.

インターフェイス１８０は、制御部１０に対して、コンテンツの供給元となる種々の外部機器ＯＡを接続するためのインターフェイスである。外部機器ＯＡとしては、例えば、パーソナルコンピューター（ＰＣ）や携帯電話端末、ゲーム端末等、がある。インターフェイス１８０としては、例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等、を用いることができる。 The interface 180 is an interface for connecting various external devices OA that are content supply sources to the control unit 10. Examples of the external device OA include a personal computer (PC), a mobile phone terminal, and a game terminal. As the interface 180, for example, a USB interface, a micro USB interface, a memory card interface, or the like can be used.

画像表示部２０は、右表示駆動部２２と、左表示駆動部２４と、右光学像表示部２６としての右導光板２６１と、左光学像表示部２８としての左導光板２６２と、カメラ６１と、を備えている。 The image display unit 20 includes a right display drive unit 22, a left display drive unit 24, a right light guide plate 261 as a right optical image display unit 26, a left light guide plate 262 as a left optical image display unit 28, and a camera 61. And.

右表示駆動部２２は、受信部５３（Ｒｘ５３）と、光源として機能する右バックライト制御部２０１（右ＢＬ制御部２０１）および右バックライト２２１（右ＢＬ２２１）と、表示素子として機能する右ＬＣＤ制御部２１１および右ＬＣＤ２４１と、右投写光学系２５１と、を含んでいる。右バックライト制御部２０１と右バックライト２２１とは、光源として機能する。右ＬＣＤ制御部２１１と右ＬＣＤ２４１とは、表示素子として機能する。 The right display driving unit 22 includes a receiving unit 53 (Rx53), a right backlight control unit 201 (right BL control unit 201) and a right backlight 221 (right BL221) that function as a light source, and a right LCD that functions as a display element. A control unit 211, a right LCD 241 and a right projection optical system 251 are included. The right backlight control unit 201 and the right backlight 221 function as a light source. The right LCD control unit 211 and the right LCD 241 function as display elements.

受信部５３は、制御部１０と画像表示部２０との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部２０１は、入力された制御信号に基づいて、右バックライト２２１を駆動する。右バックライト２２１は、例えば、ＬＥＤやエレクトロルミネセンス（ＥＬ）等の発光体である。右ＬＣＤ制御部２１１は、画像処理部１６０および表示制御部１９０から送信された制御信号に基づいて、右ＬＣＤ２４１を駆動する。右ＬＣＤ２４１は、複数の画素をマトリクス状に配置した透過型液晶パネルである。 The receiving unit 53 functions as a receiver for serial transmission between the control unit 10 and the image display unit 20. The right backlight control unit 201 drives the right backlight 221 based on the input control signal. The right backlight 221 is a light emitter such as an LED or electroluminescence (EL). The right LCD control unit 211 drives the right LCD 241 based on the control signals transmitted from the image processing unit 160 and the display control unit 190. The right LCD 241 is a transmissive liquid crystal panel in which a plurality of pixels are arranged in a matrix.

右投写光学系２５１は、右ＬＣＤ２４１から射出された画像光を平行状態の光束にするコリメートレンズによって構成される。右光学像表示部２６としての右導光板２６１は、右投写光学系２５１から出力された画像光を、所定の光路に沿って反射させつつ使用者の右眼ＲＥに導く。なお、左表示駆動部２４は、右表示駆動部２２と同様の構成を有し、使用者の左眼ＬＥに対応するため、説明を省略する。 The right projection optical system 251 is configured by a collimator lens that converts the image light emitted from the right LCD 241 into a parallel light beam. The right light guide plate 261 as the right optical image display unit 26 guides the image light output from the right projection optical system 251 to the right eye RE of the user while reflecting the image light along a predetermined optical path. Note that the left display drive unit 24 has the same configuration as the right display drive unit 22 and corresponds to the left eye LE of the user, and thus description thereof is omitted.

Ａ−２．キャリブレーション実行処理：
図５は、キャリブレーション実行処理のフローチャートである。キャリブレーション実行処理は、ＣＰＵ１４０が右光学像表示部２６または左光学像表示部２８に表示された識別対象画像ＩＭＧ１に重なる位置で撮像されたマーカーＭＫ１を用いて、キャリブレーションを実行するための座標変換の値を算出する処理である。キャリブレーション実行処理では、初めに、ＣＰＵ１４０は、右光学像表示部２６のみに識別対象画像ＩＭＧ１を表示させた後に、マーカーＭＫ１を撮像するマーカー撮像処理を実行する（ステップＳ１０）。 A-2. Calibration execution process:
FIG. 5 is a flowchart of the calibration execution process. In the calibration execution process, the CPU 140 uses the marker MK1 imaged at a position overlapping the identification target image IMG1 displayed on the right optical image display unit 26 or the left optical image display unit 28 to perform calibration. This is a process of calculating a conversion value. In the calibration execution process, first, after displaying the identification target image IMG1 only on the right optical image display unit 26, the CPU 140 executes a marker imaging process for imaging the marker MK1 (step S10).

図６は、マーカー撮像処理のフローチャートである。本実施形態のマーカー撮像処理は、右光学像表示部２６のみに識別対象画像ＩＭＧ１を表示させた場合の右眼ＲＥに対応するマーカー撮像処理と、左光学像表示部２８のみに識別対象画像ＩＭＧ１を表示させた場合の左眼ＬＥに対応するマーカー撮像処理と、のどちらにも対応する処理である。以下では、図５の右眼ＲＥに対応するマーカー撮像処理の例を説明する。 FIG. 6 is a flowchart of the marker imaging process. In the marker imaging process of the present embodiment, the marker imaging process corresponding to the right eye RE when the identification target image IMG1 is displayed only on the right optical image display unit 26, and the identification target image IMG1 only on the left optical image display unit 28. Is a process corresponding to both the marker imaging process corresponding to the left eye LE in the case of displaying. Hereinafter, an example of marker imaging processing corresponding to the right eye RE of FIG. 5 will be described.

マーカー撮像処理では、初めに、マーカー識別部１６５は、右光学像表示部２６のみに識別対象画像ＩＭＧ１を表示させる（ステップＳ１１）。マーカー識別部１６５は、識別対象画像ＩＭＧ１を右光学像表示部２６が画像を表示可能な領域の中心部分に、識別対象画像ＩＭＧ１の全外が表示されるように表示させる。次に、マーカー識別部１６５は、カメラ６１によって位置合わせされた制御部１０の裏面に配置されているマーカーＭＫ１を含む外景ＳＣを撮像する（ステップＳ１３）。本実施形態では、マーカー識別部１６５は、キャリブレーションを行なうために、表示された識別対象画像ＩＭＧ１に重複するように位置合わせされた制御部１０の裏面に配置されたマーカーＭＫ１を撮像する。なお、撮像は、操作部１３５の内に含まれる所定のボタンが使用者によって押下されることで行なわれる。言い換えると、マーカーＭＫ１と識別対象画像ＩＭＧ１とが、所定の位置としての重なる位置に位置合わせされた状態であることを決定した場合に、操作部１３５の内の所定のボタンが押下される。そのため、本実施形態における操作部１３５の内の所定のボタンは、請求項における受付部に相当する。なお、他の実施形態では、音声入力などによって所定の位置として位置合わせされた状態での撮像が行なわれてもよい。 In the marker imaging process, first, the marker identification unit 165 displays the identification target image IMG1 only on the right optical image display unit 26 (step S11). The marker identifying unit 165 causes the identification target image IMG1 to be displayed at the center of the region where the right optical image display unit 26 can display the image so that the entire outside of the identification target image IMG1 is displayed. Next, the marker identifying unit 165 images the outside scene SC including the marker MK1 arranged on the back surface of the control unit 10 aligned by the camera 61 (step S13). In the present embodiment, the marker identifying unit 165 images the marker MK1 disposed on the back surface of the control unit 10 that is aligned so as to overlap the displayed identification target image IMG1 in order to perform calibration. Note that imaging is performed by pressing a predetermined button included in the operation unit 135 by the user. In other words, when it is determined that the marker MK1 and the identification target image IMG1 are aligned at the overlapping position as the predetermined position, a predetermined button in the operation unit 135 is pressed. Therefore, a predetermined button in the operation unit 135 in the present embodiment corresponds to a reception unit in the claims. Note that in another embodiment, imaging may be performed in a state where the position is aligned as a predetermined position by voice input or the like.

図７は、制御部１０の裏面に配置されたマーカーＭＫ１と使用者ＵＳとの位置関係を表す概略図である。図７には、画像表示部２０を頭部に装着した使用者ＵＳが、右光学像表示部２６に表示された識別対象画像ＩＭＧ１にマーカーＭＫ１が重なるように位置合わせをしている状態が示されている。使用者ＵＳは、制御部１０の位置を変化させることで、右光学像表示部２６に表示された識別対象画像ＩＭＧ１とマーカーＭＫ１とが重なるように調整できる。 FIG. 7 is a schematic diagram showing a positional relationship between the marker MK1 disposed on the back surface of the control unit 10 and the user US. FIG. 7 shows a state in which the user US wearing the image display unit 20 on the head is aligned so that the marker MK1 overlaps the identification target image IMG1 displayed on the right optical image display unit 26. Has been. The user US can adjust the position of the control unit 10 so that the identification target image IMG1 displayed on the right optical image display unit 26 and the marker MK1 overlap each other.

図８は、マーカーＭＫ１を見ている使用者ＵＳの視野ＶＲを示す説明図である。図８に示すように、使用者ＵＳの右眼ＲＥは、右光学像表示部２６に表示された識別対象画像ＩＭＧ１と、外景ＳＣに含まれるマーカーＭＫ１とを視認する。図８では、識別対象画像ＩＭＧ１の中心とマーカーＭＫ１の中心とが微妙にずれ、マーカーＭＫ１が識別対象画像ＩＭＧ１に対して、角度θ１傾いている状態が示されている。 FIG. 8 is an explanatory diagram showing the visual field VR of the user US looking at the marker MK1. As shown in FIG. 8, the right eye RE of the user US visually recognizes the identification target image IMG1 displayed on the right optical image display unit 26 and the marker MK1 included in the outside scene SC. FIG. 8 shows a state in which the center of the identification target image IMG1 and the center of the marker MK1 are slightly shifted and the marker MK1 is inclined at an angle θ1 with respect to the identification target image IMG1.

図６のステップＳ１３において、制御部１０の裏面に配置されたマーカーＭＫ１が撮像されると、マーカー識別部１６５は、撮像画像の中からマーカーＭＫ１を抽出する（ステップＳ１５）。マーカー識別部１６５は、マーカーＭＫ１を抽出するために、所定の閾値によって撮像画像を２値化する。マーカー識別部１６５は、２値化した撮像画像の中から、識別対象画像ＩＭＧ１と同じと識別されるマーカーＭＫ１を抽出する。マーカー識別部１６５は、初期閾値による２値化でマーカーＭＫ１を抽出できない場合には、複数の閾値を用いて２値化した撮像画像からマーカーＭＫ１を抽出する。 In step S13 of FIG. 6, when the marker MK1 arranged on the back surface of the control unit 10 is imaged, the marker identifying unit 165 extracts the marker MK1 from the captured image (step S15). The marker identifying unit 165 binarizes the captured image with a predetermined threshold value in order to extract the marker MK1. The marker identifying unit 165 extracts a marker MK1 that is identified as the same as the identification target image IMG1 from the binarized captured image. If the marker MK1 cannot be extracted by binarization using the initial threshold value, the marker identifying unit 165 extracts the marker MK1 from the binarized captured image using a plurality of threshold values.

マーカー識別部１６５は、複数の閾値を用いても、撮像画像の中からマーカーＭＫ１を抽出できない場合には（ステップＳ１５：ＮＯ）、マーカーＭＫ１を抽出するために、再度、ステップＳ１３の処理を行なう。撮像画像の中からマーカーＭＫ１を抽出された場合には（ステップＳ１５：ＹＥＳ）、演算部１６７は、抽出されたマーカーＭＫ１の中心を基準として、抽出されたマーカーＭＫ１に含まれる複数の円の中心点の座標値を特定する（ステップＳ１７）。 If the marker identification unit 165 cannot extract the marker MK1 from the captured image using a plurality of threshold values (step S15: NO), the marker identification unit 165 performs the process of step S13 again to extract the marker MK1. . When the marker MK1 is extracted from the captured image (step S15: YES), the calculation unit 167 uses the center of the extracted marker MK1 as a reference and the centers of a plurality of circles included in the extracted marker MK1. The coordinate value of the point is specified (step S17).

演算部１６７は、座標値を特定すると、抽出されたマーカーＭＫ１の形状が適切か否かを判定する。（ステップＳ１９）。本実施形態では、演算部１６７は、抽出したマーカーＭＫ１に含まれる複数の円の座標値およびマーカーＭＫ１の外形を特定する。演算部１６７は、特定した座標値に基づいて、抽出されたマーカーＭＫ１の位置が適切であると判定した場合には（ステップＳ１９：ＹＥＳ）、ＣＰＵ１４０は、右眼ＲＥに対応するマーカー撮像処理を終了する。 When specifying the coordinate value, the calculation unit 167 determines whether or not the shape of the extracted marker MK1 is appropriate. (Step S19). In the present embodiment, the calculation unit 167 specifies the coordinate values of a plurality of circles included in the extracted marker MK1 and the outer shape of the marker MK1. When the calculation unit 167 determines that the position of the extracted marker MK1 is appropriate based on the identified coordinate value (step S19: YES), the CPU 140 performs marker imaging processing corresponding to the right eye RE. finish.

ステップＳ１７の処理において、演算部１６７は、抽出されたマーカーＭＫ１の位置が適切でないと判定した場合には（ステップＳ１９：ＮＯ）、使用者ＵＳに対して、マーカーＭＫ１の位置の変更を促す報知を行なう（ステップＳ２１）。 In the process of step S17, when the calculation unit 167 determines that the position of the extracted marker MK1 is not appropriate (step S19: NO), a notification that prompts the user US to change the position of the marker MK1. Is performed (step S21).

図５のキャリブレーション実行処理において、ＣＰＵ１４０は、ステップＳ１０の処理を行なうと、使用者ＵＳの左眼ＬＥに対しても、右眼ＲＥと同様である左眼ＬＥに対応するマーカー撮像処理を行なう（ステップＳ３０）。左眼ＬＥに対応するマーカー撮像処理については、右眼ＲＥに対応するマーカー撮像処理と同じ処理のため、説明を省略する。 In the calibration execution process of FIG. 5, when performing the process of step S <b> 10, the CPU 140 performs the marker imaging process corresponding to the left eye LE, which is the same as the right eye RE, for the left eye LE of the user US. (Step S30). Since the marker imaging process corresponding to the left eye LE is the same as the marker imaging process corresponding to the right eye RE, the description thereof is omitted.

その後、演算部１６７は、右光学像表示部２６に表示された識別対象画像ＩＭＧ１の座標値と、右眼ＲＥに対応するマーカー撮像処理において撮像されたマーカーＭＫ１の座標値と、を対応付ける。また、同様に、演算部１６７は、左光学像表示部２８に表示された識別対象画像ＩＭＧ１の座標値と、左眼ＬＥに対応するマーカー撮像処理において撮像されたマーカーＭＫ１の座標値と、を対応付ける。演算部１６７は、設定した右眼ＲＥの場合の座標値と、設定した左眼ＬＥの場合の座標値とに基づいて、カメラ６１によって撮像される外景ＳＣから使用者が視認する外景ＳＣへの座標変換の値を算出する。その後、ＣＰＵ１４０は、キャリブレーション実行処理を終了する。 Thereafter, the calculation unit 167 associates the coordinate value of the identification target image IMG1 displayed on the right optical image display unit 26 with the coordinate value of the marker MK1 imaged in the marker imaging process corresponding to the right eye RE. Similarly, the calculation unit 167 calculates the coordinate value of the identification target image IMG1 displayed on the left optical image display unit 28 and the coordinate value of the marker MK1 captured in the marker imaging process corresponding to the left eye LE. Associate. Based on the coordinate value in the case of the set right eye RE and the coordinate value in the case of the set left eye LE, the calculation unit 167 converts the external scene SC captured by the camera 61 to the external scene SC visually recognized by the user. Calculate the value of coordinate transformation. Thereafter, the CPU 140 ends the calibration execution process.

以上説明したように、本実施形態のＨＭＤ１００は、画像表示部２０に表示される画像を外景ＳＣに重畳させて使用者に視認されるためのキャリブレーションに用いられ、移動可能な制御部１０の裏面に配置されたマーカーＭＫ１を有する。そのため、本実施形態のＨＭＤ１００では、使用者は、マーカーＭＫ１の位置を自由に移動させることができ、使用者の位置に関わらず、キャリブレーションを実行できる。また、使用者は、マーカーＭＫ１を自由に動かせるため、キャリブレーションを実行するための正確な位置にマーカーＭＫ１を移動させることで、精度の高いキャリブレーションを実現できる。 As described above, the HMD 100 according to the present embodiment is used for calibration so that an image displayed on the image display unit 20 is superimposed on the outside scene SC and is visually recognized by the user. It has a marker MK1 arranged on the back surface. Therefore, in the HMD 100 of the present embodiment, the user can freely move the position of the marker MK1, and can execute calibration regardless of the position of the user. In addition, since the user can freely move the marker MK1, the calibration can be performed with high accuracy by moving the marker MK1 to an accurate position for executing the calibration.

また、本実施形態のＨＭＤ１００では、マーカー識別部１６５は、撮像画像の中からマーカーＭＫ１を抽出する。また、演算部１６７は、抽出されたマーカーＭＫ１における特徴点の座標値を算出し、算出した座標値と識別対象画像ＩＭＧ１における特徴点の座標値とに基づいて、キャリブレーションを実行すするためのカメラ６１によって撮像される外景ＳＣから使用者が視認する外景ＳＣへの座標変換のパラメーター値を算出する。そのため、本実施形態のＨＭＤ１００では、撮像されたマーカーＭＫ１と識別対象画像ＩＭＧ１との座標値が用いられて、カメラ６１によって撮像されたカメラ６１を基準とする外景ＳＣの座標値を、使用者の眼を基準とする座標値へと変換できる。そのため、使用者は、外景ＳＣに精度良く重畳された画像を視認できる。 In the HMD 100 of the present embodiment, the marker identification unit 165 extracts the marker MK1 from the captured image. Further, the calculation unit 167 calculates the coordinate value of the feature point in the extracted marker MK1, and executes calibration based on the calculated coordinate value and the coordinate value of the feature point in the identification target image IMG1. A parameter value for coordinate conversion from the outside scene SC imaged by the camera 61 to the outside scene SC visually recognized by the user is calculated. Therefore, in the HMD 100 of the present embodiment, the coordinate values of the captured marker MK1 and the identification target image IMG1 are used, and the coordinate value of the outside scene SC with the camera 61 captured by the camera 61 is used as the reference value of the user. It can be converted into coordinate values based on the eyes. Therefore, the user can visually recognize the image superimposed on the outside scene SC with high accuracy.

また、本実施形態のＨＭＤ１００では、マーカー識別部１６５は、識別対象画像ＩＭＧ１を右光学像表示部２６または左光学像表示部２８に表示させ、識別対象画像ＩＭＧ１と位置合わせされて撮像され、識別対象画像ＩＭＧ１と同じ形状のマーカーＭＫ１を抽出する。演算部１６７は、抽出されたマーカーＭＫ１の座標値を算出し、算出したマーカーＭＫ１の座標値と識別対象画像ＩＭＧ１の座標値とに基づいて、カメラ６１によって撮像される外景ＳＣから使用者が視認する外景ＳＣへの座標変換のパラメーター値を算出する。ＨＭＤ１００では、算出された座標変換の値が用いられて、キャリブレーションが実行される。そのため、本実施形態のＨＭＤ１００では、撮像されたマーカーＭＫ１における特徴点の座標値と、識別対象画像ＩＭＧ１における特徴点の座標値と、が同じ特徴点を表すとしてキャリブレーションが実行される。これにより、算出される座標変換のずれが少なく、精度の高いキャリブレーションを実行できる。 Further, in the HMD 100 of the present embodiment, the marker identification unit 165 displays the identification target image IMG1 on the right optical image display unit 26 or the left optical image display unit 28, is imaged and aligned with the identification target image IMG1, and is identified. A marker MK1 having the same shape as that of the target image IMG1 is extracted. The calculation unit 167 calculates the coordinate value of the extracted marker MK1, and based on the calculated coordinate value of the marker MK1 and the coordinate value of the identification target image IMG1, the user visually recognizes from the outside scene SC imaged by the camera 61. The parameter value of the coordinate conversion to the outside scene SC to be calculated is calculated. In the HMD 100, calibration is executed using the calculated coordinate conversion value. Therefore, in the HMD 100 of the present embodiment, calibration is executed assuming that the coordinate value of the feature point in the captured marker MK1 and the coordinate value of the feature point in the identification target image IMG1 represent the same feature point. Thereby, the deviation of the calculated coordinate transformation is small and highly accurate calibration can be executed.

また、本実施形態のＨＭＤ１００では、カメラ６１が画像表示部２０に配置され、マーカーＭＫ１が制御部１０の裏面に配置される。そのため、本実施形態のＨＭＤ１００では、画像表示部２０を頭部に装着した使用者ＵＳは、自身の頭部の位置とコントローラーとしての制御部１０の位置とを動かすことで、マーカーＭＫ１を抽出してキャリブレーションを実行できる。よって、使用者ＵＳは、感覚的な操作によってキャリブレーションを実行でき、ＨＭＤ１００の使い勝手が向上する。 In the HMD 100 of the present embodiment, the camera 61 is disposed on the image display unit 20, and the marker MK <b> 1 is disposed on the back surface of the control unit 10. Therefore, in the HMD 100 of the present embodiment, the user US wearing the image display unit 20 on the head extracts the marker MK1 by moving the position of his / her head and the position of the control unit 10 as a controller. Calibration. Therefore, the user US can execute calibration by a sensory operation, and the usability of the HMD 100 is improved.

Ｂ．変形例：
なお、この発明は上記実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば、次のような変形も可能である。 B. Variations:
In addition, this invention is not limited to the said embodiment, It can implement in a various aspect in the range which does not deviate from the summary, For example, the following deformation | transformation is also possible.

Ｂ−１．変形例１：
上記実施形態では、キャリブレーションのために撮像される被識別部としてのマーカーＭＫ１が２次元の画像として制御部１０の裏面に配置されたが、マーカーＭＫ１の態様については、種々変形可能である。例えば、ＨＭＤ１００とスマートフォンなどの携帯端末を有する画像処理システムにおいて、マーカー識別部１６５が識別対象記憶部１３９に記憶されているマーカーＭＫ１の画像データを、スマートフォンなどの携帯端末に送信する。携帯端末における受信部は、送信されたマーカーＭＫ１の画像を受信して、携帯端末の表示パネルにマーカーＭＫ１の画像が表示され、表示されたマーカーＭＫ１の画像が用いられてＨＭＤ１００のキャリブレーションが実行されてもよい。この変形例のＨＭＤ１００では、キャリブレーションを実行するＨＭＤ１００がマーカーＭＫ１の画像データを、表示パネル等の画像表示部を有する携帯端末などに送信できれば、キャリブレーションが実行される。そのため、マーカーＭＫ１は物ではなく、画像データとしてあればよく、キャリブレーションを行なう環境の制限が少なくなり、容易にキャリブレーションが実行される。 B-1. Modification 1:
In the above embodiment, the marker MK1 as the identification target imaged for calibration is arranged on the back surface of the control unit 10 as a two-dimensional image, but the mode of the marker MK1 can be variously modified. For example, in an image processing system having an HMD 100 and a portable terminal such as a smartphone, the marker identifying unit 165 transmits the image data of the marker MK1 stored in the identification target storage unit 139 to a portable terminal such as a smartphone. The receiving unit in the portable terminal receives the transmitted image of the marker MK1, displays the image of the marker MK1 on the display panel of the portable terminal, and executes the calibration of the HMD 100 using the displayed image of the marker MK1. May be. In the HMD 100 of this modification, the calibration is executed if the HMD 100 that executes the calibration can transmit the image data of the marker MK1 to a portable terminal having an image display unit such as a display panel. For this reason, the marker MK1 may be image data instead of a thing, and the calibration environment is reduced and the calibration is easily performed.

また、キャリブレーションに用いられるマーカーＭＫ１の形状などについても、種々変形可能である。上記実施形態では、マーカーＭＫ１は、黒色の正方形の中に白色の複数の円が含まれる形状であったが、被識別部としての色や正方形または円の形状については、マーカーＭＫ１の例に限られず、種々変形可能である。形状としては、円形の中に矩形や直線が形成されてもよいし、色についても、赤や青などが用いられてもよい。また、マーカーＭＫ１が配置される場所についても、種々変形可能である。上記実施形態では、制御部１０の裏面にマーカーＭＫ１が配置されたが、マーカーＭＫ１が配置される位置は、撮像部としてのカメラ６１の位置と連動しない場所であればよい。例えば、イヤホン３２，３４の一部にマーカーＭＫ１が配置されてもよく、操作部１３５の操作を行なうためのペンなどにマーカーＭＫ１が配置されてもよい。 Also, the shape of the marker MK1 used for calibration can be variously modified. In the above-described embodiment, the marker MK1 has a shape in which a plurality of white circles are included in a black square. However, the color or the square or circle shape as the identified portion is not limited to the example of the marker MK1. However, various modifications are possible. As a shape, a rectangle or a straight line may be formed in a circle, and red or blue may be used for the color. Further, the place where the marker MK1 is arranged can be variously modified. In the above embodiment, the marker MK1 is arranged on the back surface of the control unit 10, but the position where the marker MK1 is arranged may be a place that is not interlocked with the position of the camera 61 as the imaging unit. For example, the marker MK1 may be disposed on a part of the earphones 32 and 34, or the marker MK1 may be disposed on a pen or the like for operating the operation unit 135.

上記実施形態のキャリブレーション実行処理では、右光学像表示部２６のみに識別対象画像ＩＭＧ１を表示させた処理と、左光学像表示部２８のみに識別対象画像ＩＭＧ１を表示させた処理と、が行なわれることによってキャリブレーションが実行されたが、表示された識別対象画像ＩＭＧ１を撮像する処理については、種々変形可能である。例えば、右光学像表示部２６と左光学像表示部２８とに同じ識別対象画像ＩＭＧ１を表示させた状態で、位置合わせされたマーカーＭＫ１が撮像されてもよい。また、右光学像表示部２６のみまたは左光学像表示部２８のみに識別対象画像ＩＭＧ１が表示されて、表示された識別対象画像ＩＭＧ１に位置合わせされたマーカーＭＫ１が撮像されてもよい。また、上記実施形態では、右光学像表示部２６と左光学像表示部２８とは、別々の画像が表示されるように制御可能であったが、１つの画像表示部として、識別対象画像ＩＭＧ１が表示されてもよい。 In the calibration execution process of the above embodiment, a process of displaying the identification target image IMG1 only on the right optical image display unit 26 and a process of displaying the identification target image IMG1 only on the left optical image display unit 28 are performed. However, the processing for capturing the displayed identification target image IMG1 can be variously modified. For example, the aligned marker MK1 may be captured in a state where the same identification target image IMG1 is displayed on the right optical image display unit 26 and the left optical image display unit 28. Alternatively, the identification target image IMG1 may be displayed only on the right optical image display unit 26 or only the left optical image display unit 28, and the marker MK1 aligned with the displayed identification target image IMG1 may be captured. Moreover, in the said embodiment, although the right optical image display part 26 and the left optical image display part 28 were controllable so that a separate image might be displayed, identification object image IMG1 is used as one image display part. May be displayed.

キャリブレーションの変形例として、例えば、以下の構成が考えられる。
カメラ６１が外景ＳＣにおけるマーカーＭＫ１の撮像画像を取得する。演算部１６７は、当該撮像画像に基づいて、カメラ６１に対するマーカーＭＫ１の位置・姿勢Ａを推定する。この際、位置・姿勢Ａの推定には、ホモグラフィー法が利用できる。さらに演算部１６７は、右光学像表示部２６および左光学像表示部２８に対するカメラ６１の相対位置関係に基づいて、位置・姿勢Ａを、右光学像表示部２６および左光学像表示部２８に対するマーカーＭＫ１の位置・姿勢Ｂに変換する。そして、画像処理部１６０は、マーカーＭＫ１に相似するモデルマーカー（記憶されたマーカーＭＫ１の像または記憶されたコンピューターグラフィックス）を、位置・姿勢Ｂで、右画像表示部２６および／または左画像表示部２８に表示する。使用者は、位置・姿勢Ｂで表示されているモデルマーカーとマーカーＭＫ１とが一致するように、モデルマーカーの位置、使用者の頭部、またはマーカーＭＫ１を移動させる。使用者が、モデルマーカーとマーカーＭＫ１とを互いに一致して視認する場合に、制御部１６７は、ＨＭＤ１００の重畳表示に係る座標変換のパラメーター値を記憶（設定）すればよい。 As a modified example of calibration, for example, the following configuration can be considered.
The camera 61 acquires a captured image of the marker MK1 in the outside scene SC. The computing unit 167 estimates the position / posture A of the marker MK1 with respect to the camera 61 based on the captured image. At this time, the homography method can be used to estimate the position / posture A. Further, the calculation unit 167 sets the position / orientation A to the right optical image display unit 26 and the left optical image display unit 28 based on the relative positional relationship of the camera 61 with respect to the right optical image display unit 26 and the left optical image display unit 28. The position is converted to the position / posture B of the marker MK1. Then, the image processing unit 160 displays a model marker similar to the marker MK1 (stored image of the marker MK1 or stored computer graphics) at the position / posture B and the right image display unit 26 and / or the left image display. Displayed on the unit 28. The user moves the position of the model marker, the head of the user, or the marker MK1 so that the model marker displayed in the position / posture B matches the marker MK1. When the user visually recognizes the model marker and the marker MK1 in agreement with each other, the control unit 167 may store (set) the parameter value of coordinate conversion related to the superimposed display of the HMD 100.

上記キャリブレーションの実行後、例えば、以下のようにして、画像処理部１６０は、対象物に、当該対象物に対応したオブジェクトを重畳して表示することができる。この場合のオブジェクトは、対象物の構造と同じ構造を有する３Ｄオブジェクトでもよいし、アノテーションとして文字情報を含む２Ｄオブジェクトでもよい。カメラ６１が外景における対象物を撮像する。撮像後、演算部１６７は、撮像画像に基づいて、右光学像表示部２６および左光学像表示部２８に対する対象物の位置・姿勢を推定する。そこで、上記キャリブレーションによって設定（記憶）された座標変換のパラメーター値を用いて、画像処理部１６０は、使用者が当該対象物に対して、位置、大きさ、向きの少なくとも一つが対応して（好適には一致して）視認するようにオブジェクトを右画像表示部２６および左画像表示部２８に表示させる。このとき、外景ＳＣにおける対象物の任意の位置に一致して視認される表示画像上の位置から所定距離（オフセット）を加えた位置に当該オブジェクトを表示することもできる。 After the calibration is performed, for example, the image processing unit 160 can superimpose and display an object corresponding to the target object as follows. The object in this case may be a 3D object having the same structure as the structure of the target object, or a 2D object including character information as an annotation. The camera 61 captures an object in the outside scene. After imaging, the computing unit 167 estimates the position / posture of the object relative to the right optical image display unit 26 and the left optical image display unit 28 based on the captured image. Therefore, using the coordinate conversion parameter values set (stored) by the calibration, the image processing unit 160 corresponds to at least one of the position, size, and orientation of the target object by the user. The object is displayed on the right image display unit 26 and the left image display unit 28 so as to be visually recognized (preferably in agreement). At this time, it is also possible to display the object at a position obtained by adding a predetermined distance (offset) from the position on the display image that is viewed in agreement with an arbitrary position of the object in the outside scene SC.

キャリブレーションに関する上記変形例はさらに変形されることができる。例えば、使用者が、右画像表示部２６または左画像表示部２８に表示されたモデルマーカーの画像を、マーカーＭＫ１に重ねた場合に、右画像表示部２６または左画像表示部２８に対するマーカーＭＫ１の位置・姿勢が予め規定された相対位置関係になるように、モデルマーカーを右画像表示部２６または左画像表示部２８に固定表示することもできる。 The above-described modification example regarding calibration can be further modified. For example, when the user overlays the model marker image displayed on the right image display unit 26 or the left image display unit 28 on the marker MK1, the marker MK1 for the right image display unit 26 or the left image display unit 28 is displayed. The model marker can also be fixedly displayed on the right image display unit 26 or the left image display unit 28 so that the position / orientation has a predetermined relative positional relationship.

本発明は、上記実施形態や変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや、組み合わせを行なうことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。 The present invention is not limited to the above-described embodiments and modifications, and can be realized with various configurations without departing from the spirit of the present invention. For example, the technical features in the embodiments and the modifications corresponding to the technical features in each form described in the summary section of the invention are to solve some or all of the above-described problems, or In order to achieve part or all of the effects, replacement or combination can be performed as appropriate. Further, if the technical feature is not described as essential in the present specification, it can be deleted as appropriate.

１０…制御部
２０…画像表示部
２１…右保持部
２２…右表示駆動部
２３…左保持部
２４…左表示駆動部
２６…右光学像表示部
２８…左光学像表示部
３０…イヤホンプラグ
３２…右イヤホン
３４…左イヤホン
４０…接続部
４２…右コード
４４…左コード
４６…連結部材
４８…本体コード
５１，５２…送信部
５３，５４…受信部
６１…カメラ
１００…ＨＭＤ
１２１…ＲＯＭ
１２２…ＲＡＭ
１３０…電源
１３５…操作部（受付部）
１３９…識別対象記憶部
１４０…ＣＰＵ
１５０…オペレーティングシステム
１６０…画像処理部
１６５…マーカー識別部（校正部）
１６７…演算部（校正部）
１７０…音声処理部
１８０…インターフェイス
１９０…表示制御部
２０１…右バックライト制御部
２０２…左バックライト制御部
２１１…右ＬＣＤ制御部
２１２…左ＬＣＤ制御部
２２１…右バックライト
２２２…左バックライト
２４１…右ＬＣＤ
２４２…左ＬＣＤ
２５１…右投写光学系
２５２…左投写光学系
２６１…右導光板
２６２…左導光板
ＡＰ…先端部
ＥＬ…左光学像表示部の端部
ＥＲ…右光学像表示部の端部
ＩＭＧ１…識別対象画像
ＬＥ…左眼
ＲＥ…右眼
ＭＫ１…マーカー（被識別部）
ＯＡ…外部機器
Ｐ０，Ｐ１，Ｐ２，Ｐ３…頂点
ＳＣ…外景
ＵＳ…使用者
ＶＲ…視野 DESCRIPTION OF SYMBOLS 10 ... Control part 20 ... Image display part 21 ... Right holding part 22 ... Right display drive part 23 ... Left holding part 24 ... Left display drive part 26 ... Right optical image display part 28 ... Left optical image display part 30 ... Earphone plug 32 ... Right earphone 34 ... Left earphone 40 ... Connector 42 ... Right cord 44 ... Left cord 46 ... Connecting member 48 ... Body cord 51,52 ... Transmitter 53,54 ... Receiver 61 ... Camera 100 ... HMD
121 ... ROM
122 ... RAM
130: Power supply 135: Operation unit (reception unit)
139 ... Identification target storage unit 140 ... CPU
150: Operating system 160 ... Image processing unit 165 ... Marker identification unit (calibration unit)
167 ... Calculation unit (calibration unit)
170 ... Audio processing unit 180 ... Interface 190 ... Display control unit 201 ... Right backlight control unit 202 ... Left backlight control unit 211 ... Right LCD control unit 212 ... Left LCD control unit 221 ... Right backlight 222 ... Left backlight 241 ... Right LCD
242 ... Left LCD
251 ... Right projection optical system 252 ... Left projection optical system 261 ... Right light guide plate 262 ... Left light guide plate AP ... Tip portion EL ... End portion of left optical image display portion ER ... End portion of right optical image display portion IMG1 ... Identification target Image LE ... Left eye RE ... Right eye MK1 ... Marker (identified part)
OA ... External equipment P0, P1, P2, P3 ... Vertex SC ... Outside view US ... User VR ... View

Claims

A transmissive head-mounted display device,
An imaging unit for imaging an outside scene;
An image display unit capable of transmitting the outside scene and displaying an image;
An identified unit used for calibration for superimposing an image displayed on the image display unit by being captured by the imaging unit on an outside scene;
A head-mounted display device comprising:

The head-mounted display device according to claim 1, further comprising:
An instruction indicating that the image display unit displays an identification target image associated with the identified portion and that the identified portion and the identification target image are in a predetermined relative positional relationship. A reception part for receiving,
Based on at least the captured image of the preceding record identifying unit acquired by the imaging unit when the instruction is received, at least one of the position, size, and orientation of the object included in the captured outside scene is set. A head-mounted display device comprising: a calibration unit that sets a parameter for displaying an object image associated with the object in correspondence.

The head-mounted display device according to claim 2,
The identification target image and the image of the identified portion are the same image,
The imaging unit captures an image of the identified unit in a state of being aligned so as to be in the predetermined relative positional relationship so as to overlap the identification target image displayed on the image display unit,
The calibration unit sets the parameter based on the coordinate value of the image of the identified part imaged by the imaging unit and the coordinate value of the identification target image displayed on the image display unit. Part-mounted display device.

The head-mounted display device according to claim 2 or claim 3,
The imaging unit is formed integrally with the image display unit,
The head-mounted display device, wherein the identified part is formed integrally with the calibration part and is formed separately from the image display part.

An image processing system including a transmissive head-mounted display device and an image display device capable of displaying an image,
The head-mounted display device is
An imaging unit for imaging an outside scene;
A first image display unit capable of transmitting the outside scene and displaying an image;
A calibration unit that transmits an image of the identified unit used for calibration for superimposing an image displayed on the first image display unit by being captured by the imaging unit to an external scene; Prepared,
The image display device includes:
A receiving unit that receives the image of the identified unit transmitted by the calibration unit;
An image processing system comprising: a second image display unit that displays an image of the identified unit received by the receiving unit.