JP2017108370A - Head-mounted display device and computer program - Google Patents
Head-mounted display device and computer program Download PDFInfo
- Publication number
- JP2017108370A JP2017108370A JP2016097716A JP2016097716A JP2017108370A JP 2017108370 A JP2017108370 A JP 2017108370A JP 2016097716 A JP2016097716 A JP 2016097716A JP 2016097716 A JP2016097716 A JP 2016097716A JP 2017108370 A JP2017108370 A JP 2017108370A
- Authority
- JP
- Japan
- Prior art keywords
- marker
- image
- unit
- image display
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Studio Devices (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、頭部装着型表示装置の技術に関する。 The present invention relates to a head-mounted display device.
従来から、使用者の頭部に装着される頭部装着型表示装置（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ：ＨＭＤ）が知られている。例えば、特許文献１には、支持手段を介して外景を撮像可能な撮像手段がＨＭＤに対して上下にスライドするビデオシースルー型ＨＭＤが記載されている。 2. Description of the Related Art Conventionally, a head mounted display (HMD) that is mounted on a user's head is known. For example, Patent Document 1 describes a video see-through HMD in which an imaging unit capable of imaging an outside scene through a support unit slides up and down with respect to the HMD.
しかし、非特許文献１に記載された技術では、キャリブレーションを行なうために、右画像表示部と左画像表示部とのそれぞれについて、複数の撮像を行なう必要があった。この場合に、撮像によって得られた複数の撮像画像に基づいて、キャリブレーションが行なわれるため、撮像された複数の画像間における誤差が大きい場合があり、キャリブレーションの精度に向上の余地があった。また、画像を視認する使用者によって、右眼の位置と左眼の位置とには個人差があるため、使用者が画像表示部を透過して視認する外景と撮像部の位置から撮像される外景との関係にばらつきがある。さらに、製造上の精度によっては、撮像部のカメラパラメーターにばらつきがある場合があり、また、画像表示部と画像を撮像する撮像部との相対位置関係とが一定ではなく、ばらつきが発生するおそれがある。そのため、これらのばらつきを考慮した上で、使用者にさらに精度の高い画像を視認させたいという課題があった。また、できるだけ少ない回数の撮像によってキャリブレーションを完了したり、より迅速にキャリブレーションを完了したいという課題があった。 However, in the technique described in Non-Patent Document 1, in order to perform calibration, it is necessary to perform a plurality of images for each of the right image display unit and the left image display unit. In this case, since calibration is performed based on a plurality of captured images obtained by imaging, there may be a large error between the captured images, and there is room for improvement in calibration accuracy. . Also, depending on the user viewing the image, there are individual differences in the position of the right eye and the position of the left eye. There are variations in the relationship with the outside scene. Furthermore, depending on manufacturing accuracy, there may be variations in camera parameters of the imaging unit, and the relative positional relationship between the image display unit and the imaging unit that captures an image is not constant, and variations may occur. There is. For this reason, there has been a problem that the user wants to visually recognize an image with higher accuracy in consideration of these variations. In addition, there is a problem that the calibration is completed by imaging as few times as possible or the calibration is completed more quickly.
光学シースルー型の頭部装着型表示装置を含む画像表示装置が、カメラによって撮像された特定の対象物の位置に画像を精度良く重畳させて表示させる技術を備えれば、ＡＲ（拡張現実）機能に関して、向上した利便性を提供することができる。ただし、カメラで撮像した特定の対象物に表示画像を正しく重畳させる際には、カメラと画像表示部との間の空間関係を正しく求めることが望まれる。 If an image display device including an optical see-through head-mounted display device has a technique for accurately superimposing and displaying an image on the position of a specific object imaged by a camera, an AR (augmented reality) function Can provide improved convenience. However, when the display image is correctly superimposed on a specific object captured by the camera, it is desirable to correctly obtain the spatial relationship between the camera and the image display unit.
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。 SUMMARY An advantage of some aspects of the invention is to solve at least a part of the problems described above, and the invention can be implemented as the following forms.
（１）本発明の一形態によれば、頭部装着型表示装置が提供される。この頭部装着型表示装置は；外光を透過可能であって、画像を表示可能な画像表示部と；撮像部と；マーカー画像のデータを記憶するマーカー画像記憶部と；前記データに基づいて前記マーカー画像を前記画像表示部に表示させる画像設定部と；パラメーター設定部と、を備え；前記パラメーター設定部は、前記画像表示部に表示された前記マーカー画像と前記マーカー画像に対応した実物マーカーとが少なくとも部分的にほぼ一致するように使用者に視認させた状態で前記撮像部が前記実物マーカーの撮像画像を取得した場合に、前記撮像画像に少なくとも基づいて、前記撮像部のカメラパラメーター、および前記撮像部と前記画像表示部との間の空間関係の少なくとも一つを導出する。この形態の頭部装着型表示装置によれば、特定のオブジェクトの位置などに対応付けられて表示されるＡＲ画像の位置および向きの設定を、簡便に行なうことができ、より精度の高いキャリブレーションが実行される。 (1) According to one aspect of the present invention, a head-mounted display device is provided. The head-mounted display device includes: an image display unit capable of transmitting external light and displaying an image; an imaging unit; a marker image storage unit for storing marker image data; and based on the data An image setting unit for displaying the marker image on the image display unit; and a parameter setting unit; the parameter setting unit is an actual marker corresponding to the marker image displayed on the image display unit and the marker image And when the imaging unit obtains a captured image of the real marker in a state in which the user visually recognizes that at least partially substantially matches, the camera parameters of the imaging unit based on at least the captured image, And at least one of a spatial relationship between the imaging unit and the image display unit is derived. According to this type of head-mounted display device, the position and orientation of an AR image displayed in association with the position of a specific object can be easily set, and calibration can be performed with higher accuracy. Is executed.
（２）上記形態の頭部装着型表示装置において、前記画像設定部は、前記パラメーター設定部が前記カメラパラメーターと前記空間関係との少なくとも一方を設定した後に、設定された前記カメラパラメーターと前記空間関係とを用いて、ＡＲ画像の位置と向きと、前記実物マーカーの位置と向きと、が対応した状態の前記ＡＲ画像が前記使用者に視認されるように、前記画像表示部に前記ＡＲ画像を表示してもよい。 (2) In the head-mounted display device according to the above aspect, the image setting unit is configured such that, after the parameter setting unit sets at least one of the camera parameter and the spatial relationship, the set camera parameter and the space The AR image is displayed on the image display unit so that the user can visually recognize the AR image in a state in which the position and orientation of the AR image correspond to the position and orientation of the real marker. May be displayed.
（３）上記形態の頭部装着型表示装置において、前記マーカー画像記憶部は、前記マーカー画像の元となる３次元モデルを前記データとして記憶しており；前記画像設定部は、前記３次元モデルを前記マーカー画像として前記画像表示部に表示させ；前記画像表示部に表示された前記マーカー画像と、前記３次元モデルに対応した３次元形状を有する実物マーカーと、が少なくとも部分的にほぼ一致するように使用者に視認させた状態で前記撮像部が前記実物マーカーの撮像画像を取得した場合に、前記パラメーター設定部は、前記撮像画像に少なくとも基づいて、前記カメラパラメーター、および前記空間関係の少なくとも一つを導出してもよい。 (3) In the head-mounted display device according to the above aspect, the marker image storage unit stores a three-dimensional model as a source of the marker image as the data; the image setting unit includes the three-dimensional model Is displayed on the image display unit as the marker image; the marker image displayed on the image display unit and a real marker having a three-dimensional shape corresponding to the three-dimensional model almost at least partially match each other. When the imaging unit acquires a captured image of the real marker in a state of being visually recognized by the user, the parameter setting unit is based on at least the captured image, the camera parameter, and at least the spatial relationship One may be derived.
（４）上記形態の頭部装着型表示装置において、前記撮像部は前記画像表示部に対して可動であってもよい。 (4) In the head-mounted display device according to the above aspect, the imaging unit may be movable with respect to the image display unit.
本発明は、頭部装着型表示装置以外の種々の形態で実現することも可能である。例えば、画像表示装置、これらの装置を有するシステム、これらの装置の制御方法およびシステムを実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体、および、そのコンピュータープログラムを含み搬送波内に具現化されたデータ信号等の形態で実現できる。 The present invention can also be realized in various forms other than the head-mounted display device. For example, an image display device, a system having these devices, a computer program for realizing these devices, a computer program for realizing the system, a recording medium recording the computer program, and a carrier including the computer program embodied in a carrier wave It can be realized in the form of a data signal or the like.
Ａ．第１実施形態：
Ａ−１．画像表示装置の構成：
図１は、キャリブレーションを行なう頭部装着型表示装置１００（ＨＭＤ１００）の外観構成を示す説明図である。ＨＭＤ１００は、画像表示部２０が表示する表示画像を使用者に視認させ、画像表示部２０を透過する外景も使用者に視認させることができる。詳細な構成については後述するが、本実施形態のＨＭＤ１００は、画像表示部２０を装着した使用者の右眼と左眼とのそれぞれに対応する画像表示部を有しており、使用者の右眼と左眼とに別々の画像を視認させることができる。
A. First embodiment:
A-1. Configuration of image display device:
FIG. 1 is an explanatory diagram showing an external configuration of a head-mounted display device 100 (HMD 100) that performs calibration. The
ＨＭＤ１００は、画像を表示する画像表示部２０と、画像表示部２０を制御する制御部１０（コントローラー１０）と、を備えている。画像表示部２０は、使用者の頭部に装着される装着体であり、眼鏡形状を有している。画像表示部２０は、右保持部２１と、右表示駆動部２２と、左保持部２３と、左表示駆動部２４と、右光学像表示部２６と、左光学像表示部２８と、カメラ６１と、を含んでいる。右光学像表示部２６および左光学像表示部２８は、それぞれ、使用者が画像表示部２０を装着した際に使用者の右および左の眼前に位置するように配置されている。右光学像表示部２６の一端と左光学像表示部２８の一端とは、使用者が画像表示部２０を装着した際の使用者の眉間に対応する位置で、互いに接続されている。
The
右保持部２１は、右光学像表示部２６の他端である端部ＥＲから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部２３は、左光学像表示部２８の他端である端部ＥＬから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右表示駆動部２２と左表示駆動部２４とは、使用者が画像表示部２０を装着した際の使用者の頭部に対向する側に配置されている。
The
表示駆動部２２，２４は、図２で後述する液晶ディスプレイ２４１，２４２（Liquid Crystal Display、以下「ＬＣＤ２４１，２４２」とも呼ぶ）や投写光学系２５１，２５２等を含む。表示駆動部２２，２４の構成の詳細な説明は後述する。光学像表示部２６，２８は、後述する導光板２６１，２６２（図２参照）と調光板とを含んでいる。導光板２６１，２６２は、光透過性の樹脂材料等によって形成され、表示駆動部２２，２４から出力された画像光を使用者の眼に導く。調光板は、薄板状の光学素子であり、使用者の眼の側とは反対の側である画像表示部２０の表側を覆うように配置されている。調光板の光透過率を調整することによって、使用者の眼に入る外光量を調整して虚像の視認のしやすさを調整できる。
The
カメラ６１は、右光学像表示部２６の端部ＥＲにおける上方に配置されている。カメラ６１は、使用者が画像表示部２０を頭部に装着した状態において、使用者の視線方向の外部の景色である外景を撮像し、撮像された画像である撮像画像を取得する。カメラ６１は、画像表示部２０に対して向きを変更でき、撮像範囲を変更できる。また、カメラ６１は、光軸を中心としたズームによって変化する範囲を撮像する。詳細については後述するが、光学像表示部２６または左光学像表示部２８に表示されたキャリブレーション用画像と、外景に含まれるマーカーとが重複するようにカメラ６１によって撮像されることで、キャリブレーションが行なわれる。
The
画像表示部２０は、さらに、画像表示部２０を制御部１０に接続するための接続部４０を有している。接続部４０は、制御部１０に接続される本体コード４８と、右コード４２と、左コード４４と、連結部材４６と、を含んでいる。右コード４２と左コード４４とは、本体コード４８が２本に分岐したコードである。右コード４２は、右保持部２１の延伸方向の先端部ＡＰから右保持部２１の筐体内に挿入され、右表示駆動部２２に接続されている。同様に、左コード４４は、左保持部２３の延伸方向の先端部ＡＰから左保持部２３の筐体内に挿入され、左表示駆動部２４に接続されている。連結部材４６は、本体コード４８と、右コード４２および左コード４４と、の分岐点に設けられ、イヤホンプラグ３０を接続するためのジャックを有している。イヤホンプラグ３０からは、右イヤホン３２および左イヤホン３４が延伸している。画像表示部２０と制御部１０とは、接続部４０を介して各種信号の伝送を行なう。右コード４２と、左コード４４と、本体コード４８とには、例えば、金属ケーブルや光ファイバーを採用できる。
The
制御部１０は、ＨＭＤ１００を制御するための装置である。制御部１０は、静電式のトラックパッドや押下可能な複数のボタンなどを含む操作部１３５を有する。
The
図２は、ＨＭＤ１００の構成を機能的に示すブロック図である。図２に示すように、制御部１０は、ＲＯＭ１２１と、ＲＡＭ１２２と、電源１３０と、操作部１３５と、マーカー画像記憶部１３８と、ＣＰＵ１４０と、インターフェイス１８０と、送信部５１（Ｔｘ５１）および送信部５２（Ｔｘ５２）と、を有している。
FIG. 2 is a block diagram functionally showing the configuration of the
電源１３０は、ＨＭＤ１００の各部に電力を供給する。ＲＯＭ１２１には、種々のコンピュータープログラムが格納されている。後述するＣＰＵ１４０は、ＲＯＭ１２１に格納された各種コンピュータープログラムを、ＲＡＭ１２２に展開することで、各種コンピュータープログラムを実行する。
The
マーカー画像記憶部１３８は、モデルマーカーのデータおよび／または右光学像表示部２６または左光学像表示部２８に表示されるキャリブレーション用画像としてのマーカーＭＫ１のマーカー画像ＩＭＧを記憶している。マーカー画像記憶部１３８は、右光学像表示部２６に表示されるマーカー画像と左光学像表示部２８に表示されるマーカー画像とを同じマーカーの画像ＩＭＧとして記憶している。マーカー画像ＩＭＧは、３次元モデル空間（３Ｄコンピューターグラフィックス空間）で表現された上記モデルマーカー（２Ｄ）を、右光学像表示部２６または左光学像表示部２８のそれぞれの写像パラメーターに基づいて写像したものである。
The marker
図３は、画像表示部２０に表示されるマーカー画像ＩＭＧの一例を示す説明図である。図３に示すように、マーカー画像ＩＭＧは、４つの頂点Ｐ０，Ｐ１，Ｐ２，Ｐ３を直線で結んだ正方形の中に、９個の正円を含んでいる。９個の円の内の５個の円は、頂点Ｐ０と頂点Ｐ２とを結んだ対角線ＣＬ１上に円の中心が存在する。当該５個の円は、対角線ＣＬ１に沿って、頂点Ｐ０に近い円から、円Ｃ１，Ｃ２，Ｃ３，Ｃ４，Ｃ５である。同じように、９個の円の内の５個の円は、頂点Ｐ１と頂点Ｐ３とを結んだ対角線ＣＬ２上に円の中心が存在する。当該５個の円は、対角線ＣＬ２に沿って、頂点Ｐ１に近い円から、円Ｃ６，Ｃ７，Ｃ３，Ｃ８，Ｃ９である。円Ｃ３は、対角線ＣＬ１と対角線ＣＬ２との交点であると共に、正方形の重心である点を中心とする円である。本実施形態では、対角線ＣＬ１上に中心を有する５個の円における隣接する円の中心間の距離は、同じ距離になるように設定されている。同じように、対角線ＣＬ２上に中心を有する５個の円における隣接する円の中心間の距離は、同じ距離になるように設定されている。また、対角線ＣＬ１に中心を有する隣接する円の中心間の距離と、対角線ＣＬ２に中心を有する隣接する円の中心間の距離とは、同じ距離である。９個の円の大きさは、同じ大きさである。なお、対角線ＣＬ１および対角線ＣＬ２は、便宜上、図３に示しているのであり、マーカー画像ＩＭＧには含まれない直線である。
FIG. 3 is an explanatory diagram illustrating an example of the marker image IMG displayed on the
図３では、色の違いを、ハッチングを変えることで表している。そのため、図３に示すように、マーカー画像ＩＭＧには、円Ｃ３の内部の黄色と、円Ｃ５の内部の緑色と、円Ｃ３，Ｃ５と異なる７個の円Ｃ１，Ｃ２，Ｃ４，Ｃ６，Ｃ７，Ｃ８，Ｃ９の内部の白色と、正方形の中に含まれ、９個の円を含まない部分の黒色と、の４色が存在する。また、図３では、円Ｃ３の中心Ｃ３Ｐを原点とするＸ軸とＹ軸とが示されている。後述するキャリブレーション実行処理では、中心Ｃ３Ｐを原点として、各種の座標値が特定される。マーカー画像ＩＭＧに含まれる９個の円の内、円Ｃ３と円Ｃ５との色がその他の７個の円と異なるのは、中心円としての円Ｃ３と、撮像された実物のマーカーＭＫ１の方向を特定するための円Ｃ５と、を区別するためである。 In FIG. 3, the difference in color is represented by changing the hatching. Therefore, as shown in FIG. 3, the marker image IMG includes a yellow color inside the circle C3, a green color inside the circle C5, and seven circles C1, C2, C4, C6, C7 different from the circles C3, C5. , C8, C9, and the four colors of white, which are included in the square and do not include the nine circles, are black. FIG. 3 also shows the X axis and the Y axis with the center C3P of the circle C3 as the origin. In the calibration execution process described later, various coordinate values are specified with the center C3P as the origin. Among the nine circles included in the marker image IMG, the colors of the circle C3 and the circle C5 are different from the other seven circles in that the circle C3 as the center circle and the direction of the captured actual marker MK1 This is for distinguishing from the circle C5 for identifying.
図２に示すＣＰＵ１４０は、ＲＯＭ１２１に格納されているコンピュータープログラムを、ＲＡＭ１２２に展開することにより、オペレーティングシステム１５０（ＯＳ１５０）、表示制御部１９０、音声処理部１７０、画像処理部１６０、表示設定部１６５、マーカー特定部１６６および演算部１６７として機能する。
The
表示制御部１９０は、右表示駆動部２２および左表示駆動部２４を制御する制御信号を生成する。表示制御部１９０は、右表示駆動部２２および左表示駆動部２４のそれぞれによる画像光の生成および射出を制御する。表示制御部１９０は、右ＬＣＤ制御部２１１と左ＬＣＤ制御部２１２とに対する制御信号のそれぞれを、送信部５１および５２を介して送信する。また、表示制御部１９０は、右バックライト制御部２０１と左バックライト制御部２０２とに対する制御信号のそれぞれを送信する。
The
画像処理部１６０は、コンテンツに含まれる画像信号を取得し、送信部５１，５２を介して、取得した画像信号を画像表示部２０の受信部５３，５４へと送信する。音声処理部１７０は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、連結部材４６に接続された右イヤホン３２内のスピーカー（図示しない）および左イヤホン３４内のスピーカー（図示しない）に対して供給する。
The
表示設定部１６５は、マーカー画像記憶部１３８に記憶されたマーカーＭＫ１の画像を右光学像表示部２６または左光学像表示部２８に表示させる。表示設定部１６５は、キャリブレーション実行時に、操作部１３５が受け付けた操作に基づいて、マーカー画像ＩＭＧを右光学像表示部２６に表示する場合と、マーカー画像ＩＭＧを左光学像表示部２８に表示する場合とを制御する。
The
マーカー特定部１６６は、カメラ６１によって撮像された撮像画像の中から、例えば、制御部１０の裏面（操作部１３５の反対側の面）や所定の壁などに配置されたマーカーＭＫ１の実物マーカーＲＬを特定する。実物マーカーＲＬを特定するための具体的な処理については、後述するが、マーカー特定部１６６は、実物マーカーＲＬの４つの頂点、９個の円の中心の座標値、９個の円の色などを抽出することで、撮像画像の中から実物マーカーＲＬを特定する。マーカー特定部１６６は、例えば、撮像画像の色の階調値を２値化することで、マーカーＭＫ１における色の異なる９個の円などを抽出する。なお、マーカー画像ＩＭＧは、請求項における第１のマーカーの画像に相当し、実物マーカーＲＬは、第２のマーカーに相当する。
The
演算部１６７は、マーカー特定部１６６によって特定された実物マーカーＲＬの座標値と、右光学像表示部２６または左光学像表示部２８に表示されたマーカー画像ＩＭＧに対応する画素の座標値と、に基づいて、カメラ６１に関するパラメーターを最適化する。カメラ６１に関するパラメーターの最適化は、予め既知ではない（未知である）カメラ６１の焦点距離に関連するパラメーターおよび主点位置（例えば撮像画像の中心座標）などを含むパラメーターを、得られた座標値を用いて、最適化できるように計算する。最適化により導出されたカメラパラメーターを用いて対象物が撮像されて撮像画像が取得されると、撮像画像における対象物の位置と、ユーザーから見たときの対象物に重なる画像表示部上の表示位置とが対応付けられることとなる。この結果、使用者は、画像表示部２０を介してＡＲ（Augmented Reality）画像が、当該対象物に対して位置、大きさ、姿勢の少なくとも一つが一致するように視認することができる。なお、カメラ６１のパラメーターの最適化の詳細については、後述する。
The
インターフェイス１８０は、制御部１０に対して、コンテンツの供給元となる種々の外部機器ＯＡを接続するためのインターフェイスである。外部機器ＯＡとしては、例えば、ＡＲシナリオを記憶している記憶装置、パーソナルコンピューター（ＰＣ）や携帯電話端末、ゲーム端末等、がある。インターフェイス１８０としては、例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等、を用いることができる。
The
図２に示すように、画像表示部２０は、右表示駆動部２２と、左表示駆動部２４と、右光学像表示部２６としての右導光板２６１と、左光学像表示部２８としての左導光板２６２と、カメラ６１と、を備えている。
As shown in FIG. 2, the
右表示駆動部２２は、受信部５３（Ｒｘ５３）と、光源として機能する右バックライト制御部２０１（右ＢＬ制御部２０１）および右バックライト２２１（右ＢＬ２２１）と、表示素子として機能する右ＬＣＤ制御部２１１および右ＬＣＤ２４１と、右投写光学系２５１と、を含んでいる。右バックライト制御部２０１と右バックライト２２１とは、光源として機能する。右ＬＣＤ制御部２１１と右ＬＣＤ２４１とは、表示素子として機能する。
The right
受信部５３は、制御部１０と画像表示部２０との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部２０１は、入力された制御信号に基づいて、右バックライト２２１を駆動する。右バックライト２２１は、例えば、ＬＥＤやエレクトロルミネセンス（ＥＬ）等の発光体である。右ＬＣＤ制御部２１１は、画像処理部１６０および表示制御部１９０から送信された制御信号に基づいて、右ＬＣＤ２４１を駆動する。右ＬＣＤ２４１は、複数の画素をマトリクス状に配置した透過型液晶パネルである。
The receiving
右投写光学系２５１は、右ＬＣＤ２４１から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。右光学像表示部２６としての右導光板２６１は、右投写光学系２５１から出力された画像光を、所定の光路に沿って反射させつつ使用者の右眼ＲＥに導く。なお、左表示駆動部２４は、右表示駆動部２２と同様の構成を有し、使用者の左眼ＬＥに対応するため、説明を省略する。
The right projection
Ａ−２．キャリブレーション実行処理：
図４は、本実施形態におけるキャリブレーション実行処理のフローチャートである。キャリブレーション実行処理は、ＣＰＵ１４０が右光学像表示部２６または左光学像表示部２８に表示されたマーカー画像ＩＭＧと外景から特定された実物マーカーＲＬとが重複する状態で撮像し、マーカー画像ＩＭＧの座標値と実物マーカーＲＬの座標値とを用いて、キャリブレーションを行なうためのカメラ６１のパラメーターを最適化する処理である。
A-2. Calibration execution process:
FIG. 4 is a flowchart of the calibration execution process in the present embodiment. In the calibration execution process, the
キャリブレーション実行処理では、初めに、表示設定部１６５は、マーカー画像ＩＭＧを、使用者の右眼に対応する右画像表示部としての右光学像表示部２６のみに表示させる（ステップＳ１１）。
In the calibration execution process, first, the
図５は、右光学像表示部２６のみにマーカー画像ＩＭＧが表示された状態の概略図である。図５には、使用者が、予め画像表示部２０を装着した使用者の仮想の右眼の位置として設定された右眼位置ＲＰから、右光学像表示部２６に表示されたマーカー画像ＩＭＧを視認した場合の概略が示されている。また、図５には、撮像される三次元空間の座標軸を表す座標軸ＣＤ２と、撮像された二次元画像の座標軸を表す座標軸ＣＤ１と、が示されている。使用者は、右光学像表示部２６に表示されたマーカー画像ＩＭＧを、画像表示部２０から距離Ｌ１離れた位置に存在するマーカーＭＫ１として視認する。
FIG. 5 is a schematic view showing a state in which the marker image IMG is displayed only on the right optical
図４のステップＳ１１の処理が行なわれると、マーカー特定部１６６は、使用者に対して、右光学像表示部２６に表示されたマーカー画像ＩＭＧと、外景に存在する実物マーカーＲＬとが重なるように位置合わせを促す（ステップＳ１３）。
When the process of step S11 of FIG. 4 is performed, the
図６には、外景ＳＣに含まれる実物マーカーＲＬと、右光学像表示部２６に表示されたマーカー画像ＩＭＧおよび文字画像ＴＸ１と、が示されている。文字画像ＴＸ１は、使用者にマーカー画像ＩＭＧと実物マーカーＲＬとの位置合わせを行なった後に、撮像を促すことを文字で表す画像である。具体的には、文字画像ＴＸ１は、「重複させてから撮像ボタンを押してください」を表す文字の画像である。図６に示すように、マーカー画像ＩＭＧの中心と実物マーカーＲＬの中心とは、一致していない。また、図６に示す例では、実物マーカーＲＬは、マーカー画像ＩＭＧに対して、角度θ１傾いている。この場合に、画像表示部２０を装着した使用者は、自身の位置や向きを変えることで、実物マーカーＲＬにマーカー画像ＩＭＧを重ねることができる。
FIG. 6 shows a real marker RL included in the outside scene SC, and a marker image IMG and a character image TX1 displayed on the right optical
マーカー特定部１６６は、図４のステップＳ１３の処理を行なうと、マーカー画像ＩＭＧと実物マーカーＲＬと位置合わせが完了しているか否かを判定する（ステップＳ１５）。マーカー特定部１６６は、図６の文字画像ＴＸ１に示すように、使用者によって撮像ボタンが押下される操作の有無によって、位置合わせの完了の判定を行なう。撮像ボタンとしては、予め設定された操作部１３５のいずれかのボタンでよく、種々変形可能である。
When the process of step S13 in FIG. 4 is performed, the
撮像ボタンの押下の操作がなく、マーカー特定部１６６は、位置合わせが完了していないと判定した場合には（ステップＳ１５：ＮＯ）、引き続き、位置合わせが完了したことを表す撮像ボタンの押下の操作を待機する。撮像ボタンの押下の操作があると、マーカー特定部１６６は、位置合わせが完了していると判定し（ステップＳ１５：ＹＥＳ）、カメラ６１によって外景ＳＣを撮像する（ステップＳ１７）。
When the imaging button is not pressed and the
次に、表示設定部１６５は、右光学像表示部２６のみに表示させたマーカー画像ＩＭＧを非表示にして、左光学像表示部２８のみにマーカー画像ＩＭＧを表示させる（ステップＳ１９）。その後、ステップＳ１３からステップＳ１７までの使用者の右眼ＲＥに対応する処理と同じように、マーカー特定部１６６は、使用者の左眼ＬＥに対して、マーカー画像ＩＭＧと実物マーカーＲＬとが重なるように位置合わせを促す（ステップＳ２１）。
Next, the
マーカー特定部１６６は、仮想の左眼位置ＬＰを基準として、使用者に位置合わせを促すと、マーカー画像ＩＭＧと実物マーカーＲＬとの位置合わせが完了しているか否かを判定する（ステップＳ２３）。マーカー特定部１６６は、使用者による撮像ボタンの押下の操作がなく、位置合わせが完了していないと判定する場合には（ステップＳ２３：ＮＯ）、引き続き、位置合わせが完了したことを示す撮像ボタンの押下の操作を待機する。撮像ボタンの押下の操作があると、マーカー特定部１６６は、位置合わせが完了していると判定し（ステップＳ２３：ＹＥＳ）、カメラ６１によって、外景ＳＣを撮像する（ステップＳ２５）。次に、演算部１６７は、右眼位置ＲＰと左眼位置ＬＰとのそれぞれを基準とした撮像画像を基に、カメラ６１のパラメーターを未知として最適化する（ステップＳ３０）。
When the
カメラ６１に関するパラメーターとして、４個のパラメーターＣＰ（ｆｘ、ｆｙ、Ｃｘ、Ｃｙ）が存在する。（ｆｘ、ｆｙ）は撮像部の焦点距離であり、画素密度に基づいて画素数に換算されている。
There are four parameters CP (fx, fy, Cx, Cy) as parameters relating to the
カメラパラメーターは、撮像部の主要部分を構成するカメラ６１の製品仕様から知ることができる（以下ではこれをデフォルトカメラパラメーターとも表記する）。ただし、実際のカメラのカメラパラメーターがデフォルトカメラパラメーターから大きくずれていることが多い。しかも、同じ仕様のカメラであっても、カメラ間で、カメラパラメーターがばらついている（揃っていない）ことがある。
The camera parameters can be known from the product specifications of the
ＡＲオブジェクトにおける位置、大きさ、姿勢の少なくとも一つが実物体にアライン（重畳）するように使用者に視認させる場合、カメラ６１は、当該実物体の位置および姿勢を検出する検出機として機能する。このとき、演算部１６７は、カメラパラメーターを用いて、カメラ６１に撮像された実物体のカメラ６１に対する位置および姿勢を推定する。さらに、演算部１６７は、当該位置および姿勢を、カメラ６１と左光学像表示部２８（右光学像表示部２６）との間の相対位置関係を用いて、左光学像表示部２８に対する実物体の位置および姿勢に変換する。さらに、演算部１６７は、当該変換された位置および姿勢に基づいて、ＡＲオブジェクトの位置および姿勢を決定する。そして、画像処理部１６０は、当該位置および姿勢を有するＡＲオブジェクトを、写像パラメーターを用いて表示座標系に写像（変換）し、表示バッファ（例えばＲＡＭ１２２）に書き込む。そして、画像制御部は、表示バッファに書き込まれたＡＲオブジェクトを左画像表示部２８に表示する。このため、カメラパラメーターがデフォルトカメラパラメーターである場合には、推定される実物体の位置および姿勢に誤差が含まれることとなる。そうすると、推定された位置および姿勢の誤差に由来して、表示されたＡＲオブジェクトと実物体との重畳に誤差があるように使用者に視認される。
When the user visually recognizes that at least one of the position, size, and posture of the AR object is aligned (superimposed) with the real object, the
そこで、本実施形態では、ＡＲオブジェクトが対象物に重畳して使用者に視認されるようにするためのキャリブレーションの際に、カメラパラメーターが、最適化により導出される。そして、導出されたカメラパラメーターが用いられて、対象物の位置および姿勢が検出（推定）されるようにする。そうすれば、ＡＲオブジェクトの表示において、表示されるＡＲオブジェクトと実物体との間に発生するずれが使用者に視認される度合いが低くなる。後述するように、同じＨＭＤ１００の使用者が同一人であっても、カメラパラメーターの導出は、キャリブレーションが行なわれるごとに行なわれ、当該キャリブレーションに引き続いて行なわれる対象物とＡＲオブジェクトとの間での位置、大きさ、向きの少なくとも一つが一致した表示のために使用されることが好ましい。これは、キャリブレーションの際に、必ずしも使用者は、実物マーカーＲＬと、実物マーカーＲＬに対応したマーカー画像ＩＭＧとを、同じ精度で位置合わせするとは限らないことによる。たとえ使用者が違う精度で位置合わせしても、それに応じたカメラパラメーターが導出されることから、ＡＲオブジェクトの重畳表示がされる場合に重畳表示のずれの増大が抑制される。
Therefore, in the present embodiment, camera parameters are derived by optimization during calibration so that the AR object is superimposed on the object and visually recognized by the user. The derived camera parameters are used to detect (estimate) the position and orientation of the object. If it does so, in the display of AR object, the degree which a user will visually recognize the gap which arises between the displayed AR object and a real object becomes low. As will be described later, even if the
カメラ６１に固定された座標系と左光学像表示部２８に固定された座標系との間の相対位置関係（回転および並進の少なくとも一つ）は、ＨＭＤ１００の設計仕様から知ることができる（以下ではこれをデフォルト相対位置関係とも表記する）。デフォルト相対位置関係によれば、両座標系の間に回転のずれはない。ただし、実際には、カメラ６１を画像表示部２０への取付時の作業上の理由から、両座標系の間に回転のずれが生じていることがある。また、同じ仕様のＨＭＤ１００でもＨＭＤ１００の間で、両座標系の間の回転のずれにばらつきがある。上記回転のずれは、カメラ６１と左光学像表示部２８との間でも同様に発生するおそれがある。
The relative positional relationship (at least one of rotation and translation) between the coordinate system fixed to the
デフォルトカメラパラメーターについての説明から理解されるように、ＡＲオブジェクトにおける位置、大きさ、姿勢の少なくとも一つが実物体にアライン（重畳）するように使用者に視認させる場合、デフォルト相対位置関係に基づいてＡＲオブジェクトを表示すると、表示されたＡＲオブジェクトと実物体との重畳に誤差が視認される。 As can be understood from the description of the default camera parameters, when the user visually recognizes that at least one of the position, size, and posture of the AR object is aligned (superimposed) on the real object, the default relative positional relationship is used. When the AR object is displayed, an error is visually recognized in the superimposition of the displayed AR object and the real object.
そこで、本実施形態では、ＡＲオブジェクトが対象物に重畳して使用者に視認されるようにするためのキャリブレーションの際に、カメラ６１の座標系と、右光学像表示部２６の座標系および左光学像表示部２８の座標系と、の間の回転を表すパラメーターを、最適化により導出する。そして、導出された当該パラメーターを用いてＡＲオブジェクトの表示をすると、ユーザーにずれが視認される度合いが低くなる。
Therefore, in the present embodiment, in the calibration for the AR object to be superimposed on the target and visually recognized by the user, the coordinate system of the
図５に示すように、使用者が、左光学像表示部２８に表示されたマーカー画像ＩＭＧと、外景に含まれ前方に位置する実物マーカーＲＬと、が位置、大きさ、向きが一致するように使用者が視認するとき（以下、使用者が左眼でアライメントを成立させるときともいう）、座標系の間には、次の式（１）の関係が成り立つ。なお、以降では、左光学像表示部２８にマーカー画像ＩＭＧが表示された場合について説明する。
ここで、左辺および右辺のＣＰは、カメラ６１のカメラパラメーターである。［Ro2dl, to2dl］は、実オブジェクト（この場合、実物マーカーＲＬ）に固定された座標系から左光学像表示部２８に固定された座標系への変換行列であり、このうち、［Ro2dl］が回転を表す３×３の行列であり、［to2dl］が並進を表す３×１の行列である。ModelMatrixは、モデルマーカー上の任意の１点を表す３×１の行列である。モデルマーカーは、マーカー画像が光学像表示部２８に表示される場合の基礎となる３次元データ（３次元モデル：ただし本実施形態では平面）である。［Ro2dl, to2dl］×ModelMatrixの表記は、下記の式（２）の規則に従っている。
式（１）の右辺における［Rcam2left, tcam2left］は、カメラ６１の座標系から左光学像表示部２８の座標系への変換行列である。式（１）の右辺における［Robj2cam, tobj2cam］は、実オブジェクト（実物マーカーＲＬ）の座標系からカメラ６１の座標系への変換行列である。
[R cam2left , t cam2left ] on the right side of Expression (1) is a transformation matrix from the coordinate system of the
上記（１）の関係から、左画像表示部２８について、マーカー画像ＩＭＧと実物マーカーＲＬとのアライメントが成立しているとき、以下の式（３）、（４）が成り立つ。
左眼ＬＥのアライメントが成立すると仮定したとき、実物マーカーＲＬのカメラ６１に対する姿勢をモデルマーカーに適用すると、カメラ６１の座標系に変換されたモデルマーカー上の任意の点は次の式（５）のPcl（Xcl, Ycl, Zcl）のようになる。
式（３）および式（４）により、Robj2cam,tobj2camを消去すると式（５）は以下の式（６）のようになる。
式（６）の右辺において、Ro2dlおよびto2dlは、実物マーカーＲＬの座標系から左光学像表示部２８の座標系への回転および並進であり、本実施形態では、ユーザーが左光学像表示部２８に表示されたマーカー画像ＩＭＧを実物マーカーＲＬに位置合わせしたときに、所定の回転および並進となるように、左光学像表示部２８上の所定位置（例えば中央）に所定の配向かつ所定の大きさで、固定されて表示される。Tcam2leftは、カメラの座標系から左光学像表示部２８の座標系への並進であり、ＨＭＤ１００の仕様から既知の値が使用できる。本実施形態では、
式（５）で表されるモデルマーカーをカメラ６１の撮像画像上に写像するとき、撮像画像上のモデルマーカーの座標は、次のようになる。
カメラ６１が実際に実物マーカーＲＬを撮像した場合の撮像画像におけるマーカーの特徴要素の座標を（ul, vl）と表記すると、（ul, vl）と（ximl, yiml）との差は以下のようになる。
使用者が、右眼ＲＥで右光学像表示部２６に表示されたマーカーと、実物マーカーＲＬと、を位置合わせした場合についても、同様に二乗和を導出する。
ERとELとの和により、コスト関数Eを定義する。
本実施形態では、カメラ６１の座標系から左光学像表示部２８の座標系への回転（Rcam2left）と、カメラ６１の座標系から右光学像表示部２６の座標系への回転（Rcam2right）と、カメラ６１のカメラパラメーターと、を最適化のための変数とする。最適化にあたり、初期値として、設計値を使用してよい。なお、後述するように、Rcam2leftとRcam2rightとを設計値などに固定し、カメラパラメーターだけを最適化してもよい。
In this embodiment, rotation from the coordinate system of the
本実施形態では、Rcam2leftおよびRcam2rightを構成する６つの回転を四元数ｑで表し、最適化されるパラメーター（変数）ｐを以下のように表記する。
ここで、
here,
以下、式（１５）を最小化する処理に用いられるヤコビ行列の導出を説明する。以下では、左眼ＬＥのアライメントが成立する場合についてのみ説明するが、右眼ＲＥのアライメントが成立する場合についても、左眼ＬＥの場合と同様に導くことができる。 Hereinafter, the derivation of the Jacobian matrix used for the process of minimizing Expression (15) will be described. Hereinafter, only the case where the alignment of the left eye LE is established will be described, but the case where the alignment of the right eye RE is established can also be derived in the same manner as in the case of the left eye LE.
左眼ＬＥのアライメントが成立するときについて、ヤコビ行列JLは、以下の通りになる。
以上説明したように、本実施形態にＨＭＤ１００では、マーカー特定部１６６は、右光学像表示部２６または左光学像表示部２８に表示されたマーカー画像ＩＭＧに実物マーカーＲＬが重なるように位置合わせされた後、カメラ６１が外景ＳＣを撮像する。そして、演算部１６７は、撮像画像上の実物マーカーＲＬと、撮像画像上に写像されたモデルマーカーとの間におけるマーカーＭＫ１の９組の円の中心の座標値を用いて、少なくともカメラ６１に関連するカメラパラメーターＣＰを含むパラメーターｐを、コスト関数Ｅが最小となるように最適化により導出する。本実施形態のＨＭＤ１００では、ＣＰＵ１４０が、導出されたパラメーターｐを用いて、カメラ６１を介して対象物の位置および姿勢を検出し（検出工程）、検出された位置および姿勢に基づいて、ＡＲオブジェクトの位置、大きさ、および向きの少なくとも一つが対象物に一致して使用者が視認するように、右光学像表示部２６および左光学像表示部２８のＡＲオブジェクトの画像表示を行なう（重畳表示工程）。この結果、製造過程で発生するおそれがある撮像部の焦点距離や撮像センサーの位置のずれを低減して、外景ＳＣに表示画像を重畳させることができる。または、使用者が視認するＡＲオブジェクトと対象物との重畳表示の精度が高くなる。上記実施形態によれば、左右の画像表示部のそれぞれについて、ユーザーは１回の位置合わせを行えば、重畳表示の十分な精度が得られる。そして、実物マーカーＲＬとマーカー画像ＩＭＧとの位置合わせがより少ない回数（例えば１回）で済むので、ユーザーが複数回位置合わせをすることに伴う位置合わせの誤差の累積が、キャリブレーションに影響を与えることを防止することができる。
As described above, in the
また、本実施形態のＨＭＤ１００では、演算部１６７は、マーカーＭＫ１における９個の円の中心点の座標値を用いて、パラメーターＰを最適化するため、コスト関数Ｅをより小さくする最適化を実行でき、より精度の高いキャリブレーションを実行できる。
Further, in the
Ａ−３．第１実施形態の変形例：
なお、この発明は上記実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば、次のような変形も可能である。
A-3. Modification of the first embodiment:
In addition, this invention is not limited to the said embodiment, It can implement in a various aspect in the range which does not deviate from the summary, For example, the following deformation | transformation is also possible.
Ａ−３−１．変形例１：
上記実施形態では、演算部１６７は、１２個のパラメーターｐを未知のパラメーターとして最適化により導出したが、製造時の設計値からのばらつきが少ない場合には、これらの内のいくつかのパラメーターについては設計値を設定し、残りパラメーターを未知のパラメーターとして導出してもよい。例えば、導出するパラメーターｐをカメラ６１のカメラパラメーターＣＰだけにしてもよい。
In the above embodiment, the
Ａ−３−２．変形例２：
上記実施形態では、右光学像表示部２６にマーカー画像ＩＭＧが表示された場合と左光学像表示部２８にマーカー画像ＩＭＧが表示された場合との計２回の外景ＳＣの撮像が行なわれたが、キャリブレーションを実行するために行なわれる撮像の回数については、種々変形可能である。例えば、右光学像表示部２６のみにマーカー画像ＩＭＧが表示された状態の１回の外景ＳＣの撮像のみで、演算部１６７は、パラメーターの最適化を実行してもよい。一方、２回よりも多い回数の実物マーカーＲＬを含む外景ＳＣの撮像が行なわれて、演算部１６７は、コスト関数Ｅをより小さくするパラメーターの最適化を実行してもよい。また、上記実施形態とは異なり、単眼のＨＭＤの場合には、一方の眼に対応する画像表示部または両方の眼に対応する１つの画像表示部（つまり単眼のＨＭＤ）にマーカー画像ＩＭＧが表示されて、キャリブレーションが実行されてもよい。
A-3-2. Modification 2:
In the above embodiment, the outside scene SC is imaged twice in total when the marker image IMG is displayed on the right optical
上記実施形態では、右光学像表示部２６に表示されるマーカーと左光学像表示部２８に表示されるマーカーとは、同じマーカー画像ＩＭＧであったが、マーカー画像ＩＭＧおよび実物マーカーＲＬについては、種々変形可能である。例えば、右光学像表示部２６と左光学像表示部２８とのそれぞれに表示されるマーカーの画像は、異なるマーカーの画像であってもよい。また、マーカー画像ＩＭＧおよび実物マーカーＲＬは、マーカーＭＫ１の画像に限られず、導出されるパラメーターの精度に応じて、種々変形可能である。例えば、マーカーＭＫ１に含まれる円の数は、９個に限られず、９個よりも多くてよいし、９個よりも少なくてもよい。また、マーカーＭＫ１に含まれる複数の特徴点は、円の中心でなくてもよく、単に三角形の重心であってもよい。また、マーカーＭＫ１の内部に並行でない複数の直線が形成されて、直線の交点が複数の特徴点として特定されてもよい。また、マーカー画像ＩＭＧと実物マーカーＲＬとは、異なるマーカーであってもよい。マーカー画像と実物マーカーとを重ねる場合に、どの部分を重ね合わせるのかが使用者に認識される範囲で、マーカー画像と実物マーカーとについては、種々変形可能である。例えば、矩形状のマーカー画像に対して、正円の実物マーカーの中心をマーカー画像の中心に合わせるような位置合わせであってもよい。
In the above embodiment, the marker displayed on the right optical
Ｂ．第２実施形態：
Ｂ−１．画像表示装置の構成：
図７ないし図９は、キャリブレーションを行なう頭部装着型表示装置１００Ｂ（ＨＭＤ１００Ｂ）の外観構成を示す説明図である。ＨＭＤ１００Ｂは、画像表示部２０Ｂが表示する表示画像を使用者に視認させ、画像表示部２０Ｂ（図７）を透過する外景も使用者に視認させることができる。詳細な構成については後述するが、本実施形態のＨＭＤ１００Ｂは、画像表示部２０Ｂを装着した使用者の右眼と左眼とのそれぞれに対応する画像表示部を有しており、使用者の右眼と左眼とに別々の画像を視認させることができる。
B. Second embodiment:
B-1. Configuration of image display device:
7 to 9 are explanatory diagrams showing an external configuration of a head-mounted
図８に示すように、ＨＭＤ１００Ｂは、使用者ＵＳの頭部装着型表示装置に装着される装着帯９０Ｂと、装着帯９０Ｂに接続されている画像表示部２０Ｂと、画像表示部２０を制御する制御部１０Ｂ（コントローラー１０Ｂ）と、制御部１０Ｂと装着帯９０Ｂとを接続する接続部４０Ｂと、を備えている。図７に示すように、装着帯９０Ｂは、樹脂製の装着基部９１Ｂと、装着基部９１Ｂに連結される布製のベルト部９２Ｂと、カメラ６０Ｂと、を備える。装着基部９１Ｂは、人の前頭部の形に合った湾曲した形状を有する。ベルト部９２Ｂは、使用者の頭部の周りに装着されるためのベルトである。なお、図８では、接続部４０Ｂは、装着帯９０Ｂと制御部１０Ｂ側とを有線で接続しているが、接続している部分については、図示を省略している。
As shown in FIG. 8, the
カメラ６０Ｂは、外景を撮像可能で、装着基部９１Ｂの中心部分に配置されている。換言すると、カメラ６０Ｂは、装着帯９０Ｂが使用者の頭部に装着された状態で、使用者の額の中央に対応する位置に配置されている。そのため、カメラ６０Ｂは、使用者が装着帯９０Ｂを頭部に装着した状態において、使用者の視線方向の外部の景色である外景を撮像し、撮像された画像である撮像画像を取得する。図８に示すように、カメラ６０Ｂは、装着基部９１Ｂに対して、円弧ＲＣに沿って所定の範囲で可動する。換言すると、カメラ６０Ｂは、撮像範囲を所定の範囲で変更できる。
The
図８に示すように、画像表示部２０Ｂは、連結部９３Ｂを介して装着基部９１Ｂに接続され、眼鏡形状を有している。連結部９３Ｂは、装着基部９１Ｂおよび画像表示部２０Ｂの両側に対象的に配置され、連結部９３Ｂを中心として、装着基部９１Ｂに対する画像表示部２０Ｂの位置を円弧ＲＡに沿って回動可能に支持する。図８において二点鎖線で示す位置Ｐ１１Ｂは、画像表示部２０Ｂが円弧ＲＡに沿った最も下端である。また、図８において実線で示す位置Ｐ１２Ｂは、画像表示部２０Ｂが円弧ＲＡに沿った最も上端である。
As shown in FIG. 8, the
また、図９に示すように、マーカー画像ＩＭＧを表示する表示パネルを有する光学像表示部２６Ｂ，２８Ｂは、保持部２１Ｂ，２３Ｂに対して、直線ＴＡに沿って所定の範囲で平行移動して位置を変更する。図９において二点鎖線で示す位置Ｐ１３Ｂは、光学像表示部２６Ｂ，２８Ｂが直線ＴＡに沿った最も下端である。図９において実線で示す位置Ｐ１１Ｂは、光学像表示部２６Ｂ，２８Ｂが直線ＴＡに沿った最も上端である。なお、図８における位置Ｐ１１Ｂと、図９における位置Ｐ１１Ｂとは、同じ位置を示している。
Further, as shown in FIG. 9, the optical
図７に示すように、画像表示部２０Ｂは、右保持部２１Ｂと、右表示駆動部２２Ｂと、左保持部２３Ｂと、左表示駆動部２４Ｂと、右光学像表示部２６Ｂと、左光学像表示部２８Ｂと、を含んでいる。右光学像表示部２６Ｂおよび左光学像表示部２８Ｂは、それぞれ、使用者が画像表示部２０Ｂを装着した際に使用者の右および左の眼前に位置するように配置されている。右光学像表示部２６Ｂの一端と左光学像表示部２８Ｂの一端とは、使用者が画像表示部２０Ｂを装着した際の使用者の眉間に対応する位置で、互いに接続されている。
As shown in FIG. 7, the
右保持部２１Ｂは、右光学像表示部２６Ｂの他端から装着基部９１Ｂと接続されている連結部９３Ｂに延伸して設けられた部材である。同様に、左保持部２３Ｂは、左光学像表示部２８の他端から連結部９３Ｂに延伸して設けられた部材である。右表示駆動部２２と左表示駆動部２４Ｂとは、使用者が画像表示部２０Ｂを装着した際の使用者の頭部に対向する側に配置されている。
The
表示駆動部２２Ｂ，２４Ｂは、図８で後述する液晶ディスプレイ２４１Ｂ，２４２Ｂ（Liquid Crystal Display、以下「ＬＣＤ２４１Ｂ，２４２Ｂ」とも呼ぶ）や投写光学系２５１Ｂ，２５２Ｂ等を含む。表示駆動部２２Ｂ，２４Ｂの構成の詳細な説明は後述する。光学像表示部２６Ｂ，２８Ｂは、後述する導光板２６１Ｂ，２６２Ｂ（図１０参照）と調光板とを含んでいる。導光板２６１Ｂ，２６２Ｂは、光透過性の樹脂材料等によって形成され、表示駆動部２２Ｂ，２４Ｂから出力された画像光を使用者の眼に導く。調光板は、薄板状の光学素子であり、使用者の眼の側とは反対の側である画像表示部２０Ｂの表側を覆うように配置されている。調光板の光透過率を調整することによって、使用者の眼に入る外光量を調整して虚像の視認のしやすさを調整できる。
The
制御部１０Ｂは、ＨＭＤ１００Ｂを制御するための装置である。制御部１０Ｂは、静電式のトラックパッドや押下可能な複数のボタンなどを含む操作部１３５Ｂを有する。
The
図１０は、ＨＭＤ１００Ｂの構成を機能的に示すブロック図である。図１０に示すように、制御部１０Ｂは、ＲＯＭ１２１Ｂと、ＲＡＭ１２２Ｂと、電源１３０Ｂと、操作部１３５Ｂと、マーカー画像記憶部１３８Ｂと、ＣＰＵ１４０Ｂと、インターフェイス１８０Ｂと、送信部５１Ｂ（Ｔｘ５１Ｂ）および送信部５２Ｂ（Ｔｘ５２Ｂ）と、を有している。
FIG. 10 is a block diagram functionally showing the configuration of the
電源１３０Ｂは、ＨＭＤ１００Ｂの各部に電力を供給する。ＲＯＭ１２１Ｂには、種々のコンピュータープログラムが格納されている。後述するＣＰＵ１４０Ｂは、ＲＯＭ１２１Ｂに格納された各種コンピュータープログラムを、ＲＡＭ１２２Ｂに展開することで、各種コンピュータープログラムを実行する。
The
マーカー画像記憶部１３８Ｂは、モデルマーカーのデータおよび／または右光学像表示部２６Ｂまたは左光学像表示部２８Ｂに表示されるキャリブレーション用画像としてのマーカーＭＫ１のマーカー画像ＩＭＧを記憶している。マーカー画像記憶部１３８Ｂは、右光学像表示部２６に表示されるマーカー画像と左光学像表示部２８Ｂに表示されるマーカー画像とを同じマーカーの画像ＩＭＧとして記憶している。マーカー画像ＩＭＧは、３次元モデル空間（３Ｄコンピューターグラフィックス空間）で表現された上記モデルマーカー（２Ｄ）を、右光学像表示部２６Ｂまたは左光学像表示部２８Ｂのそれぞれの写像パラメーターに基づいて写像したものである。
The marker image storage unit 138B stores model marker data and / or a marker image IMG of the marker MK1 as a calibration image displayed on the right optical
図１１は、画像表示部２０Ｂに表示されるマーカー画像ＩＭＧの一例を示す説明図である。図１１に示すように、マーカー画像ＩＭＧは、４つの頂点Ｐ０，Ｐ１，Ｐ２，Ｐ３を直線で結んだ正方形の中に、９個の正円を含んでいる。９個の円の内の５個の円は、頂点Ｐ０と頂点Ｐ２とを結んだ対角線ＣＬ１上に円の中心が存在する。当該５個の円は、対角線ＣＬ１に沿って、頂点Ｐ０に近い円から、円Ｃ１，Ｃ２，Ｃ３，Ｃ４，Ｃ５である。同じように、９個の円の内の５個の円は、頂点Ｐ１と頂点Ｐ３とを結んだ対角線ＣＬ２上に円の中心が存在する。当該５個の円は、対角線ＣＬ２に沿って、頂点Ｐ１に近い円から、円Ｃ６，Ｃ７，Ｃ３，Ｃ８，Ｃ９である。円Ｃ３は、対角線ＣＬ１と対角線ＣＬ２との交点であると共に、正方形の重心である点を中心とする円である。本実施形態では、対角線ＣＬ１上に中心を有する５個の円における隣接する円の中心間の距離は、同じ距離になるように設定されている。同じように、対角線ＣＬ２上に中心を有する５個の円における隣接する円の中心間の距離は、同じ距離になるように設定されている。また、対角線ＣＬ１に中心を有する隣接する円の中心間の距離と、対角線ＣＬ２に中心を有する隣接する円の中心間の距離とは、同じ距離である。９個の円の大きさは、同じ大きさである。なお、対角線ＣＬ１および対角線ＣＬ２は、便宜上、図１１に示しているのであり、マーカー画像ＩＭＧには含まれない直線である。
FIG. 11 is an explanatory diagram illustrating an example of the marker image IMG displayed on the
図１１では、色の違いを、ハッチングを変えることで表している。そのため、図１１に示すように、マーカー画像ＩＭＧには、円Ｃ３の内部の黄色と、円Ｃ５の内部の緑色と、円Ｃ３，Ｃ５と異なる７個の円Ｃ１，Ｃ２，Ｃ４，Ｃ６，Ｃ７，Ｃ８，Ｃ９の内部の白色と、正方形の中に含まれ、９個の円を含まない部分の黒色と、の４色が存在する。また、図１１では、円Ｃ３の中心Ｃ３Ｐを原点とするＸ軸とＹ軸とが示されている。後述するキャリブレーション実行処理では、中心Ｃ３Ｐを原点として、各種の座標値が特定される。マーカー画像ＩＭＧに含まれる９個の円の内、円Ｃ３と円Ｃ５との色がその他の７個の円と異なるのは、中心円としての円Ｃ３と、撮像された実物のマーカーＭＫ１の方向を特定するための円Ｃ５と、を区別するためである。 In FIG. 11, the difference in color is represented by changing the hatching. Therefore, as shown in FIG. 11, the marker image IMG includes a yellow color inside the circle C3, a green color inside the circle C5, and seven circles C1, C2, C4, C6, C7 different from the circles C3, C5. , C8, C9, and the four colors of white, which are included in the square and do not include the nine circles, are black. FIG. 11 also shows the X axis and the Y axis with the center C3P of the circle C3 as the origin. In the calibration execution process described later, various coordinate values are specified with the center C3P as the origin. Among the nine circles included in the marker image IMG, the colors of the circle C3 and the circle C5 are different from the other seven circles in that the circle C3 as the center circle and the direction of the captured actual marker MK1 This is for distinguishing from the circle C5 for identifying.
図１０に示すＣＰＵ１４０Ｂは、ＲＯＭ１２１Ｂに格納されているコンピュータープログラムを、ＲＡＭ１２２Ｂに展開することにより、オペレーティングシステム１５０Ｂ（ＯＳ１５０Ｂ）、表示制御部１９０Ｂ、音声処理部１７０Ｂ、画像処理部１６０Ｂ、表示設定部１６５Ｂ、マーカー特定部１６６Ｂおよび演算部１６７Ｂとして機能する。
The
表示制御部１９０Ｂは、右表示駆動部２２Ｂおよび左表示駆動部２４Ｂを制御する制御信号を生成する。表示制御部１９０Ｂは、右表示駆動部２２Ｂおよび左表示駆動部２４Ｂのそれぞれによる画像光の生成および射出を制御する。表示制御部１９０Ｂは、右ＬＣＤ制御部２１１Ｂと左ＬＣＤ制御部２１２Ｂとに対する制御信号のそれぞれを、送信部５１Ｂおよび５２Ｂを介して送信する。また、表示制御部１９０Ｂは、右バックライト制御部２０１Ｂと左バックライト制御部２０２Ｂとに対する制御信号のそれぞれを送信する。
The
画像処理部１６０Ｂは、コンテンツに含まれる画像信号を取得し、送信部５１Ｂ，５２Ｂを介して、取得した画像信号を画像表示部２０の受信部５３Ｂ，５４Ｂへと送信する。音声処理部１７０Ｂは、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、連結部材４６Ｂに接続された右イヤホン３２Ｂ内のスピーカー（図示しない）および左イヤホン３４Ｂ内のスピーカー（図示しない）に対して供給する。
The image processing unit 160B acquires an image signal included in the content, and transmits the acquired image signal to the
表示設定部１６５Ｂは、マーカー画像記憶部１３８に記憶されたマーカーＭＫ１の画像を右光学像表示部２６Ｂまたは左光学像表示部２８Ｂに表示させる。表示設定部１６５Ｂは、キャリブレーション実行時に、操作部１３５Ｂが受け付けた操作に基づいて、マーカー画像ＩＭＧを右光学像表示部２６Ｂに表示する場合と、マーカー画像ＩＭＧを左光学像表示部２８Ｂに表示する場合とを制御する。
The
マーカー特定部１６６Ｂは、カメラ６０Ｂによって撮像された撮像画像の中から、例えば、制御部１０Ｂの裏面（操作部１３５Ｂの反対側の面）や所定の壁などに配置されたマーカーＭＫ１の実物マーカーＲＬを特定する。実物マーカーＲＬを特定するための具体的な処理については、後述するが、マーカー特定部１６６Ｂは、実物マーカーＲＬの４つの頂点、９個の円の中心の座標値、９個の円の色などを抽出することで、撮像画像の中から実物マーカーＲＬを特定する。マーカー特定部１６６Ｂは、例えば、撮像画像の色の階調値を２値化することで、マーカーＭＫ１における色の異なる９個の円などを抽出する。
The
演算部１６７Ｂは、本実施形態ではホモグラフィーを用いて、カメラ６０Ｂと実物マーカーＲＬとの間の空間的関係（回転および並進の少なくとも一つ）を表す第１パラメーターＰＭ１を算出する。また、演算部１６７Ｂは、カメラ６０Ｂと光学像表示部２６Ｂ，２８Ｂとの間の空間的関係を表す空間パラメーターＰＭを算出する。なお、カメラ６０Ｂを基準とするカメラ座標系とは、カメラ６０Ｂに原点が固定された３次元座標系である。そのため、カメラ座標系は、カメラ６０Ｂの向きの変化に応じて変化する。実物マーカー座標系、オブジェクト座標系、および表示座標系についても、カメラ座標系と同じ概念によって定義されている。
In the present embodiment, the
また、演算部１６７Ｂは、カメラ６０Ｂに関するパラメーター（カメラパラメーターとも呼ぶ）を最適化する。カメラ６０Ｂに関するパラメーターの最適化は、予め既知ではない（未知である）カメラ６０Ｂの焦点距離に関連するパラメーターおよび主点位置（例えば撮像画像の中心座標）などを含むパラメーターを、得られた座標値を用いて、最適化できるように計算する。最適化により導出されたカメラパラメーターを用いて対象物が撮像されて撮像画像が取得されると、撮像画像における対象物の位置と、ユーザーから見たときの対象物に重なる画像表示部上の表示位置とが対応付けられることとなる。この結果、使用者は、画像表示部２０Ｂを介してＡＲ（Augmented Reality）画像が、当該対象物に対して位置、大きさ、姿勢の少なくとも一つが一致するように視認することができる。なお、カメラ６０Ｂのパラメーターの最適化の詳細については、後述する。また、本実施形態では、空間パラメーターＰＭも、カメラ６０ＢのカメラパラメーターＣＰと同様の最適化が行なわれることで、算出される。
In addition, the
インターフェイス１８０Ｂは、制御部１０Ｂに対して、コンテンツの供給元となる種々の外部機器ＯＡを接続するためのインターフェイスである。外部機器ＯＡとしては、例えば、ＡＲシナリオを記憶している記憶装置、パーソナルコンピューター（ＰＣ）や携帯電話端末、ゲーム端末等、がある。インターフェイス１８０Ｂとしては、例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等、を用いることができる。
The interface 180B is an interface for connecting various external devices OA that are content supply sources to the
図１０に示すように、画像表示部２０Ｂは、右表示駆動部２２Ｂと、左表示駆動部２４Ｂと、右光学像表示部２６Ｂとしての右導光板２６１Ｂと、左光学像表示部２８Ｂとしての左導光板２６２Ｂと、を備えている。
As shown in FIG. 10, the
右表示駆動部２２Ｂは、受信部５３Ｂ（Ｒｘ５３Ｂ）と、光源として機能する右バックライト制御部２０１Ｂ（右ＢＬ制御部２０１Ｂ）および右バックライト２２１Ｂ（右ＢＬ２２１Ｂ）と、表示素子として機能する右ＬＣＤ制御部２１１Ｂおよび右ＬＣＤ２４１Ｂと、右投写光学系２５１Ｂと、を含んでいる。右バックライト制御部２０１Ｂと右バックライト２２１Ｂとは、光源として機能する。右ＬＣＤ制御部２１１Ｂと右ＬＣＤ２４１Ｂとは、表示素子として機能する。
The right
受信部５３Ｂは、制御部１０Ｂと画像表示部２０Ｂとの間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部２０１Ｂは、入力された制御信号に基づいて、右バックライト２２１Ｂを駆動する。右バックライト２２１Ｂは、例えば、ＬＥＤやエレクトロルミネセンス（ＥＬ）等の発光体である。右ＬＣＤ制御部２１１Ｂは、画像処理部１６０Ｂおよび表示制御部１９０Ｂから送信された制御信号に基づいて、右ＬＣＤ２４１Ｂを駆動する。右ＬＣＤ２４１Ｂは、複数の画素をマトリクス状に配置した透過型液晶パネルである。
The receiving unit 53B functions as a receiver for serial transmission between the
右投写光学系２５１Ｂは、右ＬＣＤ２４１Ｂから射出された画像光を並行状態の光束にするコリメートレンズによって構成される。右光学像表示部２６Ｂとしての右導光板２６１Ｂは、右投写光学系２５１Ｂから出力された画像光を、所定の光路に沿って反射させつつ使用者の右眼ＲＥに導く。なお、左表示駆動部２４Ｂは、右表示駆動部２２Ｂと同様の構成を有し、使用者の左眼ＬＥに対応するため、説明を省略する。
The right projection optical system 251B is configured by a collimator lens that converts the image light emitted from the
Ｂ−２．キャリブレーション実行処理：
図１２は、第２実施形態におけるキャリブレーション実行処理のフローチャートである。キャリブレーション実行処理は、以下のような処理である：まず、使用者が、右光学像表示部２６Ｂまたは左光学像表示部２８Ｂに表示されたマーカー画像ＩＭＧと、外景から特定された実物マーカーＲＬと、が重複するように視認する状態で、ＣＰＵ１４０Ｂが、カメラ６０Ｂを用いて実物マーカーＲＬを撮像する。そして、ＣＰＵ１４０Ｂは、実物マーカーＲＬを撮像して得られた撮像画像に少なくとも基づいて、空間パラメーターＰＭの算出、およびカメラ６０のＢパラメーターを導出する。このように、この処理は、カメラ６０Ｂと光学像表示部との間の相対位置関係を検出する処理としての側面も有する。
B-2. Calibration execution process:
FIG. 12 is a flowchart of calibration execution processing in the second embodiment. The calibration execution process is as follows: First, the user performs the marker image IMG displayed on the right optical
キャリブレーション実行処理では、初めに、表示設定部１６５Ｂは、マーカー画像ＩＭＧを、使用者の右眼に対応する右画像表示部としての右光学像表示部２６Ｂのみに表示させる（ステップＳＢ１１）。この場合、使用者が、実物マーカーＲＬとマーカー画像ＩＭＧとが互いに一致して視認するように、使用者が実物マーカーＲＬに対してその頭部の距離と姿勢を調整する場合に、実物マーカーＲＬと光学像表示部２６Ｂとの間の空間的関係が既知の所定の空間的関係（回転および並進）となるように、右光学像表示部２６Ｂは、画像表示領域における所定位置に所定の大きさでマーカー画像ＩＭＧを表示する。
In the calibration execution process, first, the
図１３は、右光学像表示部２６Ｂのみにマーカー画像ＩＭＧが表示された状態の概略図である。図１３には、使用者が、予め画像表示部２０Ｂを装着した使用者の仮想の右眼の位置として設定された右眼位置ＲＰから、右光学像表示部２６Ｂに表示されたマーカー画像ＩＭＧを視認した場合の概略が示されている。なお、図１３には、ＨＭＤ１００Ｂの内の画像表示部２０Ｂのみを図示し、装着帯９０Ｂや制御部１０Ｂなどについては図示を省略している。そのため、図１３に示す画像表示部２０Ｂは、図７ないし図１０に示す画像表示部２０Ｂと同じ画像表示部である。また、図１３には、撮像される三次元空間の座標軸を表す座標軸ＣＤ２と、撮像された二次元画像の座標軸を表す座標軸ＣＤ１と、が示されている。使用者は、右光学像表示部２６Ｂに表示されたマーカー画像ＩＭＧを、画像表示部２０Ｂから距離Ｌ１離れた位置に存在するマーカーＭＫ１として視認する。
FIG. 13 is a schematic diagram showing a state in which the marker image IMG is displayed only on the right optical
図１２のステップＳＢ１１の処理が行なわれると、マーカー特定部１６６Ｂは、使用者に対して、右光学像表示部２６Ｂに表示されたマーカー画像ＩＭＧと、外景に存在する実物マーカーＲＬとが重なるように位置合わせを促す（ステップＳＢ１３）。
When the process of step SB11 in FIG. 12 is performed, the
図１４は、実物マーカーＲＬとマーカー画像ＩＭＧとの位置関係を表す概略図である。図１４には、外景ＳＣに含まれる実物マーカーＲＬと、右光学像表示部２６Ｂに表示されたマーカー画像ＩＭＧおよび文字画像ＴＸ１と、が示されている。文字画像ＴＸ１は、使用者にマーカー画像ＩＭＧと実物マーカーＲＬとの位置合わせを行なった後に、撮像を促すことを文字で表す画像である。具体的には、文字画像ＴＸ１は、「重複させてから撮像ボタンを押してください」を表す文字の画像である。図１４に示すように、マーカー画像ＩＭＧの中心と実物マーカーＲＬの中心とは、一致していない。また、図１４に示す例では、実物マーカーＲＬは、マーカー画像ＩＭＧに対して、角度θ１傾いている。この場合に、画像表示部２０Ｂを装着した使用者は、自身の位置や向きを変えることで、実物マーカーＲＬにマーカー画像ＩＭＧを重ねることができる。
FIG. 14 is a schematic diagram showing the positional relationship between the real marker RL and the marker image IMG. FIG. 14 shows a real marker RL included in the outside scene SC, and a marker image IMG and a character image TX1 displayed on the right optical
マーカー特定部１６６Ｂは、図１２のステップＳＢ１３の処理を行なうと、マーカー画像ＩＭＧと実物マーカーＲＬと位置合わせが完了しているか否かを判定する（ステップＳＢ１５）。マーカー特定部１６６Ｂは、図１４の文字画像ＴＸ１に示すように、使用者によって撮像ボタンが押下される操作の有無によって、位置合わせの完了の判定を行なう。撮像ボタンとしては、予め設定された操作部１３５Ｂのいずれかのボタンでよく、種々変形可能である。
When the processing of step SB13 in FIG. 12 is performed, the
撮像ボタンの押下の操作がなく、マーカー特定部１６６Ｂは、位置合わせが完了していないと判定した場合には（ステップＳＢ１５：ＮＯ）、引き続き、位置合わせが完了したことを表す撮像ボタンの押下の操作を待機する。撮像ボタンの押下の操作があると、マーカー特定部１６６Ｂは、位置合わせが完了していると判定し（ステップＳＢ１５：ＹＥＳ）、カメラ６０Ｂによって外景ＳＣを撮像する（ステップＳＢ１７）。
When the imaging button is not pressed and the
次に、表示設定部１６５Ｂは、右光学像表示部２６Ｂのみに表示させたマーカー画像ＩＭＧを非表示にして、左光学像表示部２８Ｂのみにマーカー画像ＩＭＧを表示させる（ステップＳＢ２１）。左光学像表示部２８Ｂがマーカー画像ＩＭＧを表示する方法は、ステップＳＢ１１において右光学像表示部２６Ｂがマーカー画像ＩＭＧを表示する方法と同じである。その後、ステップＳＢ１３からステップＳＢ１７までの使用者の右眼ＲＥに対応する処理と同じように、マーカー特定部１６６Ｂは、使用者の左眼ＬＥに対して、マーカー画像ＩＭＧと実物マーカーＲＬとが重なるように位置合わせを促す（ステップＳＢ２３）。
Next, the
マーカー特定部１６６Ｂは、左眼について、使用者に位置合わせを促すと、マーカー画像ＩＭＧと実物マーカーＲＬとの位置合わせが完了しているか否かを判定する（ステップＳＢ２５）。マーカー特定部１６６Ｂは、使用者による撮像ボタンの押下の操作がなく、位置合わせが完了していないと判定する場合には（ステップＳＢ２５：ＮＯ）、引き続き、位置合わせが完了したことを示す撮像ボタンの押下の操作を待機する。撮像ボタンの押下の操作があると、マーカー特定部１６６Ｂは、位置合わせが完了していると判定し（ステップＳＢ２５：ＹＥＳ）、カメラ６０Ｂによって、外景ＳＣを撮像する（ステップＳＢ２７）。
When the user is prompted to align the left eye, the
次に、演算部１６７Ｂは、右眼位置ＲＰと左眼位置ＬＰとのそれぞれを基準とした撮像画像を基に、空間パラメーターＰＭの算出と、カメラ６０ＢのカメラパラメーターＣＰの最適化を実行して（ステップＳＢ３１）、ＣＰＵ１４０Ｂは、キャリブレーション実行処理を終了する。
Next, the
Ｂ−３．空間パラメーター、およびカメラパラメーター：
Ｂ−３−１．カメラパラメーター：
カメラ６０Ｂに関するパラメーター（以降、カメラパラメーターとも呼ぶ）として、４個のパラメーターＣＰ（ｆｘ、ｆｙ、Ｃｘ、Ｃｙ）が存在する。（ｆｘ、ｆｙ）は撮像部の焦点距離であり、画素密度に基づいて画素数に換算されている。
B-3. Spatial parameters and camera parameters:
B-3-1. Camera parameters:
There are four parameters CP (fx, fy, Cx, Cy) as parameters relating to the
カメラパラメーターは、撮像部の主要部分を構成するカメラ６０Ｂの製品仕様から知ることができる（以下ではこれをデフォルトカメラパラメーターとも表記する）。ただし、実際のカメラのカメラパラメーターがデフォルトカメラパラメーターから大きくずれていることが多い。しかも、同じ仕様のカメラであっても、カメラ間で、カメラパラメーターがばらついている（揃っていない）ことがある。
The camera parameters can be known from the product specifications of the
ＡＲオブジェクトにおける位置、大きさ、姿勢の少なくとも一つが実物体にアライン（重畳）するように使用者に視認させる場合、カメラ６０Ｂは、当該実物体の位置および姿勢を検出する検出機として機能する。このとき、演算部１６７Ｂは、カメラパラメーターを用いて、カメラ６０Ｂに撮像された実物体のカメラ６０Ｂに対する位置および姿勢を推定する。さらに、演算部１６７Ｂは、当該位置および姿勢を、カメラ６０Ｂと左光学像表示部２８Ｂ（右光学像表示部２６Ｂ）との間の相対位置関係を用いて、左光学像表示部２８Ｂに対する実物体の位置および姿勢に変換する。さらに、演算部１６７Ｂは、当該変換された位置および姿勢に基づいて、ＡＲオブジェクトの位置および姿勢を決定する。そして、画像処理部１６０Ｂは、当該位置および姿勢を有するＡＲオブジェクトを、写像パラメーターを用いて表示座標系に写像（変換）し、表示バッファ（例えばＲＡＭ１２２Ｂ）に書き込む。そして、画像制御部は、表示バッファに書き込まれたＡＲオブジェクトを左光学像表示部２８Ｂに表示する。このため、カメラパラメーターがデフォルトカメラパラメーターである場合には、推定される実物体の位置および姿勢に誤差が含まれることとなる。そうすると、推定された位置および姿勢の誤差に由来して、表示されたＡＲオブジェクトと実物体との重畳に誤差があるように使用者に視認される。
When the user visually recognizes that at least one of the position, size, and orientation of the AR object is aligned (superimposed) on the real object, the
そこで、本実施形態では、ＡＲオブジェクトが対象物に重畳して使用者に視認されるようにするためのキャリブレーションの際に、カメラパラメーターが、最適化により導出される。そして、導出されたカメラパラメーターが用いられて、対象物の位置および姿勢が検出（推定）されるようにする。そうすれば、ＡＲオブジェクトの表示において、表示されるＡＲオブジェクトと実物体との間に発生するずれが使用者に視認される度合いが低くなる。後述するように、同じＨＭＤ１００Ｂの使用者が同一人であっても、カメラパラメーターの導出は、キャリブレーションが行なわれるごとに行なわれ、当該キャリブレーションに引き続いて行なわれる対象物とＡＲオブジェクトとの間での位置、大きさ、向きの少なくとも一つが一致した表示のために使用されることが好ましい。これは、キャリブレーションの際に、必ずしも使用者は、実物マーカーＲＬと、実物マーカーＲＬに対応したマーカー画像ＩＭＧとを、同じ精度で位置合わせするとは限らないことによる。たとえ使用者が違う精度で位置合わせしても、それに応じたカメラパラメーターが導出されることから、ＡＲオブジェクトの重畳表示がされる場合に重畳表示のずれの増大が抑制される。
Therefore, in the present embodiment, camera parameters are derived by optimization during calibration so that the AR object is superimposed on the object and visually recognized by the user. The derived camera parameters are used to detect (estimate) the position and orientation of the object. If it does so, in the display of AR object, the degree which a user will visually recognize the gap which arises between the displayed AR object and a real object becomes low. As will be described later, even if the
また、本実施形態のＨＭＤ１００Ｂは、カメラ６０Ｂと光学像表示部２６Ｂ，２８Ｂとの間の相対位置関係が変化する構造を有する。デフォルトカメラパラメーターについての説明からも理解されるように、ＡＲオブジェクトにおける位置、大きさ、姿勢の少なくとも一つが実物体にアライン（重畳）するように使用者に視認させる場合、実際のカメラ６０Ｂと光学像表示部２６Ｂ，２８Ｂとの間の相対位置関係とは異なる相対位置関係に基づいてＡＲオブジェクトを表示すると、表示されたＡＲオブジェクトと実物体との重畳に誤差が視認される。
Further, the
そこで、本実施形態では、ＡＲオブジェクトが対象物に重畳して使用者に視認されるようにするためのキャリブレーションの際に、カメラ６０Ｂの座標系と、右光学像表示部２６Ｂの座標系および左光学像表示部２８Ｂの座標系と、の間の相対位置関係（回転および並進の少なくとも一つ）を表す空間パラメーターＰＭを、導出する。そして、導出された当該空間パラメーターＰＭが表す空間的関係（相対位置関係）を用いてＡＲオブジェクトの表示をすると、ユーザーにずれが視認される度合いが低くなる。
Therefore, in the present embodiment, when performing calibration so that the AR object is superimposed on the object and visually recognized by the user, the coordinate system of the
図１３に示すように、使用者が、左光学像表示部２８Ｂに表示されたマーカー画像ＩＭＧと、外景に含まれ前方に位置する実物マーカーＲＬと、が位置、大きさ、向きが一致するように使用者が視認するとき（以下、使用者が左眼でアライメントを成立させるときともいう）、座標系の間には、次の式（３７）の関係が成り立つ。なお、以降では、左光学像表示部２８Ｂにマーカー画像ＩＭＧが表示された場合について説明する。
ここで、左辺および右辺のＣＰは、カメラ６０Ｂのカメラパラメーターである。［Ro2dl, to2dl］は、実オブジェクト（この場合、実物マーカーＲＬ）に固定された座標系から左光学像表示部２８Ｂに固定された座標系への変換行列であり、このうち、［Ro2dl］が回転を表す３×３の行列であり、［to2dl］が並進を表す３×１の行列である。ModelMatrixは、モデルマーカー上の任意の１点を表す３×１の行列である。モデルマーカーは、マーカー画像が光学像表示部２８に表示される場合の基礎となる３次元データ（３次元モデル：ただし本実施形態では平面）である。［Ro2dl, to2dl］×ModelMatrixの表記は、下記の式（３８）の規則に従っている。
式（３７）の右辺における［Rcam2left, tcam2left］は、カメラ６０Ｂの座標系から左光学像表示部２８Ｂの座標系への変換行列（以下、空間パラメーターとも呼ぶ）である。式（３７）の右辺における［Robj2cam, tobj2cam］は、実オブジェクト（実物マーカーＲＬ）の座標系からカメラ６０Ｂの座標系への変換行列である。
[R cam2left , t cam2left ] on the right side of Expression (37) is a transformation matrix (hereinafter also referred to as a spatial parameter) from the coordinate system of the
上記（３７）の関係から、左光学像表示部２８Ｂについて、マーカー画像ＩＭＧと実物マーカーＲＬとのアライメントが成立しているとき、以下の式（３９）、（４０）が成り立つ。
左眼ＬＥのアライメントが成立すると仮定したとき、実物マーカーＲＬのカメラ６０Ｂに対する姿勢をモデルマーカーに適用すると、カメラ６０の座標系に変換されたモデルマーカー上の任意の点は次の式（４１）のPcl（Xcl, Ycl, Zcl）のようになる。
式（３９）および式（４０）により、Robj2cam,tobj2camを消去すると式（４１）は以下の式（４２）のようになる。
Ro2dlおよびto2dlは、実物マーカーＲＬの座標系から左光学像表示部２８Ｂの座標系への回転および並進であり、本実施形態では、ユーザーが左光学像表示部２８Ｂに表示されたマーカー画像ＩＭＧを実物マーカーＲＬに位置合わせしたときに、所定の回転および並進となるように、左光学像表示部２８Ｂ上の所定位置（例えば中央）に所定の配向かつ所定の大きさで、固定されて表示される。Tcam2leftは、カメラの座標系から左光学像表示部２８Ｂの座標系への並進である。
式（４１）で表されるモデルマーカーをカメラ６０Ｂの撮像画像上に写像するとき、撮像画像上のモデルマーカーの座標は、次のようになる。
カメラ６０Ｂが実際に実物マーカーＲＬを撮像した場合の撮像画像におけるマーカーの特徴要素の座標を（ul, vl）と表記すると、（ul, vl）と（ximl, yiml）との差は以下のようになる。
使用者が、右眼ＲＥで右光学像表示部２６Ｂに表示されたマーカーと、実物マーカーＲＬと、を位置合わせした場合についても、同様に二乗和を導出する。
ERとELとの和により、コスト関数Ｅを定義する。
本実施形態では、カメラ６０ＢのカメラパラメーターＣＰと、カメラ６０Ｂの座標系から左光学像表示部２８Ｂの座標系への回転（Rcam2left）および並進（Tcam2left）、ならびにカメラ６０Ｂの座標系から右光学像表示部２６Ｂの座標系への回転（Rcam2right）および並進（Tcam2right）が最適化により導出される。
In this embodiment, the camera parameter CP of the
式（５１）で表わされるコスト関数Ｅを最小化する繰り返し計算に用いられるヤコビ行列は、式（５２）のようになる。
Ｂ−３−２．空間パラメーター：
上述の通り、本実施形態では、演算部１６７Ｂは、右光学像表示部２６Ｂと左光学像表示部２８Ｂとのそれぞれに対応する空間パラメーターＰＭ２［Rcam2left, tcam2left］［Rcam2lright, tcam2right］を算出する。回転行列Rcam2rightは、直交する３軸の回転によって決定される３つのパラメーターであり、並進行列Tcam2rightは、３軸に沿った並進のそれぞれに対応する３つのパラメーターである。すなわち、右光学像表示部２６Ｂに対応する空間パラメーターＰＭは、計６つのパラメーターを含んでいる。同じように、左光学像表示部２８Ｂに対応する空間パラメーターＰＭは、回転行列Rcam2leftと並進行列Tcam2leftとであり、計６つのパラメーターを含んでいる。すなわち、本実施形態では、カメラパラメーターに含まる４個のパラメーターと、空間的関係を表す１２個のパラメーターとの１６個のパラメーターが算出される。
B-3-2. Spatial parameters:
As described above, in the present embodiment, the
演算部１６７Ｂは、使用者が実物マーカーＲＬとマーカー画像ＩＭＧとが互いに一致するように視認する状態で実物マーカーＲＬを撮像し、撮像画像を取得する。演算部１６７Ｂは、当該撮像画像に基づいて、上記の式（５１）を用いて、空間パラメーターＰＭを算出する。本実施形態では、空間パラメーターＰＭを算出する場合の初期値（ｉ=０）として、カメラ６０Ｂまたは光学像表示部２６Ｂ，２８Ｂの最大可動した場合の一方の姿勢における値、または、可動域の中間の姿勢における値を用いる。これらの初期値として、ＨＭＤ１００Ｂが製造される工場から出荷される前の計測値や検査値が用いられてもよい。
The
空間パラメーターＰＭが算出されると、使用者に確認させる目的で、演算部１６７Ｂは、算出した空間パラメーターＰＭを用いて、実物マーカーＲＬがカメラ６０Ｂの撮像範囲に含まれる場合に、実物マーカーＲＬの位置に合わせて重畳するように確認用画像を表示する。実物マーカーの内部座標をＸと定義すると、空間パラメーターＰＭが用いられ、左光学像表示部２８Ｂにおける表示画像の位置（u,v）は、式（５３）のように表される。
本実施形態では、キャリブレーションがうまく実施されていれば、ＨＭＤ１００Ｂを装着している使用者は、光学像表示部２６Ｂ、２８Ｂに表示された確認用画像の位置、大きさ、向きが、実物マーカーＲＬの位置、大きさ、向きに一致するように、視認する。図１５は、実物マーカーＲＬと確認用画像３ＤＣＧとが使用者に視認されている状態が示されている。図１５には、実物マーカーＲＬの位置、大きさ、および向きに、確認用画像３ＤＣＧの位置、大きさおよび向きが一致するように、使用者が実物マーカーＲＬと確認用画像３ＤＣＧとを視認している状態が示されている。確認用画像３ＤＣＧは、実物マーカーＲＬに対応するように、立体的な直方体で表される画像である。確認用画像３ＤＣＧでは、直方体を表す各辺に相当する直線のみが表示され、直方体の内部には画像として表示されるものはない。換言すると、直方体の内部については、使用者は、実物マーカーＲＬなどを含む透過した外景を視認できる。使用者が実物マーカーＲＬと確認用画像３ＤＣＧとが互いに一致するように視認しないときに、再度、キャリブレーションをやり直すことができる。図１５には、光学像表示部２６Ｂ、２８Ｂまたは音声処理部１７０Ｂは、キャリブレーションが成功しＡＲ表示機能を続行すること（重畳して見えるか）、およびキャリブレーションをやり直すことのいずれかを促す文字画像または音声を使用者に提示してもよい。
In this embodiment, if the calibration is successfully performed, the user wearing the
演算部１６７Ｂは、算出した空間パラメーターＰＭとしての行列を用いて、実オブジェクトの位置に対応するようにＡＲ画像を、光学像表示部２６Ｂ，２８Ｂに表示させる。なお、実オブジェクトは、請求項におけるオブジェクトに相当し、ＡＲ画像は、請求項における対応画像（counterpart image）に相当する。
The
以上説明したように、使用者が実物マーカーＲＬに右光学像表示部２６Ｂまたは左光学像表示部２８Ｂに表示されたマーカー画像ＩＭＧが重なるように視認している状態で、実物マーカーＲＬの撮像画像が撮像されると、演算部１６７Ｂは、当該撮像画像に少なくとも基づいて、カメラ６０ＢのカメラパラメーターＣＰと、カメラ６０Ｂと光学像表示部２６Ｂ，２８Ｂとの間の空間的関係と、を導出する。そのため、本実施形態のＨＭＤ１００Ｂでは、外景ＳＣを撮像するカメラ６０Ｂが画像表示部２０Ｂに対して動く場合であっても、カメラ６０Ｂと画像表示部２０Ｂとの空間的関係を導出できる。そして、このため、ＨＭＤ１００Ｂは、使用者ＵＳにＡＲ画像が対応する実オブジェクトに重畳するように視認させることができる。また、本実施形態のＨＭＤ１００Ｂでは、キャリブレーションを実行するために、ＨＭＤ１００Ｂ以外の装置が不要で、かつ、使用者は、制御部１０Ｂに配置された実物マーカーＲＬが視認できる範囲で頭部を動かすだけでよい。よって、本実施形態のＨＭＤ１００Ｂでは、簡便にキャリブレーションを実行できる。
As described above, the captured image of the real marker RL is displayed in a state where the user visually recognizes that the marker image IMG displayed on the right optical
また、本実施形態のＨＭＤ１００Ｂでは、演算部１６７Ｂは、カメラパラメーターＣＰおよび空間パラメーターＰＭを用いて、撮像された実オブジェクトの位置と姿勢に対応するようにＡＲ画像を光学像表示部２６Ｂ，２８Ｂに表示させる。そのため、本実施形態のＨＭＤ１００Ｂでは、ＡＲオブジェクトの位置に精度良く対応するように、光学像表示部２６Ｂ、２８ＢにＡＲ画像を表示させることができる。
In the
Ｂ−４．第２実施形態の変形例：
なお、この発明は上記実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば、次のような変形も可能である。
B-4. Modification of the second embodiment:
In addition, this invention is not limited to the said embodiment, It can implement in a various aspect in the range which does not deviate from the summary, For example, the following deformation | transformation is also possible.
Ｂ−４−１．変形例１：
上記実施形態では、演算部１６７Ｂは、カメラパラメーターＣＰも最適化により導出したが、製造時の設計値からのばらつきが少ない場合には、カメラパラメーターＣＰについては設計値を設定し、カメラ６０Ｂと光学像表示部２６Ｂ，２８Ｂとの間の空間的関係だけを導出してもよい。この変形例のＨＭＤ１００Ｂでは、最適化するパラメーターｐの数が少なくなる。また、製造上、ばらつきの少ないパラメーターに対して、設計値を代入することで、コスト関数Ｅをより小さくするパラメーターの最適化を行ないつつ、パラメーターを最適化するための時間を短くできる。
B-4-1. Modification 1:
In the above embodiment, the
Ｂ−４−２．変形例２：
図１６および図１７は、実オブジェクトの位置に対応するようにＡＲ画像が表示される前後の使用者の視野ＶＲを示す図である。上記実施形態によるキャリブレーションは完了している。図１６には、ＡＲ画像が表示される前の視野ＶＲが示されており、図１７には、ＡＲ画像が表示された後の視野ＶＲが示されている。本実施形態のＨＭＤ１００Ｂのマーカー特定部１６６Ｂは、パターンマッチングなどにより、カメラ６０Ｂの撮像範囲からＡＲオブジェクトとしてのペットボトル本体ＰＴとペットボトル本体ＰＴの蓋ＣＡとを検出する。ペットボトル本体ＰＴと蓋ＣＡとが予め設定された位置状態と異なる状態で検出された場合に、演算部１６７Ｂは、ＡＲ画像を光学像表示部２６Ｂ，２８Ｂに表示させる。予め設定された位置状態とは、図１６の場合とは異なり、ペットボトル本体ＰＴの開口部ＰＴａの位置に蓋ＣＡが存在するような、いわゆるペットボトル本体ＰＴが蓋ＣＡによって閉められている状態である。
B-4-2. Modification 2:
FIG. 16 and FIG. 17 are diagrams showing the visual field VR of the user before and after the AR image is displayed so as to correspond to the position of the real object. The calibration according to the above embodiment has been completed. FIG. 16 shows the visual field VR before the AR image is displayed, and FIG. 17 shows the visual field VR after the AR image is displayed. The
演算部１６７Ｂは、ペットボトル本体ＰＴと蓋ＣＡとが予め設定された位置状態にない場合（図１６の場合）に、ＡＲ画像を表示するか否かを使用者に問う文字画像ＴＸ２を光学像表示部２６Ｂ，２８Ｂに表示させる。文字画像ＴＸ２は、「ＡＲ画像を表示？ＹＥＳ／ＮＯ」の文字である。演算部１６７Ｂは、操作部１３５Ｂが受け付けた操作によって、ＡＲ画像を表示するか否かを決定する。
When the PET bottle body PT and the lid CA are not in a preset position state (in the case of FIG. 16), the
図１７には、演算部１６７Ｂが、ＡＲ画像を表示すると決定した場合に、光学像表示部２６Ｂ，２８Ｂに表示されたＡＲ画像としてのカーソル画像ＣＳ１および蓋画像ＩＭ１が示されている。演算部１６７Ｂは、ＡＲ画像として、実オブジェクトである蓋ＣＡを移動させる先の位置を蓋画像ＩＭ１およびカーソル画像ＣＳ１で表している。また、演算部１６７Ｂは、ＡＲ画像を表示していることを使用者に視認させるための文字画像ＴＸ３を光学像表示部２６Ｂ，２８Ｂに表示させる。文字画像ＴＸ３は、ＡＲ画像が表示されていることを表す「ＡＲ画像、表示中」の文字である。
FIG. 17 shows a cursor image CS1 and a lid image IM1 as AR images displayed on the optical
以上説明したように、この変形例のＨＭＤ１００では、演算部１６７Ｂは、ＡＲ画像を表示するか否かを使用者に決定させるための文字画像ＴＸ２を光学像表示部２６Ｂ，２８Ｂに表示させる。そのため、この変形例のＨＭＤ１００Ｂでは、使用者の意図を反映したＡＲ画像の表示を実行できる。
As described above, in the
Ｂ−４−３．変形例３：
上記実施形態では、第１パラメーターＰＭ１は、実物マーカー座標系からへカメラ座標系と変換する行列であったが、逆に、カメラ座標系から実物マーカー座標系へと変換する行列であってもよい。空間パラメーターＰＭは、カメラ座標系から画像表示部の座標系へと変換する行列式であったが、逆に、画像表示部の座標系からカメラ座標系へと変換する行列であってもよい。
B-4-3. Modification 3:
In the above embodiment, the first parameter PM1 is a matrix that converts from the real marker coordinate system to the camera coordinate system, but conversely may be a matrix that converts from the camera coordinate system to the real marker coordinate system. . The spatial parameter PM is a determinant that converts from the camera coordinate system to the coordinate system of the image display unit, but conversely may be a matrix that converts from the coordinate system of the image display unit to the camera coordinate system.
上記実施形態では、空間パラメーターＰＭを算出する場合いの初期値（ｉ=０）として、出荷時の計測値や検査値が用いられたが、その他の方法によって取得された値が用いられてもよい。例えば、ＨＭＤ１００Ｂにおける各可動部の加速度や角速度を検出するＩＭＵ、または位置変化を検出するエンコーダーによって取得された値に基づいて、初期値が設定されてもよい。
In the above embodiment, the measured value and the inspection value at the time of shipment are used as the initial value (i = 0) when calculating the spatial parameter PM, but the value acquired by other methods is also used. Good. For example, the initial value may be set based on a value acquired by an IMU that detects the acceleration or angular velocity of each movable part in the
Ｂ−４−４．変形例４：
上記実施形態では、右光学像表示部２６Ｂにマーカー画像ＩＭＧが表示された場合と左光学像表示部２８Ｂにマーカー画像ＩＭＧが表示された場合との計２回の外景ＳＣの撮像が行なわれたが、キャリブレーションを実行するために行なわれる撮像の回数については、種々変形可能である。例えば、右光学像表示部２６Ｂのみにマーカー画像ＩＭＧが表示された状態の１回の外景ＳＣの撮像のみで、演算部１６７Ｂは、パラメーターの最適化を実行してもよい。一方、２回よりも多い回数の実物マーカーＲＬを含む外景ＳＣの撮像が行なわれて、演算部１６７Ｂは、コスト関数Ｅをより小さくするパラメーターの最適化を実行してもよい。また、上記実施形態とは異なり、単眼のＨＭＤの場合には、一方の眼に対応する画像表示部または両方の眼に対応する１つの画像表示部（つまり単眼のＨＭＤ）にマーカー画像ＩＭＧが表示されて、キャリブレーションが実行されてもよい。
B-4-4. Modification 4:
In the above embodiment, the outside scene SC is imaged twice in total, when the marker image IMG is displayed on the right optical
上記実施形態では、右光学像表示部２６Ｂに表示されるマーカーと左光学像表示部２８Ｂに表示されるマーカーとは、同じマーカー画像ＩＭＧであったが、マーカー画像ＩＭＧおよび実物マーカーＲＬについては、種々変形可能である。例えば、右光学像表示部２６Ｂと左光学像表示部２８Ｂとのそれぞれに表示されるマーカーの画像は、異なるマーカーの画像であってもよい。また、マーカー画像ＩＭＧおよび実物マーカーＲＬは、マーカーＭＫ１の画像に限られず、導出されるパラメーターの精度に応じて、種々変形可能である。例えば、マーカーＭＫ１に含まれる円の数は、９個に限られず、９個よりも多くてよいし、９個よりも少なくてもよい。また、マーカーＭＫ１に含まれる複数の特徴点は、円の中心でなくてもよく、単に三角形の重心であってもよい。また、マーカーＭＫ１の内部に並行でない複数の直線が形成されて、直線の交点が複数の特徴点として特定されてもよい。また、マーカー画像ＩＭＧと実物マーカーＲＬとは、異なるマーカーであってもよい。マーカー画像と実物マーカーとを重ねる場合に、どの部分を重ね合わせるのかが使用者に認識される範囲で、マーカー画像と実物マーカーとについては、種々変形可能である。例えば、矩形状のマーカー画像に対して、正円の実物マーカーの中心をマーカー画像の中心に合わせるような位置合わせであってもよい。
In the above embodiment, the marker displayed on the right optical
上記実施形態では、カメラ６０ＢのカメラパラメーターＣＰが最適化される場合に、焦点距離(Fx,Fy)と、カメラ主点位置(Cx,Cy)と、が最適化されたが、これらに代えて、またはこれらとともに、カメラ６０ＢのカメラパラメーターＣＰとして歪係数を最適化してもよい。
In the above embodiment, when the camera parameter CP of the
Ｃ．第３実施形態：
Ｃ−１．頭部装着型表示装置の構成：
図１８ないし図２０は、キャリブレーションを行なう頭部装着型表示装置１００Ｃａ（ＨＭＤ１００Ｃａ）の外観構成を示す説明図である。ＨＭＤ１００Ｃａは、画像表示部２０が表示する表示画像を使用者に視認させ、画像表示部２０Ｃａ（図１８）を透過する外景からの光によって当該外景も使用者に視認させることができる。詳細な構成については後述するが、本実施形態のＨＭＤ１００Ｃａは、画像表示部２０Ｃａを装着した使用者の右眼と左眼とのそれぞれに対応する画像表示部を有しており、使用者の右眼と左眼とに別々の画像を視認させることができる。
C. Third embodiment:
C-1. Configuration of head mounted display device:
FIG. 18 to FIG. 20 are explanatory diagrams showing an external configuration of a head-mounted display device 100Ca (HMD 100Ca) that performs calibration. The HMD 100Ca allows the user to visually recognize the display image displayed by the
図１９に示すように、ＨＭＤ１００Ｃａは、使用者ＵＳの頭部装着型表示装置に装着される装着帯９０Ｃａと、装着帯９０Ｃａに接続されている画像表示部２０Ｃａと、画像表示部２０Ｃａを制御する制御部１０Ｃａ（コントローラー１０Ｃａ）と、制御部１０Ｃａと装着帯９０Ｃａとを接続する接続部４０Ｃａと、を備えている。図１８に示すように、装着帯９０Ｃａは、樹脂製の装着基部９１Ｃａと、装着基部９１Ｃａに連結される布製のベルト部９２Ｃａと、カメラ６０Ｃａと、を備える。装着基部９１Ｃａは、人の前頭部の形に合った湾曲した形状を有する。ベルト部９２Ｃａは、使用者の頭部の周りに装着されるためのベルトである。なお、接続部４０Ｃａは、装着帯９０Ｃａと制御部１０Ｃａ側とを有線で接続しているが、図１９では、接続している部分については、図示を省略している。 As shown in FIG. 19, the HMD 100Ca controls the wearing band 90Ca that is worn on the head-mounted display device of the user US, the image display unit 20Ca that is connected to the wearing band 90Ca, and the image display unit 20Ca. Control part 10Ca (controller 10Ca) and connection part 40Ca which connects control part 10Ca and wearing belt 90Ca are provided. As shown in FIG. 18, the attachment band 90Ca includes a resin attachment base 91Ca, a cloth belt 92Ca connected to the attachment base 91Ca, and a camera 60Ca. The mounting base 91Ca has a curved shape that matches the shape of a person's frontal head. The belt portion 92Ca is a belt to be worn around the user's head. In addition, although the connection part 40Ca has connected the mounting band 90Ca and the control part 10Ca side by wire, in FIG. 19, illustration is abbreviate | omitted about the connected part.
カメラ６０Ｃａは、外景を撮像可能で、装着基部９１Ｃａの中心部分に配置されている。換言すると、カメラ６０Ｃａは、装着帯９０Ｃａが使用者の頭部に装着された状態で、使用者の額の中央に対応する位置に配置されている。そのため、カメラ６０Ｃａは、使用者が装着帯９０Ｃａを頭部に装着した状態において、使用者の視線方向の外部の景色である外景を撮像し、撮像された画像である撮像画像を取得する。図２に示すように、カメラ６０Ｃａは、装着基部９１Ｃａに対して、円弧ＲＣに沿って所定の範囲で可動する。換言すると、カメラ６０Ｃａは、撮像範囲を所定の範囲で変更できる。 The camera 60Ca can capture an outside scene and is disposed at the center of the mounting base 91Ca. In other words, the camera 60Ca is arranged at a position corresponding to the center of the user's forehead with the wearing band 90Ca attached to the user's head. Therefore, the camera 60Ca captures an outside scene that is an external scenery in the user's line-of-sight direction in a state where the user wears the wearing band 90Ca on the head, and acquires a captured image that is the captured image. As shown in FIG. 2, the camera 60Ca is movable within a predetermined range along the arc RC with respect to the mounting base 91Ca. In other words, the camera 60Ca can change the imaging range within a predetermined range.
図１９に示すように、画像表示部２０Ｃａは、連結部９３Ｃａを介して装着基部９１Ｃａに接続され、眼鏡形状を有している。連結部９３Ｃａは、装着基部９１Ｃａおよび画像表示部２０Ｃａの両側に対象的に配置され、連結部９３Ｃａを中心として、装着基部９１Ｃａに対する画像表示部２０Ｃａの位置を円弧ＲＡに沿って回動可能に支持する。図１９において二点鎖線で示す位置Ｐ１１Ｃａは、画像表示部２０Ｃａが円弧ＲＡに沿った最も下端である。また、図１９において実線で示す位置Ｐ１２Ｃａは、画像表示部２０Ｃａが円弧ＲＡに沿った最も上端である。 As shown in FIG. 19, the image display unit 20Ca is connected to the mounting base 91Ca via a connecting portion 93Ca and has a glasses shape. The connecting portion 93Ca is intentionally disposed on both sides of the mounting base 91Ca and the image display portion 20Ca, and supports the position of the image display portion 20Ca with respect to the mounting base 91Ca so as to be rotatable along the arc RA around the connecting portion 93Ca. To do. In FIG. 19, a position P11Ca indicated by a two-dot chain line is the lowest end of the image display unit 20Ca along the arc RA. Further, a position P12Ca indicated by a solid line in FIG. 19 is the uppermost end of the image display unit 20Ca along the arc RA.
また、図１８および図２０に示すように、画像を表示可能な表示パネルを有する光学像表示部２６Ｃａ，２８Ｃａは、保持部２１Ｃａ，２３Ｃａに対して、直線ＴＡに沿って所定の範囲で平行移動して位置を変更する。図２０において二点鎖線で示す位置Ｐ１３Ｃａは、光学像表示部２６Ｃａ，２８Ｃａが直線ＴＡに沿った最も下端である。図２０において実線で示す位置Ｐ１１Ｃａは、光学像表示部２６Ｃａ，２８Ｃａが直線ＴＡに沿った最も上端である。なお、図１９における位置Ｐ１１Ｃａと、図２０における位置Ｐ１１Ｃａとは、同じ位置を示している。 As shown in FIGS. 18 and 20, the optical image display units 26Ca and 28Ca having a display panel capable of displaying an image are translated in a predetermined range along a straight line TA with respect to the holding units 21Ca and 23Ca. To change the position. In FIG. 20, a position P13Ca indicated by a two-dot chain line is the lowermost end of the optical image display units 26Ca and 28Ca along the straight line TA. In FIG. 20, a position P11Ca indicated by a solid line is the uppermost end of the optical image display units 26Ca and 28Ca along the straight line TA. Note that the position P11Ca in FIG. 19 and the position P11Ca in FIG. 20 indicate the same position.
図１８に示すように、画像表示部２０Ｃａは、右保持部２１Ｃａと、右表示駆動部２２Ｃａと、左保持部２３Ｃａと、左表示駆動部２４Ｃａと、右光学像表示部２６Ｃａと、左光学像表示部２８Ｃａと、を含んでいる。右光学像表示部２６Ｃａおよび左光学像表示部２８Ｃａは、それぞれ、使用者が画像表示部２０Ｃａを装着した際に使用者の右および左の眼前に位置するように配置されている。右光学像表示部２６Ｃａの一端と左光学像表示部２８Ｃａの一端とは、使用者が画像表示部２０Ｃａを装着した際の使用者の眉間に対応する位置で、互いに接続されている。 As shown in FIG. 18, the image display unit 20Ca includes a right holding unit 21Ca, a right display driving unit 22Ca, a left holding unit 23Ca, a left display driving unit 24Ca, a right optical image display unit 26Ca, and a left optical image. Display unit 28Ca. The right optical image display unit 26Ca and the left optical image display unit 28Ca are respectively disposed so as to be positioned in front of the right and left eyes of the user when the user wears the image display unit 20Ca. One end of the right optical image display unit 26Ca and one end of the left optical image display unit 28Ca are connected to each other at a position corresponding to the eyebrow of the user when the user wears the image display unit 20Ca.
右保持部２１Ｃａは、右光学像表示部２６Ｃａの他端から装着基部９１Ｃａと接続されている連結部９３Ｃａに延伸して設けられた部材である。同様に、左保持部２３Ｃａは、左光学像表示部２８Ｃａの他端から連結部９３Ｃａに延伸して設けられた部材である。右表示駆動部２２Ｃａと左表示駆動部２４Ｃａとは、使用者が画像表示部２０Ｃａを装着した際の使用者の頭部に対向する側に配置されている。 The right holding portion 21Ca is a member that extends from the other end of the right optical image display portion 26Ca to a connecting portion 93Ca that is connected to the mounting base portion 91Ca. Similarly, the left holding portion 23Ca is a member that extends from the other end of the left optical image display portion 28Ca to the connecting portion 93Ca. The right display drive unit 22Ca and the left display drive unit 24Ca are arranged on the side facing the user's head when the user wears the image display unit 20Ca.
表示駆動部２２Ｃａ，２４Ｃａは、図１９で後述する液晶ディスプレイ２４１Ｃａ，２４２Ｃａ（Liquid Crystal Display、以下「ＬＣＤ２４１Ｃａ，２４２Ｃａ」とも呼ぶ）や投写光学系２５１Ｃａ，２５２Ｃａ等を含む。表示駆動部２２Ｃａ，２４Ｃａの構成の詳細な説明は後述する。光学像表示部２６Ｃａ，２８Ｃａは、後述する導光板２６１Ｃａ，２６２Ｃａ（図２１参照）と調光板とを含んでいる。導光板２６１Ｃａ，２６２Ｃａは、光透過性の樹脂材料等によって形成され、表示駆動部２２Ｃａ，２４Ｃａから出力された画像光を使用者の眼に導く。調光板は、薄板状の光学素子であり、使用者の眼の側とは反対の側である画像表示部２０Ｃａの表側を覆うように配置されている。調光板の光透過率を調整することによって、使用者の眼に入る外光量を調整して虚像の視認のしやすさを調整できる。 The display drive units 22Ca and 24Ca include liquid crystal displays 241Ca and 242Ca (hereinafter also referred to as “LCD 241Ca and 242Ca”), projection optical systems 251Ca and 252Ca, and the like, which will be described later with reference to FIG. A detailed description of the configuration of the display drive units 22Ca and 24Ca will be described later. The optical image display units 26Ca and 28Ca include light guide plates 261Ca and 262Ca (see FIG. 21), which will be described later, and a light control plate. The light guide plates 261Ca and 262Ca are formed of a light transmissive resin material or the like, and guide the image light output from the display driving units 22Ca and 24Ca to the user's eyes. The light control plate is a thin plate-like optical element, and is arranged so as to cover the front side of the image display unit 20Ca which is the side opposite to the user's eye side. By adjusting the light transmittance of the light control plate, the amount of external light entering the user's eyes can be adjusted to adjust the visibility of the virtual image.
制御部１０Ｃａは、ＨＭＤ１００Ｃａを制御するための装置である。制御部１０Ｃａは、静電式のトラックパッドや押下可能な複数のボタンなどを含む操作部１３５Ｃａを有する。 The control unit 10Ca is a device for controlling the HMD 100Ca. The control unit 10Ca includes an operation unit 135Ca including an electrostatic trackpad, a plurality of buttons that can be pressed, and the like.
図２１は、ＨＭＤ１００Ｃａの構成を機能的に示すブロック図である。図２１に示すように、制御部１０Ｃａは、ＲＯＭ１２１Ｃａと、ＲＡＭ１２２Ｃａと、電源１３０Ｃａと、操作部１３５Ｃａと、マーカー画像記憶部１３８Ｃａと、ＣＰＵ１４０Ｃａと、インターフェイス１８０Ｃａと、送信部５１Ｃａ（Ｔｘ５１Ｃａ）および送信部５２Ｃａ（Ｔｘ５２Ｃａ）と、を有している。 FIG. 21 is a block diagram functionally showing the configuration of the HMD 100Ca. As shown in FIG. 21, the control unit 10Ca includes a ROM 121Ca, a RAM 122Ca, a power source 130Ca, an operation unit 135Ca, a marker image storage unit 138Ca, a CPU 140Ca, an interface 180Ca, a transmission unit 51Ca (Tx51Ca), and a transmission unit. 52Ca (Tx52Ca).
電源１３０Ｃａは、ＨＭＤ１００Ｃａの各部に電力を供給する。ＲＯＭ１２１Ｃａには、種々のコンピュータープログラムが格納されている。後述するＣＰＵ１４０Ｃａは、ＲＯＭ１２１Ｃａに格納された各種コンピュータープログラムを、ＲＡＭ１２２Ｃａに展開することで、各種コンピュータープログラムを実行する。 The power supply 130Ca supplies power to each part of the HMD 100Ca. Various computer programs are stored in the ROM 121Ca. The CPU 140Ca described later executes various computer programs by developing various computer programs stored in the ROM 121Ca in the RAM 122Ca.
マーカー画像記憶部１３８Ｃａは、キャリブレーションに用いられるモデルマーカー（マーカーモデルとも呼ぶ）のデータおよび／または右光学像表示部２６Ｃａまたは左光学像表示部２８Ｃａに表示されるキャリブレーション用画像としてのマーカー画像ＩＭＧを記憶している。マーカー画像記憶部１３８Ｃａは、右光学像表示部２６Ｃａに表示されるマーカー画像と左光学像表示部２８Ｃａに表示されるマーカー画像とを同じマーカー画像ＩＭＧとして記憶している。マーカー画像ＩＭＧとしては、２次元のモデルマーカーの画像であったり、３次元モデル空間（３Ｄコンピューターグラフィックス空間）で表現された上記モデルマーカー（２Ｄ）のデータ、またはそのモデルマーカーを、右光学像表示部２６Ｃａまたは左光学像表示部２８Ｃａのそれぞれの写像パラメーターに基づいて写像したものなどが用いられる。換言すると、マーカー画像ＩＭＧは、実物として存在する２次元または３次元の実物マーカーＭＫ１の形状を、２次元として表した画像である。なお、実物マーカーＭＫ１は、請求項における識別マーカーに相当する。 The marker image storage unit 138Ca stores data of model markers (also referred to as marker models) used for calibration and / or marker images as calibration images displayed on the right optical image display unit 26Ca or the left optical image display unit 28Ca. IMG is stored. The marker image storage unit 138Ca stores the marker image displayed on the right optical image display unit 26Ca and the marker image displayed on the left optical image display unit 28Ca as the same marker image IMG. The marker image IMG is a two-dimensional model marker image, the data of the model marker (2D) expressed in a three-dimensional model space (3D computer graphics space), or the model marker, and a right optical image. Those mapped based on the mapping parameters of the display unit 26Ca or the left optical image display unit 28Ca are used. In other words, the marker image IMG is an image in which the shape of a two-dimensional or three-dimensional real marker MK1 that exists as a real object is represented as two dimensions. The real marker MK1 corresponds to the identification marker in the claims.
図２２ないし図２５は、紙面ＰＰに印刷された２次元の実物マーカーを示す説明図である。図２２には、本実施形態のキャリブレーションに用いられる２つのマーカーとしての実物マーカーＭＫ１，ＭＫ２が示されている。図２２に示すように、実物マーカーＭＫ１は、４つの頂点Ｐ０，Ｐ１，Ｐ２，Ｐ３を直線で結んだ正方形の中に、１０個の正円を含むマーカーである。１０個の円の内の５個の円は、頂点Ｐ０と頂点Ｐ２とを結んだ対角線ＣＬ１上に円の中心が存在する。当該５個の円は、対角線ＣＬ１に沿って、頂点Ｐ０に近い円から、円Ｃ１，Ｃ２，Ｃ３，Ｃ４，Ｃ５である。同じように、１０個の円の内の５個の円は、頂点Ｐ１と頂点Ｐ３とを結んだ対角線ＣＬ２上に円の中心が存在する。当該５個の円は、対角線ＣＬ２に沿って、頂点Ｐ１に近い円から、円Ｃ６，Ｃ７，Ｃ３，Ｃ８，Ｃ９である。円Ｃ３は、対角線ＣＬ１と対角線ＣＬ２との交点であると共に、正方形の重心である点を中心とする円である。１０個の円の内の１個の円である円Ｃ１０は、正方形の重心を通り、かつ、Ｐ１とＰ２とを結ぶ直線に平行なＹ軸上に中心を有する。円Ｃ１０は、正方形の重心を通り、Ｙ軸に直交するＸ軸に沿って、円Ｃ５および円Ｃ９と同じ位置に中心を有する。換言すると、円Ｃ１０は、円Ｃ５の中心と円Ｃ９の中心との中間に中心を有する円である。 22 to 25 are explanatory diagrams showing a two-dimensional real marker printed on the paper surface PP. FIG. 22 shows real markers MK1 and MK2 as two markers used in the calibration of the present embodiment. As shown in FIG. 22, the real marker MK1 is a marker that includes ten perfect circles in a square connecting four vertices P0, P1, P2, and P3 with straight lines. Five of the ten circles have the center of the circle on the diagonal line CL1 connecting the vertex P0 and the vertex P2. The five circles are circles C1, C2, C3, C4, and C5 from the circle close to the vertex P0 along the diagonal line CL1. Similarly, five of the ten circles have the center of the circle on the diagonal line CL2 connecting the vertex P1 and the vertex P3. The five circles are circles C6, C7, C3, C8, and C9 from the circle close to the vertex P1 along the diagonal line CL2. The circle C3 is a circle centered on a point that is the intersection of the diagonal line CL1 and the diagonal line CL2 and the center of gravity of the square. A circle C10, which is one of the ten circles, has a center on the Y axis that passes through the center of gravity of the square and is parallel to a straight line connecting P1 and P2. The circle C10 passes through the center of gravity of the square and has a center at the same position as the circles C5 and C9 along the X axis orthogonal to the Y axis. In other words, the circle C10 is a circle having a center between the center of the circle C5 and the center of the circle C9.
本実施形態では、対角線ＣＬ１上に中心を有する５個の円における隣接する円の中心間の距離は、同じ距離になるように設定されている。同じように、対角線ＣＬ２上に中心を有する５個の円における隣接する円の中心間の距離は、同じ距離になるように設定されている。また、対角線ＣＬ１に中心を有する隣接する円の中心間の距離と、対角線ＣＬ２に中心を有する隣接する円の中心間の距離とは、同じ距離である。なお、１０個の内の円Ｃ１０のみ、他の円との中心間との距離が異なる。１０個の円の大きさは、同じ大きさである。なお、対角線ＣＬ１、対角線ＣＬ２、Ｘ軸、およびＹ軸は、実物マーカーＭＫ１を説明するために、便宜上、図２２に示しているのであり、実際の実物マーカーＭＫ１には含まれない直線である。 In the present embodiment, the distance between the centers of adjacent circles in the five circles having the center on the diagonal line CL1 is set to be the same distance. Similarly, the distance between the centers of adjacent circles in the five circles having the center on the diagonal line CL2 is set to be the same distance. The distance between the centers of adjacent circles having the center on the diagonal line CL1 and the distance between the centers of adjacent circles having the center on the diagonal line CL2 are the same distance. Note that only the circle C10 out of 10 has a different distance from the center with respect to other circles. The ten circles have the same size. Note that the diagonal line CL1, the diagonal line CL2, the X axis, and the Y axis are shown in FIG. 22 for the sake of convenience in order to describe the real marker MK1, and are straight lines not included in the actual real marker MK1.
図２２では、色の違いを、ハッチングを変えることで表している。具体的には、図２２におけるハッチングが施された部分は、黒色であり、その他の部分は、白色である。そのため、図２２に示すように、実物マーカーＭＫ１は、白色の紙面ＰＰに、白色によって周囲が囲まれた黒色の正方形によって形成され、その正方形の中に１０個の円が白色で形成されている。 In FIG. 22, the difference in color is represented by changing the hatching. Specifically, the hatched portion in FIG. 22 is black, and the other portions are white. Therefore, as shown in FIG. 22, the real marker MK1 is formed on a white paper PP by a black square surrounded by white, and 10 circles are formed in white in the square. .
図２２に示す実物マーカーＭＫ２は、実物マーカーＭＫ１を元に作成されたマーカーである。実物マーカーＭＫ２は、実物マーカーＭＫ１の大きさを縮小させ、かつ、黒色と白色との反転させたマーカーである。そのため、図２２に示すように、実物マーカーＭＫ２は、黒色によって周囲が囲まれた白色の正方形によって形成され、その正方形の中に１０個の円が黒色で形成されている。本実施形態では、マーカー画像記憶部１３８Ｂは、実物マーカーＭＫ１の２次元の画像であるマーカー画像ＩＭＧを記憶している。なお、実物マーカーＭＫ２は、図２３に示すように、実物マーカーＭＫ１から分離されていてもよい。また、図２４に示すように、実物マーカーＭＫ２（ＭＫ１）に代えて、対角線上にない円を省略された実物マーカーＭＫ１Ａが採用されてもよい。なお、図２５に示すように、実物マーカーＭＫ１，ＭＫ２，ＭＫ１Ａの裏面には、形状、模様、または色彩の特徴は必要ない。 A real marker MK2 shown in FIG. 22 is a marker created based on the real marker MK1. The real marker MK2 is a marker in which the size of the real marker MK1 is reduced and black and white are inverted. Therefore, as shown in FIG. 22, the real marker MK2 is formed of a white square surrounded by black, and 10 circles are formed of black in the square. In the present embodiment, the marker image storage unit 138B stores a marker image IMG that is a two-dimensional image of the real marker MK1. The real marker MK2 may be separated from the real marker MK1, as shown in FIG. In addition, as shown in FIG. 24, a real marker MK1A in which a circle not on a diagonal line is omitted may be employed instead of the real marker MK2 (MK1). As shown in FIG. 25, the back surface of the real markers MK1, MK2, and MK1A does not need a shape, pattern, or color feature.
図２１に示すＣＰＵ１４０Ｃａは、ＲＯＭ１２１Ｃａに格納されているコンピュータープログラムを、ＲＡＭ１２２Ｃａに展開することにより、オペレーティングシステム１５０Ｃａ（ＯＳ１５０Ｃａ）、表示制御部１９０Ｃａ、音声処理部１７０Ｃａ、画像処理部１６０Ｃａ、表示設定部１６５Ｃａ、マーカー特定部１６６Ｃａ、およびパラメーター設定部１６７Ｃａとして機能する。 The CPU 140Ca shown in FIG. 21 expands the computer program stored in the ROM 121Ca to the RAM 122Ca, thereby operating the operating system 150Ca (OS150Ca), the display control unit 190Ca, the sound processing unit 170Ca, the image processing unit 160Ca, and the display setting unit 165Ca. , Function as a marker specifying unit 166Ca and a parameter setting unit 167Ca.
表示制御部１９０Ｃａは、右表示駆動部２２Ｃａおよび左表示駆動部２４Ｃａを制御する制御信号を生成する。表示制御部１９０Ｃａは、右表示駆動部２２Ｃａおよび左表示駆動部２４Ｃａのそれぞれによる画像光の生成および射出を制御する。表示制御部１９０Ｃａは、右ＬＣＤ制御部２１１Ｃａと左ＬＣＤ制御部２１２Ｃａとに対する制御信号のそれぞれを、送信部５１Ｃａおよび５２Ｃａを介して送信する。また、表示制御部１９０Ｃａは、右バックライト制御部２０１Ｃａと左バックライト制御部２０２Ｃａとに対する制御信号のそれぞれを送信する。 The display control unit 190Ca generates control signals for controlling the right display drive unit 22Ca and the left display drive unit 24Ca. The display control unit 190Ca controls the generation and emission of image light by the right display driving unit 22Ca and the left display driving unit 24Ca. The display control unit 190Ca transmits control signals for the right LCD control unit 211Ca and the left LCD control unit 212Ca via the transmission units 51Ca and 52Ca. In addition, the display control unit 190Ca transmits control signals to the right backlight control unit 201Ca and the left backlight control unit 202Ca.
画像処理部１６０Ｃａは、コンテンツに含まれる画像信号を取得し、送信部５１Ｃａ，５２Ｃａを介して、取得した画像信号を画像表示部２０Ｃａの受信部５３Ｃａ，５４Ｃａへと送信する。音声処理部１７０Ｃａは、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、連結部材４６Ｃａに接続された右イヤホン３２Ｃａ内のスピーカー（図示しない）および左イヤホン３４Ｃａ内のスピーカー（図示しない）に対して供給する。 The image processing unit 160Ca acquires an image signal included in the content, and transmits the acquired image signal to the reception units 53Ca and 54Ca of the image display unit 20Ca via the transmission units 51Ca and 52Ca. The audio processing unit 170Ca acquires an audio signal included in the content, amplifies the acquired audio signal, and a speaker (not shown) in the right earphone 32Ca and a speaker (not shown) in the left earphone 34Ca connected to the connecting member 46Ca. (Not shown).
表示設定部１６５Ｃａは、マーカー画像記憶部１３８Ｃａに記憶されたマーカー画像ＩＭＧを右光学像表示部２６Ｃａまたは左光学像表示部２８Ｃａに表示させる。表示設定部１６５Ｃａは、キャリブレーションが実行されているとき（キャリブレーション実行時）に、操作部１３５Ｃａが受け付けた操作に基づいて、マーカー画像ＩＭＧを右光学像表示部２６に表示する場合と、マーカー画像ＩＭＧを左光学像表示部２８Ｃａに表示する場合とを制御する。表示設定部１６５Ｃａは、カメラ６０Ｃａが実物マーカーＭＫ１を撮像してキャリブレーションを実行するときと、カメラ６０Ｃａが実物マーカーＭＫ２を撮像してキャリブレーションを実行するときとで異なる大きさのマーカー画像ＩＭＧを右光学像表示部２６Ｃａまたは左光学像表示部２８Ｃａに表示させる。また、表示設定部１６５Ｃａは、キャリブレーション実行時に、後述する文字画像等を光学像表示部２６Ｃａ，２８Ｃａに表示させる。
The display setting unit 165Ca displays the marker image IMG stored in the marker image storage unit 138Ca on the right optical image display unit 26Ca or the left optical image display unit 28Ca. The display setting unit 165Ca displays a marker image IMG on the right optical
マーカー特定部１６６Ｃａは、カメラ６０Ｃａによって撮像された撮像画像の中に実物マーカーＭＫ１，ＭＫ２が印刷された紙面ＰＰが含まれる場合に、撮像された紙面ＰＰから、実物マーカーＭＫ１，ＭＫ２を特定する。実物マーカーＭＫ１，ＭＫ２を特定するための具体的な処理については、後述するが、マーカー特定部１６６Ｃａは、実物マーカーＭＫ１，ＭＫ２の４つの頂点、１０個の円の中心の座標値を抽出することで、撮像画像の中から実物マーカーＭＫ１，ＭＫ２を特定する。マーカー特定部１６６Ｃａは、例えば、撮像画像の色の階調値を２値化することで、実物マーカーＭＫ１，ＭＫ２における白色と黒色との部分を区別して、円の中心の座標を抽出する。 The marker specifying unit 166Ca specifies the actual markers MK1 and MK2 from the captured paper surface PP when the captured image captured by the camera 60Ca includes the paper surface PP on which the actual markers MK1 and MK2 are printed. Specific processing for specifying the real markers MK1 and MK2 will be described later. The marker specifying unit 166Ca extracts the four vertexes of the real markers MK1 and MK2 and the coordinate values of the centers of the ten circles. Thus, the real markers MK1 and MK2 are specified from the captured image. The marker specifying unit 166Ca, for example, binarizes the color gradation value of the captured image, thereby distinguishing the white and black portions of the real markers MK1 and MK2, and extracting the coordinates of the center of the circle.
パラメーター設定部１６７Ｃａは、カメラ６０Ｃａによって撮像された特定のオブジェクト（以下、「特定オブジェクト」とも言う）に対応付けられた状態で光学像表示部２６Ｃａ，２８Ｃａに表示されるＡＲ（Augmented Reality）画像の表示領域内での位置などを設定するために必要なパラメーター群を設定する。具体的には、パラメーター設定部１６７Ｃａは、光学像表示部２６Ｃａ，２８Ｃａに表示されるＡＲ画像の位置と大きさと向きとの少なくとも１つと、特定オブジェクトの位置と大きさと向きとの１つと、が対応した状態のＡＲ画像を使用者ＵＳに視認させるパラメーター群を設定する。換言すると、パラメーター設定部１６７Ｃａは、カメラ６０Ｃａに原点が固定された３次元座標系（３Ｄ）と、光学像表示部２６Ｃａ，２８Ｃａの表示領域（２Ｄ）とを対応付けるためのパラメーター群の少なくとも１つを、キャリブレーションによって算出する。なお、以降では、カメラ６０Ｃａに原点が固定された３次元座標系をカメラ座標系と呼ぶ。本実施形態では、カメラ座標系以外の座標系として、実物マーカーＭＫ１または実物マーカーＭＫ２の原点を基準とする実物マーカー座標系、カメラ６０Ｃａによって撮像された特定オブジェクトを基準とするオブジェクト座標系、右光学像表示部２６Ｃａの原点または左光学像表示部２８Ｃａの原点を基準とする表示部座標系などを定義する。 The parameter setting unit 167Ca is an AR (Augmented Reality) image displayed on the optical image display units 26Ca and 28Ca in a state associated with a specific object (hereinafter also referred to as “specific object”) captured by the camera 60Ca. Set the parameters required to set the position in the display area. Specifically, the parameter setting unit 167Ca includes at least one of the position, size, and orientation of the AR image displayed on the optical image display units 26Ca, 28Ca, and one of the position, size, and orientation of the specific object. A parameter group that allows the user US to visually recognize the AR image in a corresponding state is set. In other words, the parameter setting unit 167Ca is at least one parameter group for associating the three-dimensional coordinate system (3D) whose origin is fixed to the camera 60Ca and the display areas (2D) of the optical image display units 26Ca and 28Ca. Is calculated by calibration. Hereinafter, a three-dimensional coordinate system in which the origin is fixed to the camera 60Ca is referred to as a camera coordinate system. In the present embodiment, as a coordinate system other than the camera coordinate system, a real marker coordinate system based on the origin of the real marker MK1 or the real marker MK2, an object coordinate system based on a specific object imaged by the camera 60Ca, a right optical A display unit coordinate system or the like based on the origin of the image display unit 26Ca or the origin of the left optical image display unit 28Ca is defined.
ここで、パラメーター群は、「検出系パラメーターセット」と、「表示系パラメーターセット」と、を含む。「検出系パラメーターセット」は、カメラ６０Ｃａに関するカメラパラメーターＣＰを含む。「表示系パラメーターセット」は、カメラ６０Ｃａと光学像表示部２６Ｃａ，２８Ｃａとの間の空間関係を表す３Ｄから３Ｄへの「変換パラメーター」と、任意の３Ｄモデル（３次元座標で表わされたＣＧモデル）を画像（つまり２Ｄ）として表示するための３Ｄから２Ｄへの「写像パラメーター」と、を含む。これらのパラメーターは、必要に応じて行列またはベクトルの態様で表わされる。「一つのパラメーター」との表記は、一つの行列または一つのベクトルを示すこともあるし、一つの行列またはベクトルに含まれる複数の要素の一つを示すこともある。パラメーター設定部１６７Ｃａは、パラメーター群のうち、必要なパラメーターを導出し、ＡＲ画像の表示の際に用いる。この結果、ＨＭＤ１００Ｃａは、使用者ＵＳに、画像表示部２０を介して、ＡＲ画像（ＡＲモデル）の位置、大きさ、向き、奥行感の少なくとも一つと、特定オブジェクトのそれらにと、がほぼ一致する状態で当該ＡＲ画像を視認させることができる。もちろん、これらに加えて、ＨＭＤ１００Ｃａは、色やテクスチャーなどの見えが互いに一致するようにしてもよい。
Here, the parameter group includes a “detection system parameter set” and a “display system parameter set”. The “detection system parameter set” includes a camera parameter CP related to the camera 60Ca. The “display system parameter set” includes a “conversion parameter” from 3D to 3D representing a spatial relationship between the camera 60Ca and the optical image display units 26Ca and 28Ca, and an arbitrary 3D model (represented by three-dimensional coordinates). 3D to 2D “mapping parameters” for displaying the CG model) as an image (
表示設定部１６５Ｃａは、キャリブレーションが実行されているときに、ＡＲ画像または設定画像ＳＩＭ（後述）を右光学像表示部２６Ｃａまたは左光学像表示部２８Ｃａに表示させる。設定画像ＳＩＭを用いた詳細な処理については後述する。 The display setting unit 165Ca displays an AR image or a setting image SIM (described later) on the right optical image display unit 26Ca or the left optical image display unit 28Ca when calibration is being performed. Detailed processing using the setting image SIM will be described later.
インターフェイス１８０Ｃａは、制御部１０Ｃａに対して、コンテンツの供給元となる種々の外部機器ＯＡを接続するためのインターフェイスである。外部機器ＯＡとしては、例えば、ＡＲシナリオを記憶している記憶装置、パーソナルコンピューター（ＰＣ）や携帯電話端末、ゲーム端末等、がある。インターフェイス１８０Ｃａとしては、例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等、を用いることができる。 The interface 180Ca is an interface for connecting various external devices OA that are content supply sources to the control unit 10Ca. Examples of the external device OA include a storage device that stores an AR scenario, a personal computer (PC), a mobile phone terminal, and a game terminal. As the interface 180Ca, for example, a USB interface, a micro USB interface, a memory card interface, or the like can be used.
図２１に示すように、画像表示部２０Ｃａは、右表示駆動部２２Ｃａと、左表示駆動部２４Ｃａと、右光学像表示部２６Ｃａとしての右導光板２６１Ｃａと、左光学像表示部２８Ｃａとしての左導光板２６２Ｃａと、を備えている。 As shown in FIG. 21, the image display unit 20Ca includes a right display drive unit 22Ca, a left display drive unit 24Ca, a right light guide plate 261Ca as a right optical image display unit 26Ca, and a left as a left optical image display unit 28Ca. Light guide plate 262Ca.
右表示駆動部２２Ｃａは、受信部５３Ｃａ（Ｒｘ５３Ｃａ）と、光源として機能する右バックライト制御部２０１Ｃａ（右ＢＬ制御部２０１Ｃａ）および右バックライト２２１Ｃａ（右ＢＬ２２１Ｃａ）と、表示素子として機能する右ＬＣＤ制御部２１１Ｃａおよび右ＬＣＤ２４１Ｃａと、右投写光学系２５１Ｃａと、を含んでいる。右バックライト制御部２０１Ｃａと右バックライト２２１Ｃａとは、光源として機能する。右ＬＣＤ制御部２１１Ｃａと右ＬＣＤ２４１Ｃａとは、表示素子として機能する。 The right display drive unit 22Ca includes a reception unit 53Ca (Rx53Ca), a right backlight control unit 201Ca (right BL control unit 201Ca) and a right backlight 221Ca (right BL221Ca) that function as a light source, and a right LCD that functions as a display element. A control unit 211Ca, a right LCD 241Ca, and a right projection optical system 251Ca are included. The right backlight control unit 201Ca and the right backlight 221Ca function as a light source. The right LCD control unit 211Ca and the right LCD 241Ca function as display elements.
受信部５３Ｃａは、制御部１０Ｃａと画像表示部２０Ｃａとの間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部２０１Ｃａは、入力された制御信号に基づいて、右バックライト２２１Ｃａを駆動する。右バックライト２２１Ｃａは、例えば、ＬＥＤやエレクトロルミネセンス（ＥＬ）等の発光体である。右ＬＣＤ制御部２１１Ｃａは、画像処理部１６０Ｃａおよび表示制御部１９０Ｃａから送信された制御信号に基づいて、右ＬＣＤ２４１Ｃａを駆動する。右ＬＣＤ２４１Ｃａは、複数の画素をマトリクス状に配置した透過型液晶パネルである。 The receiving unit 53Ca functions as a receiver for serial transmission between the control unit 10Ca and the image display unit 20Ca. The right backlight control unit 201Ca drives the right backlight 221Ca based on the input control signal. The right backlight 221Ca is a light emitter such as an LED or electroluminescence (EL). The right LCD control unit 211Ca drives the right LCD 241Ca based on the control signals transmitted from the image processing unit 160Ca and the display control unit 190Ca. The right LCD 241Ca is a transmissive liquid crystal panel in which a plurality of pixels are arranged in a matrix.
右投写光学系２５１Ｃａは、右ＬＣＤ２４１Ｃａから射出された画像光を並行状態の光束にするコリメートレンズによって構成される。右光学像表示部２６Ｃａとしての右導光板２６１Ｃａは、右投写光学系２５１Ｃａから出力された画像光を、所定の光路に沿って反射させつつ使用者の右眼ＲＥに導く。なお、左表示駆動部２４Ｃａは、右表示駆動部２２Ｃａと同様の構成を有し、使用者の左眼ＬＥに対応するため、説明を省略する。 The right projection optical system 251Ca is configured by a collimator lens that converts the image light emitted from the right LCD 241Ca into a light beam in a parallel state. The right light guide plate 261Ca as the right optical image display unit 26Ca guides the image light output from the right projection optical system 251Ca to the right eye RE of the user while reflecting the light along a predetermined optical path. Note that the left display drive unit 24Ca has the same configuration as the right display drive unit 22Ca and corresponds to the left eye LE of the user, and thus description thereof is omitted.
Ｃ−２．キャリブレーション実行処理：
図２６は、第３実施形態におけるキャリブレーション実行処理のフローチャートである。本実施形態のキャリブレーション実行処理は、２つのモード、すなわち、第１設定モードと第２設定モードとを含む。第１設定モードでは、ＨＭＤ１００Ｃａは、使用者ＵＳに片眼ずつキャリブレーションを実施させる。第２設定モードでは、ＨＭＤ１００Ｃａは、使用者ＵＳに両眼で調整を実施させる。
C-2. Calibration execution process:
FIG. 26 is a flowchart of calibration execution processing in the third embodiment. The calibration execution process of the present embodiment includes two modes, that is, a first setting mode and a second setting mode. In the first setting mode, the HMD 100Ca causes the user US to perform calibration for each eye. In the second setting mode, the HMD 100Ca causes the user US to perform adjustment with both eyes.
キャリブレーション実行処理では、初めに、操作部１３５Ｃａが所定の操作を受け付けると、パラメーター設定部１６７Ｃａは、今から実行するキャリブレーションが最初のキャリブレーションの設定であるか否かを判定する（ステップＳＣ１１）。マーカー画像記憶部１３８Ｃａには、実行されるキャリブレーションが最初であるか否かのデータも記憶されている。本実施形態では、使用者ＵＳ毎にキャリブレーションが最初であるか否かが判別されてもよい。具体的には、カメラ６０Ｃａが使用者ＵＳの掌の形状・模様を撮像し、ＣＰＵ１４０Ｃａが使用者ＵＳを特定し、キャリブレーションがその使用者ＵＳにとって最初に実行されるのか否かを判定してもよい。使用者ＵＳの特定は、近距離無線通信を用いたＩＤカードによる特定でもよい。パラメーター設定部１６７Ｃａは、最初のキャリブレーションの設定であると判定した場合には（ステップＳＣ１１：ＹＥＳ）、第１設定モードに移行する（ステップＳＣ２０）。第１設定モードの詳細については後述するが、第１設定モードでは、パラメーター設定部１６７Ｃａが右光学像表示部２６Ｃａと左光学像表示部２８Ｃａとに、別々にマーカー画像ＩＭＧを表示させる。その後、パラメーター設定部１６７Ｃａは、マーカー画像ＩＭＧと実物マーカーＭＫ１，ＭＫ２とが一致するように使用者ＵＳに視認された状態でカメラ６０Ｃａに撮像された実物マーカーＭＫ１，ＭＫ２の撮像画像を用いて、変換パラメーターおよびカメラパラメーターＣＰを設定する。 In the calibration execution process, first, when the operation unit 135Ca receives a predetermined operation, the parameter setting unit 167Ca determines whether or not the calibration to be performed from now is the first calibration setting (step SC11). ). The marker image storage unit 138Ca also stores data indicating whether or not the calibration to be executed is the first. In the present embodiment, it may be determined whether or not the calibration is first for each user US. Specifically, the camera 60Ca captures the shape and pattern of the palm of the user US, the CPU 140Ca identifies the user US, and determines whether calibration is performed for the user US first. Also good. The user US may be specified by an ID card using short-range wireless communication. If the parameter setting unit 167Ca determines that it is the first calibration setting (step SC11: YES), the parameter setting unit 167Ca shifts to the first setting mode (step SC20). Although details of the first setting mode will be described later, in the first setting mode, the parameter setting unit 167Ca displays the marker images IMG separately on the right optical image display unit 26Ca and the left optical image display unit 28Ca. Thereafter, the parameter setting unit 167Ca uses the captured images of the actual markers MK1 and MK2 captured by the camera 60Ca in a state visually recognized by the user US so that the marker image IMG and the actual markers MK1 and MK2 match. Set conversion parameters and camera parameters CP.
ステップＳＣ２０の処理として、パラメーター設定部１６７Ｃａが第１設定モードにおいてキャリブレーションを実行すると、表示設定部１６５Ｃａは、設定された変換パラメーターおよびカメラパラメーターＣＰを用いて、特定オブジェクトに対応付けられた設定画像ＳＩＭを光学像表示部２６Ｃａ，２８Ｃａに表示させる（ステップＳＣ１５）。本実施形態では、特定オブジェクトは実物マーカーＭＫ１，ＭＫ２であるが、特定オブジェクトはこれらに限定されない。光学像表示部２６Ｃａ，２８Ｃａに設定画像ＳＩＭが表示されると、パラメーター設定部１６７Ｃａは、操作部１３５Ｃａが受け付けた操作に応じて、変換パラメーターおよびカメラパラメーターＣＰの値がうまく調整されたか否かを決定する（ステップＳＣ１７）。具体的には、特定オブジェクトの位置および向き（姿勢）に、設定画像ＳＩＭが対応付けられているように使用者ＵＳが視認しているか否かの判断を使用者ＵＳが行ない、当該判断に応じて、使用者ＵＳが操作部１３５Ｃａを操作すればよい。パラメーター設定部１６７Ｃａは、設定された変換パラメーターおよびカメラパラメーターＣＰでよいとの入力を受けた場合には（ステップＳＣ１７：ＹＥＳ）、キャリブレーション実行処理を終了する。 When the parameter setting unit 167Ca executes calibration in the first setting mode as the process of step SC20, the display setting unit 165Ca uses the set conversion parameter and camera parameter CP to set the setting image associated with the specific object. The SIM is displayed on the optical image display units 26Ca and 28Ca (step SC15). In this embodiment, the specific objects are real markers MK1 and MK2, but the specific objects are not limited to these. When the setting image SIM is displayed on the optical image display units 26Ca and 28Ca, the parameter setting unit 167Ca determines whether or not the values of the conversion parameter and the camera parameter CP are successfully adjusted according to the operation received by the operation unit 135Ca. Determine (step SC17). Specifically, the user US determines whether or not the user US is visually recognizing the setting image SIM so as to be associated with the position and orientation (posture) of the specific object, and responds to the determination. Thus, the user US may operate the operation unit 135Ca. When the parameter setting unit 167Ca receives an input indicating that the set conversion parameter and camera parameter CP are acceptable (step SC17: YES), the calibration execution process ends.
ステップＳＣ１７の処理において、操作部１３５Ｃａが所定の操作を受け付けることで、パラメーター設定部１６７Ｃａが、設定された変換パラメーターおよびカメラパラメーターＣＰではよくないとの入力を受けた場合、または大きさと奥行感の調整がさらに必要であるとの入力を受けた場合には（ステップＳＣ１７：ＮＯ）、ステップＳＣ１１以降の処理を繰り返す。パラメーター設定部１６７Ｃａは、ステップＳＣ１１の処理において、今から実行しようとするキャリブレーションが最初のキャリブレーションの設定ではないと判定した場合には（ステップＳＣ１１：ＮＯ）、操作部１３５Ｃａが所定の操作を受け付けることで、第２設定モードに移行するか否かを判定する（ステップＳＣ１３）。パラメーター設定部１６７Ｃａは、第２設定モードに移行しないと判定した場合には（ステップＳＣ１３：ＮＯ）、以上で説明した第１設定モードに移行する（ステップＳＣ２０）。 In the process of step SC17, when the operation unit 135Ca receives a predetermined operation, the parameter setting unit 167Ca receives an input indicating that the set conversion parameter and camera parameter CP are not satisfactory, or the size and depth of When an input indicating that further adjustment is necessary is received (step SC17: NO), the processes after step SC11 are repeated. If the parameter setting unit 167Ca determines in the process of step SC11 that the calibration to be executed is not the first calibration setting (step SC11: NO), the operation unit 135Ca performs a predetermined operation. By accepting, it is determined whether or not to shift to the second setting mode (step SC13). If it is determined that the parameter setting unit 167Ca does not shift to the second setting mode (step SC13: NO), the parameter setting unit 167Ca shifts to the first setting mode described above (step SC20).
ステップＳＣ１３の処理において、パラメーター設定部１６７Ｃａは、第２設定モードに移行すると判定した場合には（ステップＳＣ１３：ＹＥＳ）、第２設定モードに移行する（ステップＳＣ３０）。第２設定モードの詳細については後述するが、第２設定モードでは、カメラ６０Ｃａが特定オブジェクトを撮像することで得られるカメラ６０Ｃａに対する特定オブジェクトの位置および姿勢を、表示設定部１６５Ｃａは、既に実行された第１設定モードまたは第２設定モードにおいて設定されたパラメーター群を用いて特定オブジェクトの右光学像表示部２６Ｃａに対する位置および向き（姿勢）に変換する。そして、表示設定部１６５Ｃａは、当該変換された位置および姿勢と同じ位置と姿勢で設定画像ＳＩＭを右光学像表示部２６Ｃａおよび左光学像表示部２８Ｃａに表示させる。その後、操作部１３５Ｃａが受け付けた所定の操作に応じて、パラメーター設定部１６７Ｃａは、特定オブジェクトに対応付けられた設定画像ＳＩＭを変更するように、パラメーター群のうちのいくつかをさらに調整させる。パラメーター設定部１６７Ｃａは、第２設定モードにおいてキャリブレーションを実行すると、表示設定部１６５ＣａがステップＳＣ１５の処理を実行して、その後の処理が繰り返される。 In the process of step SC13, when parameter setting unit 167Ca determines to shift to the second setting mode (step SC13: YES), it shifts to the second setting mode (step SC30). Although details of the second setting mode will be described later, in the second setting mode, the display setting unit 165Ca has already executed the position and orientation of the specific object with respect to the camera 60Ca obtained by the camera 60Ca capturing the specific object. The parameter group set in the first setting mode or the second setting mode is used to convert the specific object into the position and orientation (attitude) with respect to the right optical image display unit 26Ca. Then, the display setting unit 165Ca displays the setting image SIM on the right optical image display unit 26Ca and the left optical image display unit 28Ca at the same position and posture as the converted position and posture. Thereafter, in accordance with a predetermined operation received by the operation unit 135Ca, the parameter setting unit 167Ca further adjusts some of the parameter groups so as to change the setting image SIM associated with the specific object. When the parameter setting unit 167Ca executes calibration in the second setting mode, the display setting unit 165Ca executes the process of step SC15, and the subsequent processes are repeated.
Ｃ−２−１．第１設定モード：
第１設定モードで実行される処理は、以下のような処理である。ＨＭＤ１００Ｃａは、大きさの異なる２つの実物マーカーＭＫ１，ＭＫ２を用いて、使用者ＵＳに、１つの眼について１度に１回のアライメントを２回実施させることで、合計４回のアライメントを実施させる。具体的には、まず、ＨＭＤ１００Ｃａは、右光学像表示部２６Ｃａまたは左光学像表示部２８Ｃａに、マーカー画像ＩＭＧを表示させる。マーカー画像ＩＭＧは、右光学像表示部２６Ｃａまたは左光学像表示部２８Ｃａのそれぞれに対して、仮想的な位置と姿勢（３Ｄ）とを有するモデルマーカーを、光学像表示部２６Ｃａ，２８Ｃａの表示領域（２Ｄ）へ写像、すなわちレンダリング、したものである。本実施形態では、当該仮想的な位置と姿勢とは、光学像表示部２６Ｃａ，２８Ｃａに対して固定されているが、後述するように、可変であってもよい。使用者ＵＳは、右光学像表示部２６Ｃａまたは左光学像表示部２８Ｃａに表示されたマーカー画像ＩＭＧと、実物マーカーＭＫ１または実物マーカーＭＫ２とが、重複または一致して視認することが可能な位置および向き（姿勢）に移動する。使用者ＵＳがマーカーＩＭＧと実物マーカーＭＫ１，ＭＫ２とが一致するように視認する場合には、実物マーカーＭＫ１，ＭＫ２は右光学像表示部２６Ｃａまたは左光学像表示部２８Ｃａに対して、実物マーカーＭＫ１，ＭＫ２の大きさに応じた既定の距離となる位置と上記仮想的な姿勢とを取っていることとなる。マーカー画像ＩＭＧと、実物マーカーＭＫ１または実物マーカーＭＫ２とが一致している状態で、パラメーター設定部１６７Ｃａが、カメラ６０Ｃａを用いて実物マーカーＭＫ１または実物マーカーＭＫ２を撮像する。パラメーター設定部１６７Ｃａは、撮像画像に含まれる実物マーカーＭＫ１または実物マーカーＭＫ２を用いて、変換パラメーターおよびカメラパラメーターＣＰを設定することとなる。
C-2-1. First setting mode:
The process executed in the first setting mode is the following process. HMD100Ca causes the user US to perform alignment once at a time twice for one eye using two real markers MK1 and MK2 of different sizes, for a total of four alignments. . Specifically, first, the HMD 100Ca displays the marker image IMG on the right optical image display unit 26Ca or the left optical image display unit 28Ca. The marker image IMG represents a model marker having a virtual position and orientation (3D) with respect to each of the right optical image display unit 26Ca or the left optical image display unit 28Ca, and display areas of the optical image display units 26Ca and 28Ca. This is a mapping (rendering) to (2D). In the present embodiment, the virtual position and orientation are fixed with respect to the optical image display units 26Ca and 28Ca, but may be variable as will be described later. The position where the user US can visually recognize the marker image IMG displayed on the right optical image display unit 26Ca or the left optical image display unit 28Ca and the actual marker MK1 or the actual marker MK2 in an overlapping or coincident manner. Move in direction (posture). When the user US visually recognizes that the marker IMG and the actual markers MK1 and MK2 coincide with each other, the actual markers MK1 and MK2 are compared to the right optical image display unit 26Ca or the left optical image display unit 28Ca. , MK2 takes a predetermined distance corresponding to the size of MK2 and the virtual posture. In a state where the marker image IMG and the real marker MK1 or the real marker MK2 match, the parameter setting unit 167Ca images the real marker MK1 or the real marker MK2 using the camera 60Ca. The parameter setting unit 167Ca sets the conversion parameter and the camera parameter CP using the real marker MK1 or the real marker MK2 included in the captured image.
図２７は、第１設定モードのフローチャートである。第１設定モードでは、パラメーター設定部１６７Ｃａが、右光学像表示部２６Ｃａに関するアライメントを成立させた状態でキャリブレーションデータを収集し、左光学像表示部２８Ｃａに関するアライメントを成立させた状態でキャリブレーションデータを収集し、その後、変換パラメーターおよびカメラパラメーターＣＰを設定する。 FIG. 27 is a flowchart of the first setting mode. In the first setting mode, the parameter setting unit 167Ca collects calibration data in a state in which the alignment for the right optical image display unit 26Ca is established, and the calibration data in a state in which the alignment for the left optical image display unit 28Ca is established. After that, conversion parameters and camera parameters CP are set.
第１設定モードでは、初めに、表示設定部１６５Ｃａが右光学像表示部２６Ｃａにマーカー画像ＩＭＧを表示させる（ステップＳＣ２０１）。図２８は、マーカー画像ＩＭＧが表示された場合の光学像表示部２６Ｃａのイメージ図である。図２８に示すように、表示設定部１６５Ｃａは、マーカーの正方形の外枠と、正方形の中に含まれる１０個の円の外枠と、を右光学像表示部２６Ｃａに表示させる。表示設定部１６５Ｃａは、マーカー画像ＩＭＧを、赤色の線として右光学像表示部２６に表示させる。なお、図２８では、画像表示部２０Ｃａの内の右光学像表示部２６Ｃａ以外の部分の図示を省略し、以降の図面でも省略する。
In the first setting mode, first, the display setting unit 165Ca displays the marker image IMG on the right optical image display unit 26Ca (step SC201). FIG. 28 is an image diagram of the optical image display unit 26Ca when the marker image IMG is displayed. As shown in FIG. 28, the display setting unit 165Ca causes the right optical image display unit 26Ca to display a square outer frame of the marker and an outer frame of ten circles included in the square. The display setting unit 165Ca displays the marker image IMG on the right optical
右光学像表示部２６Ｃａにマーカー画像ＩＭＧが表示されると、パラメーター設定部１６７Ｃａは、マーカー画像ＩＭＧと実物マーカーＭＫ２とが一致して視認されるように、ＨＭＤ１００Ｃａを装着したまま使用者ＵＳに位置と姿勢を合わせることを促す（図２７のステップＳＣ２１０）。 When the marker image IMG is displayed on the right optical image display unit 26Ca, the parameter setting unit 167Ca is positioned at the user US while wearing the HMD 100Ca so that the marker image IMG and the real marker MK2 are visually recognized. And prompting the user to match the posture (step SC210 in FIG. 27).
右画像表示部２６Ｃａにはさらにメッセージが表示されてもよい。ＨＭＤ１００Ｃａは、使用者ＵＳがマーカー画像ＩＭＧと実物マーカーＭＫ２とが一致するように視認した場合に、使用者ＵＳは、タッチパッドの操作、ボタンの押下、または音声コマンドの発声をするように、指示する。パラメーター設定部１６７Ｃａがこれら操作または音声コマンドを受け付けた場合に、カメラ６０ＣａがマーカーＭＫ２を撮像、すなわちキャリブレーションデータの収集をする（ステップＳＣ２０２）。音声コマンドに基づいて、パラメーター設定部１６７Ｃａがキャリブレーションデータを収集する場合には、使用者ＵＳの頭部の動きが少ないことが期待される。そのため、音声コマンドに基づく操作では、タッチ操作やボタンの押下の場合に比べて、使用者ＵＳが成立させたアライメントからのずれが少ない状態でのキャリブレーションデータの収集が可能となり、結果として、ＡＲ画像の重畳精度のよいＨＭＤ１００Ｃａが得られる。 A message may be further displayed on the right image display unit 26Ca. When the user US visually recognizes that the marker image IMG and the real marker MK2 coincide with each other, the HMD 100Ca instructs the user US to operate the touch pad, press a button, or speak a voice command. To do. When the parameter setting unit 167Ca accepts these operations or voice commands, the camera 60Ca images the marker MK2, that is, collects calibration data (step SC202). When the parameter setting unit 167Ca collects calibration data based on the voice command, it is expected that the movement of the head of the user US is small. Therefore, in the operation based on the voice command, it is possible to collect calibration data in a state in which the deviation from the alignment established by the user US is less than in the case of the touch operation or the button press, and as a result, the AR HMD100Ca with high image superimposition accuracy is obtained.
図２７のステップＳＣ２１０のマーカー画像ＩＭＧと実物マーカーＭＫ２との位置と姿勢を合わせる処理（目視によるアライメント処理）およびキャリブレーションデータの収集が実行されると、表示設定部１６５Ｃａは、ステップＳＣ２０１の処理と同じく図２８に示すように、右光学像表示部２６Ｃａにマーカー画像ＩＭＧを表示させる（ステップＳＣ２０３）。その後、パラメーター設定部１６７Ｃａは、マーカー画像ＩＭＧと実物マーカーＭＫ１とが一致して視認されるように、ＨＭＤ１００Ｃａを装着したまま使用者ＵＳに位置と姿勢を合わせることを促す（ステップＳＣ２２０）。この状態で実物マーカーＭＫ１が撮像されることで、パラメーター設定部１６７Ｃａは、キャリブレーションデータを収集する（ステップＳＣ２０４）。ここで、実物マーカーＭＫ１は、実物マーカーＭＫ２よりも大きい。そのため、ステップＳＣ２２０の処理では、使用者ＵＳがマーカー画像ＩＭＧと実物マーカーＭＫ１とが一致するように視認する場合には、右光学像表示部２６Ｃａと実物マーカーＭＫ１との距離は、実物マーカーＭＫ２の場合と比べて大きくなる。 When the process of aligning the position and orientation of the marker image IMG and the actual marker MK2 (visual alignment process) and the collection of calibration data in step SC210 of FIG. 27 are performed, the display setting unit 165Ca performs the process of step SC201. Similarly, as shown in FIG. 28, the marker image IMG is displayed on the right optical image display unit 26Ca (step SC203). Thereafter, the parameter setting unit 167Ca prompts the user US to adjust the position and posture while wearing the HMD 100Ca so that the marker image IMG and the real marker MK1 are visually recognized (step SC220). By capturing an image of the real marker MK1 in this state, the parameter setting unit 167Ca collects calibration data (step SC204). Here, the real marker MK1 is larger than the real marker MK2. Therefore, in the process of step SC220, when the user US visually recognizes that the marker image IMG and the real marker MK1 coincide with each other, the distance between the right optical image display unit 26Ca and the real marker MK1 is equal to that of the real marker MK2. It becomes larger than the case.
パラメーター設定部１６７Ｃａは、左光学像表示部２８Ｃａに関して、右光学像表示部２６ＣａにおけるステップＳＣ２０１からステップＳＣ２０４までの処理と同じ処理として、図２７のステップＳＣ２０５からステップＳＣ２０８までの処理を実行する。左右の光学像表示部２６Ｃａ、２８Ｃａに関して第１設定モードにおける各処理（ステップＳＣ２０１からステップＳＣ２０８までの処理）が実行されると、パラメーター設定部１６７Ｃａは、後述する式（６９）を最小化するような、右光学像表示部２６Ｃａに関するパラメーター群と、左光学像表示部２８Ｃａに関するパラメーター群とを設定できる（ステップＳＣ２０９）。 The parameter setting unit 167Ca executes the processing from step SC205 to step SC208 in FIG. 27 as the same processing from step SC201 to step SC204 in the right optical image display unit 26Ca with respect to the left optical image display unit 28Ca. When each process in the first setting mode (the process from step SC201 to step SC208) is executed for the left and right optical image display units 26Ca and 28Ca, the parameter setting unit 167Ca minimizes the expression (69) described later. In addition, a parameter group related to the right optical image display unit 26Ca and a parameter group related to the left optical image display unit 28Ca can be set (step SC209).
Ｃ−２−２．パラメーターの設定：
ここでは、第１設定モードにおいて、パラメーター設定部１６７Ｃａが、カメラ６０Ｃａから得られた実物マーカーＭＫ２の撮像データおよび実物マーカーＭＫ１の撮像データを用いて、変換パラメーターおよびカメラパラメーターＣＰのパラメーターの設定する手順を説明する。なお、本実施形態の第１設定モードでは、カメラパラメーターＣＰは、必ずしも最適化される必要がなく、設計値に固定されていてよい。ただし、以下に示す本実施形態では、使用者ＵＳが必要に応じてカメラパラメーターＣＰを最適化することができるように、カメラパラメーターＣＰを最適化変数として含んだアルゴリズムを提示している。他の実施形態において、カメラパラメーターＣＰを最適化する必要がない場合には、これらを定数（固定値）として以下の式を扱えばよい。
C-2-2. Parameter settings:
Here, in the first setting mode, the parameter setting unit 167Ca uses the imaging data of the real marker MK2 and the imaging data of the real marker MK1 obtained from the camera 60Ca to set the conversion parameter and the parameter of the camera parameter CP. Will be explained. In the first setting mode of the present embodiment, the camera parameter CP does not necessarily need to be optimized, and may be fixed to a design value. However, in the present embodiment described below, an algorithm including the camera parameter CP as an optimization variable is presented so that the user US can optimize the camera parameter CP as necessary. In other embodiments, when it is not necessary to optimize the camera parameter CP, these may be treated as constants (fixed values) and the following equations may be handled.
Ｃ−２−２−１．カメラパラメーターについて：
カメラ６０Ｃａに関するカメラパラメーターＣＰとして、本実施形態では、４個のカメラパラメーターＣＰ（ｆｘ、ｆｙ、Ｃｘ、Ｃｙ）が利用される。（ｆｘ、ｆｙ）は撮像部であるカメラ６０の焦点距離であり、画素密度に基づいて画素数に換算されている。（Ｃｘ、Ｃｙ）は、カメラ主点位置と呼ばれ、撮像画像の中心位置を意味し、たとえばカメラ６０Ｃａのイメージセンサーに固定された２Ｄ座標系で表わされ得る。
C-2-2-1. About camera parameters:
In this embodiment, four camera parameters CP (fx, fy, Cx, Cy) are used as camera parameters CP related to the camera 60Ca. (Fx, fy) is a focal length of the camera 60 which is an imaging unit, and is converted into the number of pixels based on the pixel density. (Cx, Cy) is called a camera principal point position, means the center position of the captured image, and can be represented by, for example, a 2D coordinate system fixed to the image sensor of the camera 60Ca.
カメラパラメーターＣＰは、撮像部の主要部分を構成するカメラ６０Ｃａの製品仕様から知ることができる（以下ではこれをデフォルトカメラパラメーターとも表記する）。ただし、実際のカメラのカメラパラメーターＣＰがデフォルトカメラパラメーターから大きくずれていることが多い。しかも、同じ仕様のカメラであっても、製品が異なれば、製品ごとのカメラ間で、カメラパラメーターＣＰがばらついている（揃っていない）ことがある。 The camera parameter CP can be known from the product specifications of the camera 60Ca that constitutes the main part of the imaging unit (hereinafter also referred to as a default camera parameter). However, the camera parameter CP of the actual camera often deviates greatly from the default camera parameter. In addition, even if the cameras have the same specifications, if the products are different, the camera parameters CP may vary between cameras for each product.
ＡＲ画像として光学像表示部２６Ｃａ，２８Ｃａに表示されるＡＲモデルにおける位置、大きさ、姿勢の少なくとも一つが実物体にアライン（重畳）するように使用者に視認させる場合、カメラ６０Ｃａは、当該実物体の位置および姿勢を検出する検出機として機能する。このとき、パラメーター設定部１６７Ｃａは、カメラパラメーターＣＰを用いて、カメラ６０Ｃａに撮像された実物体のカメラ６０Ｃａに対する位置および姿勢を推定する。さらに、パラメーター設定部１６７Ｃａは、当該位置および姿勢を、カメラ６０Ｃａと左光学像表示部２８Ｃａ（右光学像表示部２６Ｃａ）との間の相対位置関係を用いて、左光学像表示部２８Ｃａに対する実物体の位置および姿勢に変換する。さらに、パラメーター設定部１６７Ｃａは、当該変換された位置および姿勢に基づいて、ＡＲモデルの位置および姿勢を決定する。そして、画像処理部１６０Ｃａは、当該位置および姿勢を有するＡＲモデルを、写像パラメーターを用いて表示領域に写像（変換）し、表示バッファ（例えばＲＡＭ１２２Ｃａ）に書き込む。そして、表示制御部１９０Ｃａは、表示バッファに書き込まれたＡＲモデルを左光学像表示部２８Ｃａに表示する。このため、カメラパラメーターＣＰがデフォルトカメラパラメーターである場合には、推定される実物体の位置および姿勢に誤差が含まれることとなる。そうすると、推定された位置および姿勢の誤差に由来して、表示されたＡＲモデルと実物体との重畳に誤差があるように使用者に視認される。 When the user visually recognizes that at least one of the position, size, and orientation in the AR model displayed as the AR image on the optical image display units 26Ca and 28Ca is aligned (superimposed) on the real object, the camera 60Ca It functions as a detector that detects the position and posture of the body. At this time, the parameter setting unit 167Ca uses the camera parameter CP to estimate the position and orientation of the real object captured by the camera 60Ca with respect to the camera 60Ca. Further, the parameter setting unit 167Ca uses the relative position relationship between the camera 60Ca and the left optical image display unit 28Ca (right optical image display unit 26Ca) to determine the actual position and orientation of the actual position relative to the left optical image display unit 28Ca. Convert to body position and posture. Further, the parameter setting unit 167Ca determines the position and orientation of the AR model based on the converted position and orientation. Then, the image processing unit 160Ca maps (converts) the AR model having the position and orientation onto the display area using the mapping parameters, and writes the AR model in the display buffer (for example, the RAM 122Ca). Then, the display control unit 190Ca displays the AR model written in the display buffer on the left optical image display unit 28Ca. For this reason, when the camera parameter CP is the default camera parameter, an error is included in the estimated position and orientation of the real object. Then, it is visually recognized by the user that there is an error in the superposition of the displayed AR model and the real object due to the estimated position and orientation error.
そこで、本実施形態では、ＡＲモデルが対象物に重畳して使用者ＵＳに視認されるようにするためのキャリブレーションの際に、パラメーター設定部１６７Ｃａは、カメラパラメーターＣＰを、実物マーカーＭＫ２および実物マーカーＭＫ１の撮像データを用いて、最適化して設定する。そして、設定されたカメラパラメーターＣＰが用いられて、対象物の位置および姿勢が検出（推定）されるようにする。そうすれば、ＡＲモデルの表示において、表示されるＡＲモデルと実物体との間に発生するずれが使用者ＵＳに視認される度合いが低くなる。後述するように、同じＨＭＤ１００Ｃａの使用者ＵＳが同一人であっても、カメラパラメーターＣＰの設定は、キャリブレーションが行なわれるごとに行なわれ、当該キャリブレーションに引き続いて行なわれる対象物とＡＲモデルとの間での位置、大きさ、向きの少なくとも一つが一致した表示のために使用されることが好ましい。これは、キャリブレーションの際に、必ずしも使用者は、実物マーカーＭＫ２または実物マーカーＭＫ１と、実物マーカーＭＫ２または実物マーカーＭＫ１に対応したマーカー画像ＩＭＧとを、同じ精度で位置および姿勢を合わせるとは限らないことによる。たとえ使用者ＵＳが違う精度で位置および姿勢を合わせたとしても、それに応じたカメラパラメーターＣＰが設定されることから、実物体に対するＡＲモデルの重畳表示がされる場合に重畳表示のずれの増大が抑制される。 Therefore, in the present embodiment, the parameter setting unit 167Ca sets the camera parameter CP to the real marker MK2 and the real object when performing calibration so that the AR model is superimposed on the object and visually recognized by the user US. Using the imaging data of the marker MK1, the setting is optimized. Then, the set camera parameter CP is used to detect (estimate) the position and orientation of the object. Then, in the display of the AR model, the degree to which the user US visually recognizes the deviation that occurs between the displayed AR model and the real object is reduced. As will be described later, even if the user US of the same HMD 100Ca is the same person, the camera parameter CP is set every time calibration is performed, and the object and the AR model that are performed following the calibration are set. It is preferably used for display in which at least one of the position, the size, and the direction between them is the same. In the calibration, the user does not always match the position and posture of the real marker MK2 or the real marker MK1 and the marker image IMG corresponding to the real marker MK2 or the real marker MK1 with the same accuracy. By not. Even if the user US adjusts the position and orientation with different accuracy, the camera parameter CP is set accordingly, so that when the AR model is superimposed on the real object, the deviation of the superimposed display increases. It is suppressed.
Ｃ−２−２−２．変換パラメーターについて：
また、本実施形態のＨＭＤ１００Ｃａは、カメラ６０Ｃａと光学像表示部２６Ｃａ，２８Ｃａとの間の相対位置関係が変化する構造を有する。デフォルトカメラパラメーターについての説明からも理解されるように、ＡＲモデルにおける位置、大きさ、姿勢の少なくとも一つが実物体にアライン（重畳）するように使用者に視認させる場合、実際のカメラ６０Ｃａと光学像表示部２６Ｃａ，２８Ｃａとの間の相対位置関係とは異なる相対位置関係に基づいてＡＲモデルを表示すると、表示されたＡＲモデルと実物体との重畳に誤差が視認される。
C-2-2-2. About conversion parameters:
Further, the HMD 100Ca of the present embodiment has a structure in which the relative positional relationship between the camera 60Ca and the optical image display units 26Ca and 28Ca is changed. As can be understood from the description of the default camera parameters, when the user visually recognizes that at least one of the position, size, and orientation in the AR model is aligned (superimposed) on the real object, the actual camera 60Ca and the optical When the AR model is displayed based on a relative positional relationship different from the relative positional relationship between the image display units 26Ca and 28Ca, an error is visually recognized in the superimposition of the displayed AR model and the real object.
そこで、本実施形態では、ＡＲモデルが対象物に重畳して使用者に視認されるようにするためのキャリブレーションの際に、カメラ６０Ｃａの座標系と、右光学像表示部２６Ｃａの座標系および左光学像表示部２８Ｃａの座標系と、の間の相対位置関係（回転および並進の少なくとも一つ）を表す変換パラメーターを調整または設定する。そして、設定された当該変換パラメーターが表す空間関係（相対位置関係）を用いてＡＲモデルの表示をすると、使用者ＵＳにずれが視認される度合いが低くなる。 Therefore, in the present embodiment, in the calibration for the AR model to be superimposed on the object and visually recognized by the user, the coordinate system of the camera 60Ca, the coordinate system of the right optical image display unit 26Ca, and A conversion parameter representing a relative positional relationship (at least one of rotation and translation) between the coordinate system of the left optical image display unit 28Ca and the coordinate system is adjusted or set. When the AR model is displayed using the spatial relationship (relative positional relationship) represented by the set conversion parameter, the degree to which the user US visually recognizes the shift is low.
本実施形態では、パラメーター設定部１６７Ｃａは、右光学像表示部２６Ｃａと左光学像表示部２８Ｃａとのそれぞれに対応する左変換パラメーターＰＭＬ［Rcam2left, tcam2left］と、右変換パラメーターＰＭＲ［Rcam2lright, tcam2right］とを設定する。回転行列Rcam2rightは、直交する３軸の回転によって決定される３つのパラメーターであり、並進行列Tcam2rightは、３軸に沿った並進のそれぞれに対応する３つのパラメーターである。すなわち、右光学像表示部２６Ｃａに対応する右変換パラメーターＰＭＲは、計６つのパラメーターを含んでいる。同じように、左光学像表示部２８Ｃａに対応する変換パラメーターは、回転行列Rcam2leftと並進行列Tcam2leftとであり、計６つのパラメーターを含んでいる。以上の通り、本実施形態では、カメラパラメーターＣＰに含まる４個のパラメーターと、空間関係を表す１２個の変換パラメーターとの１６個のパラメーターが算出される。 In the present embodiment, the parameter setting unit 167Ca has a left conversion parameter PML [Rcam2left, tcam2left] and a right conversion parameter PMR [Rcam2lright, tcam2right] corresponding to the right optical image display unit 26Ca and the left optical image display unit 28Ca, respectively. And set. The rotation matrix Rcam2right is three parameters determined by rotation of three orthogonal axes, and the translation column Tcam2right is three parameters corresponding to each of the translations along the three axes. That is, the right conversion parameter PMR corresponding to the right optical image display unit 26Ca includes a total of six parameters. Similarly, the conversion parameters corresponding to the left optical image display unit 28Ca are the rotation matrix Rcam2left and the parallel progression column Tcam2left, which include a total of six parameters. As described above, in the present embodiment, 16 parameters including 4 parameters included in the camera parameter CP and 12 conversion parameters representing the spatial relationship are calculated.
Ｃ−２−２−３．パラメーター導出処理：
以下における説明では、使用者ＵＳが実物マーカーＭＫ２（または実物マーカーＭＫ１）とマーカー画像ＩＭＧとが互いに一致するように視認する状態でカメラ６０Ｃａが実物マーカーＭＫ２（または実物マーカーＭＫ１）を撮像し、パラメーター設定部１６７Ｃａがその撮像画像を取得する。パラメーター設定部１６７Ｃａは、取得した当該撮像画像に基づいて、後述の式（６９）を用いて、カメラパラメーターおよび変換パラメーターを算出する。本実施形態では、設定パラメーターを設定する場合の初期値（ｉ=０）として、ＨＭＤ１００Ｃａが製造される工場から出荷される前の計測値や検査値を用いる。一方で、他の実施形態では、カメラ６０Ｃａまたは光学像表示部２６Ｃａ，２８Ｃａの最大可動した場合の一方の姿勢における値、または、可動域の中間の姿勢における値を初期値として用いてもよい。
C-2-2-3. Parameter derivation processing:
In the following description, the camera 60Ca images the real marker MK2 (or the real marker MK1) while the user US visually recognizes the real marker MK2 (or the real marker MK1) and the marker image IMG so as to match each other. The setting unit 167Ca acquires the captured image. The parameter setting unit 167Ca calculates a camera parameter and a conversion parameter based on the acquired captured image using an equation (69) described later. In this embodiment, as an initial value (i = 0) when setting a setting parameter, a measured value or an inspection value before shipping from a factory where the HMD 100Ca is manufactured is used. On the other hand, in another embodiment, a value in one posture when the camera 60Ca or the optical image display units 26Ca and 28Ca is maximum movable or a value in a middle posture of the movable range may be used as an initial value.
図２９は、右光学像表示部２６Ｃａのみにマーカー画像ＩＭＧが表示された状態での空間的な位置関係を示す概略図である。図２９には、使用者ＵＳが、予め画像表示部２０Ｃａを装着した使用者ＵＳの仮想の右眼の位置として設定された右眼位置ＲＰから、右光学像表示部２６Ｃａに表示されたマーカー画像ＩＭＧを視認した場合の概略が示されている。なお、図２９には、ＨＭＤ１００Ｃａの内の画像表示部２０Ｃａのみを図示し、装着帯９０Ｃａや制御部１０Ｃａなどについては図示を省略している。つまり、図２９に示す画像表示部２０Ｃａは、図１８ないし図２０に示す画像表示部２０Ｃａと同じ画像表示部である。また、図２９には、撮像される三次元空間である外景の座標軸を表す座標軸ＣＤ２と、座標軸ＣＤ２を投影した二次元画像の座標軸を表す座標軸ＣＤ１と、が示されている。使用者ＵＳは、右光学像表示部２６Ｃａに表示されたマーカー画像ＩＭＧを、画像表示部２０Ｃａから距離Ｌ１離れた位置に存在するマーカーＭＫ１として視認する。 FIG. 29 is a schematic diagram illustrating a spatial positional relationship in a state where the marker image IMG is displayed only on the right optical image display unit 26Ca. In FIG. 29, the marker image displayed on the right optical image display unit 26Ca from the right eye position RP set as the virtual right eye position of the user US wearing the image display unit 20Ca in advance by the user US. An outline in the case of viewing the IMG is shown. In FIG. 29, only the image display unit 20Ca of the HMD 100Ca is illustrated, and the illustration of the wearing band 90Ca, the control unit 10Ca, and the like is omitted. That is, the image display unit 20Ca shown in FIG. 29 is the same image display unit as the image display unit 20Ca shown in FIGS. FIG. 29 also shows a coordinate axis CD2 that represents the coordinate axis of the outside scene, which is a three-dimensional space to be imaged, and a coordinate axis CD1 that represents the coordinate axis of the two-dimensional image on which the coordinate axis CD2 is projected. The user US visually recognizes the marker image IMG displayed on the right optical image display unit 26Ca as the marker MK1 that exists at a distance L1 from the image display unit 20Ca.
図２９に示すように、右光学像表示部２６Ｃａに表示されたマーカー画像ＩＭＧと、外景に含まれ前方に位置する実物マーカーＭＫ１と、が位置、大きさ、向きが一致するように使用者が視認するとき（以下、使用者ＵＳが左眼ＬＥ（右眼ＲＥ）でアライメントを成立させるときともいう）、座標系の間には、次の式（５５）の関係が成り立つ。なお、以降では、右光学像表示部２６Ｃａではなく、左光学像表示部２８Ｃａにマーカー画像ＩＭＧが表示された場合について説明する。
ここで、左辺および右辺のＣＰは、カメラ６０ＣａのカメラパラメーターＣＰである。［Ro2dl, to2dl］は、実オブジェクト（この場合、実物マーカーＭＫ２または実物マーカーＭＫ１）に固定された座標系から左光学像表示部２８Ｃａに固定された座標系への変換行列であり、このうち、［Ro2dl］が回転を表す３×３の行列であり、［to2dl］が並進を表す３×１の行列である。［Ro2dl, to2dl］は、左光学像表示部２８Ｃａに対する実オブジェクトの位置および姿勢を表している。ModelMatrixは、モデルマーカー上の任意の１点を表す３×１の行列である。モデルマーカーは、マーカー画像ＩＭＧが光学像表示部２８Ｃａに表示される場合の基礎となる３次元データ（３次元モデル：ただし本実施形態では平面）である。［Ro2dl, to2dl］×ModelMatrixの表記は、下記の式（５６）の規則に従っている。
式（５５）の右辺における［Rcam2left, tcam2left］は、カメラ６０Ｃａの座標系から左光学像表示部２８Ｃａの座標系への変換行列である。当該変換行列は、パラメーター設定部１６７Ｃａによって設定される複数の変換パラメーターで構成される。式（５５）の右辺における［Robj2cam, tobj2cam］は、実オブジェクト（実物マーカーＭＫ２または実物マーカーＭＫ１）の座標系からカメラ６０Ｃａの座標系への変換行列である。［Robj2cam, tobj2cam］は、カメラ６０Ｃａに対する実オブジェクトの位置および姿勢を表している。 [R cam2left , t cam2left ] on the right side of Expression (55) is a transformation matrix from the coordinate system of the camera 60Ca to the coordinate system of the left optical image display unit 28Ca. The conversion matrix includes a plurality of conversion parameters set by the parameter setting unit 167Ca. [R obj2cam , t obj2cam ] on the right side of Expression (55) is a transformation matrix from the coordinate system of the real object (real marker MK2 or real marker MK1) to the coordinate system of the camera 60Ca. [R obj2cam , t obj2cam ] represents the position and orientation of the real object with respect to the camera 60Ca.
式（５５）の関係から、左光学像表示部２８Ｃａについて、マーカー画像ＩＭＧと実物マーカーＭＫ２または実物マーカーＭＫ１とのアライメントが成立しているとき、以下の式（５７）、（５８）が成り立つ。
左眼ＬＥのアライメントが成立すると仮定したとき、実物マーカーＭＫ２または実物マーカーＭＫ１のカメラ６０Ｃａに対する姿勢をモデルマーカーに適用すると、カメラ６０Ｃａの座標系に変換されたモデルマーカー上の任意の点は次の式（５９）のPcl（Xcl, Ycl, Zcl）のようになる。
式（５７）および式（５８）により、Robj2cam,tobj2camを消去すると式（５９）は以下の式（６０）のようになる。
Ro2dlおよびto2dlは、実物マーカーＭＫ２または実物マーカーＭＫ１の座標系から左光学像表示部２８Ｃａの座標系への回転および並進である。本実施形態では、使用者ＵＳが左光学像表示部２８Ｃａに表示されたマーカー画像ＩＭＧを実物マーカーＭＫ２または実物マーカーＭＫ１に位置合わせしたときに、Ro2dlおよびto2dlが所定の回転および並進となるように、マーカー画像ＩＭＧが左光学像表示部２８Ｃａ上の所定位置（例えば中央）に所定の配向かつ所定の大きさで、固定されて表示される。Tcam2leftは、カメラの座標系から左光学像表示部２８Ｃａの座標系への並進である。
式（５９）で表されるモデルマーカーをカメラ６０Ｃａの撮像画像上に写像するとき、撮像画像上のモデルマーカーの座標は、次のようになる。
カメラ６０Ｃａが実際に実物マーカーＭＫ２または実物マーカーＭＫ１を撮像した場合の撮像画像におけるマーカーの特徴要素の座標を（ul, vl）と表記すると、（ul, vl）と（ximl, yiml）との差は以下のようになる。
使用者が、右眼ＲＥで右光学像表示部２６Ｃａに表示されたマーカーと、実物マーカーＭＫ２または実物マーカーＭＫ１と、のアライメントを成立させた場合についても、同様に式（６８）で表される二乗和を導出する。
ERとELとの和により、式（６９）で表すコスト関数Ｅを定義する。
本実施形態では、カメラ６０ＣａのカメラパラメーターＣＰと、カメラ６０Ｃａの座標系から左光学像表示部２８Ｃａの座標系への回転（Rcam2left）および並進（Tcam2left）を表す変換パラメーターと、カメラ６０Ｃａの座標系から右光学像表示部２６Ｃａの座標系への回転（Rcam2right）および並進（Tcam2right）を表す変換パラメーターと、が最適化により設定される。 In the present embodiment, the camera parameter CP of the camera 60Ca, the conversion parameter indicating the rotation (R cam2left ) and translation (T cam2left ) from the coordinate system of the camera 60Ca to the coordinate system of the left optical image display unit 28Ca, and the camera 60Ca Conversion parameters representing rotation (R cam2right ) and translation (T cam2right ) from the coordinate system to the coordinate system of the right optical image display unit 26Ca are set by optimization.
式（６９）で表わされるコスト関数Ｅを最小化する繰り返し計算に用いられるヤコビ行列は、式（７０）のようになる。
カメラパラメーターＣＰおよび変換パラメーターが設定されると、図２６に示すキャリブレーション実行処理におけるステップＳＣ１５の処理として、設定された変換パラメーターおよびカメラパラメーターＣＰを、使用者ＵＳに画像を用いて確認させる目的で、表示設定部１６５Ｃａは設定画像ＳＩＭを光学像表示部２６Ｃａ，２８Ｃａに表示させる。カメラ６０Ｃａの撮像範囲に特定オブジェクト（この例では実物マーカーＭＫ１）が含まれる場合に、ＣＰＵ１４０Ｃａは、設定されたカメラパラメーターＣＰを用いてカメラ６０Ｃａに対する特定オブジェクトの位置および姿勢を導出する。また、ＣＰＵ１４０は、設定された変換パラメーターを用いて、カメラ６０Ｃａに対する特定オブジェクトの位置および姿勢を、光学像表示部２６Ｃａ、２８Ｃａに対する特定オブジェクトの位置および姿勢に変換する。そして、表示設定部１６５Ｃａは、当該変換された位置および姿勢をＡＲモデルに与えてから、当該ＡＲモデルを写像し、そして、ＡＲモデルを設定画像ＳＩＭとして光学像表示部２６Ｃａ，２８Ｃａに表示させる。この例では、使用者ＵＳに、設定画像ＳＩＭの位置および姿勢が特定オブジェクトの位置および姿勢に一致し、かつ特定オブジェクトの動きに追跡するように設定画像ＳＩＭを視認させることができれば、変換パラメーターとカメラパラメーターＣＰの設定は十分である。実物マーカー、またはそれに対応したＡＲモデルの内部座標をＸと定義すると、変換パラメーターが用いられ、左光学像表示部２８Ｃａにおける表示画像の位置（u,v）は、式（７１）のように表される。
ここで、特定オブジェクトまたはＡＲモデルXがカメラ６０で撮像されたとすると、特定オブジェクトまたはＡＲモデルX上の点と撮像画像上の対応点との間には、式（７３）が成り立つ。
３次元におけるＡＲモデルの同じ座標点は、画像処理部１６０Ｃａにおけるディスプレイバッファにレンダリングされるため、その規格化デバイス座標（ＮＤＣ）は、式（７２）を用いて、式（７４）のように表される。
本実施形態では、キャリブレーションがうまく実施されていれば、ＨＭＤ１００を装着している使用者ＵＳは、光学像表示部２６Ｃａ、２８Ｃａに表示された設定画像ＳＩＭの位置、大きさ、向き、奥行感が、撮像された特定オブジェクト（この例では実物マーカーＭＫ１）の位置、大きさ、向き、奥行感に一致するように、視認する。
In this embodiment, if the calibration is successfully performed, the user US wearing the
図３０は、特定オブジェクトに対応付けられて設定画像ＳＩＭが表示された場合に使用者ＵＳが視認する使用者ＵＳの視野の一例の説明図である。図３０に示す例では、特定オブジェクトとして実物マーカーＭＫ１が採用されている。キャリブレーションが実行された後に、表示設定部１６５Ｃａは、パラメーター設定部１６７Ｃａによって設定された変換パラメーターおよびカメラパラメーターＣＰを用いて、撮像された実物マーカーＭＫ１の位置および配向（姿勢）に合わせて、設定画像ＳＩＭを右左の光学像表示部２６Ｃａ，２８Ｃａに表示させる。設定画像ＳＩＭは、立方体の各辺を形成する画像である。図３０に示すように、設定画像ＳＩＭの立方体の底面は、実物マーカーＭＫ１と合わさるように表示される。使用者ＵＳは、特定オブジェクトとしての実物マーカーＭＫ１と設定画像ＳＩＭとの空間関係を視認することで、キャリブレーションの精度を認識できる。使用者ＵＳが実物マーカーＭＫ１と設定画像ＳＩＭとが互いに一致するように視認しないときに、再度、キャリブレーションを第１設定モードまたは第２設定モードにおいてやり直すことができる。図３０に示すように、光学像表示部２６Ｃａ、２８Ｃａまたは音声処理部１７０Ｃａは、キャリブレーションが成功しＡＲ表示機能を続行すること（重畳して見えるか）、およびキャリブレーションをやり直すことのいずれかを促す文字画像または音声を使用者に提示してもよい。 FIG. 30 is an explanatory diagram illustrating an example of the visual field of the user US visually recognized by the user US when the setting image SIM is displayed in association with the specific object. In the example shown in FIG. 30, the real marker MK1 is employed as the specific object. After the calibration is executed, the display setting unit 165Ca uses the conversion parameter and camera parameter CP set by the parameter setting unit 167Ca to set according to the position and orientation (posture) of the captured real marker MK1. The image SIM is displayed on the right and left optical image display units 26Ca and 28Ca. The setting image SIM is an image that forms each side of the cube. As shown in FIG. 30, the bottom surface of the cube of the setting image SIM is displayed so as to be aligned with the real marker MK1. The user US can recognize the accuracy of calibration by visually recognizing the spatial relationship between the real marker MK1 as the specific object and the setting image SIM. When the user US does not visually recognize the real marker MK1 and the setting image SIM so as to coincide with each other, the calibration can be performed again in the first setting mode or the second setting mode. As shown in FIG. 30, the optical image display units 26Ca and 28Ca or the sound processing unit 170Ca either succeed in calibration and continue the AR display function (appears to be superimposed), or redo the calibration. A character image or sound prompting the user may be presented to the user.
Ｃ−２−２−４．キャリブレーションデータの自動収集：
まず、キャリブレーションデータの自動収集処理の説明に備えて、光学像表示部２６Ｃａ，２８Ｃａに固定された座標系の座標軸を、右光学像表示部２６Ｃａの場合を例にとって説明する。本実施形態では、右光学像表示部２６Ｃａの座標系のＺ軸は、使用者ＵＳがＨＭＤ１００Ｃａを適切に装着した場合に使用者ＵＳが視認する表示領域の法線方向に一致する。このため、Ｚ軸は使用者ＵＳの顔面が向いている方向を示し得る。Ｘ軸は、Ｚ軸に直交し、かつ右光学像表示部２６Ｃａと左光学像表示部２８Ｃａとが並ぶ方向にほぼ平行である。このため、Ｘ軸は使用者ＵＳの左右方向を示し得る。また、Ｙ軸は、Ｚ軸およびＸ軸の双方に直交する。このため、Ｙ軸は、使用者ＵＳの上下方向を示し得る。
C-2-2-4. Automatic collection of calibration data:
First, in preparation for explanation of the calibration data automatic collection processing, the coordinate axes of the coordinate system fixed to the optical image display units 26Ca and 28Ca will be described by taking the right optical image display unit 26Ca as an example. In the present embodiment, the Z axis of the coordinate system of the right optical image display unit 26Ca coincides with the normal direction of the display area visually recognized by the user US when the user US wears the HMD 100Ca appropriately. For this reason, the Z-axis can indicate the direction in which the face of the user US is facing. The X axis is orthogonal to the Z axis and is substantially parallel to the direction in which the right optical image display unit 26Ca and the left optical image display unit 28Ca are arranged. For this reason, the X-axis can indicate the left-right direction of the user US. Further, the Y axis is orthogonal to both the Z axis and the X axis. For this reason, the Y-axis can indicate the vertical direction of the user US.
上記で説明した第１設定モードにおいて、使用者ＵＳは、マーカー画像ＩＭＧと実物マーカーＭＫ１，ＭＫ２との目視によるアライメントを成立させたことを、タッチパッドの操作、ボタンの押下、または音声コマンドの発声により、パラメーター設定部１６７Ｃａに伝えている。そして、パラメーター設定部１６７Ｃａがこれら操作または音声コマンドを受け付けた場合に、カメラ６０ＣａがマーカーＭＫ１，ＭＫ２を撮像し、すなわちキャリブレーションデータの収集をする。すなわち、ＨＭＤ１００Ｃａは、キャリブレーションデータの収集のトリガーとして、使用者ＵＳによる操作または発声を利用している。しかしながら、以下で説明するように、ＨＭＤ１００Ｃａは、このような構成に代えて、自動的にキャリブレーションデータを収集する構成を備えてもよい。 In the first setting mode described above, the user US confirms that the visual alignment between the marker image IMG and the real markers MK1 and MK2 has been established, by operating the touch pad, pressing a button, or uttering a voice command. Is transmitted to the parameter setting unit 167Ca. When the parameter setting unit 167Ca receives these operations or voice commands, the camera 60Ca images the markers MK1 and MK2, that is, collects calibration data. That is, the HMD 100Ca uses an operation or utterance by the user US as a trigger for collecting calibration data. However, as described below, the HMD 100Ca may include a configuration that automatically collects calibration data instead of such a configuration.
図３１は、実施形態に係るキャリブレーションデータの自動収集処理のフローである。この処理では、初めに、マーカー特定部１６６Ｃａが撮像を開始し、そして、光学像表示部２６Ｃａ，２８Ｃａの一つ（以下では、右光学像表示部２６Ｃａ）がマーカー画像ＩＭＧを表示し始める（ステップＳＣ２１１）。マーカー特定部１６６Ｃａは、カメラ６０Ｃａが撮像した各撮像フレームに対して、２値化を実行して、実物マーカーＭＫ２を抽出する。マーカー特定部１６６Ｃａは、撮像範囲の中に、実物マーカーＭＫ２があるか否かを判定する（ステップＳＣ２１２）。マーカー特定部１６６Ｃａは、撮像範囲の中に実物マーカーＭＫ２がないと判定した場合には（ステップＳＣ２１２：ＮＯ）、引き続き、撮像範囲の中から実物マーカーＭＫ２の検出を監視する。 FIG. 31 is a flow of calibration data automatic collection processing according to the embodiment. In this processing, first, the marker specifying unit 166Ca starts imaging, and one of the optical image display units 26Ca and 28Ca (hereinafter, the right optical image display unit 26Ca) starts displaying the marker image IMG (step). SC211). The marker specifying unit 166Ca performs binarization on each imaging frame imaged by the camera 60Ca and extracts the actual marker MK2. The marker specifying unit 166Ca determines whether or not the real marker MK2 is in the imaging range (step SC212). When it is determined that there is no real marker MK2 in the imaging range (step SC212: NO), the marker specifying unit 166Ca continues to monitor the detection of the real marker MK2 from the imaging range.
ステップＳ２１２の処理において、マーカー特定部１６６Ｃａは、撮像範囲の中に、実物マーカーＭＫ２があると判定した場合には（ステップＳＣ２１２：ＹＥＳ）、カメラ６０Ｃａに対する実物マーカーＭＫ２の位置と姿勢を導出し、それらの追跡を開始する（ステップＳＣ２１２Ａ）。 In the process of step S212, when the marker specifying unit 166Ca determines that the real marker MK2 is in the imaging range (step SC212: YES), the marker specifying unit 166Ca derives the position and orientation of the real marker MK2 with respect to the camera 60Ca, Their tracking is started (step SC212A).
導出された実物マーカーＭＫ２の位置および姿勢は、カメラ座標系で表わされている。つまり、その位置および姿勢は、カメラ６０Ｃａに対する位置および姿勢である。そこで、カメラ６０Ｃａと右光学像表示部２６Ｃａとの間のデフォルトの空間関係を利用して、カメラ６０Ｃａに対する実物マーカーＭＫ２の位置および姿勢を、右光学像表示部２６Ｃａの座標系で表わされた近似的、すなわち暫定的な位置および姿勢に変換する。「デフォルトの空間関係」とは、例えば、カメラ６０Ｃａと右光学像表示部２６Ｃａとの間の相対可動範囲の両端間に存在する一つの空間関係である。位置および姿勢、すなわち回転および並進、を表す４×４の変換行列Ｔは、式（７５Ａ）のように表される。
モデルマーカーと実物マーカーＭＫ２との間で、光学像表示部２６Ｃａの座標系におけるＸ軸およびＹ軸の回りの回転差が所定値未満か否かは、以下の式（７５Ｂ）および式（７５Ｃ）のように判定され得る。
次に、右光学像表示部２６Ｃａの座標系において、実物マーカーＭＫ２のＸ軸、Ｙ軸に沿った近似的な並進（Ｔｘ’, Ｔｙ’）が、モデルマーカーの並進（ｔｘ、ｔｙ）に近いか否かが、以下の式（７５Ｄ）および式（７５Ｅ）の関係式を用いて判定され得る。
図３１のフローの説明に戻ると、マーカー特定部１６６Ｃａは、回転差Ａがその閾値（threshold）以上で、かつ並進差Ｄがその閾値以上か否かを判定する（ステップＳＣ２１３Ａ）。回転差Ａも並進差Ｄもそれぞれの閾値以上であると判定された場合には（ステップＳＣ２１３Ａ：Ｙｅｓ）、表示設定部１６５Ｃａは、マーカー画像の色を赤色に変え、右光学像表示部２６Ｃａに位置合わせ（アライメント）を促す文字画像を表示させる（ステップＳＣ２１４Ａ）。ステップＳＣ２１３Ａの判定が「否」の場合には（ステップＳＣ２１３Ａ：Ｎｏ）、マーカー特定部１６６Ｃａは、回転差Ａが閾値未満で、かつ並進差Ｄが閾値以上であるか否かを判定する（ステップＳＣ２１３Ｂ）。回転差Ａが閾値未満で、かつ並進差Ｄが閾値以上であると判定された場合には（ステップＳＣ２１３Ｂ：Ｙｅｓ）、表示設定部１６５Ｃａは、マーカー画像の色を黄色に変え、右光学像表示部２６Ｃａに位置合わせ（アライメント）を促す文字画像を表示させる（ステップＳＣ２１４Ｂ）。ステップＳＣ２１３Ｂの判定が「否」の場合には（ステップＳＣ２１３Ｂ：Ｎｏ）、マーカー特定部１６６Ｃａは、回転差Ａが閾値未満で、かつ並進差Ｄが閾値未満であるか否かを判定する（ステップＳＣ２１３Ｃ）。回転差Ａも並進差Ｄもそれぞれの閾値未満であると判定された場合には（ステップＳＣ２１３Ｃ：Ｙｅｓ）、表示設定部１６５Ｃａは、マーカー画像の色を緑色に変える（ステップＳＣ２１４Ｃ）。ステップＳＣ２１３Ｃの判定が「否」の場合には（ステップＳＣ２１３Ｃ：Ｎｏ）、次に実行される処理はステップＳＣ２１３Ａの判定に戻る。ステップＳＣ２１４Ｃの後で、マーカー特定部１６６Ｃａは、回転差Ａも並進差Ｄもそれぞれの閾値未満の状態と、使用者ＵＳの頭部が安定した状態とが、例えば２秒以上継続したか否かを判定する（ステップＳＣ２１５Ａ）。ステップＳＣ２１５Ａの判定が肯定的であると判定された場合には、パラメーター設定部１６７Ｃａは、所定時間期間の計時または逆算計時を開始する。パラメーター設定部１６７Ｃａが開始する逆算計時を、これをカウントダウン処理と呼ぶ。本実施形態の所定時間期間は１秒である。表示設定部１６５Ｃａは、この１秒間を３分割し、時間の経過にしたがって表示または音声出力される「３」、「２」、「１」、「０」のカウントダウン情報を提示する。パラメーター設定部１６７Ｃａは、「０」が提示されるタイミングで、カメラ６０Ｃａによる実物マーカーＭＫ２の撮像画像を、キャリブレーションデータとして取得する。 Returning to the description of the flow in FIG. 31, the marker specifying unit 166Ca determines whether the rotation difference A is equal to or greater than the threshold value and the translation difference D is equal to or greater than the threshold value (step SC213A). When it is determined that both the rotation difference A and the translation difference D are equal to or greater than the respective threshold values (step SC213A: Yes), the display setting unit 165Ca changes the color of the marker image to red and displays the right optical image display unit 26Ca. A character image for prompting alignment is displayed (step SC214A). When the determination in step SC213A is “No” (step SC213A: No), the marker specifying unit 166Ca determines whether the rotation difference A is less than the threshold and the translation difference D is greater than or equal to the threshold (step). SC213B). When it is determined that the rotation difference A is less than the threshold and the translation difference D is greater than or equal to the threshold (step SC213B: Yes), the display setting unit 165Ca changes the color of the marker image to yellow and displays the right optical image. A character image prompting alignment (alignment) is displayed on the part 26Ca (step SC214B). When the determination in step SC213B is “No” (step SC213B: No), the marker specifying unit 166Ca determines whether the rotation difference A is less than the threshold and the translation difference D is less than the threshold (step). SC213C). When it is determined that both the rotation difference A and the translation difference D are less than the respective threshold values (step SC213C: Yes), the display setting unit 165Ca changes the color of the marker image to green (step SC214C). When the determination in step SC213C is “No” (step SC213C: No), the process to be executed next returns to the determination in step SC213A. After step SC214C, the marker specifying unit 166Ca determines whether or not the state where both the rotation difference A and the translation difference D are less than the respective threshold values and the state where the head of the user US is stable continue for, for example, 2 seconds or more. Is determined (step SC215A). If it is determined that the determination in step SC215A is affirmative, parameter setting unit 167Ca starts measuring time or counting backward for a predetermined time period. The counter counting time started by the parameter setting unit 167Ca is called a countdown process. The predetermined time period of this embodiment is 1 second. The display setting unit 165Ca divides this one second into three, and presents countdown information “3”, “2”, “1”, “0” that is displayed or output as time passes. The parameter setting unit 167Ca acquires a captured image of the real marker MK2 by the camera 60Ca as calibration data at a timing when “0” is presented.
カウントダウン処理における所定時間期間は１秒に限らない。所定時間期間は、使用者ＵＳがマーカー画像ＩＭＧと実物マーカーＭＫ２との間の目視によるアライメントを精度の点でより向上させることができる程度に長く、同時に、既に精度よく成立している目視によるアライメントを使用者ＵＳが維持することができる程度に短いことが好ましい。この点で「１秒」は経験的に好適な長さである。 The predetermined time period in the countdown process is not limited to 1 second. The predetermined time period is long enough to allow the user US to improve the visual alignment between the marker image IMG and the real marker MK2 in terms of accuracy, and at the same time, the visual alignment already established with high accuracy. Is preferably short enough that the user US can maintain it. In this respect, “1 second” is an empirically preferred length.
頭部が安定な状態にあるか否か、または実質的に静止しているか否かは、パラメーター設定部１６７Ｃａが、カメラ６０Ｃａの撮像画像における実物マーカーＭＫ２の特徴点の位置、ＨＭＤ１００Ｃａに搭載されたＩＭＵの出力、およびこれらの組み合わせから、判定することができる。 Whether the head is in a stable state or substantially stationary is determined by whether the parameter setting unit 167Ca is mounted on the position of the feature point of the real marker MK2 in the captured image of the camera 60Ca, the HMD 100Ca. It can be determined from the output of the IMU and a combination thereof.
図３２は、他の実施形態に係るキャリブレーションデータの自動収集処理を説明するフローである。 FIG. 32 is a flowchart for explaining calibration data automatic collection processing according to another embodiment.
図３２のフローは、ステップＳＣ２１２とステップＳＣ２１６との間の部分が、図３１のフローのそれとは異なっていて、その他の部分は図３１のフローと実質的に同じである。したがって、以下では、異なっている部分のみ説明する。 In the flow of FIG. 32, the part between step SC212 and step SC216 is different from that of the flow of FIG. 31, and the other part is substantially the same as the flow of FIG. Therefore, only different parts will be described below.
図３２に示すフローでは、ステップＳＣ２１２Ａの後で、パラメーター設定部１６７Ｃａは、カメラ６０Ｃａの撮像範囲に実物マーカーＭＫ２が存在している状態であり、かつ、使用者ＵＳの頭部が所定期間、例えば２秒、に亘って安定的な状態か否かを判定する（ステップＳＣ２１５Ｂ）。パラメーター設定部１６７Ｃａがカメラ６０Ｃａの撮像範囲に実物マーカーが存在する状態であり、かつ、使用者ＵＳの頭部が２秒間に亘って安定的な状態であると判定した場合には（ステップＳＣ２１５Ｂ：Ｙｅｓ）、処理はステップＳＣ２１６へ移行する。ステップＳＣ２１５Ｂの判定が「否」である場合には、この判定が満足されるまで、パラメーター設定部１６７Ｃａは、撮像画像と使用者ＵＳの頭部の動きとを継続的に監視する。 In the flow shown in FIG. 32, after step SC212A, the parameter setting unit 167Ca is in a state where the real marker MK2 exists in the imaging range of the camera 60Ca, and the head of the user US is in a predetermined period, for example, It is determined whether the state is stable for 2 seconds (step SC215B). When the parameter setting unit 167Ca determines that the real marker is present in the imaging range of the camera 60Ca and the head of the user US is stable for 2 seconds (step SC215B: Yes), the process proceeds to step SC216. If the determination in step SC215B is “No”, the parameter setting unit 167Ca continuously monitors the captured image and the movement of the head of the user US until this determination is satisfied.
図３３は、他の実施形態に係るキャリブレーションデータの自動収集処理を説明するフローである。 FIG. 33 is a flowchart illustrating an automatic collection process of calibration data according to another embodiment.
図３３のフローは、図３１のフローと比較して、ステップＳＣ２１６とステップＳＣ２１７との間に、判定ステップＳＣ２１８とステップＳＣ２１９が加えられている点で、図３１のフローとは異なっていて、その他の部分は図３１のフローと実質的に同じである。したがって、以下では、異なっている部分のみ説明する。 The flow of FIG. 33 is different from the flow of FIG. 31 in that determination step SC218 and step SC219 are added between step SC216 and step SC217, compared to the flow of FIG. This part is substantially the same as the flow of FIG. Therefore, only different parts will be described below.
図３１の処理では、カウントダウン処理が開始されると（ステップＳＣ２１６）、使用者ＵＳが姿勢を大きく変えた結果、もはや目視によるアライメントが成立していない場合であっても、所定時間期間の経過時にキャリブレーションデータが収集される。この場合、正確なキャリブレーションデータを収集することができない。本実施形態では、カウントダウン処理における所定時間期間内に使用者ＵＳの頭部が閾値以上の動きを示した場合に、カウントダウン処理を中止して、キャリブレーションデータの収集処理を再度やり直すことができる。具体的には、パラメーター設定部１６７Ｃａは、ステップＳＣ２１６のカウントダウン処理を開始された後に、所定時間期間（カウントダウン期間）が経過したか否かを判定する（ステップＳＣ２１８）。パラメーター設定部１６７ＣａがステップＳＣ２１８の判定が「否」と判定した場合には（ステップＳＣ２１８：Ｎｏ）、ＩＭＵが出力する角速度または加速度に基づいて、使用者ＵＳの頭部が閾値以上の大きさの動きをしたか否かを判定する（ステップＳＣ２１９）。パラメーター設定部１６７Ｃａは、ステップＳＣ２１９の判定が「否」と判定した場合には、ステップＳＣ２１８の処理において、所定時間期間が経過した時点で（ステップＳＣ２８１：Ｙｅｓ）、キャリブレーションデータを収集する（ステップＳＣ２１７）。ステップＳＣ２１９において、パラメーター設定部１６７Ｃａが使用者ＵＳの頭部が閾値以上の大きさの動きがあったと判定した場合には、ステップＳＣ２１３Ａ以降の処理が実行される。 In the process of FIG. 31, when the countdown process is started (step SC216), even when the alignment is no longer established as a result of the user US having greatly changed the posture, the predetermined time period elapses. Calibration data is collected. In this case, accurate calibration data cannot be collected. In the present embodiment, when the head of the user US shows a movement of a threshold value or more within a predetermined time period in the countdown process, the countdown process can be stopped and the calibration data collection process can be performed again. Specifically, parameter setting unit 167Ca determines whether or not a predetermined time period (countdown period) has elapsed after the start of the countdown process in step SC216 (step SC218). When the parameter setting unit 167Ca determines that the determination in step SC218 is “No” (step SC218: No), the head of the user US is larger than the threshold based on the angular velocity or acceleration output by the IMU. It is determined whether or not a movement has been made (step SC219). If the determination in step SC219 is “No”, the parameter setting unit 167Ca collects calibration data when a predetermined time period has elapsed in the process of step SC218 (step SC281: Yes) (step SC218). SC217). In step SC219, when the parameter setting unit 167Ca determines that the user US's head has moved more than a threshold value, the processing after step SC213A is executed.
上述したように、パラメーター群を調整する際には、ＨＭＤ１００Ｃａに表示されたマーカー画像ＩＭＧと実物マーカーＭＫ２とが一致するように使用者ＵＳに視認させた（アライメントを成立させた）状態で、キャリブレーションデータを収集することが好ましい。使用者ＵＳがマーカー画像ＩＭＧと実物マーカーＭＫ２とを精度よく一致して視認しているか否かは、パラメーター群を導出するキャリブレーションの精度に影響を与える。 As described above, when adjusting the parameter group, calibration is performed in a state where the user US visually recognizes (alignment is established) that the marker image IMG displayed on the HMD 100Ca and the real marker MK2 coincide with each other. It is preferable to collect application data. Whether or not the user US visually recognizes the marker image IMG and the real marker MK2 with high accuracy affects the accuracy of the calibration for deriving the parameter group.
ただし、せっかくユーザーが、マーカー画像と実物マーカーとが精度よく一致するよう視認していても、データ収集の指示またはトリガーのためにコントローラー１０Ｃａにタッチすると、その動作でアライメントがずれ、ずれたアライメントの状態でキャリブレーションデータが収集（実物マーカーが撮像）されることとなる。音声コマンドの場合にも、発声動作または発音動作により、アライメントがずれる可能性は皆無でない。このようなずれたアライメントの状態で得られたパラメーター群を使うと、ＡＲ画像の重畳表示が精度よく行われない。 However, even if the user visually recognizes that the marker image and the real marker are accurately matched, if the controller 10Ca is touched for an instruction or trigger for data collection, the operation is misaligned, and the misaligned alignment occurs. In this state, calibration data is collected (a real marker is imaged). Even in the case of a voice command, there is no possibility that the alignment is shifted due to the utterance operation or the sound generation operation. If the parameter group obtained in such a shifted alignment state is used, the AR image is not superimposed and displayed with high accuracy.
図３１、図３２、図３３を参照して説明したキャリブレーションデータの自動収集処理は、ユーザーがタッチや音声コマンドを必ずしも与えなくても、使用者がマーカー画像と実物マーカーとを一致して視認していることをＨＭＤ１００Ｃａが判定できる仕組みを提供することができる。そして、その判定をトリガーとしてキャリブレーションデータを収集できることから、精度のよいパラメーター群が得られ、結果として、ＡＲ画像の重畳表示の精度のよいＨＭＤ１００Ｃａが得られる。なお、本実施形態では、２つの回転角の差に基づいて、「回転差Ａ」が閾値未満か否かが判定されるが、１つの軸の回りの回転角の差、または３つの軸の回りの回転角の差に基づいて、「回転差Ａ」が閾値未満か否かが判定されてもよい。「並進差Ｄ」についても同様である。 The automatic calibration data collection process described with reference to FIGS. 31, 32, and 33 allows the user to visually recognize the marker image and the actual marker even if the user does not necessarily give a touch or voice command. It is possible to provide a mechanism by which the HMD 100Ca can determine that it is doing. Since the calibration data can be collected using the determination as a trigger, a highly accurate parameter group is obtained, and as a result, the HMD 100Ca with high accuracy of superimposed display of the AR image is obtained. In the present embodiment, based on the difference between the two rotation angles, it is determined whether or not the “rotation difference A” is less than the threshold. However, the difference between the rotation angles around one axis or the three axes It may be determined whether or not “rotational difference A” is less than a threshold value based on the difference between the rotation angles around. The same applies to the “translation difference D”.
Ｃ−２−３．第２設定モード：
第２設定モードでは、パラメーター設定部１６７Ｃａが、第１設定モードにおいて実行したキャリブレーションの結果に対して、使用者ＵＳの操作を受け付けることで、さらに、キャリブレーションの結果を補正する。換言すると、パラメーター設定部１６７Ｃａは、受け付けた操作に基づいて、特定オブジェクトに対応付けられて表示されるＡＲ画像（ＡＲモデル）の位置、大きさ、奥行感を補正する。
C-2-3. Second setting mode:
In the second setting mode, the parameter setting unit 167Ca further corrects the calibration result by receiving the operation of the user US with respect to the result of the calibration executed in the first setting mode. In other words, the parameter setting unit 167Ca corrects the position, size, and depth feeling of the AR image (AR model) displayed in association with the specific object based on the received operation.
図３４は、第２設定モードに移行したときに使用者ＵＳが視認する視野ＶＲの一例の説明図である。図３４では、使用者ＵＳが、透過した外景に含まれる特定オブジェクトとしての実物マーカーＭＫ１と、実物マーカーＭＫ１に対応付けられて光学像表示部２６Ｃａ，２８Ｃａに表示される設定画像ＳＩＭと、第２設定モードのときに光学像表示部２６Ｃａ，２８Ｃａに表示される８個のアイコンおよびカーソル画像ＣＳと、が示されている。８個のアイコンは、制御部１０Ｃａの操作部１３５Ｃａが受け付けた操作によって、第２設定モードにおける設定モードを変更するためのアイコンである。図３４に示す例では、使用者から見て、外景の実物マーカーＭＫ１の位置と、表示された設定画像ＳＩＭの立方体の底面の位置と、が重なっていない。換言すると、キャリブレーションの精度がよくない。このような場合に、本実施形態では、第２設定モードにおいて、使用者ＵＳは、操作部１３５Ｃａを操作することで、実物マーカーＭＫ１と設定画像ＳＩＭとのキャリブレーションの結果を補正できる。 FIG. 34 is an explanatory diagram of an example of the visual field VR visually recognized by the user US when the mode is shifted to the second setting mode. In FIG. 34, the user US has a real marker MK1 as a specific object included in the transparent outside scene, a setting image SIM displayed on the optical image display units 26Ca and 28Ca in association with the real marker MK1, Eight icons and a cursor image CS displayed on the optical image display portions 26Ca and 28Ca in the setting mode are shown. The eight icons are icons for changing the setting mode in the second setting mode by an operation received by the operation unit 135Ca of the control unit 10Ca. In the example shown in FIG. 34, the position of the real marker MK1 in the outside scene does not overlap with the position of the bottom surface of the cube of the displayed setting image SIM as viewed from the user. In other words, calibration accuracy is not good. In such a case, in the present embodiment, in the second setting mode, the user US can correct the calibration result of the real marker MK1 and the setting image SIM by operating the operation unit 135Ca.
操作部１３５Ｃａのトラックパッドが所定の操作を受け付けると、パラメーター設定部１６７Ｃａは、光学像表示部２６Ｃａ，２８Ｃａに表示させたカーソル画像ＣＳの位置を移動させる。カーソル画像ＣＳが８個のアイコンの内のいずれかに重なっている状態で、操作部１３５Ｃａの決定ボタンが押下されると、パラメーター設定部１６７Ｃａは、カーソル画像ＣＳが重なっていたアイコンと対応付けられている設定モードへと移行する。 When the track pad of the operation unit 135Ca receives a predetermined operation, the parameter setting unit 167Ca moves the position of the cursor image CS displayed on the optical image display units 26Ca and 28Ca. When the determination button of the operation unit 135Ca is pressed in a state where the cursor image CS overlaps one of the eight icons, the parameter setting unit 167Ca is associated with the icon on which the cursor image CS overlaps. Switch to the current setting mode.
アイコンＩＣ１は、選択されると、設定画像ＳＩＭの画像を拡大または縮小を実行するモードへと移行するためのアイコンである。アイコンＩＣ１のモードでは、操作部１３５Ｃａが所定の操作を受け付けることで、パラメーター設定部１６７Ｃａは、上述したカメラパラメーターＣＰおよび写像パラメーターの一方または双方を補正して、光学像表示部２６Ｃａ，２８Ｃａに表示された設定画像ＳＩＭの大きさを変更する。本実施形態では、パラメーター設定部１６７Ｃａは、カメラパラメーターＣＰにおける焦点距離Ｆｘ，Ｆｙ，および写像パラメーターにおける焦点距離Ｆｘ，Ｆｙの一方または両方を補正して、設定画像ＳＩＭの大きさを調整する。使用者ＵＳは、アイコンＩＣ１を選択することで、実物マーカーＭＫ１の大きさに合わせるように設定画像ＳＩＭの大きさを変更できる。 When the icon IC1 is selected, the icon IC1 is an icon for shifting to a mode in which the image of the setting image SIM is enlarged or reduced. In the mode of the icon IC1, when the operation unit 135Ca accepts a predetermined operation, the parameter setting unit 167Ca corrects one or both of the camera parameter CP and the mapping parameter and displays them on the optical image display units 26Ca and 28Ca. The size of the set image SIM is changed. In the present embodiment, the parameter setting unit 167Ca is the focal length F x in the camera parameters CP, F y, and focus in the mapping parameter distance F x, by correcting one or both of F y, the size of the setting image SIM adjust. The user US can change the size of the setting image SIM so as to match the size of the real marker MK1 by selecting the icon IC1.
アイコンＩＣ２は、選択されると、設定画像ＳＩＭの表示位置を上下に移動させるモードへと移行するためのアイコンである。アイコンＩＣ２のモードでは、操作部１３５Ｃａが所定の操作を受け付けることで、パラメーター設定部１６７Ｃａは、光学像表示部２６，２８のそれぞれの変換パラメーターを補正して、光学像表示部２６Ｃａ，２８Ｃａが設定画像ＳＩＭを表示可能な範囲で上下に移動させる。本実施形態では、パラメーター設定部が変換パラメーターのうち、X軸回りの回転を表すパラメーターRxを調整して、設定画像ＳＩＭを上下（すなわちY軸方向）に移動させる。なお、変換パラメーターの表示において、XおよびYは光学像表示部２６Ｃａ，２８Ｃａに固定された座標系のX軸およびY軸をそれぞれ表し、さらに上述の通り、X軸はＨＭＤ１００Ｃａを装着した場合に使用者ＵＳの左右方向を表し、Y軸はその上下方向を表し得る。
When the icon IC2 is selected, the icon IC2 is an icon for shifting to a mode in which the display position of the setting image SIM is moved up and down. In the mode of the icon IC2, when the operation unit 135Ca accepts a predetermined operation, the parameter setting unit 167Ca corrects the conversion parameters of the optical
アイコンＩＣ３は、選択されると、設定画像ＳＩＭの表示位置を左右に移動させるモードへと移行するためのアイコンである。アイコンＩＣ３のモードでは、操作部１３５Ｃａが所定の操作を受け付けることで、パラメーター設定部１６７Ｃａが光学像表示部２６Ｃａ、２８Ｃａのそれぞれの変換パラメーターを補正して、光学像表示部２６Ｃａ，２８Ｃａが設定画像ＳＩＭを表示可能な範囲で左右に移動させる。本実施形態では、パラメーター設定部１６７Ｃａが変換パラメーターのうち、Ｙ軸回りの回転を表すパラメーターＲｙを調整して、設定画像ＳＩＭを左右（すなわちX軸方向）に移動させる。使用者ＵＳは、アイコンＩＣ２およびアイコンＩＣ３を選択することで、実物マーカーＭＫ１に対して、設定画像ＳＩＭの位置を合わせるように設定画像ＳＩＭの表示位置を変更できる。 The icon IC3 is an icon for shifting to a mode in which the display position of the setting image SIM is moved to the left and right when selected. In the mode of the icon IC3, when the operation unit 135Ca accepts a predetermined operation, the parameter setting unit 167Ca corrects the conversion parameters of the optical image display units 26Ca and 28Ca, and the optical image display units 26Ca and 28Ca set images. The SIM is moved left and right within the displayable range. In the present embodiment, the parameter setting unit 167Ca adjusts the parameter Ry representing the rotation around the Y axis among the conversion parameters, and moves the setting image SIM left and right (that is, in the X axis direction). The user US can change the display position of the setting image SIM so that the position of the setting image SIM is aligned with the real marker MK1 by selecting the icon IC2 and the icon IC3.
アイコンＩＣ４は、選択されると、使用者ＵＳに視認させる設定画像ＳＩＭの奥行感を調整するためのアイコンである。アイコンＩＣ４のモードでは、操作部１３５Ｃａが所定の操作を受け付けることで、パラメーター設定部１６７Ｃａは、光学像表示部２６Ｃａ、２８Ｃａのそれぞれの写像パラメーターおける表示主点のＸ成分であるＣｘを調整して、設定画像ＳＩＭの奥行感を変える。奥行感の調整量をΔＣxとし、右光学像表示部２６Ｃａの表示主点をＣｘ＿ｒｉｔｇｈとし、左光学像表示部２８Ｃａの表示主点をＣｙ＿ｌｅｆｔとすると、奥行感の調整後の表示主点は、以下の式（７５Ｆ）および式（７５Ｇ）のように表される。
アイコンＩＣ５は、選択されると、今まで実行してきたパラメーター群の補正を、実行前のパラメーター群の値に戻すためのアイコンである。アイコンＩＣ６は、選択されると、今まで実行してきたパラメーター群の補正を、新たなパラメーター群（カメラパラメーターＣＰ、変換パラメーターおよび写像パラメーター）として更新して記憶するためのアイコンである。 The icon IC5 is an icon for returning the parameter group correction executed so far to the value of the parameter group before execution when selected. The icon IC6 is an icon for updating and storing the correction of the parameter group executed so far as a new parameter group (camera parameter CP, conversion parameter, and mapping parameter) when selected.
アイコンＩＣ７は、選択されると、第２設定モードへと移行する１つ前のモードへと戻るためのアイコンである。換言すると、アイコンＩＣ７が選択されると、表示設定部１６５Ｃａは、図２６のステップＳＣＳ１３に示す第２設定モードと第１設定モードとのどちらの設定モードへと移行するかの選択画面を光学像表示部２６Ｃａ，２８Ｃａに表示させる。 The icon IC7 is an icon for returning to the previous mode for shifting to the second setting mode when selected. In other words, when the icon IC7 is selected, the display setting unit 165Ca displays an optical image of a selection screen for switching to the second setting mode or the first setting mode shown in step SCS13 of FIG. It is displayed on the display units 26Ca and 28Ca.
アイコンＩＣ８は、選択されると、表示設定部１６５Ｃａが光学像表示部２６Ｃａ，２８Ｃａに説明文である「ヘルプ」を表示させるためのアイコンである。「ヘルプ」が表示されると、第２設定モードおよびキャリブレーション実行処理におけるキャリブレーションを実行するための操作についての説明文が光学像表示部２６Ｃａ，２８Ｃａに表示される。アイコンＩＣ９は、選択されると、第２設定モードを含むキャリブレーション実行処理を終了するためのアイコンである。 When the icon IC8 is selected, the display setting unit 165Ca is an icon for displaying “help” as an explanatory text on the optical image display units 26Ca and 28Ca. When “help” is displayed, an explanatory note about the operation for executing calibration in the second setting mode and the calibration execution process is displayed on the optical image display units 26Ca and 28Ca. When the icon IC9 is selected, the icon IC9 is an icon for ending the calibration execution process including the second setting mode.
図３５は、第２設定モードにおいて設定画像ＳＩＭの表示位置が変更されたときに使用者ＵＳが視認する視野ＶＲの一例を示す説明図である。この例では、設定画像ＳＩＭの向き、大きさ、および奥行感は実物マーカーＭＫ１のそれらに既に合っており、上下左右の表示位置だけを調整することでＡＲ画像の重畳精度を向上させる場合を示している。図３５では、第２設定モードにおいて、アイコンＩＣ２およびアイコンＩＣ３が選択された後に操作部１３５Ｃａが所定の操作を受け付けて、設定画像ＳＩＭの立方体の底面と、実物マーカーＭＫ１との位置が合わさるように設定画像ＳＩＭの表示位置が設定された状態が示されている。具体的な操作としては、初めに、アイコンＩＣ２が選択されて、実物マーカーＭＫ１に対して、設定画像ＳＩＭの上下方向の表示位置が合わされた後、アイコンＩＣ３が選択されて、実物マーカーＭＫ１に対して、設定画像ＳＩＭの水平方向の表示位置が合わされている。この後、アイコンＩＣ５が選択されると、変換パラメーターが更新されて記憶される。 FIG. 35 is an explanatory diagram illustrating an example of a visual field VR visually recognized by the user US when the display position of the setting image SIM is changed in the second setting mode. In this example, the orientation, size, and depth of the setting image SIM already match those of the real marker MK1, and the AR image superimposition accuracy is improved by adjusting only the vertical, horizontal, and horizontal display positions. ing. In FIG. 35, in the second setting mode, the operation unit 135Ca receives a predetermined operation after the icon IC2 and the icon IC3 are selected, and the bottom surface of the cube of the setting image SIM is aligned with the real marker MK1. A state in which the display position of the setting image SIM is set is shown. As a specific operation, first, the icon IC2 is selected and the display position of the setting image SIM in the vertical direction is aligned with the real marker MK1, and then the icon IC3 is selected and the real marker MK1 is selected. Thus, the display position of the setting image SIM in the horizontal direction is adjusted. Thereafter, when the icon IC5 is selected, the conversion parameter is updated and stored.
以上説明したように、第３実施形態のＨＭＤ１００Ｃａでは、カメラ６０Ｃａが特定オブジェクトを含む外景を撮像する。そして、パラメーター設定部１６７Ｃａはカメラ６０Ｃａから、光学像表示部２６Ｃａ（２８Ｃａ）にマーカー画像ＩＭＧとして表示されたモデルマーカーの位置および姿勢と、実物マーカーＭＫ１（ＭＫ２）のそれらとがほぼ一致するように使用者ＵＳに視認させた状態での特定オブジェクトの撮像画像を取得する。パラメーター設定部１６７Ｃａは、取得された撮像画像に少なくとも基づいて、パラメーター群を設定する。パラメーター群は、カメラ６０ＣａのカメラパラメーターＣＰ，カメラ６０Ｃａと右光学像表示部２６Ｃａ，左光学像表示部２８Ｃａとの間の空間関係を表す３Ｄ−３Ｄのそれぞれの変換パラメーター、および光学像表示部２６Ｃａ，２８Ｃａ上に任意の３Ｄモデルを画像として表示するための３Ｄ−２Ｄの写像パラメーターを含む。ＨＭＤ１００Ｃａは、カメラパラメーターＣＰを用いて、特定オブジェクトの位置と姿勢を推定する。また、ＨＭＤ１００Ｃａは、変換パラメーターと写像パラメーターとを用いて、特定オブジェクトに関連付けられたＡＲモデルの位置および姿勢と、特定オブジェクトの位置および姿勢とが、互いに対応、好ましくはほぼ一致する状態で当該ＡＲモデルをＡＲ画像として使用者ＵＳに視認させるように、光学像表示部２６Ｃａ，２８ＣａにそれぞれＡＲ画像を表示する。したがって、第１設定モードによるキャリブレーションによって、特定オブジェクトと、当該特定オブジェクトに関連付けられたＡＲモデル（ＡＲ画像）とが互いに対応、好適にはほぼ一致するように使用者ＵＳに視認させることが可能なＨＭＤ１００Ｃａを提供することができる。 As described above, in the HMD 100Ca of the third embodiment, the camera 60Ca captures an outside scene including the specific object. Then, the parameter setting unit 167Ca causes the position and orientation of the model marker displayed as the marker image IMG on the optical image display unit 26Ca (28Ca) from the camera 60Ca to substantially match those of the real marker MK1 (MK2). A captured image of the specific object in a state of being visually recognized by the user US is acquired. The parameter setting unit 167Ca sets a parameter group based at least on the acquired captured image. The parameter group includes camera parameters CP of the camera 60Ca, 3D-3D conversion parameters representing the spatial relationship between the camera 60Ca and the right optical image display unit 26Ca, and the left optical image display unit 28Ca, and the optical image display unit 26Ca. , 28Ca include 3D-2D mapping parameters for displaying an arbitrary 3D model as an image. The HMD 100Ca estimates the position and orientation of the specific object using the camera parameter CP. In addition, the HMD 100Ca uses the transformation parameter and the mapping parameter, and the AR model position and orientation associated with the specific object correspond to, preferably substantially coincide with, the position and orientation of the specific object. The AR image is displayed on each of the optical image display units 26Ca and 28Ca so that the user US can visually recognize the model as the AR image. Therefore, the calibration in the first setting mode allows the user US to visually recognize that the specific object and the AR model (AR image) associated with the specific object correspond to each other and preferably substantially coincide with each other. HMD100Ca can be provided.
また、第３実施形態のＨＭＤ１００Ｃａでは、パラメーター設定部１６７Ｃａは、第２設定モードにおいて、操作部１３５Ｃａが受け付けた操作に応じて、光学像表示部２６Ｃａ，２８Ｃａに表示される設定画像ＳＩＭの位置、大きさ、および奥行感と、実物マーカーＭＫ１（ＭＫ２）の位置、大きさ、および奥行感が互いに対応、好適には一致する状態で当該設定画像ＳＩＭを使用者ＵＳに視認させるように、カメラパラメーターＣＰと変換パラメーターと写像パラメーターとの少なくとも１つのパラメーターを設定する。そのため、第３実施形態のＨＭＤ１００Ｃａでは、操作部１３５Ｃａが所定の操作を受け付けることで、特定オブジェクトとＡＲモデル（ＡＲ画像）との位置関係を、使用者ＵＳが手動でさらに補正できる。これにより、使用者ＵＳは、キャリブレーションを容易に行なうことができ、また、より精度の高いキャリブレーションを実行できる。 Further, in the HMD 100Ca of the third embodiment, the parameter setting unit 167Ca has the position of the setting image SIM displayed on the optical image display units 26Ca and 28Ca in accordance with the operation received by the operation unit 135Ca in the second setting mode, Camera parameters so that the user US can visually recognize the setting image SIM in a state where the size and depth sensation and the position, size and depth sensation of the real marker MK1 (MK2) correspond to each other, and preferably coincide with each other. At least one of a CP, a conversion parameter, and a mapping parameter is set. Therefore, in the HMD 100Ca of the third embodiment, when the operation unit 135Ca receives a predetermined operation, the user US can further manually correct the positional relationship between the specific object and the AR model (AR image). Thereby, the user US can easily perform calibration, and can execute calibration with higher accuracy.
また、第３実施形態のＨＭＤ１００Ｃａでは、パラメーター設定部１６７Ｃａは、第１設定モードにおいて、カメラ６０Ｃａの撮像画像を用いて、カメラパラメーターＣＰおよび変換パラメーターの少なくとも１つに関するパラメーターを設定する。また、パラメーター設定部１６７Ｃａは、第２設定モードにおいて、操作部１３５Ｃａが受け付けた所定の操作に応じて、カメラパラメーターＣＰ、変換パラメーターと、写像パラメーターとの少なくとも１つに関するパラメーターを設定する。そのため、第３実施形態のＨＭＤ１００Ｃａでは、第１設定モードで設定されたカメラパラメーターＣＰおよび変換パラメーターに対して、第２設定モードで個別に設定できる。これにより、第１設定モードで調整しきれなかったパラメーターを個別に調整することができ、結果として、特定オブジェクトに、その関連付けられたＡＲ画像を重畳するように表示する際の精度を高めることができる。 In the HMD 100Ca of the third embodiment, the parameter setting unit 167Ca sets a parameter related to at least one of the camera parameter CP and the conversion parameter using the captured image of the camera 60Ca in the first setting mode. The parameter setting unit 167Ca sets a parameter related to at least one of the camera parameter CP, the conversion parameter, and the mapping parameter in accordance with a predetermined operation received by the operation unit 135Ca in the second setting mode. Therefore, in the HMD 100Ca of the third embodiment, the camera parameter CP and the conversion parameter set in the first setting mode can be individually set in the second setting mode. This makes it possible to individually adjust parameters that could not be adjusted in the first setting mode, and as a result, it is possible to improve accuracy when displaying the associated AR image so as to be superimposed on the specific object. it can.
また、第３実施形態のＨＭＤ１００Ｃａでは、カメラ６０Ｃａが装着帯９０Ｃａに対して向きを変更可能に配置されている。設定画像ＳＩＭを表示可能な光学像表示部２６Ｃａ，２８Ｃａは、装着帯９０Ｃａに対して、相対位置を変更可能に配置されている。そのため、カメラ６０Ｃａは、光学像表示部２６Ｃａ，２８Ｃａに対して、位置および向きが変更可能に配置されており（ＨＭＤ１００Ｃａを「カメラ可動型ＨＭＤ」とも呼ぶ）、カメラ６０Ｃａと光学像表示部２６Ｃａ，２８Ｃａとの位置関係の変化に応じて、キャリブレーションの設定が必要になる。第３実施形態のＨＭＤ１００Ｃａでは、使用者ＵＳは、位置関係の変化に応じて必要とされるキャリブレーションを、第１設定モードと第２設定モードとを実行することで、容易に実行できる。もちろん、カメラと光学像表示部２６Ｃａ，２８Ｃａとの間の空間関係が固定されたＨＭＤ（「カメラ固定型ＨＭＤ」とも呼ぶ）において、使用者ＵＳによるキャリブレーション（第１設定モード）の際に毎回、カメラと光学像表示部との間の空間関係を表す回転と並進をキャリブレーションパラメーターとして可変にし、当該空間関係の最適化を行ってもよい。このようなキャリブレーションは、カメラ固定型ＨＭＤにおいても、製造誤差により、各個体に亘る上記空間関係の分散が大きいときに、有益である。 Moreover, in HMD100Ca of 3rd Embodiment, the camera 60Ca is arrange | positioned so that a direction can be changed with respect to mounting band 90Ca. The optical image display units 26Ca and 28Ca capable of displaying the setting image SIM are arranged so that the relative position can be changed with respect to the wearing band 90Ca. Therefore, the camera 60Ca is arranged so that the position and orientation of the optical image display units 26Ca and 28Ca can be changed (the HMD 100Ca is also referred to as “camera movable HMD”), and the camera 60Ca and the optical image display unit 26Ca, Calibration needs to be set according to the change in the positional relationship with 28Ca. In the HMD 100Ca of the third embodiment, the user US can easily execute calibration required according to the change in the positional relationship by executing the first setting mode and the second setting mode. Of course, in HMD in which the spatial relationship between the camera and the optical image display units 26Ca and 28Ca is fixed (also referred to as “camera fixed HMD”), every time calibration is performed by the user US (first setting mode). The rotation and translation representing the spatial relationship between the camera and the optical image display unit may be made variable as calibration parameters, and the spatial relationship may be optimized. Such calibration is useful even in the camera-fixed HMD when the dispersion of the spatial relationship among the individuals is large due to manufacturing errors.
また、第３実施形態のＨＭＤ１００Ｃａでは、パラメーター設定部１６７Ｃａが設定したカメラパラメーターＣＰおよび変換パラメーターに基づいて、表示設定部１６５Ｃａは、撮像された特定オブジェクトである実物マーカーＭＫ２または実物マーカーＭＫ１に対応付けて設定画像ＳＩＭを表示させる。そのため、第３実施形態のＨＭＤでは、使用者ＵＳが、実行されたキャリブレーションの結果を視認でき、追加調整を実行する必要があるかを判定できるので、使用者の利便性が向上する。 In the HMD 100Ca of the third embodiment, the display setting unit 165Ca is associated with the real marker MK2 or the real marker MK1 that is the captured specific object based on the camera parameter CP and the conversion parameter set by the parameter setting unit 167Ca. To display the setting image SIM. Therefore, in the HMD of the third embodiment, the user US can visually recognize the result of the calibration that has been performed, and can determine whether or not additional adjustment needs to be performed, which improves the convenience for the user.
また、第３実施形態のＨＭＤ１００Ｃａでは、位置合わせ処理において、マーカー特定部１６６Ｃａが、マーカー画像ＩＭＧと実物マーカーＭＫ２とが所定の位置関係であり、マーカー画像ＩＭＧが表示された右光学像表示部２６Ｃａと実物マーカーＭＫ２との距離が所定値以下であり、使用者ＵＳの頭部が静止している場合に、表示設定部１６５Ｃａは、カウントダウンを表す文字画像を右光学像表示部２６Ｃａに表示させる。カウントダウンが経過した後に、パラメーター設定部１６７Ｃａは、カメラ６０Ｃａに実物マーカーＭＫ２を撮像させて、カメラパラメーターＣＰおよび変換パラメーターを設定する。そのため、第３実施形態のＨＭＤ１００Ｃａでは、キャリブレーションの実行に必要な実物マーカーＭＫ２の撮像データを取得するときに、特定のボタンを押したり、音声認識を実行する必要がなく、自動的にカメラ６０Ｃａによる撮像が実行される。よって、使用者の操作および音声発生などによる実物マーカーＭＫ２とマーカー画像ＩＭＧとの重なり（アライメント）のずれを低減できる。これにより、精度の良いアライメントの撮像データを取得でき、キャリブレーションの精度を向上する。 In the HMD 100Ca of the third embodiment, in the alignment process, the marker specifying unit 166Ca has a predetermined positional relationship between the marker image IMG and the real marker MK2, and the right optical image display unit 26Ca on which the marker image IMG is displayed. When the distance between the actual marker MK2 and the real marker MK2 is equal to or smaller than the predetermined value and the user US's head is stationary, the display setting unit 165Ca displays a character image representing the countdown on the right optical image display unit 26Ca. After the countdown has elapsed, the parameter setting unit 167Ca causes the camera 60Ca to image the real marker MK2, and sets the camera parameter CP and the conversion parameter. Therefore, in the HMD 100Ca of the third embodiment, it is not necessary to press a specific button or perform voice recognition when acquiring imaging data of the real marker MK2 necessary for execution of calibration, and the camera 60Ca is automatically used. Imaging is performed according to the above. Therefore, it is possible to reduce the deviation of the overlap (alignment) between the actual marker MK2 and the marker image IMG due to the user's operation and sound generation. Thereby, it is possible to acquire image data of alignment with high accuracy, and improve the accuracy of calibration.
また、第３実施形態のＨＭＤ１００Ｃａでは、パラメーター設定部１６７Ｃａは、所定の位置関係および距離の所定値として、算出したカメラ６０Ｃａに対する特定オブジェクトの空間関係と、カメラと光学像表示部２６Ｃａ、２８Ｃａとの間のデフォルトの空間関係と、を用いて、右光学像表示部２６Ｃａまたは左光学像表示部２８Ｃａに対する特定オブジェクトの仮想の位置と姿勢を算出する。パラメーター設定部１６７Ｃａは、特定オブジェクトの上記仮想の位置と姿勢と、マーカー画像ＩＭＧとして表示（写像）されているモデルマーカーの光学像表示部２６Ｃａ、２８Ｃａに対する仮想の位置と姿勢と、を比較することで両位置・姿勢の回転に関するパラメーターのずれおよび並進に関するパラメーターのずれを算出する。これらのずれとしての差に基づいて、表示設定部１６５Ｃａは、カメラ６０Ｃａが外景を撮像するまでのカウントダウンの情報を右光学像表示部２６Ｃａまたは左光学像表示部２８Ｃａに表示させる。また、表示設定部１６５Ｃａは、回転に関するパラメーターの差や並進に関するパラメーターの差に応じて、使用者ＵＳに、マーカー画像ＩＭＧと特定オブジェクトである実物マーカーＭＫ２との位置合わせの処理を促す文字画像を右光学像表示部２６Ｃａに表示させる。そのため、第３実施形態のＨＭＤ１００Ｃａでは、使用者ＵＳは、マーカー画像ＩＭＧと実物マーカーＭＫ２とのずれを視覚情報として認識でき、容易に精度の高いキャリブレーションを実行できる。 Further, in the HMD 100Ca of the third embodiment, the parameter setting unit 167Ca has the predetermined positional relationship and the predetermined value of the distance, the calculated spatial relationship of the specific object with respect to the camera 60Ca, and the camera and the optical image display units 26Ca and 28Ca. The virtual position and orientation of the specific object with respect to the right optical image display unit 26Ca or the left optical image display unit 28Ca are calculated using the default spatial relationship between them. The parameter setting unit 167Ca compares the virtual position and orientation of the specific object with the virtual position and orientation of the model marker displayed (mapped) as the marker image IMG with respect to the optical image display units 26Ca and 28Ca. To calculate the parameter deviation for rotation of both positions and postures and the parameter deviation for translation. Based on the difference as the deviation, the display setting unit 165Ca causes the right optical image display unit 26Ca or the left optical image display unit 28Ca to display countdown information until the camera 60Ca captures an outside scene. In addition, the display setting unit 165Ca displays a character image that prompts the user US to perform alignment processing between the marker image IMG and the actual object MK2, which is a specific object, according to a difference in parameters related to rotation and a difference in parameters related to translation. It is displayed on the right optical image display unit 26Ca. Therefore, in the HMD 100Ca of the third embodiment, the user US can recognize the deviation between the marker image IMG and the real marker MK2 as visual information, and can easily execute a highly accurate calibration.
また、第３実施形態のＨＭＤ１００Ｃａでは、表示設定部１６５Ｃａは、カメラ６０Ｃａが撮像するまでのカウントダウンを表す情報として、特定オブジェクトとしての実物マーカーＭＫ２に対応付けられたマーカー画像ＩＭＧの色を変化させた画像を右光学像表示部２６Ｃａに表示させる。そのため、第３実施形態のＨＭＤ１００Ｃａでは、使用者ＵＳにカメラ６０Ｃａが実物マーカーＭＫ２を撮像するタイミングを視覚情報として認識させることができ、使用者ＵＳは感覚的にキャリブレーションを実行できる。 Moreover, in HMD100Ca of 3rd Embodiment, the display setting part 165Ca changed the color of the marker image IMG matched with the real marker MK2 as a specific object as information showing the countdown until the camera 60Ca imaged. The image is displayed on the right optical image display unit 26Ca. Therefore, in the HMD 100Ca of the third embodiment, the user US can recognize the timing at which the camera 60Ca images the real marker MK2 as visual information, and the user US can perform calibration sensuously.
Ｄ．第４実施形態：
第４実施形態では、第３実施形態と比較して、キャリブレーションが実行されるときにカメラ６０Ｃａが撮像する実物マーカーと、実物マーカーを撮像する第１設定モードの一部とが異なる。そのため、第４実施形態では、第３実施形態と比較してことなる処理について説明し、その他の第３実施形態と同じ処理の説明については省略する。
D. Fourth embodiment:
Compared with the third embodiment, the fourth embodiment differs from the real marker captured by the camera 60Ca when the calibration is executed, and a part of the first setting mode for capturing the real marker. Therefore, in the fourth embodiment, processing that is different from that in the third embodiment will be described, and description of the same processing as in the other third embodiment will be omitted.
図３６は、第４実施形態における制御部１０Ｃｂの裏面を示す正面図である。図３６には、制御部１０Ｃｂにおける操作部１３５Ｃａが形成された面を表面と定義した場合の裏面が示されている。図３６に示すように、制御部１０Ｃｂの裏面には、実物マーカーＭＫ１を小さくした実物マーカーＭＫ３が配置されている。 FIG. 36 is a front view showing the back surface of the control unit 10Cb in the fourth embodiment. FIG. 36 shows the back surface when the surface on which the operation unit 135Ca is formed in the control unit 10Cb is defined as the front surface. As shown in FIG. 36, a real marker MK3 in which the real marker MK1 is reduced is disposed on the back surface of the control unit 10Cb.
第４実施形態の第１設定モードでは、第３実施形態の第１モードと同じように、初めに、表示設定部１６５Ｃａが右光学像表示部２６Ｃａにマーカー画像ＩＭＧを表示させる（図２６のステップＳＣ２０１）。パラメーター設定部１６７Ｃａは、マーカー画像ＩＭＧと制御部１０Ｃｂの裏面に配置された実物マーカーＭＫ３との位置合わせを使用者ＵＳに促す（ステップＳＣ２１０）。実物マーカーＭＫ３とマーカー画像ＩＭＧとの位置合わせが実行されると、第３実施形態と異なり、表示設定部１６５Ｃａは、ステップＳＣ２０１で右光学像表示部２６Ｃａに表示されたマーカー画像ＩＭＧと大きさが異なるマーカー画像ＩＭＧを右光学像表示部２６Ｃａに表示させる（ステップＳＣ２０２）。パラメーター設定部１６７Ｃａは、ステップＳＣ２０１の処理時とは大きさが異なるマーカー画像ＩＭＧと実物マーカーＭＫ３との位置合わせを使用者ＵＳに促す（ステップＳＣ２２０）。ここで、大きさが異なる２つのマーカー画像ＩＭＧは、本実施形態では光学像表示部２６Ｃａ，２８Ｃａに対する仮想的な位置（Ｚ軸に沿った距離）が異なる同一のモデルマーカーを写像パラメーターにより２次元に写像することで生成される。第４実施形態のステップＳＣ２２０の処理では、使用する実物マーカーが一つであっても、大きさが異なる２つのマーカー画像ＩＭＧに対してアライメントを成立させようとするから、第３実施形態と同様に、使用者ＵＳは、マーカー画像ＩＭＧが表示された右光学像表示部２６Ｃａと実物マーカーＭＫ３とを、距離を変えてアラインさせる。第１設定モードのステップＳＣ２０３以降の処理については、右光学像表示部２６Ｃａに対する処理と同じであるため、説明を省略する。 In the first setting mode of the fourth embodiment, as in the first mode of the third embodiment, first, the display setting unit 165Ca displays the marker image IMG on the right optical image display unit 26Ca (step of FIG. 26). SC201). The parameter setting unit 167Ca prompts the user US to align the marker image IMG with the actual marker MK3 disposed on the back surface of the control unit 10Cb (step SC210). When the alignment between the real marker MK3 and the marker image IMG is executed, unlike the third embodiment, the display setting unit 165Ca has the same size as the marker image IMG displayed on the right optical image display unit 26Ca in step SC201. Different marker images IMG are displayed on the right optical image display unit 26Ca (step SC202). The parameter setting unit 167Ca prompts the user US to align the marker image IMG and the actual marker MK3, which are different in size from the processing in step SC201 (step SC220). In this embodiment, two marker images IMG having different sizes are two-dimensionally represented by mapping parameters of the same model marker having different virtual positions (distances along the Z axis) with respect to the optical image display units 26Ca and 28Ca. Generated by mapping to. In the process of step SC220 in the fourth embodiment, even if only one real marker is used, alignment is attempted to be established for two marker images IMG having different sizes. In addition, the user US aligns the right optical image display unit 26Ca on which the marker image IMG is displayed and the real marker MK3 at different distances. Since the process after step SC203 in the first setting mode is the same as the process for the right optical image display unit 26Ca, the description thereof is omitted.
第４実施形態のＨＭＤ１００Ｃｂでは、１つの実物マーカーＭＫ３であっても、第１設定モードにおいて右光学像表示部２６Ｃａまたは左光学像表示部２８Ｃａに表示されるマーカー画像ＩＭＧを変化させることで、精度の高いキャリブレーションを実行できる。 In the HMD 100Cb of the fourth embodiment, the accuracy can be improved by changing the marker image IMG displayed on the right optical image display unit 26Ca or the left optical image display unit 28Ca in the first setting mode even for one real marker MK3. High calibration can be performed.
Ｅ．第５実施形態：
第５実施形態では、第３実施形態と比較して、キャリブレーションが実行されるときにカメラ６０Ｃａが撮像する実物マーカーの形状と、実物マーカーに対応するマーカー画像ＩＭＧの形状と、が異なる。そのため、第５実施形態では、第３実施形態に対して異なる実物マーカーの形状および実物マーカーの特定について説明し、その他の構成については説明を省略する。
E. Fifth embodiment:
The fifth embodiment differs from the third embodiment in the shape of the real marker captured by the camera 60Ca when calibration is executed and the shape of the marker image IMG corresponding to the real marker. Therefore, in the fifth embodiment, the shape of the real marker and the identification of the real marker that are different from those in the third embodiment will be described, and description of other configurations will be omitted.
図３７および図３８は、第５実施形態の実物マーカーの一例を示す概略図である。図３７には、実物マーカーＭＫ４として、階段状に形成された３次元のブロックが示されている。同様に、図３８には、実物マーカーＭＫ５として、三角錐を基準として半円筒などのブロックが付加された３次元のブロックが示されている。第５実施形態のマーカー画像記憶部１３８Ｃｃは、実物マーカーＭＫ４および実物マーカーＭＫ５に対応する３次元モデルのデータを、その特徴点とともに記憶している。そのため、マーカー特定部１６６Ｃａは、マーカー画像記憶部１３８Ｃｃに記憶された特徴点と撮像画像における特徴点との対応関係を推定することで、カメラ６０Ｃａに対する実物マーカーＭＫ４または実物マーカーＭＫ５の位置と姿勢を推定できる。特徴点の特定方法としては、ステレオカメラによって特定の位置までの距離を特定して、特定した距離を用いたエッジ検出などであってもよく、公知の技術を適用できる。 FIGS. 37 and 38 are schematic views showing an example of the real marker of the fifth embodiment. FIG. 37 shows a three-dimensional block formed in a staircase pattern as the real marker MK4. Similarly, in FIG. 38, a three-dimensional block to which a block such as a semi-cylinder is added with a triangular pyramid as a reference is shown as the real marker MK5. The marker image storage unit 138Cc of the fifth embodiment stores data of a three-dimensional model corresponding to the real marker MK4 and the real marker MK5 together with the feature points. Therefore, the marker specifying unit 166Ca estimates the position and posture of the real marker MK4 or the real marker MK5 with respect to the camera 60Ca by estimating the correspondence between the feature points stored in the marker image storage unit 138Cc and the feature points in the captured image. Can be estimated. As a method for specifying the feature point, a distance to a specific position may be specified by a stereo camera, and edge detection using the specified distance may be used, and a known technique can be applied.
記憶部には、実物マーカーＭＫ４または実物マーカーＭＫ５の形状と相似な形状を有する３Ｄモデルマーカーが記憶されている。なお、第３実施形態と同様に、モデルマーカーは、仮想の３次元空間内で定義されている。ＨＭＤ１００Ｃａは、光学像表示部２６Ｃａ、２８Ｃａに対して所定の位置と姿勢を有するように設定された当該モデルマーカーを上述の写像パラメーターにより写像し、光学像表示部２６Ｃａ、２８Ｃａにマーカー画像ＩＭＧとして表示する。以下は、第３実施形態と同様に、使用者ＵＳにマーカー画像ＩＭＧと実物マーカーＭＫ４，ＭＫ５とのアライメントを成立させる。 The storage unit stores a 3D model marker having a shape similar to the shape of the real marker MK4 or the real marker MK5. As in the third embodiment, the model marker is defined in a virtual three-dimensional space. The HMD 100Ca maps the model marker set so as to have a predetermined position and orientation with respect to the optical image display units 26Ca and 28Ca using the above mapping parameters, and displays the model marker as a marker image IMG on the optical image display units 26Ca and 28Ca. To do. In the following, as in the third embodiment, the user US establishes alignment between the marker image IMG and the real markers MK4 and MK5.
以上説明したように、第５実施形態のＨＭＤ１００Ｃｃでは、２次元モデルよりも特徴点の多い３次元モデルを用いてキャリブレーションが実行されるため、精度の高いキャリブレーションを実行できる。 As described above, in the HMD 100Cc according to the fifth embodiment, calibration is performed using a three-dimensional model having more feature points than the two-dimensional model, so that calibration with high accuracy can be performed.
Ｆ．第３実施形態、第４実施形態、および第５実施形態の変形例：
なお、この発明は上記実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば、次のような変形も可能である。
F. Modifications of the third embodiment, the fourth embodiment, and the fifth embodiment:
In addition, this invention is not limited to the said embodiment, It can implement in a various aspect in the range which does not deviate from the summary, For example, the following deformation | transformation is also possible.
Ｆ−１.変形例１：
第３実施形態ないし第５実施形態では、図１８ないし図２０に示すように、光学像表示部２６Ｃａ，２８Ｃａに対するカメラ６０Ｃａの位置や向きが変化するＨＭＤ１００Ｃａについて説明した。光学像表示部２６Ｃａ，２８Ｃａに対するカメラ６０Ｃａの位置が変化しないＨＭＤ１０１Ｃａについても、第３実施形態ないし第５実施形態で説明したキャリブレーションが有効である。なお、以降では、第３実施形態ないし第５実施形態で説明したＨＭＤ１００Ｃａを、「カメラ可動型ＨＭＤ」とも呼び、カメラ６０Ｃａの位置が固定であるＨＭＤ１０１Ｃａを「カメラ固定型ＨＭＤ」とも呼ぶ。たとえば、カメラ固定型ＨＭＤの場合であっても、カメラ６０Ｃａと光学像表示部２６Ｃａ、２８Ｃａとの間の空間関係を表す回転と並進に存在する誤差の分散が、同一仕様のＨＭＤの間で大きい場合には、使用者ＵＳがＡＲ画像を表示する前に毎回、上記回転と並進を含む相対関係を調整するようにキャリブレーション処理をしてもよい。
F-1. Modification Example 1:
In the third to fifth embodiments, the HMD 100Ca has been described in which the position and orientation of the camera 60Ca with respect to the optical image display units 26Ca and 28Ca are changed as shown in FIGS. The calibration described in the third to fifth embodiments is also effective for the HMD 101Ca in which the position of the camera 60Ca with respect to the optical image display units 26Ca and 28Ca does not change. Hereinafter, the HMD 100Ca described in the third to fifth embodiments is also referred to as a “camera movable HMD”, and the HMD 101Ca in which the position of the camera 60Ca is fixed is also referred to as a “camera fixed HMD”. For example, even in the case of a camera-fixed HMD, the dispersion of errors existing in rotation and translation representing the spatial relationship between the camera 60Ca and the optical image display units 26Ca and 28Ca is large between HMDs of the same specification. In some cases, the calibration process may be performed so that the relative relationship including the rotation and the translation is adjusted each time before the user US displays the AR image.
図３９は、第１設定モードで設定するパラメーターに関連する要素を示す表である。第１設定モードで変換パラメーターが設定される場合に、光学像表示部２６Ｃａ，２８Ｃａから特定オブジェクトまでの距離の選択、いずれのパラメーターを優先的に最適化するかの選択などを設定できる。 FIG. 39 is a table showing elements related to parameters set in the first setting mode. When conversion parameters are set in the first setting mode, selection of the distance from the optical image display units 26Ca and 28Ca to the specific object, selection of which parameter is preferentially optimized, and the like can be set.
図３９に示すように、「マーカー画像ＩＭＧの表示」として、両眼表示と単眼表示との２つの表示が挙げられる。両眼表示は、右光学像表示部２６Ｃａおよび左光学像表示部２８Ｃａに同時にマーカー画像ＩＭＧを表示させて、使用者ＵＳにアライメントを実行させる場合を表す。単眼表示は、右光学像表示部２６または左光学像表示部２８にマーカー画像ＩＭＧを表示させて、使用者ＵＳに右光学像表示部２６Ｃａと左光学像表示部２８Ｃａとを別々にアライメントを実行させる場合を表す。ＨＭＤ１００Ｃａであるカメラ可動型ＨＭＤおよびＨＭＤ１０１Ｃａであるカメラ固定型ＨＭＤでは、単眼表示を採用している。
As shown in FIG. 39, “display of the marker image IMG” includes two displays of a binocular display and a monocular display. The binocular display represents a case in which the marker image IMG is simultaneously displayed on the right optical image display unit 26Ca and the left optical image display unit 28Ca to cause the user US to perform alignment. In the monocular display, the marker image IMG is displayed on the right optical
「実物マーカー、モデルマーカーの構造」とは、マーカー画像ＩＭＧの基となるモデルマーカーおよび実物マーカーＭＫ１，ＭＫ２，ＭＫ３，ＭＫ４として、２次元のオブジェクト（図形など）を用いる「２Ｄ」と、３次元のオブジェクトを用いる「３Ｄ」とが挙げられる。ＨＭＤ１００Ｃａであるカメラ可動型ＨＭＤおよびＨＭＤ１０１Ｃａであるカメラ固定型ＨＭＤでは、第３実施形態に示すように、２次元の実物マーカーＭＫ１，ＭＫ２、および２次元のモデルマーカーを写像したマーカー画像ＩＭＧを採用している。 “Real marker and structure of model marker” means “2D” using a two-dimensional object (such as a figure) as a model marker and real markers MK1, MK2, MK3, and MK4 as a basis of the marker image IMG, and three-dimensional “3D” using the above object. As shown in the third embodiment, the camera movable HMD that is the HMD100Ca and the camera fixed HMD that is the HMD101Ca employ the marker image IMG that maps the two-dimensional real markers MK1 and MK2 and the two-dimensional model marker. ing.
「モデルマーカー（マーカー画像ＩＭＧ）の位置と姿勢」は、使用者ＵＳがアライメントを実施する際に、光学像表示部２６Ｃａ、２８Ｃａに表示されるマーカー画像ＩＭＧが光学像表示部２６Ｃａ、２８Ｃａに対して固定で表示されるか、カスタマイズされるかを示している。以下、詳細に説明する。 “The position and orientation of the model marker (marker image IMG)” indicates that when the user US performs alignment, the marker image IMG displayed on the optical image display units 26Ca and 28Ca is compared with the optical image display units 26Ca and 28Ca. Whether it is fixed or customized. Details will be described below.
本実施形態では、３次元で表わされたモデルマーカーを使用し、そして、光学像表示部２６Ｃａ、２８Ｃａから所定距離だけ離れたところにまっすぐに固定されているかのように当該モデルマーカーをマーカー画像ＩＭＧとしてレンダリング（描画）する。光学像表示部２６Ｃａ、２８Ｃａに対するモデルマーカーの仮想的な位置と姿勢は、既定（固定）である。それは、通常、特定のＨＭＤ１００Ｃａに対して、以下の条件に基づいて、選択される。
（１）実物マーカーＭＫ１，ＭＫ２が、使用者ＵＳとカメラ６０Ｃａとによって同時に見られる。たとえば、あるＨＭＤに搭載されたカメラは、眼鏡型の構造体の右脚に位置するかもしれない。したがって、アライメントの距離は、近すぎると、撮像画像に含まれないことがある。
（２）多くのＡＲシナリオが生じる位置と姿勢（特に距離）の場所に、上記既定の位置と姿勢を選択する。なぜなら、ＡＲ画像の重畳精度（またはキャリブレーション精度）は、アライメントが実施されたところを含む近傍領域で高く、その領域から外れると低下するからである。
In the present embodiment, a model marker represented in three dimensions is used, and the model marker is displayed as a marker image as if it is fixed straight at a predetermined distance from the optical image display units 26Ca and 28Ca. Render (draw) as IMG. The virtual position and posture of the model marker with respect to the optical image display units 26Ca and 28Ca are predetermined (fixed). It is usually selected for a particular HMD100Ca based on the following conditions.
(1) Real markers MK1 and MK2 are simultaneously seen by the user US and the camera 60Ca. For example, a camera mounted on an HMD may be located on the right leg of a spectacle-type structure. Therefore, if the alignment distance is too close, it may not be included in the captured image.
(2) The predetermined position and posture are selected at positions and postures (particularly distances) where many AR scenarios occur. This is because the superimposition accuracy (or calibration accuracy) of the AR image is high in the vicinity area including the place where the alignment is performed, and decreases when the alignment area deviates from that area.
しかしながら、上述の既定の位置と姿勢、すなわち既定のアライメント姿勢は、他の実施形態においては必ずしも必須ではない。他の実施形態によれば、カメラ６０Ｃａに撮像された実物マーカーＭＫ１，ＭＫ２（ＭＫ４，ＭＫ５）の位置と姿勢をトラッキングし続け、トラッキングされた位置・姿勢と、既存またはデフォルトのパラメーター群と、を用いてモデルマーカーを光学像表示部２６Ｃａ、２８Ｃａにマーカー画像ＩＭＧとして表示する。そして、トラッキングされた位置・姿勢に応じてモデルマーカー（マーカー画像ＩＭＧ）のレンダリング（描画）を更新し、アライメントに最良であると使用者ＵＳが認めるマーカー画像ＩＭＧの位置・姿勢を使用者ＵＳに決定させる。たとえば、使用者ＵＳは、実物マーカーＭＫ１，ＭＫ２がユニークに見え、かつ既存のパラメーター群（既存のキャリブレーション結果）が明白なエラーを呈する位置と姿勢（視野）を見つけるまで、実物マーカーＭＫ１，ＭＫ２の回りを動くことができる。そして、使用者ＵＳが指定したその時点で、パラメーター設定部１６７が、新しいトラッキング姿勢を用いた位置・姿勢の更新を停止する。そうすると、モデルマーカー（マーカー画像ＩＭＧ）は静止して描かれ、そして、使用者ＵＳは、マーカー画像ＩＭＧと実物マーカーＭＫ１，ＭＫ２とが互いに一致して視認することができるように、自らの位置と姿勢へ、変える。このような方法によっても、使用者ＵＳは、アライメントを成立させることができる。
However, the above-described predetermined position and posture, that is, the predetermined alignment posture is not necessarily essential in other embodiments. According to another embodiment, the position and orientation of the real markers MK1 and MK2 (MK4 and MK5) imaged by the camera 60Ca are continuously tracked, and the tracked position and orientation and the existing or default parameter group are The model marker is displayed as a marker image IMG on the optical image display units 26Ca and 28Ca. Then, the rendering (drawing) of the model marker (marker image IMG) is updated in accordance with the tracked position / posture, and the position / posture of the marker image IMG that the user US recognizes as the best alignment is given to the user US. Let me decide. For example, the user US finds the actual markers MK1, MK2 until the actual markers MK1, MK2 find a position and posture (field of view) in which the actual markers MK1, MK2 look unique and the existing parameter group (existing calibration result) exhibits an obvious error. Can move around. Then, at the time point designated by the user US, the
画像処理部１６０Ｃａは、モデルマーカーの表示に用いられるレンダリングエンジンを有し、そのレンダリングエンジンにおけるＯｐｅｎＧＬは、「ＰＶＭ」の行列積を利用しＣＧを生成する。ここで、Ｐは写像パラメーターであり、Ｖは、光学像表示部２６Ｃａ、２８Ｃａに対するモデルマーカーの位置と姿勢であり、Ｍはモデルマーカー（３Ｄモデル）の内部座標である。使用者ＵＳの目視によるアライメントのためにモデルマーカーを写像したマーカー画像をレンダリング（描画）したい場合には、Ｖは、例えば、第３実施形態のように、[I:0,0,d1]のように既定にし得る。なお、ここで、Iは単位行列であり、光学像表示部２６Ｃａ、２８Ｃａの座標系で表わされた回転であり、(0,0,d)のdはアライメントの距離であり、光学像表示部２６Ｃａ、２８Ｃａの座標系で表わされた並進である。 The image processing unit 160Ca has a rendering engine used for displaying the model marker, and OpenGL in the rendering engine generates a CG using a matrix product of “PVM”. Here, P is a mapping parameter, V is the position and orientation of the model marker with respect to the optical image display units 26Ca and 28Ca, and M is the internal coordinates of the model marker (3D model). When it is desired to render (draw) a marker image in which a model marker is mapped for visual alignment by the user US, V is, for example, as in the third embodiment, [I: 0, 0, d1]. Can be the default. Here, I is a unit matrix, which is a rotation expressed in the coordinate system of the optical image display units 26Ca and 28Ca, d in (0, 0, d) is an alignment distance, and an optical image display It is the translation represented by the coordinate system of the parts 26Ca and 28Ca.
カスタマイズアライメントは、固定されたＶの使用に代えて、Ｖとして既存またはデフォルトのパラメーター群を使用することと、使用者ＵＳが実物マーカーＭＫ１，ＭＫ２の位置・姿勢のトラッキングを固定した時点での当該トラッキングされた位置・姿勢（以下、トラッキングポーズ）を利用することを意味する。
カスタマイズアライメントの利点は、以下のように現れる。
（１）ユーザーの装着具合とＡＲシナリオの距離範囲に依存して、カメラ６０Ｃａと光学像表示部２６Ｃａ、２８Ｃａとの間の空間関係が大きく変化するカメラ可動型ＨＭＤの場合：あるケースでは、本実施形態のキャリブレーション処理が、対応する既定の距離にある大きさの異なる実物マーカーＭＫ１およびＭＫ２のいずれを用いてもうまく実施し得ない可能性がある。なぜなら、カメラ６０が実物マーカーＭＫ１，ＭＫ２を見ること（補足すること）ができない場合があるからである。実物マーカーＭＫ１，ＭＫ２は、上部または下部において、カメラ６０Ｃａの撮像画像から外れ得る。このようなケースでは、使用者ＵＳにアライメントの距離を選択するよう促すことが解決策となる。
（２）使用者ＵＳが、特定のＡＲシナリオの距離のために、よりよいＡＲ画像の重畳精度を達成することを望む場合、特に、使用者ＵＳの関心のある距離が、キャリブレーション範囲内にない場合: 使用者ＵＳが大きい距離範囲において精度を求める場合には、ユーザーは、その範囲内においてむしろ複数の距離を選択し、複数回のアライメントを実施することができる。
（３）使用者ＵＳが使用者ＵＳ自身で創作した３Ｄオブジェクトを実物マーカーとして用いる場合には、使用者ＵＳは、アライメント距離を定義（決定）する必要がある。
The advantages of customized alignment appear as follows.
(1) In the case of a camera-movable HMD in which the spatial relationship between the camera 60Ca and the optical image display units 26Ca and 28Ca varies greatly depending on the user's wearing condition and the distance range of the AR scenario: There is a possibility that the calibration processing of the embodiment may not be successfully performed by using any of the real markers MK1 and MK2 having different sizes at the corresponding predetermined distance. This is because the camera 60 may not be able to see (supplement) the real markers MK1 and MK2. The real markers MK1 and MK2 can deviate from the captured image of the camera 60Ca in the upper part or the lower part. In such a case, the solution is to prompt the user US to select the alignment distance.
(2) If the user US wants to achieve better AR image overlay accuracy for the distance of a particular AR scenario, in particular the distance of interest of the user US is within the calibration range. If not: If the user US seeks accuracy over a large distance range, the user can select multiple distances within that range and perform multiple alignments.
(3) When the user US uses a 3D object created by the user US as a real marker, the user US needs to define (determine) the alignment distance.
図３９に戻り、「調整するパラメーター」は、キャリブレーション処理において調整されるパラメーターを示している。後述するように、ＨＭＤ１００Ｃａに含まれるカメラ６０ＣａのカメラパラメーターＣＰは、必ずしも調整される必要はない。また、カメラ固定型ＨＭＤであっても、カメラ６０Ｃａと右光学像表示部２６Ｃａ，２８Ｃａとの間の空間関係（回転と並進）を表す変換パラメーターを調整することが好ましい場合がある。 Returning to FIG. 39, “parameter to be adjusted” indicates a parameter to be adjusted in the calibration process. As will be described later, the camera parameter CP of the camera 60Ca included in the HMD 100Ca is not necessarily adjusted. Even in the case of a camera-fixed HMD, it may be preferable to adjust a conversion parameter representing a spatial relationship (rotation and translation) between the camera 60Ca and the right optical image display units 26Ca and 28Ca.
Ｆ−２．変形例２：
光学像表示部２６Ｃａ、２８Ｃａ、およびカメラ６０Ｃａのファクトリーキャリブレーション（初期キャリブレーション）：
例えば、サービスステーションにおいて、カメラ６０ＣａのカメラパラメーターＣＰ、カメラ６０Ｃａと光学像表示部２６Ｃａ、２８Ｃａとの間の空間関係（変換パラメーター）、光学像表示部２６Ｃａ、２８Ｃａの写像パラメーターの初期値（デフォルト値）が、以下のステップを有するプロセスにより、導出され得る。
１．別途、高解像度な測定用カメラのキャリブレーションをする。
２．別途、ＨＭＤ１００Ｃａに含まれるカメラ６０Ｃａのキャリブレーションをし、カメラパラメーターＣＰを導出する。
３．ＨＭＤ１００Ｃａと測定用カメラとを特別なジグ上にセットアップする。ワールド座標系として平面パターンを設置する。
４．測定用カメラについてジグ上で数か所の位置を定義する。そして、それぞれの位置で、平面パターンに対する測定用カメラの位置と姿勢を推定する。
５．光学像表示部２６Ｃａに、光学像表示部２６Ｃａに対して仮想的な位置と姿勢を有する仮想パターンを写像する。なお、光学像表示部２６Ｃａに対する仮想的な位置と姿勢は、光学像表示部２６Ｃａに対する平面パターンの位置と姿勢と同じである。
６．測定用カメラを定義された複数の位置へ移動させ、それぞれの位置で、光学像表示部２６Ｃａに表示された仮想パターンの画像を撮像する。
７．撮像された画像を用いて写像されている３Ｄ位置を再構築する。
８．２Ｄ-３Ｄの対応関係を用いて光学像表示部２６Ｃａの内部パラメーター（写像パラメーター）を推定する。
９．平面パターンに対する２つのカメラ（カメラ６０Ｃａおよび測定用カメラ）の姿勢を計算し、そしてカメラ６０Ｃａと、光学像表示部２６Ｃａとの間の変換パラメーターを解く。
１０．４〜９のステップを、光学像表示部２８Ｃａについて繰り返す。
F-2. Modification 2:
Factory calibration (initial calibration) of the optical image display units 26Ca and 28Ca and the camera 60Ca:
For example, in the service station, the camera parameter CP of the camera 60Ca, the spatial relationship (conversion parameter) between the camera 60Ca and the optical image display units 26Ca and 28Ca, and the initial values (default values) of the mapping parameters of the optical image display units 26Ca and 28Ca. ) Can be derived by a process having the following steps:
1. Separately, a high-resolution measurement camera is calibrated.
2. Separately, the camera 60Ca included in the HMD 100Ca is calibrated to derive a camera parameter CP.
3. Set up HMD100Ca and measurement camera on a special jig. A plane pattern is set as the world coordinate system.
4). Define several positions on the jig for the measuring camera. Then, at each position, the position and orientation of the measurement camera with respect to the planar pattern are estimated.
5). A virtual pattern having a virtual position and orientation with respect to the optical image display unit 26Ca is mapped onto the optical image display unit 26Ca. The virtual position and orientation with respect to the optical image display unit 26Ca are the same as the position and orientation of the planar pattern with respect to the optical image display unit 26Ca.
6). The measurement camera is moved to a plurality of defined positions, and an image of the virtual pattern displayed on the optical image display unit 26Ca is captured at each position.
7). Reconstruct the mapped 3D position using the imaged image.
The internal parameter (mapping parameter) of the optical image display unit 26Ca is estimated using the correspondence relationship of 8.2D-3D.
9. The attitudes of the two cameras (camera 60Ca and measurement camera) with respect to the plane pattern are calculated, and the conversion parameters between the camera 60Ca and the optical image display unit 26Ca are solved.
Steps 10.4 to 9 are repeated for the optical image display unit 28Ca.
Ｆ−３．変形例３：
ＨＭＤ１００Ｃａのカメラ可動型ＨＭＤと、ＨＭＤ１０１Ｃａのカメラ固定型ＨＭＤとでは、光学像表示部２６Ｃａ，２８Ｃａに対するカメラ６０Ｃａの位置および向きの変化の有無が異なる。そのため、カメラ固定型ＨＭＤとカメラ可動型ＨＭＤとでは、第１設定モードにおいて、優先的に最適化が実行されるパラメーターを、異なるパラメーターとして変更してもよい。例えば、カメラ可動型ＨＭＤに対して、カメラ固定型ＨＭＤでは、キャリブレーションによってカメラパラメーターＣＰを最適化してもよい。
F-3. Modification 3:
The camera movable type HMD of the HMD 100Ca and the camera fixed type HMD of the HMD 101Ca differ in the presence or absence of changes in the position and orientation of the camera 60Ca with respect to the optical image display units 26Ca and 28Ca. Therefore, in the first setting mode, the parameter for which optimization is preferentially executed may be changed as a different parameter between the camera fixed HMD and the camera movable HMD. For example, in the camera fixed type HMD, the camera parameter CP may be optimized by calibration with respect to the camera movable type HMD.
最適化されるパラメーターとして、カメラパラメーターＣＰと、変換パラメーターとが挙げられる。カメラ固定型ＨＭＤでは、カメラパラメーターＣＰについて、ＨＭＤ１０１Ｃａの製造時の設計値を固定値として用いた上で、キャリブレーションによって最適化が実行される。最適化されるカメラパラメーターＣＰとしては、カメラ６０Ｃａの焦点距離およびカメラ６０Ｃａの主点位置（撮像画像の中心位置）である。カメラ固定型ＨＭＤでは、最適化される変換パラメーターとして、右光学像表示部２６および左光学像表示部２８ＣａのそれぞれのＸ，Ｙ，Ｚ軸のそれぞれの回転パラメーターおよび並進パラメーターを最適化する。
The parameters to be optimized include camera parameters CP and conversion parameters. In the camera-fixed HMD, the camera parameter CP is optimized by calibration after using the design value at the time of manufacturing the HMD 101Ca as a fixed value. The optimized camera parameters CP are the focal length of the camera 60Ca and the principal point position of the camera 60Ca (the center position of the captured image). In the camera-fixed HMD, the rotation parameters and translation parameters of the X, Y, and Z axes of the right optical
カメラ可動型ＨＭＤでは、カメラパラメーターＣＰについては、必ずしも最適化を行なう必要はない。カメラ可動型ＨＭＤでは、光学像表示部２６Ｃａ、２８Ｃａに対してカメラ６０Ｃａが可動であるため、カメラパラメーターのずれよりも変換パラメーターのずれがＡＲ画像の表示に大きく影響し得ることから、変換パラメーターを優先的に最適化するためである。 In the camera movable HMD, it is not always necessary to optimize the camera parameter CP. In the camera movable HMD, since the camera 60Ca is movable with respect to the optical image display units 26Ca and 28Ca, the shift of the conversion parameter can affect the display of the AR image more greatly than the shift of the camera parameter. This is to optimize with priority.
Ｆ−４．変形例４：
第３実施形態では、表示設定部１６５Ｃａは、位置合わせを促す文字画像を右光学像表示部２６Ｃａに表示させたが、使用者に位置合わせを促す方法としては、種々変形可能である。例えば、表示設定部１６５Ｃａは、「位置がずれています」の音声を、イヤホン３２Ｃａ，３４Ｃａを介して出力することで、使用者に位置合わせを促してもよい。また、文字画像についても種々変形可能であり、表示設定部１６５Ｃａは、文字画像に代えて、位置ずれを補正する方向を表す矢印の画像を、右光学像表示部２６Ｃａに表示させてもよい。
F-4. Modification 4:
In the third embodiment, the display setting unit 165Ca displays the character image for prompting the alignment on the right optical image display unit 26Ca. However, various modifications can be made as a method for prompting the user to perform the alignment. For example, the display setting unit 165Ca may prompt the user to perform alignment by outputting a voice “position is shifted” via the earphones 32Ca and 34Ca. In addition, the character image can be variously modified, and the display setting unit 165Ca may display an image of an arrow indicating a direction for correcting the displacement on the right optical image display unit 26Ca instead of the character image.
他の実施形態では、使用者に撮像までの時間を報知する方法として、種々変形可能である。例えば、表示設定部１６５Ｃａは、撮像までの時間を表す数字を音声として、イヤホン３２Ｃａ，３４Ｃａを介して出力することで、使用者に撮像までの時間を報知してもよい。また、表示設定部１６５Ｃａは、例えば、カウントダウンの際に、「３」という数字のみを右光学像表示部２６Ｃａに表示させることで、使用者の撮像までの時間を報知してもよい。また、表示設定部１６５Ｃａは、棒線を右光学像表示部２６Ｃａに表示させて、撮像までの時間の長さを表現するように、時間の経過と共に棒線の長さを減少させてもよい。 In other embodiments, various modifications can be made as a method of notifying the user of the time until imaging. For example, the display setting unit 165Ca may notify the user of the time until imaging by outputting a number representing the time until imaging as sound through the earphones 32Ca and 34Ca. In addition, for example, the display setting unit 165Ca may notify the time until the user takes an image by displaying only the number “3” on the right optical image display unit 26Ca at the time of the countdown. Further, the display setting unit 165Ca may decrease the length of the bar line as time passes so as to display the bar line on the right optical image display unit 26Ca and express the length of time until imaging. .
Ｆ−５．変形例５：
第３実施形態では、右光学像表示部２６Ｃａおよび左光学像表示部２８Ｃａのそれぞれについて、第１設定モードでは、２回のアライメントを実行することで、キャリブレーションが実行されたが、アライメントの回数については、種々変形可能である。アライメントの回数を増やすことで、ヤコビ行列を用いた各パラメーターの最適化において、より精度の高いキャリブレーションを実行するためのパラメーターが設定される。以下では、パラメーターの最適化の一例について説明する。
F-5. Modification 5:
In the third embodiment, each of the right optical image display unit 26Ca and the left optical image display unit 28Ca is calibrated by executing the alignment twice in the first setting mode. Various modifications can be made. By increasing the number of alignments, parameters for performing calibration with higher accuracy are set in the optimization of each parameter using the Jacobian matrix. Hereinafter, an example of parameter optimization will be described.
アライメントの回数をＡとし、実物マーカーＭＫ１，ＭＫ２の特徴要素（例えば、円の中心）の数をｎとする。カメラ６０Ｃａと画像表示部とのペア（第３実施形態ではカメラ６０Ｃａと右と左のいずれかの光学像表示部２６Ｃａ、２８Ｃａとのペア）について調整されるべきパラメーターの数をｍとすると、最適化されるべきパラメーターの数はＭであり、下記の式（７６）を満たす。
それぞれの繰り返しについて、最適化の疑似コードは、以下の通りになる。まず、それぞれのアライメントについて、カメラ６０Ｃａと右光学像表示部２６Ｃａとのペアおよびカメラ６０Ｃａと左光学像表示部２８Ｃａとのペアについて、ヤコビ行列Ｊｓを計算する。このヤコビ行列Ｊｓは、２ｎ×Ｍ行列として表すことができる。次に、２ｎ×１の残差行列ｅｓを計算する。以上をＡ個のアライメントのそれぞれについて実施する。 For each iteration, the pseudo code for optimization is as follows: First, for each alignment, the Jacobian matrix Js is calculated for the pair of the camera 60Ca and the right optical image display unit 26Ca and the pair of the camera 60Ca and the left optical image display unit 28Ca. This Jacobian matrix Js can be expressed as a 2n × M matrix. Next, a 2n × 1 residual matrix es is calculated. The above is performed for each of the A alignments.
次に、ヤコビ行列Ｊｓを、４ｎ×Ｍの大きさの行列Ｊへとマージする。残差行列ｅｓを連結して、４ｎ×１の行列ｅを生成する。行列ｅの要素は式（６６）で表わされ得る。そして、選択されたパラメーターの増加値ｄｐを計算する。
Ｆ−６．変形例６：
上記実施形態では、パラメーター設定部１６７Ｃａは、カメラパラメーターＣＰも最適化により導出したが、製造時の設計値からのばらつきが少ない場合には、カメラパラメーターＣＰについては設計値を設定し、カメラ６０Ｃａと光学像表示部２６Ｃａ，２８Ｃａとの間の空間関係だけを導出してもよい。この変形例のＨＭＤ１００Ｃａでは、最適化するパラメーターの数が少なくなる。また、製造上、ばらつきの少ないパラメーターに対して、設計値を代入することで、コスト関数Ｅをより小さくするパラメーターの最適化を行ないつつ、パラメーターを最適化するための時間を短くできる。
F-6. Modification 6:
In the above embodiment, the parameter setting unit 167Ca also derives the camera parameter CP by optimization. However, when the variation from the design value at the time of manufacture is small, the parameter setting unit 167Ca sets a design value for the camera parameter CP, and the camera 60Ca Only the spatial relationship between the optical image display units 26Ca and 28Ca may be derived. In the HMD 100Ca of this modification, the number of parameters to be optimized is reduced. In addition, by substituting design values for parameters with little variation in manufacturing, it is possible to reduce the time for optimizing the parameters while optimizing the parameters that make the cost function E smaller.
上記実施形態では、右光学像表示部２６Ｃａに表示されるマーカーと左光学像表示部２８Ｃａに表示されるマーカーとは、同じマーカー画像ＩＭＧであったが、マーカー画像ＩＭＧおよび実物マーカーＭＫ１，ＭＫ２については、種々変形可能である。例えば、右光学像表示部２６Ｃａと左光学像表示部２８Ｃａとのそれぞれに表示されるマーカーの画像は、異なるマーカーの画像であってもよい。また、マーカー画像ＩＭＧおよび実物マーカーＭＫ１，ＭＫ２は、導出されるパラメーターの精度に応じて、種々変形可能である。例えば、実物マーカーＭＫ１に含まれる円の数は、１０個に限られず、１０個よりも多くてよいし、１０個よりも少なくてもよい。また、実物マーカーＭＫ１に含まれる複数の特徴点は、円の中心でなくてもよく、単に三角形の重心であってもよい。また、実物マーカーＭＫ１の内部に並行でない複数の直線が形成されて、直線の交点が複数の特徴点として特定されてもよい。また、マーカー画像ＩＭＧと実物マーカーＭＫ１，ＭＫ２とは、異なるマーカーであってもよい。マーカー画像と実物マーカーとを重ねる場合に、どの部分を重ね合わせるのかが使用者に認識される範囲で、マーカー画像と実物マーカーとについては、種々変形可能である。例えば、矩形状のマーカー画像に対して、正円の実物マーカーの中心をマーカー画像の中心に合わせるような位置合わせであってもよい。 In the above embodiment, the marker displayed on the right optical image display unit 26Ca and the marker displayed on the left optical image display unit 28Ca are the same marker image IMG, but the marker image IMG and the actual markers MK1 and MK2 are the same. Can be variously modified. For example, the marker images displayed on the right optical image display unit 26Ca and the left optical image display unit 28Ca may be images of different markers. Further, the marker image IMG and the real markers MK1 and MK2 can be variously modified according to the accuracy of the derived parameters. For example, the number of circles included in the real marker MK1 is not limited to 10 and may be more than 10 or less than 10. Further, the plurality of feature points included in the real marker MK1 may not be the center of the circle, but may simply be the center of gravity of the triangle. Also, a plurality of non-parallel lines may be formed inside the real marker MK1, and intersections of the lines may be specified as a plurality of feature points. Further, the marker image IMG and the real markers MK1 and MK2 may be different markers. When the marker image and the real marker are overlapped, the marker image and the real marker can be variously modified as long as the user can recognize which portion is to be overlapped. For example, the alignment may be such that the center of a real circle marker is aligned with the center of the marker image with respect to the rectangular marker image.
上記実施形態では、カメラ６０ＣａのカメラパラメーターＣＰが最適化される場合に、焦点距離(Fx,Fy)と、カメラ主点位置（撮像画像の中心位置）(Cx,Cy)と、が最適化されたが、これらに代えて、またはこれらとともに、カメラ６０ＣａのカメラパラメーターＣＰとして歪係数を最適化してもよい。 In the above embodiment, when the camera parameter CP of the camera 60Ca is optimized, the focal length (F x , F y ), the camera principal point position (center position of the captured image) (C x , C y ), However, instead of or together with these, the distortion coefficient may be optimized as the camera parameter CP of the camera 60Ca.
Ｆ−７． 変形例７：
第３実施形態において定義された式（６９）のコスト関数に、以下の付加的な制約条件を加えてもよい。使用者ＵＳの目視によるアライメントは、それぞれの光学像表示部２６Ｃａ，２７Ｃａに対して別々に行われることから、そのアライメントエラーは、必ずしも同じではない。このため、左および右の光学像表示部２６Ｃａ、２８Ｃａに対するカメラ６０Ｃａの２つの並進のうち、Ｔｙ成分の推定が光学像表示部２６Ｃａ，２８Ｃａの間で大きく異なることがあり得る。２つのＴｙ成分が大きく異なる場合には、ユーザーが立体視の融合問題を経験する。カメラ６０Ｃａと光学像表示部２６Ｃａ、２８Ｃａとの間の並進Ｔｙの最大の差が所定有限値であることから、左右のＴｙ差の絶対値の関数として下記式（７９）のように定義する関数を式（６９）に加えてもよい。式（７９）を式（６９）に加えた場合には、式（６９）は、下記の式（８０）のように表される。
式（６９）は以下のようになる。
The following additional constraint conditions may be added to the cost function of Expression (69) defined in the third embodiment. Since the alignment by visual observation of the user US is performed separately for each of the optical image display units 26Ca and 27Ca, the alignment error is not necessarily the same. For this reason, of the two translations of the camera 60Ca with respect to the left and right optical image display units 26Ca and 28Ca, the estimation of the Ty component may be greatly different between the optical image display units 26Ca and 28Ca. If the two Ty components are significantly different, the user will experience a stereoscopic fusion problem. Since the maximum difference in translation Ty between the camera 60Ca and the optical image display units 26Ca and 28Ca is a predetermined finite value, a function defined as the following equation (79) as a function of the absolute value of the left and right Ty differences. May be added to equation (69). When the formula (79) is added to the formula (69), the formula (69) is expressed as the following formula (80).
Equation (69) is as follows.
本発明は、上記実施形態や変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや、組み合わせを行なうことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。 The present invention is not limited to the above-described embodiments and modifications, and can be realized with various configurations without departing from the spirit of the present invention. For example, the technical features in the embodiments and the modifications corresponding to the technical features in each form described in the summary section of the invention are to solve some or all of the above-described problems, or In order to achieve part or all of the effects, replacement or combination can be performed as appropriate. Further, if the technical feature is not described as essential in the present specification, it can be deleted as appropriate.
Ａ…回転差、ＡＰ…先端部、２２１…右ＢＬ、Ｃ１、Ｃ１０、Ｃ３、Ｃ５、Ｃ６、Ｃ９…円、Ｃ３Ｐ…円の中心、ＣＡ…蓋、ＣＤ１、ＣＤ２…座標軸、ＣＬ１、ＣＬ２…対角線、ＣＰ…カメラパラメーター、ＣＳ…カーソル画像、Ｆｘ…焦点距離、ＩＭＧ…マーカー画像、Ｊｓ…ヤコビ行列、ＬＥ…左眼、ＬＰ…左眼位置、ＭＫ１、ＭＫ１Ａ、ＭＫ２、ＭＫ３、ＭＫ４、ＭＫ５…実物マーカー、ＯＡ…外部機器、Ｐ０、Ｐ１、Ｐ２、Ｐ３…頂点、ＰＭ…空間パラメーター、ＰＭ１…第１パラメーター、ＰＭＲ…右変換パラメーター、ＰＰ…紙面、ＰＴ…ペットボトル本体、ＰＴａ…開口部、ＲＡ…円弧、ＲＣ…円弧、ＲＥ…右眼、ＲＬ…実物マーカー、ＲＰ…右眼位置、ＳＣ…外景、ＳＩＭ…設定画像、ＴＸ１、ＴＸ２、ＴＸ３…文字画像、ＵＳ…使用者、ＶＲ…視野、ＩＣ１，ＩＣ２，ＩＣ３，ＩＣ４，ＩＣ５，ＩＣ６，ＩＣ７，ＩＣ８，ＩＣ９…アイコン、３ＤＣＧ…確認用画像、１０，１０Ｂ，１０Ｃａ，１０Ｃｂ…制御部（コントローラー）、２０、２０Ｂ、２０Ｃａ…画像表示部、２１、２１Ｂ、２１Ｃａ…右保持部、２２、２２Ｂ、２２Ｃａ…右表示駆動部、２３、２３Ｂ、２３Ｃａ…左保持部、２４、２４Ｂ、２４Ｃａ…左表示駆動部、２６、２６Ｂ、２６Ｃａ…右光学像表示部、２８、２８Ｂ、２８Ｃａ…左光学像表示部、３０…イヤホンプラグ、３２…右イヤホン、３４…左イヤホン、４０、４０Ｂ、４０Ｃａ…接続部、４２…右コード、４４…左コード、４６、４６Ｂ、４６Ｃａ…連結部材、４８…本体コード、５１、５１Ｂ、５１Ｃａ、５２、５２Ｂ、５２Ｃａ…送信部、５３、５３Ｂ、５３Ｃａ…受信部、６０、６０Ｂ、６０Ｃａ、６１…カメラ、９０Ｂ、９０Ｃａ…装着帯、９１Ｂ、９１Ｃａ…装着基部、９２Ｂ、９２Ｃａ…ベルト部、９３Ｂ、９３Ｃａ…連結部、１００、１００Ｂ、１００Ｃａ、１０１Ｃａ…ＨＭＤ（頭部装着型表示装置）、１２１、１２１Ｂ、１２１Ｃａ…ＲＯＭ、１２２、１２２Ｂ、１２２Ｃａ…ＲＡＭ、１３０、１３０Ｂ、１３０Ｃａ…電源、１３５、１３５Ｂ、１３５Ｃａ…操作部、１３８、１３８Ｂ、１３８Ｃａ、１３８Ｃｃ…マーカー画像記憶部、１４０、１４０Ｂ、１４０Ｃａ…ＣＰＵ、１５０、１５０Ｂ、１５０Ｃａ…オペレーティングシステム、１６０、１６０Ｂ、１６０Ｃａ…画像処理部、１６５、１６５Ｂ、１６５Ｃａ…表示設定部、１６６、１６６Ｂ、１６６Ｃａ…マーカー特定部、１６７、１６７Ｂ…演算部、１６７Ｃａ…パラメーター設定部、１７０、１７０Ｂ、１７０Ｃａ…音声処理部、１８０、１８０Ｂ、１８０Ｃａ…インターフェイス、１９０、１９０Ｂ、１９０Ｃａ…表示制御部、２０１、２０１Ｂ、２０１Ｃａ…右バックライト制御部、２０２、２０２Ｂ、２０２Ｃａ…左バックライト制御部、２１１、２１１Ｂ、２１１Ｃａ…右ＬＣＤ制御部、２１２、２１２Ｂ、２１２Ｃａ…左ＬＣＤ制御部、２２１、２２１Ｂ、２２１Ｃａ…右バックライト、２５１、２５１Ｂ、２５１Ｃａ…右投写光学系、２６１、２６１Ｂ、２６１Ｃａ…右導光板、２６２、２６２Ｂ。２６２Ｃａ…左導光板、ＣＳ１…カーソル画像
A ... rotational difference, AP ... tip, 221 ... right BL, C1, C10, C3, C5, C6, C9 ... circle, C3P ... circle center, CA ... lid, CD1, CD2 ... coordinate axis, CL1, CL2 ... diagonal , CP ... camera parameter, CS ... cursor image, Fx ... focal length, IMG ... marker image, Js ... Jacobi matrix, LE ... left eye, LP ... left eye position, MK1, MK1A, MK2, MK3, MK4, MK5 ... actual Marker, OA ... external device, P0, P1, P2, P3 ... vertex, PM ... spatial parameter, PM1 ... first parameter, PMR ... right conversion parameter, PP ... paper surface, PT ... plastic bottle body, PTa ... opening, RA ... Arc, RC ... Arc, RE ... Right eye, RL ... Real marker, RP ... Right eye position, SC ... Outside view, SIM ... Setting image, TX1, TX2, TX3 ... Character image, S ... user, VR ... visual field, IC1, IC2, IC3, IC4, IC5, IC6, IC7, IC8, IC9 ... icon, 3DCG ... confirmation image, 10, 10B, 10Ca, 10Cb ... control unit (controller), 20 , 20B, 20Ca ... image display unit, 21, 21B, 21Ca ... right holding unit, 22, 22B, 22Ca ... right display driving unit, 23, 23B, 23Ca ... left holding unit, 24, 24B, 24Ca ... left
Claims (5)
外光を透過可能であって、画像を表示可能な画像表示部と、
撮像部と、
マーカー画像のデータを記憶するマーカー画像記憶部と、
前記データに基づいて前記マーカー画像を前記画像表示部に表示させる画像設定部と、
パラメーター設定部と、を備え、
前記パラメーター設定部は、前記画像表示部に表示された前記マーカー画像と前記マーカー画像に対応した実物マーカーとが少なくとも部分的にほぼ一致するように使用者に視認させた状態で前記撮像部が前記実物マーカーの撮像画像を取得した場合に、前記撮像画像に少なくとも基づいて、前記撮像部のカメラパラメーター、および前記撮像部と前記画像表示部との間の空間関係の少なくとも一つを導出する、頭部装着型表示装置。 A head-mounted display device,
An image display unit capable of transmitting external light and displaying an image;
An imaging unit;
A marker image storage unit for storing marker image data;
An image setting unit for displaying the marker image on the image display unit based on the data;
A parameter setting unit,
The parameter setting unit is configured so that the imaging unit displays the marker image displayed on the image display unit and a real marker corresponding to the marker image so that the user visually recognizes at least partly the same. A head that derives at least one of the camera parameters of the imaging unit and the spatial relationship between the imaging unit and the image display unit based on at least the captured image when a captured image of a real marker is acquired; Part-mounted display device.
前記画像設定部は、前記パラメーター設定部が前記カメラパラメーターと前記空間関係との少なくとも一方を設定した後に、設定された前記カメラパラメーターと前記空間関係とを用いて、ＡＲ画像の位置と向きと、前記実物マーカーの位置と向きと、が対応した状態の前記ＡＲ画像が前記使用者に視認されるように、前記画像表示部に前記ＡＲ画像を表示する、頭部装着型表示装置。 The head-mounted display device according to claim 1,
The image setting unit, after the parameter setting unit sets at least one of the camera parameter and the spatial relationship, using the set camera parameter and the spatial relationship, the position and orientation of the AR image, A head-mounted display device that displays the AR image on the image display unit so that the user can visually recognize the AR image in a state in which the position and orientation of the real marker correspond to each other.
前記マーカー画像記憶部は、前記マーカー画像の元となる３次元モデルを前記データとして記憶しており、
前記画像設定部は、前記３次元モデルを前記マーカー画像として前記画像表示部に表示させ、
前記画像表示部に表示された前記マーカー画像と、前記３次元モデルに対応した３次元形状を有する実物マーカーと、が少なくとも部分的にほぼ一致するように使用者に視認させた状態で前記撮像部が前記実物マーカーの撮像画像を取得した場合に、前記パラメーター設定部は、前記撮像画像に少なくとも基づいて、前記カメラパラメーター、および前記空間関係の少なくとも一つを導出する、頭部装着型表示装置。 The head-mounted display device according to claim 1 or 2,
The marker image storage unit stores a three-dimensional model as a source of the marker image as the data,
The image setting unit displays the three-dimensional model as the marker image on the image display unit,
The imaging unit in a state in which the user visually recognizes that the marker image displayed on the image display unit and a real marker having a three-dimensional shape corresponding to the three-dimensional model are at least partially substantially matched. When the captured image of the real marker is acquired, the parameter setting unit derives at least one of the camera parameter and the spatial relationship based at least on the captured image.
前記撮像部は前記画像表示部に対して可動である、頭部装着型表示装置。 The head-mounted display device according to claim 1,
The head-mounted display device, wherein the imaging unit is movable with respect to the image display unit.
前記データに基づいて前記マーカー画像を前記画像表示部に表示させる画像設定機能と、
パラメーター設定機能と、を頭部装着型表示装置に実現させ、
前記パラメーター設定機能は、前記画像表示部に表示された前記マーカー画像と前記マーカー画像に対応した実物マーカーとが少なくとも部分的にほぼ一致するように使用者に視認させた状態で前記撮像部が前記実物マーカーの撮像画像を取得した場合に、前記撮像画像に少なくとも基づいて、前記撮像部のカメラパラメーター、および前記撮像部と前記画像表示部との間の空間関係の少なくとも一つを導出する、コンピュータープログラム。 A computer program for a head-mounted display device comprising an image display unit capable of transmitting outside light and capable of displaying an image, an imaging unit, and a marker image storage unit for storing marker image data. There,
An image setting function for displaying the marker image on the image display unit based on the data;
Realize the parameter setting function on the head-mounted display device,
In the parameter setting function, the imaging unit is configured to cause the user to visually recognize the marker image displayed on the image display unit and a real marker corresponding to the marker image so as to at least partially substantially coincide with each other. A computer that derives at least one of the camera parameters of the imaging unit and the spatial relationship between the imaging unit and the image display unit based on at least the captured image when a captured image of a real marker is acquired program.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US15/187,257 US10192361B2 (en) | 2015-07-06 | 2016-06-20 | Head-mounted display device and computer program |
| EP16178033.3A EP3115873B1 (en) | 2015-07-06 | 2016-07-05 | Head-mounted display device and computer program |
| US16/123,904 US10242504B2 (en) | 2015-07-06 | 2018-09-06 | Head-mounted display device and computer program |
Applications Claiming Priority (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015135365 | 2015-07-06 | ||
| JP2015135365 | 2015-07-06 | ||
| JP2015167787 | 2015-08-27 | ||
| JP2015167787 | 2015-08-27 | ||
| JP2015235306 | 2015-12-02 | ||
| JP2015235306 | 2015-12-02 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2017108370A true JP2017108370A (en) | 2017-06-15 |
Family
ID=59060238
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016097716A Pending JP2017108370A (en) | 2015-07-06 | 2016-05-16 | Head-mounted display device and computer program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2017108370A (en) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112348889A (en) * | 2020-10-23 | 2021-02-09 | 浙江商汤科技开发有限公司 | Visual positioning method and related device and equipment |
| JP2021509482A (en) * | 2018-01-02 | 2021-03-25 | ルムス エルティーディー． | Augmented reality display with active alignment and corresponding methods |
| US11720313B2 (en) | 2020-09-29 | 2023-08-08 | Seiko Epson Corporation | Display system, display method and program |
| US11747635B2 (en) | 2016-12-31 | 2023-09-05 | Lumus Ltd. | Eye tracker based on retinal imaging via light-guide optical element |
| US11822088B2 (en) | 2021-05-19 | 2023-11-21 | Lumus Ltd. | Active optical engine |
| US11860369B2 (en) | 2021-03-01 | 2024-01-02 | Lumus Ltd. | Optical system with compact coupling from a projector into a waveguide |
| US11886008B2 (en) | 2021-08-23 | 2024-01-30 | Lumus Ltd. | Methods of fabrication of compound light-guide optical elements having embedded coupling-in reflectors |
-
2016
- 2016-05-16 JP JP2016097716A patent/JP2017108370A/en active Pending
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11747635B2 (en) | 2016-12-31 | 2023-09-05 | Lumus Ltd. | Eye tracker based on retinal imaging via light-guide optical element |
| JP2021509482A (en) * | 2018-01-02 | 2021-03-25 | ルムス エルティーディー． | Augmented reality display with active alignment and corresponding methods |
| JP7519126B2 (en) | 2018-01-02 | 2024-07-19 | ルムス エルティーディー． | Augmented reality display with active alignment and corresponding method |
| US11720313B2 (en) | 2020-09-29 | 2023-08-08 | Seiko Epson Corporation | Display system, display method and program |
| CN112348889A (en) * | 2020-10-23 | 2021-02-09 | 浙江商汤科技开发有限公司 | Visual positioning method and related device and equipment |
| JP2023502192A (en) * | 2020-10-23 | 2023-01-23 | チョーチアン センスタイム テクノロジー デベロップメント カンパニー，リミテッド | Visual positioning method and related apparatus, equipment and computer readable storage medium |
| JP7280385B2 (en) | 2020-10-23 | 2023-05-23 | チョーチアン センスタイム テクノロジー デベロップメント カンパニー，リミテッド | Visual positioning method and related apparatus, equipment and computer readable storage medium |
| CN112348889B (en) * | 2020-10-23 | 2024-06-07 | 浙江商汤科技开发有限公司 | Visual positioning method, and related device and equipment |
| US11860369B2 (en) | 2021-03-01 | 2024-01-02 | Lumus Ltd. | Optical system with compact coupling from a projector into a waveguide |
| US11822088B2 (en) | 2021-05-19 | 2023-11-21 | Lumus Ltd. | Active optical engine |
| US11886008B2 (en) | 2021-08-23 | 2024-01-30 | Lumus Ltd. | Methods of fabrication of compound light-guide optical elements having embedded coupling-in reflectors |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10242504B2 (en) | Head-mounted display device and computer program | |
| JP6852355B2 (en) | Program, head-mounted display device | |
| US10424117B2 (en) | Controlling a display of a head-mounted display device | |
| US10469836B2 (en) | Head-mounted display device and computer program | |
| US10269139B2 (en) | Computer program, head-mounted display device, and calibration method | |
| JP6393367B2 (en) | Tracking display system, tracking display program, tracking display method, wearable device using them, tracking display program for wearable device, and operation method of wearable device | |
| JP2017108370A (en) | Head-mounted display device and computer program | |
| JP6860488B2 (en) | Mixed reality system | |
| CN107209950B (en) | Automatic generation of virtual material from real world material | |
| JP5923603B2 (en) | Display device, head mounted display, calibration method, calibration program, and recording medium | |
| CN112926428A (en) | Method and system for training object detection algorithm using composite image and storage medium | |
| WO2021146035A1 (en) | Compensation for deformation in head mounted display systems | |
| EP2932358A1 (en) | Direct interaction system for mixed reality environments | |
| JP6701694B2 (en) | Head-mounted display and computer program | |
| US10296098B2 (en) | Input/output device, input/output program, and input/output method | |
| JP6701693B2 (en) | Head-mounted display and computer program | |
| JP2017134630A (en) | Display device, control method of display device, and program | |
| JP2017111724A (en) | Head-mounted display for piping | |
| US20190114838A1 (en) | Augmented reality system and method for providing augmented reality |