JP2017068851A - 情報処理装置、情報処理システム、その制御方法及びプログラム - Google Patents

Abstract

【課題】３次元空間において、体験者が対象物に着目していたかを容易に特定できる仕組みを提供すること【解決手段】ユーザが装着する表示装置と通信可能な情報処理装置であって、３次元空間上の表示装置の位置及びユーザの視線と前記３次元空間上の物体の位置から、ユーザが着目していた物体を特定し、前記ユーザが着目していた物体がどの程度着目されていたかを示す着目度を、前記視線の遷移の情報に基づいて特定し、着目度の表示をユーザが着目していた物体と対応付けて行うべく、着目度の表示の位置を、着目されていたそれぞれの前記物体に対応する位置となるよう決定し、着目度の表示を現実に重ねて表示する画像を生成し、表示装置に出力する【選択図】図５

Description

情報処理装置、情報処理システム、その制御方法及びプログラムに関する。

近年、仮想現実（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ／以下、ＶＲ）や、拡張現実（Ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ）、複合現実（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ／以下、ＭＲと記載）の技術が普及している。ＭＲ技術を用いて、ヘッドマウントディスプレイ（以下、ＨＭＤ）を装着したユーザに対し、現実空間に現実物体とＣＧモデルを配置したＭＲ空間（現実空間と仮想空間とを重ね合わせた複合現実空間）の疑似体験を提供できる。また、ＡＲにおいても、ＨＭＤを装着したユーザに対し、現実空間にＣＧモデルを重畳して画像を提供することができる。

特許文献１、引用文献２には、磁気センサ、光学センサ等のセンサを用いてＨＭＤの位置を特定し、現実画像とＣＧモデルを重ね合わせた複合現実画像を生成・表示する仕組みが記載されている。

特開平１１−８８９１３号公報 特開２００２−２２９７３０号公報 特開２００４−３８４７０号公報

例えばブース等の作成業務にあたり、注目してもらいたい商品を配置・陳列する場所を検討することがある。ＭＲの技術を利用すれば、ＣＧの商品を陳列した仮想のブースを作成・表示することができ、実物の棚や商品サンプルを用意することなく当該検討が可能である。ＣＧの移動に際しＣＧを選択する方法として、特許文献３に記載されているような、ＨＭＤの視線方向にあるＣＧを特定して選択する方法がある。

陳列場所の検討にあたり、第三者（ブースの体験者）に商品を陳列したブースの中を歩いてもらい、ブース内に入った顧客に注目してもらいたい商品の陳列位置が適切か等の意見をもらい、商品位置を調整することが行われている。しかし、体験者の意見はあくまで、体験者自身の「商品に注目したか／注目しなかったか」という感覚に基づくものであり、本当にこの体験者の感覚や意見が正しいのか判断することは難しかった。

本発明は、３次元空間において、体験者が対象物に着目していたかを容易に特定できる仕組みを提供することを目的とする。

本発明は、ユーザが装着する表示装置と通信可能な、前記表示装置の３次元空間上の位置姿勢と、３次元空間上の物体の位置を記憶する情報処理装置であって、３次元空間上の前記表示装置の位置及びユーザの視線と前記３次元空間上の物体の位置から、ユーザが着目していた物体を特定する着目物体特定手段と、前記着目物体特定手段により特定された、前記ユーザが着目していた物体がどの程度着目されていたかを示す着目度を、前記視線の遷移の情報に基づいて特定する着目度特定手段と、前記着目度の表示を前記ユーザが着目していた物体と対応付けて行うべく、前記着目度の表示の位置を、前記特定手段により特定された、着目されていたそれぞれの前記物体に対応する位置となるよう決定する決定手段と、前記表示装置の現在の位置姿勢と前記決定手段により決定された前記着目度の表示の位置とに応じて、前記着目度の表示を現実に重ねて表示する画像を生成する画像生成手段と、前記画像生成手段により生成された、前記着目度の表示を含む前記画像を前記表示装置に表示させるべく出力する出力手段と、を備えることを特徴とする。

本発明によれば、３次元空間において、体験者が対象物に着目していたかを容易に特定できる仕組みを提供することができる。

本発明の実施形態における、システム構成の一例を示す図である。 本発明の実施形態における、各種装置のハードウエア構成の一例を示す図である。 本発明の実施形態における、各種装置の機能構成の一例を示す図である 本発明の実施形態における、ＨＭＤの位置姿勢の記憶処理の流れを示すフローチャートである。 本発明の実施形態における、ＨＭＤの位置姿勢に基づく解析処理の流れを示すフローチャートである。 本発明の実施形態における、解析結果の出力処理の流れを示すフローチャートである。 本発明の実施形態における、各種データの構成の一例を示す図である。 本発明の実施形態における、ＭＲ空間のイメージ図及び解析結果表示のイメージ図である。 本発明の実施形態における、ＭＲ画像の生成・出力処理の流れを示すフローチャートである 本発明の実施形態における、仮想オブジェクトの位置入れ替え及びＨＭＤ位置姿勢のログ表示処理の流れを示すフローチャートである。 本発明の実施形態における、仮想オブジェクトの位置入れ替え及びＨＭＤ位置姿勢のログ表示の選択部の表示イメージの一例を示す図である。 本発明の実施形態における、ＨＭＤ位置姿勢のログ表示の一例を示す図である。 本発明の第２の実施形態における、現実物体とＨＭＤの位置関係の特定処理の流れを示すフローチャートである。 本発明の第２の実施形態における、現実物体にかかるログの解析処理の流れを示すフローチャートである。 本発明の第２の実施形態における、各種データ構成の一例を示す図である。 本発明の第２の実施形態における、物体認識の様子を示す図である。 本発明の第３の実施形態における、物体同士の相対的な位置姿勢の記憶処理の流れを示すフローチャートである。 本発明の第３の実施形態における、解析結果の出力処理の流れを示すフローチャートである。 本発明の第３の実施形態における、各種データ構成の一例を示す図である。 本発明の実施形態における、解析結果オブジェクトの一例を示す図である。 本発明の実施形態における、ユーザの視線移動の様子を示す図である。

以下、図面を参照して、本発明の実施形態を詳細に説明する。

＜第１の実施形態＞
図１は、本発明の実施形態における、システム構成の一例を示す図である。

本発明のシステムは、サーバ２００、ヘッドマウントディスプレイ１０１（以下、ＨＭＤ１０１／装着型の表示装置）、光学センサ１０２等で構成される。図１において、各種装置はネットワーク１５０で通信可能に接続されているものとしている。ネットワークの有線、無線は問わない。

サーバ２００には、ＨＭＤ１０１により撮像される現実画像に重畳する３次元モデル（ＣＧモデル／仮想オブジェクト／仮想物体）が記憶されている。当該仮想オブジェクトの情報は、例えば図７のモデル情報７２０に示す通りである。モデル情報７２０の詳細については図７の説明で後述する。

サーバ２００は自機の管理するＨＭＤ１０１より現実画像を取得して、当該現実画像に３次元モデルを重畳したＭＲ画像（現実画像と仮想空間の画像とを重畳した複合現実画像）を生成し、ＨＭＤ１０１のディスプレイに表示させるべく、当該ＭＲ画像をＨＭＤ１０１に送信する。ＨＭＤ１０１は受信したＭＲ画像をディスプレイに表示する。

光学センサ１０２は、ＨＭＤ１０１に設置された光マーカを検知することで、現実空間上のＨＭＤ１０１の位置姿勢（位置＝ＸＹＺ座標、姿勢＝ＸＹＺ軸それぞれの回転角度及び方向）を特定して、当該位置姿勢の値をサーバ２００に送信する。サーバ２００は当該位置姿勢の情報を光学センサ１０２から受け取ることでＨＭＤ１０１の位置姿勢を特定可能である。当該センサを用いたＨＭＤ１０１の位置姿勢の取得・特定方法は公知の技術を用いる。例えば特許文献１／特開平１１−８８９１３号公報、特許文献２／特開２００２−２２９７３０号公報等に記載されている方法を用いて、ＨＭＤ１０１の位置姿勢を特定する。以上が図１の説明である。

次に図２を参照して、本発明の実施形態における、各種装置のハードウェア構成について説明する。

ＣＰＵ２０１は、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。

また、ＲＯＭ２０２には、ＣＰＵ２０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ ＯｕｔｐｕｔＳｙｓｔｅｍ）やオペレーティングシステム（ＯＳ）、その他各種装置の実行する機能を実現するために必要な各種プログラムが記憶されている。

ＲＡＭ２０３は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＡＭ２０３にロードして、プログラムを実行することで各種動作を実現するものである。

本発明のクライアントＰＣ１００、サーバ２００が後述する各種処理を実行するために用いられる各種プログラム等は外部メモリ２１１に記録されており、必要に応じてＲＡＭ２０３にロードされることによりＣＰＵ２０１によって実行されるものである。さらに、本発明に係わるプログラムが用いる定義ファイルや各種情報テーブルは外部メモリ２１１に格納されている。
入力コントローラ（入力Ｃ）２０５は、キーボードやマウス等のポインティングデバイス（入力デバイス２１０）からの入力を制御する。

ビデオコントローラ（ＶＣ）２０６は、ＨＭＤ１０１が備える右目・左目ディスプレイ２２２等の表示器への表示を制御する。右目・左目ディスプレイ２２２に対しては、例えば外部出力端子（例えば、Ｄｉｇｉｔａｌ Ｖｉｓｕａｌ Ｉｎｔｅｒｆａｃｅ）を用いて出力される。また、右目・左目ディスプレイ２２２は、右目用のディスプレイと左目用のディスプレイとから構成されている。

メモリコントローラ（ＭＣ）２０７は、ブートプログラム、ブラウザソフトウエア、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶するハードディスク（ＨＤ）やフレキシブルディスク（ＦＤ）或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるカード型メモリ等の外部メモリ２１１へのアクセスを制御する。

通信Ｉ／Ｆコントローラ（通信Ｉ／ＦＣ）２０８は、ネットワークを介して、外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いたインターネット通信等が可能である。また、通信Ｉ／Ｆコントローラ２０８は、ギガビットイーサネット（登録商標）等を通じて光学センサ１０２（光学式センサ）との通信も制御する。

汎用バス２０９は、ＨＭＤ１０１の右目・左目ビデオカメラ２２１からの映像を取り込むために使用される。右目・左目ビデオカメラ２２１からは、外部入力端子（例えば、ＩＥＥＥ１３９４端子）を用いて入力される。右目・左目ビデオカメラ２２１は、右目用のビデオカメラと左目用のビデオカメラとから構成されている。

尚、ＣＰＵ２０１は、例えばＲＡＭ２０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ディスプレイ上での表示を可能としている。また、ＣＰＵ２０１は、ディスプレイ上の不図示のマウスカーソル等でのユーザ指示を可能とする。以上が図２の説明である。

次に図３を参照して、本発明の実施形態における、各種装置の機能構成の一例について説明する。

撮像部３１１は、ＨＭＤ１０１のカメラであり、現実画像を撮像する撮像部である。撮像画像送信部３１２は、撮像画像（現実画像）を自機に対応するサーバに送信する送信部である。

ＭＲ画像受信部３１３は、サーバ２００で生成されたＭＲ画像を受信する受信部である。ＭＲ画像表示部３１４は、受信したＭＲ画像を表示画面に表示する表示部である。

サーバ２００の撮像画像受信部３２１は、ＨＭＤ１０１から現実画像を受信する。ＨＭＤ位置姿勢特定部３２２は、光学センサ１０２からＨＭＤ１０１の位置姿勢の値を受信することでＨＭＤ１０１の位置姿勢を特定する特定部である。

ＨＭＤ位置姿勢記憶部３２３は、ＨＭＤ位置姿勢特定部３２２で特定した位置姿勢の情報を外部メモリに記憶する記憶部である。ＨＭＤ位置姿勢記憶部３２３は、現在のＨＭＤ１０１の位置姿勢であり、ＭＲ画像（現実画像に、ＨＭＤの位置姿勢から見た、仮想空間に配置された仮想オブジェクトの画像を重畳した重畳画像／複合現実画像ともいう）の生成に用いるＨＭＤ１０１の位置姿勢の情報（図７のＨＭＤ情報７００）と、現在及び過去のＨＭＤ１０１の位置姿勢を、継続して、ログ（図７のＨＭＤ位置姿勢ログ７１０／履歴記憶手段）として外部メモリに記憶する。

ＭＲ画像生成・記憶部３２４は、ＨＭＤ位置姿勢特定部３２２で特定された現在のＨＭＤの位置姿勢に基づいて現実画像に仮想オブジェクトを重畳したＭＲ画像を生成し、外部メモリに記憶する記憶部である。ＭＲ画像送信部３２５は、当該ＭＲ画像をＨＭＤ１０１に送信する送信部である。

仮想オブジェクト記憶部３２６は、仮想空間に配置する（仮想空間と現実空間の位置合わせを行うことで、ＭＲ空間上に配置する）仮想オブジェクトの情報を記憶する。具体的には、図７のモデル情報７２０に示すような情報をサーバ２００の外部メモリに記憶している。

モデル情報７２０は、モデル（仮想オブジェクト）の識別情報であるモデル名７２１、モデルを配置・陳列する仮想空間上の位置７２２、姿勢７２３、当該モデル（仮想オブジェクト）が、ユーザが仮想オブジェクトに着目（注目）したか否か／どの程度着目したかの分析対象とする仮想オブジェクトかを示す着目フラグ７２４（対象物体記憶手段に該当）、どの空間をＨＭＤ１０１の視線が通過していた場合に当該仮想オブジェクトに着目していたと判定するかの領域を示す着目エリア７２５等から構成される。例えば、ＨＭＤの位置姿勢から特定されるＨＭＤ１０１の視線方向（ＨＭＤ１０１が向いている方向）を示す直線と、当該着目エリア７２５に示すエリアの外面とが交った場合に、当該着目エリア７２５に対応する仮想オブジェクトをＨＭＤ１０１のユーザが見ていた（ユーザが着目していた）と判定するものである。着目フラグ７２４＝１の仮想オブジェクトはユーザが当該オブジェクトに着目していた否かを判定する対象のオブジェクトである。着目フラグ７２４＝０の仮想オブジェクトはユーザが当該オブジェクトに着目していた否かの判定対象とはしない。着目フラグ７２４の値は予め仮想オブジェクトごとに記憶されているものとする。着目エリア７２５は、モデル名７２１の示す仮想オブジェクトを位置７２２・姿勢７２３で仮想空間に配置した場合に、当該仮想オブジェクトを囲む最小の立方体の占める３次元上の領域であり、当該立方体の各頂点座標が記憶されている。視線方向のベクトルと当該エリアを示す立方体の外面が交わった交点の座標が、ユーザが当該着目エリアに対応する仮想オブジェクトにおいて着目した点（着目点）の座標である。なお、ユーザが物体に着目していたか否かの判定方法はこれに限るものではない。例えば視線方向のベクトルと仮想オブジェクト自体の外面が交わった場合にユーザが当該物体に着目していると判定し、視線方向のベクトルと仮想オブジェクト自体の外面が交わった交点の座標をユーザが当該仮想オブジェクトである物体に着目した着目点の座標としてもよい。

分析実行部３２７は、ＨＭＤ１０１の位置姿勢のログを分析・解析して、対象の仮想オブジェクトにユーザが着目していたか否か／着目していたとすればどの程度着目していたのかを特定する処理部である。

分析結果情報生成部３２８は、分析実行部３２７で実行した分析の分析結果をユーザに確認させるべく、分析結果の情報を生成する。例えば、ＭＲ空間上で分析結果をユーザに確認させるべく、図８の８１０に示すように各仮想オブジェクトに対応付けて仮想空間上に配置する、各仮想オブジェクトをユーザがどの程度見ていたかを示す仮想オブジェクトを生成して、当該分析結果の仮想オブジェクト（図８の８１０における吹き出し）をそれぞれの分析対象の仮想オブジェクト（陳列されている商品のＣＧ）から見て所定の位置に配置するよう、当該分析結果の仮想オブジェクトの位置姿勢を決定して分析結果の仮想オブジェクトと対応付けて外部メモリに記憶する。以上が図３の説明である。

次に図４を参照して、本発明の実施形態における、ＨＭＤの位置姿勢の記憶処理の流れについて説明する。

サーバ２００のＣＰＵ２０１は、ＨＭＤ１０１の位置姿勢の計測・特定処理の開始指示（例えばユーザ操作）を受け付けると、光学センサからＨＭＤ１０１の位置姿勢情報を取得して（ステップＳ４０１）、外部メモリに記憶する（ステップＳ４０２）。具体的には、サーバ２００のＣＰＵ２０１は、図７のＨＭＤ情報７００のＨＭＤＩＤ７０１にＨＭＤ１０１の識別情報を、位置７０２、姿勢７０３に位置姿勢の情報を記憶する。ＨＭＤ情報７００は現在のＨＭＤ１０１の位置姿勢を示す。本実施形態におけるＨＭＤの姿勢の情報は、ＨＭＤの回転角度と、ＨＭＤの向いている方向を示す情報である。

また、サーバ２００のＣＰＵ２０１は、ＨＭＤ位置姿勢ログ７１０に最新のデータ列を追加して、ＨＭＤ１０１の識別情報、ステップＳ４０１で取得した位置姿勢、当該位置姿勢の情報を取得した日時（位置姿勢を特定した日時）を、それぞれＨＭＤＩＤ７１１、位置７１３、姿勢７１４、日時７１２に挿入して記憶する。ＨＭＤ位置姿勢ログ７１０はサーバ２００の外部メモリに記憶される、ＨＭＤの位置姿勢の計測履歴である。ログＩＤ７１５は、図４のステップＳ４０３で当該ログをファイル出力する場合に当該ログに付与される識別情報である。姿勢７１４は、ＨＭＤ１０１のユーザの視線方向の遷移を示す履歴の情報である。

サーバ２００のＣＰＵ２０１は、位置姿勢計測の終了の指示（例えばユーザからの操作）を受け付けるまでステップＳ４０１、Ｓ４０２の処理を繰り返し実行する。位置姿勢計測の終了の指示を受け付けた場合は、サーバ２００のＣＰＵ２０１は、位置姿勢計測の開始から終了までに記憶したＨＭＤ位置姿勢ログ７１０を１つのファイルとして、サーバ２００の外部メモリ２１１の所定の領域に出力・記憶する（ステップＳ４０３）。なお、出力に際してログＩＤ７１５を新規に作成してファイルに埋め込む。ログＩＤ＝ステップＳ４０３で出力したログの識別情報である。以上が図４の説明である。

次に図９を参照して、本発明の実施形態における、ＭＲ画像の生成処理の流れについて説明する。

ＨＭＤ１０１は、自装置に設置されているビデオカメラで現実画像を撮像し（ステップＳ９０１）、撮像した現実画像をサーバ２００に送信する（ステップＳ９０２）。

サーバ２００は、仮想オブジェクト（図７のモデル情報７２０）を取得して、各仮想オブジェクトを位置７２２・姿勢７２３の位置姿勢で仮想空間上に配置する（ステップＳ９０３）。

サーバ２００のＣＰＵ２０１は、当該現実画像を受信して外部メモリに記憶する（ステップＳ９０４）。当該現実画像には撮像日時の情報が含まれているものとする。また、サーバ２００のＣＰＵ２０１は、当該現実画像を撮像したＨＭＤ１０１のＩＤと対応付けて記憶するものとする。そして、図７のＨＭＤ情報７００に示す現在のＨＭＤ１０１の位置姿勢を読み出して、当該位置姿勢の値に従って、（仮想のカメラを仮想空間上に配置して仮想空間の画像（仮想オブジェクトの画像／仮想画像）を撮像し、ＨＭＤ１０１から取得した現実画像に重畳することで）ＭＲ画像を生成してメモリに記憶する（ステップＳ９０５）。

サーバ２００のＣＰＵ２０１は、当該ＭＲ画像をＨＭＤ１０１に送信し（ステップＳ９０６）、ＨＭＤ１０１が当該ＭＲ画像を受信して（ステップＳ９０７）表示画面に表示する（ステップＳ９０８）。以上が図９の説明である。

次に図５を参照して、本発明の実施形態における、ＨＭＤの位置姿勢に基づく解析処理の流れについて説明する。

サーバ２００のＣＰＵ２０１は、ログ解析指示（例えばユーザ操作）を受け付ける（ステップＳ５０１）。当該ログ解析の操作は、例えばステップＳ４０３で出力されたファイルの選択及びログ解析の操作を受け付け、サーバ２００の不図示の表示画面において解析開始ボタンの押下を受け付けることで、当該選択されたＨＭＤ位置姿勢ログのファイルに対して実行される。

サーバ２００のＣＰＵ２０１は、モデル情報７２０を取得して（ステップＳ５０２）、モデル情報７２０の仮想オブジェクトの中から、着目フラグ＝１の仮想オブジェクトを取得する（ステップＳ５０３）。つまり、ステップＳ５０２で取得したログにおいて、ＨＭＤ１０１のユーザに着目されていたか／どの程度着目されていたかを解析する対象の仮想押ブジェクトを特定し、外部メモリ上に当該解析対象のオブジェクトのリストを生成して記憶する。例えば、図７のランキング情報７３０を生成して記憶する。ランキング情報７３０は、各仮想オブジェクト（モデル名７３２）に対してユーザがどの程度の時間（着目時間７３３／着目度）着目していたか、を記憶するテーブルである。

サーバ２００のＣＰＵ２０１は、ステップＳ５０１で取得したファイルのログ（図７のＨＭＤ位置姿勢ログ７１０に示す７１１〜７１４の各情報）を１つ取得して（ステップＳ５０４）、当該ログの示すＨＭＤ１０１の視点（位置）と姿勢からＨＭＤ１０１の視線方向を特定する（ステップＳ５０５）。つまり、ＨＭＤ１０１のユーザがどの位置からどの方向を見ていたかを特定する。

サーバ２００のＣＰＵ２０１は、当該特定した視線方向の先に、ステップＳ５０３で生成した解析対象の仮想オブジェクトがあるか判定する。具体的には、ステップＳ５０５で特定した視線方向を示す直線と、着目フラグ７２４＝１の仮想オブジェクトの着目エリア７２５を通過しているかを判定する。通過している場合に、視線の先に当該着目エリア７２５に対応する仮想オブジェクトがあったと判定する。着目フラグ７２４＝１の仮想オブジェクトの着目エリア７２５のうち、視線方向を示す直線がいずれのエリア７２５も通過していない場合に視線の先に当該着目エリア７２５に対応する仮想オブジェクトがなかったと判定する。

視線の先に仮想オブジェクトがなかった場合は処理をステップＳ５０９に移行する。視線の先に仮想オブジェクトがあった場合は、例えば当該視線の先にある仮想オブジェクトのうち、ＨＭＤの位置から最も近い（直近の）仮想オブジェクトを、ＨＭＤ１０１のユーザが着目していた仮想オブジェクトとして特定する（ステップＳ５０７／着目物体特定手段に該当）。但し、仮想オブジェクトの透明度が閾値に達している場合、視線方向の先にある仮想オブジェクトのうち、当該仮想オブジェクトの次にＨＭＤに近い位置にある仮想オブジェクトをユーザが着目していた仮想オブジェクトとして特定する。例えば透過率が７０％以上の仮想オブジェクトは無視して、次にＨＭＤに近い位置にある透過率３０％以下の仮想オブジェクトを、着目対象の仮想オブジェクトとする。

サーバ２００のＣＰＵ２０１は、ステップＳ５０４で取得したログの次のログの日時７１２を取得して、当該ステップＳ５０４で取得したログの日時７１２から次のログの日時７１２までの時間を、ユーザが着目していた当該仮想オブジェクトのモデル名７３２に対応する着目時間７３３に加算する（ステップＳ５０８／着目度特定手段に該当）。

サーバ２００のＣＰＵ２０１は、ステップＳ５０１で取得したログファイルの中の全てのＨＭＤ位置姿勢ログにステップＳ５０４〜Ｓ５０８の処理を実行済みか判定し、実行済みでない場合は処理をステップＳ５０４に戻して未処理のログを取得する。

実行済みの場合は、ランキング情報７３０中の仮想オブジェクトを着目時間７３３が多い順にランキングして、ランキング値７３１（着目度を示す値）にランキング（着目度の順位）を書き込む（ステップＳ５１０／着目度特定手段に該当）。そして、当該ランキング情報７３０を解析結果（分析結果）の情報として、ログのファイルと対応付けて記憶する（ステップＳ５１２）。具体的には、ランキング値を書きこみ終わったランキング情報７３０に、ステップＳ５０１で取得したログファイルのログＩＤを対応付けて（ログＩＤ７３４）、外部メモリ２１１の所定の領域に当該ランキング情報７３０をファイルとして出力・記憶する。以上が図５の説明である。

図４、図５の処理によれば、ＭＲにおいて、体験者が対象物に着目していたかを容易に特定することができる。

次に図６を参照して、本発明の実施形態における、解析結果の出力処理の流れについて説明する。

サーバ２００のＣＰＵ２０１は、ログ解析結果の表示指示（例えばユーザ操作）を受け付ける（ステップＳ６０１）。例えば、サーバ２００の外部メモリに記憶されている解析結果のファイルの選択を受け付け、サーバ２００の不図示の表示画面において解析結果の表示ボタンの押下を受け付けることで、当該ログ解析結果の表示指示を受け付けるものとする。

サーバ２００のＣＰＵ２０１は、選択された解析結果のファイル（ランキング情報７３０に示す情報を持つファイル）をメモリ上に読込み（ステップＳ６０２）、読み込んだ解析結果の情報を１つ取得する（未処理のランキング情報をランキングが高い順に取得する／ステップＳ６０３）。

サーバ２００のＣＰＵ２０１は、取得した解析結果の情報を示す仮想オブジェクトを生成して（ステップＳ６０４／着目度オブジェクト生成手段に該当）、当該仮想オブジェクトの位置姿勢を決定して（ステップＳ６０５）外部メモリに記憶する。また、図７の解析結果モデル情報７４０に示すように、ステップＳ６０１で選択された解析結果に対応するログＩＤをログＩＤ７４１に持つ解析結果モデル情報７４０を生成し、解析結果モデル名７４２に生成した解析結果を示す仮想オブジェクトのファイル名を挿入し、モデル名７４５に解析対象のモデル名７３２を挿入し、当該モデル名７４５の仮想オブジェクトから所定の位置（モデル名７４５の仮想オブジェクトの位置から所定のオフセット値を適用したＸＹＺ座標）と所定の姿勢の値を位置７４３、姿勢７４４に挿入して記憶する。

サーバ２００のＣＰＵ２０１は、ステップＳ６０１で取得したファイル内の全ての解析結果（ランキング情報７３０内の全てのモデル）に対してステップＳ６０３〜Ｓ６０５の処理を実行済みか判定し（ステップＳ６０６）、未実行の場合には処理をステップＳ６０３に戻して未処理の解析結果を取得する。実行済みの場合には、処理をステップＳ６０７に移行して、図９に示すＭＲ画像の生成・出力処理（着目対象の仮想オブジェクトの識別表示処理）を実行する。以上が図６の説明である。

なお、ステップＳ６０７におけるＭＲ画像の生成処理においては、サーバ２００のＣＰＵ２０１は、ステップＳ９０３の仮想オブジェクトの取得・配置の処理において、モデル情報７２０に加えて、解析結果モデル情報７４０を取得して、各モデル（仮想オブジェクト）を仮想空間上に配置する処理を行う。また、サーバ２００のＣＰＵ２０１は、解析結果の表示の終了指示（例えばユーザ操作）を受け付けるまで、当該解析結果モデル情報７４０の読込み、配置、当該解析結果モデル情報７４０の仮想オブジェクト（当該解析結果モデル情報７４０の仮想オブジェクトを配置した仮想空間の画像）を用いたＭＲ画像の生成、出力を継続するものとする。ＨＭＤ１０１には、当該解析結果モデル情報７４０の仮想オブジェクトが見えるＭＲ画像が表示（ユーザが着目していた仮想オブジェクトが識別表示）される。

モデル情報７２０の仮想オブジェクトを配置したＭＲ空間の例を図８の８００に示す。モデル情報７２０に加えて、解析結果モデル情報７４０の仮想オブジェクトを配置したＭＲ空間の例を図８の８１０に示す。

次に図１０を参照して、本発明の実施形態における、仮想オブジェクトの位置入れ替え及びＨＭＤ位置姿勢のログ表示処理の流れについて説明する。

サーバ２００のＣＰＵ２０１は、仮想オブジェクトの選択を受け付けた場合に（ステップ（Ｓ１００１）、仮想オブジェクトの解析結果の表示中か（ステップＳ６０７によるＭＲ画像の生成・表示中か／解析結果の表示指示を受け付けてからまだ終了指示を受け付けていない状態か）判定する（ステップＳ１００２）。仮想オブジェクトの選択方法は既存の技術を用いて行うものとする（例えば選択用の仮想オブジェクトと接触した仮想オブジェクトを選択する）。

仮想オブジェクトの解析結果の表示中でない場合は処理を終了し、仮想オブジェクトの解析結果の表示中である場合は、選択された仮想オブジェクトから所定の距離離れた位置に、図１１の１１０１〜１１０３の選択ボタンの仮想オブジェクトを生成・配置する。つまり、図１１の１１０１〜１１０３の選択ボタンであるユーザ操作部の仮想オブジェクトの仮想空間上の位置姿勢の決定を行う。そして、ＨＭＤ１０１の位置姿勢と、当該選択ボタンの仮想オブジェクトの仮想空間上の位置姿勢の位置姿勢に応じて、当該選択ボタン１１０１〜１１０３を重畳したＭＲ画像を生成してＨＭＤ１０１に出力して表示させる（表示制御する）。

サーバ２００のＣＰＵ２０１は、ステップＳ１００４で入れ替え対象の仮想オブジェクトが選択されたと判定した場合に、処理をステップＳ１０１０に移行し、入れ替え対象として選択された仮想オブジェクトと選択中の仮想オブジェクトの位置を、モデル情報７２０中において入れ替える処理を行い（ステップＳ１０１０）、処理をステップＳ１００９に移行する。つまり、指示に応じて仮想オブジェクトを入れ替えたＭＲ画像を生成・出力するために、図９のＭＲ画像の生成・出力処理を行う（ステップＳ１００９）。

ステップＳ１００４で入れ替え対象の仮想オブジェクトが選択されたと判定した場合とは、具体的には、ボタン１１０１が選択され、サーバ２００が、入れ替え対象の仮想オブジェクトの候補の選択ボタン１１１１、１１１２を生成して図１１の１１１０に示すように配置・描画し、当該選択ボタン１１１１、又は１１１２の選択操作を受け付けた場合である。

ここでは当該選択ボタン１１１１、１１１２に表示する対象の仮想オブジェクトを、選択中の仮想オブジェクトより上位のランキングのオブジェクトとした。これにより、入れ替えの候補が多く表示されて表示画面が煩雑になることを防止できる。

なお、入れ替えの候補が多く表示されて表示画面が煩雑になることを防止するために、選択中の仮想オブジェクトより下位のランキングの仮想オブジェクトを入れ替え候補として表示してもよい。

また、表示画面が煩雑になるほど仮想オブジェクトがない場合においては、解析結果表示中の全ての仮想オブジェクトを選択ボタンに表示してもよい。また、解析が完了している全ての仮想オブジェクトを選択ボタンに表示してもよい。

仮想オブジェクトの選択に応じて、選択ボタンの選択により指定された他の仮想オブジェクトとの位置の入れ替えをＭＲ空間上で行うことを可能にするものである。

サーバ２００のＣＰＵ２０１は、ステップＳ１００５で並び替えボタン１１０２の選択がされたか判定する。並び替えボタン１１０２がされた場合には、例えば、予めサーバ２００に仮想オブジェクトと対応付けて記憶しておいた、着目して欲しい順の１位〜ｎ位までの情報を取得し、着目して欲しい順の１位に設定されている仮想オブジェクトの位置を、実際にランキングで１位になった仮想オブジェクトが配置されている位置に変更する（ステップＳ１０１１）。その後、処理をステップ１００９に移行し、指示に応じて仮想オブジェクトの位置を並び替えたＭＲ画像を生成・出力するために、図９のＭＲ画像の生成・出力処理を行う（ステップＳ１００９）。これにより、ユーザが所望する着目してほしい順に沿って、各仮想オブジェクトを、実際に着目された仮想オブジェクトの配置位置に一括で配置することができる。

サーバ２００のＣＰＵ２０１は、ステップＳ１００６で、ＨＭＤ位置姿勢ログの表示指示のボタン１１０３が選択されたか判定し、ＨＭＤ位置姿勢ログの表示指示のボタン１１０３が選択された場合に、選択中のモデルに着目していた時点のＨＭＤ位置姿勢ログを特定する（ステップＳ１００７）。どのログのどのＨＭＤのユーザがどの仮想オブジェクトにいつからいつまで着目していたか（いつの時点からいつの時点まで着目していたか）の特定方法は図５で説明したとおりである。例えば、ユーザが着目している物体（仮想オブジェクト又は現実物体）が特定される都度、当該物体ごとに、着目していたユーザのＨＭＤ１０１のＩＤと、着目されていた時点の日時と、ＨＭＤ１０１の位置姿勢を対応付けた対応付け情報を外部メモリに記憶しておく（対応付け記憶手段／姿勢対応付け記憶手段に該当）ことでも、どのＨＭＤのユーザがどの仮想オブジェクトにいつからいつまで着目していたか特定可能である。サーバ２００のＣＰＵ２０１は、ステップＳ１００７で、表示中の解析結果のログＩＤ７４１のログ（ＨＭＤ位置姿勢ログ等）を取得して、日時７１２を参照し、当該ログの最初の日時から最後の日時までの間の、ＨＭＤＩＤ７１１の示すＨＭＤの前記対応付け情報を取得することで、選択された物体に着目していたＨＭＤ１０１の日時ごとの位置姿勢を特定できる。

サーバ２００のＣＰＵ２０１は、ステップＳ１００７で特定した、選択中の仮想オブジェクトにユーザが着目していた時点のＨＭＤの位置を示す仮想オブジェクト（図１２でいう１２０２）を生成し（位置オブジェクト生成手段に該当／姿勢オブジェクト生成手段に該当）、図１２に示すように、各ログの示すＨＭＤ１０１の位置にＨＭＤ１０１の姿勢で配置する処理を行う（ステップＳ１００８／位置姿勢決定手段に該当）。なお、図１２の１２１０に示すように、ＨＭＤの位置、及び、ＨＭＤの位置姿勢から特定される、選択中の仮想オブジェクトにユーザが着目していた時点のＨＭＤの視線方向を示す直線（矢印）を生成して仮想空間に配置するようにしてもよい。矢印は、１２０２の示す仮想オブジェクトの位置（＝ＨＭＤ１０１のユーザがある仮想オブジェクトに着目している間における、ある時点でのＨＭＤ１０１の位置）を始点とし、その位置から仮想オブジェクトに着目していた際の、仮想オブジェクト上の着目点（終点）まで伸ばした矢印型の仮想オブジェクトである。図１２の１２１０はＭＲ空間を上から見た俯瞰図である。

サーバ２００のＣＰＵ２０１は、ステップＳ１００７で生成・配置した、選択中の仮想オブジェクトにユーザが着目していた時点のＨＭＤの位置を示す仮想オブジェクトをＨＭＤ１０１に表示させるべく、図９のＭＲ画像の生成・出力処理を行う（ステップＳ１００９）。

これにより、仮想オブジェクト着目していたユーザのいた位置を容易に確認可能できる。

なお、サーバ２００のＣＰＵ２０１は、当該ＨＭＤの位置姿勢のログ表示の終了指示を受け付けるまで、当該ＨＭＤの位置姿勢のログの仮想空間への配置、及び当該ＨＭＤの位置姿勢のログの仮想オブジェクトを重畳したＭＲ画像の生成を継続する。当該終了指示を受け付けた場合には、当該ＨＭＤの位置姿勢のログを示す仮想オブジェクトを削除する。

なお、図１２の１２０２のみ生成・配置するようにしてもよいし、図１２の１２０１に示すような、１２０２の位置（選択中の仮想オブジェクトにユーザが着目していた時点のＨＭＤの位置）を包含する最小の球または直方体を生成して仮想空間に配置することで、選択中の仮想オブジェクトにユーザが着目していた期間にＨＭＤ１０１のユーザがいた位置を確認することができるようになる。

以上説明したように、本発明によれば、ＭＲにおいて、体験者が対象物に着目していたかを容易に特定できる仕組みを提供することができる。

また、例えば体験者の意見とブース内の行動（どの商品に注目・着目していたか）を照らし合わせることで体験者の意見と行動との整合性を確認し、この整合性を以って体験者の意見を採用すべきか否かを判断することが考えられる。体験者の行動を監視するためにはブース周辺にカメラを配置して体験者の行動を撮影して録画し、録画した動画を後に確認する方法がある。体験者の行動を正確に監視するためにブース周辺に複数のカメラを配置して複数の録画動画をＰＣモニタで目視確認する方法が考えられるが、複数の動画を確認するのは手間である。また、ブースを俯瞰するようにカメラを配置して録画した動画を確認する方法が考えられるが、動画の中に小さく写る体験者の行動を目視確認するので体験者がどの商品に着目しているか確認しづらい。

これに対し本発明では、ＨＭＤの位置姿勢の履歴及び仮想オブジェクトの位置姿勢に応じて体験者が対象物に着目していた度合いを特定し、ＭＲ空間において、体験者の行動を容易に確認することができる。

つまり、ＭＲにおいて、体験者が対象物に着目していたかを容易に特定できる仕組みを提供することができる。

なお、上述した実施形態においては、１つのＨＭＤ位置姿勢ログのファイルの選択を受け付け、当該１つのログのファイルに対して図５の処理を実行するものとしたが、例えば複数のログのファイルを選択して、当該複数のログのファイルに対して図５の処理を実行するようにしてもよい。複数のログ（例えば異なる複数人のユーザの位置姿勢のログ）を対象に着目度の解析を行うことで、解析結果の精度や信頼度を向上させることができる。

具体的には、サーバ２００のＣＰＵ２０１が、ステップＳ５０１で複数のログのファイルの選択を受け付け、当該複数のログのファイルを取得する。そして、複数のファイルの全てのログに対してステップＳ５０４〜Ｓ５０８の処理を実行する。この場合、サーバ２００のＣＰＵ２０１は、ステップＳ５０１で選択された全てのログの解析結果をステップＳ５１０で１つのランキング情報７３０のファイルとして記憶・出力し、ログＩＤ７３４に当該選択された全てのログのログＩＤを挿入する。サーバ２００のＣＰＵ２０１は、ステップＳ６０１で当該複数のログの解析結果の選択及び表示指示を受け付けることで、当該複数のログの解析結果に基づくＭＲ画像を生成してＨＭＤ１０１に表示する。

また、上述した実施形態においては、着目フラグ７２４＝１の仮想オブジェクトを図５の解析の対象としたが、例えば、モデル情報７２０に記憶される全ての仮想オブジェクトを図５の処理対象としてもよい。具体的には、サーバ２００のＣＰＵ２０１は、ステップＳ５０３の処理を実行せずに、ステップＳ５０５〜Ｓ５０９をステップＳ５０２で取得した全ての仮想オブジェクトに対して実行する。

また、上述した実施形態においては、図６のステップＳ６０３〜Ｓ６０５の処理をステップＳ６０１で取得した解析結果の全ての仮想オブジェクトに対して実行するものとしたが、例えば解析結果のランキングの上位所定数の仮想オブジェクトに対してのみステップＳ６０３〜Ｓ６０５の処理を実行するようにしてもよい。

具体的には、サーバ２００のＣＰＵ２０１は、ステップＳ６０６において、ランキングの上位所定数までの仮想オブジェクトに対してステップＳ６０３〜Ｓ６０５を実行済みか判定して、未実行の場合は処理をステップＳ６０３に戻し、実行済みの場合は処理をステップＳ６０７に移行する。これにより、仮想空間に配置される仮想オブジェクトの数が多い場合（着目フラグ＝１の仮想オブジェクトが多い場合等）でも、解析結果の情報の表示が煩雑になることを防止することができる。当該所定数の値は、サーバ２００の外部メモリに記憶されており、ユーザ操作により自由に設定変更可能である。

また、上述した実施形態においては、解析結果モデルの仮想オブジェクト＝ランキング値７３１及び着目時間７３３の両方を埋め込んだ（テクスチャとして貼り付けた）仮想オブジェクトとして生成するものとしたが（図８の８１０）、例えばランキング値７３１又は着目時間７３３のいずれか一方を埋め込んだ仮想オブジェクトを解析結果モデルの仮想オブジェクトとして生成・配置するようにしてもよい。

また、上述した実施形態においては、サーバ２００が解析結果モデルの仮想オブジェクトを生成し仮想空間に配置、ＭＲ画像を生成することで、ＨＭＤに各仮想オブジェクトの着目度（解析結果）を表示するものとしたが、着目度の識別表示の方法はこれに限るものではない。例えばステップＳ６０４で、当該解析結果モデルの仮想オブジェクトを生成する代わりに、着目のランキングに応じて着目されていた仮想オブジェクトの色を変更する処理を行ってもよい。例えばランキング上位５位に入る仮想オブジェクトを同じ色になりよう処理しても良いし、各ランキングに応じた色を予めサーバ２００の外部メモリに記憶しておいて、それぞれのランキング値に対応する色にそれぞれの仮想オブジェクトの色を変更するようにしてもよい。

また、ある時間以上（例：１分以上等）着目していれば、着目されていた仮想オブジェクトとして識別表示するようにしてもよい。具体的には、所定時間の値を予めサーバ２００の外部メモリに記憶しておき、サーバ２００のＣＰＵ２０１が、図６のステップＳ６０３の後、ステップＳ６０３で取得した解析結果の着目時間（図７の７３０及び７４０のログＩＤおよびモデル名から特定可能）が当該所定時間に達しているか判定して、所定時間に達している場合に処理をステップＳ６０４に移行し、着目時間が当該所定時間に達していない場合に処理をステップＳ６０６に移行するようにする。これにより、仮想オブジェクトが所定時間着目されているかを容易に特定、確認できる。

また、上述した実施形態においてはセンサを用いてＨＭＤの位置姿勢を特定するものとしたが、ＨＭＤの位置姿勢さえ特定できればよいため、必ずしもセンサを用いる必要はない。例えば部屋に複数のマーカを貼り付けて、当該マーカをＨＭＤ１０１のカメラで撮像することでＨＭＤ１０１の位置姿勢を特定し、ＭＲ画像を生成するようにしてもよい。

マーカを使ってＨＭＤの位置姿勢を特定し、仮想オブジェクトを現実画像に重畳する場合、マーカの形状は問わないが、例えば全て正方形であり、サイズも全て同じであるものとする。また、各マーカにはユニークなマーカ番号が埋め込まれているものとする。そして、ＨＭＤ１０１に設けられたカメラで撮像した際に、個々のマーカが識別でき、デコードした際に、そのマーカ番号が得られるものとする。マーカの種類（マーカが果たす役割の種類）は、ＨＭＤ１０１の位置姿勢を決定するための位置検出用マーカ、並びに、そのマーカで規定される箇所に仮想オブジェクトを描画するものとして利用される仮想オブジェクト配置用マーカの２種類がある。そして、位置検出用マーカについては、複数のマーカが、予め既知の位置に貼り付けられているものとする。

ＨＭＤ１０１の位置姿勢を検出する原理について説明する。撮像した画像中の３つの位置検出用マーカ（その位置は既知）それぞれのサイズから、ＨＭＤ１０１からそれぞれまでの位置検出用マーカまでの距離を求める。そして、逆に、３つの位置検出用マーカから求めた３つの距離が重なる位置を、ＨＭＤ１０１の位置として決定する。また、ＨＭＤ１０１の姿勢は、撮像した画像中の３つの位置検出用マーカの配置から求めればよい。

なお、マーカの法線方向に視点があるとき、そのマーカ画像が正方形に見えることになる。そして、視点が法線方向からずれると、そのずれの度合いに応じて正方形が歪んで見える。つまり、この歪みから、視点の軸に対するマーカで規定される平面の向きが判明し、マーカのサイズから視点とマーカ間の距離を検出でき、マーカが貼り付けられた平面が規定できる。また、実施形態では、マーカには、互いに識別できる２つの印が設けられ、マーカの中心位置を原点とし、マーカで規定される上記の平面上の、原点からその印に向かう２つのベクトルを２軸、マーカの中心位置から法線方向の１軸で、局所的（ローカル）な３次元座標を規定する３軸を規定しているものとする。

また、撮像した画像中の１つの位置検出用マーカのサイズ、形状及び画像上の位置と、予めサーバ２００に記憶されているマーカのサイズとを比較することでも、ＨＭＤ１０１とマーカとの相対的な位置・姿勢を特定することが可能である。相対位置・姿勢の特定方法は、例えば特開２０１３−６１８７０号公報に記載されている公知の技術を用いる。

仮想オブジェクト配置用マーカとは、仮想オブジェクトを表示する位置を特定するために用いられるマーカである。サーバ２００及びクライアントＰＣ１００のＣＰＵ２０１は、当該仮想オブジェクト配置用マーカが検出された際、当該仮想オブジェクト配置用マーカが存在する位置（正確には後述するように当該仮想オブジェクト配置用マーカの重心位置からオフセットを持つ位置）に仮想オブジェクトを表示するための処理を行う。例えば、３次元モデルを当該オフセットの示す仮想空間上の位置に配置する処理を行う。

仮想オブジェクトとは、仮想空間上に配置された３次元モデル（３次元ＣＡＤデータ、３Ｄモデル、ＣＧ等とも呼ぶ）のことである。尚、３次元モデルのデータはサーバ２００及びクライアントＰＣ１００の外部メモリ上に、当該３次元モデルを仮想空間上のいずれの位置にどのような姿勢で配置するかを示す位置姿勢の情報と対応付けられて記憶されている。

仮想オブジェクト配置用マーカの中心位置の座標を｛Ｘｖ，Ｙｖ，Ｚｖ｝とし、３次元モデルのデータ中の基準座標を｛Ｘｉ，Ｙｉ，Ｚｉ｝（ここで、ｉ＝０，１，２，・・・）と定義したとき、距離Ｌは次式で得られる。
Ｌ＝｛（Ｘｖ−Ｘｉ）２＋（Ｙｖ−Ｙｉ）２＋（Ｚｖ−Ｚｉ）２｝１／２

ここで、ｉを変化させた際の最小の距離Ｌを、仮想オブジェクト配置用マーカと仮想オブジェクト配置用マーカの位置に応じて配置する３次元モデルとの距離とした。なお、上記では距離を計算する際に、最終的に平方根を求めたが、大小の判定で良いのであれば、平行根を求める必要な無く、座標の差分の二乗和を算出しても構わない。

なお、上記式では、仮想オブジェクト配置用マーカの中心位置＝仮想オブジェクトの中心位置とした場合である。先に説明したように、仮想オブジェクトの配置される位置は、仮想オブジェクト配置用マーカの中心位置に対し、「位置」で示されるオフセットが与えられる。

なお、マーカに埋め込めるビット数にもよるが、位置検出用マーカと仮想オブジェクト配置用マーカを兼ねるマーカを定義しても構わない。

＜第２の実施形態＞
図１３〜図１６を参照して、本発明の第２の実施形態について説明する。なお、第１の実施形態と共通する処理については記載・説明を省略する。

第２の実施形態においては、体験者が現実物体である対象物に着目していたかを容易に特定できる仕組みを提供することを目的とする。

なお、第２の実施形態においては、どの位置の現実物体が着目されていたかを３次元空間上で容易に確認させることができる。

また、現実物体に着目していた際のＨＭＤの位置姿勢を、３次元空間上で容易に表示させることができる。

図１３を参照して、本発明の第２の実施形態における、現実物体とＨＭＤの位置関係の特定処理について説明する。

サーバ２００のＣＰＵ２０１は、図９の処理及び図４のＨＭＤ１０１の位置姿勢のロギングと平行して実行する。例えばＨＭＤ１０１の位置姿勢の計測・特定処理の開始指示（例えばユーザ操作）を受け付けることで図１３の処理を開始し、実行する。

サーバ２００のＣＰＵ２０１は、ステップＳ９０４で取得した最新の現実画像（撮像画像）をメモリから取得する。

サーバ２００のＣＰＵ２０１は、当該現実画像を解析して、物体認識処理を行う。具体的には、当該画像に写る被写体（物体）を認識し、当該認識した物体の情報を外部メモリに記憶する。具体的には、図１５の物体情報１５００に示す情報を記憶する。

ここでいう物体認識処理とは画像上の物体の認識であり、画像上の物体の輪郭の認識、画像上の当該物体が存在する座標（輪郭で囲われた領域）の認識、当該物体が何である（どのような名称の物体か）を認識して特定する処理を指すものとする。

物体認識は公知の技術を用いて実行する。例えば、Ｏｂｊｅｃｔｎｅｓｓ手法を用いて画像を複数に分割して顕著度、エッジ、色や場所を基としたスコア付けを行い、スコアが高い部分が物体領域として認識する。つまり、画像上の物体の輪郭（物体を囲う領域）の認識、画像上の当該物体が存在する座標の認識を行う。その後、サーバ２００のＣＰＵ２０１が、外部メモリに予め記憶されている物体名とその物体の特徴量を対応付けた辞書データを用いて、認識した領域内の物体が何か（どのような名称の物体か）を特定する。

なお、上述した物体認識の手法はあくまで一例であり、物体の輪郭、物体の存在する画像上の領域、物体が何であるかの認識ができればどのような手法を用いてもよい。例えば、ＣＰＭＣ（Ｃｏｎｓｔｒａｉｎｅｄ Ｐａｒａｍｅｔｒｉｃ Ｍｉｎ−Ｃｕｔｓ）の手法を用いてもよい。また、Ｒ−ＣＮＮ（Ｒｅｇｉｏｎｓ ｗｉｔｈ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）の技術を用いてもよい。

図１５の物体情報１５０１は、現実画像を撮像した、現実画像の送信元のＨＭＤ１０１のＨＭＤ ＩＤ１５０１の画像を撮像した日時１５０２ごとに記憶される。物体ＩＤ１５０３は、認識した物体ごとにサーバ２００のＣＰＵ２０１が付与する一意の値であり、物体の識別情報である。物体名１５０４は、サーバ２００に予め記憶されている物体名とその物体の特徴量を対応付けた辞書データを用いてサーバ２００のＣＰＵ２０１が推測して記憶する物体の名称である。領域１５０５は、当該物体が存在する画像上の領域を示す情報である。具体的には、領域を示す外形線の頂点座標の集合である。

相対位置１５０６及び相対姿勢１５０７は、日時１５０２におけるＨＭＤ１０１の位置姿勢と物体ＩＤ１５０３の物体との相対的な位置姿勢である。

物体位置１５０８及び物体姿勢１５０９は、日時１５０２におけるＨＭＤ１０１の位置姿勢と前記相対位置１５０６及び相対姿勢１５０７から求められる、物体ＩＤ１５０３の物体の３次元空間上におっける絶対位置であり姿勢である。

なお、物体ＩＤは物体ごとに付与するものであるため、例えば、新たに撮像された現実画像に、過去に撮像されたことのある現実物体が含まれている場合は、物体ＩＤは同じとする。

サーバ２００のＣＰＵ２０１は、新たに撮像された現実画像内の現実物体の物体名及び外部メモリに記憶した当該物体の画像と、過去に撮像されたことのある現実物体の物体名及び外部メモリに記憶した当該物体の画像との類似度が閾値（例えば９０％）以上の場合に、これらの現実物体が同じものであると判断、決定する。

物体認識の様子を図１６の１６００に示す。１６００、１６１０、１６２０は現実画像である。１６０１はマーカである。マーカも現実物体の１つである。１６０２は、マーカを検出した領域（１５０５）である。１６０３は机である。１６０４は、現実物体である机を検出した領域（１５０５）である。

サーバ２００のＣＰＵ２０１は、処理中の現実画像上における各現実物体の輪郭線を取得し、当該輪郭線によって囲われる領域を現実物体の写る領域として特定する。また、当該領域の画像上のＸＹ座標を、領域１５０５に記憶する（ステップＳ１３０１）。

具体的には、当該領域の輪郭線上の複数の点（矩形の場合は頂点）のＸＹ座標を記憶することで、隣接する当該複数の点同士を繋げることでできる領域を現実物体の写る領域とする。

サーバ２００のＣＰＵ２０１は、ＨＭＤ１０１から認識した各現実物体までの距離を特定する。具体的には、ＨＭＤ１０１に設置されている不図示の深度センサ（例えば赤外線デプスセンサ）を用いて、認識された各現実物体とＨＭＤ１０１との距離を測定する（ステップＳ１３０２）。

例えば、赤外線の高速光源と、距離画像データを取得するためのカメラ（ＣＭＯＳイメージセンサ）を用い、照射した光がターゲットである物体に当たって戻る時間を画像の画素ごとにリアルタイムで測定することで、画素ごとの物体との距離を測定可能である。

当該測定処理は、３次元空間においてＨＭＤ１０１から各現実物体が、ＸＹＺ軸方向にどの程度は離れているかを特定する処理であり、各現実物体とＨＭＤ１０１との相対的な位置関係を特定して相対位置１５０６に記憶する処理である。

なお、ＨＭＤ１０１に搭載された各カメラ装置と深度センサとの相対位置の情報は予めキャリブレーションにより外部メモリに記憶されているものとする。測定する距離の基準となる位置は、キャリブレーションによって予め設定されているＨＭＤ１０１の位置と、各現実物体の領域１５０５の中心位置とする。

なお、物体との距離測定の方法は必ずしも深度センサによらずともよい。例えばＨＭＤ１０１に設置された２つのカメラを使って三角測量を行い、物体までの距離、物体との位置関係を特定するようにしてもよい。

サーバ２００のＣＰＵ２０１は、光学センサによって得たＨＭＤ１０１の絶対位置及び姿勢と、深度センサで計測したＨＭＤ１０１と各現実物体の３次元空間上の相対位置の情報を用いて、３次元空間上の各現実物体の絶対位置を特定する。当該絶対位置の情報を物体位置１５０８に記憶する。

特定した各現実物体の絶対位置と同じ仮想空間上の位置に、各現実物体の姿勢を示す座標系を設定することで、各現実物体の姿勢を決定する。当該姿勢の情報としては、ＸＹＺ軸それぞれの所定の回転角度を採用し、当該現実物体の３次元空間上における絶対的な姿勢として物体姿勢１５０９に記憶する。

サーバ２００のＣＰＵ２０１は、当該ＨＭＤ１０１の姿勢と、物体姿勢１５０９の値を用いて、ＨＭＤ１０１と各現実物体との相対的な姿勢を求め、相対姿勢１５０７に記憶する。

なお、現実物体がマーカである場合は、先に説明した位置検出用マーカを用いたＨＭＤ１０１の位置姿勢計測の手法を用いて、当該マーカとＨＭＤ１０１の相対的な位置・相対的な姿勢を特定する。つまり、ＨＭＤの位置を原点（ＸＹＺ座標＝０，０，０）とし、回転角度を０（ＸＹＺ軸方向への回転角度＝０，０，０）とした場合における、マーカの位置姿勢を特定して記憶する。

サーバ２００のＣＰＵ２０１は、視線方向の先にある物体を特定する（ステップＳ１３０３）。ここでは解析に用いている画像が現実画像であるため、視線方向の先にある物体は現実物体である。

例えば、図１６に示すように、ＨＭＤ１０１のディスプレイ（ディスプレイに表示する画像）の中央位置１６１１（着目点を示すカーソル１６１１）と領域１５０５（図１６における１６０２及び１６０４）から、中央位置に表示されている現実物体を特定し、当該現実物体を視線方向の先にある物体として特定する。

１６１０の例においては、視線方向の先にある現実物体としてマーカが特定される。また、１６２０の例においては、視線方向の先にある現実物体として机が特定される。

サーバ２００のＣＰＵ２０１は、着目履歴１５１０をメモリ上に生成して、ステップＳ１３０１〜Ｓ１３０３で特定した、日時１５０２の時点でユーザが着目していた（着目中だった）現実物体の物体情報１５００を、着目履歴１５１０にコピーして記憶する（ステップＳ１３０４）。

着目履歴１５１０は、着目された物体の物体情報のリストであり、いつどの物体がユーザによって着目されていたかを示す履歴（ログ）である。なお、着目履歴１５１０の各項目、そこに記憶されている情報は物体情報１５００と同じであるため説明は割愛する。

サーバ２００のＣＰＵ２０１は、ステップＳ１３０１〜Ｓ１３０４の処理を、図４で説明した位置姿勢計測の終了の指示（例えばユーザからの操作）を受け付けるまで繰り返し実行する。

そして、位置姿勢計測の終了の指示を受け付けた場合、サーバ２００のＣＰＵ２０１は、計測開始から終了までに記憶した着目履歴１５１０を、図４のステップＳ４０３で出力するログファイルの中に含めて記憶する。以上が図１３の説明である。

次に図１４を参照して、本発明の第２の実施形態における、現実物体にかかるログの解析処理の流れについて説明する。

サーバ２００のＣＰＵ２０１は、図５のステップＳ５０４で、ステップＳ５０１で選択して読み込んだログファイルの中の、ＨＭＤ位置姿勢ログ７１０の１レコードと、当該レコードの日時７１２と同じ日時を日時１５１２に持つ着目履歴１５１０を読み出す。

サーバ２００のＣＰＵ２０１は、図５のステップＳ５０６で、解析対象のオブジェクトが視線の先にないと判定した場合に図１４の処理を開始する。

サーバ２００のＣＰＵ２０１は、ステップＳ５０４で読み出した着目履歴１５１０を参照して、ユーザが着目していた現実物体があったか判定する（ステップＳ１４０１）。ユーザが着目していた現実物体がなかった場合は処理を図５のステップＳ５０９に移行する。

ユーザが着目していた現実物体があった場合は、当該現実物体を着目対象のオブジェクト（物体）として決定する（ステップＳ１４０２／着目物体特定手段に該当）。ここではランキング情報７３０のモデル名７３２に当該現実物体の物体ＩＤを挿入して記憶する処理を行う。この時点での着目時間７３３は０である。

また、ステップＳ５０４で取得したＨＭＤ位置姿勢ログ７１０の現在処理中のレコードの直後のレコードを取得し、そのレコードの日時７１２を取得して、処理中のレコードの日時７１２から当該次のレコードの日時７１２までの時間を、ユーザが当該現実物体に着目していた着目時間として７３３に加算する（ステップＳ１４０３）。そして処理をステップＳ５０９に移行する。以上が図１４の説明である。

サーバ２００のＣＰＵ２０１は、図６のステップＳ６０４の処理を実行することで現実物体及び仮想物体にかかる解析結果の仮想オブジェクトを生成する。なお、現実物体に対応する解析結果の情報を示す仮想オブジェクトの位置姿勢については、ステップＳ６０５で、当該現実物体の物体位置１５０８から所定距離離れた位置及び所定の姿勢（現実物体の位置から所定のオフセット値を適用したＸＹＺ座標・姿勢）に決定して位置７４３、姿勢７４４に記憶するものとする。また、モデル名７４５には、当該現実物体の物体ＩＤを挿入して記憶する。

サーバ２００のＣＰＵ２０１は、ステップＳ６０７の処理を実行することで、現実物体及び仮想物体にかかる解析結果の仮想オブジェクト（例えば図１２の１２０２）を、ＨＭＤ１０１の位置姿勢に応じて表示可能である。

また、サーバ２００のＣＰＵ２０１は、図１０のステップＳ１００１において、現実物体（モデル名７４５に記憶されている物体ＩＤの物体）に対応付けて表示されている解析結果表示用の仮想オブジェクト（解析結果モデル名７４２のモデル／解析結果オブジェクト）の選択を受け付けることで、ステップＳ１００３において当該現実物体にかかる選択ボタンを表示する。解析結果オブジェクトは、物体へのユーザの着目度を示す着目度オブジェクトである。

そして、ステップＳ１００７で、ログファイル内の着目履歴１５１０から、選択中の仮想オブジェクトに対応する現実物体（物体ＩＤ）の全てのレコードを抽出する。

ステップＳ１００８において、当該現実物体に着目していた各日時７１２におけるＨＭＤ１０１の位置７１３、姿勢７１４を読み出して、日時７１２ごとに、当該現実物体にユーザが着目していた時点のＨＭＤの位置を示す仮想オブジェクト（図１２でいう１２０２）を生成する。

そして、各仮想オブジェクト１２０２（解析結果オブジェクト１２０２）の位置を、各日時におけるＨＭＤ１０１の位置７１３に決定して記憶する。つまり、図１２に示すように、各レコードの日時７１２の示す位置に、複数の仮想オブジェクト１２０２をそれぞれ配置する処理を行う（ステップＳ１００８）。

なお、矢印型の仮想オブジェクトを生成して、図１２の１２１０に示すように、ＨＭＤ１０１の各日時７１２の位置７１３を始点として、当該現実物体にユーザが着目していた時点のＨＭＤの視線方向を示す、現実物体上の着目点（終点）まで伸ばすよう形状変更および位置決定するようにしてもよい。

以上説明したように、本発明の第２の実施形態によれば、体験者が現実物体である対象物に着目していたかを容易に特定できる仕組みを提供することができる

また、どの位置の現実物体が着目されていたかを３次元空間上で容易に確認させることができる。

また、現実物体に着目していた際のＨＭＤの位置姿勢を、３次元空間上で容易に表示させることができる。

＜第３の実施形態＞

図１７〜１９を参照して、本発明の第３の実施形態について説明する。なお、第１の実施形態及び第２の実施形態と共通する処理については記載・説明を省略する。

第３の実施形態においては、ＨＭＤの３次元空間上の絶対位置・姿勢が特定できない状態であっても、体験者が対象物に着目していたかを容易に特定できる仕組みを提供することができる。

まず図１７を参照して、本発明の第３の実施形態における、物体同士の相対的な位置姿勢の記憶処理の流れについて説明する。

サーバ２００のＣＰＵ２０１は、拡張現実の表示処理開始指示（例えばサーバ２００に対するユーザ操作）を受け付けることで図１７の処理を開始し、拡張現実の表示処理の終了指示（例えばユーザ操作）を受け付けるまでステップＳ１７０１〜Ｓ１７２０の処理を繰り返し実行する。

サーバ２００のＣＰＵ２０１は、ＨＭＤ１０１から受信した最新の画像をＲＡＭ上に読み出して（ステップＳ１７０１）、当該現実画像を解析し、当該画像に写る物体の認識処理及び認識した物体の情報を記憶する処理を行う（ステップＳ１７０２）。

具体的には、図１３の説明で前述した手法を用いて画像上の物体（被写体）の輪郭の認識、画像上の当該物体が存在する座標（領域）の認識、当該物体が何か（どのような名称の物体か）の認識処理を行う。また、図１３のステップＳ１３０４で説明したように、当該認識をした情報を対応付けて、図１５の１５００に記憶する。

サーバ２００のＣＰＵ２０１は、ステップＳ１７０１で読み出した画像の中に、拡張現実の仮想オブジェクト表示用の登録画像（例えば、仮想オブジェクト配置用マーカ）を検出したか判定する（ステップＳ１７０３）。登録画像は例えば登録画像情報１９００に予め記憶されている。

登録画像情報１９００は、サーバ２００の外部メモリ２１１に予め記憶されている。画像ＩＤ１９０１は、登録画像の識別情報である。モデル名１９０２は、登録画像に対応する仮想オブジェクトを示す。

モデル名１９０２の仮想オブジェクトは、拡張現実感の技術を用いて、カメラで撮像した現実画像に含まれている登録画像の大きさ、画像上の位置、姿勢に基づいて、当該登録画像の中心位置から位置１９０３の分だけＸＹＺ方向に離れた位置に、姿勢１９０４の示す姿勢で配置される。

登録画像を検出した場合には処理をステップＳ１７０４に移行し、図１３のステップＳ１３０２の説明で上述した手法を用いて、当該登録画像とＨＭＤ１０１との相対的な位置、相対的な姿勢を算出する（ステップＳ１７０４）。

サーバ２００のＣＰＵ２０１は、当該登録画像の現実画像上の形状、大きさ、方向に基づいて、当該登録画像に対応するモデル名１９０２の仮想オブジェクトの画像を生成し（ステップＳ１７０５）、当該仮想オブジェクトを表示（重畳）する現実画像上の領域（座標）を特定して記憶する（ステップＳ１７０６）。

例えば、生成した仮想オブジェクトの画像に付与したＩＤと、表示領域の座標を、図１９の仮想オブジェクト画像情報１９１０における画像ＩＤ１９１１と領域１９１２に記憶する。

領域１９１２には、画像ＩＤ１９１１の画像の外形の輪郭線上の点座標（ＸＹ座標）を複数記憶する。隣接する当該複数の点同士を繋げることでできる領域を画像ＩＤ１９１１の示す仮想オブジェクトの画像を重畳する領域とする。

また、モデル名１９１３には、画像ＩＤ１９１１の仮想オブジェクトの画像が、モデル名１９１３の示す仮想オブジェクトの画像であることがわかるように、当該仮想オブジェクトの名称を記憶する。

サーバ２００のＣＰＵ２０１は、現実画像に当該仮想オブジェクトの画像を重ね合わせて合成したＡＲ画像（重畳画像／拡張現実画像）を生成し、ＨＭＤ１０１に送信することで、当該拡張現実画像をＨＭＤ１０１に表示する（ステップＳ１７０７）。

サーバ２００のＣＰＵ２０１は、ＨＭＤ１０１のユーザの視線方向を特定する（ステップＳ１７０８）。視線方向の特定手法は、図１３のステップＳ１３０３で説明した手法を用いるものとする。

サーバ２００のＣＰＵ２０１は、当該視線方向から、ステップＳ１７０７で表示した仮想オブジェクトにユーザが着目しているか判定する（ステップＳ１７０９）。ここではＨＭＤの向いている方向＝視線方向であるため、例えば、ＡＲ画像の中央位置に前記仮想オブジェクトの領域１９１２がある場合に、当該領域に表示されている仮想オブジェクトに着目していると判定する。

当該仮想オブジェクトに着目していると判定された場合、処理をステップＳ１７１０に移行し、仮想オブジェクトに着目していないと判定された場合処理をステップＳ１７１３に移行する。

ステップＳ１７１０において、サーバ２００のＣＰＵ２０１は、オブジェクト上の、ユーザが着目していた点（３次元上着目点／ＸＹＺ座標）を特定する（ステップＳ１７１０）。

サーバ２００のＣＰＵ２０１は、現実画像を撮像したＨＭＤと撮像日時、当該現実画像においてユーザが着目していた仮想オブジェクトのモデル名と、仮想オブジェクト上の着目点、着目していた時点のＨＭＤ１０１と登録画像との相対位置・相対姿勢を特定して、図１９に示す仮想オブジェクト着目履歴１９２０に記憶する（ステップＳ１７１１／ステップＳ１７１２）。

具体的には、メモリ上に仮想オブジェクト着目履歴１９２０を生成する。そして、ステップＳ１７０１で読み出した画像を撮像した、当該画像の送信元のＨＭＤ１０１のＨＭＤ ＩＤを、ＨＭＤ ＩＤ１９２１に記憶する。ステップＳ１７０１で読み出した現実画像の撮像日時を日時１９２２に記憶する。

モデル名１９２３に、着目していた仮想オブジェクトのモデル名を記憶し、相対位置１９２４、相対姿勢１９２５にはそれぞれＨＭＤ１０１とモデル名１９２３に記憶した仮想オブジェクトとの相対位置、相対姿勢の情報を記憶する。

また、仮想オブジェクト上の着目点（ＸＹＺ座標）の情報を、着目点１９１６に記憶する。

ステップＳ１７１３で、サーバ２００のＣＰＵ２０１は、当該視線方向から、ユーザが登録画像に着目しているか判定する（ステップＳ１７１３）。つまり、視線方向の先に登録画像があるか判定する。

登録画像に着目していると判定された場合、処理をステップＳ１７１４に移行する。サーバ２００のＣＰＵ２０１は、ステップＳ１７１４で、３次元空間における登録画像上の着目点（ＸＹＺ座標）を特定する。ディスプレイの中心点座標の画素について、深度センサを用いて特定した、現事物体までの距離を取得し、ＨＭＤ１０１との位置関係を特定することができる。

サーバ２００のＣＰＵ２０１は、現実画像を撮像したＨＭＤと撮像日時、当該現実画像においてユーザが着目していた登録画像の画像ＩＤと、登録画像上の着目点、着目していた時点のＨＭＤ１０１と登録画像との相対位置・相対姿勢を特定して、図１９に示す現実物体着目履歴１９３０を生成して記憶する（ステップＳ１７１４）。

具体的には、ステップＳ１７０１で読み出した画像を撮像した、当該画像の送信元のＨＭＤ１０１のＨＭＤ ＩＤを、ＨＭＤ ＩＤ１９３１に記憶する。ステップＳ１７０１で読み出した現実画像の撮像日時を日時１９３２に記憶する。

物体ＩＤ１９３３に、着目していた登録画像の画像ＩＤを記憶し、物体名１９３４には、当該登録画像の名称を記憶する。ここでは登録画像＝マーカであるものとして、「マーカ」と記憶する。

物体画像１９３５には、当該登録画像（画像イメージ）を記憶する。ＨＭＤ相対位置１９３６、ＨＭＤ相対姿勢１９３７にはそれぞれＨＭＤ１０１と物体ＩＤ１９３３に記憶した登録画像との相対位置、相対姿勢の情報を記憶する。

また、仮想オブジェクト上の着目点（ＸＹＺ座標）の情報を、着目点１９３８に記憶する。

ステップＳ１７１３で、登録画像に着目していないと判定された場合に、処理をステップＳ１７１６に移行する。ステップＳ１７１６では、ユーザが登録画像以外の現実物体に着目しているか判定する。つまり、視線方向の先に登録画像以外の現実物体があるか判定する（ステップＳ１７１６）。

登録画像以外の現実物体に着目していると判定された場合、ＨＭＤ１０１と当該現実物体との相対的な位置・姿勢を特定する（ステップＳ１７１７）。

また、視線の先にある現実物体に物体ＩＤを付与し、着目した現実物体の履歴として、現実物体着目履歴１９３０の１９３３に記憶する。また、ＨＭＤとの相対位置姿勢を１９３６及び１９３７に記憶する。

物体名１９３４を推測し、記憶する。また、物体画像１９３５に、当該現実物体の画像を切り出して記憶する。ＨＭＤ ＩＤ１９３１は、ステップＳ１７０１で読み込んだ現実画像を撮像したＨＭＤのＩＤである。日時１９３２は、当該現実画像の撮像日時である。

また、現実画像上で最も大きい登録画像を特定して（ステップＳ１７１８）、当該登録画像と当該現実物体との相対的な位置姿勢の関係を特定する（ステップＳ１７１９）。

当該登録画像と現実物体の相対的な位置姿勢は、当該登録画像とＨＭＤ１０１の相対的な位置姿勢の情報、及び、当該現実物体とＨＭＤ１０１の相対的な位置姿勢の情報を用いて算出する。

また、当該登録画像のＩＤを登録画像ＩＤ１９３９に記憶し、当該登録画像と着目中の現実物体の相対位置（ＸＹＺ軸方向それぞれの距離）と、相対姿勢の値を登録画像相対位置１９４０、登録画像相対姿勢１９４１に記憶する（ステップＳ１７２０）。

サーバ２００のＣＰＵ２０１は、拡張現実画像の表示処理の終了指示を受け付けた場合、拡張現実画像の表示処理開始から終了までの間に記憶された仮想オブジェクト着目履歴１９２０と現実物体着目履歴１９３０の情報を合わせて、ログファイルとして外部メモリ２１１に出力して記憶する（Ｓ１７２１）。以上が図１７の説明である。

図１７の説明によれば、ＨＭＤと物体（仮想オブジェクト又は現実物体）との相対的な位置姿勢を特定して記憶することができる。

また、現実物体同士（登録画像と登録画像以外の現実物体）の相対的な位置姿勢を特定して記憶することができる。

サーバ２００のＣＰＵ２０１は、図５及び図１４のログ解析の処理を実行する。ステップＳ５０４においては、ログファイル内の仮想オブジェクト着目履歴１９２０、及び現実物体着目履歴１９３０のレコードのうち未処理のレコードを１つ取得する。

ステップＳ５０９では、ログファイル内の仮想オブジェクト着目履歴１９２０、及び現実物体着目履歴１９３０の全てのレコードを処理済みか判定し、未処理のレコードが有る場合には処理をステップＳ５０４に戻す。全てのレコードを処理済みの場合は処理をステップＳ５１０に移行する。

次に図１８を参照して、本発明の第３の実施形態における、解析結果の出力処理の流れについて説明する。

サーバ２００のＣＰＵ２０１は、ログ解析結果の表示指示（例えばユーザ操作）を受け付ける（ステップＳ１８０１）。例えば、サーバ２００の外部メモリに記憶されている解析結果のファイルの選択を受け付け、サーバ２００の不図示の表示画面において解析結果の表示ボタンの押下を受け付けることで、当該解析結果ファイルの示す解析結果の表示指示を受け付けるものとする。ここでいう解析結果ファイルとは図７に示すランキング情報７３０である。

サーバ２００のＣＰＵ２０１は、ＨＭＤ１０１のカメラによって撮像され受信・記憶している最新の現実画像を取得し（ステップＳ１８０２）、当該現実画像の中に登録画像が含まれているか判定する（ステップＳ１８０３）。つまり、ＨＭＤ１０１が登録画像を撮像中か判定する。

現実画像の中に登録画像が含まれている場合、サーバ２００のＣＰＵ２０１は、ステップＳ１８０１で選択された解析結果のファイル（ランキング情報７３０に示す情報を持つファイル）をメモリ上に読込み（ステップＳ１８０４）、読み込んだ解析結果の情報を１つ取得する（未処理のランキング情報７３０のレコードをランキングが高い順に取得する／ステップＳ１８０５）。

サーバ２００のＣＰＵ２０１は、取得した解析結果の情報を示す仮想オブジェクトを生成して（ステップＳ１８０６）、当該仮想オブジェクトの位置姿勢を決定して（ステップＳ１８０７）、外部メモリ２１１に記憶する。

解析結果の情報を示す仮想オブジェクトの位置姿勢は、当該仮想オブジェクトに対応するモデル名７３２が仮想オブジェクトを示す場合（つまり、仮想オブジェクトの着目度合いを示す仮想オブジェクトの場合には）、モデル名７３２が示す当該仮想オブジェクトの位置姿勢を基準として、所定距離だけ離れた位置及び姿勢に決定する。

モデル名７３２が現実物体を示している場合（つまり、マーカ又はその他の現実物体に対応する仮想オブジェクトの場合には）、モデル名７３２が示す現実物体の位置姿勢を基準として、所定距離はなれた位置及び姿勢に決定する。

基準とする現実物体の位置姿勢は、当該現実物体がマーカ（登録画像）である場合には、ＨＭＤ１０１で撮像した画像に写るマーカの大きさや角度から特定可能な、ＨＭＤ１０１からの相対位置姿勢であるものとする。

また、当該現実物体がマーカ以外の現実物体である場合には、ステップＳ１７２０で当該現実物体と対応付けて記憶した登録画像の位置から、登録画像相対位置１９４０だけ離れた、登録画像相対姿勢１９４１によって示される姿勢を、当該現実物体の位置姿勢とする。

また、図７の解析結果モデル情報７４０に示すように、ステップＳ１８０１で選択された解析結果に対応するログＩＤをログＩＤ７４１に持つ解析結果モデル情報を生成する。

そして、解析結果モデル名７４２に生成した解析結果を示す仮想オブジェクトのファイル名を挿入し、モデル名７４５に、ユーザが着目していた解析対象のモデル名又は登録画像の画像ＩＤ又は現実物体の物体ＩＤを挿入し、当該モデル名７４５の仮想オブジェクト、又は現実物体の位置・姿勢を基準として、当該位置・姿勢所定の位置姿勢の値を位置７４３、姿勢７４４に挿入して記憶する（ステップＳ１８０７）。

サーバ２００のＣＰＵ２０１は、ステップＳ１８０４で取得したファイル内の全ての解析結果（ランキング情報７３０内の全てのモデル）に対してステップＳ１８０５〜Ｓ１８０７の処理を実行済みか判定する（ステップＳ１８０８）。

未実行の場合には処理をステップＳ１８０４に戻して未処理の解析結果を取得する。実行済みの場合には、処理をステップＳ１８０９に移行する。

サーバ２００のＣＰＵ２０１は、ステップＳ１８０２で読み出した最新の画像に含まれる登録について、図１７のステップＳ１７０４〜Ｓ１７０７で説明した処理を実行することで、当該登録画像に対応付けられた仮想オブジェクトのＡＲ画像（拡張現実画像／重畳画像）を生成して、ＨＭＤ１０１に出力・表示させる。つまり、着目対象の物体の識別表示処理を行う。以上が図１８の説明である。

また、図１０のステップＳ１００７において、ステップＳ１００１で選択された仮想オブジェクトに着目中のＨＭＤ１０１の位置姿勢のレコードを、表示中の解析結果オブジェクトに対応するログファイルから取得する。つまり、選択中の仮想オブジェクトとＨＭＤ１０１の相対的な位置姿勢の情報を取得する。

そして、選択中の当該仮想オブジェクトの位置姿勢を基準として、日時１９２２ごとに、当該仮想オブジェクトにユーザが着目していた時点のＨＭＤの位置を示す仮想オブジェクト（図１２でいう１２０２）を生成する。

具体的には、当該解析結果オブジェクトの位置姿勢を、当該仮想オブジェクトの位置姿勢（登録画像の位置姿勢を基準とし場合の、相対位置１９２４、相対姿勢１９２５の示す位置）を基準として所定距離だけ離れた位置及び姿勢に決定し、記憶する（ステップＳ１００８）。

また、図１０のステップＳ１００１において、現実物体に対応付けて表示されている解析結果表示用の仮想オブジェクトの選択を受け付けることで、ステップＳ１００３において当該現実物体にかかる選択ボタンを表示する。そして、ステップＳ１００７で、現実物体着目履歴１９３０の日時１９３２ごとに、当該現実物体に対応する解析結果オブジェクトを生成する。

そして、各解析結果表示オブジェクトの位置姿勢を、日時１９３２ごとの、ＨＭＤ１０１の位置姿勢に決定する。当該ＨＭＤ１０１の位置姿勢は、現実物体着目履歴１９３０の各レコードにおいて、当該現実物体に対応するＨＭＤ相対位置、ＨＭＤ相対姿勢から特定する。

なお、図１２の１２１０に示すように、ＨＭＤ相対位置、及びＨＭＤ相対姿勢から特定される、当該仮想オブジェクト又は現実物体にユーザが着目していた時点のＨＭＤの視線方向を示す直線（矢印）の仮想オブジェクトを生成して仮想空間に配置すべく位置決定するようにしてもよい。

以上説明したように、本発明の第３の実施形態によれば、ＨＭＤの３次元空間上の絶対的な位置姿勢が特定できない状態において体験者が対象物に着目していたかを、３次元空間上で容易に特定できる仕組みを提供することができる。

尚、上記実施形態は、本発明に係る例であると認識されたい。たとえば、ＨＭＤ１０１の位置姿勢を検出するため、上記実施形態では位置検出用マーカが撮像した視野内に３つは存在するものとして、位置検出用マーカを部屋中に多数張り付けるものとしたが、これによって本発明が限定されるものではない。位置検出用マーカには向きを規定する印があり、位置検出用マーカの座標だけでなく、形状や寸法も既知であれば、撮像した画像の位置検出の歪み、サイズ、印の位置から、１つの位置検出用マーカからだけでもＨＭＤ１０１の位置姿勢を特定できる。

また、現実物体の位置姿勢の特定方法は必ずしも上述した方法に限るものではない。例えば、モデル情報７２０と同じように、予め、物体ＩＤ、位置姿勢、着目フラグ、着目エリアを対応付けて、現実物体の情報として外部メモリに記憶しておく。サーバ２００のＣＰＵ２０１は、ＨＭＤ１０１の視線方向に当該物体ＩＤがある場合、つまり、視線方向の示すベクトルと着目エリアとが交わった場合に、当該着目エリアに対応する現実物体が視線方向の先にあると判定し、当該現実物体を着目対象の現実物体として特定することが可能である。

また、撮像した現実画像の中から同じ姿勢の登録画像を２つ以上検知した場合に、当該２つの登録画像の最も離れた位置にある頂点を線分で結び、それを対角線とした平面を現実物体として認識してもよい。例えば、壁や机の角にマーカを貼り付けている状態を想定する。

この場合、当該面の中央点を当該平面の示す現実物体の位置として決定する。また、当該平面の示す現実物体の姿勢は、当該登録画像の姿勢であるものとする。

また、上記実施形態においては、着目時間の長さで着目殿ランキングを決定したが、例えば着目した回数を着目対象の物体（仮想オブジェクト及び現実物体）ごとに記憶しておき、より回数が多い物体の着目度をより上位にランキングするようにしてもよい。着目回数は、ユーザがある物体に着目し始めてからその物体に着目しなくなるまでを、１回着目していたものとしてカウントして記憶する。

ＨＭＤ１０１はシースルー型の装置であってもよい。シースルー型の場合、ディスプレイが半透明であり、現実画像は表示する必要がないため、例えば現実画像を透過率１００％として、透過率１００％の現実画像の上に透過率０％の仮想オブジェクトの画像を重畳した重畳画像をＨＭＤ１０１に送信して表示させるようにする。

上記実施形態においては、ＨＭＤのディプレイの中心に位置する物体＝着目対象の物体としたが（つまりＨＭＤ１０１の向いている方向の先にある物体を着目対象の物体としたが）、着目対象の物体の特定方法はこれに限るものではない。

例えば、特開２０１０−１９９７８９号公報や、特開２０１６−１２７５８７号公報に記載されているように、ＨＭＤに、ユーザの眼に向けて非可視光を照射する非可視光照射装置、ハーフミラーを設置し、ユーザの眼で反射された非可視光を撮像するカメラを設置して反射光を撮像し、ユーザの眼がディスプレイ上の（表示画面に表示する現実画像上の）どこを見ているのかを特定する公知の技術を用いてもよい。これにより、ＨＭＤ１０１のユーザが画面上の何に着目しているかを特定可能である。

例えば図２１の２１００〜２１２０に示すように、カーソル１６１１をユーザの眼がディスプレイ上のどこを見ているかに応じて移動させることができる。つまり、カーソル１６１１の位置＝ユーザの画像上の着目点である。２１０１は仮想オブジェクトを表示する／している領域である。２１２０はユーザが当該仮想オブジェクトに着目している状態である。

この場合、視線方向＝ＨＭＤ１０１からユーザが着目している物体の３次元空間上の着目点への方向であるものとする。なお、３次元空間において、ユーザが当該現実物体の外面上のどの位置（ＸＹＺ座標の示す点）に着目しているかは、ディプレイに表示された画像上の物体の大きさ、向き、形状及びユーザが当該物体上で着目している点（画像上のＸＹ座標）と、予め外部メモリに記憶されている当該物体の基準の大きさ、向き、形状を用いて算出することができる。

また、解析結果の仮想オブジェクトである７４２は、図８の８１０に示す形状、表示形態に限るものではない。例えば、図２０に示すように、着目対象の物体２００１に着目した着目点ごとに２００２に示すような仮想オブジェクト（解析結果オブジェクト）を生成して、当該仮想オブジェクトの位置を各着目点の位置に決定するようにしてもよい。

ユーザは、２００２に示す仮想オブジェクトが多く配置されている物体ほど、よく着目されていた物体であると確認することができる。つまり、２００２に示す仮想オブジェクトの数によって着目度合いを提示し、確認させることができる。

また、着目点をクラスタリングによって複数のクラスタに分類（複数グループにグルーピング）し、２０１０に示すように、クラスタ内の着目点の数に応じて、例えばヒートマップのように表示すべく、クラスタの示す着目点の色を変化させるようにしてもよい。ユーザは、２１１１等の仮想オブジェクトの色によって、より着目されていた物体を確認することができる。つまり、各物体の着目度合いを提示し、確認させることができる。

また、図１０のステップＳ１００８で位置姿勢を決定した、ＨＭＤ１０１の位置姿勢を示す仮想オブジェクトのそれぞれの位置のクラスタリングを行い、クラスタ内の位置を内包する、当該クラスタを示す仮想オブジェクトを生成して、クラスタの中心位置に配置するようにしてもよい。また、クラスタ内のＨＭＤの位置の数に応じて、クラスタの示す着目点の色を変化させるようにしてもよい。これにより、ユーザは着目対象の物体がどの位置からよく見られていたかを容易に確認できるようになる。

当該ＨＭＤ１０１の位置（ＨＭＤ１０１の位置姿勢を示す仮想オブジェクト）のクラスタリングは、図５の処理において複数のＨＭＤ１０１のログファイルが読み込まれて生成された解析結果を表示中の場合には、複数ユーザの視点（ＨＭＤ１０１の位置）をグルーピングするため、より精度の高い結果を確認することができる

上記実施形態において、解析結果オブジェクト１２０２は球体形状であるが、物体に着目していた際のＨＭＤ１０１の回転状態を確認しやすくすべく、例えばＨＭＤ１０１と同じ形状の仮想オブジェクトを１２０２の代わりとしてもよい。

上記実施形態においてはＭＲ及びＡＲについて説明したが、ＨＭＤ１０１の動きに連動して仮想空間上のカメラの位置姿勢を変更可能なＶＲの分野において、本発明を適用可能なことはいうまでもない。ＶＲで本発明を実施する場合、仮想オブジェクトに対する着目度の特定及び表示を行うものとする。

解析結果の情報は、例えばサーバ２００に接続されたディスプレイにおいて、所定のアプリケーションで開くことで、テキスト情報として表示し、ユーザに閲覧させることができる。

上記実施形態においてはブースのような、物体を陳列する際を例にあげたが、例えば自動車などのデザイン検証において、新しくデザインした自動車の内装、外装のうち、ユーザがどこにどの程度、どこから着目していたかの検証等にも利用可能である。特に部品（物体）が多く組み合わさり、複雑な形状となっている物体について、どの部品がどの程度見られたかを着目点の座標一覧や着目対象の部品の座標一覧で提示するよりは、３次元空間上で、着目された物体に対応付けて着目度を表示した方が、物体ごとの着目度をユーザに容易に確認させることができる。

なお、ＨＭＤ１０１とサーバ２００が一体であり、当該ＨＭＤ１０１とサーバ２００が一体化した筐体が、各フローチャートの全処理を行うことで本発明を実現するよう構成してもよい。

前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムを読出し実行することによっても、本発明の目的が達成されることは言うまでもない。

この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記憶した記録媒体は本発明を構成することになる。

また、プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＥＥＰＲＯＭ、シリコンディスク、ソリッドステートドライブ等を用いることができる。

また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、本発明を達成するためのプログラムをネットワーク上のサーバ、データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。

１０１Ａ ＨＭＤ
１０１Ｂ ＨＭＤ
１０１Ｃ ＨＭＤ
１０２ 光学センサ
１５０ ネットワーク
２００ サーバ

Claims (15)

1. ユーザが装着する表示装置と通信可能な、前記表示装置の３次元空間上の位置姿勢と、３次元空間上の物体の位置を記憶する情報処理装置であって、
   ３次元空間上の前記表示装置の位置及びユーザの視線と前記３次元空間上の物体の位置から、ユーザが着目していた物体を特定する着目物体特定手段と、
   前記着目物体特定手段により特定された、前記ユーザが着目していた物体がどの程度着目されていたかを示す着目度を、前記視線の遷移の情報に基づいて特定する着目度特定手段と、
   前記着目度の表示を前記ユーザが着目していた物体と対応付けて行うべく、前記着目度の表示の位置を、前記特定手段により特定された、着目されていたそれぞれの前記物体に対応する位置となるよう決定する決定手段と、
   前記表示装置の現在の位置姿勢と前記決定手段により決定された前記着目度の表示の位置とに応じて、前記着目度の表示を現実に重ねて表示する画像を生成する画像生成手段と、
   前記画像生成手段により生成された、前記着目度の表示を含む前記画像を前記表示装置に表示させるべく出力する出力手段と、
   を備えることを特徴とする情報処理装置。
2. 前記着目度を示す仮想物体である着目度オブジェクトを生成する着目度オブジェクト生成手段と、
   を備え、
   前記決定手段は、前記着目度オブジェクト生成手段により生成された着目度オブジェクトの位置を、前記特定手段により特定された、着目されていたそれぞれの前記物体に対応する位置となるよう決定し、
   前記画像生成手段は、前記表示装置の現在の位置姿勢と前記着目度オブジェクトの位置に応じて、前記着目度オブジェクトの画像を現実に重ねて表示する画像を生成することを特徴とする請求項１に記載の情報処理装置。
3. 特定手段により特定された前記ユーザが着目していた物体ごとに、前記物体に着目していたユーザの前記表示装置の位置の履歴を対応付けて記憶する対応付け記憶手段と、
   前記物体の指定を受け付けた場合に、前記対応付け記憶手段により記憶された前記物体と前記表示装置の位置の履歴に基づいて、指定を受け付けた前記物体に着目していた間の前記表示装置の位置を示す仮想物体である位置オブジェクトを生成する位置オブジェクト生成手段と、
   前記位置オブジェクト生成手段により生成された前記位置オブジェクトの３次元空間上の位置を、それぞれの位置オブジェクトの示す仮想空間上の位置であって、指定を受け付けた前記物体に着目していた間の前記表示装置の位置となるよう決定する位置決定手段と、
   を備えることを特徴とする請求項１又は２に記載の情報処理装置。
4. 前記物体に着目していたユーザの前記表示装置の姿勢の履歴を、特定手段により特定された前記ユーザが着目していた物体ごとに特定可能に、対応付けて記憶する姿勢対応付け記憶手段と、
   前記物体の指定を受け付けた場合に、前記姿勢対応付け記憶手段により記憶された前記物体と前記表示装置の姿勢の履歴に基づいて、指定を受け付けた前記物体に着目していた間の前記表示装置の姿勢を示す仮想物体である姿勢オブジェクトを生成する姿勢オブジェクト生成手段と、
   前記姿勢オブジェクト生成手段により生成された前記姿勢オブジェクトの３次元空間上の位置姿勢を、指定を受け付けた前記物体に着目していた間の前記表示装置の位置姿勢となるよう決定する位置姿勢決定手段と、
   を備えることを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
5. 前記物体の指定を受け付けた場合に、指定を受け付けた物体を、前記着目物体特定手段により特定された他の物体の位置と入れ替えるための操作部を表示制御する表示制御手段
   と、を備えることを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
6. 前記特定手段により前記ユーザが着目していた物体として特定する対象の物体を記憶する対象物体記憶手段と、
   を備え、
   前記特定手段は、前記対象物体記憶手段に記憶されている、前記特定手段により前記ユーザが着目していた物体として特定する対象の物体のうち、前記ユーザが着目していた物体を特定することを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
7. 前記着目度特定手段は、前記特定手段で特定された物体にユーザが着目していた時間及び、または着目度のランキングを特定し、
   前記画像生成手段は、前記着目度を示す、前記物体に前記ユーザが着目していた時間及び、または着目度のランキングを、現実に重ねて表示する画像を生成することを特徴とする請求項１乃至６のいずれか１項に記載の情報処理装置。
8. 前記画像生成手段は、前記着目度のランキングの上位からの所定数に入る前記物体の前記ランキングに応じて、前記物体を識別表示する画像を生成することを特徴とする請求項７に記載の情報処理装置。
9. 前記特定手段は、複数の前記表示装置の複数のユーザの前記視線の遷移の情報を用いて、前記複数のユーザが着目していた物体が、前記複数のユーザによってどの程度着目されていたかを示す着目度を特定することを特徴とする請求項１乃至８のいずれか１項に記載の情報処理装置。
10. 前記特定手段により特定された物体に、複数の前記表示装置の複数のユーザが着目していた間の、前記複数の表示装置の位置を、３次元空間上の当該位置同士の距離に基づいてグルーピングするグルーピング手段と、
    前記グルーピング手段によりグルーピングされた複数の位置のグループを識別表示すべく制御する表示制御手段と、
    を備えることを特徴とする請求項１乃至９のいずれか１項に記載の情報処理装置。
11. ユーザが装着する表示装置と通信可能な、前記表示装置の３次元空間上の位置姿勢と、３次元空間上の物体の位置を記憶する情報処理装置の制御方法であって、
    ３次元空間上の前記表示装置の位置及びユーザの視線と前記３次元空間上の物体の位置から、ユーザが着目していた物体を特定する着目物体特定工程と、
    前記着目物体特定工程により特定された、前記ユーザが着目していた物体がどの程度着目されていたかを示す着目度を、前記視線の遷移の情報に基づいて特定する着目度特定工程と、
    前記着目度の表示を前記ユーザが着目していた物体と対応付けて行うべく、前記着目度の表示の位置を、前記特定工程により特定された、着目されていたそれぞれの前記物体に対応する位置となるよう決定する決定工程と、
    前記表示装置の現在の位置姿勢と前記決定工程により決定された前記着目度の表示の位置とに応じて、前記着目度の表示を現実に重ねて表示する画像を生成する画像生成工程と、
    前記画像生成工程により生成された、前記着目度の表示を含む前記画像を前記表示装置に表示させるべく出力する出力工程と、
    を含むことを特徴とする情報処理装置の制御方法。
12. ユーザが装着する表示装置と通信可能な、前記表示装置の３次元空間上の位置姿勢と、３次元空間上の物体の位置を記憶する情報処理装置を制御するためのプログラムであって、
    前記情報処理装置を、
    ３次元空間上の前記表示装置の位置及びユーザの視線と前記３次元空間上の物体の位置から、ユーザが着目していた物体を特定する着目物体特定手段と、
    前記着目物体特定手段により特定された、前記ユーザが着目していた物体がどの程度着目されていたかを示す着目度を、前記視線の遷移の情報に基づいて特定する着目度特定手段と、
    前記着目度の表示を前記ユーザが着目していた物体と対応付けて行うべく、前記着目度の表示の位置を、前記特定手段により特定された、着目されていたそれぞれの前記物体に対応する位置となるよう決定する決定手段と、
    前記表示装置の現在の位置姿勢と前記決定手段により決定された前記着目度の表示の位置とに応じて、前記着目度の表示を現実に重ねて表示する画像を生成する画像生成手段と、
    前記画像生成手段により生成された、前記着目度の表示を含む前記画像を前記表示装置に表示させるべく出力する出力手段として機能させるべく制御するプログラム。
13. ユーザが装着する表示装置と、前記表示装置の３次元空間上の位置姿勢と、３次元空間上の物体の位置を記憶する情報処理装置を含む情報処理システムであって、
    ３次元空間上の前記表示装置の位置及びユーザの視線と前記３次元空間上の物体の位置から、ユーザが着目していた物体を特定する着目物体特定手段と、
    前記着目物体特定手段により特定された、前記ユーザが着目していた物体がどの程度着目されていたかを示す着目度を、前記視線の遷移の情報に基づいて特定する着目度特定手段と、
    前記着目度の表示を前記ユーザが着目していた物体と対応付けて行うべく、前記着目度の表示の位置を、前記特定手段により特定された、着目されていたそれぞれの前記物体に対応する位置となるよう決定する決定手段と、
    前記表示装置の現在の位置姿勢と前記決定手段により決定された前記着目度の表示の位置とに応じて、前記着目度の表示を現実に重ねて表示する画像を生成する画像生成手段と、
    前記画像生成手段により生成された、前記着目度の表示を含む前記画像を前記表示装置に表示させるべく出力する出力手段と、
    を備えることを特徴とする情報処理システム。
14. ユーザが装着する表示装置と、前記表示装置の３次元空間上の位置姿勢と、３次元空間上の物体の位置を記憶する情報処理装置を含む情報処理システムの制御方法であって、
    ３次元空間上の前記表示装置の位置及びユーザの視線と前記３次元空間上の物体の位置から、ユーザが着目していた物体を特定する着目物体特定工程と、
    前記着目物体特定工程により特定された、前記ユーザが着目していた物体がどの程度着目されていたかを示す着目度を、前記視線の遷移の情報に基づいて特定する着目度特定工程と、
    前記着目度の表示を前記ユーザが着目していた物体と対応付けて行うべく、前記着目度の表示の位置を、前記特定工程により特定された、着目されていたそれぞれの前記物体に対応する位置となるよう決定する決定工程と、
    前記表示装置の現在の位置姿勢と前記決定工程により決定された前記着目度の表示の位置とに応じて、前記着目度の表示を現実に重ねて表示する画像を生成する画像生成工程と、
    前記画像生成工程により生成された、前記着目度の表示を含む前記画像を前記表示装置に表示させるべく出力する出力工程と、
    を含むことを特徴とする情報処理システムの制御方法。
15. ユーザが装着する表示装置と、前記表示装置の３次元空間上の位置姿勢と、３次元空間上の物体の位置を記憶する情報処理装置を含む情報処理システムを制御するためのプログラムであって、
    前記情報処理システムを、
    ３次元空間上の前記表示装置の位置及びユーザの視線と前記３次元空間上の物体の位置から、ユーザが着目していた物体を特定する着目物体特定手段と、
    前記着目物体特定手段により特定された、前記ユーザが着目していた物体がどの程度着目されていたかを示す着目度を、前記視線の遷移の情報に基づいて特定する着目度特定手段と、
    前記着目度の表示を前記ユーザが着目していた物体と対応付けて行うべく、前記着目度の表示の位置を、前記特定手段により特定された、着目されていたそれぞれの前記物体に対応する位置となるよう決定する決定手段と、
    前記表示装置の現在の位置姿勢と前記決定手段により決定された前記着目度の表示の位置とに応じて、前記着目度の表示を現実に重ねて表示する画像を生成する画像生成手段と、
    前記画像生成手段により生成された、前記着目度の表示を含む前記画像を前記表示装置に表示させるべく出力する出力手段として機能させるべく制御するプログラム。

Images