JP2018013741A - 表示制御プログラム、表示制御装置、及び表示制御方法 - Google Patents

Abstract

【課題】端末装置の表示画面に表示される情報の視認性を高める。【解決手段】一実施形態に係るヘッドマウントディスプレイの表示制御プログラムは、撮像装置により撮像された撮像画像を取得し、取得した撮像画像に特定の端末装置の表示画面が含まれることを検出すると、表示画面と、その表示画面に含まれる画像情報とを対応付けて記憶する記憶部を参照して、検出した表示画面に対応付けられた画像情報を取得し、取得した画像情報を特定の向きでヘッドマウントディスプレイに表示する、処理をコンピュータに実行させる。【選択図】図９

Description

本発明は、表示制御プログラム、表示制御装置、及び表示制御方法に関する。

モバイル端末装置を使用して、顧客に情報を提示することが行われている。そして、例えば、サービス提供者が顧客と対峙して説明を行う場合、モバイル端末装置に情報を表示したのちに、モバイル端末装置を顧客に提示したりすることが行われている。

また、表示画面への表示の利便性を高めるための表示制御技術が知られている。（例えば特許文献１〜３）

特開２０１５−１８４７６２号公報 特開平９−７００３０号公報 特開２０１２−８９３２号公報

しかしながら、例えば、サービス提供者が顧客と対峙して説明を行う場合に、サービス提供者がモバイル端末装置に情報を表示して顧客に提示した後、表示した情報について顧客に説明することがある。例えば、このような場合に、サービス提供者の側から、モバイル端末装置の画面の視認性が悪く、モバイル端末装置を利用しづらいことがある。

そこで、本発明の１つの側面では、端末装置の表示画面に表示される情報の視認性を高めることを目的とする。

態様の一例では、ヘッドマウントディスプレイの表示制御プログラムにおいて、撮像装置により撮像された撮像画像を取得し、取得した撮像画像に特定の端末装置の表示画面が含まれることを検出すると、表示画面と、その表示画面に含まれる画像情報とを対応付けて記憶する記憶部を参照して、検出した表示画面に対応付けられた画像情報を取得し、取得した画像情報を特定の向きでヘッドマウントディスプレイに表示する、処理をコンピュータに実行させる。

端末装置の表示画面に表示される情報の視認性を高めることが可能となる。

第１の実施形態の説明図である。 第２の実施形態の説明図である。 第３の実施形態の説明図（その１）である。 第３の実施形態の説明図（その２）である。 実施形態に係るＨＭＤ表示画面の表示向きの設定の説明図である。 実施形態のハードウェア構成例を示す図である。 モバイル端末装置の表示制御処理の例を示すフローチャートである。 ヘッドマウントディスプレイの表示制御処理の例を示すフローチャートである。 ヘッドマウントディスプレイの表示画面生成処理の詳細例を示すフローチャートである。 画像情報のデータ構成例を示す図である。

以下、本発明を実施するための形態について図面を参照しながら詳細に説明する。
図１は、第１の実施形態の説明図であり、ヘッドマウントディスプレイ１００は、ベルト１０４、カメラ１０２（撮像装置）、透過型のディスプレイ１０３を備え、ベルト１０４によってユーザの頭部１０５に装着される。

例えば保険の商品説明の場面などにおいて、サービス提供者が自身の頭部１０５にヘッドマウントディスプレイ１００を装着し、顧客に例えばタブレット端末であるモバイル端末装置２００のタッチパネルディスプレイを提示しながら、商品説明等を行う。このとき、ヘッドマウントディスプレイのディスプレイには、モバイル端末装置のタッチパネルディスプレイに表示されている画面が表示され、サービス提供者は、このディスプレイの表示画面を見ながら、商品説明等を行える。

図１では、モバイル端末装置２００のタッチパネルディスプレイの表示例と、その表示例に対応するヘッドマウントディスプレイ１００のディスプレイ１０３の表示例が示されている。サービス提供者３０１が顧客３０２の前の例えばテーブル上に置かれているモバイル端末装置２００の方に、ヘッドマウントディスプレイ１００のカメラ１０２を向ける。これにより、ヘッドマウントディスプレイ１００の本体内のＣＰＵ（Central Processing Unit、中央演算処理装置）（後述する図６（ａ）の６０１）は、カメラ１０２により撮像された撮像画像を取得する。そして、ＣＰＵは、その撮像画像にモバイル端末装置２００（特定の端末装置）の表示画面（以下「モバイル表示画面３０４」と呼ぶ）が含まれることを検出すると、そのモバイル表示画面３０４を、ディスプレイ１０３に表示させる。このとき、ＣＰＵは、ディスプレイ１０３に表示される表示画面（以下「ＨＭＤ表示画面３０３」と呼ぶ）として、モバイル表示画面３０４の内容を正面から見られるように特定の向きに表示させたものを出力する。なお、ＨＭＤは、Head Mounted Displayの略称である。ヘッドマウントディスプレイ１００のディスプレイ１０３は透過性を具備して構成される。

サービス提供者３０１が、顧客３０２の前の例えばテーブル上に置かれているモバイル端末装置２００の方に、ヘッドマウントディスプレイ１００のカメラ１０２を向けると、ディスプレイ１０３には、モバイル端末装置２００の外見が透過して見える。ヘッドマウントディスプレイ１００のＣＰＵは、ディスプレイ１０３に透過して見えるモバイル端末装置２００のタッチパネルディスプレイに重ね合わせて、表示画面３０４を正面から見られるように特定の向きに回転して、ＨＭＤ表示画面３０３として表示させる。このように、ヘッドマウントディスプレイ１００のディスプレイ１０３にモバイル表示画面３０４を正面から見た向きに表示させることで、モバイル端末装置２００のモバイル表示画面３０４に表示される情報の視認性を高めることが可能となる。そのため、サービス提供者は、顧客にモバイル端末装置２００を向けた状態でもモバイル端末装置２００のモバイル表示画面３０４に表示される情報を、ヘッドマウントディスプレイ１００のディスプレイ１０３を見て容易に確認することができる。

また、サービス提供者３０１は、ＨＭＤ表示画面上３０３上のボタン３０５等のウィジットを容易に視認しながら、そのウィジットに指を合わせるように、ＨＭＤ表示画面３０３ごしに見えるモバイル端末装置２００のタッチパネルに手を伸ばしてタッチする。ここで、サービス提供者がタッチしたモバイル端末上のタッチパネルのタッチした部分にはボタン３０６は存在しなくてもよい。この場合でもＨＭＤ表示画面３０３上のボタン３０５等のウィジットとモバイル表示画面３０４上のボタン３０６等のウィジットは、対応付けられている。また、ＨＭＤ表示画面３０３上のボタン３０５等の位置がモバイル表示画面３０４上ではどの位置に対応するかを示す位置情報が、ヘッドマウントディスプレイ１００からモバイル端末装置２００に通知されている。そして、モバイル端末装置２００のタッチパネル上で、ＨＭＤ表示画面３０３上のボタン３０５等に対応する位置がタッチされたとする。このとき、例えば、モバイル端末装置２００は、これらの対応関係の情報と位置情報とに基づいて、モバイル表示画面３０４上のボタン３０６等がタッチされた状態を生成する。このように、サービス提供者３０１は、ヘッドマウントディスプレイ１００のディスプレイ１０３に表示されているＨＭＤ表示画面３０３上のウィジットに指を合わせるように、ＨＭＤ表示画面３０３ごしに見えるモバイル端末装置２００のタッチパネルを操作する。これにより、サービス提供者３０１は容易に、対峙する顧客の前のモバイル端末装置２００のタッチパネルを操作できる。そして、これらにより、モバイル表示画面３０４をサービス提供者３０１の方に再度回転させたり、サービス提供者３０１の側から見て反転して見えているモバイル表示画面３０４を操作したりといった操作の煩わしさを回避することが可能となる。

ここで、ヘッドマウントディスプレイ１００のＣＰＵは、モバイル表示画面３０４内のボタン３０６等の特定のウィジットについて、その位置のＨＭＤ表示画面３０３を見たときに左右逆になるように、ボタン３０５等として表示させてもよい。この場合、サービス提供者３０１は、ＨＭＤ表示画面３０３ごしにモバイル表示画面３０４を見たときに、ＨＭＤ表示画面３０３上のボタン３０５等とモバイル表示画面３０４上のボタン３０６等がうまく重ならなくても、モバイル端末のタッチパネルを操作できる。

図２は、第２の実施形態の説明図であり、一例として、生命保険の商品紹介で、顧客３０２へのヒアリングにより、サービス提供者３０１が画面に情報を入力して、商品を絞り込むケースの説明図である。

図２（ａ）に示される例では、モバイル端末装置のディスプレイに表示される表示画面のみをサービス提供者３０１と顧客３０２とで共有している。この場合に、表示画面は顧客から見て正しい方向で見えるように置かれる場合があり、サービス提供者３０１からは、この表示画面の操作項目が逆さまに見えるため、表示画面の視認性が悪く操作が行いづらい。

第２の実施形態では、図２（ｂ）のように、サービス提供者３０１は、モバイル端末装置２００において顧客側に向いて表示されているモバイル表示画面３０４を、正面から見た特定の向きに回転したＨＭＤ表示画面３０３を、ディスプレイ１０３に表示できる。即ち、サービス提供者３０１がヘッドマウントディスプレイ１００のディスプレイ１０３を見たときのＨＭＤ表示画面３０３と、顧客３０２がモバイル端末装置２００のタッチパネルディスプレイを見たときのモバイル表示画面３０４は、同じように見える。

サービス提供者３０１は、ＨＭＤ表示画面３０３に表示される生年月日入力フォームや見積もりボタン等を視認しながら、それらのウィジットに指を合わせるように、ＨＭＤ表示画面３０３ごしに見えるモバイル端末装置２００のタッチパネルを操作する。このとき、図１の第１の実施形態の場合と同様に、ＨＭＤ表示画面３０３上の各ウィジットとモバイル表示画面３０４上の各ウィジットは、対応付けられる。また、ＨＭＤ表示画面３０３上の各ウィジットの位置がモバイル表示画面３０４上ではどの位置に対応するかを示す位置情報が、ヘッドマウントディスプレイ１００からモバイル端末装置２００に通知される。モバイル端末装置２００のタッチパネル上で、ＨＭＤ表示画面３０３上の或るウィジットに対応する位置がタッチされる。上述の位置情報に基づいて、ＨＭＤ表示画面３０３上のタッチされたウィジットに対応するモバイル表示画面３０４上のウィジットが操作された状態が、モバイル端末装置２００において生成される。このようにして図１の第１の実施形態の場合と同様に、サービス提供者３０１は、自然な操作で、対峙する顧客の前のモバイル端末装置２００のタッチパネルを操作できる。また、ヘッドマウントディスプレイ１００を用いてモバイル端末装置２００のモバイル表示画面３０４に表示された情報の視認性を高めることが可能となる。

なお、モバイル表示画面３０４の内容を単純に特定の向きでＨＭＤ表示画面３０３として出力した場合、次のようなことが起こる可能性がある。例えば図３に示す様に、モバイル表示画面３０４の内容を半回転させてＨＭＤ表示画面３０３′として出力した場合、ＨＭＤ表示画面３０３′は、サービス提供者３０１の側から見た場合、「説明文１」は左側に、「説明文２」は右側に配置されて見える。しかしながら、顧客３０２の側からはＨＭＤ表示画面３０３′は「説明文１」が右側に、「説明文２」が左側に配置されることになる。この結果、サービス提供者３０１が、ＨＭＤ表示画面３０３′ごしにモバイル端末装置２００のタッチパネル上のモバイル表示画面３０４を見た場合に、モバイル表示画面３０４上の説明文２がＨＭＤ表示画面３０３′上の説明文１に重なって見えてしまう。同様に、モバイル表示画面３０４上の説明文１がＨＭＤ表示画面３０３′上の説明文２に重なって見えてしまう。そして、例えば、サービス提供者３０１が、ＨＭＤ表示画面３０３′に表示された「説明文１」をヘッドマウントディスプレイ１００のタッチパネルディスプレイ上で指しながら説明を行ったとする。この場合に、顧客が見るモバイル表示画面３０４では「説明文２」が指されてしまうことになり、その結果、顧客がサービス提供者３０１の説明に混乱してしまう恐れがある。そこで、例えば、画面全体の中で、ウィジットの位置を変更せずに、ウィジットごとに回転させることが考えられる。なお、ウィジットは、ユーザからの操作を受け付ける操作部品の一例である。そして、回転の単位は、ウィジットなどの操作部品以外にも、所定の画像領域など、その他の単位で行われてもよい。

図４は、画面全体の中でウィジットの位置は変更せずに、ウィジットごとに回転させる第３の実施形態の説明図である。ヘッドマウントディスプレイ１００のＣＰＵは、モバイル表示画面３０４を正しい方向で見えるように特定の向きでＨＭＤ表示画面３０３として表示させる場合に、モバイル表示画面３０４内の各ウィジットごとに特定の向きに回転させる。ＣＰＵは、このようにして生成される画面データを、ＨＭＤ表示画面３０３としてディスプレイ１０３に出力する。この結果、図４のモバイル表示画面３０４において、「説明文１」と「説明文２」の配置は反転されずに、「説明文１」内の表示と、「説明文２」内の表示がそれぞれ個別に特定の向きで表示される。これにより、モバイル表示画面３０４とＨＭＤ表示画面３０３の両方とも、サービス提供者３０１の側から見て、「説明文１」は常に右側に、「説明文２」は常に左側に配置されて見えるようにすることができる。これにより、例えば、サービス提供者３０１が、ヘッドマウントディスプレイ１００のＨＭＤ表示画面３０３に表示された「説明文１」をモバイル端末装置２００のタッチパネル上で指さした場合にも、モバイル表示画面３０４上で「説明文１」を指すことができる。そのため、サービス提供者３０１は、例えば、顧客にとって理解しやすい説明を行うことが可能になる。

図５は、実施形態に係るヘッドマウントディスプレイにおいてＨＭＤ表示画面３０３を表示するための特定の向きの設定について説明する図である。まず、ヘッドマウントディスプレイ１００のＣＰＵは、カメラ１０２が撮影した撮像画像から、モバイル表示画面３０４上に配置されたマーカ５０１の位置を検出する。これにより、ＣＰＵは、モバイル表示画面３０４が、図５（ａ）から（ｂ）に示されるように、撮像画像の水平角度に対してどれだけ回転しているかを検出する。ＣＰＵは、この検出角度に基づいて、モバイル表示画面３０４やモバイル表示画面３０４内のウィジットをサービス提供者から見やすい向きになるように回転させ、その結果をＨＭＤ表示画面３０３として、ディスプレイ１０３に表示させる（図５（ｃ））。

なお、図４（ｂ）では、例えば、ＨＭＤ表示画面３０３上の各ウィジットとモバイル端末装置２００のモバイル表示画面３０４上の各ウィジットは、対応付けられる。また、ＨＭＤ表示画面３０３上の各ウィジットの位置がモバイル表示画面３０４上ではどの位置に対応するかを示す位置情報が、ヘッドマウントディスプレイ１００からモバイル端末装置２００に通知される。これらの対応関係の情報と位置情報とに基づいて、モバイル端末装置２００のタッチパネル上で、ＨＭＤ表示画面３０３上の各ウィジットに対応する位置がタッチされる。この結果、ＨＭＤ表示画面３０３上のタッチされたウィジットに対応するモバイル表示画面３０４上のウィジットが操作された状態が、モバイル端末装置２００において生成される。このようにして、サービス提供者３０１は、自然な操作で、対峙する顧客の前で傾けて置かれているモバイル端末装置２００のタッチパネルを操作できる。

図６は、実施形態のハードウェア構成例を示す図であり、（ａ）はヘッドマウントディスプレイ１００のハードウェア構成例、（ｂ）はモバイル端末装置２００のハードウェア構成例を示す図である。

まず、図６（ａ）に示されるように、ヘッドマウントディスプレイ１００は、ＣＰＵ６０１、ＲＯＭ６０２、ＲＡＭ６０３、ディスプレイ１０３、カメラ１０２、及び近接無線インタフェース６０４を有し、これらが、バス６０５で相互に接続された構成を有する。図６（ａ）に示される構成はヘッドマウントディスプレイ１００を実現できるコンピュータの一例であり、そのようなコンピュータはこの構成に限定されるものではない。

ＣＰＵ６０１は、ヘッドマウントディスプレイ１００全体の制御を行う。ＲＯＭ６０２は、ヘッドマウントディスプレイ１００のディスプレイ１０３の表示制御を行う表示制御プログラムやそのプログラムの実行で利用される定数データ等を記憶する。ＣＰＵ６０１は、ＲＯＭ（Read Only Memory、リードオンリーメモリ）６０２から表示制御プログラムをＲＡＭ６０３（Random Access Memory、ランダムアクセスメモリ）に読み出して実行する。それにより、ＣＰＵ６０１は、ＨＭＤ表示画面３０３を生成してディスプレイ１０３に出力する表示制御を実行する。

カメラ１０２及びディスプレイ１０３は、図１に示されるものと同様である。
近接無線インタフェース６０４は、例えばＷｉ−Ｆｉ Ａｌｌｉａｎｃｅによって策定されたＭｉｒａｃａｓｔ（ミラキャスト）通信プロトコルに基づいて動作し、モバイル端末装置２００との間の画面データの転送を制御する。

次に、図６（ｂ）に示されるように、モバイル端末装置２００は、ＣＰＵ６１１、ＲＯＭ６１２、ＲＡＭ６１３、タッチパネルディスプレイ６２０、外部記憶装置６１４を有する。また、モバイル端末装置２００は、近接無線インタフェース６１５、無線ＬＡＮインタフェース６１６、可搬記録媒体駆動装置６１７を有する。これらの各部は、バス６１８によって相互に接続される。図６（ｂ）に示される構成はモバイル端末装置２００を実現できるコンピュータの一例であり、そのようなコンピュータはこの構成に限定されるものではない。

ＣＰＵ６１１は、モバイル端末装置２００全体の制御を行う。ＲＯＭ６１２は、モバイル端末装置２００の動作を制御するオペレーティングシステムのプログラム群やそのプログラムの実行で利用される定数データ等を記憶する。外部記憶装置６１４は例えば、半導体記憶装置であり、ヘッドマウントディスプレイ１００との間の連携動作を制御する表示制御プログラムやそのプログラムの実行で利用される各種データを記憶する。また、外部記憶装置６１４は端末装置の表示画面とＨＭＤディスプレイに表示された画像データとの対応関係を記憶する。ＣＰＵ６１１は、ＲＯＭ６１２からオペレーティングシステムのプログラムをＲＡＭ６１３に読み出して実行することにより、モバイル端末装置２００の動作を制御する。また、ＣＰＵ６１１は、外部記憶装置６１４から表示制御プログラムをＲＡＭ６１３に読み出して実行することにより、モバイル表示画面３０４を生成してタッチパネルディスプレイ６２０に出力する表示制御動作等を実行する。

タッチパネルディスプレイ６２０は、ユーザによる指やペンのタッチ入力操作を検出し、その検出結果をＣＰＵ６１１に通知する。また、タッチパネルディスプレイ６２０は、ＣＰＵ６１１の制御によって送られてくるモバイル表示画面３０４のデータを受け取ってモバイル表示画面３０４を表示する。

近接無線インタフェース６１５は、ヘッドマウントディスプレイ１００の近接無線インタフェース６０４と同じ通信プロトコルに基づいて動作し、ヘッドマウントディスプレイ１００との間の画面データの転送を制御する。

可搬記録媒体駆動装置６１７は、ＳＤカードやコンパクトフラッシュ（登録商標）等の可搬記録媒体６１９を収容する。

無線ＬＡＮインタフェース６１６は、モバイル端末装置２００が例えばＬＡＮ（ローカルエリアネットワーク）を介してインターネットやイントラネットと通信するために、例えばＷｉ−Ｆｉ無線の通信プロトコルを制御する。

モバイル端末装置２００やヘッドマウントディスプレイ１００が実行する表示制御プログラムや、例えば外部記憶装置６１４や可搬記録媒体６１９に記録して配布してもよい。或いは、上記表示制御プログラムは、無線ＬＡＮインタフェース６１６や近接無線インタフェース６０４、６１５によりネットワーク経由で取得できるようにしてもよい。

図７は、図６（ｂ）のハードウェア構成を有するモバイル端末装置２００が実行する処理の例を示すフローチャートである。この処理は、図６（ｂ）のＣＰＵ６１１が、外部記憶装置６１４からＲＡＭ６１３に読み出した表示制御処理プログラムを実行する動作である。図７（a）は、画像データの送受信処理を示し、図７（b）はタッチパネルの操作制御処理を示す。

まず、図７（ａ）の画像データの送受信処理について説明する。
ＣＰＵ６１１は、サービス提供者３０１が提供する商品説明のためのモバイル表示画面３０４を生成して、タッチパネルディスプレイ６２０に表示させる（ステップＳ７０１）。

次に、ＣＰＵ６１１は、近接無線インタフェース６１５を介してヘッドマウントディスプレイ１００（図７（a）中では「ＨＭＤ」と表記）に、現在タッチパネルディスプレイ６２０に表示しているモバイル表示画面３０４のデータを送信する（ステップＳ７０２）。図８（ａ）は、モバイル端末装置２００からヘッドマウントディスプレイ１００にモバイル表示画面３０４のデータとともに送信されるモバイル表示画面３０４のデータ例を示す図である。前述したように、ヘッドマウントディスプレイ１００側でモバイル表示画面３０４からＨＭＤ表示画面３０３への変換で回転される画像毎に、画像番号、画像位置（Ｘ，Ｙ座標値）、画像サイズ（幅、高さのピクセル値）の情報が、送信される。なお、これらのデータは、特定のモバイル表示画面３０４の展開時に、ＲＯＭ６１２や外部記憶装置６１４からＲＡＭ６１３に読み出されて記憶されている。なお、画像番号は、モバイル端末装置２００に表示されているモバイル表示画面３０４を、ヘッドマウントディスプレイ１００に表示するためのＨＭＤ表示画面３０３と対応付けるための情報である。

ヘッドマウントディスプレイ１００側のＣＰＵ６０１はカメラ１０２で撮像された撮像画像を取得する。取得した撮像画像に端末装置の表示画面が含まれることを検出すると、表示画面と、表示画面に含まれる画像情報とを対応して記憶するＲ０Ｍ６０２を参照する。なお、Ｒ０Ｍ６０２は、記憶部の一例である。そして、検出した表示画面に対応付けられた画像情報、例えば画像番号１を取得する。そして取得した画像情報を特定の向き（位置１０，１００）に移動（回転）し、ヘッドマウントディスプレイに表示する。

次に、ＣＰＵ６１１は、ヘッドマウントディスプレイ１００から近接無線インタフェース６１５を介して、回転した画像の位置情報に関するデータ（後述する図９のステップＳ９０５参照）を受信する（ステップＳ７０３）。図８（ｂ）は、モバイル端末装置２００で受信される回転した画像の位置情報に関するデータ例を示す図である。画像番号毎に、回転後の画像位置（Ｘ，Ｙ座標値）と、回転の角度とが受信される。

ＣＰＵ６１１は、ステップＳ７０３で受信したデータに基づき、モバイル表示画面３０４上での各ボタン等の位置を、図６（ｂ）のＲＡＭ６１３又は外部記憶装置６１４に記録する（ステップＳ７０４）。

その後、ＣＰＵ６１１は、モバイル表示画面３０４の表示処理の終了がユーザによってタップ等により指示されたか否かを判定する（ステップＳ７０５）。

ステップＳ７０５の判定がＮＯならば、ＣＰＵ６１１は、ステップＳ７０１のモバイル表示画面３０４の表示処理に戻る。

ステップＳ７０５の判定がＹＥＳになると、ＣＰＵ６１１は、図７（ａ）のフローチャートで示される表示制御処理を終了する。

上記画像データの送受信処理とは独立して、ＣＰＵ６１１は、図７（b）に示されるタッチパネルの操作制御処理を実行している。

ＣＰＵ６１１は、モバイル表示画面３０４を表示しているタッチパネルディスプレイ６２０に、サービス提供者３０１がＨＭＤ表示画面３０３ごしに、タップ等の画面の操作を行うまで待機する（ステップＳ７１１の判定がＮＯの繰返し）。

ステップＳ７１１の判定がＹＥＳになると、ＣＰＵ６１１は次の処理を実行する。ＣＰＵ６１１は、サービス提供者３０１が操作を行ったタッチパネル上の位置と、図７（ａ）のステップＳ７０４でＲＡＭ６１３等に記録している位置及びボタン等の対応関係とから、操作されるべきボタン等の判定をする。そして、ＣＰＵ６１１は、その操作されるべきボタンに対応する処理を実行する（ステップＳ７１１２）。

その後、ＣＰＵ６１１は、タッチパネルの操作制御処理の終了がユーザによってタップ等により指示されたか否かを判定する（ステップＳ７１３）。

ステップＳ７１３の判定がＮＯならば、ＣＰＵ６１１は、ステップＳ７１１の画面操作の判定処理に戻る。

ステップＳ７１３の判定がＹＥＳになると、ＣＰＵ６１１は、図７（ｂ）のフローチャートで示されるタッチパネルの操作制御処理を終了する。

図９は、図６（ａ）のハードウェア構成を有するヘッドマウントディスプレイ１００が実行する表示制御処理の例を示すフローチャートである。この表示制御処理は、図８（ａ）のＣＰＵ６０１が、ＲＯＭ６０２からＲＡＭ６０３に読み出した表示制御処理プログラムを実行する動作である。

まず、ＣＰＵ６０１は、カメラ１０２が撮像した撮像画像から、モバイル端末装置２００がタッチパネルディスプレイ６２０に表示しているモバイル表示画面３０４を検出する処理を実行する（ステップＳ９０１の判定がＮＯの繰返し）。

モバイル表示画面３０４が検出されることによりステップＳ９０１の判定がＹＥＳになると、ＣＰＵ６０１は、近接無線インタフェース６０４を介してモバイル端末装置２００から、モバイル表示画面３０４のデータを受信する（ステップＳ９０２）。このデータは、図７（ａ）のステップＳ７０２の処理の説明でモバイル端末装置２００から送信される、モバイル表示画面３０４の画像データ、及び図８（ａ）の例で示されるデータである。

次に、ＣＰＵ６０１は、ステップＳ９０１で検出したモバイル表示画面３０４内のマーカ５０１（図５参照）の位置に基づいて、モバイル表示画面３０４が撮像画像の水平角度に対して有する角度を検出する（図５（ａ）→（ｂ）参照）（ステップＳ９０３）。

ＣＰＵ６０１は、ステップＳ９０３での検出角度に合わせてＨＭＤ表示画面３０３を生成し、透過して表示されているモバイル端末装置２００のモバイル表示画面３０４に重ね合わせてディスプレイ１０３に表示する（図５（ｃ）参照）（ステップＳ９０４）。

図１０は、図９のステップＳ９０４の表示処理の詳細例を示すフローチャートである。この表示処理において、ＣＰＵ６０１はまず、ステップＳ９０２で受信したモバイル表示画面３０４の画像データをＲＯＭ６０２から読み出して取得する（ステップＳ１００１）。

次に、ＣＰＵ６０１は、この画像データをＳ９０３で特定した角度で回転させる（ステップＳ１００２）。なお、ＣＰＵ６０１は、例えば、画像データの全体を回転させてもよいし、或いは、ウィジット単位で回転させるなど画像データの一部の領域毎に回転させてもよい。

そして、ＣＰＵ６０１は、回転させた画像が、ヘッドマウントディスプレイごしに見えるモバイル端末装置２００のタッチパネルディスプレイと重ね合わさるように、ヘッドマウントディスプレイに回転させた画像を表示させる（ステップＳ１００３）。

以上の図１０のフローチャートで示されるステップＳ９０４の処理の後、ＣＰＵ６０１は、回転を行った画像の位置に関するデータを、前述した図８（ｂ）の形式で、近接無線インタフェース６０４を介してモバイル端末装置２００に送信する。このデータは、図７のステップＳ７０３の処理でモバイル端末装置２００によって受信される。

その後、ＣＰＵ６０１は、ＨＭＤ表示画面３０３の表示処理の終了がユーザによって特には図示しないスイッチ等により指示されたか否かを判定する（ステップＳ９０６）。

ステップＳ９０６の判定がＮＯならば、ＣＰＵ６０１は、ステップＳ９０２のモバイル表示画面３０４のデータの受信処理に戻る。

ステップＳ９０６の判定がＹＥＳになると、ＣＰＵ６０１は、図９のフローチャートで示される表示制御処理を終了する。

以上説明したようにして、本実施形態によれば、モバイル端末装置２００のモバイル表示画面３０４に表示される情報の視認性を高めると共にモバイル端末装置２００の操作をし易くすることが可能となる。

例えば、上述の実施形態によれば、モバイル端末装置２００のモバイル表示画面３０４を、ヘッドマウントディスプレイ１００において特定の向きでＨＭＤ表示画面３０３として表示する。そのため、モバイル端末装置２００を顧客にとって見やすい方向に向けていたとしても、サービス提供者はモバイル端末装置２００にモバイル表示画面３０４に含まれる情報をヘッドマウントディスプレイ１００において容易に視認することができる。

また、上記の特定の向きは、ヘッドマウントディスプレイ１００が備える撮像装置により撮像された撮像画像中に含まれるモバイル表示画面３０４の向きに基づいて決定される。そのため、ヘッドマウントディスプレイ１００にモバイル表示画面３０４に示される情報を、正面から見た正しい向きで表示したＨＭＤ表示画面３０３を表示することができる。

また、上述の実施形態では、例えばウィジットなどの操作部品の単位で、向きを変えてヘッドマウントディスプレイ１００にＨＭＤ表示画面３０３が表示される。そのため、例えば、モバイル端末装置２００のタッチパネルディスプレイに表示されている操作部品の位置と、ヘッドマウントディスプレイ１００に表示されている同じ操作部品の位置とのズレを抑えることができる。

また更に、上述の実施形態では、カメラ１０２による撮像画像においてモバイル表示画面３０４が写る位置と対応する位置に、ＨＭＤ表示画面３０３を重畳してヘッドマウントディスプレイ１００に表示する。そのため、例えば、更にＨＭＤ表示画面３０３の表示位置をモバイル端末装置２００に通知したりすることで、ＨＭＤ表示画面３０３ごしに見えるモバイル端末装置２００のタッチパネルディスプレイを操作することが可能になる。

以上の実施形態に関して、更に以下の付記を開示する。
（付記１）
ヘッドマウントディスプレイの表示制御プログラムにおいて、
撮像装置により撮像された撮像画像を取得し、
取得した前記撮像画像に特定の端末装置の表示画面が含まれることを検出すると、表示画面と、該表示画面に含まれる画像情報とを対応付けて記憶する記憶部を参照して、検出した前記表示画面に対応付けられた画像情報を取得し、
取得した前記画像情報を特定の向きで前記ヘッドマウントディスプレイに表示する、
処理をコンピュータに実行させることを特徴とする表示制御プログラム。
（付記２）
取得した前記撮像画像に基づき、前記端末装置に対する前記ヘッドマウントディスプレイの位置関係を特定し、
特定した前記位置関係に基づき、前記特定の向きを決定する、
ことを特徴とする付記１に記載の表示制御プログラム。
（付記３）
前記画像情報は、前記表示画面に含まれる操作部品の画像情報である、
ことを特徴とする付記1又は２に記載の表示制御プログラム。
（付記４）
取得した前記撮像画像のうち、取得した前記画像情報に対応する位置に、該画像情報を前記向きで重畳した画像情報を生成し、
生成した前記画像情報を前記ヘッドマウントディスプレイに表示する、
ことを特徴とする付記１乃至３の何れかに記載の表示制御プログラム。
（付記５）
ヘッドマウントディスプレイの表示制御装置において、
撮像画像を取得する撮像部と、
取得した前記撮像画像に特定の端末装置の表示画面が含まれることを検出すると、表示画面と、該表示画面に含まれる画像情報とを対応付けて記憶する記憶部を参照して、検出した前記表示画面に対応付けられた画像情報を取得する制御部と、
取得した前記画像情報を特定の向きで前記ヘッドマウントディスプレイに表示するする表示部と、
を備えることを特徴とする表示制御装置。
（付記６）
ヘッドマウントディスプレイの表示制御方法において、
撮像装置により撮像された撮像画像を取得し、
取得した前記撮像画像に特定の端末装置の表示画面が含まれることを検出すると、表示画面と、該表示画面に含まれる画像情報とを対応付けて記憶する記憶部を参照して、検出した前記表示画面に対応付けられた画像情報を取得し、
取得した前記画像情報を特定の向きで前記ヘッドマウントディスプレイに表示する、
ことを特徴とする表示制御方法。

１００ ヘッドマウントディスプレイ
１０２ カメラ
１０３ ディスプレイ
１０４ ベルト
１０５ 頭部
２００ モバイル端末装置
３０１ サービス提供者
３０２ 顧客
３０３ ＨＭＤ（ヘッドマウントディスプレイ）表示画面
３０４ モバイル表示画面
５０１ マーカ
６０１、６１１ ＣＰＵ
６０２、６１２ ＲＯＭ
６０３、６１３ ＲＡＭ
６０４、６１５ 近接無線インタフェース
６０５、６１８ バス
６１４ 外部記憶装置
６１６ 無線ＬＡＮインタフェース
６１７ 可搬記録媒体駆動装置
６１９ 可搬記録媒体
６２０ タッチパネルディスプレイ

Claims (6)

1. ヘッドマウントディスプレイの表示制御プログラムにおいて、
   撮像装置により撮像された撮像画像を取得し、
   取得した前記撮像画像に特定の端末装置の表示画面が含まれることを検出すると、表示画面と、該表示画面に含まれる画像情報とを対応付けて記憶する記憶部を参照して、検出した前記表示画面に対応付けられた画像情報を取得し、
   取得した前記画像情報を特定の向きで前記ヘッドマウントディスプレイに表示する、
   処理をコンピュータに実行させることを特徴とする表示制御プログラム。
2. 取得した前記撮像画像に基づき、前記端末装置に対する前記ヘッドマウントディスプレイの位置関係を特定し、
   特定した前記位置関係に基づき、前記特定の向きを決定する、
   ことを特徴とする請求項１に記載の表示制御プログラム。
3. 前記画像情報は、前記表示画面に含まれる操作部品の画像情報である、
   ことを特徴とする請求項1又は２に記載の表示制御プログラム。
4. 取得した前記撮像画像のうち、取得した前記画像情報に対応する位置に、該画像情報を前記向きで重畳した画像情報を生成し、
   生成した前記画像情報を前記ヘッドマウントディスプレイに表示する、
   ことを特徴とする請求項１乃至３の何れかに記載の表示制御プログラム。
5. ヘッドマウントディスプレイの表示制御装置において、
   撮像画像を取得する撮像部と、
   取得した前記撮像画像に特定の端末装置の表示画面が含まれることを検出すると、表示画面と、該表示画面に含まれる画像情報とを対応付けて記憶する記憶部を参照して、検出した前記表示画面に対応付けられた画像情報を取得する制御部と、
   取得した前記画像情報を特定の向きで前記ヘッドマウントディスプレイに表示するする表示部と、
   を備えることを特徴とする表示制御装置。
6. ヘッドマウントディスプレイの表示制御方法において、
   撮像装置により撮像された撮像画像を取得し、
   取得した前記撮像画像に特定の端末装置の表示画面が含まれることを検出すると、表示画面と、該表示画面に含まれる画像情報とを対応付けて記憶する記憶部を参照して、検出した前記表示画面に対応付けられた画像情報を取得し、
   取得した前記画像情報を特定の向きで前記ヘッドマウントディスプレイに表示する、
   ことを特徴とする表示制御方法。

Images