JP2017092866A - 表示制御方法、表示制御プログラムおよび情報処理装置 - Google Patents

Abstract

【課題】オブジェクトデータの視認性の低下を抑制できる表示制御方法、表示制御プログラムおよび情報処理装置を提供する。
【解決手段】カメラにより撮像された撮像画像にＡＲマーカ含まれることを検出すると、ＡＲマーカに応じたＡＲコンテンツを、該ＡＲマーカのサイズに応じたサイズで表示部に表示する表示制御方法において、撮像画像に含まれるＡＲマーカのサイズが基準サイズより小さい場合、ズーム制御によりカメラの撮像画像を拡大させる指示をカメラに出力する。
【選択図】図２

Description

本発明は、表示制御方法、表示制御プログラムおよび情報処理装置に関する。

ＡＲ（Augmented Reality：拡張現実）技術が知られている。例えば、ＡＲ技術では、カメラにより撮影された撮影画像に写る現実の物に対して、仮想的なＡＲコンテンツ（オブジェクトデータ）を付加する。現実の物に対して、適切なサイズでＡＲコンテンツを付加させることが望ましいが、カメラにより撮影された撮影画像から現実の物のサイズを把握することができない。このため、ＡＲ技術では、予め定められたサイズのマーカを実物に貼り付け、撮影画像からマーカのサイズを認識し、マーカのサイズを基準としてＡＲコンテンツの表示サイズを決定することで、適正サイズのＡＲコンテンツの表示を実現する。

国際公開第２０１２／１６０８３３号 特開２００８−２９９７１４号公報

しかしながら、従来の技術では、ＡＲコンテンツであるオブジェクトデータを視認し難い場合がある。例えば、ＡＲ技術を用いた点検作業等では、点検者は、点検機器から離れた位置から、点検機器とその周辺を包括的に視認したいことがある。この場合、撮像画像に含まれるマーカのサイズが小さくなるため、オブジェクトデータの表示サイズが小さくなり、オブジェクトデータの情報を視認し難い場合がある。

一つの側面では、オブジェクトデータの視認性の低下を抑制できる表示制御方法、表示制御プログラムおよび情報処理装置を提供することを目的とする。

第１の案では、表示制御方法は、撮像装置により撮像された撮像画像に基準物が含まれることを検出すると、該基準物に応じたオブジェクトデータを、該基準物のサイズに応じたサイズで表示部に表示する。表示制御方法は、撮像画像に含まれる基準物のサイズが基準サイズより小さい場合、ズーム制御により撮像装置の撮像画像を拡大させる指示を撮像装置に出力する処理をコンピュータが実行する。

本発明の一の実施態様によれば、目的地の設定の手間を軽減できるという効果を奏する。

図１は、システム構成の一例を説明する図である。 図２は、ヘッドマウントディスプレイの機能的な構成を概略的に示した図である。 図３は、端末装置の機能的な構成を概略的に示した図である。 図４は、コンテンツ管理テーブルのデータ構成の一例を示した図である。 図５Ａは、ＡＲマーカとユーザの基準とする距離の一例を示す図である。 図５Ｂは、図５Ａの距離の場合に表示される画像の一例を示す図である。 図６Ａは、基準とする距離よりも遠い場合の一例を示す図である。 図６Ｂは、図６Ａの距離の場合に表示される画像の一例を示す図である。 図７Ａは、基準とする距離よりも近い場合の一例を示す図である。 図７Ｂは、図７Ａの距離の場合に表示される画像の一例を示す図である。 図８は、表示制御処理の手順の一例を示すフローチャートである。 図９は、表示制御プログラムを実行するコンピュータの一例を示す図である。

以下に、本発明にかかる表示制御方法、表示制御プログラムおよび情報処理装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。そして、各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

［システム構成］
最初に、仮想現実を提供するシステムの一例を説明する。図１は、システム構成の一例を説明する図である。システム１０は、仮想現実を提供するＡＲシステムである。システム１０は、ＡＲ（Augmented Reality）サーバ１１と、端末装置１２と、ヘッドマウントディスプレイ１３とを有する。ＡＲサーバ１１および端末装置１２は、ネットワークＮに接続され通信することができる。かかるネットワークＮの一態様としては、有線又は無線を問わず、携帯電話などの移動体通信、インターネット（Internet）、ＬＡＮ（Local Area Network）やＶＰＮ（Virtual Private Network）などの任意の種類の通信網を採用できる。

ＡＲサーバ１１は、仮想現実を提供する装置である。ＡＲサーバ１１は、例えば、パーソナルコンピュータやサーバコンピュータなどのコンピュータである。ＡＲサーバ１１は、１台のコンピュータとして実装してもよく、また、複数台のコンピュータにより実装してもよい。なお、本実施例では、ＡＲサーバ１１を１台のコンピュータとした場合を例として説明する。本実施例では、ＡＲサーバ１１が情報処理装置に対応する。

端末装置１２は、仮想現実を利用するユーザが携帯する装置である。例えば、端末装置１２は、提供される仮想現実を利用するユーザが所持するスマートフォンやタブレット端末などの携帯型の情報処理装置などである。

ヘッドマウントディスプレイ１３は、ユーザが頭に装着し、各種の情報をユーザが視認できるよう表示するデバイスである。本実施例では、ヘッドマウントディスプレイ１３は、片眼のみに対応したものとするが、両眼に対応したものであってもよい。ヘッドマウントディスプレイ１３は、ユーザが装着したままでも、外部の現実環境を視認可能なように、レンズ部分に透過性の表示部を有するものとしてもよい。また、ヘッドマウントディスプレイ１３は、ユーザが頭に装着した際にユーザの視界の一部に非透過型の表示部が位置するものであってもよい。本実施例では、ヘッドマウントディスプレイ１３は、ユーザの一方の目（例えば、右目）に対向するように１つの非透過型の表示部が設けられている。ヘッドマウントディスプレイ１３と端末装置１２は、ブルートゥース（Bluetooth）（登録商標）や無線ＬＡＮなどの無線通信により、通信可能に接続されている。ヘッドマウントディスプレイ１３は、カメラが設けられており、当該カメラにより、装着したユーザの視線方向の画像の撮影が可能とされている。ヘッドマウントディスプレイ１３は、カメラにより撮影された撮影画像を端末装置１２へ送信する。また、ヘッドマウントディスプレイ１３は、端末装置１２から受信した画像を表示部に表示する。

本実施例に係るシステム１０では、ＡＲサーバ１１に各種ＡＲコンテンツのオブジェクトデータが記憶されている。端末装置１２は、ＡＲサーバ１１からＡＲコンテンツを予めダウンロードする。そして、端末装置１２は、ヘッドマウントディスプレイ１３を介して仮想現実をユーザに提供する。例えば、ユーザは、ヘッドマウントディスプレイ１３を装着し、ＡＲコンテンツをダウンロードした端末装置１２を所持して、ヘッドマウントディスプレイ１３のカメラで撮影を行う。ヘッドマウントディスプレイ１３は、カメラにより撮影された撮影画像を端末装置１２へ送信する。端末装置１２は、撮影された撮影画像から基準物の検出を行う。端末装置１２は、撮像画像に基準物が含まれることを検出すると、該基準物に応じたＡＲコンテンツを、該基準物のサイズに応じた大きさで撮影画像に重畳（合成）する。端末装置１２は、撮影画像にＡＲコンテンツを重畳した重畳画像をヘッドマウントディスプレイ１３へ送信する。ヘッドマウントディスプレイ１３は、端末装置１２から受信した重畳画像を表示する。基準物は、例えば、ＡＲマーカやＱＲ（Quick Response）コードなど、仮想現実を表示する位置を指定するための基準となる標識であってもよい。また、基準物は、例えば、特定形状の物体や特定パターンなど撮影画像内での物体であってもよい。

本実施例では、システム１０が、仮想現実を用いて工場の点検業務を支援する場合を例に説明する。例えば、工場において、点検を要する対象物または対象物周辺にＡＲマーカを配置する。ＡＲマーカには、それぞれ一意の画像が記録されている。例えば、ＡＲマーカには、それぞれ識別情報として一意のマーカＩＤをコード化したパターン画像が記録されている。一方、ＡＲサーバ１１には、ＡＲコンテンツのオブジェクトデータが記憶されている。例えば、ＡＲサーバ１１には、点検すべき内容や注意点、前回の点検結果、点検手順など、点検の際に注意すべき事項を示したＡＲコンテンツが記憶されている。ＡＲコンテンツには、それぞれ識別情報として一意のコンテンツＩＤが定められている。ＡＲサーバ１１には、ＡＲマーカのマーカＩＤに対応付けて、当該ＡＲマーカが配置された点検の対象物に仮想現実として重畳して表示させるＡＲコンテンツのコンテンツＩＤが記憶されている。点検を行う作業者は、点検を行う対象物に応じたＡＲコンテンツを端末装置１２にダウンロードする。点検を行う作業者は、ヘッドマウントディスプレイ１３を装着し、ＡＲコンテンツをダウンロードした端末装置１２を所持して点検の対象物へ行く。そして、点検を行う作業者は、ヘッドマウントディスプレイ１３に設けられたカメラで対象物または対象物周辺に配置されたＡＲマーカを撮影する。ヘッドマウントディスプレイ１３は、カメラにより撮影された撮影画像を端末装置１２へ送信する。端末装置１２は、撮影画像からＡＲマーカのマーカＩＤを認識し、ＡＲマーカのマーカＩＤに対応付けられたコンテンツＩＤのＡＲコンテンツを読み出す。そして、端末装置１２は、読み出したＡＲコンテンツを撮影された画像に重畳した重畳画像を生成し、重畳画像をヘッドマウントディスプレイ１３へ送信する。ヘッドマウントディスプレイ１３は、端末装置１２から受信した重畳画像を表示する。これにより、例えば、ヘッドマウントディスプレイ１３には、点検の対象物に、点検すべき内容や注意点、前回の点検結果、点検手順など点検の際に注意すべき事項を示したコンテンツが重畳された重畳画像が表示される。この結果、点検を行う作業者は、表示されたコンテンツから点検の際に注意すべき事項を把握できるため、点検を効率的に行うことができる。

［ヘッドマウントディスプレイの構成］
次に、各機器の構成について説明する。最初にヘッドマウントディスプレイ１３の構成について説明する。図２は、ヘッドマウントディスプレイの機能的な構成を概略的に示した図である。ヘッドマウントディスプレイ１３は、通信Ｉ／Ｆ（インタフェース）部２０と、表示部２１と、カメラ２２と、記憶部２３と、制御部２４とを有する。なお、ヘッドマウントディスプレイ１３は、上記の機器以外の他の機器を有してもよい。

通信Ｉ／Ｆ部２０は、他の装置との間で通信制御を行うインタフェースである。通信Ｉ／Ｆ部２０は、無線通信または、ＵＳＢ等の有線により他の装置と各種情報を送受信する。例えば、通信Ｉ／Ｆ部２０は、カメラ２２により撮影された撮影画像の画像データを端末装置１２に送信する。また、通信Ｉ／Ｆ部２０は、表示用の画像データを端末装置１２から受信する。

表示部２１は、各種情報を表示するデバイスである。表示部２１は、ユーザがヘッドマウントディスプレイ１３を装着した際に、一方の目に対向するようにヘッドマウントディスプレイ１３に設けられている。表示部２１は、制御部２４からの制御により、各種情報を表示する。

カメラ２２は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を用いて、画像を撮影するデバイスである。カメラ２２は、ヘッドマウントディスプレイ１３をユーザが装着した際に、装着したユーザの正面方向を向くようにヘッドマウントディスプレイ１３に設けられ、正面を向いたユーザの視線方向の画像の撮影が可能とされている。カメラ２２は、制御部２４からの制御により、画像を撮影し、撮影された撮影画像の画像データを出力する。また、カメラ２２は、内蔵された光学系のレンズ間の距離を変更可能なズーム制御機構が設けられ、レンズ間の距離を変えることにより所定の範囲で光学的に倍率を変更可能とされている。カメラ２２は、制御部２４からの制御により、ズーム制御機構を動作させることにより所定の範囲でズームイン、ズームアウトが可能とされている。

記憶部２３は、各種の情報を記憶する記憶デバイスである。例えば、記憶部２３は、ＲＡＭ（Random Access Memory）、フラッシュメモリ、ＮＶＳＲＡＭ（Non Volatile Static Random Access Memory）などのデータを書き換え可能な半導体メモリである。なお、記憶部２３は、ハードディスク、ＳＳＤ（Solid State Drive）、光ディスクなどの記憶装置であってもよい。

記憶部２３は、制御部２４で実行される制御プログラムや各種プログラムを記憶する。さらに、記憶部２３は、制御部２４で実行されるプログラムで用いられる各種データを記憶する。

制御部２４は、ヘッドマウントディスプレイ１３を制御するデバイスである。制御部２４としては、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）等の電子回路や、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）等の集積回路を採用できる。制御部２４は、各種の処理手順を規定したプログラムや制御データを格納するための内部メモリを有し、これらによって種々の処理を実行する。

制御部２４は、各種のプログラムが動作することにより各種の処理部として機能する。例えば、制御部２４は、撮影制御部３０と、通信制御部３１と、表示制御部３２とを有する。

撮影制御部３０は、カメラ２２を制御して画像の撮影を行う。例えば、撮影制御部３０は、カメラ２２により所定のフレームレートで動画の撮影を行う。また、撮影制御部３０は、端末装置１２からの倍率の指示情報に応じて、カメラ２２のズーム制御機構を動作させてレンズ間の距離を変えることによりカメラ２２の光学的な倍率を変更する。

通信制御部３１は、各種の情報の送受信を制御する。例えば、通信制御部３１は、カメラ２２により撮影される撮影画像の画像データを端末装置１２へ送信する。また、通信制御部３１は、端末装置１２から表示用の画像データや倍率の指示情報を受信する。

表示制御部３２は、表示部２１へ各種の情報の表示を制御する。例えば、表示制御部３２は、端末装置１２から受信された画像データの画像を表示部２１に表示する制御を行う。

［端末装置の構成］
次に、端末装置１２の構成について説明する。図３は、端末装置の機能的な構成を概略的に示した図である。図３に示すように、端末装置１２は、通信Ｉ／Ｆ部５０と、記憶部５１と、制御部５２とを有する。なお、端末装置１２は、上記の機器以外の他の機器を有してもよい。例えば、各種の情報を表示する表示部や操作入力を受け付ける入力部を有してもよい。

通信Ｉ／Ｆ部５０は、他の装置との間で通信制御を行うインタフェースである。例えば、通信Ｉ／Ｆ部５０は、無線通信によりＡＲサーバ１１およびヘッドマウントディスプレイ１３と各種情報を送受信する。例えば、通信Ｉ／Ｆ部５０は、ＡＲサーバ１１からＡＲコンテンツを受信する。また、通信Ｉ／Ｆ部５０は、ヘッドマウントディスプレイ１３からカメラ２２により撮影された撮影画像の画像データを受信する。また、通信Ｉ／Ｆ部５０は、表示用の画像データや倍率の指示情報をヘッドマウントディスプレイ１３へ送信する。

記憶部５１は、ハードディスク、ＳＳＤ、光ディスクなどの記憶装置である。なお、記憶部５１は、ＲＡＭ、フラッシュメモリ、ＮＶＳＲＡＭなどのデータを書き換え可能な半導体メモリであってもよい。

記憶部５１は、制御部５２で実行されるＯＳ（Operating System）や各種プログラムを記憶する。例えば、記憶部５１は、後述する情報処理を含む各種の処理を実行するプログラムを記憶する。さらに、記憶部５１は、制御部５２で実行されるプログラムで用いられる各種データを記憶する。例えば、記憶部５１は、コンテンツデータ６０と、コンテンツ管理テーブル６１を記憶する。

コンテンツデータ６０は、ＡＲコンテンツのオブジェクトデータを記憶したデータである。例えば、コンテンツデータ６０には、点検すべき内容や注意点、前回の点検結果、点検手順など、点検の際に注意すべき事項を示したオブジェクトデータが記憶されている。なお、ＡＲコンテンツは、３次元の立体的な形状のオブジェクトデータであってもよい。コンテンツデータ６０のＡＲコンテンツには、それぞれ識別情報として一意のコンテンツＩＤが定められている。

コンテンツ管理テーブル６１は、コンテンツに関する情報を記憶したデータである。コンテンツ管理テーブル６１には、ＡＲマーカと、当該ＡＲマーカが配置された点検の対象物に仮想現実として重畳して表示させるＡＲコンテンツとの対応関係や、ＡＲコンテンツの表示形態に関する情報が登録されている。

図４は、コンテンツ管理テーブルのデータ構成の一例を示した図である。図４に示すように、コンテンツ管理テーブル６１は、マーカＩＤ、コンテンツＩＤ、座標値、回転角度、拡縮率の各項目を有する。マーカＩＤの項目は、ＡＲコンテンツと対応付けるＡＲマーカのマーカＩＤを記憶する領域である。コンテンツＩＤの項目は、ＡＲマーカと対応付けるＡＲコンテンツのコンテンツＩＤを記憶する領域である。座標値の項目は、ＡＲコンテンツを表示させる表示位置を示す位置情報を記憶する領域である。この位置情報は、撮影された撮影画像に重畳表示させるＡＲコンテンツの表示位置の制御に用いられる。回転角度の項目は、ＡＲコンテンツを表示させる際の回転角度を記憶する領域である。拡縮率の項目は、ＡＲコンテンツを表示させる際に、コンテンツを拡大、縮小させる割合を記憶する領域である。

ここで、上述のように、カメラ２２により撮影された撮影画像から現実の物のサイズを把握することができない。このため、ＡＲ技術では、予め定められたサイズのＡＲマーカを実物に貼り付け、撮影画像からマーカのサイズを認識し、ＡＲマーカのサイズを基準としてＡＲコンテンツの表示サイズを決定する。図５Ａおよび図５Ｂには、ＡＲマーカとユーザとの距離と撮影画像の一例が示されている。図５Ａは、ＡＲマーカとユーザの基準とする距離の一例を示す図である。図５Ｂは、図５Ａの距離の場合に表示される画像の一例を示す図である。例えば、ＡＲマーカのサイズを１辺が５ｃｍの正方形とし、１．５ｍの位置からカメラにより１倍の倍率でＡＲマーカを中央にして撮影した撮影画像でのＡＲマーカの位置およびサイズＸを基準とする。ＡＲマーカのサイズがＸの場合に、ＡＲコンテンツが適切に合成されるように、ＡＲマーカの位置、回転角度、拡大率を決定する。座標値の項目には、ＡＲマーカの位置を基準として、ＡＲコンテンツを表示させる表示位置を示す位置情報が格納される。回転角度の項目には、ＡＲマーカの位置を基準として、ＡＲコンテンツを表示させる際の回転角度が格納される。拡縮率の項目には、ＡＲマーカのサイズを基準として、ＡＲコンテンツを表示させる拡縮率が格納される。

図４の例では、マーカＩＤ「０００１」のマーカは、コンテンツＩＤ「００１」のＡＲコンテンツに対応付けられていることを示す。また、コンテンツＩＤ「００１」のＡＲコンテンツは、ＡＲマーカの位置を基準として、ｘ、ｙ、ｚの座標が（Ｘｃ１、Ｙｃ１、Ｚｃ１）の位置において表示させることを示す。ｘ、ｙ、ｚの座標は、例えば、ＡＲマーカに所定のキャリブレーションパターンを設け、キャリブレーションパターンを基準として互いに直行するｘ軸、ｙ軸、ｚ軸を定めて座標を定める。また、コンテンツＩＤ「００１」のＡＲコンテンツは、ＡＲマーカの位置を基準として、回転角度（Ｘｒ１，Ｙｒ１、Ｚｒ１）、拡縮率（Ｘｓ１，Ｙｓ１、Ｚｓ１）で表示させることを示す。

図３に戻り、制御部５２は、端末装置１２を制御するデバイスである。制御部５２としては、ＣＰＵ、ＭＰＵ等の電子回路や、ＡＳＩＣ、ＦＰＧＡ等の集積回路を採用できる。制御部５２は、各種の処理手順を規定したプログラムや制御データを格納するための内部メモリを有し、これらによって種々の処理を実行する。制御部５２は、各種のプログラムが動作することにより各種の処理部として機能する。例えば、制御部５２は、受付部７０と、格納部７１と、ＡＲ処理部７２と、画像出力部７３と、カメラ指示出力部７４を有する。

受付部７０は、各種の操作を受け付ける。例えば、受付部７０は、各種の操作画面を表示させ、操作画面から各種の操作を受け付ける。点検を行う作業者は、操作画面を操作して点検を行う対象物に応じたＡＲコンテンツのオブジェクトデータおよびＡＲコンテンツに関する情報を端末装置１２にダウンロードする。ＡＲコンテンツのオブジェクトデータおよびＡＲコンテンツに関する情報は、端末装置１２の操作画面を操作して端末装置１２にダウンロードしてもよい。

格納部７１は、各種の情報の格納を行う。例えば、格納部７１は、ダウンロードされたＡＲコンテンツのオブジェクトデータをコンテンツデータ６０として格納し、ＡＲコンテンツに関する情報をコンテンツ管理テーブル６１に格納する。

ＡＲ処理部７２は、ＡＲに関する各種の処理を行う。例えば、ＡＲ処理部７２は、通信Ｉ／Ｆ部５０で受信された画像データが示す撮影画像に対して、ＡＲマーカの検出を行う。ＡＲ処理部７２は、ＡＲマーカが検出された場合、撮影画像内での検出されたＡＲマーカのサイズを特定する。また、ＡＲ処理部７２は、ＡＲマーカが検出された場合、ＡＲマーカのキャリブレーションパターンを基準としたｘ、ｙ、ｚの座標を特定する。また、ＡＲ処理部７２は、ＡＲマーカが検出された場合、ＡＲマーカのパターン画像をデコードしてマーカＩＤを特定する。ＡＲ処理部７２は、特定されたマーカＩＤに対応するコンテンツＩＤ、座標値、回転角度、拡縮率をコンテンツ管理テーブル６１から特定する。ＡＲ処理部７２は、特定したコンテンツＩＤのオブジェクトデータをコンテンツデータ６０から読み出す。そして、ＡＲ処理部７２は、撮影画像に対して、読み出したオブジェクトデータのＡＲコンテンツを特定した座標値、回転角度、拡縮率で合成する。

画像出力部７３は、ヘッドマウントディスプレイ１３への表示用の画像データの出力を行う。例えば、画像出力部７３は、ＡＲ処理部７２によりＡＲコンテンツが重畳された重畳画像の画像データをヘッドマウントディスプレイ１３へ送信する。

これにより、ヘッドマウントディスプレイ１３では、ＡＲコンテンツが重畳された重畳画像が表示部２１に表示される。ところで、ＡＲマーカのサイズを基準としてＡＲコンテンツの表示サイズが決定される。このため、ヘッドマウントディスプレイ１３を装着したユーザが、表示されるＡＲコンテンツを視認し難い場合がある。例えば、点検作業等では、点検者は、点検機器から離れた位置から、点検機器とその周辺を包括的に視認したいことがある。この場合、撮像画像に含まれるＡＲマーカのサイズが小さくなるため、ＡＲコンテンツの表示サイズが小さくなり、ＡＲコンテンツの情報を視認し難い場合がある。図６Ａおよび図６Ｂには、ＡＲマーカとユーザとの距離と撮影画像の一例が示されている。図６Ａは、基準とする距離よりも遠い場合の一例を示す図である。図６Ｂは、図６Ａの距離の場合に表示される画像の一例を示す図である。基準とする距離よりも遠い場合、図６Ｂに示すように、ＡＲマーカのサイズＹが小さいため、ＡＲコンテンツも小さく表示される。また、例えば、点検者が、近い位置からＡＲマーカを撮影した場合、ＡＲコンテンツの表示サイズが大きくなって、表示部２１の表示領域に収まらなくなり、ＡＲコンテンツの情報を視認し難い場合がある。図７Ａおよび図７Ｂには、ＡＲマーカとユーザとの距離と撮影画像の一例が示されている。図７Ａは、基準とする距離よりも近い場合の一例を示す図である。図７Ｂは、図７Ａの距離の場合に表示される画像の一例を示す図である。基準とする距離よりも近い場合、図７Ｂに示すように、ＡＲマーカのサイズＺが大きいため、ＡＲコンテンツが大きく表示され、表示部２１の表示領域に収まらなくなる。

カメラ指示出力部７４は、ヘッドマウントディスプレイ１３への倍率の指示情報の出力を行う。例えば、カメラ指示出力部７４は、通信Ｉ／Ｆ部５０で受信された画像データが示す撮影画像でＡＲマーカが検出された場合、画像に含まれるＡＲマーカのサイズに基づいて、ヘッドマウントディスプレイ１３への倍率の指示情報を出力する。カメラ指示出力部７４は、撮影画像に含まれるＡＲマーカのサイズを所定の第１の基準サイズおよび当該第１の基準サイズよりも大きい第２の基準サイズと比較する。第１の基準サイズおよび第２の基準サイズは、ＡＲマーカのサイズに対応して表示されるＡＲコンテンツが視認しやすいサイズに定められている。第１の基準サイズと第２の基準サイズは、第１の基準サイズと第２の基準サイズの間の範囲にＡＲコンテンツの位置、回転角度、拡大率を決定した際の基準が含まれるように定められている。第１の基準サイズは、基準とするＡＲコンテンツのサイズより若干小さいサイズに定められている。第２の基準サイズは、基準とするＡＲコンテンツのサイズより若干大きいサイズに定められている。図５Ａおよび図５Ｂに示したように、ＡＲマーカのサイズを１辺が５ｃｍの正方形とし、１．５ｍの位置からカメラにより１倍の倍率でＡＲマーカを中央にして撮影した画像でのＡＲマーカの位置およびサイズＸを基準とする。第１の基準サイズは、ＡＲマーカのサイズＸの０．８倍のサイズと定める。第２の基準サイズは、ＡＲマーカのサイズＸの１．２倍のサイズと定める。

カメラ指示出力部７４は、撮影画像に含まれるＡＲマーカのサイズが第１の基準サイズよりも小さい場合、カメラ２２の撮像画像を拡大させる倍率の指示情報をヘッドマウントディスプレイ１３に出力する。また、カメラ指示出力部７４は、撮影画像に含まれるＡＲマーカのサイズが第２の基準サイズより大きい場合、カメラ２２の撮像画像を縮小させる倍率の指示情報をヘッドマウントディスプレイ１３に出力する。カメラ指示出力部７４は、撮影画像に含まれるＡＲマーカのサイズが第１の基準サイズと第２の基準サイズの範囲内となる倍率を求めて当該倍率の指示情報をヘッドマウントディスプレイ１３に出力する。なお、カメラ指示出力部７４は、撮影画像に含まれるＡＲマーカのサイズが第１の基準サイズより小さい間は撮像画像を拡大させ、撮影画像に含まれるＡＲマーカのサイズが第２の基準サイズより大きい間は撮像画像を縮小させる指示情報を出力してＡＲマーカのサイズを第１の基準サイズと第２の基準サイズの範囲内に制御してもよい。

なお、カメラ指示出力部７４は、撮像画像に複数のＡＲマーカが含まれる場合、複数のＡＲマーカの何れかのＡＲマーカを指定する操作を受け付ける。そして、カメラ指示出力部７４は、指定された何れかのＡＲマーカのサイズが第１の基準サイズと第２の基準サイズの範囲内となる倍率を求めて当該倍率の指示情報をヘッドマウントディスプレイ１３に出力してもよい。ＡＲマーカを指定する操作は、操作入力を受け付ける入力部から行ってよい。また、ヘッドマウントディスプレイ１３にユーザの視線を検出する視線検出部を設けて、ヘッドマウントディスプレイ１３にユーザの視線情報を端末装置１２へ送信させる。カメラ指示出力部７４は、ユーザの視線情報からユーザの視線の方向に対応するＡＲマーカを指定されたＡＲマーカとしてカメラ２２の倍率の制御を行ってもよい。また、カメラ指示出力部７４は、撮像画像に複数のＡＲマーカが含まれる場合、撮影画像の中心に最も近いＡＲマーカを指定されたＡＲマーカとしてカメラ２２の倍率の制御を行ってもよい。また、カメラ指示出力部７４は、撮像画像に対して範囲を設定し、設定された所定範囲内に含まれるＡＲマーカを指定されたＡＲマーカとしてカメラ２２の倍率の制御を行ってもよい。

これにより、ヘッドマウントディスプレイ１３では、カメラ２２により撮影される撮影画像に含まれるＡＲマーカのサイズが基準サイズとなり、ＡＲコンテンツが適切なサイズで表示されるため、ＡＲコンテンツの視認性の低下を抑制できる。

次に、本実施例に係る端末装置１２がＡＲコンテンツの表示を制御する表示制御処理の流れを説明する。図８は、表示制御処理の手順の一例を示すフローチャートである。この表示制御処理は、所定のタイミング、例えば、端末装置１２でＡＲの処理開始を指示する所定操作が行われたタイミングで実行される。なお、ヘッドマウントディスプレイ１３から撮影画像の画像データを受信したタイミングで実行されてもよい。

図８に示すように、ＡＲ処理部７２は、ヘッドマウントディスプレイ１３から撮影画像の画像データを受信したか否かを判定する（Ｓ１０）。画像データを受信していない場合（Ｓ１０否定）、後述するＳ２４へ移行する。

一方、画像データを受信した場合（Ｓ１０肯定）、ＡＲ処理部７２は、画像データが示す撮影画像に対して、ＡＲマーカの検出を行う（Ｓ１１）。ＡＲ処理部７２は、ＡＲマーカが検出されたか否かを判定する（Ｓ１２）。ＡＲマーカが検出されない場合（Ｓ１２否定）、ＡＲ処理部７２は、撮影画像の画像データをヘッドマウントディスプレイ１３に出力し、後述するＳ２４へ移行する。

一方、ＡＲマーカが検出された場合（Ｓ１２肯定）、ＡＲ処理部７２は、撮影画像内での検出されたＡＲマーカのサイズを特定する（Ｓ１３）。カメラ指示出力部７４は、ＡＲマーカのサイズが第１の基準サイズと第２の基準サイズの範囲内であるか判定する（Ｓ１４）。ＡＲマーカのサイズが範囲内である場合（Ｓ１４肯定）、後述するＳ１８へ移行する。

一方、ＡＲマーカのサイズが範囲内ではない場合（Ｓ１４否定）、ＡＲ処理部７２は、ＡＲマーカのサイズが第１の基準サイズよりも小さいか判定する（Ｓ１５）。ＡＲマーカのサイズが基準サイズの範囲よりも小さい場合（Ｓ１５肯定）、ＡＲ処理部７２は、カメラ２２がズームイン可能かを判定する（Ｓ１６）。例えば、カメラ指示出力部７４は、撮影画像に含まれるＡＲマーカのサイズが基準サイズの範囲内となる倍率を求める。例えば、カメラ指示出力部７４は、ＡＲマーカのサイズをｙとし、基準サイズの範囲の中心をｘとした場合、ｘ／ｙを倍率として求める。カメラ指示出力部７４は、求めた倍率が、ヘッドマウントディスプレイ１３のカメラ２２の倍率の変更可能な範囲内である場合、カメラ２２がズームイン可能と判定する。なお、カメラ指示出力部７４は、ＡＲマーカのサイズが第１の基準サイズと第２の基準サイズの範囲内ではない場合、ＡＲマーカのサイズが範囲内となるように倍率を段階的に変えた指示情報をカメラ２２へ送信してもよい。この場合、カメラ指示出力部７４は、指示した倍率がカメラ２２の倍率の変更可能な範囲の上限に達していない場合、カメラ２２がズームイン可能と判定してもよい。

カメラ２２がズームイン可能な場合（Ｓ１６肯定）、カメラ指示出力部７４は、ズームインの指示情報をヘッドマウントディスプレイ１３に出力する（Ｓ１７）。例えば、カメラ指示出力部７４は、求めた倍率の指示情報をヘッドマウントディスプレイ１３に出力する。そして、ＡＲ処理部７２は、ＡＲコンテンツを撮影画像に重畳した重畳画像の画像データを生成する（Ｓ１８）。

一方、カメラ２２がズームイン可能ではない場合（Ｓ１６否定）、ＡＲ処理部７２は、ユーザに対して対象物に近づくように警告メッセージとＡＲコンテンツを撮影画像に重畳した重畳画像の画像データを生成する（Ｓ１９）。

一方、ＡＲマーカのサイズが第１の基準サイズよりも小さくない場合（Ｓ１５否定）、ＡＲマーカのサイズが第２の基準サイズよりも大きい。この場合、ＡＲ処理部７２は、カメラ２２がズームアウト可能かを判定する（Ｓ２０）。例えば、カメラ指示出力部７４は、撮影画像に含まれるＡＲマーカのサイズが第１の基準サイズと第２の基準サイズの範囲内となる倍率ｘ／ｙを求める。カメラ指示出力部７４は、求めた倍率ｘ／ｙが、ヘッドマウントディスプレイ１３のカメラ２２の倍率の変更可能な範囲内である場合、カメラ２２がズームアウト可能と判定する。なお、カメラ指示出力部７４は、ＡＲマーカのサイズが第１の基準サイズと第２の基準サイズの範囲内ではない場合、ＡＲマーカのサイズが範囲内となるように倍率を段階的に変えた指示情報をカメラ２２へ送信してもよい。この場合、カメラ指示出力部７４は、指示した倍率がカメラ２２の倍率の変更可能な範囲の下限に達していない場合、カメラ２２がズームアウト可能と判定してもよい。

カメラ２２がズームアウト可能な場合（Ｓ２０肯定）、カメラ指示出力部７４は、ズームアウトの指示情報をヘッドマウントディスプレイ１３に出力する（Ｓ２１）。例えば、カメラ指示出力部７４は、求めた倍率ｘ／ｙの指示情報をヘッドマウントディスプレイ１３に出力し、上述のＳ１８へ移行する。

一方、カメラ２２がズームアウト可能ではない場合（Ｓ２０否定）、ＡＲ処理部７２は、ユーザに対して対象物から離れるように警告メッセージとＡＲコンテンツを撮影画像に重畳した重畳画像の画像データを生成する（Ｓ２２）。

ＡＲ処理部７２は、上述のＳ１８、Ｓ１９またはＳ２２で生成した画像データをヘッドマウントディスプレイ１３に出力する（Ｓ２３）。

ＡＲ処理部７２は、処理を終了するか否かを判定する（Ｓ２４）。例えば、ＡＲ処理部７２は、処理終了の所定の指示操作を受け付けた場合、処理を終了すると判定する。処理を終了すると判定された場合（Ｓ２４肯定）、処理を終了する。

一方、処理を終了ではない場合（Ｓ２４否定）、上述のＳ１０へ移行する。

このように、本実施例に係る端末装置１２は、カメラ２２により撮像された撮像画像に基準物（ＡＲマーカ）が含まれることを検出すると、該基準物に応じたオブジェクトデータ（ＡＲコンテンツ）を、該基準物のサイズに応じたサイズで表示部２１に表示する表示制御を行う。端末装置１２は、カメラ２２に含まれる基準物のサイズが基準サイズ（第１の基準サイズ）より小さい場合、ズーム制御によりカメラ２２の撮像画像を拡大させる指示をカメラ２２に出力する。これにより、端末装置１２は、基準物から離れた位置から撮影画像が撮影された場合でも、基準物に対応して表示されるオブジェクトデータの視認性の低下を抑制できる。

また、本実施例に係る端末装置１２は、撮像画像を拡大させる指示として、拡大された撮像画像における基準物のサイズが所定サイズ範囲内となるようにする指示する。これにより、端末装置１２は、撮像画像における基準物のサイズが所定サイズ範囲内となるため、基準物のサイズに対応して表示されるオブジェクトデータの視認性の低下を抑制できる。

また、本実施例に係る端末装置１２は、撮像画像に含まれる基準物のサイズが基準サイズよりも大きい他の基準サイズより大きい（第２の基準サイズ）より大きい場合、ズーム制御によりカメラ２２の撮像画像を縮小させる指示をカメラ２２に出力する。これにより、端末装置１２は、基準物に近い位置から撮影画像が撮影された場合でも、基準物に対応して表示されるオブジェクトデータの視認性の低下を抑制できる。

また、本実施例に係る端末装置１２は、撮像画像を縮小させる指示として、縮小された撮像画像における基準物のサイズが所定サイズ範囲内となるようにする指示する。これにより、端末装置１２は、撮像画像における基準物のサイズが所定サイズ範囲内となるため、基準物のサイズに対応して表示されるオブジェクトデータの視認性の低下を抑制できる。

また、本実施例に係る端末装置１２は、撮像画像に複数の基準物が含まれ、複数の基準物の何れかの基準物を指定する操作を受け付ける。端末装置１２は、撮像画像に含まれる指定された何れかの基準物のサイズが基準サイズより小さい場合、ズーム制御によりカメラ２２の撮像画像を拡大させる指示をカメラ２２に出力する。これにより、端末装置１２は、撮像画像に複数の基準物が含まれる場合でも、指定された基準物のサイズに対応して表示されるオブジェクトデータの視認性の低下を抑制できる。

また、本実施例に係る端末装置１２は、撮像画像に複数の基準物が含まれ、複数の基準物の何れかの基準物を指定する操作を受け付ける。端末装置１２は、撮像画像に含まれる指定された何れかの基準物のサイズが他の基準サイズより大きい場合、ズーム制御によりカメラ２２の撮像画像を縮小させる指示をカメラ２２に出力する。これにより、端末装置１２は、撮像画像に複数の基準物が含まれる場合でも、指定された基準物のサイズに対応して表示されるオブジェクトデータの視認性の低下を抑制できる。

また、本実施例に係る端末装置１２は、撮像画像に複数の基準物が含まれる場合、複数の基準物のうち、撮像画像に設定された所定範囲内に含まれる基準物のサイズが基準サイズより小さい場合、ズーム制御によりカメラ２２の撮像画像を拡大させる指示をカメラ２２に出力する。これにより、端末装置１２は、撮像画像の所定範囲に含まれる基準物のサイズに対応して表示されるオブジェクトデータの視認性の低下を抑制できる。

また、本実施例に係る端末装置１２は、撮像画像に複数の基準物が含まれる場合、複数の基準物のうち、撮像画像に設定された所定範囲内に含まれる基準物のサイズが他の基準サイズより大きい場合、ズーム制御によりカメラ２２の撮像画像を縮小させる指示をカメラ２２に出力する。これにより、端末装置１２は、撮像画像の所定範囲に含まれる基準物のサイズに対応して表示されるオブジェクトデータの視認性の低下を抑制できる。

さて、これまで開示の装置に関する実施例について説明したが、開示の技術は上述した実施例以外にも、種々の異なる形態にて実施されてよい。そこで、以下では、本発明に含まれる他の実施例を説明する。

例えば、上記の実施例では、端末装置１２によりヘッドマウントディスプレイ１３のカメラ２２の倍率を制御する場合を例に説明したが、開示の装置はこれに限定されない。例えば、ヘッドマウントディスプレイ１３がカメラ２２の撮影画像の画像データをＡＲサーバ１１へ送信し、ＡＲサーバ１１がＡＲコンテンツの合成およびカメラ２２の倍率の制御を行ってもよい。また、ヘッドマウントディスプレイ１３にＡＲコンテンツのオブジェクトデータ等をダウンロードして、ヘッドマウントディスプレイ１３においてＡＲコンテンツの合成およびカメラ２２の倍率の制御を行ってもよい。

また、上記の実施例では、光学的にカメラ２２の倍率を変える場合を例に説明したが、開示の装置はこれに限定されない。例えば、撮影画像に対するデジタル処理により、撮影画像の一部分を拡大、撮影画像の全体を縮小させることによりデジタル的に倍率を変えてもよい。

また、上記の実施例では、カメラ２２の倍率を変える場合を例に説明したが、開示の装置はこれに限定されない。例えば、カメラ２２に撮影方向を変更可能な機構を設ける。そして、端末装置１２が基準物が撮影画像内で中央となるようにカメラ２２の撮影方向の変更の指示をヘッドマウントディスプレイ１３に出力してカメラ２２の撮影方向を変更させてもよい。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的状態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、端末装置１２の受付部７０、格納部７１、ＡＲ処理部７２、画像出力部７３およびカメラ指示出力部７４の各処理部が適宜統合されてもよい。さらに、各処理部にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

［表示制御プログラム］
また、上記の実施例で説明した各種の処理は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータシステムで実行することによって実現することもできる。そこで、以下では、上記の実施例と同様の機能を有するプログラムを実行するコンピュータシステムの一例を説明する。図９は、表示制御プログラムを実行するコンピュータの一例を示す図である。

図９に示すように、コンピュータ３００は、ＣＰＵ（Central Processing Unit）３１０、ＨＤＤ（Hard Disk Drive）３２０、ＲＡＭ（Random Access Memory）３４０を有する。これら３００〜３４０の各部は、バス４００を介して接続される。

ＨＤＤ３２０には上記の受付部７０、格納部７１、ＡＲ処理部７２、画像出力部７３およびカメラ指示出力部７４と同様の機能を発揮する表示制御プログラム３２０Ａが予め記憶される。なお、表示制御プログラム３２０Ａについては、適宜分離してもよい。

また、ＨＤＤ３２０は、各種情報を記憶する。例えば、ＨＤＤ３２０は、ＯＳや各種の処理に用いる各種データを記憶する。

そして、ＣＰＵ３１０が、表示制御プログラム３２０ＡをＨＤＤ３２０から読み出して実行することで、実施例の各処理部と同様の動作を実行する。すなわち、表示制御プログラム３２０Ａは、受付部７０、格納部７１、ＡＲ処理部７２、画像出力部７３およびカメラ指示出力部７４と同様の動作を実行する。

なお、上記した表示制御プログラム３２０Ａは、必ずしも最初からＨＤＤ３２０に記憶させることを要しない。

また、例えば、表示制御プログラム３２０Ａは、コンピュータ３００に挿入されるＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」にプログラムを記憶させてもよい。そして、コンピュータ３００がこれらからプログラムを読み出して実行するようにしてもよい。

さらには、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ３００に接続される「他のコンピュータ（またはサーバ）」などにプログラムを記憶させておく。そして、コンピュータ３００がこれらからプログラムを読み出して実行するようにしてもよい。

１０ システム
１１ ＡＲサーバ
１２ 端末装置
１３ ヘッドマウントディスプレイ
２１ 表示部
２２ カメラ
２３ 記憶部
２４ 制御部
３０ 撮影制御部
３１ 通信制御部
３２ 表示制御部
５１ 記憶部
５２ 制御部
６０ コンテンツデータ
６１ コンテンツ管理テーブル
７０ 受付部
７１ 格納部
７２ ＡＲ処理部
７３ 画像出力部
７４ カメラ指示出力部

Claims (10)

1. 撮像装置により撮像された撮像画像に基準物が含まれることを検出すると、該基準物に応じたオブジェクトデータを、該基準物のサイズに応じたサイズで表示部に表示する表示制御方法において、
   前記撮像画像に含まれる前記基準物のサイズが基準サイズより小さい場合、ズーム制御により前記撮像装置の撮像画像を拡大させる指示を前記撮像装置に出力する、
   処理をコンピュータが実行することを特徴とする表示制御方法。
2. 前記撮像画像を拡大させる指示は、拡大された前記撮像画像における前記基準物のサイズが所定サイズ範囲内となるようにする指示である、
   ことを特徴とする請求項１に記載の表示制御方法。
3. 前記撮像画像に含まれる前記基準物のサイズが前記基準サイズよりも大きい他の基準サイズより大きい場合、ズーム制御により前記撮像装置の撮像画像を縮小させる指示を前記撮像装置に出力する、
   ことを特徴とする請求項１又は２に記載の表示制御方法。
4. 前記撮像画像を縮小させる指示は、縮小された前記撮像画像における前記基準物のサイズが所定サイズ範囲内となるようにする指示である、
   ことを特徴とする請求項３に記載の表示制御方法。
5. 前記撮像画像に複数の基準物が含まれ、前記複数の基準物の何れかの基準物を指定する操作を受け付け、
   前記撮像画像に含まれる前記何れかの基準物のサイズが前記基準サイズより小さい場合、ズーム制御により前記撮像装置の撮像画像を拡大させる指示を前記撮像装置に出力する、
   ことを特徴とする請求項１又は２に記載の表示制御方法。
6. 前記撮像画像に複数の基準物が含まれ、前記複数の基準物の何れかの基準物を指定する操作を受け付け、
   前記撮像画像に含まれる前記何れかの基準物のサイズが前記他の基準サイズより大きい場合、ズーム制御により前記撮像装置の撮像画像を縮小させる指示を前記撮像装置に出力する、
   ことを特徴とする請求項３又は４に記載の表示制御方法。
7. 前記撮像画像に複数の基準物が含まれる場合、前記複数の基準物のうち、前記撮像画像に設定された所定範囲内に含まれる基準物のサイズが前記基準サイズより小さい場合、ズーム制御により前記撮像装置の撮像画像を拡大させる指示を前記撮像装置に出力する、
   ことを特徴とする請求項１又は２に記載の表示制御方法。
8. 前記撮像画像に複数の基準物が含まれる場合、前記複数の基準物のうち、前記撮像画像に設定された所定範囲内に含まれる基準物のサイズが前記他の基準サイズより大きい場合、ズーム制御により前記撮像装置の撮像画像を縮小させる指示を前記撮像装置に出力する、
   ことを特徴とする請求項３又は４に記載の表示制御方法。
9. 撮像装置により撮像された撮像画像に基準物が含まれることを検出すると、前記基準物に応じたオブジェクトデータを、該基準物のサイズに応じたサイズで表示部に表示する表示制御プログラムにおいて、
   前記撮像画像に含まれる前記基準物のサイズが基準サイズより小さい場合、ズーム制御により前記撮像装置の撮像画像を拡大させる指示を前記撮像装置に出力する、
   処理をコンピュータに実行させることを特徴とする表示制御プログラム。
10. 撮像装置により撮像された撮像画像に基準物が含まれることを検出すると、前記基準物に応じたオブジェクトデータを、該基準物のサイズに応じたサイズで表示部に表示する情報処理装置において、
    前記撮像画像に含まれる前記基準物のサイズが基準サイズより小さい場合、ズーム制御により前記撮像装置の撮像画像を拡大させる指示を前記撮像装置に出力する出力部
    を有することを特徴とする情報処理装置。

Images