JP2023011219A - Ａｒ表示管理装置、ａｒ表示管理方法、プログラム及び記録媒体 - Google Patents

Abstract

【課題】 ユーザが容易にＡＲ技術を用いることができ、ＡＲ技術提供者の手間を省くことが可能なＡＲ表示管理装置を提供する。
【解決手段】 本発明のＡＲ表示管理装置１０において、撮像部１１は、特定エリア内に設置された基準マーカーを撮像し、軌跡記録部１２は、前記基準マーカーを撮像した後の軌跡を記録し、マップ情報生成部１３は、前記軌跡に基づき、マップ情報を生成し、表示位置指定部１４は、ユーザの操作により、仮想画像を表示する位置を指定し、マップ情報管理部１５は、前記マップ情報内に前記仮想画像を表示する位置を記録して管理する。
【選択図】 図１

Description

本発明は、ＡＲ表示管理装置、ＡＲ表示管理方法、プログラム及び記録媒体に関する。

近年、ＡＲ（Augmented Reality：拡張現実感）技術が普及している。特許文献１には、端末がＡＲマーカを撮像すると、端末が撮像した画像に表示用データを重畳して、前記画像をディスプレイ上に表示する技術が開示されている。

特開２０１７－１９１２４５号公報

しかしながら、ＡＲ技術を用いた処理を行うには、予め、ＡＲ技術を使用したいユーザが、マップ情報及び仮想画像（ＡＲ技術により表示される画像）と紐づけて、ＡＲマーカーの設置場所を外部のＡＲ技術提供者に送信する必要がある。このため、ユーザは、容易にＡＲ技術を使用することができないという問題がある。また、ＡＲ技術提供者は、マップ情報、仮想画像、及びＡＲマーカーの設置場所をそれぞれ紐づけて管理する必要があり、手間である。

そこで、本発明は、ユーザが容易にＡＲ技術を用いることができ、ＡＲ技術提供者の手間を省くことが可能なＡＲ表示管理装置、ＡＲ表示管理方法、プログラム及び記録媒体を提供することを目的とする。

前記目的を達成するために、本発明のＡＲ表示管理装置は、
撮像部、軌跡記録部、マップ情報生成部、表示位置指定部、及びマップ情報管理部を含み、
前記撮像部は、特定エリア内に設置された基準マーカーを撮像し、
前記軌跡記録部は、前記基準マーカーを撮像した後の軌跡を記録し、
前記マップ情報生成部は、前記軌跡に基づき、マップ情報を生成し、
前記表示位置指定部は、ユーザの操作により、仮想画像を表示する位置を指定し、
前記マップ情報管理部は、前記マップ情報内に前記仮想画像を表示する位置を記録して管理する、装置である。

本発明のＡＲ表示管理方法は、
撮像工程、軌跡記録工程、マップ情報生成工程、表示位置指定工程、及びマップ情報管理工程を含み、
前記撮像工程は、特定エリア内に設置された基準マーカーを撮像し、
前記軌跡記録工程は、前記基準マーカーを撮像した後の軌跡を記録し、
前記マップ情報生成工程は、前記軌跡に基づき、マップ情報を生成し、
前記表示位置指定工程は、ユーザの操作により、仮想画像を表示する位置を指定し、
前記マップ情報管理工程は、前記マップ情報内に前記仮想画像を表示する位置を記録して管理する、方法である。

本発明によれば、ユーザが容易にＡＲ技術を用いることができ、ＡＲ技術提供者の手間を省くことができる。

図１は、実施形態１のＡＲ表示管理装置の一例の構成を示すブロック図である。 図２は、実施形態１のＡＲ表示管理装置のハードウエア構成の一例を示すブロック図である。 図３は、実施形態１のＡＲ表示管理装置における処理の一例を示すフローチャートである。 図４は、実施形態２のＡＲ表示管理装置における処理の一例を示すフローチャートである。 図５は、ユーザ端末と仮想画像の位置情報との位置関係の一例を示す模式図である。 図６は、前記ユーザ端末のディスプレイ上に表示される合成画像の一例を示す模式図である。 図７Ａは、ユーザ端末のディスプレイ上に表示される画面の遷移の一例を示す模式図である。 図７Ｂは、ユーザ端末のディスプレイ上に表示される画面の遷移の一例を示す模式図である。 図７Ｃは、ユーザ端末のディスプレイ上に表示される画面の遷移の一例を示す模式図である。 図７Ｄは、ユーザ端末のディスプレイ上に表示される画面の遷移の一例を示す模式図である。

本発明のＡＲ表示管理装置は、例えば、
さらに、合成画像情報出力部を含み、
前記合成画像情報出力部は、前記撮像部により撮像された撮像画像内に前記仮想画像を重畳した合成画像を出力する、という態様であってもよい。

本発明のＡＲ表示管理装置において、例えば、
前記表示位置指定部は、ドラッグ操作により、前記撮像画像内に重畳された前記仮想画像の表示位置を上下左右方向に移動して指定可能であり、且つピンチ操作により、前記撮像画像内に重畳された前記仮想画像の表示位置を奥行方向に移動して指定可能である、という態様であってもよい。

本発明のＡＲ表示管理装置は、例えば、
さらに、仮想画像生成部を含み、
前記仮想画像生成部は、属性情報を含む前記仮想画像を生成する、という態様であってもよい。

本発明のＡＲ表示管理方法は、例えば、
さらに、合成画像情報出力工程を含み、
前記合成画像情報出力工程は、前記撮像工程により撮像された撮像画像内に前記仮想画像を重畳した合成画像を出力する、という態様であってもよい。

本発明のＡＲ表示管理方法において、例えば、
前記表示位置指定工程は、ドラッグ操作により、前記撮像画像内に重畳された前記仮想画像の表示位置を上下左右方向に移動して指定可能であり、且つピンチ操作により、前記撮像画像内に重畳された前記仮想画像の表示位置を奥行方向に移動して指定可能である、という態様であってもよい。

本発明のＡＲ表示管理方法は、例えば、
さらに、仮想画像生成工程を含み、
前記仮想画像生成工程は、属性情報を含む前記仮想画像を生成する、という態様であってもよい。

本発明のプログラムは、本発明の方法の各工程を、手順として、コンピュータに実行させるためのプログラムである。

本発明の記録媒体は、本発明のプログラムを記録しているコンピュータ読み取り可能な記録媒体である。

次に、本発明の実施形態について図を用いて説明する。本発明は、以下の実施形態には限定されない。以下の各図において、同一部分には、同一符号を付している。また、各実施形態の説明は、特に言及がない限り、互いの説明を援用でき、各実施形態の構成は、特に言及がない限り、組合せ可能である。

［実施形態１］
図１は、本実施形態のＡＲ表示管理装置１０の一例の構成を示すブロック図である。図１に示すように、本装置１０は、撮像部１１、軌跡記録部１２、マップ情報生成部１３、表示位置指定部１４、及びマップ情報管理部１５を含む。また、本装置１０は、例えば、任意の構成として、さらに、合成画像情報出力部１６、仮想画像生成部１７を含んでもよい。本実施形態における処理は、例えば、編集モードともいう。

本装置１０は、例えば、前記各部を含む１つの装置でもよいし、前記各部が、通信回線網を介して接続可能な装置でもよい。また、本装置１０は、前記通信回線網を介して、後述する外部装置と接続可能である。前記通信回線網は、特に制限されず、公知のネットワークを使用でき、例えば、有線でも無線でもよい。前記通信回線網は、例えば、インターネット回線、ＷＷＷ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）、電話回線、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＳＡＮ（Ｓｔｏｒａｇｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＤＴＮ（Ｄｅｌａｙ Ｔｏｌｅｒａｎｔ Ｎｅｔｗｏｒｋｉｎｇ）、ＬＰＷＡ（Ｌｏｗ Ｐｏｗｅｒ Ｗｉｄｅ Ａｒｅａ）、Ｌ５Ｇ（ローカル５Ｇ）、等があげられる。無線通信としては、例えば、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ローカル５Ｇ、ＬＰＷＡ等が挙げられる。前記無線通信としては、各装置が直接通信する形態（Ａｄ Ｈｏｃ通信）、インフラストラクチャ（infrastructure通信）、アクセスポイントを介した間接通信等であってもよい。本装置１０は、例えば、システムとしてサーバに組み込まれていてもよい。また、本装置１０は、例えば、本発明のプログラムがインストールされたパーソナルコンピュータ（ＰＣ、例えば、デスクトップ型、ノート型）、スマートフォン、タブレット端末等であってもよい。さらに、本装置１０は、例えば、前記各部のうち少なくとも一つがサーバ上にあり、その他の前記各部が端末上にあるような、クラウドコンピューティングやエッジコンピューティング等の形態であってもよい。

図２に、本装置１０のハードウエア構成のブロック図を例示する。本装置１０は、例えば、中央処理装置（ＣＰＵ、ＧＰＵ等）１０１、メモリ１０２、バス１０３、記憶装置１０４、入力装置１０５、表示装置１０６、通信デバイス１０７、撮像装置１０８、音入出力装置１０９等を含む。本装置１０の各部は、それぞれのインタフェース（Ｉ／Ｆ）により、バス１０３を介して相互に接続されている。

中央処理装置１０１は、本装置１０の全体の制御を担う。本装置１０において、中央処理装置１０１により、例えば、本発明のプログラムやその他のプログラムが実行され、また、各種情報の読み込みや書き込みが行われる。具体的には、例えば、中央処理装置１０１が、軌跡記録部１２、マップ情報生成部１３、表示位置指定部１４、マップ情報管理部１５、合成画像情報出力部１６、及び仮想画像生成部１７として機能する。

バス１０３は、例えば、外部装置とも接続できる。前記外部装置は、例えば、外部記憶装置（外部データベース等）、プリンター、外部入力装置、外部表示装置、外部撮像装置等があげられる。本装置１０は、例えば、バス１０３に接続された通信デバイス１０７により、外部ネットワーク（前記通信回線網）に接続でき、外部ネットワークを介して、他の装置と接続することもできる。

メモリ１０２は、例えば、メインメモリ（主記憶装置）が挙げられる。中央処理装置１０１が処理を行う際には、例えば、後述する記憶装置１０４に記憶されている本発明のプログラム等の種々の動作プログラムを、メモリ１０２が読み込み、中央処理装置１０１は、メモリ１０２からデータを受け取って、プログラムを実行する。前記メインメモリは、例えば、ＲＡＭ（ランダムアクセスメモリ）である。また、メモリ１０２は、例えば、ＲＯＭ（読み出し専用メモリ）であってもよい。

記憶装置１０４は、例えば、前記メインメモリ（主記憶装置）に対して、いわゆる補助記憶装置ともいう。前述のように、記憶装置１０４には、本発明のプログラムを含む動作プログラムが格納されている。記憶装置１０４は、例えば、記録媒体と、記録媒体に読み書きするドライブとの組合せであってもよい。前記記録媒体は、特に制限されず、例えば、内蔵型でも外付け型でもよく、ＨＤ（ハードディスク）、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ、ＭＯ、ＤＶＤ、フラッシュメモリー、メモリーカード等が挙げられる。記憶装置１０４は、例えば、記録媒体とドライブとが一体化されたハードディスクドライブ（ＨＤＤ）、及びソリッドステートドライブ（ＳＳＤ）であってもよい。

本装置１０において、メモリ１０２及び記憶装置１０４は、ログ情報、外部データベース（図示せず）や外部の装置から取得した情報、本装置１０によって生成した情報、本装置１０が処理を実行する際に用いる情報等の種々の情報を記憶することも可能である。なお、少なくとも一部の情報は、例えば、メモリ１０２及び記憶装置１０４以外の外部サーバに記憶されていてもよいし、複数の端末にブロックチェーン技術等を用いて分散して記憶されていてもよい。

本装置１０は、例えば、さらに、入力装置１０５、表示装置１０６、撮像装置１０８、及び音入出力装置１０９を含んでもよい。入力装置１０５は、例えば、タッチパネル、キーボード、マウス等である。表示装置１０６は、例えば、ＬＥＤディスプレイ、液晶ディスプレイ等が挙げられる。撮像装置１０８は、例えば、２Ｄカメラ、３Ｄカメラ、赤外線カメラ等が挙げられ、撮像部１１として機能する。音入出力装置１０９は、例えば、マイク、スピーカー等が挙げられる。

つぎに、本実施形態のＡＲ表示管理方法の一例を、図３のフローチャートに基づき説明する。本実施形態のＡＲ表示管理方法は、例えば、図１のＡＲ表示管理装置１０を用いて、次のように実施する。なお、本実施形態のＡＲ表示管理方法は、図１のＡＲ表示管理装置１０の使用には限定されない。なお、図３において、括弧にて示した工程は、任意の工程であり、処理されなくともよい。

まず、撮像部１１により、特定エリア内に設置された基準マーカーを撮像する（Ｓ１１）。前記特定エリアは、屋内であっても屋外であってもよい。前記屋内としては、例えば、展示会場、イベント会場、デパート、大学等の学校等がある。前記屋外としては、例えば、公園、浜辺、山道、町中、商店街等がある。前記基準マーカーは、後述するように、仮想情報を表示する位置を指定するための標識となるマーカーであり、特定のパターンが印字されている。具体的に、前記基準マーカーは、例えば、ＡＲマーカー、ＱＲコード（登録商標）、バーコード、等の形式であってもよい。撮像部１１は、例えば、前記基準マーカーを撮像した後も前記特定エリア内の撮像を継続してもよい。以下、撮像部１１により前記特定エリア内を撮像した画像を撮像画像ともいう。前記撮像画像は、例えば、表示装置１０６に表示される。前記撮像画像は、静止画であってもよいし、動画であってもよい。

次に、軌跡記録部１２により、前記基準マーカーを撮像した後の軌跡を記録する（Ｓ１２）。本装置１０は、例えば、ＡＲ技術を使用したいユーザに携帯されることで移動する。軌跡記録部１２による記録は、例えば、後述の表示位置指定部１４による指定が終了するまで継続して行われる。軌跡記録部１２は、例えば、加速度センサ等の各種センサを用いることで前記軌跡を推定可能である。すなわち、前記軌跡が本装置１０（前記ユーザが携帯する端末。以下、ユーザ端末ともいう）の位置情報となり得る。また、軌跡記録部１２は、例えば、前記基準マーカーを撮像したことを認識し、前記認識に成功した後に、前記軌跡を記録してもよい。さらに、軌跡記録部１２は、例えば、前記軌跡と紐づけて、撮像部１１による撮像方向を記録してもよい。以下、特に言及しない限り、前記撮像方向が紐づけられている前記軌跡を各処理に用いることもできる。

次に、マップ情報生成部１３により、前記軌跡に基づき、マップ情報を生成する（Ｓ１３）。前記マップ情報は、例えば、座標情報を含んでもよい。前記座標情報は、例えば、横（ｘ）及び奥行き（ｙ）の値から構成される二次元的な座標情報（ｘ、ｙ）であってもよいし、さらに、高さ（ｚ）の値も含む三次元的な座標情報（ｘ、ｙ、ｚ）であってもよい。また、前記マップ情報は、例えば、前記基準マーカーの設置位置、すなわち、前記基準マーカーを撮像した位置の情報を含む。

次に、表示位置指定部１４により、ユーザの操作により、仮想画像を表示する位置を指定する（Ｓ１４）。以下、前記位置を表示位置ともいう。前記表示位置は、前記マップ情報上の座標情報と対応付けられる。前記ユーザの操作は、特に制限されず、例えば、入力装置１０５を用いた操作であってもよいし、タッチディスプレイ（表示装置１０６）に対する操作であってもよい。表示位置指定部１４は、例えば、軌跡記録部１２により特定されるユーザ端末１０の現在地点及び前記現在地点における撮像方向を前記表示位置としてもよいし、表示装置１０６に表示された前記撮像画像内の任意の地点を前記表示位置としてもよい。後者の場合、前記ユーザは、例えば、タッチディスプレイ上に表示された撮像画像を見て、前記仮想画像を表示したい位置をタップする。表示位置指定部１４は、例えば、仮想画像毎に前記表示位置を指定してもよい。

前記仮想画像は、前記撮像画像に重畳される画像である。具体的に、前記仮想画像は、例えば、前記特定エリアの対象物毎の仮想画像を含む。前記対象物は、特に制限されず、任意に設定でき、人工物であってもよいし、自然のものであってもよい。前記人工物としては、例えば、施設、展示ブース、テナント、教室等が挙げられる。前記自然のものとしては、例えば、山、海、岩等が挙げられる。前記対象物毎の仮想画像は、例えば、前記対象物の位置画像を含み、前記位置画像は前記対象物毎に互いに紐づけられている。前記位置画像は、例えば、前記対象物に関連する画像である。前記仮想画像は、例えば、予め、メモリ１０２や記憶装置１０４に記憶されていてもよいし、外部のデータベースから前記通信回線網を介して前記仮想画像を取得してもよいし、後述の仮想画像生成部１７により前記仮想画像を生成してもよい。

また、前記仮想画像は、さらに、前記対象物の詳細情報画像を含んでもよい。この場合、前記対象物の位置画像及び前記詳細情報画像は前記対象物毎に互いに紐づけられている。そして、後述の画像情報出力部１６は、例えば、さらに、前記撮像画像内にウインドウ部を設け、前記ウインドウ部に前記撮像画像内に存在する前記対象物の位置画像と紐づけられている前記詳細情報画像を重畳する。前記ウインドウ部は、例えば、複数の前記詳細情報画像を遷移可能な画面で表示可能である。前記詳細情報画像は、例えば、１層又は２層以上の階層構造の画像である。前記詳細情報画像が１層又は２層以上の階層構造の画像である場合、前記ウインドウ部は、例えば、前記詳細情報画像を階層毎の画像を遷移可能な画面で表示可能である。具体的に、前記詳細情報画像は、例えば、前記対象物の詳細情報に基づく画像であり、１つの前記対象物の位置画像に対し、１つの前記詳細情報画像が紐づけられていてもよいし、２つの前記詳細情報画像が紐づけられていてもよい。

そして、マップ情報管理部１５により、前記マップ情報内に前記仮想画像を表示する位置を記録して管理し（Ｓ１５）、終了する（ＥＮＤ）。すなわち、マップ情報管理部１５によれば、前記基準マーカーの設置位置と前記仮想画像の表示位置との位置関係が紐づけられることになる。

また、前述のように、本装置１０は、合成画像情報出力部１６を含んでもよい。合成画像情報出力部１６は、撮像部１１により撮像された撮像画像内に前記仮想画像を重畳した合成画像を出力する（Ｓ１６）。図３において、前記工程（Ｓ１６）は、前記工程（Ｓ１４）の前に実行する一例を示すが、これに限定されず、前記工程（Ｓ１４）の後に実行されてもよい。前記工程（Ｓ１４）の前に実行する場合、合成画像情報出力部１６は、例えば、前記撮像画像の中央部分等の任意の場所に前記仮想画像を重畳してもよい。前記工程（Ｓ１４）の後に実行する場合、合成画像情報出力部１６は、例えば、前記表示位置に前記仮想画像を重畳してもよい。

合成画像情報出力部１６を含む場合、表示位置指定部１４は、ドラッグ操作により、前記撮像画像内に重畳された前記仮想画像の表示位置を上下左右方向に移動して指定可能であり、且つピンチ操作により、前記撮像画像内に重畳された前記仮想画像の表示位置を奥行方向に移動して指定可能であってもよい。すなわち、前記工程（Ｓ１６）は、図３に示すように、前記工程（Ｓ１４）の前に実行される。前記ピンチ操作には、例えば、ピンチアウト及びピンチインがあり、ピンチアウト操作を行うと前記表示位置を手前に移動可能であり、ピンチイン操作を行うと前記表示位置を奥に移動可能である。これによれば、ユーザは、前記表示位置を視覚的に認識しながら指定できる。また、前記ピンチ操作の際に、ユーザが本装置１０を上方向又は下方向に傾けることで、撮像部１１によって撮像される撮像画像に奥行きが表現される。このため、ユーザは、三次元的に前記仮想画像の表示位置を指定できる。すなわち、前記ユーザは、例えば、タッチディスプレイ上に表示された前記合成画像を見て、前記仮想画像を表示したい位置を指定できる。

また、前述のように、本装置１０は、仮想画像生成部１７を含んでもよい。仮想画像生成部１７は、属性情報を含む前記仮想画像を生成する（Ｓ１７）。図３において、前記工程（Ｓ１７）は、前記工程（Ｓ１４）の前に実行する一例を示すが、これに限定されず、前記工程（Ｓ１４）の後に実行されてもよい。また、前記工程（Ｓ１７）は、例えば、前記工程（Ｓ１６）の前に実行されもよいし、後に実行されてもよい。前記工程（Ｓ１６）の後に前記工程（Ｓ１７）が実行される場合は、例えば、前記工程（Ｓ１６）において重畳される前記仮想画像は、予めメモリ１０２及び記憶装置１０４等に記憶されているテンプレート情報であってもよい。その後、前記工程（Ｓ１７）において、前記テンプレート情報から仮想画像生成部１７により生成される仮想画像に置き換えられる。仮想画像生成部１７により生成される仮想画像は、前記表示位置と紐づけられる。また、仮想画像生成部１７により生成される仮想画像は、前述のように、位置画像及び詳細情報画像等であってもよい。仮想画像生成部１７は、例えば、複数の仮想画像を生成してもよい。仮想画像生成部１７は、例えば、前記対象物に関する情報（対象物情報ともいう）を取得し、前記対象物情報に基づき、前記仮想画像を生成する。前記属性情報は、特に制限されず、例えば、前記仮想画像の名前、識別情報（identifier）、ユーザ名等がある。

本実施形態によれば、軌跡によってマップ情報が生成され、本装置１０上でマップ情報を管理可能であり、ＡＲ技術提供者に情報を各種送信する必要がないため、ユーザが容易にＡＲ技術を用いることができ、ＡＲ技術提供者の手間を省くことができる。また、ユーザは、容易に前記表示位置や前記仮想画像を変更したり、修正したりすることができる。このように、利便性やＡＲ技術の運用に関する自由度が向上する。また、本実施形態によれば、ＧＰＳ（Global Positioning System）等の衛星測位システムを活用して絶対座標を前記マップ情報に用いる場合とは異なり、ＡＲマーカー撮像後にユーザが移動することで座標が設定されるため、前記ユーザが設定して前記表示位置を他者と共有することができる。前記他者が携帯する端末（スマートフォン等）は、例えば、ＡＲマーカーを撮像ことで、従来の技術を用いて、前記表示位置に前記仮想画像が表示される。また、前記ユーザにおいても、後述するように、前記編集モードの終了後に、ＡＲ表示モードに切り替えて、本装置１０上で前記仮想画像を表示可能である。

［実施形態２］
本発明を用いて、仮想画像を表示する一例を説明する。本実施形態における処理は、例えば、ＡＲ表示モードともいう。前記編集モードと前記ＡＲ表示モードとは、例えば、マップ情報管理部１５により切替可能である。

本実施形態のＡＲ表示管理装置１０の構成は、前記実施形態１記載のＡＲ表示管理装置１０の構成と同じである。

つぎに、本実施形態のＡＲ表示管理方法の一例を、図４のフローチャートに基づき説明する。本実施形態のＡＲ表示管理方法は、例えば、図１のＡＲ表示管理装置１０を用いて、次のように実施する。なお、本実施形態のＡＲ表示管理方法は、図１のＡＲ表示管理装置１０の使用には限定されない。

まず、撮像部１１により、前記基準マーカーを撮像する（Ｓ２１）。撮像部１１は、例えば、前述の記載を援用できる。

次に、軌跡記録部１２により、前記基準マーカーを撮像した後の軌跡を記録する（Ｓ２２）。軌跡記録部１２は、例えば、前述の記載を援用できる。

そして、合成画像情報出力部１６により、前記撮像画像に前記仮想画像を重畳した合成画像を出力し（Ｓ２３）、終了する（ＥＮＤ）。具体的に、まず、合成画像情報出力部１６は、前記軌跡に基づき特定したユーザ端末１０の現在位置及び前記撮像方向に基づき、前記マップ情報を参照して、前記撮像画像内に前記仮想画像の表示位置（前記マップ情報上の座標情報ともいえる）と対応する位置が存在するか判定する。そして、合成画像情報出力部１６は、前記位置が存在する場合に、前記位置に前記仮想画像を重畳した合成画像をユーザ端末１０の表示装置１０６に出力する。前記出力は、例えば、前記通信回線網を介して、実行されてもよい。合成画像情報出力部１６による前記合成画像の出力は、例えば、繰り返し実行されてもよい。

以下、前記撮像画像に前記仮想画像を重畳する一例を説明する。

図５は、合成画像情報出力部１６と前記仮想画像の表示位置との位置関係の一例を示す模式図である。図５に示すように、合成画像情報出力部１６は、例えば、ユーザ端末１０の位置及び撮像方向Ｘに基づき、撮像方向Ｘに仮想画像Ａ～Ｃの座標情報が存在すると判定する。

図６は、ユーザ端末１０のディスプレイ上に表示される合成画像の一例を示す。図６に示すように、合成画像情報出力部１６は、例えば、撮像方向Ｘに存在する対象物Ａ～Ｃと対応する前記撮像画像内の位置に仮想画像Ａ～Ｃ（例えば、前記位置画像。以下、ピンともいう）を重畳した合成画像を生成する。ピンＡ～Ｃは、例えば、ユーザ端末１０の位置とピンＡ～Ｃの座標情報との距離に基づき、ユーザ端末１０と離れているピンを他のピンよりも小さくして重畳されていてもよい。一方で、ピンＡ～Ｃは、例えば、ユーザ端末１０の位置とピンＡ～Ｃの座標情報との距離に基づき、ユーザ端末１０と近いピンを他のピンよりも大きくして重畳されていてもよい。また、ピンは、例えば、ユーザ端末１０の位置とピンＡ～Ｃの座標情報との距離に応じて、ピンの外縁を色付けてもよい。

さらに、図６に示すように、前記詳細情報画像は、具体的に、ウインドウ部（Ｗｉｎｄｏｗ）１に表示される。図中において、ウインドウ部１は、前記撮像画像の下部に表示されているが、例示であって、これに限定されない。例えば、本発明を展示会に適用する場合、展示されている商品及びサービスや、そのブースの会社等の詳細な情報に基づき生成された詳細情報画像がウインドウ部１に表示される。

本実施形態によれば、前記マップ情報の管理に加えて、ＡＲ（Augmented Reality：拡張現実感）技術を用いて、前記仮想画像を表示することができる。

［実施形態３］
本発明を博物館に適用した一例をユーザ端末１０のディスプレイ上に表示される画面の遷移と共に説明する。なお、本実施形態にて示す画面の遷移は、一例であって、これに限定されるものではない。

図７Ａ～図７Ｄは、ユーザ端末１０のディスプレイ上に表示される画面の遷移の一例を示す。ユーザ端末１０は、例えば、インストールされたアプリケーションを起動することで、各処理を実行可能である。

まず、ユーザは、図７Ａ上段に示すように、ディスプレイ上に表示されている指示に従い、撮像部１１による基準マーカーの撮像を開始する。なお、図中において、丸で囲った部分（破線）は、ユーザがタップしたことを意味し、矢印（破線）は、そのタップによって画面が遷移することを意味する（以下の図面において同様）。次に、軌跡記録部１２は、前記軌跡を記録する。前記軌跡を記録している間、ディスプレイ上には、図７Ａ下段に示すように、ピンの生成を要求するメッセージが表示される。

ユーザが、ディスプレイをタップして、ピンの生成を開始する指示をすると、図７Ｂに示すように、ピン（黒塗にて示すピン）がディスプレイ上に表示される。なお、図７Ｂにおける白塗りにて示すピンは、既存のピンである。当該画面を、例えば、編集モードともいう。ディスプレイ上にピンは、例えば、ユーザがディスプレイ上の「＋」ボタンをタップする度に生成される。また、表示位置を移動させたいピンがタップされると、図７Ｂに示すように、前記ピンに対する表示位置指定モードに画面が遷移する。ユーザは、ピンに対してドラッグ操作やピンチ操作をすることで、前述のように、ピンの表示位置を移動可能である。ピンの表示位置の指定が終わった場合、表示位置指定モードにおいて、ディスプレイ上に表示されている「戻る」を意図するマークをタップすると、編集モードに画面が遷移する。

編集モードでは、ディスプレイ上に表示されている「ペン」のマークをタップすると、図７Ｃに示すように、ピンの属性情報（名前、ＩＤ、詳細情報、写真等）を登録・編集可能である。図７Ｃの例では、画面１―１をスクロールすることで、画面１－２が表示される。また、「キーボード」とは、ディスプレイ上に表示されたソフトウェアキーボードである。前記写真は、例えば、ピンの図柄として用いられてもよい。前記写真は、例えば、図７Ｃに示すように、撮像部１１により撮像されてもよいし、予めメモリ１０２及び記憶装置１０４に記憶しているものを用いてもよい。その後、図７Ｄに示すように、ピンの属性情報を保存する。また、編集モードでは、図７Ｄに示すように、ディスプレイ上に表示されている「ゴミ箱」のマークをタップすると、表示されているピンを削除することが可能である。

［実施形態４］
本実施形態のプログラムは、本発明の方法の各工程を、手順として、コンピュータに実行させるためのプログラムである。本発明において、「手順」は、「処理」と読み替えてもよい。また、本実施形態のプログラムは、例えば、コンピュータ読み取り可能な記録媒体に記録されていてもよい。前記記録媒体は、例えば、非一時的なコンピュータ可読記録媒体（non-transitory computer-readable storage medium）である。前記記録媒体としては、特に限定されず、例えば、読み出し専用メモリ（ＲＯＭ）、ハードディスク（ＨＤ）、光ディスク等が挙げられる。

以上、実施形態を参照して本発明を説明したが、本発明は、上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解しうる様々な変更をできる。

＜付記＞
上記の実施形態の一部または全部は、以下の付記のように記載されうるが、以下には限られない。
（付記１）
撮像部、軌跡記録部、マップ情報生成部、表示位置指定部、及びマップ情報管理部を含み、
前記撮像部は、特定エリア内に設置された基準マーカーを撮像し、
前記軌跡記録部は、前記基準マーカーを撮像した後の軌跡を記録し、
前記マップ情報生成部は、前記軌跡に基づき、マップ情報を生成し、
前記表示位置指定部は、ユーザの操作により、仮想画像を表示する位置を指定し、
前記マップ情報管理部は、前記マップ情報内に前記仮想画像を表示する位置を記録して管理する、ＡＲ表示管理装置。
（付記２）
さらに、合成画像情報出力部を含み、
前記合成画像情報出力部は、前記撮像部により撮像された撮像画像内に前記仮想画像を重畳した合成画像を出力する、付記１記載のＡＲ表示管理装置。
（付記３）
前記表示位置指定部は、ドラッグ操作により、前記撮像画像内に重畳された前記仮想画像の表示位置を上下左右方向に移動して指定可能であり、且つピンチ操作により、前記撮像画像内に重畳された前記仮想画像の表示位置を奥行方向に移動して指定可能である、付記２記載のＡＲ表示管理装置。
（付記４）
さらに、仮想画像生成部を含み、
前記仮想画像生成部は、属性情報を含む前記仮想画像を生成する、付記１から３のいずれかに記載のＡＲ表示管理装置。
（付記５）
撮像工程、軌跡記録工程、マップ情報生成工程、表示位置指定工程、及びマップ情報管理工程を含み、
前記撮像工程は、特定エリア内に設置された基準マーカーを撮像し、
前記軌跡記録工程は、前記基準マーカーを撮像した後の軌跡を記録し、
前記マップ情報生成工程は、前記軌跡に基づき、マップ情報を生成し、
前記表示位置指定工程は、ユーザの操作により、仮想画像を表示する位置を指定し、
前記マップ情報管理工程は、前記マップ情報内に前記仮想画像を表示する位置を記録して管理する、ＡＲ表示管理方法。
（付記６）
さらに、合成画像情報出力工程を含み、
前記合成画像情報出力工程は、前記撮像工程により撮像された撮像画像内に前記仮想画像を重畳した合成画像を出力する、付記５記載のＡＲ表示管理方法。
（付記７）
前記表示位置指定工程は、ドラッグ操作により、前記撮像画像内に重畳された前記仮想画像の表示位置を上下左右方向に移動して指定可能であり、且つピンチ操作により、前記撮像画像内に重畳された前記仮想画像の表示位置を奥行方向に移動して指定可能である、付記６記載のＡＲ表示管理方法。
（付記８）
さらに、仮想画像生成工程を含み、
前記仮想画像生成工程は、属性情報を含む前記仮想画像を生成する、付記５から７のいずれかに記載のＡＲ表示管理方法。
（付記９）
コンピュータに、撮像手順、軌跡記録手順、マップ情報生成手順、表示位置指定手順、及びマップ情報管理手順を含む手順を実行させるためのプログラム；
前記撮像手順は、特定エリア内に設置された基準マーカーを撮像し、
前記軌跡記録手順は、前記基準マーカーを撮像した後の軌跡を記録し、
前記マップ情報生成手順は、前記軌跡に基づき、マップ情報を生成し、
前記表示位置指定手順は、ユーザの操作により、仮想画像を表示する位置を指定し、
前記マップ情報管理手順は、前記マップ情報内に前記仮想画像を表示する位置を記録して管理する。
（付記１０）
さらに、合成画像情報出力手順を含み、
前記合成画像情報出力手順は、前記撮像手順により撮像された撮像画像内に前記仮想画像を重畳した合成画像を出力する、付記９記載のプログラム。
（付記１１）
前記表示位置指定手順は、ドラッグ操作により、前記撮像画像内に重畳された前記仮想画像の表示位置を上下左右方向に移動して指定可能であり、且つピンチ操作により、前記撮像画像内に重畳された前記仮想画像の表示位置を奥行方向に移動して指定可能である、付記１０記載のプログラム。
（付記１２）
さらに、仮想画像生成手順を含み、
前記仮想画像生成手順は、属性情報を含む前記仮想画像を生成する、付記９から１１のいずれかに記載のプログラム。
（付記１３）
付記９から１２のいずれかに記載のプログラムを記録しているコンピュータ読み取り可能な記録媒体。

本発明によれば、ユーザが容易にＡＲ技術を用いることができ、ＡＲ技術提供者の手間を省くことが可能である。このため、本発明は、例えば、展示会やゲーム等のＡＲ技術を用いる分野において特に有用である。

１０ ＡＲ表示管理装置
１１ 撮像部
１２ 軌跡記録部
１３ マップ情報生成部
１４ 表示位置指定部
１５ マップ情報管理部
１６ 合成画像情報出力部
１７ 仮想画像生成部
１０１ 中央処理装置
１０２ メモリ
１０３ バス
１０４ 記憶装置
１０５ 入力装置
１０６ 表示装置
１０７ 通信デバイス
１０８ 撮像装置
１０９ 音入出力装置

Claims (10)

1. 撮像部、軌跡記録部、マップ情報生成部、表示位置指定部、及びマップ情報管理部を含み、
   前記撮像部は、特定エリア内に設置された基準マーカーを撮像し、
   前記軌跡記録部は、前記基準マーカーを撮像した後の軌跡を記録し、
   前記マップ情報生成部は、前記軌跡に基づき、マップ情報を生成し、
   前記表示位置指定部は、ユーザの操作により、仮想画像を表示する位置を指定し、
   前記マップ情報管理部は、前記マップ情報内に前記仮想画像を表示する位置を記録して管理する、ＡＲ表示管理装置。
2. さらに、合成画像情報出力部を含み、
   前記合成画像情報出力部は、前記撮像部により撮像された撮像画像内に前記仮想画像を重畳した合成画像を出力する、請求項１記載のＡＲ表示管理装置。
3. 前記表示位置指定部は、ドラッグ操作により、前記撮像画像内に重畳された前記仮想画像の表示位置を上下左右方向に移動して指定可能であり、且つピンチ操作により、前記撮像画像内に重畳された前記仮想画像の表示位置を奥行方向に移動して指定可能である、請求項２記載のＡＲ表示管理装置。
4. さらに、仮想画像生成部を含み、
   前記仮想画像生成部は、属性情報を含む前記仮想画像を生成する、請求項１から３のいずれか一項に記載のＡＲ表示管理装置。
5. 撮像工程、軌跡記録工程、マップ情報生成工程、表示位置指定工程、及びマップ情報管理工程を含み、
   前記撮像工程は、特定エリア内に設置された基準マーカーを撮像し、
   前記軌跡記録工程は、前記基準マーカーを撮像した後の軌跡を記録し、
   前記マップ情報生成工程は、前記軌跡に基づき、マップ情報を生成し、
   前記表示位置指定工程は、ユーザの操作により、仮想画像を表示する位置を指定し、
   前記マップ情報管理工程は、前記マップ情報内に前記仮想画像を表示する位置を記録して管理する、ＡＲ表示管理方法。
6. さらに、合成画像情報出力工程を含み、
   前記合成画像情報出力工程は、前記撮像工程により撮像された撮像画像内に前記仮想画像を重畳した合成画像を出力する、請求項５記載のＡＲ表示管理方法。
7. 前記表示位置指定工程は、ドラッグ操作により、前記撮像画像内に重畳された前記仮想画像の表示位置を上下左右方向に移動して指定可能であり、且つピンチ操作により、前記撮像画像内に重畳された前記仮想画像の表示位置を奥行方向に移動して指定可能である、請求項６記載のＡＲ表示管理方法。
8. さらに、仮想画像生成工程を含み、
   前記仮想画像生成工程は、属性情報を含む前記仮想画像を生成する、請求項５から７のいずれか一項に記載のＡＲ表示管理方法。
9. コンピュータに、撮像手順、軌跡記録手順、マップ情報生成手順、表示位置指定手順、及びマップ情報管理手順を含む手順を実行させるためのプログラム；
   前記撮像手順は、特定エリア内に設置された基準マーカーを撮像し、
   前記軌跡記録手順は、前記基準マーカーを撮像した後の軌跡を記録し、
   前記マップ情報生成手順は、前記軌跡に基づき、マップ情報を生成し、
   前記表示位置指定手順は、ユーザの操作により、仮想画像を表示する位置を指定し、
   前記マップ情報管理手順は、前記マップ情報内に前記仮想画像を表示する位置を記録して管理する。
10. さらに、合成画像情報出力手順を含み、
    前記合成画像情報出力手順は、前記撮像手順により撮像された撮像画像内に前記仮想画像を重畳した合成画像を出力する、請求項９記載のプログラム。

Images