JP2018124515A - コンピュータプログラム、端末および方法 - Google Patents

Abstract

【課題】現実空間の指定した場所にオブジェクトを配置してディスプレイに表示する。
【解決手段】コンピュータプログラムは、撮像手段とディスプレイとを備える端末に、実空間の三次元モデルにおける端末の位置を特定する機能と、特定された端末の位置に基づいて、三次元モデルと計測手段によって取得される現実の三次元空間情報との対応関係を取得する機能と、取得された対応関係と三次元モデルにおけるオブジェクトの位置とに基づいて、画像におけるオブジェクトの位置を決定する機能と、決定された位置にオブジェクトが重畳された画像をディスプレイに表示させる機能と、を実現させる。
【選択図】図１

Description

本発明は、オブジェクトを表示するためのコンピュータプログラム、端末および方法に関する。

非特許文献１、２には、センサとカメラとを組み合わせたシステムが開示される。このシステムはカメラとセンサの情報により端末装置の現在位置と向きを特定することができる。

Ｔａｎｇｏ、［ｏｎｌｉｎｅ］、［平成２９年１月１０日検索］、インターネット、＜ＵＲＬ：https://get.google.com/tango/＞ Googleの空間認識技術「Tango」を搭載する初のスマホ「Lenovo PHAB2 Pro」によるAR体験はこんな感じになる、［ｏｎｌｉｎｅ］、［平成２９年１月１０日検索］、インターネット、＜ＵＲＬ：http://gigazine.net/news/20160630-snapdragon-tango-ar/＞

非特許文献１、２に記載される技術をＡＲに応用すると、様々なことが実現可能になると考えられる。しかしながら、現状では、現実空間の指定した場所にオブジェクトを配置してディスプレイに表示する手法は確立されていない。

本発明はこうした課題に鑑みてなされたものであり、その目的は、現実空間の指定した場所にオブジェクトを配置してディスプレイに表示する技術の提供にある。

本発明のある態様は、コンピュータプログラムに関する。このコンピュータプログラムは、撮像手段とディスプレイとを備える端末に、実空間の三次元モデルにおける端末の位置を特定する機能と、特定された端末の位置に基づいて、三次元モデルと計測手段によって取得される現実の三次元空間情報との対応関係を取得する機能と、取得された対応関係と三次元モデルにおけるオブジェクトの位置とに基づいて、画像におけるオブジェクトの位置を決定する機能と、決定された位置にオブジェクトが重畳された画像をディスプレイに表示させる機能と、を実現させる。

なお、以上の構成要素の任意の組み合わせや、本発明の構成要素や表現を装置、方法、システム、コンピュータプログラムを格納した記録媒体などの間で相互に置換したものもまた、本発明の態様として有効である。

本発明によれば、現実空間の指定した場所にオブジェクトを配置してディスプレイに表示することができる。

実施の形態に係る端末装置の概略的な構成図である。 図１の制御部の機能および構成を示すブロック図である。 図１の端末装置における一連の処理の流れを示すフローチャートである。 ディスプレイの代表画面図である。 ディスプレイの代表画面図である。 ディスプレイの代表画面図である。 ディスプレイの代表画面図である。 ディスプレイの代表画面図である。 ディスプレイの代表画面図である。 ディスプレイの代表画面図である。

以下、各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、各図面において説明上重要ではない部材の一部は省略して表示する。

図１は、実施の形態に係る端末装置１０の概略的な構成図である。端末装置１０は、例えば、スマートフォンといった携帯型の通信端末である。スピーカ１０１は、制御部１００から出力される音声信号を音声に変換して出力する。マイク１０２は、音声を音声信号に変換して制御部１００に出力する。撮像部１０３は、レンズ及びＣＣＤセンサを有し画像情報を取得して制御部１００に出力する。ジャイロセンサ１０４は、端末装置１０の角度や角速度を測定して姿勢情報として制御部１００に出力する。ディスプレイ１０４は、本実施の形態では、タッチセンシティブディスプレイであり、ユーザへの情報の提示に加え、ユーザ操作の入力部としても機能する。なお、ディスプレイがタッチセンシティブディスプレイではない場合、別に、入力部を設ける。深さセンサ１０６は、オブジェクトまでの距離（深さ）を測定して測定結果を深さ情報として制御部１００に出力する。通信部１０７は、移動通信網や無線ＬＡＮを介した通信処理を行う。温度センサ１０８は温度を検出し、検出された温度を含む温度情報を制御部１００に出力する。加速度センサ１０９は、端末装置１０の加速度を測定して加速度情報として制御部１００に出力する。

制御部１００は、端末装置１０全体の制御部であり、１つ以上のプロセッサとメモリ部と、を備えている。なお、メモリ部は、プロセッサが一時的なデータの保存用として使用するＲＡＭや、プロセッサが実行するオペレーティングシステム及びアプリケーションと、電源断となっても保持すべきデータとが格納されるフラッシュメモリを有する。

本実施の形態において、三次元モデルは、撮像部１０３で撮像した画像の特徴点の点群と撮像位置とを対応付けて保持する対応テーブルであってもよい。点群は撮像場所や角度が多少変わっても同じ物体だと認識できるように構成される。端末装置１０はその特徴点の情報を読み込み、撮像位置が分からない場合に撮像位置がどこかを判定する。すなわち、三次元モデルは風景の見え方を記憶して撮像位置がどこかを求めるためのものであり、深さセンサ１０６を使わなくても生成可能である。一方、オブジェクトを地面の上に立たせたり現実の物体の大きさを測定したりする場合には深さセンサ１０６を用いる。

図２は、図１の制御部１００の機能および構成を示すブロック図である。ここに示す各ブロックは、ハードウエア的には、コンピュータのＣＰＵをはじめとする素子や機械装置で実現でき、ソフトウエア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウエア、ソフトウエアの組合せによっていろいろなかたちで実現できることは、本明細書に触れた当業者には理解されるところである。

制御部１００は、端末位置特定部２０１と、対応関係取得部２０２と、オブジェクト位置決定部２０３と、表示制御部２０４と、通知部２０５と、三次元モデル保持部２１１と、三次元モデル生成部２１２と、を備える。端末装置１０は、後述の三次元モデルから特定される端末装置１０の位置に基づく位置（座標）に対応付けられたオブジェクト情報をサーバからダウンロードしてもよい。ダウンロード方法は様々あり、ユーザが端末装置１０を操作して、ダウンロードアイコンを選択するだけでなく、撮像画像又は特徴点の画像を定期的にアップロードし、サーバ側で、画像マッチングで三次元モデルの有無を判定し、該当する三次元モデルをダウンロードしてもよい。また、端末装置１０が取得したＧＰＳ情報をサーバにアップロードすると、その場所に対応する三次元モデル（対応するアプリケーションが特定されている情報の表示とともに）を選択し、受信してもよい。あるいはまた、端末装置１０は、端末装置１０で予め記憶・生成した三次元モデルと三次元モデルから特定される端末の位置に基づく位置（座標）に対応付けられたオブジェクト情報を予め保持していてもよい。

三次元モデル生成部２１２は、実空間を撮像部１０３が撮像して得られた画像情報に基づき、当該画像情報に対応する画像内の特徴点を求める。三次元モデル生成部２１２は、特徴点と特徴点を撮像した際の端末の位置と向きを複数記憶し、特徴点から端末の位置が特定可能な三次元モデルを生成する。三次元モデル生成部２１２は、生成された三次元モデルを三次元モデル保持部２１１に格納する。特徴点の位置は、実空間を模した仮想的な三次元空間の座標（ｘ、ｙ、ｚ）で表される。なお、三次元空間の位置の原点は、例えば、三次元モデル生成部２１２が三次元モデルの生成を開始したときの端末装置１０の位置とする。あるいはまた、三次元モデル生成部２１２は外部から三次元モデルのデータを取得して、三次元モデル保持部２１１に格納してもよい。

三次元モデル保持部２１１に既に三次元モデルが存在する場合、三次元モデル生成部２１２は、新たに取得した三次元モデルと、既に保存している三次元モデルとを比較してもよい。例えば、三次元モデル生成部２１２は、比較の結果、所定割合以上の特徴点が一致すると、新たに取得した三次元モデルが、既に保存している三次元モデルと同じ場所で取得されていることを認識する。この場合、三次元モデル生成部２１２は既に保存している三次元モデルを新たに取得した三次元モデルで更新する。

端末位置特定部２０１は、実空間の三次元モデルにおける端末装置１０の現在位置を特定する。現在位置は三次元空間の座標（ｘ、ｙ、ｚ）で特定される。端末位置特定部２０１は、ジャイロセンサ１０４から出力される姿勢情報と加速度センサ１０９から出力される加速度情報とを用いたモーショントラッキングにより、端末装置１０の現在位置および傾きを特定する。例えば、端末位置特定部２０１はまず特徴点によるマッチングを行い、端末装置１０が三次元モデルのどの場所にいるかを特定する。特定できた後、端末位置特定部２０１は加速度センサ１０９、ジャイロセンサ１０４により端末装置１０が移動しても三次元モデル上の座標を特定できる。端末位置特定部２０１は、撮像部１０３が撮像して得られた画像情報に基づくエリアラーニングにより、モーショントラッキングでのずれの累積を補正してもよい。

対応関係取得部２０２は、端末位置特定部２０１によって特定された端末装置１０の現在位置に基づいて、三次元モデル保持部２１１に保持される三次元モデルと撮像部１０３によって取得される画像に含まれる位置（座標）に対応付けられたオブジェクト情報との対応関係と、深さセンサ１０６によって取得される現実空間情報との対応関係と、を取得する。現実空間情報としては地面の場所や壁の場所といった情報が含まれ、地面の位置と三次元モデルとの対応関係や、三次元モデルと壁の位置との対応関係を得ることができる。

オブジェクト位置決定部２０３は、対応関係取得部２０２によって特定されたオブジェクト情報の座標と、深さセンサ１０６によって取得される現実空間情報との対応関係とに基づき、仮想オブジェクトを配置すべき座標を決定する。また、対応情報で取得されたオブジェクトの座標にそのままオブジェクトを表示するのではなく、対応情報として取得した現実空間（床や壁）との位置を考慮することで、床の上に立たせたり、壁と重ならないように表示することができるようになる。オブジェクトは、例えば、人間や動物といった動物体や、それらをモデル化した、所謂、キャラクタであってもよい。オブジェクトは、性別や年代などのオブジェクト属性を有する。なお、端末装置１０にオブジェクトの大きさ（高さ、幅）を登録しておけば、現実空間のスペースに応じて、現実空間の物と重複しないようにオブジェクトの配置場所を補正することができ、また移動する動作であれば障害物を避けたりすることもできる。

表示制御部２０４は、オブジェクト位置決定部２０３によって決定された位置にオブジェクトが重畳された重畳画像をディスプレイ１０５に表示させる。表示制御部２０４は撮像部１０３から画像を取得する。表示制御部２０４は、取得された画像のうちオブジェクト位置決定部２０３によって決定された位置にオブジェクトの表示を重畳することで重畳画像を生成する。表示制御部２０４は、合成画像をディスプレイ１０５に表示させる。

通知部２０５は、ディスプレイ１０５に表示されたオブジェクトを介して、端末装置１０のユーザに情報を通知する。通知部２０５は、アプリ連携部２０６と、ネットワーク連携部２０７と、テキスト生成部２０８と、音声生成部２０９と、オブジェクト変更部２１０と、を含む。

アプリ連携部２０６は、端末装置１０にインストールされているアプリケーションプログラムからユーザに通知すべき情報を取得する。ネットワーク連携部２０７は、通信部１０７がネットワークを介して所定のサーバから受信した情報を取得する。テキスト生成部２０８は、アプリ連携部２０６やネットワーク連携部２０７が取得した情報をテキスト化する。通知部２０５は、テキスト生成部２０８によって生成されたテキストメッセージを、オブジェクトに関連付けてディスプレイ１０５に表示させる。音声生成部２０９は、アプリ連携部２０６やネットワーク連携部２０７が取得した情報を音声化する。通知部２０５は、音声生成部２０９によって生成された音声メッセージを、オブジェクトの属性に合わせた声色の音声に変換し、スピーカ１０１に出力させる。アプリ連携部２０６は通知条件に基づいて通知の判断を行ってもよい。この通知条件は、例えば日時やカレンダー情報を含む。

なお、テキスト生成部２０８は、オブジェクトの属性およびユーザの属性のうちの少なくともひとつに対応するようテキストメッセージを変更または編集してもよい。音声生成部２０９は、オブジェクトの属性およびユーザの属性のうちの少なくともひとつに対応するよう音声メッセージを変更または編集してもよい。
オブジェクト変更部２１０は、ユーザに通知される情報に応じてオブジェクトの表示態様または動作を変更する。

以上の構成による端末装置１０の動作を説明する。
図３は、端末装置１０における一連の処理の流れを示すフローチャートである。端末装置１０は、三次元モデルにおける端末装置１０の現在位置を特定する（Ｓ３０１）。端末装置１０は、三次元モデルと撮像部１０３や深さセンサ１０６などの計測手段によって取得される現実の三次元空間情報との対応関係を取得する（Ｓ３０２）。端末装置１０は、三次元モデルにおけるオブジェクトの位置を決定する（Ｓ３０３）。端末装置１０は、オブジェクトの像を重畳することで重畳画像を生成する（Ｓ３０５）。端末装置１０は、オブジェクトに関連付けて表示されるテキストメッセージやオブジェクトの口の動きに合わせて出力される音声メッセージなどの通知エフェクトを生成する（Ｓ３０６）。端末装置１０は重畳画像をディスプレイ１０５に表示させる（Ｓ３０７）。端末装置１０はオブジェクトを介した通知エフェクトを出力する（Ｓ３０８）。
なお、ステップＳ３０２について、端末装置１０において、三次元モデルを取得した上で、ディスプレイ１０５に撮影画像を表示させて（例えば、テレビを表示させながら、テレビであることを示すアイコンを選択するによって）、三次元モデルの場所と物品種類を登録してもよい。これにより、アプリケーション次第で、物品の場所を認識した上で、オブジェクトの動作を変えることができる。

図４から図１０はそれぞれ、ディスプレイ１０５の代表画面図である。図４には、撮像部１０３が撮像した部屋の中の画像を表示する画面が示されている。オブジェクトの重畳表示はない。画面のなかにはテレビ４０１やインターホン４０２や窓４０３などの現実のオブジェクトが写っている。この状態で、端末装置１０は、仮想的な人型のオブジェクト５０１をディスプレイ１０５の画面の外から内へ移動させる。例えば、オブジェクト５０１が図４の画面外下方から上へとゆっくり移動して現れるアニメーションが表示され、図５の状態となる。これは以下の処理の流れにより実現される。
（１）三次元モデルにおけるオブジェクト５０１の移動前座標（ｘａ，ｙａ，ｚａ）、移動後座標（ｘｂ，ｙｂ，ｚｂ）を決定する。
（２）移動前座標（ｘａ，ｙａ，ｚａ）と移動後座標（ｘｂ，ｙｂ，ｚｂ）とを結ぶ移動経路を決定し、該移動経路をＮ等分（Ｎは２以上の自然数）することでＮ＋１個の重畳対象座標（ｘｎ、ｙｎ、ｚｎ）を決定する。ｎ＝０、１、…、Ｎであり、（ｘ０、ｙ０、ｚ０）＝（ｘａ，ｙａ，ｚａ）、（ｘＮ、ｙＮ、ｚＮ）＝（ｘｂ，ｙｂ，ｚｂ）である。
（３）オブジェクト５０１を移動前座標（ｘａ，ｙａ，ｚａ）に配置したときの重畳画像を生成し、ディスプレイ１０５に表示させる。
（４）オブジェクト５０１を移動前座標（ｘａ，ｙａ，ｚａ）の次の重畳対象座標（ｘ１，ｙ１，ｚ１）に配置したときの重畳画像を生成し、ディスプレイ１０５に表示させる。
（５）ｎをインクリメントし、（４）と同じ処理を行う。インクリメントの結果、ｎ＝Ｎとなったら次に進む。
（６）オブジェクト５０１を移動後座標（ｘｂ，ｙｂ，ｚｂ）に配置したときの重畳画像を生成し、ディスプレイ１０５に表示させる。
これにより、三次元モデルにおけるオブジェクト５０１の位置を変化させ、ディスプレイ１０５に表示される画面においても対応するようにオブジェクト５０１を連続的に移動させることができる。例えば、オブジェクト５０１の位置が１ｍ変わった場合、オブジェクト５０１を移動前の位置から移動後の位置へ瞬間的に移動させるのではなく、オブジェクト５０１の歩く速度で１ｍ先まで移動させる。
なお、端末装置１０の座標が特定の座標となるか、特定の距離に入った場合、更にはディスプレイ１０５の向き（高さ・方向）が特定の条件に合致した場合に、アニメーションを表示させてもよい。あるいはまた、特定の時間帯、特定の回数（１日単位で１回表示されると２回目は表示されない）に限りアニメーションを表示させてもよい。

図５および図６は端末装置１０にテレビ番組表アプリケーションがインストールされている一例の画面を示す。図５を参照すると、アプリ連携部２０６はテレビ番組表アプリケーションから、甲チームの試合を生放送する番組の情報を取得する。テキスト生成部２０８は、現在時刻が番組の開始時刻に近づくと、上記番組についてのテキストメッセージ５０２を生成する。通知部２０５は、生成されたテキストメッセージ５０２をオブジェクト５０１の吹き出しとして画面に表示させる。

さらに通知部２０５は、テレビ４０１がオフであることを検知すると、テレビ４０１をオンするか否かを問い合わせるテキストメッセージ５０３を生成し、画面に吹き出しとして表示させる。通知部２０５は、マイク１０２から得られる音量レベルが所定の音量レベルより低いと判定すると、テレビ４０１がオフであると判定してもよい。ユーザは、端末装置１０を操作するかまたはマイク１０２に向けて発話することにより、テレビ４０１をオンするための指示を入力する。図６を参照すると、オブジェクト変更部２１０は、オブジェクト５０１の位置をテレビ４０１に近づけるアニメーションを生成すると共に、あたかもオブジェクト５０１がテレビ４０１のスイッチを入れるかのような追加的表示６０１（この場合、オブジェクトの腕）を生成する。アプリ連携部２０６は、別途、端末装置１０にインストールされているテレビ番組表アプリケーションまたはテレビ４０１を遠隔操作するためのアプリケーション（例えば、テレビ４０１のリモートコントローラアプリケーション）を介してテレビ４０１の電源を入れる。なお、多くのテレビは基本的に赤外線通信を採用する。したがって、端末装置１０が赤外線通信を実装していれば容易にテレビ４０１の操作が可能となる。あるいはまた、セットトップボックスなどは他の通信方式にも対応しているので、スマートフォンでの操作が可能である。
なお、テレビ４０１に、通知する番組に関連する動画をサーバから取得し、オブジェクトとしてテレビ画面に重畳させて表示して通知する番組を案内してもよい。

図７および図８は端末装置１０にインターホン遠隔操作アプリケーションがインストールされている一例の画面を示す。ここでは、三次元画像にインターホン場所を設定する。図７を参照すると、アプリ連携部２０６はインターホン遠隔操作アプリケーションから、インターホン４０２が鳴っていることを示す通知を受ける。テキスト生成部２０８は、インターホン４０２が鳴っている旨を示すテキストメッセージ７０１を生成する。通知部２０５は、生成されたテキストメッセージ７０１をオブジェクト５０１の吹き出しとして画面に表示させる。

図８を参照すると、オブジェクト変更部２１０は、オブジェクト５０１の位置をインターホン４０２に近づけるアニメーションを生成すると共に、あたかもオブジェクト５０１がインターホン４０２のモニタを確認するかのような追加的表示７０２（この場合、オブジェクト５０１の顔をインターホン４０２に向ける）を生成する。アプリ連携部２０６は、インターホン遠隔操作アプリケーションから、モニタ画像を解析することで判別された来訪者の名前を取得する。テキスト生成部２０８は、取得された名前を含むテキストメッセージ７０４を生成する。通知部２０５は、生成されたテキストメッセージ７０４をオブジェクト５０１の吹き出しとして画面に表示させる。アプリ連携部２０６は、インターホン遠隔操作アプリケーションからインターホンのモニタの画像を取得し、取得された画像を画面の右下に小画面７０３として重畳表示する。

図９および図１０は端末装置１０にスケジュール管理アプリケーションがインストールされている一例の画面を示す。図９を参照すると、アプリ連携部２０６はスケジュール管理アプリケーションから、ユーザに関連するイベントの情報を取得する。テキスト生成部２０８は、現在時刻がイベントの開始時刻に近づくと、上記イベントについてのテキストメッセージ９０１を生成する。通知部２０５は、生成されたテキストメッセージ９０１をオブジェクト５０１の吹き出しとして画面に表示させる。

図１０を参照すると、オブジェクト変更部２１０は、オブジェクト５０１の位置を窓４０３に近づけるアニメーションを生成すると共に、あたかもオブジェクト５０１が窓４０３の外を確認するかのような追加的表示９０２（この場合、オブジェクト５０１の顔を窓４０３の方に向ける）を生成する。ネットワーク連携部２０７は、ネットワークを介して、天気情報サーバからイベントの開始時刻における天気予報を取得する。テキスト生成部２０８は、取得された天気予報に応じたテキストメッセージ９０３を生成する。通知部２０５は、生成されたテキストメッセージ９０３をオブジェクト５０１の吹き出しとして画面に表示させる。併せてオブジェクト変更部２１０は、取得された天気予報に応じた追加的表示９０４（この場合、傘のシルエット）を生成する。

あるいはまた、天気予報が外気温＝０度を示す場合、テキストメッセージ９０３に代えて「０度だよ、寒いね。」というテキストメッセージを生成すると共に、オブジェクト５０１が震えるアニメーションを生成してもよい。

別の例では、エアコン管理アプリケーションと連携し、温度センサ１０８から得られる温度情報に応じて異なるテキストメッセージをオブジェクトの吹き出しとして表示しつつ、ユーザからエアコン操作の指示を受け付けてもよい。
なお、上記の例において、テキストメッセージの表示に加えてまたは代えて、対応する内容の音声をスピーカ１０１から出力してもよい。

上述の実施の形態において、保持部の例は、ハードディスクや半導体メモリである。また、本明細書の記載に基づき、各部を、図示しないＣＰＵや、インストールされたアプリケーションプログラムのモジュールや、システムプログラムのモジュールや、ハードディスクから読み出したデータの内容を一時的に記憶する半導体メモリなどにより実現できることは本明細書に触れた当業者には理解される。

本実施の形態に係る端末装置１０によると、ユーザは撮像した画像に重畳されたオブジェクトから情報が提示されたと感じることができる。その結果、端末装置１０に対するユーザの親近感、愛着が増大し、ユーザ体験の質が向上する。

例えばオブジェクト５０１がキャラクタである場合、現実とシンクロした世界でキャラクタがユーザに寄り添う感じを創出することができる。オブジェクト５０１は端末装置１０を介してでなければ「見えない」ため、端末装置１０のユーザ以外には見えない。これにより、ユーザが感じる特別感が増大する。

以上、実施の形態に係る端末装置１０の構成と動作について説明した。この実施の形態は例示であり、各構成要素や各処理の組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解される。

実施の形態では、オブジェクトの表示の具体例を図５から図１０を参照して説明したが、これに限られない。例えば、オブジェクト情報が所定の距離による表示条件を有し、端末装置１０の位置とオブジェクトの位置座標との距離に関する距離条件に基づきオブジェクトを表示するか否かを決定してもよい。この場合、近くにあるものから表示していく表示方法を実現できる。

あるいはまた、オブジェクト情報が所定の滞在時間条件を有し、端末装置１０の位置とオブジェクトの位置とが所定の範囲内に所定の滞在時間以上滞在している場合には、オブジェクトを表示してもよい。この場合、オブジェクトの近くを通り過ぎるだけなら表示しないで、対象のオブジェクトの近くにある程度いる場合に通知することができる。

あるいはまた、オブジェクト情報が所定の優先情報を有し、優先情報に基づき、優先度の最も高い優先順位のオブジェクトを表示してもよい。この場合、複数のオブジェクトがある場合に一度に表示せず、優先度の高いものから表示していくことができる。
なお、上記のオブジェクトの表示条件について、表示されたオブジェクトを選択することで、表示条件をユーザが編集可能とすることができる。

実施の形態において、三次元モデルにＧＰＳ情報を対応付けて記憶してもよい。これにより、例えば、その場所近隣にいて、前述のいずれかの通知メッセージを受信・記憶していると、端末装置１０のディスプレイ１０５または振動によりユーザに伝えてもよい。また、ＧＰＳ情報により三次元モデルが記憶されている場所の近隣にいて、前述のいずれかの通知メッセージを受信・記憶していると、端末装置１０のディスプレイ１０５または振動によりアプリケーションやカメラをオンにするように促してもよい。

実施の形態において、アニメーションは、撮像部１０３の撮影画像の輝度に応じて、周囲の環境に合うように色彩を変化させてもよい。季節や時間帯（朝・昼・夜）によって表情、外観（服装）を変化さてもよい。また、マナーモードのように音声出力を停止している場合は、テキストモードとし、音声出力モードとしている場合には、テキストを停止し、音声モードとしてもよい。

１０ 端末装置、 １００ 制御部、 １０３ 撮像部、 １０５ ディスプレイ。

Claims (11)

1. 撮像手段とディスプレイとを備える端末に、
   実空間の三次元モデルにおける前記端末の位置を特定する機能と、
   特定された前記端末の位置に基づいて、前記三次元モデルと計測手段によって取得される現実の三次元空間情報との対応関係を取得する機能と、
   取得された対応関係と前記三次元モデルにおけるオブジェクトの位置とに基づいて、前記画像における前記オブジェクトの位置を決定する機能と、
   決定された位置に前記オブジェクトが重畳された前記画像を前記ディスプレイに表示させる機能と、を実現させるためのコンピュータプログラム。
2. 前記ディスプレイに表示された前記オブジェクトを介して、前記端末のユーザに情報を通知する機能をさらに前記端末に実現させる請求項１に記載のコンピュータプログラム。
3. 前記情報は、前記端末にインストールされているアプリケーションプログラムから前記ユーザに通知すべき情報を含む請求項２に記載のコンピュータプログラム。
4. 前記情報は、前記端末がネットワークを介してサーバから受信した情報を含む請求項２または３に記載のコンピュータプログラム。
5. 前記通知する機能は、前記情報として前記オブジェクトの属性および前記ユーザの属性のうちの少なくともひとつに応じたテキストメッセージを前記オブジェクトに関連付けて前記ディスプレイに表示させる機能または前記情報として前記オブジェクトの属性および前記ユーザの属性のうちの少なくともひとつに応じた音声を出力する機能もしくはその両方を含む請求項２から４のいずれか一項に記載のコンピュータプログラム。
6. 前記通知する機能において前記ユーザに通知される前記情報に応じて前記オブジェクトの表示態様または動作を変更する機能をさらに前記端末に実現させる請求項２から５のいずれか一項に記載のコンピュータプログラム。
7. 前記三次元モデルにおける前記オブジェクトの前記位置の変化に応じて、前記ディスプレイに表示される前記画像において前記オブジェクトを移動させる機能をさらに前記端末に実現させる請求項１から６のいずれか一項に記載のコンピュータプログラム。
8. 前記移動させる機能は、前記オブジェクトを前記ディスプレイの表示範囲の外から内へ移動させる機能を含む請求項７に記載のコンピュータプログラム。
9. 前記撮像手段によって取得される画像から前記三次元モデルを生成する機能をさらに前記端末に実現させる請求項１から８のいずれか一項に記載のコンピュータプログラム。
10. 撮像手段とディスプレイとを備える端末であって、
    実空間の三次元モデルにおける前記端末の位置を特定する手段と、
    特定された前記端末の位置に基づいて、前記三次元モデルと計測手段によって取得される現実の三次元空間情報との対応関係を取得する手段と、
    取得された対応関係と前記三次元モデルにおけるオブジェクトの位置とに基づいて、前記画像における前記オブジェクトの位置を決定する手段と、
    決定された位置に前記オブジェクトが重畳された前記画像を前記ディスプレイに表示させる手段と、を備える端末。
11. 撮像手段とディスプレイとを備える端末で実行される方法であって、
    実空間の三次元モデルにおける前記端末の位置を特定することと、
    特定された前記端末の位置に基づいて、前記三次元モデルと計測手段によって取得される現実の三次元空間情報との対応関係を取得することと、
    取得された対応関係と前記三次元モデルにおけるオブジェクトの位置とに基づいて、前記画像における前記オブジェクトの位置を決定することと、
    決定された位置に前記オブジェクトが重畳された前記画像を前記ディスプレイに表示させることと、を含む方法。

Images