JP2014164572A - 情報処理装置およびプログラム - Google Patents

Abstract

【課題】拡張現実技術に基づいて画像に追加的に表示されるアノテーションの位置を、当該画像の内容に応じて調整することができる情報処理装置およびプログラムを提供すること。
【解決手段】情報処理装置は、Ａ社の建物９４とＢ社の建物９６を含む画像を、Ａ社のマーカ（アノテーション）を追加して、表示する。情報処理装置は、当該画像を撮影したカメラの位置および向きを取得し、これらに基づいて、Ａ社のマーカの表示位置を、Ｂ社の建物９６の画像に重ならないような位置へと調整する。
【選択図】図６

Description

本発明は、情報処理装置およびプログラムに関し、特に、拡張現実技術を利用して、画像情報にアノテーションを付加して表示する情報処理装置およびプログラムに関する。

情報処理端末のうち、カメラと、ディスプレイと、位置情報と方向を取得できるセンサとを備え、カメラで撮影した画像に重畳して、カメラの撮影位置および撮影方向に関連付けられたアノテーションを表示するものがある。このようなアノテーションを表示する技術は、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）技術と呼ばれる。実際に流通されているスマートフォンにおいて、ＡＲ技術を利用したアプリケーションが搭載されている。ＡＲ技術において、アノテーションは、エアタグまたはマーカーとも呼ばれ得る。

従来、ＡＲ技術に関する種々の提案がなされてきた。たとえば、特表平９−５０５１３８号公報（特許文献１）は、位置及び姿勢を利用した電子工学式視覚システムを開示している。特許第４２９４０９３号公報（特許文献２）は、コンピュータ・ビジョン・システムのグラフィック・ユーザ・インターフェースを開示している。

特表平９−５０５１３８号公報 特許第４２９４０９３号公報

しかしながら、従来のＡＲ技術において、アノテーションが表示される位置は、ＡＲ技術が利用されるアプリケーションによって一義的に決められる。このことから、アノテーションが表示される位置の決定の際には、当該アノテーションが重畳される画像情報（背景）とアノテーションとの因果関係が考慮されない。このため、現実世界（撮影された画像等）の中の、広告や看板などのユーザに認識されるべきターゲットに対応する位置に、当該ターゲットに無関係のアノテーションが表示されることがあり得る。これにより、当該ターゲットと無関係のアノテーションが、誤って、当該ターゲットに関係のある情報として認識される問題が生じ得る。

本発明は、かかる実情に鑑み考え出されたものであり、その目的は、拡張現実技術に基づいて画像に追加的に表示されるアノテーションの位置を、当該画像の内容に応じて調整することができる情報処理装置およびプログラムを提供することである。

ある局面に従うと、情報処理装置が提供される。情報処理装置は、画像を撮影するカメラと、カメラによって撮影された画像に含まれる２以上の対象物のそれぞれの主体を特定するように構成された特定手段とを備える。２以上の対象物は、互いに主体が異なる第１の対象物と第２の対象物とを含む。情報処理装置は、カメラによって撮影された画像と、第１の対象物に対応するアノテーションとを単一の画面に表示するための情報を出力する出力手段と、画像を撮影したときのカメラの、位置、方向、および、仰角を取得する情報取得部と、画面におけるアノテーションの表示位置を調整するように構成された調整手段とを備える。調整手段は、情報取得部によって取得された情報に基づいて、アノテーションが画像の中の第２の対象物に重ならないように、アノテーションの表示位置を調整するように構成されている。

好ましくは、特定手段は、画像に含まれる広告情報を検出し、当該広告情報の内容に基づいて画像に含まれる対象物の主体を特定する。

好ましくは、特定手段は、広告情報に対して文字認識処理を施し、当該文字認識処理によって取得された文字情報に基づいて、画像に含まれる対象物の主体を特定する。

好ましくは、調整手段は、第１の対象物の位置を特定する情報と、情報取得部によって取得された情報とに基づいて、カメラが画像を撮影したときの視野において、カメラとアノテーションの表示位置の延長線に第２の対象物が存在したときに、アノテーションが画像の中で第２の対象物に重なると判断する。

他の局面に従うと、画像を撮影するカメラと、カメラによって撮影される画像を画面に表示するための情報を出力する出力手段とを備えた情報処理装置を制御するコンピュータによって実行されるプログラムが提供される。プログラムは、コンピュータに、カメラによって撮影された画像に含まれる２以上の対象物のそれぞれの主体を特定させる。２以上の対象物は、互いに主体が異なる第１の対象物と第２の対象物とを含む。プログラムは、さらに、コンピュータに、画像を撮影したときのカメラの、位置、方向、および、仰角を取得させ、コンピュータに、カメラの、位置、方向、および、仰角に基づいて、画面において、第１の対象物に対応するアノテーションが画像の中の第２の対象物に重ならないように、アノテーションの表示位置を調整させる。

画像表示システムの概略的な構成を示す図である。 移動端末のハードウェア構成の具体例を示す図である。 移動端末の機能ブロック図である。 サービス提供サーバに格納される情報の一部を概略的に示す図である。 広告情報提供サーバに格納される情報の一部を概略的に示す図である。 移動端末の動作の概要を説明するための図である。 位置（１）から撮影された画像の表示画面の一例を示す図である。 位置（２）から撮影された画像の表示画面の一例を示す図である。 図６の位置（１）でのカメラの視野を模式的に示す図である。 図６の位置（２）でのカメラ２６の視野を模式的に示す図である。 マーカの位置を調整するための処理のフローチャートである。

＜第１の実施の形態＞
以下、情報処理装置の一実施の形態である携帯端末を含む画像表示システムについて、図面を参照して説明する。以下の説明において、同一の機能および作用を有する部品は、各図を通して同じ符号を付し、重複する説明を繰返さない。

［画像表示システムの概略的な構成］
図１を参照して、画像表示システムの構成の一例を説明する。図１は、画像表示システムの概略的な構成を示す図である。

図１に示されるように、画像表示システムは、携帯端末１と、携帯端末１をネットワーク環境に接続させるための無線ネットワーク基地局３と、サービス提供サーバ４と、広告情報提供サーバ５とを含む。携帯端末１は、ネットワーク２を介して上記基地局およびサーバと通信する。

携帯端末１の一つの面には、指示を入力するための操作ボタン２５Ａと、モニタ３０とが設けられている。また、携帯端末１の当該面の裏側には、カメラ２６が備えられている。携帯端末１は、カメラ２６で撮影した画像を、モニタ３０に表示する。操作ボタン２５Ａは、たとえばカメラ２６による撮影に利用されるシャッタボタンである。

携帯端末１は、たとえば、携帯電話機、スマートフォン（高機能携帯電話）、または、情報端末によって実現される。情報処理装置は、カメラを備え、当該カメラによる撮影の際の位置および向きを特定することができれば、携帯性を具備している必要はない。

［携帯端末のハードウェア構成］
図２は、携帯端末１のハードウェア構成の具体例を示す図である。

図２を参照して、携帯端末１は、演算装置であるＣＰＵ（Central Processing Unit）２０と、記憶装置２１と、磁気センサを含んで当該携帯端末１の向きを検出するための電子コンパス２３と、ＧＰＳ（Global Positioning System）信号または基地局からの位置信号を受信して当該携帯携帯端末の位置情報を取得するためのＧＰＳコントローラ２４と、ジャイロセンサ３２と、操作入力を受付けるための操作部２５と、カメラ２６と、外部の機器と通信するための通信装置２７と、携帯端末１に対して着脱可能な記録媒体１００に対する情報の書き込みおよび読み取りを行うメディアコントローラ２８と、モニタ３０と、表示インターフェース３０Ａとを含む。

記憶装置２１は、ＣＰＵ２０で実行されるプログラムなどを記憶するＲＯＭ（Read Only Memory）と、一次記憶装置の一例であるＲＡＭ（Random Access Memory）とを含む。操作部２５は、キーボードやマウス、または、タッチセンサによって構成され得る。表示インターフェース３０Ａは、ＣＰＵ２０とモニタ３０との間の通信のインターフェースである。モニタ３０は、たとえば液晶ディスプレイやプラズマディスプレイなどによって実現され、操作部２５と一体的にタッチパネルとして実現される場合もあり得る。

電子コンパス２３は、携帯端末１の水平方向の向きを示す信号を生成し、当該信号をＣＰＵ２０へ出力する。ＧＰＳコントローラ２４は、携帯端末１の水平方向の向きや位置情報を示す信号を生成し、当該信号をＣＰＵ２０へ出力する。ジャイロセンサ３２は、携帯端末１の垂直方向の向き（仰角）を示す信号を生成し、当該信号をＣＰＵ２０へ出力する。第１の実施の形態において、携帯端末１の位置／向きは、ＡＲ技術を利用したマーカの提供のために携帯端末１から所与のサーバへ提供される情報の一例であって、カメラ２６の位置／向きに相当する。

［携帯端末の機能構成］
図３を参照して、携帯端末１の機能的な構成を示す。図３は、携帯端末１の機能ブロック図である。

図３に示されるように、携帯端末１は、出力画像生成部５０と、画像取得部５１と、位置情報取得部５２と、方位情報取得部５３と、マーカ位置検出部５４と、位置関係検出部５５とを含む。これらのそれぞれは、たとえばＣＰＵ２０が所与のプログラムを実行することによって実現される。画像取得部５１は、カメラ２６から、当該カメラ２６が撮影した画像情報を取得する。また、画像取得部５１は、カメラ２６の画像に対して与えられたマーカの画像情報を取得する。携帯端末１に搭載された特定のアプリケーションは、取得された画像と、当該取得された画像が撮影されたときのカメラ２６の位置および向きとを、サービス情報サーバ４等の所与のサーバに提供する。これにより、携帯端末１は、当該サーバから、ＡＲ技術に従って、当該画像に対応するマーカを提供される。カメラ２６の位置および向きに基づくマーカの提供については、公知の技術を採用することができるため、本明細書では詳細な説明は繰り返さない。

位置情報取得部５２は、ＧＰＳコントローラ２４から、画像取得部５１が取得した画像が撮影されたときのカメラ２６の位置情報を取得する。位置情報取得部５２は、電子コンパス２３および／またはジャイロセンサ３２から、画像取得部５１が取得した画像が撮影されたときのカメラ２６の向きの情報を取得する。

マーカ位置検出部５４は、上記のように提供されたマーカがモニタ３０に表示されるときの位置情報を取得する。当該位置情報は、マーカを提供するサーバから携帯端末１に送信された情報によって特定される場合もあれば、携帯端末１に実装されている、撮影された画像をマーカとともに表示させるためのアプリケーションによって特定される場合もある。

位置関係検出部５５は、画面に表示されるマーカの当該画面における位置と、画面における対象物の位置との関係を検出する。位置関係検出部５５は、マーカ位置検出部５４から出力される情報に基づいて、画面におけるマーカの位置を特定する。また、位置関係検出部５５は、画像取得部５１が取得した画像における対象物の位置を特定することにより、画面における対象物の位置を特定する。位置を特定される対象物は、画面に表示されるマーカに対応する対象物を含む。なお、位置関係検出部５５は、たとえば、位置情報取得部５２が取得した位置の情報と方位情報取得部５３が取得した向きの情報とに基づいて、画像取得部５１が取得した画像が対応する現実世界の範囲を特定し、そして、現実世界の当該範囲において画面に表示されるマーカが対応する対象物の近傍に存在する建物を特定することにより、画像取得部５１が取得した画像に含まれる対象物を特定し、そして、当該特定した対象物の上記画面における位置を特定する。

出力画像生成部５０は、表示位置調整部５６を含む。表示位置調整部５６は、位置関係検出部５５によって検出された関係に基づいて、上記マーカが、画像取得部５１が取得した画像の中の当該マーカが対応する対象物以外の対象物に対応するものと認識されないように、モニタ３０に表示される画面におけるマーカの表示位置を調整する。出力画像生成部５０は、画像取得部５１が取得した画像に画像取得部５１が取得したマーカを重畳させた画像情報を生成し、モニタ３０に送信する。これにより、モニタ３０は、画像情報に従った画面を表示する。なお、出力画像生成部５０が生成する画面情報におけるマーカの位置は、表示位置調整部５６によって位置を調整された後の位置である。

［サービス提供サーバ］
図４を参照して、サービス提供サーバ４に格納される情報の一例を説明する。図４は、サービス提供サーバ４に格納される情報の一部の内容を概略的に示す図である。

図４に示されるように、サービス提供サーバ４は、広告情報（ＡＤ００１等）を、広告主を特定する情報（ＳＰ０１等）に関連付けて格納する。広告情報とは、マーカの種類を特定する情報である。マーカの具体例としては、メッセージ「毎週水曜はレディースデー」のように、広告主の商業活動における広告が挙げられる。

［広告情報提供サーバ］
図５を参照して、広告情報提供サーバ５に格納される情報の一例を説明する。図５は、広告情報提供サーバ５に格納される情報の一部の内容を概略的に示す図である。

図５に示されるように、広告情報提供サーバ５は、広告主を特定する情報（ＳＰ０１等）を、建物位置（ＸＢ１，ＹＢ１）に関係付けて格納する。建物位置は、たとえば、広告主が所有する、実世界における建物の位置を特定する情報であり、たとえば、Ｘ座標とＹ座標のように、実世界における平面上の位置を二次元的に特定できる情報である。

［携帯端末の動作の概要］
図６を参照して、携帯端末１の動作の概要を説明する。図６は、携帯端末１の動作の概要を説明するための図である。

図６では、実世界における建物９４，９６が示されている。建物９４は、Ａ社の建物であり、「Ａ社」と書かれた看板９４Ａを有する。建物９６は、Ｂ社の建物であり、「Ｂ社」と書かれた看板９６Ａを有する。図６では、建物９４が存在する位置の座標がＡ（Ｘａ，Ｙａ）で示され、建物９６が存在する位置の座標がＢ（Ｘｂ，Ｙｂ）で示されている。

図６中のマーカ９７は、Ａ社に対応して付与されるマーカであって、Ｂ社には対応しないマーカの一例である。ＡＲ技術を利用したアプリケーションは、建物９４を含む画像が撮影された場合、当該画像に重畳させるマーカとして、当該画像の表示情報を生成する装置に、マーカ９７を提供する。マーカ９７の位置は、マーカ９７の提供元によって指定される。マーカ９８は、後述のように変更された後のマーカ９７の位置を示す。

図６において、位置（１）と位置（２）は、それぞれ人９０，９２のそれぞれの位置を示している。現実世界での位置（１）は、座標（Ｘｍ１，Ｙｍ１）で示される。位置（２）は、座標（Ｘｍ２，Ｙｍ２）で示される。さらに、図６では、位置（１）から建物９４を含む画像を撮影するときのカメラの視野が一点鎖線で示される。位置（２）から建物９４を含む画像を撮影するときのカメラの視野が破線で示される。

位置（１）から一点鎖線で示された視野が撮影されることを考慮すると、位置（１）から建物９４が撮影された場合、撮影された画像では、マーカ９７は、建物９４には重なるが、建物９６には重ならないと想定される。図７は、位置（１）から撮影された画像がマーカ９７を重畳されて表示されるときの画面の一例を示す図である。図７の画面７において、要素１１０は建物９４に対応し、要素１１１はマーカ９７に対応する。要素１２０は、建物９６に対応する。

一方、位置（２）から破線で示された視野が撮影されることを考慮すると、位置（２）から建物９４が撮影された場合、撮影された画像では、マーカ９７は、建物９６が重なることが想定される。図８は、位置（２）から撮影された画像がマーカ９７を重畳されて表示されるときの画面の一例を示す図である。図８の画面８において、要素２１０は建物９４に対応し、要素２２０は建物９６に対応し、要素２１１はマーカ９７に対応する。この場合、要素２１１は、要素２２０に重なっている。これにより、マーカ９７が、本来対応しない建物９６の所有者であるＢ社に対応すると誤解を与えるおそれがある。このような場合、携帯端末１は、マーカ９７の位置を、図６においてマーカ９８で示される位置に変更する。これにより、画面８におけるマーカの表示位置は、要素２１１で示される位置から要素２１２に示される位置へと変更される。要素２１２は、要素２１０には重なるが、要素２２０には重ならない。したがって、上記誤解を回避できる。

［マーカの位置の変更］
図６〜図８を参照して説明したマーカの表示位置の変更（調整）は、表示位置調整部５６によって実行される。図９および図１０を参照して、当該の調整の内容を、より具体的に説明する。図９および図１０は、建物９４，９６を上から見た図に相当する。なお、図９は、図７の例に対応する。図１０は、図８の例に対応する。

まず、図９に示された例について説明する。図９は、図６の位置（１）から撮影したときのカメラ２６の視野を模式的に示す図である。図９では、カメラ２６の位置は、点Ｐ１で示されている。その視野は、線Ｌ１１，Ｌ１２で表される。カメラ２６の視野は、実世界に実体として存在するものではなく、位置情報取得部５２が取得する位置情報と方位情報取得部５３が取得する向きの情報とに基づき公知の技術を利用されて特定される。この図には、実世界には存在しないマーカ９７の位置が追加されている。

位置関係検出部５５は、マーカ９７の広告主と建物９６の所有者とを特定することにより、マーカ９７の広告主が建物９６の所有者とが異なる主体に対応するという結果を取得する。そして、位置関係検出部５５は、画像に含まれる、主体の異なるマーカと建物との位置関係を解析する。より具体的には、位置関係検出部５５は、図９に示されたマーカ９７の位置と建物９６の位置の関係を解析する。これにより、位置関係検出部５５は、建物９６が、点Ｐ１を始点としたマーカ９７の延長線上には存在しない、という解析結果を取得する。

表示位置調整部５６は、位置関係検出部５５の解析結果に基づいて、マーカ９７の表示位置を変更しない、という調整の結果を生成する。出力画像生成部５０は、当該調整の結果に基づいて、マーカ９７の位置を、当該マーカ９７を提供するサーバまたは当該マーカ９７を表示させるアプリケーションによって指定されたものから変更することなく、カメラ２６によって撮影された画像に重畳させることにより、当該画像の表示情報を生成する。

次に、図１０に示された例について説明する。図１０は、図６の位置（２）から撮影したときのカメラ２６の視野を模式的に示す図である。図１０では、カメラ２６の位置は、点Ｐ２で示されている。その視野は、線Ｌ２１，Ｌ２２で表される。この図には、実世界には存在しないマーカ９７，９８の位置が追加されている。

位置関係検出部５５は、上記したようなマーカ９７と建物９６の主体の特定の結果に従って、図１０中のマーカ９７の位置と建物９６の位置関係を解析する。図１０において、線Ｌ２３，２４は、いずれも、点Ｐ２を始点としマーカ９７上を通る線である。これらの線は、実世界には存在しない。そして、位置関係検出部５５は、建物９６が、点Ｐ１を始点としたマーカ９７の延長線上には存在する、という解析結果を取得する。

表示位置調整部５６は、当該解析結果に基づいて、マーカ９７の表示位置をマーカ９８で示される位置へと変更する、という調整の結果を生成する。出力画像生成部５０は、当該調整の結果に基づいて、マーカ９７の位置をマーカ９８で示される位置へと変更した上で、カメラ２６によって撮影された画像に重畳させることにより、当該画像の表示情報を生成する。

表示位置調整部５６は、マーカの変更後の位置を、当該マーカが主体の異なる建物に重ならない位置であって表示画面内に収まる位置であれば、いかなる位置に決定することができる。また、表示位置調整部５６は、単に位置を変更するだけでなく、当該マーカの大きさや形状を変更することによって、マーカの変更後の位置（大きさ、形状）を決定することもできる。第１の実施の形態での「重ならない」とは、たとえば、カメラ２６の撮影位置を始点としたときの同じ延長線上に存在しないことを意味する。

［マーカの位置の変更のためのフローチャート］
図１１を参照して、図６〜図１０を参照して説明されてきた、マーカの表示位置を必要に応じて変更するための処理の内容をより具体的に説明する。図１１は、当該処理のフローチャートである。

カメラ２６によって画像が撮影されると、出力画像生成部５０が画像取得部５１を介して当該画像を取得し、当該画像を単独でモニタ３０に表示させるとともに、位置情報取得部５２および方位情報取得部５３が、撮影時のカメラ２６の位置および向きを取得する（ステップＳ１０）。

次に、位置関係検出部５５は、撮影された画像から、広告または看板を検出する（ステップＳ２０）。これにより、看板９４Ａ，９６Ａが検出される。位置関係検出部５５は、たとえば、パターンマッチング技術を利用して、撮影された画像が図４の広告情報で特定される広告の画像を含むかどうかを判断することにより、広告や看板を検出する。

次に、位置関係検出部５５は、ステップＳ２０で特定した広告および看板のそれぞれの広告主を特定する（ステップＳ３０）。位置関係検出部５５は、ステップＳ３０では、たとえば、サービス提供サーバ４に格納されるデータベース（図４参照）を参照することにより、ステップＳ２０において撮影された画像に含まれると判断された広告の画像に関連付けられた広告主を取得することにより、上記広告主を特定する。

次に、位置関係検出部５５は、ステップＳ３０で特定した広告主の建物が存在する位置を取得する（ステップＳ４０）。位置関係検出部５５は、ステップＳ４０では、たとえば、広告情報提供サーバ５に格納されるデータベース（図５参照）を参照することにより、ステップＳ３０で特定された広告主に関連付けられた建物位置を取得する。同一の広告主に複数の建物位置が特定されている場合、位置関係検出部５５は、たとえば、ステップＳ１０で取得された位置および向きに基づいてカメラ２６の視野を特定し、当該特定された視野に含まれる建物情報を取得する。

ステップＳ５０では、位置関係検出部５５は、ステップＳ２０で検出されたすべての広告および看板がステップＳ３０とステップＳ４０の処理対象とされたかどうかを判断する。まだ処理対象とされていない広告または看板が残されていれば、制御はステップＳ３０に戻される。一方、すべての広告および看板が処理対象とされていれば、制御はステップＳ６０へ進められる。

ステップＳ６０では、マーカ位置検出部５４は、カメラ２６によって撮影された画像に対して提供されたマーカと、当該マーカの提供元から当該マーカについて指定された表示位置とを取得する。

次に、ステップＳ７０で、表示位置調整部５６は、図９および図１０を参照して説明したように、撮影位置（図９の点Ｐ１または図１０の点Ｐ２のような、カメラ２６の位置）と提供されたマーカとの延長線上に、当該マーカと主体が異なる建物が存在するか否かを判断する。図６、図９、および、図１０に示されたような建物の位置関係は、たとえば、位置関係検出部５５がステップＳ４０で取得した、画像に含まれる建物の広告主の建物位置の近傍の地図情報を読み込むことにより、構成される。位置関係検出部５５は、携帯端末１の記憶装置２１に格納されている地図情報を読み込んでも良いし、ネットワーク２を介して通信可能な記憶装置に格納されている地図情報を読み込んでも良い。

ステップＳ７０において、図１０に示されたように、上記延長線上に上記マーカと主体が異なる建物が存在すると判断された場合には、制御はステップＳ８０へ進められる。一方、図９に示されたように、上記延長線上に上記マーカと主体が異なる建物が存在しないと判断された場合には、制御はステップＳ９０へ進められる。

ステップＳ８０では、表示位置調整部５６は、図１０を参照して説明したようにマーカの位置を移動させるように調整する。そして、制御は、ステップＳ９０へと進められる。

ステップＳ９０では、表示位置調整部５６は、今回表示される画像に対して提供されたすべてのマーカについて、ステップＳ７０における判断が実行されたか否かを判断する。そして、表示位置調整部５６は、まだ判断がなされていないマーカが存在すると判断すると、ステップＳ７０へ制御を戻す。一方、表示位置調整部５６は、すべてのマーカについての判断がなされたと判断すると、図１１に示された処理を終了させる。

＜第２の実施の形態＞
第１の実施の形態では、電子コンパス２３がカメラ２６の水平方向の向きを計測し、ジャイロセンサ３２がカメラ２６の垂直方向の向き（仰角）を計測する。携帯端末１において、カメラ２６の水平方向の向きおよび／または垂直方向の向きは、他の方法によって計測されても良い。

第２の実施の形態では、携帯端末１に取り付けられた受光装置によって、カメラ２６の水平方向および／または垂直方向の向きが計測される。第２の実施の形態の画像表示システムでは、カメラ２６の向きを計測するための電波が、たとえば特定の位置から特定の向きで発信される。第２の実施の形態の携帯端末１では、位置情報取得部５２および方位情報取得部５３は、受光装置が当該電波を受信した強度等を所与の処理に適用することにより、カメラ２６の水平方向および／または垂直方向の向きを特定する。

＜その他＞
図１１を参照して説明された処理では、ステップＳ３０〜ステップＳ５０において、画像に含まれる全ての建物の広告主が特定された後、ステップＳ６０において、マーカの情報が取得された。

以上説明した第１および第２の実施の形態では、対象物の一例として建物が示された。なお、第１の実施の形態の対象物としては、主体に関連付けられる対象であればよく、橋などの建物以外の建造物であっても良いし、看板などの物体であっても良い。また、対象物には、主体に関連付けられるのであれば、木などの自然物が含まれる場合もある。

また、第１および第２の実施の形態では、「広告主」は、画像に含まれる対象物の主体の一例である。当該主体は、対象物について、広告活動をするような商業的に関係付けられたものだけを意味するのではなく、対象物に対するいかなる態様で関係付けられたもの（個人、会社、団体等）を意味し得る。

また、カメラ２６の位置および向きの少なくとも一方は、操作部２５を介して入力された情報に基づいて特定されても良い。

携帯端末１は、上記のようにマーカの表示位置を調整することにより、マーカの表示位置付近に表示された背景から、広告・看板となるものを検出し、その中のメーカ名やロゴから、対象物（広告や看板）の主体を特定する。その結果、カメラ２６が撮影した画像に重畳されるマーカと対象物の主体の関連性が判明する。そして、マーカの表示位置が、当該マーカが対応しない主体の対象物（広告や看板）に重なるように表示されるように指定されている場合、携帯端末１は、当該マーカの表示位置を変更する。

特に、図６を参照して説明されたように、携帯端末１は、同じ被写体（建物９４）を含む場合であっても、撮影する位置（位置（１）と位置（２））に応じて、マーカの表示位置を撮影位置に合わせて調整する。都会のような建物密度が高い場所で撮影が行なわれる場合、同じ被写体を撮影する場合でも、撮影する位置（向き）が異なれば、画像に含まれる建物（対象物）の種類が異なる場合があり得る。携帯端末１では、このような場合でも、ユーザを煩わせることなく自動的に、マーカの表示位置を調整する。

今回開示された実施の形態およびその変形例はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１ 携帯端末、２１ 記憶装置、２３ 電子コンパス、２４ ＧＰＳコントローラ、２５ 操作部、２６ カメラ、２７ 通信装置、３０ モニタ、５０ 出力画像生成部、５１ 画像取得部、５２ 位置情報取得部、５３ 方位情報取得部、５４ マーカ位置検出部、５５ 位置関係検出部、５６ 表示位置調整部。

Claims (5)

1. 画像を撮影するカメラと、
   前記カメラによって撮影された画像に含まれる２以上の対象物のそれぞれの主体を特定するように構成された特定手段とを備え、
   前記２以上の対象物は、互いに主体が異なる第１の対象物と第２の対象物とを含み、
   前記カメラによって撮影された画像と、前記第１の対象物に対応するアノテーションとを単一の画面に表示するための情報を出力する出力手段と、
   前記画像を撮影したときの前記カメラの、位置、方向、および、仰角を取得する情報取得部と、
   前記画面における前記アノテーションの表示位置を調整するように構成された調整手段とを備え、
   前記調整手段は、前記情報取得部によって取得された情報に基づいて、前記アノテーションが前記画像の中の前記第２の対象物に重ならないように、前記アノテーションの表示位置を調整するように構成されている、情報処理装置。
2. 前記特定手段は、前記画像に含まれる広告情報を検出し、当該広告情報の内容に基づいて前記画像に含まれる対象物の主体を特定する、請求項１に記載の情報処理装置。
3. 前記特定手段は、前記広告情報に対して文字認識処理を施し、当該文字認識処理によって取得された文字情報に基づいて、前記画像に含まれる対象物の主体を特定する、請求項２に記載の情報処理装置。
4. 前記調整手段は、前記第１の対象物の位置を特定する情報と、前記情報取得部によって取得された情報とに基づいて、前記カメラが前記画像を撮影したときの視野において、前記カメラと前記アノテーションの表示位置の延長線に前記第２の対象物が存在したときに、前記アノテーションが前記画像の中で前記第２の対象物に重なると判断する、請求項１〜請求項３のいずれか１項に記載の情報処理装置。
5. 画像を撮影するカメラと、前記カメラによって撮影される画像を画面に表示するための情報を出力する出力手段とを備えた情報処理装置を制御するコンピュータによって実行されるプログラムであって、
   前記プログラムは、
   コンピュータに、前記カメラによって撮影された画像に含まれる２以上の対象物のそれぞれの主体を特定させ、
   前記２以上の対象物は、互いに主体が異なる第１の対象物と第２の対象物とを含み、
   前記プログラムは、さらに、
   コンピュータに、前記画像を撮影したときの前記カメラの、位置、方向、および、仰角を取得させ、
   コンピュータに、前記カメラの、位置、方向、および、仰角に基づいて、前記画面において、前記第１の対象物に対応するアノテーションが前記画像の中の前記第２の対象物に重ならないように、前記アノテーションの表示位置を調整させる、プログラム。

Images