JP2013162487A - 画像表示装置及び撮像装置 - Google Patents

Abstract

【課題】閲覧者が投稿された画像を見てその撮影対象物をより認識しやすくできるようにする。
【解決手段】メッセージ交換システムにおいて、メッセージに写真を添付して送信する場合には、撮影画像とともに、情報端末の位置姿勢情報、特徴点情報及び三次元構造情報を添付してサーバに送信する。そして、メッセージを受信する側では、これらの情報及び自身の位置及び姿勢に基づいて、受信した撮影画像を受信側から被写体を見た様子に最も近い角度の撮影画像に補正する。
【選択図】図１

Description

本発明は、例えば、メッセージ交換システムなどに用いて好適な画像表示装置、撮像装置、画像表示方法、撮像装置の制御方法及びそのプログラムに関する。

昨今、無線通信機能を備えた携帯電話において、画像やメッセージを利用者間で共有したり交換したりすることが一般に行われている。このようなメッセージ交換システムにおいては、撮影した画像に文章を添えて送信することが多くなされている。

一方で、拡張現実感技術と呼ばれる技術も普及してきている。拡張現実感技術とは、カメラで撮影した映像に重ねてコンピュータ・グラフィクス（以下、ＣＧと略す）を表示する技術である。拡張現実感システムの提供者は、この技術を用いることにより、あたかもＣＧがその場に存在するかのように利用者に知覚させることができる。

近年では、上記二つのシステムを組み合わせた、拡張現実感技術を用いたメッセージ交換システムも利用されている。このメッセージ交換システムにおいては、利用者が情報端末に備えられたカメラで周囲を見渡すと、表示画面を通して利用者自身やその他の利用者が周囲に投稿したメッセージを見ることができる。このような拡張現実感技術を用いたメッセージ交換システムにおいて、投稿されたメッセージは、情報端末が備えるＧＰＳ等の位置情報取得部により取得した位置情報の場所に配置される。配置されたメッセージの近辺にいる利用者は、情報端末で周囲を眺めまわすと、メッセージが投稿された方向に、メッセージを表現したＣＧを情報端末の表示画面を通して見ることができる。

このような従来のメッセージ交換システムにおいては、次のような過程でメッセージを表示するまでの処理がなされる。まず、メッセージの投稿過程においては、投稿者の操作によりメッセージ交換アプリケーションを起動し、投稿者が投稿ボタンを押すことにより投稿したいメッセージをテキスト入力する。この際、テキストと一緒に写真を投稿したい場合には、撮影ボタンを押して撮影を行う。そして、投稿者が送信ボタンを押すと、入力されたテキストと撮影された写真とが、投稿者の持つ情報端末に備えられた位置情報取得部の取得した位置情報と関連付けられ、メッセージ交換サーバに無線送信される。

一方、他の利用者が投稿されたメッセージを閲覧する際には、次のような処理がなされる。まず、利用者の操作によりメッセージ交換アプリケーションを起動する。そして、起動の際に、利用者の持つ情報端末は位置情報をメッセージ交換サーバに送信し、利用者自身の近辺、例えば５００ｍ以内にあるメッセージのリストを、無線通信を通してダウンロードする。

ダウンロードしたメッセージ群には、そのメッセージが投稿された位置の情報が関連付けられている。この際、利用者が情報端末を自分の見たい方向にかざすと、情報端末の表示画面には、利用者の見たい方向を撮影した画像が表示される。また、その方向に投稿されたメッセージが存在する場合には、撮影画像に重ねて、投稿されたメッセージが表示される。この表示の際、情報端末は内蔵された電子コンパスと姿勢センサとから取得される情報を用いて、視界にメッセージが存在するかどうかを判定する。

特開２００８−９９１４号公報

吉田悠一、安倍満：高速特定物体認識手法を用いたモバイルデバイスでのリアルタイムＡＲ、情報処理学会インタラクション２０１１論文集 Georg Klein, David Murray: Parallel Tracking and Mapping on a Camera Phone, In Proc. International Symposium on Mixed and Augmented Reality, 2009. John Bastian et al.: Interactive Modelling for AR Applications, In Proc. International Symposium on Mixed and Augmented Reality, 2010. 柳井啓司：一般物体認識の現状と今後、情報処理学会論文誌コンピュータビジョンとイメージメディア、Vol.48, Nov 2007. 渡邊徹志：現実認識型情報端末uScopeの提案、２０１０年第２回トロン／ユビキタス技術研究会

従来のメッセージ交換システムにおいては、メッセージに関連付けられて投稿されるのは、ＧＰＳにより取得された端末の位置情報である。したがって、利用者がある店の看板を撮影し、メッセージとして「この店によく来ています」などと入力して投稿する場合を想定すると、この方法では、メッセージが投稿される位置は、お店の位置ではなく利用者が撮影した位置となる。また、位置情報取得部や電子コンパスの出力する情報はそれぞれ誤差を含むため、投稿時と表示時にそれぞれ誤差が含まれることとなり、必ずしも投稿者が指定した位置にメッセージが表示されるとは限らない。

本発明は前述の問題点に鑑み、閲覧者が投稿された画像を見てその撮影対象物をより認識しやすくできるようにすることを目的としている。

本発明の画像表示装置は、撮像装置から送信された撮影画像を表示部に表示する画像表示装置であって、前記画像表示装置の位置及び姿勢を検出する位置姿勢検出手段と、前記撮影画像とともに、前記撮影画像に含まれる被写体の特徴点情報と、前記被写体を撮像したときの前記撮像装置の位置及び姿勢の情報とをサーバから受信する受信手段と、前記受信手段によって受信された前記撮影画像に含まれる被写体の特徴点情報と、前記被写体を撮像したときの前記撮像装置の位置及び姿勢の情報とに基づいて、前記位置姿勢検出手段によって検出された位置及び姿勢に対応した向きに前記撮影画像を補正する補正手段と、前記補正手段によって補正された画像を前記表示部に表示する表示制御手段とを備えることを特徴とする。

本発明によれば、閲覧者が投稿された画像を見てその撮影対象物をより認識しやすくすることができる。

実施形態における情報端末の機能構成例を示すブロック図である。 実施形態において利用される情報端末の外観構成例を説明する図である。 本実施形態において、メッセージ交換アプリケーションが動作しているときの液晶タッチパネルに表示される画面の一例を示す図である。 地図アイコンが選択されたことによって表示される、メッセージを入力した位置の近傍の地図の一例を示す図である。 実施形態において、拡張現実感アイコンが選択されたことによって表示される、情報端末の撮像しているライブのシーンの一例を示す図である。 テキストメッセージを入力する画面の一例を示す図である。 撮像中における表示画面の一例を示す図である。 シャッターボタンの押下により行われる処理手順の一例を示すフローチャートである。 メッセージ情報を送信する処理手順の一例を示すフローチャートである。 拡張現実感表示に対応した拡張現実感表示対応範囲を説明する図である。 投稿指定場所の最も近辺の三次元メッシュを説明する図である。 拡張現実感表示対応範囲の他の一例を示す図である。 実施形態において、メッセージ交換アプリケーションの動作画面が、どのような手順で表示されるかを説明するフローチャートである。 実施形態において、メッセージの拡張現実感表示がどのように制御されるかを説明する概念図である。 実施形態において、メッセージの拡張現実感表示がどのように制御されるかを説明する概念図である。

以下、本発明の実施形態について、図面を参照しながら説明する。
（第１の実施形態）
本実施形態では、拡張現実感技術を用いたメッセージ交換システムについて説明する。本実施形態における情報端末は、拡張現実感技術を用いたメッセージ交換アプリケーションの動作する、通信機能を備えたコンパクトデジタルカメラである。本実施形態において、メッセージ交換システムは、利用者の持つ情報端末と、メッセージ交換サーバとによって構成されている。

図１は、本実施形態における情報端末１００の機能構成例を示すブロック図である。以下、図面に従って本実施形態における情報端末１００の構成を説明する。
撮像部１０１は、ＣＣＤカメラモジュールやＣＭＯＳカメラモジュール、およびそれらに供給する光を通すズームレンズから構成される。そして、撮像部１０１によって生成された画像信号を処理部１０５に送る。表示部１０２は、後述する処理部１０５の表示制御により、撮影した画像や拡張現実感技術を用いたメッセージを表示するものであり、表示部１０２は液晶ディスプレイによって構成されている。また、液晶ディスプレイに重ねて、透明なタッチパネルが配置されており、ユーザは表示される画面に対してタッチ操作を行うことができる。

撮像操作部１０３は、処理部１０５を通して撮像部１０１の制御を行う。すなわち、利用者は、撮像操作部１０３を通して撮像操作を行うことができる。撮像操作部１０３は、半押し及び全押しが可能なシャッターボタンによって構成されている。通信部１０４は、情報端末１００の無線通信の制御を行う。また、通信部１０４は、送受信する情報の圧縮・解凍を行うことにより通信量の削減を行う。通信部１０４は、情報端末１００に内蔵されるマイクロプロセッサ群とその上で動作するプログラムと、さらに無線通信モジュールとによって構成されている。

処理部１０５は、情報端末１００内の各種の制御処理を行う。処理部１０５は情報端末１００に内蔵されるマイクロプロセッサ群とその上で動作するプログラムとによって構成されている。情報入力部１０６は、利用者がメッセージや情報を入力するためのユーザの操作を受け付ける操作部である。情報入力部１０６は、表示部１０２に重ねて取り付けられたタッチパネルによって構成されている。情報入力部１０６と、それと連動して動作する処理部１０５とが制御するソフトウェアキーボード及びＦＥＰによって、利用者は情報端末１００上でテキストメッセージを入力することができる。

位置姿勢検出部１０７は、情報端末１００が地球上のどの位置にあり、どの方向を向いているかの位置姿勢情報を検出する構成である。位置姿勢検出部１０７は、情報端末１００に内蔵されるＧＰＳモジュールと、電子コンパスと、姿勢センサとによって構成されている。特徴検出部１０８は、撮像部１０１により撮影した映像の中から特徴的な部分を抽出し、撮影されたフレームごとにその特徴点の追跡を行う。特徴検出部１０８は、情報端末１００に内蔵されるマイクロプロセッサ群とその上で動作するプログラムとによって構成されている。

三次元構造復元部１０９は、撮像部１０１により撮影した映像及び特徴検出部１０８により検出された画像中の特徴点の情報、さらに位置姿勢検出部１０７から出力される位置姿勢情報を用いて、撮影対象となっているシーンの三次元構造の復元を行う。三次元構造復元部１０９は、情報端末１００に内蔵されるマイクロプロセッサ群とその上で動作するプログラムとによって構成されている。

位置姿勢補正部１１０は、情報端末１００が後述する拡張現実感表示を行う際に、位置姿勢検出部１０７の得た位置姿勢情報のみを用いてＣＧを表示すると現実の風景とのずれが生じる場合に、そのずれの補正を行う。位置姿勢補正部１１０は、補正のために特徴検出部１０８から出力される情報を用い、場合によっては三次元構造復元部１０９から出力される情報を用いる。位置姿勢補正部１１０は、情報端末１００に内蔵されるマイクロプロセッサ群とその上で動作するプログラムとによって構成されている。

次に、本実施形態におけるメッセージ交換システムにおいて、情報端末がどのように動作するかについて説明する。
図２は、本実施形態において利用される情報端末１００の外観構成例を説明する図である。図２に示すように、情報端末１００は、外観が一般的なコンパクトデジタルカメラ状のものである。情報端末１００は、シャッターボタン２０１を備え、表示部１０２と情報入力部１０６とを兼ねた液晶タッチパネル２０２を背面に備えている。シャッターボタン２０１は、半押し操作と全押し操作とが可能な部材によって構成されている。

本実施形態においては、情報端末１００上でメッセージ交換アプリケーションが動作する。このメッセージ交換アプリケーションは、参加する利用者間でお互いが任意のテキストメッセージを入力し、閲覧し合うことができるようにするものである。このメッセージ交換アプリケーションは、入力したテキストメッセージの他、テキストメッセージに関連付けられた写真や位置情報を交換することができるものである。

以下の説明においては、利用者甲と利用者乙という二人の利用者がメッセージ交換アプリケーションを利用しているものとして説明を行う。利用者甲と利用者乙とは友人関係にあり、互いの投稿するメッセージを閲覧しあう状況にある。以下、利用者乙が投稿したメッセージを利用者甲が閲覧するという状況において、利用者甲側の情報端末上での画面遷移について説明する。

図３は、本実施形態におけるメッセージ交換アプリケーションの動作画面の一例を示す図であり、画像表示装置として情報端末１００の液晶タッチパネル２０２に表示される画面の一例を示している。このメッセージ交換アプリケーションでは、メッセージを表示する際に、他の利用者が入力したメッセージを時間順に下から上の順に表示する。図３は、利用者甲が、利用者乙が入力したメッセージを見ている際の画面を示しており、メッセージ３０１は利用者乙が入力した最新のメッセージである。また、メッセージ３０２、３０３は、利用者乙が入力した過去のメッセージを表している。これらのメッセージは、利用者甲がメッセージ交換アプリケーションを起動している場合に、メッセージ交換サーバから情報端末１００にダウンロードされる。

最新のメッセージ３０１の欄に表示されている写真アイコン３０４、地図アイコン３０５及び拡張現実感アイコン３０６はそれぞれ、メッセージ３０１に関連付けて利用者乙が送信した情報を見るためのモードに移行するアイコンを示している。このうち、写真アイコン３０４は、利用者乙がメッセージに添付して写真を投稿していた場合に表示される。利用者甲が写真アイコン３０４を押すと、利用者乙がメッセージ３０１を入力する際に一緒に撮影した写真がメッセージ交換サーバからダウンロードされ、液晶タッチパネル２０２に表示される。

地図アイコン３０５は、利用者乙がメッセージに添付して位置情報を投稿していた場合に表示される。利用者甲が地図アイコン３０５を押すと、液晶タッチパネル２０２には、図４に示すような画面が表示される。地図画面４０１は、利用者乙がメッセージ３０１を入力した位置の近傍の地図を示している。また、吹き出しで表現された利用者乙のメッセージ４０２の吹き出しの先端が、利用者乙がメッセージ３０１を入力した位置を指し示している。クローズアイコン４０３は、利用者に押されると地図表示を終了し、再び図３に示す画面が表示される。

拡張現実感アイコン３０６は、利用者乙がメッセージに添付して特徴点情報を投稿していて、なおかつ、利用者甲が後述する拡張現実感表示対応範囲にいる場合に表示される。利用者甲が拡張現実感アイコン３０６を押すと、画面には、図５（ａ）に示すような画面が表示される。

シーン５０１は、利用者甲が、情報端末１００を通して見ている、情報端末１００の撮像しているライブのシーンを示している。メッセージ５０２は、利用者乙が入力したメッセージを示している。メッセージ５０２は、シーン５０１中の被写体であるビル５０３に関連付けられて投稿されており、利用者甲が情報端末１００を動かし、撮像される範囲を変化させても、図５（ｂ）に示すように、メッセージ５０２はビル５０３に定位されて表示される。この過程において、メッセージ表示の制御がどのように行われるかについては、後述する。また、クローズアイコン５０４が押されると、拡張現実感表示が終了し、再び図３に示す画面が表示される。

次に、利用者乙がメッセージを投稿する際に情報端末１００内で行われる処理について説明する。以下、利用者乙は、図３に示すメッセージ３０１〜３０３を、時間を置いて投稿するものとする。

まず、利用者乙が、情報端末１００上でメッセージ交換アプリケーションを起動すると、図３に示すような画面が情報端末１００上に表示される。メッセージを投稿するため、利用者乙がメッセージ投稿アイコン３０７を押すと、情報端末１００には、図６に示すような画面が表示される。

利用者乙が、このメッセージ入力欄６０１に触れると、画面にソフトウェアキーボードが表示され、テキストメッセージを入力することができるようになる。利用者乙がテキストメッセージを入力し、投稿決定アイコン６０４を押すと、入力したテキストメッセージがメッセージ交換サーバに無線送信される。この手順を通して、利用者乙はメッセージ３０２、３０３を入力する。

次に、利用者乙は、メッセージ３０１を入力する前に、メッセージに関連した写真及び位置情報を投稿したいと考え、まず、地図アイコン６０３を押す。地図アイコン６０３が押されると、位置姿勢検出部１０７により情報端末１００の位置姿勢情報が取得され、投稿されるメッセージに関連付けられる。次に、利用者乙が写真アイコン６０２を押すと、図７（ａ）に示す画面が情報端末１００に表示される。

図７（ａ）には、利用者乙の持つ情報端末１００が撮像装置として撮像部１０１を通して撮像している、利用者乙の周囲の現在の状況を示している。この状況において、利用者乙は情報端末１００を用いてビル７０１を撮影し、そのビル７０１に関連したメッセージを投稿したいと考えているものとする。

次に、利用者乙は、ビル７０１を撮影する準備として、シャッターボタン２０１に指を掛け、半押し動作を行う。すると、ズームレンズのフォーカス調整機能が動作し、ビル７０１にフォーカスが合う。フォーカス枠７０３は、この際に表示される枠であり、このフォーカス枠７０３の制御は、通常のコンパクトデジタルカメラと同様になされる。また、この際、特徴検出部１０８が動作し、撮影映像中の特徴的な部分の検出がなされる。

また、図７（ｂ）は、特徴検出の結果が可視化されている状況を示しており、特徴点マーク７０２は、特徴点が画面中で検出されていることを示すマークであり、画面上の特徴点ごとに表示される。特徴点マーク７０２は、図７（ｃ）に示すように、利用者乙が撮像範囲を変化させると、画面上の特徴点も撮像範囲の移動に合わせて移動する。

なお、本実施形態においては、画面上に特徴点マーク７０２が表示されるが、必ずしも特徴点は可視化される必要はなく、撮像のバックグラウンドで行われる処理であるものとしてよい。また、この特徴点のトラッキングには様々な方法があるが、本実施形態においては、非特許文献１や非特許文献２に開示されている、局所特徴を発見し、異なるフレームごとに追跡する方法を用いる。

利用者乙が、シャッターボタン２０１を半押しにしたまま、図７（ｃ）に示すように関心領域を中心に捉えて撮影範囲を決定し、シャッターボタン２０１を全押しすると、写真の撮影が行われて撮影画面が固定される。そして、図７（ｄ）に示すように、メッセージ入力欄が画面に表示される。このメッセージ入力欄に対して、利用者乙は図６に示したメッセージ入力欄６０１と同じように、テキストメッセージを入力することができる。また、利用者乙は、メッセージ入力欄を操作して、メッセージ入力指定位置を調整することができる。

利用者乙が、図７（ｄ）の画面から、図７（ｅ）に示すようにテキスト入力を完成させるまでの間に、三次元構造復元部１０９は、特徴点の追跡結果を用いて撮影対象の三次元構造の復元を試みる。このような、動画像からの三次元構造の復元は、一般にStructure From Motionと呼ばれる問題であり、さまざまな解法が提案されているが、ここでは、非特許文献３に開示される方法を用いる。非特許文献３では、映像中の特徴点をトラッキングした後に、映像を撮影した撮像部がどのように撮影中に動いたかの三次元的な動きを計算する。さらに映像中から利用者の指定した撮影対象物の領域を自動的に追跡し、これらの結果を利用して、撮影対象物の三次元構造の復元を行う。

三次元構造の復元は、本実施形態においては、半押し中に特徴点のトラッキングを行い、メッセージ入力中にStructure From Motionを行う。図８（ａ）は、シャッターボタン２０１の押下により行われる処理手順の一例を示すフローチャートである。すなわち、処理部１０５によりシャッターボタン２０１が半押しされたことを検知すると（Ｓ８０１）、特徴検出部１０８により特徴点のトラッキングを行う（Ｓ８０２）。そして、処理部１０５によりシャッターボタン２０１が全押しされたことを検知すると（Ｓ８０３）、三次元構造復元部１０９によりStructure From Motionを行う（Ｓ８０４）。

なお、本実施形態による情報端末１００では、これと異なる方法で三次元構造を復元してもよい。例えば、図８（ｂ）に示すフローチャートの手順のように、処理部１０５によりシャッターボタン２０１が半押しされたことを検知すると（Ｓ８２１）、特徴点のトラッキングは行わずに、動画像の撮影のみを行う（Ｓ８２２）。そして、処理部１０５によりシャッターボタン２０１が全押しされたことを検知すると（Ｓ８２３）、記録した動画像から特徴点を抽出し、メッセージ入力中に特徴点を記録した動画像中の特徴点を撮影時点から時間をさかのぼってトラッキングする。そして、三次元構造情報が復元できるまで時間をさかのぼる（Ｓ８２４）。

さらに、計算能力が十分得られる場合には、図８（ｃ）に示すフローチャートの手順であってもよい。すなわち、処理部１０５によりシャッターボタン２０１が半押しされたことを検知すると（Ｓ８４１）、特徴検出部１０８による特徴点のトラッキングと三次元構造復元部１０９によるStructure From Motionとを同時に行う（Ｓ８４２）。そして、処理部１０５によりシャッターボタン２０１が全押しされたことを検知すると（Ｓ８４３）、静止画像の撮影を行う（Ｓ８４４）。

本実施形態においては、三次元構造復元を行った結果の三次元構造情報は、本実施形態の要件を満たせるものであればどのような形式で利用されるものとしてもよい。例えば、シーン中の特徴的な点それぞれの三次元位置を記録したPoint Cloud Dataとして記録されるようにしてもよい。また、シーン中の特徴的な点同士で接合された面を記録したMesh Dataとして記録されるようにしてもよい。また、シーン中のMesh Dataから推測される立体を記録したSolid Dataとして記録されるようにしてもよい。また、三次元構造情報は、点や面、立体などの幾何情報だけでなく、点の色や面のテクスチャや反射特性など、色や材質の情報を含むものとしてもよい。こうした三次元構造の三次元表現は、ＣＧやＣＡＤ、ＧＩＳの世界で利用される、一般的な表現を用いるものとしてもよい。

利用者乙がテキストメッセージの入力を終えると、上記過程で検出なり復元なりされた情報は、利用者乙の入力したメッセージと関連付けられて、メッセージ交換サーバに送られる。図９は、処理部１０５の制御によりテキストメッセージに情報を添付して送信する処理手順の一例を示すフローチャートである。

まず、利用者乙により投稿決定アイコン６０４が押されると、処理を開始する。まず、Ｓ９０１において、位置姿勢検出部１０７がＧＰＳモジュールを用いて位置姿勢情報を取得できたかどうかを判定する。この判定の結果、位置姿勢情報を取得できなかった場合は、Ｓ９０２において、処理部１０５によりテキストメッセージと関連付けて撮影した写真を添付する。そして、Ｓ９０８において、通信部１０４により写真データを圧縮してメッセージ交換サーバに送信する。この場合、利用者甲が利用者乙の投稿したメッセージを閲覧すると、図３のメッセージ３０１の欄には、写真アイコン３０４のみが表示され、地図アイコン３０５及び拡張現実感アイコン３０６は表示されない。なお、Ｓ９０８では一般的に用いられる写真の圧縮方法を用いればよく、例えばＪＰＥＧ圧縮を用いればよい。

一方、Ｓ９０１の判定の結果、位置姿勢情報が取得した場合は、次にＳ９０３において、特徴検出部１０８が撮影画像中から十分な特徴点を抽出できたかどうかを判定する。図７（ｃ）に示す画面の段階において、例えば利用者乙がまったく特徴のない白い壁などを撮影していた場合には、画像中から十分な特徴点を抽出することはできない。本実施形態においては、撮影画像中に１０点以上あることを十分な特徴点の数として判定するものとする。もちろん、異なる基準で判定してもよく、例えば「メッセージ入力位置の周囲半径１００ピクセル以内に５点以上の特徴点があること」などと定義してもよい。

Ｓ９０３の判定の結果、撮影画像中から十分な特徴点を抽出できなかった場合には、Ｓ９０４において、処理部１０５によりテキストメッセージと関連付けて撮影した写真及び取得した位置姿勢情報を添付する。そして、Ｓ９０８において、通信部１０４により情報を圧縮してメッセージ交換サーバに送信する。この場合、利用者甲が利用者乙の投稿したメッセージを閲覧すると、図３に示すメッセージ３０１の欄には、写真アイコン３０４及び地図アイコン３０５が表示され、拡張現実感アイコン３０６は表示されない。なお、Ｓ９０８では、位置姿勢情報については情報量が小さいため、圧縮せずにそのまま送信してよい。

一方、Ｓ９０３の判定の結果、十分な特徴点を抽出した場合は、次にＳ９０５において、三次元構造復元部１０９が撮影対象の三次元構造を復元できたかどうかを判定する。図７（ｂ）に示す画面から図７（ｃ）に示す画面に移行する過程の間、すなわち特徴点をトラッキングしている間、撮像部１０１の撮影する範囲にほとんど変化がない場合には、原理的に、撮影対象の三次元構造を復元することができない。

Ｓ９０５の判定の結果、特徴点のトラッキング結果から撮影対象の三次元構造を復元できなかった場合には、Ｓ９０６において、処理部１０５によりテキストメッセージと関連付けて撮影した写真、位置姿勢情報、及び撮影画像中の特徴点情報を添付する。そして、Ｓ９０８において、通信部１０４により情報を圧縮してメッセージ交換サーバに送信する。この場合、利用者甲が利用者乙の投稿したメッセージを閲覧すると、図３に示すメッセージ３０１の欄には、写真アイコン３０４、地図アイコン３０５及び拡張現実感アイコン３０６が表示される。なお、Ｓ９０８では、特徴点情報については情報量が小さいため、圧縮せずにそのまま送付してよい。

一方、Ｓ９０５の判定の結果、撮影対象の三次元構造を復元できた場合は、Ｓ９０７に進む。そして、Ｓ９０７において、処理部１０５によりテキストメッセージと関連付けて撮影した写真、位置姿勢情報、撮影画像中の特徴点情報、及び撮影対象の三次元構造情報を添付する。次に、Ｓ９０８において、通信部１０４により情報を圧縮してメッセージ交換サーバに送信する。この場合、利用者甲が利用者乙の投稿したメッセージを閲覧すると、図３に示すメッセージ３０１の欄には、写真アイコン３０４、地図アイコン３０５及び拡張現実感アイコン３０６が表示される。なお、Ｓ９０８では、三次元構造情報については、利用している三次元構造情報の表現方法に応じて、一般的に利用される高速な圧縮方法を利用すればよい。

Ｓ９０６及びＳ９０７においては、添付される情報は異なるが、いずれの場合も利用者甲は、図５（ａ）に示すように、利用者乙の投稿したメッセージを情報端末１００を通して拡張現実感表示で見ることができる。ところが、Ｓ９０６で添付された情報による拡張現実感表示と、Ｓ９０７で添付された情報による拡張現実感表示とでは、利用者甲が拡張現実感表示を体験できる拡張現実感表示対応範囲が異なる。以下、この拡張現実感表示対応範囲について、説明する。

図１０（ａ）は、Ｓ９０６で添付された情報による拡張現実感表示に対応した拡張現実感表示対応範囲１００４を示す図である。図１０（ａ）に示す例は、利用者乙がメッセージを入力した撮影対象物１００１を、利用者甲の持つ情報端末１００で撮影している様子を示している。利用者甲の現在の位置１００３は情報端末１００の位置姿勢検出部１０７から得られる緯度経度情報から取得することができる。拡張現実感表示対応範囲１００４は、利用者甲の現在の位置１００３の周囲、本実施形態においては半径１０ｍの範囲である。

Ｓ９０６では、撮影画像から抽出された特徴点情報が添付される。この特徴点情報は、利用者乙がある撮影位置からある撮影対象物を撮影した場合の、撮影画像中から抽出された情報である。この撮影対象物の位置が利用者甲の撮影位置から大きく異なる場合には、撮影対象物の見え方は大きく異なることとなり、撮影画像から抽出される特徴点情報も大きく異なることになる。拡張現実感表示対応範囲１００４はその効果を考慮して定められるものであり、メッセージ投稿時の撮影位置から大きく離れていない場合には撮影対象物の特徴点は大きく変化しないという前提で定められたものである。

本実施形態においては、拡張現実感表示対応範囲１００４は、利用者甲の現在の位置１００３の周囲半径１０ｍの範囲としているが、この範囲は異なる基準として定めてもよい。例えば、通常のコンパクトデジタルカメラにおいては、撮影時にコントラスト方式によりフォーカス位置を定め、その際のレンズの焦点距離により撮影対象物までの距離を推定し、その距離に応じて周囲半径を加減するものとしてよい。すなわち、撮影対象物まで近い場合には周囲半径を小さくし、撮影対象物まで遠い場合には周囲半径を大きくするものとしてよい。また、撮影時のコントラスト方式によるオートフォーカス時にdepth from defocus手法により撮影対象物までの距離を求めるものとしてもよい。そして、撮影対象物までの距離の情報は撮影画像の撮影情報として撮影画像に付加される。

図１０（ｂ）は、Ｓ９０７で添付された情報による拡張現実感表示に対応した拡張現実感表示対応範囲１０２１を示す図である。本実施形態においては、拡張現実感表示対応範囲１０２１は撮影対象物の周囲３０ｍの範囲を示している。

Ｓ９０７では、撮影対象物の三次元構造情報が添付される。この三次元構造情報がある場合には、利用者甲がメッセージ投稿時の撮影位置から大きく離れている場合でも、メッセージの投稿された撮影対象物を特定し、拡張現実感表示に対応したメッセージの表示を行うことができる。

本実施形態においては、拡張現実感表示対応範囲１０２１は撮影対象物の周囲３０ｍの範囲としているが、この範囲は異なる基準として定めてもよい。例えば、図１１に示すように、三次元構造情報の中からメッセージの投稿指定場所１１０１の情報を探索し、投稿指定場所１１０１の最も近辺の三次元メッシュ１１０２を特定し、三次元メッシュ１１０２の法線方向１１０３を算出する。その後、図１２に示すように、撮影対象物１２０１に対し、法線方向１１０３を重力方向から見て上方から見た場合の方角１２０２を求める。そして、方角１２０２を中心線とする半径３０ｍ、中心角１５０度の扇形１２０３を描き、その内部を拡張現実感表示対応範囲としてもよい。また、この扇形１２０３の半径を、復元された三次元構造の大きさに応じて加減してよい。このように拡張現実感表示対応範囲を所定の条件に定めることにより、利用者甲がメッセージの拡張現実感表示を試みる際に、視界中に定義された三次元構造情報を発見し、メッセージの拡張現実感表示を行う可能性を増すことができる。

次に、このようにして設定される拡張現実感表示対応範囲が、メッセージの表示を行う利用者甲の情報端末１００においてどのように利用されるかについて、図面を参照しながら説明する。

図１３は、利用者甲の情報端末１００において、図３に示すようなメッセージ交換アプリケーションの動作画面が、どのような手順で表示されるかを説明するフローチャートである。図１３に示す処理は、利用者甲の利用するメッセージ交換アプリケーションが表示するメッセージを更新する際に開始され、利用者甲の情報端末の処理部１０５により実行する。表示メッセージの更新は、利用者甲がメッセージ交換アプリケーションを起動した際と、定期的な間隔ごとに行われ、本実施形態においては１分おきに行われる。

表示メッセージの更新が開始されると、Ｓ１３０１において、通信部１０４によりメッセージのリストをメッセージ交換サーバからダウンロードする。この際、ダウンロードされるメッセージのリストは予めメッセージ交換サーバで圧縮されており、ダウンロード後、通信部１０４により圧縮されていたメッセージのリストを解凍する。また、ダウンロードされるメッセージは、利用者甲側でメッセージを表示すると予め定めている利用者の投稿したメッセージであり、本実施形態においては、利用者乙の投稿したメッセージである。また、ダウンロードされるメッセージの数は、投稿の新しい順から定められた数であり、本実施形態においては２０個のメッセージである。

次に、ダウンロードしたメッセージの最新のものから、以下に示す判定を行っていく。まず、Ｓ１３０２において、メッセージに写真が添付されているかどうかを判定する。この判定の結果、写真が添付されている場合はＳ１３０３に進み、写真アイコン３０４を表示する。そして、Ｓ１３０４に進む。一方、Ｓ１３０２の判定の結果、写真が添付されていない場合はそのままＳ１３０９に進む。

次に、Ｓ１３０４において、メッセージに位置姿勢情報が添付されているかどうかを判定する。この判定の結果、位置姿勢情報が添付されている場合はＳ１３０５に進み、地図アイコン３０５を表示する。そして、Ｓ１３０６に進む。一方、Ｓ１３０４の判定の結果、位置姿勢情報が添付されていない場合はそのままＳ１３０９に進む。

次に、Ｓ１３０６において、メッセージに特徴点情報が添付されているかどうかを判定する。この判定の結果、特徴点情報が添付されている場合はＳ１３０７に進み、特徴点情報が添付されていない場合はＳ１３０９に進む。

次に、Ｓ１３０７において、利用者甲がメッセージの拡張現実感表示対応範囲にいるかどうかを判定する。この判定は、位置姿勢検出部１０７が利用者甲の位置を検出し、利用者甲が既述の拡張現実感表示対応範囲内にいるかどうかによって判定される。この判定の結果、利用者甲がメッセージの拡張現実感表示対応範囲にいる場合には、Ｓ１３０８に進み、拡張現実感アイコン３０６を表示し、Ｓ１３０９に進む。一方、Ｓ１３０７の判定の結果、利用者甲がメッセージの拡張現実感表示対応範囲にいない場合はそのままＳ１３０９に進む。

次に、Ｓ１３０９において、ダウンロードした全てのメッセージについて、Ｓ１３０２以降の判定がなされたかどうかを判定する。この判定の結果、まだ判定さがなされていないメッセージがある場合はＳ１３０２に戻り、次に最新のメッセージについて、処理を繰り返す。一方、Ｓ１３０９の判定の結果、全てのメッセージで判定が済んでいる場合は処理を終了する。

次に、利用者が拡張現実感表示対応範囲にいる場合に、図５に示すような拡張現実感表示がどのような制御でなされるかを説明する。図１４は、利用者甲が図１０（ａ）に示される拡張現実感表示対応範囲にいる際に、メッセージの拡張現実感表示がどのように制御されるかを説明する概念図である。

図１４においては、利用者甲のいる地点を中心とした極座標系１４０１を表現している。矢印１４０２は、利用者乙の投稿したメッセージの方向を示しており、メッセージと一緒にダウンロードされた位置姿勢情報から求められたものである。この位置姿勢情報は、利用者乙がメッセージを投稿した際、添付された写真が撮影された方向を示しており、撮影時の利用者乙の情報端末１００の位置姿勢検出部１０７により得られたものである。

特徴点１４０３は、利用者乙がメッセージを投稿した際に、添付された写真に含まれる特徴点が見られると推測される方向に示されたものである。しかしながら、利用者乙が撮影を行った位置と利用者甲の現在の位置とは正確には一致していない。また、情報端末１００の位置姿勢検出部１０７による検出結果には誤差を含むことから、この方向は、矢印１４０５が示す利用者甲から実際に見える風景１４０４の方向とは異なる。

そこで本実施形態では、情報端末１００の位置姿勢補正部１１０は特徴点を利用した補正を行い、利用者乙が投稿を行った位置１４０６に合わせてメッセージを表示する。こうした、画像中の特徴点を利用したＣＧの表示方向の補正は、例えば非特許文献５に記載されている方法などを用いることができる。この方法は多くの拡張現実感システムで一般的に行われているものである。

図１５は、利用者甲が図１０（ｂ）に示される拡張現実感表示対応範囲にいる際に、メッセージの拡張現実感表示がどのように制御されるかを説明する概念図である。図１５においては、直交座標系１５０１を表現しており、利用者甲の情報端末１００の現在の位置および姿勢が位置１５０２にあるものとする。また、図１５には、利用者乙がメッセージを投稿した際のメッセージ投稿対象である、撮影対象の復元された三次元構造が計算上存在する座標位置１５０３が示されている。また、矢印１５０４は利用者甲の位置１５０２から見た座標位置１５０３の方向を示している。

しかしながら、利用者甲・乙いずれの情報端末１００の位置姿勢検出部１０７による検出結果には誤差を含むことから、この方向は、矢印１５０６が示す利用者甲から実際に見える対象物１５０５の見える方向とは異なる。

そこで本実施形態では、情報端末１００の位置姿勢補正部１１０は特徴点及び三次元構造復元を利用した補正を行い、利用者乙が投稿を行った位置１５０７に合わせてメッセージを表示する。こうした、シーン中の三次元構造を利用したＣＧの表示方向の補正は、例えば、非特許文献２及び３に記載されている方法などを用いることができる。この方法は、多くの拡張現実感システムで一般的に行われているものである。

以上のように本実施形態においては、特徴検出及び三次元構造復元をいずれも情報端末１００内で行っているが、必ずしも情報端末１００内でその処理を行う必要はない。例えば、メッセージ交換サーバに動画像データを送信し、メッセージ交換サーバ上でその処理を行う構成としてもよい。

また、本実施形態においては、情報端末１００上で行う特徴点検出処理や三次元構造復元処理を、半押しおよび全押しが可能なシャッターボタンの押下に応じて行った。一方、これに限らず、これらの処理をシャッターボタンとは別の例えば、新規に装着される物理ボタンや、表示画面上のアイコン、電源ボタン等の制御機構の指示により行ってもよい。また、制御機構ではなく、例えば、カメラを構えたことを、姿勢センサを用いて検知し、特徴点検出処理を開始するように、ジェスチャを持って制御の代替機構とするものとしてもよい。また、特徴検出や三次元構造復元を行わずに写真及びメッセージ情報のみを投稿するモードを、拡張現実感表示に対応させた投稿モードとは別に用意してもよい。

また、本実施形態に係る情報端末１００において、物体認識部を備えるようにしてもよい。物体認識部では、既に一般的な技術となっている顔認識機能に加えて、例えば非特許文献１に記載されているような様々な画像認識アルゴリズムを用いて、画像中の物体の種類を分類する。また、特許文献４に記載されているような方法で人間や動物の個体識別を行い、名前など個体名が特定できる場合にはその名称をテキストデータとし、認識した画像と関連付ける。以上の用を果たすため、物体認識部は、個体データベースや、物体を分類する物体データベースを内包する。

物体認識部を設けた場合には、さらに、撮影後の図７（ｄ）に示した表示画面の段階において物体認識部が動作し、その認識結果がメッセージ入力欄にあらかじめ入力される。この処理により、利用者は入力の手間を省くことができ、また、撮影対象物の名前を知らなかった場合には、その名前を調べる手間を省くことができる。

また、この物体認識部の機能を情報端末１００ではなく、メッセージ交換サーバ側に備えるような構成としてもよい。その場合、物体認識部は、情報端末１００から送信される画像データ、特徴点情報、もしくは三次元構造情報を用いて物体認識を行うこととなる。また、物体認識だけでなく、送信された位置姿勢情報から周辺情報をインターネット等から取得することにより、データベースには格納されていない店舗名や施設名などの情報を、あらかじめメッセージの一部として入力することができる。

以上のように本実施形態によれば、利用者甲側では、特徴点情報または三次元構造情報に基づいて、利用者甲の視点に合うように撮影画像を補正するようにした。これにより、閲覧者が投稿された画像を見てその撮影対象物をより認識しやすくすることができる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０１ 撮像部
１０２ 表示部
１０４ 通信部
１０５ 処理部
１０７ 位置姿勢検出部
１０８ 特徴検出部
１０９ 三次元構造復元部
１１０ 位置姿勢補正部

Claims (12)

1. 撮像装置から送信された撮影画像を表示部に表示する画像表示装置であって、
   前記画像表示装置の位置及び姿勢を検出する位置姿勢検出手段と、
   前記撮影画像とともに、前記撮影画像に含まれる被写体の特徴点情報と、前記被写体を撮像したときの前記撮像装置の位置及び姿勢の情報とをサーバから受信する受信手段と、
   前記受信手段によって受信された前記撮影画像に含まれる被写体の特徴点情報と、前記被写体を撮像したときの前記撮像装置の位置及び姿勢の情報とに基づいて、前記位置姿勢検出手段によって検出された位置及び姿勢に対応した向きに前記撮影画像を補正する補正手段と、
   前記補正手段によって補正された画像を前記表示部に表示する表示制御手段とを備えることを特徴とする画像表示装置。
2. 前記受信手段は、さらに前記被写体の特徴点情報に基づいて復元された前記被写体の三次元構造の情報を受信し、
   前記補正手段は、前記受信手段によって受信された三次元構造の情報に基づいて復元した画像を補正することを特徴とする請求項１に記載の画像表示装置。
3. 前記補正手段は、前記位置姿勢検出手段によって検出された位置と前記被写体の位置との関係が所定の条件を満たす場合に、前記撮影画像を補正することを特徴とする請求項１又は２に記載の画像表示装置。
4. 前記受信手段は、さらに前記撮像装置において入力されたメッセージ情報を前記撮影画像とともに受信することを特徴とする請求項１〜３の何れか１項に記載の画像表示装置。
5. 被写体を撮像して撮影画像を生成する撮像手段を備えた撮像装置であって、
   前記撮像手段により前記被写体を撮像したときの前記撮像装置の位置及び姿勢を検出する位置姿勢検出手段と、
   前記撮像手段により生成された撮影画像に含まれる前記被写体の特徴点を検出する特徴点検出手段と、
   前記撮影画像とともに、前記位置姿勢検出手段によって検出された位置及び姿勢と、前記特徴点検出手段によって検出された特徴点との情報をサーバに送信する送信手段とを備えたことを特徴とする撮像装置。
6. 前記特徴点検出手段によって検出された特徴点に基づいて、前記被写体の三次元構造を復元する復元手段をさらに備え、
   前記送信手段は、さらに前記復元手段によって復元された三次元構造の情報を送信することを特徴とする請求項５に記載の撮像装置。
7. ユーザの操作に基づいてメッセージ情報を入力する情報入力手段をさらに備え、
   前記送信手段は、前記情報入力手段によって入力されたメッセージ情報を前記撮影画像とともに送信することを特徴とする請求項５又は６に記載の撮像装置。
8. 前記撮像手段による前記被写体の撮像を指示する指示手段をさらに備え、
   前記特徴点検出手段は、前記指示手段による指示に応じて、前記撮像手段によって撮像された被写体の特徴点を検出することを特徴とする請求項５〜７の何れか１項に記載の撮像装置。
9. 撮像装置から送信された撮影画像を表示部に表示する画像表示装置の画像表示方法であって、
   前記画像表示装置の位置及び姿勢を検出する位置姿勢検出工程と、
   前記撮影画像とともに、前記撮影画像に含まれる被写体の特徴点情報と、前記被写体を撮像したときの前記撮像装置の位置及び姿勢の情報とをサーバから受信する受信工程と、
   前記受信工程において受信された前記撮影画像に含まれる被写体の特徴点情報と、前記被写体を撮像したときの前記撮像装置の位置及び姿勢の情報とに基づいて、前記位置姿勢検出工程において検出された位置及び姿勢に対応した向きに前記撮影画像を補正する補正工程と、
   前記補正工程において補正された画像を前記表示部に表示する表示制御工程とを備えることを特徴とする画像表示方法。
10. 被写体を撮像して撮影画像を生成する撮像手段を備えた撮像装置の制御方法であって、
    前記撮像手段により前記被写体を撮像したときの前記撮像装置の位置及び姿勢を検出する位置姿勢検出工程と、
    前記撮像手段により生成された撮影画像に含まれる前記被写体の特徴点を検出する特徴点検出工程と、
    前記撮影画像とともに、前記位置姿勢検出工程において検出された位置及び姿勢と、前記特徴点検出工程において検出された特徴点との情報をサーバに送信する送信工程とを備えたことを特徴とする撮像装置の制御方法。
11. 撮像装置から送信された撮影画像を表示部に表示する画像表示装置を制御するためのプログラムであって、
    前記画像表示装置の位置及び姿勢を検出する位置姿勢検出工程と、
    前記撮影画像とともに、前記撮影画像に含まれる被写体の特徴点情報と、前記被写体を撮像したときの前記撮像装置の位置及び姿勢の情報とをサーバから受信する受信工程と、
    前記受信工程において受信された前記撮影画像に含まれる被写体の特徴点情報と、前記被写体を撮像したときの前記撮像装置の位置及び姿勢の情報とに基づいて、前記位置姿勢検出工程において検出された位置及び姿勢に対応した向きに前記撮影画像を補正する補正工程と、
    前記補正工程において補正された画像を前記表示部に表示する表示制御工程とをコンピュータに実行させることを特徴とするプログラム。
12. 被写体を撮像して撮影画像を生成する撮像手段を備えた撮像装置を制御するためのプログラムであって、
    前記撮像手段により前記被写体を撮像したときの前記撮像装置の位置及び姿勢を検出する位置姿勢検出工程と、
    前記撮像手段により生成された撮影画像に含まれる前記被写体の特徴点を検出する特徴点検出工程と、
    前記撮影画像とともに、前記位置姿勢検出工程において検出された位置及び姿勢と、前記特徴点検出工程において検出された特徴点との情報をサーバに送信する送信工程とをコンピュータに実行させることを特徴とするプログラム。

Images