JP2016133701A

JP2016133701A - 情報提供システム、及び情報提供方法

Info

Publication number: JP2016133701A
Application number: JP2015009146A
Authority: JP
Inventors: 古川　至; Itaru Furukawa; 至古川
Original assignee: Screen Holdings Co Ltd
Current assignee: Screen Holdings Co Ltd
Priority date: 2015-01-21
Filing date: 2015-01-21
Publication date: 2016-07-25

Abstract

【課題】現在位置から見える風景が過去と異なる差異領域を、現在の風景画像に重複して表示することで、利用者に直感的に現在と過去の風景の違いを提示し、それに関連した情報を提示する。
【解決手段】サーバ１０では、過去画像記憶手段と各携帯端末装置２０から送信される利用者情報Ｙｄａとに基づいて過去画像と現在画像との差異領域抽出が行われる。サーバ１０で得られた差異領域抽出情報Ｄｄａは携帯端末装置２０に送信され、携帯端末装置２０内の情報表示装置に表示される。これにより、過去の画像と現在の画像とで相違する部分を明確に示すことが可能となる。
【選択図】図４

Description

本発明は、携帯端末装置の利用者に地理的位置に応じた情報を提供したり、取得した情報を共有できる、情報提供システム、及び情報提供方法に関する。

携帯電話などの携帯端末装置の高機能化・高解像度化により、近年、地図を利用するアプリケーションソフトウェアが多く開発されている。そのようなアプリケーションソフトウェアの１つとして、携帯端末装置の利用者（以下、「利用者」という。）がこれから訪れようとする地点において、その地点で撮影された過去の風景などを確認するビューアーアプリが知られている。このようなビューアーアプリを利用することにより、利用者はその場所に行かずに事前にその地点の風景を事前に確認し、実際の風景と照らし合わせて、自分の現在位置や方向の確認に使用している。

ところで、このようなビューアーアプリの画像は過去の風景の記録であるが、今見えている現在の風景が大きく変化している場合には、予め確認することができず、道に迷うなどの問題が生ずる。さらに、次回の更新まで放置され、位置確認に使用できない状態が続いていた。

また、近年、健康のためにウォーキングが流行っているが、その際に自分の記憶と照らし合わせて風景の変遷を楽しんでいる。しかし、今見えている現在の風景が変化していても、その場所の過去の風景を知らない場合や忘れた場合は、利用者は大きな変化以外には違いに気が付かず、その違いを楽しむことができない。

特開２００７−５２８０９号公報には、災害や旅行時に携帯端末装置で撮影した画像に、少なくとも時刻情報と撮影方向と撮影位置とからなる撮影識別情報を付加し、サ−バに画像を送付することで、サーバ側で地図上に写真画像を登録している。これによりサーバ側の監督者が現場状況を確認することができる。

特開２００７−５２８０９号公報

ところが、特開２００７−５２８０９号公報に開示された発明によれば、同じ地点での過去の風景の画像と現在の風景の画像は、サーバ側の監督者が目視で両者を見比べて違いを発見している。この場合、一見して判る大きな差異しか発見することができない。また、監督者が現場の撮影者に直ぐに直感的に差異を伝えることができない。このため、現場の撮影者が歩行中に風景の様々な変化を、リアルタイムかつ直感的に確認することは非常に難しい。

そこで本発明は、歩行者が目前の風景に対して直ぐに直感的に様々な差異を発見することができる情報提供システムを実現することを目的とする。

上記課題を解決するため、この発明は、サーバと複数の携帯端末装置とがネットワークを介して接続される情報提供システムであって、携帯端末は、現在位置を表す現在位置情報を検出する現在位置検出手段と、周辺の状況を示す周辺現在情報を撮像する撮像手段と、撮像手段が撮像している方位および、仰角または俯角を含む撮像時姿勢情報を検出する姿勢検出手段と、現在位置情報、周辺現在情報、及び撮像時姿勢情報を利用者情報としてサーバに送信する利用者情報送信手段と、を備え、サーバは、携帯端末から送信される利用者情報を受信する利用者情報受信手段と、現在位置周辺の過去の状況を記録し、利用者情報と対比可能な情報である周辺過去情報を記憶する周辺過去情報記憶手段と、周辺過去情報及び利用者情報に基づいて、周辺過去情報と周辺現在情報との間で差異のある領域を示す差異領域情報を抽出する差異領域抽出手段と、差異領域情報を差異関連情報として携帯端末に送信する差異関連情報送信手段と、を備え、携帯端末は、サーバから送信される差異関連情報を受信する差異関連情報受信手段と、差異関連情報に含まれる差異領域情報を表示する表示手段とを更に備える。

また、この発明は、サーバと複数の携帯端末装置とがネットワークを介して接続される情報提供方法であって、携帯端末は、現在位置を表す現在位置情報を検出する現在位置検出ステップと、周辺の状況を示す周辺現在情報を撮像する撮像ステップと、撮像ステップで撮像している方位および、仰角または俯角を含む撮像時姿勢情報を検出する姿勢検出ステップと、現在位置情報、周辺現在情報、及び撮像時姿勢情報を利用者情報としてサーバに送信する利用者情報送信ステップと、を備え、サーバは、携帯端末から送信される利用者情報を受信する利用者情報受信ステップと、現在位置周辺の過去の状況を記録し、利用者情報と対比可能な情報である周辺過去情報及び利用者情報に基づいて、周辺過去情報と周辺現在情報との間で差異のある領域を示す差異領域情報を抽出する差異領域抽出ステップと、差異領域情報を差異関連情報として携帯端末に送信する差異関連情報送信ステップと、を備え、携帯端末は、サーバから送信される差異関連情報を受信する差異関連情報受信ステップと、差異関連情報に含まれる差異領域情報を表示する表示ステップとを更に備える。

このように構成された発明（情報提供システム及び情報提供方法）では、携帯端末装置には、目前の風景を取得する撮像手段が設けられており、利用者の操作により撮像された映像をサーバに伝送し、サーバにて過去の風景との違いを差異領域として抽出した上で、携帯端末にて差異のある領域を表示することができるため、利用者は直ちに過去の風景との違いがあることを知ることができる。

また、差異関連情報は、差異領域抽出手段により抽出された、周辺現在情報に対応する周辺過去情報を更に備え、表示手段は、差異領域情報に加え、周辺過去情報に含まれる過去の映像も併せて表示する事もできる。

また、差異関連情報は、差異領域抽出ステップにより抽出された、周辺現在情報に対応する周辺過去情報を更に備え、表示ステップは、差異領域情報に加え、周辺過去情報に含まれる過去の映像も併せて表示することもできる。

このように構成された発明では、携帯端末装置において、差異のある領域の表示に加えて、過去に撮像された映像も携帯端末に送信されるため、利用者は直ちに差異のある領域の過去の映像を見ることができ、過去と現在の風景の違いを明確に認識することが可能となる。

また、携帯端末は、表示手段に表示された差異領域情報に関し、他の携帯端末の利用者と共有したい情報である共有情報を入力する共有情報入力手段と、共有情報をサーバに送信する共有情報送信手段とを更に備え、サーバは、携帯端末から送信される共有情報を受信する共有情報受信手段と、差異情報、共有情報及びこれらが対応付けられた情報である対応情報を記憶する抽出履歴情報記憶手段と、を更に備え、差異領域抽出手段は、差異領域抽出後、抽出履歴情報記憶手段を検索して差異領域に対応する共有情報を併せて抽出し、差異関連情報は、差異領域抽出手段により抽出された共有情報を更に備え、表示手段は、差異領域情報に加え、共有情報も併せて表示することもできる。

また、携帯端末は、表示ステップで表示された差異領域情報に関し、他の携帯端末の利用者と共有したい情報である共有情報を入力する共有情報入力ステップと、共有情報をサーバに送信する共有情報送信ステップとを更に備え、サーバは、携帯端末から送信される共有情報を受信する共有情報受信ステップと、差異情報、共有情報及びこれらが対応付けられた情報である対応情報を記憶する抽出履歴情報記憶ステップと、を更に備え、差異領域抽出ステップは、差異領域抽出後、抽出履歴情報記憶ステップを検索して差異領域に対応する抽出履歴情報を併せて抽出し、差異関連情報は、差異領域抽出ステップにより抽出された抽出履歴情報を更に備え、表示ステップは、差異領域情報に加え、共有情報も併せて表示することもできる。

このように構成された発明では、差異が検出された領域に対して、利用者が他の携帯端末の利用者と共有したいコメントなどの情報を入力することが可能であり、また、サーバに記録された、他の携帯端末の利用者のコメントを差異領域の情報と併せて見ることができるため、差異のある領域に関して他の携帯端末の利用者と情報を共有することが可能となる。

また、携帯端末は、撮像手段において、連続した複数の画像を撮像し、複数の画像それぞれを対比することにより、複数の画像内に含まれる移動体が存在する領域を示す移動体領域情報を抽出する移動体抽出手段を更に備え、利用者情報送信手段は、利用者情報に移動体領域情報を含めてサーバに送信し、サーバは、差異領域抽出手段において、移動体領域情報で示される領域を除く領域に関して差異領域情報を抽出することもできる。

また、携帯端末は、撮像ステップにおいて、連続した複数の画像を撮像し、複数の画像それぞれを対比することにより、複数の画像内に含まれる移動体が存在する領域を示す移動体領域情報を抽出する移動体抽出ステップを更に備え、利用者情報送信ステップは、利用者情報に移動体領域情報を含めてサーバに送信し、サーバは、差異領域抽出ステップにおいて、移動体領域情報で示される領域を除く領域に関して差異領域情報を抽出することもできる。

このように構成された発明では、時間差をもつ複数の撮像画像同士の差異を用いて移動体が存在する領域を判定し、この移動体が存在する領域を差異領域の抽出から除外することができるので、映像内に存在する移動体に起因する誤認識を防止することが可能となり、その地点に対する本来の差異領域を抽出することができる。

この発明によれば、携帯端末装置には、目前の風景を取得する撮像手段が設けられており、利用者の操作により撮像された映像をサーバに伝送し、サーバにて過去の風景との違いを差異領域として抽出した上で、携帯端末にて差異のある領域を表示することができるため、利用者は直ちに過去の風景との違いがあることを知ることができる。

本発明の第１の実施形態に係る情報提供システムを実現する機器構成を示すブロック図である。上記第１の実施形態において、サーバのハードウェア構成を示すブロック図である。上記第１の実施形態において、携帯端末装置のハードウェア構成を示すブロック図である。上記第１の実施形態において、情報提供システムの詳細な機能構成を示すブロック図である。上記第１の実施形態において、サーバ及び携帯端末装置における動作プロセスについて説明するためのフローチャートである。上記第１の実施形態において、表示手段の一画面例を示す図である。

以下、図面を参照しつつ本発明の実施形態について説明する。尚、以下において、「アプリケーションソフトウェア」のことを「アプリ」と略記する。
＜１．第１の実施形態＞
＜１．１全体構成＞

図１は、本発明の第１の実施形態に係る情報提供システムを実現する機器構成を示すブロック図である。この情報提供システムは、サーバ１０と複数の携帯端末装置２０とによって実現される。サーバ１０と携帯端末装置２０とは、インターネットなどの通信回線を介して接続されている。

本実施形態において、情報提供システムを実現するために、情報提供アプリが携帯端末装置２０にインストールされる。利用者は、所定の操作により情報提供アプリを起動することができる。

以上のような情報提供アプリを携帯端末装置２０にインストールしておくことにより、利用者は、ウォーキングを楽しみつつ、過去を知らない土地でも情報提供アプリによって現在と過去の風景の違いを発見したり、違いをきっかけにして情報を得ることが可能となる。

図２は、サーバ１０のハードウェア構成を示すブロック図である。サーバ１０は、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、補助記憶装置１４、通信制御部１５、入力操作部１６、及び表示部１７を有している。ＣＰＵ１１は、このサーバ１０の全体を制御するために各種演算処理等を行う。ＲＯＭ１２は、読み出し専用のメモリであって、例えばサーバ１０の起動時にＣＰＵ１１に実行させる初期プログラムなどを格納する。

ＲＡＭ１３は、書き込み可能な揮発性のメモリであって、実行中のプログラムやデータ等を一時的に格納する。補助記憶装置１４は、磁気ディスク装置などであって、サーバ１０の電源がオフされても保持されるべき各種プログラム・各種データを格納する。通信制御部１５は、外部へのデータ送信の制御や外部からのデータ受信の制御を行う。入力操作部１６は、例えばキーボードやマウスであって、オペレータによる入力操作を受け付ける。表示部１７は、ＣＰＵ１１からの指令に基づいて、画像の表示を行う。

図３は、携帯端末装置２０のハードウェア構成を示すブロック図である。携帯端末装置２０は、ＣＰＵ２１、フラッシュＲＯＭ２２、ＲＡＭ２３、通信制御部２４、ＧＰＳ処理部２５、磁気センサ２６、加速度センサ２７、入力操作部２８、表示部２９、及びカメラ３０を有している。

ＣＰＵ２１は、この携帯端末装置２０の全体を制御するために各種演算処理等を行う。フラッシュＲＯＭ２２は、書き込み可能な不揮発性のメモリであって、携帯端末装置２０の電源がオフされても保持されるべき各種プログラム・各種データを格納する。ＲＡＭ１３は、書き込み可能な揮発性のメモリであって、実行中のプログラムやデータ等を一時的に格納する。通信制御部２４は、外部へのデータ送信の制御や外部からのデータ受信の制御を行う。ＧＰＳ処理部２５は、ＧＰＳ衛星から受信する電波に基づいて、利用者の現在位置を特定するための位置情報（緯度・経度・高度の情報）を取得する。

磁気センサ２６は、携帯端末装置２０が向いている方角に関する情報を取得する。加速度センサ２７は、この携帯端末装置２０がどのような姿勢（直立している、水平に置かれている、斜めに傾いている等）であるかを示す姿勢情報を取得する。入力操作部２８は、例えばタッチパネルであって、利用者による入力操作を受け付ける。表示部２９は、ＣＰＵ２１からの指令に基づいて、画像の表示を行う。カメラ３０は、携帯端末装置２０周辺の映像を撮像する。

携帯端末装置２０内において、情報提供アプリを実現する情報提供プログラムは、フラッシュＲＯＭ２２に格納される。利用者によって情報提供アプリの起動が指示されると、フラッシュＲＯＭ２２に格納されている情報提供プログラムがＲＡＭ２３に読み出され、そのＲＡＭ２３に読み出された情報提供プログラムをＣＰＵ２１が実行することにより、情報提供アプリの機能が利用者に提供される。尚、情報提供プログラムは、典型的にはインターネットなどの通信回線を介してサーバ１０から携帯端末装置２０にダウンロードされ、当該携帯端末装置２０内のフラッシュＲＯＭ２２にインストールされる。
＜１．２情報提供システムの詳細な構成＞

図４は、情報提供システムの詳細な機能構成を示すブロック図である。上述したように、この情報提供システムは、サーバ１０と携帯端末装置２０とによって構成されている。

サーバ１０は、差異領域抽出手段１１０、周辺過去情報記憶手段１２０、抽出履歴情報記憶手段１３０、差異領域記憶手段１４０、対応情報記憶手段１４５、共有情報記憶手段１５０、利用者情報受信手段１６０、共有情報受信手段１７０、及び差異関連情報送信手段１８０を有している。

携帯端末装置２０は、現在位置検出手段２１０、姿勢検出手段２２０、撮像手段２３０、利用者情報送信手段２４０、差異関連情報受信手段２５０、表示手段２６０、共有情報入力手段２７０、共有情報送信手段２８０、移動体抽出手段２９０を有している。

まず、携帯端末装置２０の各構成要素の動作について説明する。現在位置検出手段２１０は、ＧＰＳ衛星から受信する電波に基づいて利用者の現在位置を特定するための位置情報（緯度・経度・高度の情報）を取得し、その位置情報を示す現在位置情報Ｌｄａを出力する。尚、現在位置検出手段２１０は、ハードウェアとしてのＧＰＳ処理部２５（図３参照）によって実現される。

姿勢検出手段２２０は、撮像手段２３０により静止画または動画が撮像される際の、携帯端末装置２０のカメラ３０の向きに関する情報を検出し、撮像時姿勢情報Ｐｄａを出力する。撮像時姿勢情報Ｐｄａには、少なくとも撮像時のカメラの方向、仰角（上向きの角度）または俯角（下向きの角度）が含まれる。尚、姿勢検出手段２２０は、鉛直軸を回転軸とする回転方向である方位を検出するハードウェアとしての磁気センサ２６（図３参照）の検出した携帯端末装置２０の方位に基づいて、撮像手段２３０が向いている方位を算出し、また、鉛直軸に対してどのような姿勢であるかを検出するハードウェアとしての加速度センサ２７（図３参照）によって検出される携帯端末装置２０の姿勢に基づいて、撮像手段２３０の光軸が向いている方向を算出する。

撮像手段２３０は、利用者が情報提示を受けたい映像（静止画或いは動画）を撮像し、その映像を周辺現在情報Ｖｄａとして出力する。尚、撮像手段２３０は、ハードウェアとしてのカメラ３０（図３参照）によって実現される。また、映像の撮像の開始については、利用者が撮像開始ボタンを押下する、画面をタップする等の操作により開始され、同時に現在位置検出手段２１０及び姿勢検出手段２２０による現在位置情報Ｌｄａ及び撮影時姿勢情報Ｐｄａの取得も行われる。尚、動画を撮像する場合は、現在位置情報Ｌｄａ及び撮影時姿勢情報Ｐｄａの取得が連続的に行われてもよい。

移動体抽出手段２９０は、撮像手段２３０により撮像された複数枚の画像（動画の中から異なる時刻の画像を抽出しても良い）から、走行中の車両や歩行者等、過去の情報との差異を求める際に誤った部分を検出する要因となる画像中の移動物を抽出し、その移動物が撮像されている領域の情報として移動体領域情報Ｍｄａを出力する。移動物の抽出については、例えば、複数の画像について撮像手段２３０の位置変化や姿勢変化に応じて複数の画像同士の位置合せを行った上で、差分処理を行う、あるいは、複数の画像の中で撮像されている位置が異なる物体を認識して特定する等、種々の方法を採用しうる。

利用者情報送信手段２４０は、周辺現在情報Ｖｄａ、現在位置情報Ｌｄａ、撮影時姿勢情報Ｐｄａ、及び移動体領域情報Ｍｄａを利用者情報Ｙｄａとしてサーバ１０に送信する。尚、利用者情報Ｙｄａは、例えば、利用者が情報提供アプリを起動して目前の風景を撮影したタイミング及び利用者がこの情報提供アプリを用いて何らかの操作を行ったタイミングで、携帯端末装置２０からサーバ１０へと送信される。また、利用者がこの情報提供アプリで動画撮影している時間中、所定時間毎に利用者情報Ｙｄａが携帯端末装置２０からサーバ１０に送信されるようにしても良い。

差異関連情報受信手段２５０は、サーバ１０から送信される差異関連情報Ｘｄａを受信する。尚、サーバ１０から携帯端末装置２０には、周辺過去情報Ｏｄａと周辺現在情報Ｖｄａを用いてサーバ１０の差異領域抽出手段１１０により抽出された、双方で異なる部分の情報である差異領域情報Ｄｄａと、抽出された差異領域情報Ｄｄａに対して（自らまたは他の携帯端末装置２０の利用者により）入力されたコメントである共有情報Ｃｄａ、及び差異領域の抽出に用いられた、周辺現在情報Ｖｄａに対応する過去の情報である周辺過去情報Ｏｄａが送信される。

表示手段２６０は、差異関連情報Ｘｄａの表示を行う。表示の態様については後述する。

共有情報入力手段２７０は、表示手段２６０に表示された差異関連情報Ｘｄａに対し、利用者からの入力を受け付け、共有情報Ｃｄａを出力する。また、共有情報送信手段２８０は、共有情報入力手段２７０で入力された共有情報Ｃｄａをサーバ１０に送信する。

次に、サーバ１０の各構成要素の動作について説明する。利用者情報受信手段１６０は、携帯端末装置２０から送られる利用者情報Ｙｄａを受信する。

共有情報受信手段１７０は、携帯端末装置２０から送信された共有情報Ｃｄａを受信する。

抽出履歴情報記憶手段１３０は、差異領域抽出手段１１０により抽出された差異領域情報Ｄｄａと、携帯端末装置２０の利用者により、差異関連情報Ｘｄａに対して入力された共有情報Ｃｄａを対応付けて記憶する。抽出履歴情報記憶手段１３０は、差異領域情報Ｄｄａを格納する差異領域記憶手段１４０と、共有情報Ｃｄａを格納する共有情報記憶手段１５０と、差異領域情報Ｄｄａと共有情報Ｃｄａの対応付けに関する情報を記憶する対応情報記憶手段１４５を有する。対応情報記憶手段１４５における情報の関連付けについては、共通の連番を付与する、別途テーブルで関連の情報を管理する等、公知の方法により行われる。

周辺過去情報記憶手段１２０は、差異領域抽出手段１１０において、周辺現在情報Ｖｄａと比較し、過去の状況に対して現在の映像上、差異がある部分を抽出するための周辺過去情報Ｏｄａが格納されている。周辺過去情報Ｏｄａには、過去のある時点における周辺の建造物や道路、立木や標識等を撮影した映像（静止画あるいは動画）と、その映像を撮像した場所や撮影した時点の方位、姿勢等の情報が含まれている。尚、周辺過去情報Ｏｄａに含まれる周辺の状況を示す情報は映像に限られず、ワイヤフレームモデルやコンピュータグラフィックス等、種々の情報を使用することが可能である。

差異領域抽出手段１１０は、利用者情報受信手段１６０で受信された利用者情報Ｙｄａに含まれる現在位置情報Ｌｄａ及び撮影時姿勢情報Ｐｄａに基づいて、周辺過去情報記憶手段１２０を検索し、周辺現在情報Ｖｄａに対応する周辺過去情報Ｏｄａを抽出する。その後、周辺現在情報Ｖｄａ及び抽出された周辺過去情報Ｏｄａに含まれる画像の差分処理を行い、両者の間で異なる部分を示す差異領域情報Ｄｄａを出力する。尚、利用者情報Ｙｄａに移動体領域情報Ｍｄａが含まれている場合、差異領域抽出手段１１０は、移動体領域情報Ｍｄａが示す領域を除外して差異領域情報Ｄｄａの抽出を行う。尚、差異領域情報Ｄｄａには、後の検索を容易にするため、現在位置情報Ｌｄａ及び撮影時姿勢情報Ｐｄａが付加される。

尚、周辺過去情報記憶手段１２０には、多数の地点の周辺過去情報Ｏｄａが保存されているが、携帯端末装置２０から受信した利用者情報Ｙｄａに含まれる現在位置情報Ｌｄａ及び撮影時姿勢情報Ｐｄａに完全に一致する位置、姿勢の情報が含まれるとは限らない。このような場合には、近傍の複数の周辺過去情報Ｏｄａから補間処理により該当する位置の周辺過去情報Ｏｄａを求める。

また、差異領域抽出手段１１０は、抽出された差異領域情報Ｄｄａに基づいて、抽出履歴情報記憶手段１３０を検索し、抽出履歴情報記憶手段１３０に対応する差異関連情報Ｄｄａが登録されていない場合は新たに抽出履歴情報記憶手段１３０へ抽出された差異領域情報Ｄｄａを登録する。また、抽出履歴情報記憶手段１３０を検索した結果、対応する差異関連情報Ｄｄａが抽出履歴情報記憶手段１３０に記憶されている場合は、その差異領域情報Ｄｄａに対応する共有情報Ｃｄａを、対応情報記憶手段１４５を参照して、取得し出力する。尚、共有情報Ｃｄａの抽出には、携帯端末装置２０から送付された利用者情報Ｙｄａの情報を用いてもよい。

差異関連情報送信手段１８０は、差異領域抽出手段１１０により抽出された差異領域情報Ｄｄａ、周辺過去情報Ｏｄａ、及び共有情報Ｃｄａを差異関連情報Ｘｄａとして携帯端末装置２０に送信する。
＜１．３処理フロー＞

図５に示すフローチャートを参照しつつ、サーバ１０及び携帯端末装置２０における動作プロセスについて説明する。尚、ここでは、携帯端末装置２０側での処理及びサーバ１０側での処理を別々に説明する。
＜１．３．１携帯端末装置側での処理＞

携帯端末装置２０では、まず、情報提供アプリが起動される（ステップＳ１００）。その後、利用者が撮像手段２３０によって目前の風景を撮影して、周辺現在情報Ｖｄａを得る（ステップＳ１１０）。同時に現在位置検出手段２１０による現在位置情報（利用者の現在位置を特定するための位置情報）Ｌｄａの取得と、姿勢検出手段２２０による撮像時姿勢情報（カメラの撮影方向を特定するための地磁気による方角情報、及びカメラの仰角や回転を特定するための重力加速度による姿勢情報）Ｐｄａの取得が行われる（ステップＳ１２０）。また、撮像手段２３０により複数枚撮像された画像を用いて、移動体抽出手段２９０により、画像中の移動体の認識が行われ、移動体が存在する画像中の領域を示す移動体領域情報Ｍｄａが抽出される（ステップＳ１３０）。

ステップＳ１１０、ステップＳ１２０及びステップＳ１３０により取得された情報（周辺現在情報Ｖｄａ、現在位置情報Ｌｄａ、撮影時姿勢情報Ｐｄａ及び移動体領域情報Ｍｄａ）が利用者情報Ｙｄａとして利用者情報送信手段２４０によってサーバ１０に送信される（ステップＳ１４０）。

携帯端末装置２０は、利用者情報Ｙｄａをサーバ１０に送信した後、サーバ１０から送信される差異関連情報Ｘｄａを受信する（ステップＳ１５０）。その差異関連情報Ｘｄａは、表示手段２６０によって携帯端末装置２０の表示部２９に表示される（ステップＳ１６０）。

差異関連情報Ｘｄａを表示した後、携帯端末装置２０は、差異関連情報Ｘｄａに対する利用者のコメントである共有情報Ｃｄａの入力を受け付ける。（ステップ１７０）。入力された共有情報Ｃｄａは、共有情報送信手段２８０によりサーバ１０に送信される（ステップＳ１８０）。

尚、ステップＳ１１０により本発明における撮像ステップが実現され、ステップＳ１２０により本発明における現在位置検出ステップ及び姿勢検出ステップが実現され、ステップＳ１３０により本発明における移動体抽出ステップが実現され、ステップＳ１６０により本発明における表示ステップが実現され、ステップＳ１７０により本発明における共有情報入力ステップが実現され、ステップＳ１８０により本発明における共有情報送信ステップが実現されている。

図６に、表示手段２６０による携帯端末装置２０の表示部２９に表示された情報提示画面４００の例を示す。情報提示画面４００は、差異関連情報提示部４０２と共有情報入力部４０３で構成される。差異情報提示部４０２は、現在の状況及び過去の状況との差異がある部分を示す現在状況表示部４０４と、現在状況表示部４０４に表示された現在の状況に対応する過去の画像を表示する過去画像表示部４０６、及び、携帯端末２０の利用者が自ら過去に入力した、あるいは他の携帯端末２０の利用者が入力した共有情報Ｃｄａを表示する共有情報表示部４０８とで構成される。

現在状況表示部４０４には、利用者の操作（図５のステップＳ１１０）により撮像された周辺状況を示す画像が表示され、その画像の上にサーバ１０の差異領域抽出手段１１０により抽出された差異領域情報Ｄｄａ（本実施形態においては番号４１６で示される破線の枠線）を表示する。尚、差異領域情報Ｄｄａの表示方法はこれに限らず、差異のある領域を着色して塗りつぶす、差異のある領域以外を灰色で塗りつぶして差異のある領域を浮き立たせる等、既知の手法により明示することが可能である。

尚、現在状況表示部４０４の表示の態様は上記に限られず、撮像手段２３０により連続的に画像を取り込みながら現在状況表示部４０４に表示し、現在位置情報検出手段２１０、姿勢検出手段２２０によって検出される現在位置、撮影方向および仰角・俯角の情報から現在の撮影状態を認識した上で、現在状況表示部４０４に表示されている画像中の差異のある領域に最領域情報Ｄｄａを重ねて表示する拡張現実（ＡＲ：ＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ）を用いた表現を行ってもよい。

過去画像表示部４０６には、差異領域抽出手段１１０により検索された、周辺現在情報Ｖｄａに対応する周辺過去情報Ｏｄａ（差異関連情報Ｘｄａの一部としてサーバ１０から携帯端末装置２０に送信される）に含まれる過去に撮像された映像（静止画あるいは動画）が表示される。

共有情報表示部４０８には、差異領域抽出手段１１０により検索された、周辺現在情報Ｖｄａに対応する共有情報Ｃｄａに含まれるメッセージが表示される。尚、周辺現在情報Ｖｄａに対応する共有情報Ｃｄａが複数存在する（同じ地点に対して複数のメッセージが作成されている）場合、共有情報表示部４０８に並べて表示したり、重ねて表示した上で、利用者の操作（例えば共有情報表示部４０８をタップするなど）により順次表示する等、種々の手法により表示することが可能である。

共有情報入力部４０３は、利用者から入力されたメッセージを表示する共有情報入力ボックス４１０と、入力した共有情報Ｃｄａをサーバ１０に送信することを許可するＯＫボタン４１２と、入力した共有情報を消去するＣａｎｃｅｌボタン４１４とで構成される。

利用者は図示しないタッチキーボードなどを用いて共有情報Ｃｄａとして送信したいメッセージを共有情報入力ボックス４１０に入力する。共有情報Ｃｄａの入力が終了し、利用者がＯＫボタン４１２をタップした時点で、入力された共有情報Ｃｄａが、共有情報送信手段２８０を経由してサーバ１０に送信される。また、利用者がＣａｎｃｅｌボタンをタップすることで、共有情報入力ボックス４１０に入力された文字が消去され、再度メッセージを入力することが可能となる。尚、図６に示した画面は一例であって、画面のレイアウトや画面に表示される項目はこれに限定されない。
＜１．３．２サーバ側での処理＞

図５に戻る。サーバ１０では、まず、利用者情報受信手段１６０が携帯端末装置２０から送信された利用者情報Ｙｄａを受信する（ステップＳ２００）。そして、差異領域抽出手段１１０によって、利用者情報Ｙｄａに含まれる現在位置情報Ｌｄａ及び撮影時姿勢情報Ｐｄａに基づき、周辺過去情報記憶手段１２０から周辺過去情報Ｏｄａが読み出される（ステップＳ２１０）。差異領域抽出手段１１０は、周辺現在情報Ｖｄａと周辺過去情報Ｏｄａを用いて、過去の画像と現在の画像との間で相違する領域を抽出する（ステップＳ２２０）。また、抽出した差分領域と現在位置情報Ｌｄａ及び撮影時姿勢情報Ｐｄａに基づき、抽出履歴記憶手段１３０から関連情報Ｃｄａを読み出す（ステップＳ２３０）。

その後、差異関連情報送信手段１８０から、携帯端末装置２０に差異関連情報Ｘｄａが送信される（ステップＳ２４０）。

また、サーバ１０では、共有情報受信手段１７０が携帯端末装置２０から送信された共有情報Ｃｄａを受信する（ステップＳ２５０）。そして、受信した共有情報Ｃｄａに含まれる現在位置情報Ｌｄａ及び撮影時姿勢情報Ｐｄａを用いて対応情報記憶手段１４５を検索し、差異領域記憶手段１４０に記憶されている対応する差異領域情報Ｄｄａを抽出して、対応情報記憶手段１４５を更新した上で、受信した共有情報Ｃｄａを共有情報保存手段１７０に記憶する（ステップＳ２６０）。

尚、ステップＳ２００により本発明における利用者情報受信ステップが実現され、ステップＳ２２０により本発明における差異領域抽出ステップが実現される。
＜１．５効果＞

本実施形態に係る情報提供システムによれば、携帯端末装置２０で撮像された画像情報と、サーバ１０に記憶されている過去の画像情報とを比較して、現在の画像と過去の画像の間で相違する領域を、携帯端末装置２０の表示部２９に表示する。従って、利用者は、過去の状況と相違する部分を迅速に目視確認することが可能である。

尚、サーバ１０から携帯端末装置２０には、全ての差異関連情報Ｘｄａが送信されるのではなく、各携帯端末装置２０で撮像された目前の風景に必要な範囲の差異関連情報Ｘｄａ（すなわち、各携帯端末装置２０の現在位置近傍についての差異関連情報Ｘｄａ）のみが送信される。従って、携帯端末装置２０では、記憶容量の大きいメモリを備える必要がない。

また、本実施形態に係る情報提供システムによれば、移動体判定の抽出に関する処理は各携帯端末装置２０で行われる。このため、移動体除去のための演算処理がサーバ１０に集中することはなく、各携帯端末装置２０に対し速やかに差異領域情報が提示される。

また、本実施形態に係る情報提供システムによれば、サーバ１０で抽出された差異領域に対して、利用者が携帯端末装置２０にてコメントや感想などの付加情報を入力し、サーバ１０に送信し、サーバ１０にて共有情報記憶手段１５０に保存することできる。このため、他の利用者と差異領域に関する情報を共有することができる。

また、本実施形態に係る情報提供システムによれば、サーバ１０で抽出された差異領域に対して、利用者は携帯端末装置２０にて拡張現実的な表示（プレビュー撮影画像上で差異領域情報を確認したり、シースルー表示装置上で差異領域情報を確認）することできる。このため、目前の風景に対して直感的に差異領域や関連情報を確認することができる。
＜３．その他＞

なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。例えば、上記実施形態において、共有情報記憶手段１５０には、携帯端末装置２０にて入力された共有情報Ｃｄａが記憶されるとしたが、サーバ１０側の入力操作部１６及び表示部１７を用いて直接抽出履歴情報記憶手段１３０に入力してもよい。また、共有情報Ｃｄａは、店舗などから提供される広告情報であってもよく、その場合、共有情報記憶手段１５０には広告情報受信手段及び、課金手段を備えてもよい。

また、上記実施形態において、共有情報Ｃｄａに携帯端末装置２０で撮像された現在の画像を添付してもよい。

また、抽出履歴情報記憶手段１３０に記憶されている差異領域情報Ｄｄａ及び共有情報Ｃｄａを直接取り出すことができる手段を設けることも可能である。即ち、携帯端末２０から、周辺現在情報Ｖｄａを除いた利用者情報Ｙｄａをサーバ１０に送信し、差異領域抽出手段１１０において周辺現在情報Ｖｄａがないことを確認し、利用者情報Ｙｄａに含まれる現在位置情報Ｌｄａ及び撮影時姿勢情報Ｐｄａに基づいて抽出履歴情報記憶手段１３０を検索し、対応する情報を抽出して携帯端末装置２０に送付する態様としても良い。

また、ウェブブラウザ等によりサーバ１０上の周辺過去情報記憶手段１２０に記憶された映像情報を検索し、ユーザが情報を確認したい位置や方向等を指定して抽出履歴情報記憶手段１３０を検索し、対応する差異領域情報Ｄｄａ及び共有情報Ｃｄａを抽出してウェブブラウザ上にこれらの情報を表示する態様としてもよい。

また、本実施形態においては、建物の状況の変化を例として挙げたがこれに限られないことはもちろんである。例えば、山などの風景や、店舗のディスプレイの状況などにも適用可能である。

また、本実施形態においては、利用者側の端末が携帯端末装置２０であるとしたが、本発明はウェアラブル端末等に適用することも可能である。

１０サーバ
１４補助記憶装置
１５通信制御部
１６入力操作部
１７表示部
２０携帯端末装置
２４通信制御部
２５処理部
２６磁気センサ
２７加速度センサ
２８入力操作部
２９表示部
３０カメラ
１１０差異領域抽出手段
１２０周辺過去情報記憶手段
１３０抽出履歴情報記憶手段
１４０差異領域記憶手段
１５０共有情報記憶手段
１６０利用者情報受信手段
１７０共有情報受信手段
１８０差異関連情報送信手段
２１０現在位置情報検出手段
２２０姿勢検出手段
２３０撮像手段
２４０利用者情報送信手段
２５０差異関連情報受信手段
２６０表示手段
２７０共有情報入力手段
２８０共有情報送信手段
２９０移動体抽出手段
４００情報提示画面
４０２差異関連情報提示部
４０２差異情報提示部
４０３共有情報入力部
４０４現在状況表示部
４０６過去画像表示部
４０８共有情報表示部
４１０共有情報入力ボックス

Claims

サーバと複数の携帯端末装置とがネットワークを介して接続される情報提供システムであって、
前記携帯端末は、
現在位置を表す現在位置情報を検出する現在位置検出手段と、
周辺の状況を示す周辺現在情報を撮像する撮像手段と、
前記撮像手段が撮像している方位および、仰角または俯角を含む撮像時姿勢情報を検出する姿勢検出手段と、
前記現在位置情報、前記周辺現在情報、及び前記撮像時姿勢情報を利用者情報として前記サーバに送信する利用者情報送信手段と、
を備え、
前記サーバは、
前記携帯端末から送信される前記利用者情報を受信する利用者情報受信手段と、
前記現在位置周辺の過去の状況を記録し、前記利用者情報と対比可能な情報である周辺過去情報を記憶する周辺過去情報記憶手段と、
前記周辺過去情報及び前記利用者情報に基づいて、前記周辺過去情報と前記周辺現在情報との間で差異のある領域を示す差異領域情報を抽出する差異領域抽出手段と、
前記差異領域情報を差異関連情報として前記携帯端末に送信する差異関連情報送信手段と、
を備え、
前記携帯端末は、
前記サーバから送信される前記差異関連情報を受信する差異関連情報受信手段と、
前記差異関連情報に含まれる前記差異領域情報を表示する表示手段と
を更に備える、情報提供システム。
請求項１に記載の情報提供システムであって、
前記差異関連情報は、前記差異領域抽出手段により抽出された、前記周辺現在情報に対応する前記周辺過去情報を更に備え、
前記表示手段は、前記差異領域情報に加え、前記周辺過去情報に含まれる過去の映像も併せて表示する情報提供システム。
請求項１または２のいずれか１項に記載の情報提供システムであって、
前記携帯端末は、
前記表示手段に表示された前記差異領域情報に関し、他の携帯端末の利用者と共有したい情報である共有情報を入力する共有情報入力手段と、
前記共有情報を前記サーバに送信する共有情報送信手段と
を更に備え、
前記サーバは、
前記携帯端末から送信される共有情報を受信する共有情報受信手段と、
前記差異情報、前記共有情報及びこれらが対応付けられた情報である対応情報を記憶する抽出履歴情報記憶手段と、
を更に備え、
前記差異領域抽出手段は、前記差異領域抽出後、前記抽出履歴情報記憶手段を検索して前記差異領域に対応する前記共有情報を併せて抽出し、
前記差異関連情報は、前記差異領域抽出手段により抽出された前記共有情報を更に備え、
前記表示手段は、前記差異領域情報に加え、前記共有情報も併せて表示する情報提供システム。
請求項１から３のいずれか１項に記載の情報提供システムであって、
前記携帯端末は、
前記撮像手段において、連続した複数の画像を撮像し、
前記複数の画像それぞれを対比することにより、前記複数の画像内に含まれる移動体が存在する領域を示す移動体領域情報を抽出する移動体抽出手段を更に備え、
前記利用者情報送信手段は、前記利用者情報に前記移動体領域情報を含めて前記サーバに送信し、
前記サーバは、
前記差異領域抽出手段において、前記移動体領域情報で示される領域を除く領域に関して差異領域情報を抽出する
情報提供システム。
サーバと複数の携帯端末装置とがネットワークを介して接続される情報提供方法であって、
前記携帯端末は、
現在位置を表す現在位置情報を検出する現在位置検出ステップと、
周辺の状況を示す周辺現在情報を撮像する撮像ステップと、
前記撮像ステップで撮像している方位および、仰角または俯角を含む撮像時姿勢情報を検出する姿勢検出ステップと、
前記現在位置情報、前記周辺現在情報、及び前記撮像時姿勢情報を利用者情報として前記サーバに送信する利用者情報送信ステップと、
を備え、
前記サーバは、
前記携帯端末から送信される前記利用者情報を受信する利用者情報受信ステップと、
前記現在位置周辺の過去の状況を記録し、前記利用者情報と対比可能な情報である周辺過去情報及び前記利用者情報に基づいて、前記周辺過去情報と前記周辺現在情報との間で差異のある領域を示す差異領域情報を抽出する差異領域抽出ステップと、
前記差異領域情報を差異関連情報として前記携帯端末に送信する差異関連情報送信ステップと、
を備え、
前記携帯端末は、
前記サーバから送信される前記差異関連情報を受信する差異関連情報受信ステップと、
前記差異関連情報に含まれる前記差異領域情報を表示する表示ステップと
を更に備える、情報提供方法。
請求項５に記載の情報提供方法であって、
前記差異関連情報は、前記差異領域抽出ステップにより抽出された、前記周辺現在情報に対応する前記周辺過去情報を更に備え、
前記表示ステップは、前記差異領域情報に加え、前記周辺過去情報に含まれる過去の映像も併せて表示する情報提供方法。
請求項５または６のいずれか１項に記載の情報提供方法であって、
前記携帯端末は、
前記表示ステップで表示された前記差異領域情報に関し、他の携帯端末の利用者と共有したい情報である共有情報を入力する共有情報入力ステップと、
前記共有情報を前記サーバに送信する共有情報送信ステップと
を更に備え、
前記サーバは、
前記携帯端末から送信される共有情報を受信する共有情報受信ステップと、
前記差異情報、前記共有情報及びこれらが対応付けられた情報である対応情報を記憶する抽出履歴情報記憶ステップと、
を更に備え、
前記差異領域抽出ステップは、前記差異領域抽出後、前記抽出履歴情報記憶ステップを検索して前記差異領域に対応する抽出履歴情報を併せて抽出し、
前記差異関連情報は、前記差異領域抽出ステップにより抽出された抽出履歴情報を更に備え、
前記表示ステップは、前記差異領域情報に加え、前記共有情報も併せて表示する情報提供方法。
請求項５から７のいずれか１項に記載の情報提供方法であって、
前記携帯端末は、
前記撮像ステップにおいて、連続した複数の画像を撮像し、
前記複数の画像それぞれを対比することにより、前記複数の画像内に含まれる移動体が存在する領域を示す移動体領域情報を抽出する移動体抽出ステップを更に備え、
前記利用者情報送信ステップは、前記利用者情報に前記移動体領域情報を含めて前記サーバに送信し、
前記サーバは、
前記差異領域抽出ステップにおいて、前記移動体領域情報で示される領域を除く領域に関して差異領域情報を抽出する
情報提供方法。