JP2014131207A - 携帯情報端末 - Google Patents

Abstract

【課題】使用者の手間や負担を減らすとともに、撮影した静止画に正確な情報を重畳して表示することができる携帯情報端末を提供する。
【解決手段】制御手段１は、通信手段７を介して撮影場所の位置情報、方向情報及び画角情報に関連付けられた関連情報を取得するとともに、制御手段１が、記憶手段２に保存された撮影画像の少なくとも一部である表示領域Ｐ２に、表示領Ｐ２と関連する関連情報を重畳させて表示手段４に表示させる携帯情報端末Ａ。
【選択図】図２

Description

本発明は、撮影した映像に情報を重畳して表示することができる携帯情報端末に関する。

近年、カメラ等の撮影機能を有する携帯情報端末には、前記カメラを介して取得される画像とその画像の方向に関連付けられた情報とを重畳し、表示部に表示する拡張現実（ＡＲ）と呼ばれる技術を利用したものがある。

このような携帯情報端末は、本物の景色に関する光学的情報を収集しかつその情報を電子信号として提供するカメラを有し、前記カメラの位置及び姿勢（光軸の方向）を測定し、それにより見ている景色を一意的に識別し、前記カメラ及び様々な景色に関連する情報を記憶させた前記データベースからのデータを結合して、１つのイメージを完成して表示させる表示装置が開示されている。前記表示装置で表示されるイメージは使用者が見ている本物の景色に連続的に整合されている。

初めて訪れる場所や地下から地上に出たばかりで正しい方向がわからない場合、前記携帯情報端末で拡張現実を利用した表示を行うことで、現在位置及び方向を瞬時に及び直感的に把握することが可能である（特表平９−５０５１３８号公報、特許第４２９４０９３号公報等参照）。

特表平９−５０５１３８号公報 特許第４２９４０９３号公報

特表平９−５０５１３８号公報、特許第４２９４０９３号公報には、カメラが捉えた実時間（リアルタイム）の風景画像を表示部に表示し、その風景画像に情報を重畳するものである。風景画像に重畳された情報を表示し続けるためには、表示装置を常にその方向に向けて保持し続ける必要があり、保持する手が疲れたり、使用が煩わしかったりする。

また、夜になって風景が見えなくなったり、交通量が多く人やクルマに風景が遮られたりする場合がある。この場合、使用者がサーバより取得される情報と対比したいと思っていた所望の風景画像とは異なる風景画像と情報とが表示部に表示され、使用効果が低下する場合がある。

さらに、リアルタイムに画像が表示される構成であるため、所望の風景画像に関連した情報を取得するには、使用者がその場所に実際に居る必要がある。そのため、別な場所に移動すると、移動前の場所における風景画像に関連付けられた情報を確認することができない。

そこで本発明は、使用者の手間や負担を減らすとともに、撮影画像に正確な情報を重畳して表示することができる携帯情報端末を提供することを目的とする。

上記目的を達成するため本発明は、画像を撮影する撮影手段と、前記画像を撮影した場所の位置情報を取得する位置情報取得手段と、前記画像を撮影した方向の方向情報及び撮影画像の画角情報を取得する撮影範囲取得手段と、前記撮影手段で撮影した撮影画像、前記撮影画像を撮影した場所の位置情報、方向情報及び画像の画角情報を保存できる記憶手段と、通信手段と、制御手段とを備えた携帯情報端末であって、前記制御手段は、前記通信手段を介して前記撮影場所の位置情報、方向情報及び画角情報に関連付けられた関連情報を取得するとともに、前記制御手段が、前記記憶手段に保存された撮影画像の少なくとも一部である表示領域に、前記表示領域と関連する関連情報を重畳させて表示手段に表示させることを特徴とする携帯情報端末を提供する。

本発明によると、使用者の手間や負担を減らすとともに、撮影画像に正確な情報を重畳して表示することができる携帯情報端末を提供することができる。

本発明にかかる携帯情報端末の一例を備えた拡張現実表示システムのブロック図である。 本発明にかかる携帯情報端末で拡張現実表示を行うときのフローチャートである。 本発明にかかる携帯情報端末で画像を撮影している状態を示す図である。 本発明にかかる携帯情報端末に撮影画像を表示している状態を示す図である。 本発明にかかる携帯情報端末でサービス情報を取得している状態を示す図である。 撮影画像より表示領域を選択している状態を示す図である。 図４Ｂで選択された表示領域にサービス情報を重畳した状態を示す図である。 撮影画像より表示領域を変更している状態を示す図である。 図４Ｃで変更された表示領域にサービス情報を重畳した状態を示す図である。 本発明にかかる携帯情報端末の他の例の撮影動作のフローチャートである。 図５で撮影した撮影画像にサービス情報を重畳する動作のフローチャートである。 本発明にかかる携帯情報端末のさらに他の例の撮影動作のフローチャートである。 図７で撮影した撮影画像にサービス情報を重畳する動作のフローチャートである。 本発明にかかる携帯情報端末のさらに他の例で撮影画像にサービス情報を重畳するときのフローチャートである。

（第１実施形態）
以下に本発明の実施形態について図面を参照して説明する。図１は本発明にかかる携帯情報端末の一例を備えた拡張現実表示システムのブロック図である。図１に示す携帯情報端末Ａは通信機能及び表示手段であるディスプレイ４を備え、ディスプレイ４に情報を表示する携帯型の情報端末、いわゆる、スマートフォンであるが、これに限定されない。なお、拡張現実表示とは、ディスプレイ４で撮影画像を表示するとき、撮影画像（表示領域）にサービス情報（関連情報）を重畳させる表示のことである。拡張現実表示を行うことで、撮影画像において障害物の裏側等で見えない部分の情報も、ディスプレイ４に表示することが可能となる。

図１に示すように、拡張現実表示システムＡｓは、拡張現実表示に対応した携帯情報端末Ａと、ネットワークＮｗと、無線基地局１１と、サービス提供サーバ１２とを含む構成となっている。拡張現実表示システムＡｓでは、無線基地局１１及びサービス提供サーバ１２がネットワークＮｗ上に配置されており、携帯情報端末Ａと無線基地局１１との間で無線通信回線を開くことで、携帯情報端末ＡがネットワークＮｗに接続されるようになっている。

携帯情報端末Ａは、中央処理部（制御手段）１、メモリ（記憶手段）２、カメラ（撮影手段）３、ディスプレイ（表示手段）４、位置情報取得部５（位置情報取得手段）、方向センサ６（撮影範囲取得手段）、通信部（通信手段）７、リアルタイムクロック（計時手段）８及び入力部９を備えている。

中央処理部１は、携帯情報端末Ａを総合的に制御するとともに、取得されたデータの処理を行う情報処理装置である。中央処理部１はＣＰＵ、ＭＰＵ等の演算処理装置を備えている。なお、図１に示すように、携帯情報端末Ａでは、上述した、メモリ２、カメラ３、ディスプレイ４、位置情報取得部５、方向センサ６、通信部７、リアルタイムクロック８及び入力部９は中央処理部１に接続されており、中央処理部１との間で、情報の送受信を行ったり、中央処理部１からの制御信号を受信し、制御信号に応じて動作したりするようになっている。

メモリ２は、情報を記憶するための記憶装置であり、揮発性メモリ（例えば、ＲＡＭ等）及び不揮発性メモリ（例えば、ＲＯＭ、フラッシュメモリ等）を含む構成となっている。中央処理部１からの情報（後述する、撮影画像データ、サービス情報、位置情報、方向情報、画角情報等）を保存（記憶）する。

カメラ３は、風景等の画像を撮影し、撮影画像データとして取得（撮影）するものである。携帯情報端末Ａのカメラ３は、静止画像及び動画像の両方の撮影画像を撮影することができる構成である。しかしながら、これに限定されるものではなく、少なくとも静止画像が撮影可能であればよい。カメラ３で撮影された撮影画像データは、メモリ２に保存される。

ディスプレイ４は、画像を表示するためのものである。携帯情報端末Ａは、ディスプレイ４として、液晶パネルを用いた液晶表示装置を採用している。ディスプレイ４は、中央処理部１に接続されており、中央処理部１に要求された画像を表示する。また、携帯情報端末Ａでは、カメラ３で撮影した撮影画像をディスプレイ４に表示することができるようになっている。

位置情報取得部５は、ＧＰＳ衛星からのＧＰＳ信号を受信し、携帯情報端末Ａの位置情報（緯度、経度）を取得する。また、通信部７と連動し、無線通信を利用して位置情報を取得する機能を備えていてもよい。位置情報取得部５は中央処理部１からの指示によって位置情報を取得し、中央処理部１に送信するようになっている。

方向センサ６は、携帯情報端末Ａの方向情報（角度情報を含む）を取得するためのセンサである。方向センサ６としては、携帯情報端末Ａの方位を取得する電子コンパス、携帯情報端末Ａの傾きを検出するジャイロセンサ等を備えているものとすることができる。なお、方向センサ６は、中央処理部１からの指示によって方向情報を取得し、中央処理部１に送信するようになっている。

通信部７は、基地局１１との間で無線通信回線（例えば、電波による）を形成するための通信手段である。無線通信回線としては、例えば、携帯電話回線、無線ＬＡＮ回線等を挙げることができる。なお、携帯情報端末Ａにおいて、通信部７は携帯電話回線及び無線ＬＡＮ回線の両方を利用可能としているが、これに限定されず、少なくとも一方の回線を利用できればよい。また、通信部７には、アンテナ１０が備えられており、アンテナ１０を介して電波（無線通信用電波）を送受信する。

リアルタイムクロック８は、要求に応じて現在の時刻（日付情報を含む）を中央処理部１に提供する。リアルタイムクロック８は、それ自体独立であってもよいし、電波やＧＰＳ信号に基づいて時間を補正する機能を備えていてもよい。

入力部９は、使用者が携帯情報端末Ａの操作や文字の入力等を行うときに使用するものである。入力部９として、実際に押下するボタンスイッチや、ディスプレイ４に表示されたボタンの映像を触れることで入力を行うタッチパネルを含む構成を挙げることができる。なお、これ以外にも、操作や文字を入力することができる入力装置を広く採用することができる。

無線基地局１１は、通信部７との間で無線回線を形成するものである。サービス提供サーバ１２は、サービス情報が収容されているサーバである。サービス提供サーバ１２は、携帯情報端末Ａからの要求に応じて、サービス情報を携帯情報端末Ａに提供する。無線基地局１１及びサービス提供サーバ１２はネットワークＮｗで接続されている。ネットワークＮｗとしては、インターネットを挙げることができる。しかしながら、これに限定されるものではなく、サービス情報を提供するための専用の回線を用いたネットワークであってもよい。

次に、携帯情報端末で拡張現実表示を行うときの動作について図面を参照して説明する。図２は本発明にかかる携帯情報端末で拡張現実表示を行うときのフローチャートであり、図３Ａ〜図３Ｃは拡張現実表示を行うときの携帯情報端末の動作を示す図であり、図４Ａ〜図４Ｄは拡張現実表示を行うときの撮影画像を示す図である。

なお、図４Ａ、図４Ｃは撮影画像Ｐ１を示しており、図４Ｂは撮影画像Ｐ１より選ばれた表示領域Ｐ２、図４Ｄは変更された表示領域Ｐ３をディスプレイ４で表示している携帯情報端末Ａを示している。また、撮影画像Ｐ１をディスプレイ４の縦横比（アスペクト比）と同じ比率の長方形のものとしているが、これに限定されるものではなく、長手方向の長さが長い、いわゆる、パノラマ画像を採用することも可能である。

携帯情報端末Ａで拡張現実表示を行う手順について説明する。図３Ａに示すように、カメラ３が撮影したい部分（図３Ａでは、風景Ｌｓ）に向けられ、入力部９を介して撮影の入力があると、中央処理部１は風景Ｌｓの画像を撮影画像Ｐ１（図３Ｂ参照）とし、撮影画像データとしてメモリ２に保存する（ステップＳ１１）。なお、撮影画像データの大きさ（画素数）は、カメラ３によって決まり、画角も、カメラ３によって決まる。なお、画角については、撮影の条件（拡大縮小等）によって変更される。

そして、中央処理部１は撮影と同時に、位置情報取得部５を動作させ、ＧＰＳ衛星からのＧＰＳ信号から撮影場所の位置情報を取得する（ステップＳ１２、図３Ａ参照）。さらに、中央処理部１は方向センサ６を動作させ、撮影方向の情報を取得するとともに、カメラ３のズームの情報と方向センサ６からの携帯情報端末Ａの方向情報（傾きの情報）から撮影画像の画角情報を取得する（ステップＳ１３：図３Ａ参照）。なお、位置情報の取得（ステップＳ１２）、方向及び画角情報の取得（ステップＳ１３）は順不同であり、この順番に限られない。また、位置情報、方向情報、画角情報は取得とともに、撮影画像データに関連付けられてメモリ２に保存される。なお、撮影時の時刻情報も同時に保存するようにしてもよい。

中央処理部１は、通信部７を動作させ無線基地局１１との間の無線通信回線を開く。そして、中央処理部１は、通信部７を介して、撮影場所の位置情報、撮影の方向情報、及び画角情報をサービス提供サーバ１２に送り、撮影画像の範囲に含まれるサービス情報（撮影場所の位置情報、撮影の方向情報、及び画角情報に関連付けられた情報）を取得する（ステップＳ１４：図３Ｃ参照）。

なお、サービス情報として、例えば、飲食店、映画館、コンビニエンスストア等の情報であり、サービス情報の名前、種類、撮影場所からの方向、距離等が含まれるものとすることができる。サービス情報の提供範囲として、撮影場所を中心として予め決められた半径の円内とすることができるが、これに限定されるものではなく、使用者が半径を決めるものであってもよい。

また、サービス情報として、サービス提供サーバ１２に含まれている全てのサービス情報とすることができる。サービス情報はこれに限定されるものではなく、使用者が選択した種類（例えば、飲食、買い物、映画等）に合致したサービス情報とすることができる。この場合、中央処理部１は、撮影場所の位置情報、方向情報及び画角情報をサービス提供サーバ１２に送るとき、同時に、使用者に選択された種類の情報を送信する。中央処理部１は、撮影画像データとともにサービス情報を撮影画像データに関連付けてメモリ２に保存する。

中央処理部１は撮影画像Ｐ１のうちサービス情報を重畳して表示する表示領域Ｐ２を決定する（ステップＳ１５：図４Ａ）。なお、携帯情報端末Ａでは、表示領域Ｐ２として、予め決められた大きさを有し、撮影画像Ｐ１の中央部分としている。しかしながら、これに限定されるものではなく、予め使用者によって決められた場所を表示領域とするようにしてもよいし、図３Ｂに示すように撮影画像Ｐ１をディスプレイ４に表示しておき、使用者によって大きさ及び位置が決定されるようにしてもよい。また、撮影画像Ｐ１と表示領域Ｐ２とが一致するように、表示領域Ｐ２を設定することも可能である。

中央処理部１は、表示領域Ｐ２に対応したサービス情報をメモリ２から抽出する（ステップＳ１６）。なお、表示領域Ｐ２に対応したサービス情報は、撮影画像Ｐ１と表示領域Ｐ２との位置関係、撮影時の位置情報、方向情報及び画角情報に基づいて抽出されるものである。

中央処理部１は、表示領域Ｐ２をディスプレイ４に表示する（ステップＳ１７）。そして、中央処理部１は、ディスプレイ４に表示されている表示領域Ｐ２に対応したサービス情報をサービス表示Ｓｐとしてディスプレイ４に表示する（ステップＳ１８：図４Ｂ参照）。サービス表示Ｓｐは、ディスプレイ４に表示されている表示領域Ｐ２と対応する位置に表示される。しかしながら、これに限定されるものではなく、ディスプレイ４の一部（例えば、上部）に表示されるものであってもよい。また、サービス表示Ｓｐは使用者から選択されると、詳細データ表示に切り替わるような構成であってもよい。

中央処理部１は、入力部９から表示確定（現在のディスプレイ４の表示で確定する）との入力があるかどうか確認し（ステップＳ１９）、確定の入力があると（ステップＳ１９でＹｅｓ）、現在のディスプレイ４の表示のまま拡張現実表示の設定作業を終了する。なお、撮影画像Ｐ１と表示領域Ｐ２が一致する場合も、拡張現実表示の設定作業を終了する。以下の説明では、表示領域Ｐ２が撮影画像Ｐ１の全体よりも小さいものとして説明する。

表示確定の入力がない場合（ステップＳ１９でＮｏの場合）、中央処理部１は表示領域Ｐ２の変更があったかどうか確認する（ステップＳ１１０）。なお、表示領域Ｐ２の変更は、入力部９による入力によるものとするが、これに限定されるものではない。例えば、携帯情報端末Ａの角度及び（又は）方向の変更を方向センサ６で確認し、角度及び（又は）方向の変更に合わせ、表示領域Ｐ２を変更するものであってもよい。また、ディスプレイ４が全面にタッチパネルを備える構成である場合、タッチパネルの操作によって表示領域Ｐ２を変更するものであってもよい。さらには、同じ撮影場所で複数枚の撮影画像を撮影しておき、携帯情報端末Ａの角度及び（又は）方向にあった撮影画像を選択することで、表示領域を変更するようにしてもよい。

表示領域Ｐ２の変更がある場合（ステップＳ１１０でＹｅｓの場合、図４Ｃ参照）、中央処理部１は、変更後の表示領域Ｐ３の情報（撮影場所からの方向及び画角の情報）を取得する（ステップＳ１１１）。そして、ステップＳ１６に戻り、ディスプレイ４の表示を再度行う（図４Ｄ参照）。

本発明にかかる携帯情報端末Ａでは、撮影画像を撮像画像データとしてメモリ２に保存するとともに、撮影時の位置情報、方向情報及び撮影画像の画角情報に関連付けられたサービス情報を前記撮影画像データと関連付けてメモリ２に保存する。そして、メモリ２に保存されている撮像画像データ（撮像画像）から表示領域を決定し、さらにメモリ２に保存されているサービス情報から表示領域に対応する情報を抽出し、表示領域にサービス情報を重畳してディスプレイ４に表示する。携帯情報端末Ａがこのような手順で拡張現実表示を行うため、拡張現実表示を行うため携帯情報端末Ａを、情報が表示される方向に向け続ける必要がなく、使用者の負担を減らすことができる。

（第２実施形態）
本発明にかかる携帯情報端末の他の例について図面を参照して説明する。図５は本発明にかかる携帯情報端末の撮影動作のフローチャートであり、図６は図５で撮影した撮影画像にサービス情報を重畳する動作のフローチャートである。携帯情報端末Ａ及び拡張現実表示システムＡｓについては、第１実施形態と同様の構成を有しているため、実質上同じ部分には同じ符号を付すとともに、同じ部分の詳細な説明を省略する。

図５に示すように、カメラ３で画像撮影を行う（ステップＳ２１）とき、中央処理部１は、リアルタイムクロック８から撮影時の時刻情報（日付含む）の取得（ステップＳ２２）と、位置情報取得部５より位置情報の取得（ステップＳ２３）と、方向センサ６及びカメラ３から方向情報及び画角情報の取得（ステップＳ２４）とを行う。なお、時間情報の取得（ステップＳ２２）、位置情報の取得（ステップＳ２３）、方向及び画角情報の取得（ステップＳ２４）は順不同であり、この順番に限られない。そして、中央処理部１は、サービス提供サーバ１２よりこれらの情報に関連付けられたサービス情報を取得する（ステップＳ２５）。

中央処理部１は、撮影画像データとサービス情報とをメモリ２に保存する（ステップＳ２６）。中央処理部１は、サービス情報をメモリ２に保存するとき、撮影画像データと関連付けて保存する。なお、サービス情報は、撮影画像データに格納された状態で、メモリ２に保存してもよいし、撮影画像データ、撮影時の時刻情報、位置情報、方向情報及び画角情報と関連付けたデータベースをメモリ２に備えておき、データベースに保存するようにしてもよい。

中央処理部１は入力部９に使用者からの撮影終了の操作がされたかどうか確認する（ステップＳ２７）。撮影終了の指示があった場合（ステップＳ２７でＹｅｓの場合）、中央処理部１は、カメラ３の動作を停止する。また、撮影終了の指示がない場合（ステップＳ２７でＮｏの場合）、中央処理部１はステップＳ２１に戻り画像の撮影を続行する。

次に、サービス情報を重畳した撮影画像データをディスプレイ４に表示する手順について図６を参照して説明する。使用者が入力部９によって拡張現実表示の実行を指示すると、中央処理部１は使用者によって選択された撮影画像の撮影画像データをメモリ２から呼び出す（ステップＳ３１）。撮影画像の選択を行う場合、サービス情報が保存されている撮影画像のサムネイル画像を表示しておき、その撮影画像から選択できるようにしてもよい。また、撮影画像データを保存するとき撮影画像データにキーワード、ＩＤ番号等と関連付けておき、キーワード、ＩＤ番号等の文字情報で検索して選択できるようにしてもよい。

中央処理部１は呼び出された撮影画像データのうちサービス情報を重畳して表示する表示領域を決定する（ステップＳ３２）。中央処理部１は、表示領域に対応したサービス情報をメモリ２から抽出する（ステップＳ３３）。

中央処理部１は、表示領域をディスプレイ４に表示する（ステップＳ３４）とともに、サービス情報を重畳表示する（ステップＳ３５）。中央処理部１は、表示領域が変更されたかどうかを検出し（ステップＳ３６）、表示領域が変更されない場合（ステップＳ３６でＮｏの場合）表示領域の変更の検出を再度行う。また、表示領域が変更された場合（ステップＳ３６でＹｅｓの場合）、変更後の表示領域を取得（ステップＳ３７）し、ステップＳ３３に戻る。なお、図示は省略しているが、表示決定や撮影画像と表示領域が同じ場合、処理を終了する。

本実施形態の携帯情報端末では、画像の撮影時に、撮影画像の撮影範囲に含まれるサービス情報を同時に取得し、撮影画像データと関連付けてメモリに保存している。そして、撮影場所以外の場所或いは時間に撮影画像データを呼び出し、撮影画像の表示領域にサービス情報を重畳して表示することが可能である。なお、表示領域にサービス情報を重畳するとき、撮影時の時刻情報、撮影方向の情報、画角情報も重畳するようにしてもよい。

（第３実施形態）
本発明にかかる携帯情報端末のさらに他の例について図面を参照して説明する。図７は本発明にかかる携帯情報端末のさらに他の例の撮影動作のフローチャートであり、図８は図７で撮影した撮影画像にサービス情報を重畳する動作のフローチャートである。携帯情報端末Ａ及び拡張現実表示システムＡｓについては、第１実施形態と同様の構成を有しているため、実質上同じ部分には同じ符号を付すとともに、同じ部分の詳細な説明を省略する。なお、本実施形態において、サービス提供サーバ１２に収納されているサービス情報は、位置情報に加えて時間情報にも関連付けられている。

本実施形態の携帯情報端末Ａは、画像を撮影する（ステップＳ２１）とき、リアルタイムクロック８から撮影時の時刻情報（日付含む）の取得（ステップＳ２２）、撮影場所の位置情報の取得（ステップＳ２３）、撮影時の方向及び画角情報の取得（ステップＳ２４）を行う。

中央処理部１は、撮影画像データとともに、撮像画像データに関連付けて時刻情報、位置情報、方向情報及び画角情報をメモリ２に保存する（ステップＳ２６１）。入力部９に使用者からの撮影終了の指示があるかどうか確認し（ステップＳ２７）、Ｙｅｓなら撮影終了、Ｎｏなら撮影続行（ステップＳ２１に戻る）。時刻情報、位置情報、方向情報及び画角情報は、撮影画像データの内部に格納されていてもよいし、撮影画像データに関連付けたデータベースを形成し、そのデータベースに保存されていてもよい。

次に、サービス情報を重畳した撮影画像データをディスプレイ４に表示する手順について図８を参照して説明する。使用者が入力部９によって拡張現実表示の実行を指示すると、中央処理部１は使用者によって選択された撮影画像の撮影画像データをメモリ２から呼び出す（ステップＳ４１）。中央処理部１は、撮影時の時刻情報、撮影場所の位置情報、方向情報及び画角情報を抽出する（ステップＳ４２）。

中央処理部１は通信部７と無線基地局１１との間の無線通信回線を開く。そして、中央処理部１はサービス提供サーバ１２に撮影時の時刻情報、撮影場所の位置情報、撮影の方向情報及び画角情報を送り、撮影画像の範囲に含まれるサービス情報を取得しメモリ２に保存する（ステップＳ４３）。中央処理部１は呼び出された撮影画像データのうちサービス情報を重畳して表示する表示領域を決定する（ステップＳ４４）。中央処理部１は、表示領域に対応したサービス情報をメモリ２から抽出する（ステップＳ４５）。

中央処理部１は、表示領域をディスプレイ４に表示する（ステップＳ４６）とともに、サービス情報を重畳表示する（ステップＳ４７）。中央処理部１は、表示領域が変更されたかどうかを検出し（ステップＳ４８）、表示領域が変更されない場合（ステップＳ４８でＮｏの場合）表示領域の変更の検出を再度行う。また、表示領域が変更された場合（ステップＳ４８でＹｅｓの場合）、変更後の表示領域を取得（ステップＳ４９）し、ステップＳ４５に戻る。なお、図示は省略しているが、表示決定や撮影画像と表示領域が同じ場合、処理を終了する。表示領域の変更は第２実施形態と同じである。

本実施形態の携帯情報端末Ａでは、撮影時の時間情報を撮影画像データとともに取得しておき、撮影時の撮影範囲のサービス情報をサービス提供サーバより取得する構成となっている。そのため、撮影時間、気象条件、交通等の周囲の条件等で、使用者がサービス情報を取得したい場所で所望の画像の撮影が難しい場合でも、予め所望の画像を撮影することで、所望の画像にサービス情報を重畳表示することができる。また、必要に応じて、サービス情報を取得することができるので、複数の画像を撮影した後、画像の整理を行いながら、サービス情報を重畳表示する撮影画像データを決定することが可能である。そのため、撮影画像データ及び取得するサービス情報の量を減らすことができ、メモリ２の無駄な消費を減らすことができる。

また、カメラ３で撮影した撮影画像以外でも、撮影時の情報（位置情報、時刻情報、方向情報、画角情報等）が格納されていれば、撮影画像データにサービス情報を重畳させて表示することが可能である。さらには、サービス提供サーバ１２に送る時刻情報を任意に設定できるようにしておけば、撮影場所での任意の時間におけるサービス情報を重畳表示することが可能である。

このような携帯情報端末Ａの利用方法としては、花壇の草花のように季節によって変化するものや、星空等時間によって変化するもの等、撮影時と現在とで状態の替わるものを撮影した撮影画像データに撮影時のサービス情報を重畳させるときに用いることが可能である。なお、花壇等の撮影画像データにおける重畳するサービス情報としては、表示領域に表示される花の名前を挙げることができる。また、星空の撮影画像データにおけるサービス情報として星の名前を含む情報、星座の名前等を挙げることができる。

（第４実施形態）
本発明にかかる携帯情報端末のさらに他の例について図面を参照して説明する。図９は本発明にかかる携帯情報端末のさらに他の例で撮影画像にサービス情報を重畳するときのフローチャートである。本実施形態の携帯情報端末は、図１に示す携帯情報端末Ａと同じ構造を有している。また、画像撮影については、第２実施形態の画像撮影と同じであり、画像撮影についての詳細は省略する。さらに、撮影画像データにサービス情報を重畳する手順についても一部が異なる以外、第３実施形態と同じであり、第３実施形態と同じ部分の詳細な説明は省略する。

携帯情報端末は、画像を撮影するとき、撮影場所の位置情報、方向情報及び撮影画像の画角情報を取得している。使用者により拡張現実表示を行う撮影画像が選択されると、中央処理部１は撮影画像データをメモリ２から呼び出す（ステップＳ４１）。中央処理部１は、撮影画像データから撮影場所の位置情報、方向情報及び画角情報を抽出する（ステップＳ４２１）。

中央処理部１はサービス提供サーバ１２に撮影場所の位置情報、撮影の方向情報、及び画角情報を送り、現在の撮影画像の範囲に含まれるサービス情報を取得する（ステップＳ４３１）。以下の動作については、第３実施形態と同じであるため詳細は省略する。

本実施形態の携帯情報端末では、撮影画像データに現在の撮影範囲のサービス情報を重畳表示することができる。携帯情報端末を利用することで、画像を再度撮影しなくても、すなわち、撮影場所に行かなくても、表示画像に関連付けられたサービス情報を最新の情報に置き換えることが可能であり、使用者の利便性を高めることが可能である。

このような携帯情報端末の利用方法として、例えば、催し物会場の撮影画像データにサービス情報として、催し物会場で行われる催し物の情報や空席の情報を重畳させるようにするものを挙げることができる。使用者は、最新の催し物の情報を所望のタイミングで取得することが可能である。また、催し物会場に限定されるものではなく、劇場、スタジアム等でも同様の利用が可能である。

このような、撮影画像データとサービス情報の組み合わせとして、レストランと休日情報、メニュー情報、予約情報等、駅と列車の運行状況、到着列車情報等、交差点と渋滞情報等を挙げることができる。また、これら以外にも、撮影画像データと、撮影画像データに関連付けられたサービス情報を広く採用することができる。

また、本実施形態において、画像撮影時に、撮影時間の時刻情報を取得しておき、使用者からの指示によって、撮影時のサービス情報と最新のサービス情報とのいずれか又は両方を撮影画像データに重畳表示するようにしてもよい。また、撮影時にサービス情報を取得しておき、撮影時のサービス情報と最新のサービス情報とのいずれかを撮影画像データに重畳表示するようにしてもよい。

また、上述の各実施形態では、静止画像の撮影画像データにサービス情報を重畳するものとして説明しているが、これに限定されるものではない。例えば、動画像の撮影画像データに、サービス情報を重畳させるものであってもよい。この場合、中央処理部１は、動画像の表示領域の変化を絶えず検出し、表示領域に対応するサービス情報を重畳表示させる。

以上、本発明の実施形態について説明したが、本発明はこの内容に限定されるものではない。また本発明の実施形態は、発明の趣旨を逸脱しない限り、種々の改変を加えることが可能である。

本発明は、携帯電話、タブレット型ＰＣ等、通信機能、撮影機能、位置情報検出機能、方向情報検出機能を備え、持ち運びが容易な端末に好適に採用される。

Ａ 携帯情報端末
１ 中央処理部（制御手段）
２ メモリ
３ カメラ（撮影手段）
４ ディスプレイ（表示手段）
５ 位置情報取得部（位置情報取得手段）
６ 方向センサ（撮影範囲取得手段）
７ 通信部（通信手段）
８ リアルタイムクロック（計時手段）
９ 入力部
１０ アンテナ
１１ 無線基地局
１２ サービス提供サーバ

Claims (5)

1. 画像を撮影する撮影手段と、
   前記画像を撮影した場所の位置情報を取得する位置情報取得手段と、
   前記画像を撮影した方向の方向情報及び撮影画像の画角情報を取得する撮影範囲取得手段と、
   前記撮影手段で撮影した撮影画像、前記撮影画像を撮影した場所の位置情報、方向情報及び画像の画角情報を保存できる記憶手段と、
   通信手段と、
   制御手段とを備えた携帯情報端末であって、
   前記制御手段は、前記通信手段を介して前記撮影場所の位置情報、方向情報及び画角情報に関連付けられた関連情報を取得するとともに、
   前記制御手段が、前記記憶手段に保存された撮影画像の少なくとも一部である表示領域に、前記表示領域と関連する関連情報を重畳させて表示手段に表示させることを特徴とする携帯情報端末。
2. 前記制御手段が、前記撮影画像の撮影と同時に前記関連情報を取得する請求項１に記載の携帯情報端末。
3. 前記制御手段が、前記表示領域を表示手段に表示させるとき、前記記憶手段に保存されている撮影画像の撮影した場所の位置情報、方向情報及び撮影画像の画角情報を抽出し、前記関連情報を取得する請求項１に記載の携帯情報端末。
4. 前記撮影画像の撮影時の時刻情報を取得する計時手段を備え、
   前記制御手段が、前記撮影時の時刻情報を前記記憶手段に保存しており、前記撮影した場所の位置情報、方向情報及び撮影画像の画角情報に加え撮影時の時刻情報に関連付けられた関連情報を取得する請求項３に記載の携帯情報端末。
5. 前記情報取得手段は、現時刻における関連情報を取得する請求項３又は請求項４に記載の携帯情報端末。

Images