JP2006295827A - 携帯端末装置 - Google Patents

Abstract

【課題】 撮影した画像に対するより高度な案内処理が行えるようにする。
【解決手段】 撮影された画像の内容を特定し、その特定した画像に対して、時間の経過により変化する現状情報を付加して表示情報を作成して、時間の経過により変化する撮影画像に関する情報が表示されるようにした。画像の内容の特定としては、例えば、画像に含まれる代表物を特定するようにした。
【選択図】 図５

Description

本発明は、例えば、携帯電話端末に適用して好適な携帯端末装置し、特に撮影機能を備えた携帯端末装置に関する。

携帯電話端末として、撮影機能が内蔵されたものが広く普及している。撮影された静止画像又は動画は、その端末が備える液晶表示パネルなどの表示部に表示させることができるとともに、端末が備える通信機能を利用して外部に送ることもできる。

ところで、近年の情報技術の発展によって、撮影に関して検知された情報を基に、視覚的に各種案内情報を表示することが提案されている。例えば、特許文献１には、撮影装置の向く方位角と仰角情報を得て、それらの情報から地図情報を検索して、被写体を特定することについての記載がある。また、特許文献２には、位置や時間の情報を基に、景観データベースから得た擬似画像と撮影画像とを合成することに関する記載がある。
特開平８−７５４９６号公報 特開２００３−２９６３２９号公報

しかしながら、従来の画像の案内処理は、予め用意された地図データなどから得た地名などの情報を付加するだけであり、ナビゲーション装置などで地図表示を行う場合の表示情報と同程度の情報であり、ユーザが必要とする十分な案内が行われているとは言えない状況であった。

本発明はかかる点に鑑みてなされたものであり、撮影した画像に対するより高度な案内処理が行えるようにすることを目的とする。

本発明は、撮影された画像の内容を特定し、その特定した画像に対して、時間の経過により変化する現状情報を付加して表示情報を作成するようにしたものである。

このようにしたことで、時間の経過により変化する撮影画像に関する情報が表示されるようになる。

本発明によると、撮影した画像の内容から特定した情報に基づいて、その内容の現状が表示され、撮影時の状況などを判断できる良好な撮影画像表示が可能になる。

以下、本発明の一実施の形態を、添付図面を参照して説明する。
本例においては、撮影部を内蔵した携帯電話端末装置を使用したシステム構成としたものである。

図１は、本例のシステム構成例を示した図である。まず、携帯電話端末装置の構成について説明すると、携帯電話端末装置１００は、通信部１０９を備えて、無線電話用の通信回線で無線基地局などと無線通信を行うようにしてあり、液晶表示パネルなどで構成される表示部１０８で、通信に関する表示などを行うようにしてある。無線電話通信の制御は、制御部１０６の制御で行われ、メモリ１０７に制御に必要なデータなどが記憶させてある。また、ユーザが操作するキーなどで構成される操作部１１０を備えて、制御部１０６が操作状況を判断するようにしてある。無線電話用の通信回線での無線通信としては、端末装置１００での通話用の通信の他に、メール用の通信や、インターネットにアクセスするための通信などもある。

そして、携帯電話端末装置１００は静止画及び動画を撮影する手段として、カメラ部１０４が内蔵され、制御部１０６の制御で撮影が行われる。また、携帯電話端末装置１００の現状を検出する手段として、各種センサが取り付けてある。即ち、方位センサ１０１と測位部１０２と傾斜センサ１０３とを内蔵させてあり、それぞれで検出されたデータを制御部１０６が判断するようにしてある。

方位センサ１０１は、カメラ部１０４が撮影する方位を検出するセンサである。測位部１０２は、ＧＰＳ（Global Positioning System）などの測位システムを利用して、端末装置１００の絶対的な位置を検出するものである。傾斜センサ１０３は、端末装置１００の傾斜を検出するセンサである。これらのセンサや測位部からの出力は、カメラ部１０４で撮影を行う際には、視野角検出部１０５に送られ、カメラ部１０４で撮影した画像の視野角が算出される。

測位部１０２で測位された現在位置のデータや撮影した画像の視野角のデータは、通信部１０９による無線通信で、ホストコンピュータ装置２００に接続させて送るようにしてある。この接続としては、例えばホストコンピュータ装置２００をインターネット上の所定アドレスに用意して、端末装置１００を、無線電話回線を経由してインターネットに接続して、データ交換できるように接続されるようにしてある。

ホストコンピュータ装置２００は、空間情報検索部２０１と現状情報検索部２０２と、三次元空間データベース２０３とを備える。三次元空間データベース２０３は、三次元の地図データを備えて、その三次元地図データ上の各座標位置での代表となる目標物の名称のデータなどをデータベースとして記憶させてある。そして、端末装置１００から送られた現在位置のデータを使用して、その現在位置の周囲に存在する目標物のデータを、空間情報検索部２０１で検索するようにしてある。また、現状情報検索部２０２が、位置データと視野角のデータとを使用して、その視野角内に存在する物体などの現状の情報を取得するようにしてある。この現状の情報は、所定のネットワーク網３００を介して、リアルタイム情報管理システム４００に、撮影位置のデータと視野角のデータなどを送って得るようにしてある。現状情報の例については後述する。リアルタイム情報管理システム４００は、１つであるとは限らず、例えば情報の種類ごとにことなる管理システムを使用してもよい。例えば、天気情報を管理するシステム、飛行物体を管理するシステム、天体現象を管理するシステム、詳細情報が得られるホームページアドレスを管理（検索）するシステムなどの、様々なシステムが想定される。

図２は、端末装置１００が備えるカメラ１０４が撮影する画角の検出例を示した図である。本例の端末装置１００は、既に説明したように、方位センサ１０１と傾斜センサ１０３とを備えているために、カメラ１０４が撮影する画角が向いている方位角を検出できる構成としてある。即ち、端末装置１００のカメラ１０４が撮影する中心の光軸１１３の方位角ω及び仰角ζを、これらのセンサ１０１，１０３の出力から検出する。そして、カメラ１０４に取り付けられた撮影用レンズの画角から、等仰角線１１１及び等方位角線１１２を検出して、仮想撮影面１１０を得る。ここで、端末装置１００には、測位部１０２が備えられているので、現在位置が判るので、その現在位置での仮想撮影面１１０を特定することができる。

そして、仮想撮影面１１０を特定することで、ホストコンピュータ装置２００の三次元空間データベース２０３から送られたデータに基づいて、仮想撮影面１１０に存在する代表物のデータを端末装置１００内で得るとともに、時間の経過で変化する物についてのデータをホストコンピュータ装置２００から得るようにしてある。

図３は、端末装置１００が備えるカメラ１０４が撮影を行って、その撮影に関する情報を取得する処理例を示したフローチャートである。図３に従って説明すると、まず、端末装置１００のカメラ１０４で、案内画像付の撮影を行うモードをユーザ操作などで設定することで、図３のフローチャートに示す処理が開始される。このモードが設定されると、制御部１０６は、測位部１０２で現在位置の測位を行う（ステップＳ１１）。測位で現在位置情報が取得されると、その現在位置の情報を、ホストコンピュータ装置２００に送信する（ステップＳ１２）。ホストコンピュータ装置２００側で位置情報を受信すると（ステップＳ３１）、周辺の三次元空間情報から代表物の名称と、その方位角及び仰角のデータを、データベースから判断し（ステップＳ３２）、その判断した代表物の名称と方位角、仰角の情報を、端末装置１００に送信する（ステップＳ３３）。

端末装置１００でこの情報を受信すると（ステップＳ１３）、その受信した代表物の名称と方位角、仰角の情報をメモリ１０７に格納させる（ステップＳ１４）。その後、静止画などの撮影を行うユーザ操作があるまで待機し、該当する操作があることを検出すると（ステップＳ１５）、その撮影時のセンサ出力から、端末装置１００のカメラ１０４の位置、姿勢、方位角、画角を判断する（ステップＳ１６）。そして、ステップＳ１４で格納させた情報から、画角の方位角及び仰角の範囲内にある代表物の情報を抽出する（ステップＳ１７）。

その後、現状情報が更新する必要があるか否か判断し（ステップＳ１８）、更新する必要がある場合（例えば前回の同じ位置での撮影からある程度時間が経過している場合）、現状情報取得要求信号をホストコンピュータ装置２００に送信する（ステップＳ１９）。

この要求をホストコンピュータ装置２００で受信すると（ステップＳ３４）、現状情報の検索処理を行う（ステップＳ３５）。現状情報の取得処理としては、例えば、撮影された画像の画角内の被写体または画像の撮影場所について、計時変化する現在の情報を取得する処理であり、図１に示したリアルタイム情報検索システム４００を利用して検索される。具体的な例については、後述する撮影例で説明する。検索された現状情報は、端末装置１０に送信される。

端末装置１００では、現状情報を受信すると（ステップＳ２１）、計時変化のある現状情報を含んだ代表物を文字や図形などで案内する情報を、撮影画像に重畳させ、その情報が重畳された画像を表示部１０８に表示させる（ステップＳ２０）。また、その表示された画像のデータを、メモリ１０７に記憶させる。この記憶時には、案内情報については、文字などが重畳された画像を記憶させる場合と、案内情報をデータとして撮影画像に付属するデータとして記憶させる場合のいずれでもよい。付属するデータとして記憶させた際には、記憶させた画像データを読み出して表示や印刷を行う際に、案内情報を重畳して表示又は印刷させるかを選択できる。

ステップＳ２０の処理が終了すると、ステップＳ１５での次の撮影が行われるまで待機する。

図４は、このように撮影が行われる場合の、端末装置１００の現在位置を中心にして、画角などの情報から、撮影範囲が特定されるイメージ例を示したものである。天球４０１の中心が、端末装置１００を所持した撮影者４０２の現在位置であるとすると、方位角、仰角などの情報から、撮影範囲４０３が判る。そして本例の場合には、現在位置を中心とした天球４０１の各方位に存在する代表的な被写体の案内情報が、三次元的に得られている。さらに、時間で変化する現状情報についても得られている。

これらの情報を用いて、本例においては撮影画像を表示する際に、案内表示を行うようにしたものである。図５は、案内表示を行う画像の例である。この例では、画像中の代表となる被写体について、名称などと現状を表示させるようにしてある。具体的には、山について、その名称と標高を表示させてあり、また、山の高さの等高線を、画像中に入れてある。図５の例では、標高が５００ｍの位置に、ラインを入れるようにしてある。そして、現状情報として、山頂での最新の天気、気温、風速などを表示させるようにしてある。その最新の気象情報を観測した時間についても表示させてある。山の途中にある公園の名称と、現在の花の開花状況（桜５部咲きなど）についても表示させてある。

画像中に表示された岬については、名称と最新の天気、気温を表示させてある。画像に表示された湾については、名称と最新の天気、水温、満潮と干潮の時間、波の高さ、風の方向を表示させてある。さらに、この画像を撮影した位置の名称（都道府県名や市区町村名など）と、その位置での気象警報や注意報の発令情報についても表示させてある。撮影画角の方位についても表示させてある。

また、画像中に表示された天体についての情報についても表示させてある。即ち、月と金星が写っており、月については月齢を表示させてあり、金星については、金星であることの名称とともに、「最新ニュースあり」と表示させてある。この「最新ニュースあり」との表示は、金星に関するニュースがインターネットで得られるアドレスへのリンクが張られたデータであり、画像中の該当する個所を選択する操作があると、金星の最新ニュースが表示されるアドレスにアクセスされて、表示されるようになる。

また、画像中に、飛行機が写っている場合、その飛行機の便名及び出発地、到着地を表示させてある。天体や飛行物体については、雲などでそれらが画像から判別できない状態であっても、存在する位置に該当する表示を行ってもよい。

この図５に示すような詳細説明の表示が撮影画像に対して行われることで、様々な案内が行える。特に、現在の画像中の各位置の現在（最新）の天気や、飛行物体などの時間で変化する現状情報を取得して表示させることで、撮影時の状態が判り便利である。さらに、撮影された特定の被写体に関する情報を取得するためのリンクを張った表示を行うようにしたことで、それらの情報表示に移ることもできる。本例の端末装置１００は、携帯電話端末であるため、無線電話回線を介してインターネットなどにアクセスすることは容易に行え、端末装置１００に用意された手段を利用して、リンク先から情報を取得することが簡単に行える。

図５でのリンク情報の表示については一例を示したものであり、その他の各種表示情報についても、インターネットにアクセスできるリンクが張られた情報表示を行うようにしてもよい。

また、図５に示したその他の表示例についても、一例を示したものであり、このような表示に限定されるものではない。図５に示した案内情報は、ユーザ操作で消せるようにしてもよい。この場合、全ての情報を一括して消す場合の他に、ユーザが不要な情報を画面中から選択して、その選択した案内表示だけを消すようにしてもよい。

さらに、ここまで説明した例では、静止画の撮影画像について処理する例について説明したが、動画の撮影画像に対して同様の処理を行うようにしてもよい。

本発明の一実施の形態によるシステム構成例を示した構成図である。 本発明の一実施の形態による撮影画角の例を示した説明図である。 本発明の一実施の形態による表示処理例を示したフローチャートである。 本発明の一実施の形態による撮影範囲のイメージ例を示した説明図である。 本発明の一実施の形態による表示画像の例を示した説明図である。

符号の説明

１００…携帯電話端末装置、１０１…方位センサ、１０２…測位部、１０３…傾斜センサ、１０４…カメラ、１０５…視野角検出部、１０６…制御部、１０７…メモリ、１０８…表示部、１０９…通信部、１１０…操作部、２００…ホストコンピュータ装置、２０１…空間情報検索部、２０２…現状情報検索部、３００…ネットワーク網、４００…リアルタイム情報管理システム

Claims (4)

1. 静止画又は動画の撮影を行う撮影部と、
   前記撮影部で撮影された画像の内容を特定する画像内容特定部と、
   前記画像内容特定部で特定した画像に対して、時間の経過により変化する現状情報を付加して表示情報を作成する表示制御部と、
   前記表示制御部で作成された表示情報を表示させる表示部とを備えたことを特徴とする
   携帯端末装置。
2. 請求項１記載の携帯端末装置において、
   前記画像内容特定部は、画像の内容の特定として、画像に含まれる代表物を特定して、前記表示制御部が、その特定した代表物情報を付加することを特徴とする
   携帯端末装置。
3. 請求項１記載の携帯端末装置において、
   前記画像内容特定部での画像の内容の特定は、位置情報と、撮影する画角の方位角及び仰角に基づいて行うことを特徴とする
   携帯端末装置。
4. 請求項１記載の携帯端末装置において、
   前記表示制御部が付加する現状情報には、その現状情報に関連した情報を取得するためのリンク処理が行われていることを特徴とする
   携帯端末装置。

Images