JP2013065211A - 画像関連付け装置及び撮影装置並びに画像関連付けプログラム - Google Patents

Abstract

【課題】 ユーザに直感的に画像データと地図画像データとの関連性を掴めるような表示をすること。
【解決手段】 画像関連付け装置では、地図画像データと撮影画像データとを取り込み、地図画像データから文字情報を読み取り、この文字情報に対応する地名又は施設名をデータベースから検索して当該検索された地名又は施設名の第１の位置情報を取得し、この地名又は施設名の第１の位置情報と撮影画像データの第２の位置情報との対応が取れると、これら地図画像データと撮影画像データとを関連付けして表示する。
【選択図】図１

Description

本発明は、少なくとも２つの画像データを用いて位置情報を関連付けて表示する画像関連付け装置及び撮影装置並びに画像関連付けプログラムに関する。

デジタルカメラ等の撮像装置には、例えば撮像画像データに当該撮像画像データを撮影した地図上の位置情報を付加し、地図に撮像画像データを合成表示する技術がある。このような撮像装置は、例えば特許文献１に開示されている。

特開２０１０−６８２１２号公報

しかしながら、上記技術は、撮像画像データを撮影した位置情報を用いて当該撮像画像データを地図画像データ上に合成表示するだけで、ユーザに直感的に画像データと地図画像データとの関連性を掴めるような合成表示でなかった。
本発明の目的は、ユーザに直感的に画像データと地図画像データとの関連性を掴めるような表示ができる画像関連付け装置及び撮影装置並びに画像関連付けプログラムを提供することにある。

本発明の主要な局面に係る画像関連付け装置は、地名、施設名と、これら地名、施設名の各位置を示す第１の位置情報とを対応して記録するデータベースと、地図上の文字から成る文字情報を含む第１の画像データと、撮影位置を示す第２の位置情報を有する第２の画像データとを取り込む画像取込部と、前記画像取込部により取り込まれた前記第１の画像データから前記文字情報を読み取る文字読取部と、前記文字読取部により読み取られた前記文字情報に対応する前記地名又は前記施設名を前記データベースから検索し、当該検索された前記地名又は前記施設名の前記第１の位置情報を取得する位置情報取得部と、前記位置情報取得部により取得された前記第１の位置情報と前記画像取込部により取り込まれた前記第２の画像データの前記第２の位置情報との対応が取れると、前記第１の画像データと前記第２の画像データとを関連付けする画像関連付け部と、前記画像関連付け部により関連付けされた前記第１の画像データと前記第２の画像データとを表示する表示制御部とを具備する。
本発明の主要な局面に係る撮影装置は、上記画像関連付け装置を備え、被写体を撮影し、当該撮影位置を示す前記第２の位置情報を有する前記第２の画像データを取得する。

本発明の主要な局面に係る画像関連付けプログラムは、コンピュータに、地図上の文字から成る文字情報を含む第１の画像データと、撮影位置を示す第２の位置情報を有する第２の画像データとを取り込ませる画像取込機能と、画像取込機能により取り込ませた第１の画像データから文字情報を読み取りさせる文字読取機能と、文字読取機能により読み取らせた文字情報に対応する地名又は施設名をデータベースから検索させ、当該検索された地名又は施設名の第１の位置情報を取得させる位置情報取得機能と、位置情報取得機能により取得させた第１の位置情報と画像取込部により取り込みさせた第２の画像データの第２の位置情報との対応が取れると、第１の画像データと第２の画像データとを関連付けさせる画像関連付け機能と、画像関連付け機能により関連付けさせた第１の画像データと第２の画像データとを表示させる表示制御機能とを実現させる。

本発明によれば、ユーザに直感的に画像データと地図画像データとの関連性を掴めるような表示ができる画像関連付け装置及び撮影装置並びに画像関連付けプログラムを提供できる。

本発明に係る画像関連付け装置を備えた撮影装置の一の実施の形態を示すブロック構成図。 同装置により地図画像データを取得するときの撮影状況を示す図。 同装置により取得された地図画像データを示す模式図。 同装置により目的の被写体を撮影して撮影画像データを取得するときの撮影状況を示す図。 同装置により取得された撮影画像データを示す模式図。 同装置におけるデータベースを示す模式図。 同装置における画像関連付け部により関連付けがなされた地図画像データと撮影画像データとの表示例を示す図。 同装置における画像関連付け部により関連付けがなされた地図画像データと撮影画像データとの他の表示例を示す図。 同装置における画像関連付け部による地図画像データと撮影画像データとの関連付けの説明図。 同装置における画像記録部により記録される地図画像ファイルを示す模式図。 同装置における画像記録部により記録される撮影画像ファイルを示す模式図。 同装置によりガイドブックに記載されている地図を撮影して地図画像データを取得するときの撮影状況を示す図。 同装置の地図回想モードにおける画像関連付け部により関連付けがなされた地図画像データと撮影画像データとの表示例を示す図。 同装置におけるカメラ制御フローチャート。 同装置における再生モードフローチャート。 同装置における地図回想モードフローチャート。 同装置におけるディスプレイへの地図画像データや撮影画像データの表示の変形例を示す図。

以下、本発明の第１の実施の形態について図面を参照して説明する。
図１は画像関連付け装置を備えた撮影装置のブロック構成図を示す。この撮影装置１は、コンピュータから成る信号処理制御部２と、撮影部３と、位置検出器４と、記録部５と、ディスプレイ６と、操作判定部７と、プログラムメモリ８とを備える。
撮影部３は、図２に示すように文字から成る文字情報が記載された地図Ｍを被写体として撮影して第１の画像データである例えば図３に示す地図画像データＤ１を取得する。又、撮影部３は、図４に示すように人物Ｈ等の主要被写体を含む撮影を行って第２の画像データである例えば図５に示す撮影画像データＤ２を取得する。

地図画像データＤ１は、例えばユーザＹが本装置１により看板に掲示されている地図Ｍを撮影することにより取得される。この地図Ｍには、例えば△□寺、○×駅等の文字から成る文字情報が記載されている。
撮影画像データＤ２は、例えばユーザＹが本装置１により人物Ｈ等の主要被写体を含む被写体を撮影することにより取得される。

位置検出器４は、撮影装置１が存在する地点の位置を検出するもので、例えば広域測位システム（ＧＰＳ）である。この位置検出器４は、撮影装置１が存在する地点の位置を経度緯度により検出する。
記録部５は、例えばＲＡＭ等のメモリにより成り、例えば１つ又は複数の地図画像データＤ１及び１つ又は複数の撮影画像データＤ２を記録する。この記録部５には、地名等の位置を記憶するデータベース５ｄが形成されている。図６はデータベース５ｄの模式図を示す。このデータベース５ｄには、地名、施設名等と、これら地名、施設名等の各位置を示す第１の位置情報とが対応して記録されている。地名は例えば○○公園、○□史跡等であり、施設名は例えば△□寺、○×駅等である。これら地名、施設名等の各位置は、それぞれ緯度経度により表されている。例えば△□寺の位置は、緯度ＸＸＸ１、経度ＸＸＸ２である。

ディスプレイ６は、例えば液晶ディスプレイであり、本装置１の背面に設けられ、地図画像データＤ１又は複数の撮影画像データＤ２のいずれか一方又は両方を表示する。このディスプレイ６の表示面上には、タッチパネルが設けられている。このタッチパネルは、例えばユーザの指等によって押し操作された領域を示すタッチ位置信号を出力する。
操作判定部７は、本装置１に対するユーザＹの操作を受け付け、当該操作の内容が例えば撮影モード、再生モードであるのか、又はシャッターがオンされて撮影動作であるのか否かを判定する。又、操作判定部７は、本装置１に対するユーザＹの操作を受け付け、地図画像データＤ１と撮影画像データＤ２とを関連付けてディスプレイ６に表示する又は表示しないを判定する。

プログラムメモリ８には、予め画像関連付けプログラムが記憶されている。この画像関連付けプログラムは、コンピュータから成る信号処理制御部２に、地図上の文字から成る文字情報を含む地図画像データＤ１と、撮影位置を示す第２の位置情報を有する撮影画像データＤ２とを取り込ませる画像取込機能と、画像取込機能により取り込ませた地図画像データＤ１から文字情報を読み取りさせる文字読取機能と、文字読取機能により読み取らせた文字情報に対応する地名又は施設名をデータベース５ｄから検索させ、当該検索された地名又は施設名の第１の位置情報を取得させる位置情報取得機能と、位置情報取得機能により取得させた第１の位置情報と画像取込部により取り込みさせた撮影画像データＤ２の第２の位置情報との対応が取れると、地図画像データＤ１と撮影画像データＤ２とを関連付けさせる画像関連付け機能と、画像関連付け機能により関連付けさせた地図画像データＤ１と撮影画像データＤ２とを表示させる表示制御機能とを実現させる。
画像関連付け機能は、地図画像データＤ１中の地図上に、撮影画像データＤ２の撮影位置を示しさせることを実現させる。

信号処理制御部２は、１つ又は複数の地図画像データＤ１と、１つ又は複数の撮影画像データＤ２とを取り込み、地図画像データＤ１上の緯度経度と撮影画像データＤ２が撮像された位置を表す緯度経度との対応、すなわち地図画像データＤ１に撮影されている地図Ｍ上における緯度経度の中に撮影画像データＤ２が撮像された位置を表す緯度経度が存在すれば、地図画像データＤ１と撮影画像データＤ２とを関連付けてディスプレイ６に表示する。具体的に信号処理制御部２は、コンピュータにより成り、画像取込部１０と、文字読取部１１と、位置情報取得部１２と、画像関連付け部１３と、表示制御部１４と、画像記録部１５と、報知部１６と、位置判定部１７と、再生画像検索部１８との各機能を有する。

画像取込部１０は、撮影部３により取得された地図画像データＤ１と撮影画像データＤ２とを、当該撮影部３から取り込む。この画像取込部１０は、撮影部３から地図画像データＤ１と撮影画像データＤ２とを取り込むに限らず、外部の撮影装置や画像処理装置等から地図画像データＤ１と撮影画像データＤ２とを取り込んでもよい。

文字読取部１１は、画像取込部１０により取り込まれた地図画像データＤ１から文字情報、すなわち地図Ｍ上に記載されている例えば△□寺、○×駅等の文字情報を読み取る。
位置情報取得部１２は、文字読取部１１により読み取られた例えば△□寺、○×駅等の文字情報に対応する地名又は施設名をデータベース５ｄから検索し、当該検索された地名又は施設名の第１の位置情報である緯度経度、例えば△□寺であれば、当該△□寺の位置を表す緯度ＸＸＸ１、経度ＸＸＸ２を取得する。

画像関連付け部１３は、位置情報取得部１２により取得された第１の位置情報、例えば△□寺の位置を表す緯度ＸＸＸ１、経度ＸＸＸ２と、画像取込部１０により取り込まれた撮影画像データＤ２が撮像された位置を表す緯度経度との対応、すなわち地図画像データＤ１に撮影されている地図Ｍ上における緯度経度の中に撮影画像データＤ２が撮像された位置を表す緯度経度が存在すれば、地図画像データＤ１と撮影画像データＤ２とを関連付ける。この関連付けは、地図画像データＤ１中に撮影画像データＤ２が撮像された位置を示す。

表示制御部１４は、画像関連付け部１３により関連付けされた地図画像データＤ１と撮影画像データＤ２、すなわち地図画像データＤ１中に撮影画像データＤ２が撮像された位置を示す関連付けがなされた地図画像データＤ１と撮影画像データＤ２とをディスプレイ６に表示する。
図７はディスプレイ６に表示された地図画像データＤ１と撮影画像データＤ２との関連付けの表示例を示す。撮影画像データＤ２は、地図画像データＤ１上の位置ＰにおけるユーザＹの撮影により取得されたことを矢印Ｆの先端により指示している。
図８は地図画像データＤ１と撮影画像データＤ２との関連付けの他の表示例を示す。なお、同図に示す地図画像データＤ１は、上記図７に示す地図画像データＤ１とは撮影した地図Ｍが相違する。同図に示す関連付けは、地図画像データＤ１上における撮影画像データＤ２が撮像された位置Ｐ上に当該撮影画像データＤ２を重ね合わせている。なお、撮影画像データＤ２は、例えば当該画像データＤ２の中心位置と地図画像データＤ１上における撮像された位置Ｐとを一致させている。

図９は地図画像データＤ１と撮影画像データＤ２との関連付けを説明するための図を示す。同図は縮尺がほぼ正確なものとし、緯度経度（Ｉ，Ｋ）の各値がそれぞれ大きくなる方向がｘｙ座標の各方向に一致する。又、地図画像データＤ１と撮影画像データＤ２とは、それぞれ地球上の東経・北緯で表される地域での撮影により取得された一例を示す。又、同図の画像上では地名／施設名である□×駅が緯度最小値、経度最小値相当とし、○×駅が緯度最大値、経度最大値相当とし、これら□×駅と○×駅との中間的な緯度、経度を有する画像の一例である。

又、同図は上記図８に示す地図画像データＤ１と撮影画像データＤ２との関連付けである。ディスプレイ６の画面上において、同画面の左下を座標（ｘ，ｙ）＝（０，０）とし、右上を座標（ｘ，ｙ）＝（ｘ１０，ｙ１０）とする。又、同ディスプレイ６の画面上を地図Ｍの緯度経度（Ｉ，Ｋ）により表すと、同画面の左下が緯度経度（Ｉ，Ｋ）＝（Ｉ１，Ｋ１）となり、右上が緯度経度（Ｉ，Ｋ）＝（Ｉ２，Ｋ２）となる。
同ディスプレイ６の画面上で、同画面の左下と右上との緯度差は（Ｉ２−Ｉ１）となり、経度差は（Ｋ２−Ｋ１）となる。
ディスプレイ６の画面上において撮影画像データＤ２を表示する位置Ｐの座標（ｘ３，ｙ３）は、同位置Ｐの緯度経度（Ｉ３，Ｋ３）を用いて次式（１）（２）により求められる。
ｘ３＝ｘ１０・（Ｋ３−Ｋ１）／（Ｋ２−Ｋ１） …（１）
ｙ３＝ｙ１０・（Ｉ３−Ｉ１）／（Ｉ２−Ｉ１） …（２）
画像記録部１５は、画像取込部１０により取り込まれた地図画像データＤ１と撮影画像データＤ２とをそれぞれファイル化して記録部５に記録する。この画像記録部１５は、地図画像データＤ１に当該地図画像データＤ１上の緯度経度の情報を加えてファイル化し、撮影画像データＤ２に当該撮影画像データＤ２が撮像された位置を表す緯度経度の情報を加えてファイル化する。

図１０は地図画像データＤ１をファイル化した地図画像ファイルＭＦの一例の模式図を示す。この地図画像ファイルＭＦは、１枚の地図画像データＤ１に対して１つ作成される。この地図画像ファイルＭＦは、例えば、地図画像データＤ１と、この地図画像データＤ１の撮影日時と、地図画像フラグと、地図画像データＤ１の四隅（例えば図３上の右上、左上、右下、左下）に対応する地図Ｍ上の各緯度経度とから成る。なお、右上の緯度経度Ａ１は（ＸＸＸ１１，ＸＸＸ１２）、左上Ａ２の緯度経度は（ＸＸＸ１３，ＸＸＸ１４）、右下Ａ３の緯度経度は（ＸＸＸ１５，ＸＸＸ１６）、左下Ａ４の緯度経度は（ＸＸＸ１７，ＸＸＸ１８）である。

図１１は撮影画像データＤ２をファイル化した撮影画像ファイルＴＦの一例の模式図を示す。この撮影画像ファイルＴＦは、１枚の撮影画像データＤ２に対して１つ作成される。この撮影画像ファイルＴＦは、例えば、撮影画像データＤ２と、この撮影画像データＤ２の撮影日時と、地図画像フラグと、撮影画像データＤ２を撮像した位置を表す緯度経度の情報とから成る。

報知部１６は、画像関連付け部１３によって地図画像データＤ１上の緯度経度と撮影画像データＤ２が撮像された位置を表す緯度経度との対応、すなわち地図画像データＤ１に撮影されている地図Ｍ上における緯度経度、ここでは地図画像データＤ１の中に撮影画像データＤ２が撮像された位置を表す緯度経度が存在しなければ、地図画像データＤ１と撮影画像データＤ２との関連付けができない旨を報知、例えばディスプレイ６の画面上に警告を表示したり、スピーカ等によって音声により警告を発する。なお、地図画像データＤ１は、四隅に対応する地図Ｍ上の各緯度経度の情報を持っているので、画像関連付け部１３は、地図画像データＤ１の四隅の各緯度経度の情報と撮影画像データＤ２の撮影位置の緯度経度の情報とを対比すれば、地図画像データＤ１の地図Ｍ内に撮影画像データＤ２の撮影位置が存在しているか否かを判定することができる。

次に、地図画像データＤ１の再生モード時に有する構成について説明する。
再生モードにおいて、位置判定部１７は、撮影画像データＤ２に有する第２の位置情報、すなわち撮影画像ファイルＴＦから撮影画像データＤ２を撮像した位置を表す緯度経度の情報を読み出し、当該撮影画像データＤ２を撮影により取得した撮影位置を判定する。
再生画像検索部１８は、図６に示すデータベース５ｄに記録されている地名、施設名と、これら地名、施設名等の各位置（緯度経度の情報）とに基づき、位置判定部１７により判定された撮影位置の緯度経度を含む地図画像データＤ１を記録部５に記録されている複数の地図画像データＤ１から検索する。
表示制御部１４は、再生画像検索部１８により検索された地図画像データＤ１と撮影画像データＤ２とをディスプレイ６の画面上に並べて再生表示する。

一方、撮影部３は、図１２に示すように地図Ｍ上の文字から成る文字情報を含む地図画像データＤ１、例えば各地域の旅行先等のガイドブックＢ等に記載されている地図Ｍを撮影して第１の画像データである地図画像データＤ１を取得する。
本装置１は、再生モードにおいて、ガイドブックＢ等の地図画像データＤ１の経度緯度の情報に基づいて、既に記録部５に記録されている複数の撮影画像データＤ２からガイドブックＢ等の地図画像データＤ１の経度緯度を含む近辺の緯度経度の少なくとも１枚の撮影画像データＤ２を記録部５から検索し、当該撮影画像データＤ２と地図画像データＤ１とをディスプレイ６に再生表示する。なお、本再生モードは、ガイドブックＢ等の地図画像データＤ１に基づいて既に記録部５に記録されている撮影画像データＤ２を読み出して再生表示するので、以下、地図回想モードと称する。

すなわち、画像取込部１０は、撮影部３により取得されたガイドブックＢ等の地図画像データＤ１を当該撮影部３から取り込む。この地図画像データＤ１は、例えば図１０に示す地図画像ファイルＭＦと同様にファイル化されて記録部５に記録される。
地図回想モードにおいて、文字読取部１１は、画像取込部１０により取り込まれたガイドブック等の地図Ｍを撮影して取得した地図画像データＤ１から例えば上記の通り○○寺等の文字から成る文字情報を読み取る。
位置情報取得部１２は、文字読取部１１により読み取られた地図画像データＤ１中の文字情報に対応する地名又は施設名をデータベース５ｄから検索し、当該検索された地名又は施設名の緯度経度を取得する。

画像関連付け部１３は、位置情報取得部１２により取得された地図画像データＤ１中の地名又は施設名の緯度経度と、記録部５に既に記録されている少なくとも１枚の撮影画像データＤ２の緯度経度との対応が取れると、これら地図画像データＤ１と撮影画像データＤ２とを関連付けする。
表示制御部１４は、画像関連付け部１３により関連付けされた地図画像データＤ１と撮影画像データＤ２とを例えば図１３に示すようにディスプレイ６の画面上に表示する。同図はディスプレイ６の画面上に地図画像データＤ１と、２枚の撮影画像データＤ２ａ、Ｄ２ｂとを再生表示し、これら地図画像データＤ１と２枚の撮影画像データＤ２ａ、Ｄ２ｂとをそれぞれ各矢印Ｆ１、Ｆ２によって関連付けしている。矢印Ｆ１、Ｆ２の各先端は、それぞれ各撮影画像データＤ２ａ、Ｄ２ｂを取得した各撮影位置を示す。

次に、上記の如く構成された装置の動作について図１４に示すカメラ制御フローチャートに従って説明する。
操作判定部７は、本装置１に対するユーザＹの操作を受け付け、当該操作の内容が例えば撮影モード、再生モードであるのか、又はシャッターがオンされて撮影動作であるのか否かを判定する。
撮影部３は、図２に示すように文字から成る文字情報が記載された地図Ｍを被写体として撮影して第１の画像データである例えば図３に示す地図画像データＤ１を取得する。又は撮影部３は、図４に示すように人物Ｈ等の主要被写体を含む撮影を行って第２の画像データである例えば図５に示す撮影画像データＤ２を取得する。

この状態に、信号処理制御部２は、ステップＳ１０１において、操作判定部７の判定結果が撮影モードであるか否かを判定する。この判定の結果、撮影モードであれば、信号処理制御部２は、ステップＳ１０２において、撮影動作を開始し、撮影部３により取得された撮影画像データを画像取込部１０によって取り込み、この撮影画像データを画像処理し、ステップＳ１０３において、スルー画像としてディスプレイ６に表示する。

信号処理制御部２は、ステップＳ１０４において、ディスプレイ６に表示しているスルー画像が例えば図２に示すような地図Ｍであるか否かを判定する。この地図Ｍの撮影であるか否かは、例えば操作判定部７に地図撮影モードのボタン等を設け、このボタンが押し操作されたときに地図Ｍを撮影していると判定する。

この判定の結果、地図Ｍの撮影でなければ、信号処理制御部２は、ステップＳ１０５において、例えばレリーズボタンが押し操作されて撮影であるか否かを判定する。レリーズボタンが押し操作されると、信号処理制御部２は、ステップＳ１０６において、被写体の撮影動作を行う。例えば、撮影部３は、図４に示すように人物Ｈ等の主要被写体を含む撮影を行って例えば図５に示す撮影画像データＤ２を取得する。
この撮影時、位置検出器４は、例えば広域測位システム（ＧＰＳ）によって撮影装置１が存在する地点の位置を経度緯度により検出する。

信号処理制御部２は、ステップＳ１０７において、再び、撮影した画像が図２に示すような地図Ｍであるか否かを判定する。ここでは、図４に示すように人物Ｈ等の主要被写体を含む通常の撮影を行ったので、信号処理制御部２は、ステップＳ１０８において、例えば図５に示す撮影画像データＤ２と、位置検出器４により検出された撮影装置１が存在する地点の経度緯度の情報すなわち撮影画像データＤ２を撮影により取得した位置の経度緯度の情報とを用いて例えば図１１に示すような撮影画像ファイルＴＦを作成する。この撮影画像ファイルＴＦは、信号処理制御部２により記録部５に記録される。

一方、上記ステップＳ１０４での判定の結果、ディスプレイ６に表示しているスルー画像が例えば図２に示すような地図Ｍであれば、信号処理制御部２は、ステップＳ１１１において、地図Ｍをスルー画像としてディスプレイ６に表示する。これと共に、信号処理制御部２の文字読取部１１は、画像取込部１０により取り込まれた地図画像データＤ１から文字情報、すなわち地図Ｍ上に記載されている例えば△□寺、○×駅等の文字情報を読み取る。

位置情報取得部１２は、ステップＳ１１２において、文字読取部１１により読み取られた例えば△□寺、○×駅等の文字情報に対応する地名又は施設名をデータベース５ｄから検索する。
位置情報取得部１２は、ステップＳ１１３において、当該検索された地名又は施設名の第１の位置情報である緯度経度、例えば△□寺であれば、当該△□寺の位置を表す緯度ＸＸＸ１、経度ＸＸＸ２を取得する。

画像関連付け部１３は、ステップＳ１１４において、位置情報取得部１２により取得された第１の位置情報、例えば△□寺の位置を表す緯度ＸＸＸ１、経度ＸＸＸ２と、画像取込部１０により取り込まれた撮影画像データＤ２が撮像された位置を表す緯度経度との対応、すなわち地図画像データＤ１に撮影されている地図Ｍ上における緯度経度の中に撮影画像データＤ２が撮像された位置を表す緯度経度が存在すれば、地図画像データＤ１と撮影画像データＤ２とを関連付ける。

報知部１６は、ステップＳ１１５において、画像関連付け部１３によって地図画像データＤ１上の緯度経度と撮影画像データＤ２が撮像された位置を表す緯度経度との対応、すなわち地図画像データＤ１に撮影されている地図Ｍ上における緯度経度、ここでは地図画像データＤ１の中に撮影画像データＤ２が撮像された位置を表す緯度経度が存在しているか否かを判定する。
この判定の結果、地図画像データＤ１の中に撮影画像データＤ２が撮像された位置を表す緯度経度が存在していれば、信号処理制御部２は、ステップＳ１０５に移る。一方、地図画像データＤ１の中に撮影画像データＤ２が撮像された位置を表す緯度経度が存在していなければ、報知部１６は、ステップＳ１１６において、地図画像データＤ１と撮影画像データＤ２との関連付けができない旨を報知、例えばディスプレイ６の画面上に警告を表示したり、スピーカ等によって音声により警告を発する。

表示制御部１４は、画像関連付け部１３により関連付けされた地図画像データＤ１と撮影画像データＤ２、すなわち地図画像データＤ１中に撮影画像データＤ２が撮像された位置を示す関連付けがなされた地図画像データＤ１と撮影画像データＤ２とをディスプレイ６に表示する。
例えば、図７に示す地図画像データＤ１と撮影画像データＤ２との関連付けの表示例のように撮影画像データＤ２は、地図画像データＤ１上の位置ＰにおけるユーザＹの撮影により取得されたことを矢印Ｆの先端により指示している。
又、図８に示すように地図画像データＤ１上における撮影画像データＤ２が撮像された位置Ｐ上に当該撮影画像データＤ２を重ね合わせている。

信号処理制御部２は、ステップＳ１０５に移り、例えばレリーズボタンが押し操作されて撮影であるか否かを判定し、レリーズボタンが押し操作されると、ステップＳ１０６において、図２に示す地図Ｍの撮影動作を行う。この撮影動作により撮影部３は、図３に示すような地図画像データＤ１を取得する。この撮影時、位置検出器４は、例えば広域測位システム（ＧＰＳ）によって撮影装置１が存在する地点の位置を経度緯度により検出する。

信号処理制御部２は、ステップＳ１０７において、再び、撮影した画像が図２に示すような地図Ｍであるか否かを判定する。ここでは、地図Ｍを撮影したので、画像記録部１５は、ステップＳ１０９において、画像取込部１０により取り込まれた地図画像データＤ１をファイル化して記録部５に記録する。この画像記録部１５は、例えば図１０に示すように地図画像データＤ１に、位置検出器４により検出された当該地図画像データＤ１上の緯度経度の情報を加えた地図画像ファイルＭＦを作成する。この地図画像ファイルＭＦは、画像記録部１５によって記録部５に記録される。
次に、再生モードにおける装置の動作について図１５に示す再生モードフローチャートに従って説明する。
信号処理制御部２は、上記ステップＳ１０１での判定の結果、撮影モードでなければ、ステップＳ１２１において、例えば記録部５に記録されている複数の撮影画像データＤ２を読み出し、これら撮影画像データＤ２を表示制御部１４を通してディスプレイ６に一覧表示する。例えば、表示制御部１４は、複数の撮影画像データＤ２のうち予め設定された枚数の撮影画像データＤ２をディスプレイ６にサムネイル表示する。

信号処理制御部２は、ステップＳ１２２において、ディスプレイ６に一覧表示されている複数の撮影画像データＤ２のうち例えばいずれか１枚の撮影画像データＤ２が選択されて拡大再生する指示を受けたか否かを判定する。具体的に信号処理制御部２は、ディスプレイ６の表示面に表示されている複数の撮影画像データＤ２のうち拡大再生するための１枚の撮影画像データＤ２を選択するために、当該撮影画像データＤ２の表示領域の位置に対応するタッチパネルの領域が例えばユーザの指等によってタッチされたか否かを判定する。
タッチパネルの領域が例えばユーザの指等によってタッチされると、当該タッチの領域に対応するタッチ位置信号がタッチパネルから出力されるので、信号処理制御部２は、ステップＳ１２３において、当該タッチパネルから出力されたタッチ位置信号を入力することにより、選択された１枚の撮影画像データＤ２を判定し、当該撮影画像データＤ２をディスプレイ６の表示面に拡大表示する。

信号処理制御部２は、ステップＳ１２４において、撮影画像データＤ２の表示に地図画像データＤ１を連動してディスプレイ６の表示面に表示するか否かを判定する。すなわち、信号処理制御部２の操作判定部７は、本装置１に対するユーザＹの操作を受け付け、地図画像データＤ１と撮影画像データＤ２とを関連付けてディスプレイ６に表示する又は表示しないを判定する。

この判定の結果、地図画像データＤ１と撮影画像データＤ２とを関連付けてディスプレイ６に表示するのであれば、位置判定部１７は、ステップＳ１２５において、図１１に示すように撮影画像データＤ２をファイル化した撮影画像ファイルＴＦから撮影画像データＤ２を撮像した位置を表す緯度Ｉ、経度Ｋの情報を読み取る。
再生画像検索部１８は、ステップＳ１２６において、図６に示すデータベース５ｄに記録されている地名、施設名と、これら地名、施設名等の各位置（緯度経度の情報）とに基づき、位置判定部１７により判定された撮影位置の緯度経度を含む地図画像データＤ１を記録部５に記録されている複数の地図画像データＤ１から検索する。
この検索の結果、信号処理制御部２は、ステップＳ１２７において、記録部５に記憶されている複数の地図画像データＤ１中に、撮影画像データＤ２の撮像した位置を表す緯度Ｉ、経度Ｋの情報から当該緯度Ｉ、経度Ｋを含む地図画像データＤ１があるか否かを判定する。
この判定の結果、当該緯度Ｉ、経度Ｋを含む地図画像データＤ１があれば、表示制御部１４は、ステップＳ１２８において、当該緯度Ｉ、経度Ｋを含む地図画像データＤ１を記録部５から読み出し、この地図画像データＤ１と撮影画像データＤ２とを並列に配置して図１に示すディスプレイ６の表示面に表示する。なお、表示制御部１４は、地図画像データＤ１と撮影画像データＤ２とを例えば図７に示すように関連付けてディスプレイ６の表示面に表示してもよい。
この後、信号処理制御部２は、ステップＳ１２９において、地図画像データＤ１と撮影画像データＤ２との並列表示、又は地図画像データＤ１と撮影画像データＤ２との関連付けての表示を終了するか否かを判定する。例えば操作判定部７に対してユーザにより終了の操作がなされると、信号処理制御部２は、地図画像データＤ１と撮影画像データＤ２との並列表示、又は地図画像データＤ１と撮影画像データＤ２との関連付けての表示を終了する。
又、上記ステップＳ１２７での判定の結果、緯度Ｉ、経度Ｋを含む地図画像データＤ１が無ければ、図１に示す報知部１６は、ステップＳ１３０において、地図画像データＤ１と撮影画像データＤ２との関連付けができない旨を報知、例えばディスプレイ６の画面上に警告を表示したり、スピーカ等によって音声により警告を発する。

なお、上記ステップＳ１２２での判定の結果、拡大再生する撮影画像データＤ２が選択されず、当該撮影画像データＤ２の拡大再生を行わない指示が操作判定部７に入ると、信号処理制御部２は、ステップＳ１２２において、例えば操作判定部７に対する操作を受けて直前の処理に戻るか否かの判定を行う。直前の処理に戻るのであれば、信号処理制御部２は、上記ステップＳ１０１に戻り、直前の処理に戻るのでなければ上記ステップＳ１２１に移る。

次に、地図回想モードにおける装置の動作について図１６に示す地図回想モードフローチャートに従って説明する。なお、図１５に示す再生モードフローチャートのステップと同一ステップＳ１２１〜Ｓ１３１についてはその説明を省略する。
この地図回想モードでは、複数の撮影画像データＤ２が予め記録部５に記録されている。
上記ステップＳ１２２での判定の結果、拡大再生する撮影画像データＤ２が選択されず、当該撮影画像データＤ２の拡大再生を行わない指示が操作判定部７に入ると、信号処理制御部２は、ステップＳ１４１に移り、地図回想モードであるか否かを判定する。

ユーザが例えば操作判定部７に対して地図回想モードの設定を行うと、信号処理制御部２は、ステップＳ１４２において、地図画像データＤ１の取得を行う。すなわち、撮影部３は、図１２に示すように地図Ｍ上の文字から成る文字情報を含む地図画像データＤ１、例えば各地域の旅行先等のガイドブックＢ等に記載されている地図Ｍを撮影して地図画像データＤ１を取得する。

画像取込部１０は、撮影部３により取得された地図画像データＤ１を当該撮影部３から取り込む。この地図画像データＤ１は、例えば図１０に示す地図画像ファイルＭＦと同様にファイル化されて記録部５に記録される。この地図画像ファイルＭＦは、例えば、地図画像データＤ１と、この地図画像データＤ１の撮影日時と、地図画像フラグと、地図画像データＤ１の四隅（例えば図３上の右上、左上、右下、左下）に対応する地図Ｍ上の各緯度経度とから成る。
文字読取部１１は、同ステップＳ１４２において、画像取込部１０により取り込まれたガイドブック等の地図Ｍの地図画像データＤ１から例えば□×駅等の文字から成る文字情報を読み取る。

位置情報取得部１２は、ステップＳ１４３において、文字読取部１１により読み取られた地図画像データＤ１中の例えば□×駅等の地名又は施設名等の文字情報に対応する地名又は施設名をデータベース５ｄから検索し、ステップＳ１４４において、当該検索された地名又は施設名の緯度経度を取得する。

画像関連付け部１３は、記録部５に既に記録されている複数の撮影画像データＤ２をサーチし、位置情報取得部１２により取得された地図画像データＤ１中の地名又は施設名の緯度経度と、記録部５に既に記録されている少なくとも１枚の撮影画像データＤ２の緯度経度との対応が取れるか否かを判定する。この判定の結果、地図画像データＤ１中の地名又は施設名の緯度経度と、記録部５に既に記録されている少なくとも１枚の撮影画像データＤ２の緯度経度との対応が取れると、画像関連付け部１３は、ステップＳ１４５において、当該地図画像データＤ１と撮影画像データＤ２とを関連付けする。

表示制御部１４は、画像関連付け部１３により関連付け、例えば、図７に示すように地図画像データＤ１上の位置Ｐにおいて撮影画像データＤ２のユーザＹによる撮影位置を矢印Ｆの先端により指示して関連付けがなされた地図画像データＤ１と撮影画像データＤ２とをディスプレイ６に表示する。又、表示制御部１４は、図８に示すように地図画像データＤ１上における撮影画像データＤ２が撮像された位置Ｐ上に当該撮影画像データＤ２を重ね合わせている。又、表示制御部１４は、図１３に示すように地図画像データＤ１と、２枚の撮影画像データＤ２ａ、Ｄ２ｂとをディスプレイ６の画面上に再生表示し、２枚の撮影画像データＤ２ａ、Ｄ２ｂの各撮影位置を各矢印Ｆ１、Ｆ２によって関連付けしている。

このように上記一実施の形態によれば、地図画像データＤ１と撮影画像データＤ２とを取り込み、地図画像データＤ１から文字情報を読み取り、この文字情報に対応する地名又は施設名をデータベース５ｄから検索して当該検索された地名又は施設名の第１の位置情報を取得し、この地名又は施設名の第１の位置情報と撮影画像データＤ２の第２の位置情報との対応が取れると、これら地図画像データＤ１と撮影画像データＤ２とを関連付け、例えば地図画像データＤ１中の地図上に撮影画像データＤ２の撮影位置を示す関連付けを行って表示するので、ディスプレイ６の画面上に表示された地図画像データＤ１と撮影画像データＤ２とをユーザが見れば、当該地図画像データＤ１と撮影画像データＤ２との関連性、例えば地図画像データＤ１により表示される地図Ｍ中のどこの位置で撮影された撮影画像データＤ２であるのかを直感的に掴むことができる。例えば、旅行先で看板等の地図Ｍを撮影して地図画像データＤ１を取得し、旅行先で被写体を撮影して複数の撮影画像データＤ２を取得すれば、地図画像データＤ１の緯度経度と複数の撮影画像データＤ２の各緯度経度とに基づいて複数の撮影画像データＤ２を地図画像データＤ１に関連付けることが出来る。

再生モードにおいては、地図画像データＤ１との関連性を付けた複数の撮影画像データＤ２をディスプレイ６の画面上に再生表示できる。
又、地図回想モードでは、例えば各地域の旅行先等のガイドブックＢ等に記載されている地図Ｍを撮影して地図画像データＤ１を取得することにより、この地図画像データＤ１の緯度経度周辺で既に撮影されて取得されている複数の撮影画像データＤ２を記録部５から検索して、これら複数の撮影画像データＤ２と地図画像データＤ１とを関連付けてディスプレイ６の画面上に再生表示できる。

なお、上記一実施の形態は、次のように変形してもよい。
撮像装置１のディスプレイ６の表示面は、複数の表示エリア、例えば図１７に示すように４つの表示エリアＥ１〜Ｅ４に区分し、表示エリアＥ１に通常の撮影モードで撮影された撮影画像データを表示し、表示エリアＥ２に通常の再生モードで撮影画像データＤ２等を再生表示し、表示エリアＥ３に地図画像データＤ１を表示し、表示エリアＥ４に地図回想モードでの撮影画像データＤ２を表示するようにしてもよい。
又、上記一実施の形態は、画像関連付け装置を備えた撮影装置１としているが、画像関連付け装置を単独にしてもよい。

又、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１：撮影装置、２：信号処理制御部、３：撮影部、４：位置検出器、５：記録部、６：ディスプレイ、７：操作判定部、Ｙ：ユーザ、Ｍ：地図、Ｈ：人物、５ｄ：データベース、１０：画像取込部、１１：文字読取部、１２：位置情報取得部、１３：画像関連付け部、１４：表示制御部、１５：画像記録部、１６：報知部、１７：位置判定部、１８：再生画像検索部、Ｄ１：地図画像データ、Ｄ２：撮影画像データ。

Claims (16)

1. 地名、施設名と、これら地名、施設名の各位置を示す第１の位置情報とを対応して記録するデータベースと、
   地図上の文字から成る文字情報を含む第１の画像データと、撮影位置を示す第２の位置情報を有する第２の画像データとを取り込む画像取込部と、
   前記画像取込部により取り込まれた前記第１の画像データから前記文字情報を読み取る文字読取部と、
   前記文字読取部により読み取られた前記文字情報に対応する前記地名又は前記施設名を前記データベースから検索し、当該検索された前記地名又は前記施設名の前記第１の位置情報を取得する位置情報取得部と、
   前記位置情報取得部により取得された前記第１の位置情報と前記画像取込部により取り込まれた前記第２の画像データの前記第２の位置情報との対応が取れると、前記第１の画像データと前記第２の画像データとを関連付けする画像関連付け部と、
   前記画像関連付け部により関連付けされた前記第１の画像データと前記第２の画像データとを表示する表示制御部と、
   を具備することを特徴とする画像関連付け装置。
2. 前記画像関連付け部は、前記第１の画像データ中の前記地図上に、前記第２の画像データの前記撮影位置を示すことを特徴とする請求項１記載の画像関連付け装置。
3. 前記画像関連付け部は、前記第１の画像データ中の前記地図上に、複数の前記第２の画像データの前記撮影位置を示すことを特徴とする請求項２記載の画像関連付け装置。
4. 前記表示制御部は、前記画像関連付け部により前記第１の画像データ中に地図上に前記第２の画像データの前記撮影位置を示す関連付けの行われた前記第１の画像データと少なくとも１つの前記第２の画像データとを表示することを特徴とする請求項３記載の画像関連付け装置。
5. 前記第１及び第２の画像データは、それぞれ撮影により取得されたことを特徴とする請求項１乃至４のうちいずれか１項記載の画像関連付け装置。
6. 前記第１の画像データは、地図を撮影して取得されたことを特徴とする請求項５記載の画像関連付け装置。
7. 前記第２の画像データは、被写体を撮影して取得されたことを特徴とする請求項５記載の画像関連付け装置。
8. 前記第１の位置情報と前記第２の位置情報とは、それぞれ緯度経度により表すことを特徴とする請求項１乃至７のうちいずれか１項記載の画像関連付け装置。
9. 前記撮影位置を検出して前記第２の位置情報を取得する位置検出部を備えたことを特徴とする請求項乃至８のうちいずれか１項記載の画像関連付け装置。
10. 再生モードに設定されると、前記第２の画像データに有する前記第２の位置情報から前記撮影位置を判定する位置判定部と、
    前記データベースに記録されている前記地名、前記施設名と前記第１の位置情報とに基づいて前記位置判定部により判定された前記撮影位置に対応する前記第１の位置情報を含む前記第１の画像データを検索する再生画像検索部と、
    を備え、
    前記表示制御部は、前記再生画像検索部により検索された前記第１の画像データと前記第２の画像データとを表示する、
    ことを特徴とする請求項１乃至９のうちいずれか１項記載の画像関連付け装置。
11. 前記第２の画像データを記録する画像記録部を備え、
    再生モードにおいて、前記画像取込部により前記地図上の文字から成る前記文字情報を含む前記第１の画像データを取り込むと、
    前記文字読取部は、前記画像取込部により取り込まれた前記第１の画像データから前記文字情報を読み取り、
    前記位置情報取得部は、前記文字読取部により読み取られた前記文字情報に対応する前記地名又は前記施設名を前記データベースから検索し、当該検索された前記地名又は前記施設名の前記第１の位置情報を取得し、
    前記画像関連付け部は、前記位置情報取得部により取得された前記第１の位置情報と対応の取れる前記第２の位置情報を有する前記第２の画像データを前記画像記録部から検索し、当該検索された前記第２の画像データと前記第１の画像データとを関連付け、
    前記表示制御部は、前記画像関連付け部により関連付けされた前記第１の画像データと前記第２の画像データとを表示する、
    ことを特徴とする請求項１記載の画像関連付け装置。
12. 前記第１の画像データは、当該第１の画像データの各コーナに対応する前記地図上の緯度経度の情報と共に画像記録部に記録されることを特徴とする請求項１記載の画像関連付け装置。
13. 前記画像関連付け部によって前記第１の位置情報と前記第２の位置情報との対応が取れなければ、前記第１の画像データと前記第２の画像データとの関連付けができない旨を報知する報知部を有することを特徴とする請求項１記載の画像関連付け装置。
14. 請求項１乃至１３のうちいずれか１項記載の画像関連付け装置を備え、
    文字から成る文字情報が記載された地図を被写体として撮影して前記第１の画像データを取得し、かつ主要被写体を含む撮影を行い、当該撮影位置を示す前記第２の位置情報を有する前記第２の画像データを取得する、
    ことを特徴とする撮影装置。
15. コンピュータに、
    地図上の文字から成る文字情報を含む第１の画像データと、撮影位置を示す第２の位置情報を有する第２の画像データとを取り込ませる画像取込機能と、
    前記画像取込機能により取り込ませた前記第１の画像データから前記文字情報を読み取りさせる文字読取機能と、
    前記文字読取機能により読み取らせた前記文字情報に対応する前記地名又は前記施設名をデータベースから検索させ、当該検索された前記地名又は前記施設名の前記第１の位置情報を取得させる位置情報取得機能と、
    前記位置情報取得機能により取得させた前記第１の位置情報と前記画像取込部により取り込みさせた前記第２の画像データの前記第２の位置情報との対応が取れると、前記第１の画像データと前記第２の画像データとを関連付けさせる画像関連付け機能と、
    前記画像関連付け機能により関連付けさせた前記第１の画像データと前記第２の画像データとを表示させる表示制御機能と、
    を実現させるための画像関連付けプログラム。
16. 前記画像関連付け機能は、前記第１の画像データ中の前記地図上に、前記第２の画像データの前記撮影位置を示しさせることを実現させるための画像関連付けプログラム。

Images