JP2009110288A - 画像分類装置及び画像分類方法 - Google Patents

Abstract

【課題】撮影位置情報を持つ画像を、ユーザが実際に訪れて撮影を行った観光地毎に精度良く分類する。
【解決手段】まず少なくとも訪問観光地の名称及び訪問時間が含まれる旅程情報を取得する。次に、旅程情報中の訪問観光地に対応する位置情報を、観光地とその位置情報が登録されている観光地情報データベースから検索する。そして、検索された旅程情報中の訪問観光地の位置情報を参照し、撮影位置と対応づけられている複数の画像を、それぞれの撮影位置と訪問時間に基づいて旅程情報中の訪問観光地毎に分類する。上記観光地の名称には、少なくとも施設名及び／又は地名が含まれる。
【選択図】図２

Description

本発明は、旅行中などに撮像装置で撮影された多数の画像を、訪問した観光地毎に分類するのに好適な画像分類装置及び画像分類方法に関する。

従来、旅行中にデジタルスチルカメラ等の撮像装置で撮影した画像には時間情報しか残すことはできなかったが、近年、撮影地の位置情報を画像に付加することが可能な撮像システムがいくつか提案され始めている。このような撮像システムでは緯度経度といった位置情報を画像と対応づけて残すことができる。

上記の技術を応用し、例えば、複数の位置キーワードを各地点の位置に対応づけて記憶した地図データベースを備え、画像及び該画像の撮影地点の位置を入力すると、この位置に対応する位置キーワードを地図データベースから読み出し、この読み出した画像を位置キーワードに対応づけて画像データベースに記憶することで、画像を撮影地点に対応した位置キーワードで分類して電子アルバムを作成する技術が提案されている（例えば、特許文献１を参照。）。この特許文献１に記載の地図データベースでは、地名や観光地の名称といった位置キーワード毎にある緯度経度範囲が定義されており、電子アルバムにおいて撮影した位置に基づいて画像が自動的に分類される。

また、観光プランを作成又は取得し、撮影した画像を観光プランに沿って分類したり、観光プランを付加したりできる案内情報システムが提案されている（例えば、特許文献２を参照）。

特開２００２−２５９３８９号公報 特開２００２−２８１４２２号公報

ところで、特許文献１に記載されたものは、観光地が密集する地域において、実際にユーザが見たものと異なるものに分類してしまう可能性がある。それは全地球測位システム（GPS：Global Positioning System）を利用して取得した位置情報は数十メートルから、場合によっては数百メールの誤差を持つためである。また、実際にはユーザが見ていない観光施設のそばで昼食をとった際に撮影した画像などが、その観光施設で撮影したことになってしまう場合もある。このような理由から、実際のユーザの行動を考慮せずに行われた分類の結果は、正確性を欠くものであった。

また、特許文献２に記載されたものは、位置情報のみから画像の撮影位置と整合がとれる（マッチングする）観光施設を検索し、画像を分類しているので、上記特許文献１に記載されたものと同様に、実際にユーザが見たものと異なるものに分類してしまう可能性がある。例えば、観光プランに「金閣寺」が入っている場合、「金閣寺」付近で撮影した画像はすべて「金閣寺」で撮影したものと判定してしまう。午前中は実際に「金閣寺」に行ったが、午後は別の観光施設を見るのに移動している最中に、たまたま「金閣寺」で撮影した画像も「金閣寺」に分類してしまう。実は午後はその付近の「竜安寺」を観光しており、そこから「銀閣寺」に移動している最中であれば、その「金閣寺」付近で撮影した画像は「竜安寺」か「銀閣寺」に分類されるべきであり、そのような分類は特許文献２に記載された技術では行うことはできなかった。

斯かる点に鑑み、この発明は、撮影位置情報を持つ画像を、ユーザが実際に訪れて撮影を行った観光地毎に精度良く分類することを目的とする。

上記課題を解決するため、本発明は、まず少なくとも訪問観光地の名称及び訪問時間が含まれる旅程情報を取得する。次に、旅程情報中の訪問観光地に対応する位置情報を、観光地とその位置情報が登録されている観光地情報データベースから検索する。そして、検索された旅程情報中の訪問観光地の位置情報を参照し、撮影位置と対応づけられている複数の画像を、それぞれの撮影位置と訪問時間に基づいて旅程情報中の訪問観光地毎に分類する。
上記観光地の名称には、少なくとも施設名及び／又は地名が含まれる。

上記構成によれば、実際にユーザが行動した情報の基となる旅程情報を利用して、撮影位置を示す情報が付加された画像を、位置情報だけでなく、時間情報も含めて分類を行うことにより、観光地毎に正確な分類を行うことができる。

本発明によれば、撮影位置情報を持つ画像を、ユーザが実際に訪れて撮影を行った観光地毎に精度良く分類することができる。

以下、本発明の一実施の形態の例について、添付図面を参照しながら説明する。

以下に述べる実施の形態は、本発明の好適な具体例であるから、技術的に好ましい種々の限定が付されているが、本発明は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限られるものではない。例えば、以下の説明で挙げる処理順序や数値的条件等は好適例に過ぎず、説明に用いた各図における寸法、形状及び配置関係も一例を示す概略的なものである。

まず、本発明の一実施形態による画像分類装置の内部構成例について、図１に示すブロック図を参照して説明する。図１に示す画像分類装置２０は、本願発明の画像分類装置をデジタルスチルカメラに適用した例である。この例では、画像分類装置２０は、インターネット等のネットワーク３０にアクセスできるように構成してある。

この地図表示装置２０は、制御部１、ＲＡＭ（Random Access Memory）２、ＲＯＭ（Read Only Memory）３、撮像手段４、画像処理部５、表示部６、操作部７、フラッシュメモリ８、外部記憶装置コントローラ９、外部記憶媒体１０、通信部１１及びアドレスバス・データバス処理部１３から構成されている。各ブロックは、各ブロックのアドレス（制御信号）、データの転送を行うアドレスバス・データバス１２で相互に接続してある。

地図表示装置２０の制御部１は、アドレスバス・データバス１２及びアドレスバス・データバス処理部１３を介して、画像分類装置２０を構成する各ブロックの動作を制御する。各ブロックの動作を制御する際、制御部１は、ＲＯＭ３やフラッシュメモリ８等に記憶されているプログラム及びデータをＲＡＭ２に展開し、ＲＡＭ２を作業領域として所定の制御及び処理を行う。なお、この制御部１は、旅程情報取得部１Ａ、観光地情報検索部１Ｂ、画像分類部１Ｃの各モジュールを備えている。

旅程情報取得部１Ａは、少なくとも訪問観光地の名称及び訪問時間が含まれる旅程情報を、フラッシュメモリ８、外部記憶装置１０又はネットワーク３０上で情報を公開している任意のサイトなどから取得するように動作するものである。また旅程情取得部１Ａは、実際の旅行に使用された旅程情報が入手できなかった場合には、下記の観光地情報データベースから複数の画像のそれぞれの撮影位置に応じて訪問観光地候補を検索する訪問観光地候補検索部と、検索された訪問観光地候補からユーザの指示に基づいて実際に訪問した観光地を選択する訪問観光地選択部としての機能を持つ。

観光地情報検索部１Ｂは、取得した旅程情報中の訪問観光地に対応する位置情報（緯度経度）を、観光地とその位置情報が登録されている観光地情報データベースを参照して検索するように動作するものである。観光地情報データベースは、旅行代理店や地方公共団体などの管理の下でウェブサーバ３１等に公開されている。あるいは、任意の個人が観光地の情報を収集してデータベース３２に蓄積し、その観光地情報が蓄積されたデータベース３２をネットワーク３０上に公開している場合には、そのデータベース３２の観光地情報を検索処理に利用することもできる。

画像分類部１Ｃは、観光地情報検索部１Ｂによって検索された旅程情報中の訪問観光地の位置情報を参照し、撮影位置と対応づけられている複数の画像を、それぞれの撮影位置と訪問時間に基づいて取得した旅程情報中の訪問観光地毎に分類するように動作するものである。

撮像手段４は、レンズ、ピントを自動的に合わせる自動焦点（AF：Auto Focus）機能、絞り及び露出時間を自動的に決定する自動露出（AE：Automatic Exposure）機能及びレンズから入射された光の強弱を電荷の強弱としてデータに変換する撮像デバイスとして例えばＣＣＤ（Charge Coupled Device）を含んでおり、撮影を行い画像データを生成する。撮像手段４は、撮影した画像データをデジタルデータ（以下、画像データという）に変換してＲＡＭ３へ出力する。ＲＡＭ３は、撮像手段４により撮影された画像データを一時的に記憶し、その画像データを画像処理部５やフラッシュメモリ８等へ出力する。画像分類装置２０は、図示しないＧＰＳ機能を備え、撮影した画像は撮影位置を示す情報（緯度経度）及び時間情報と対応づけて、フラッシュメモリ８に記憶される。

画像処理部５は、旅程データや撮像手段４で生成された画像データ等に所定の処理を加えて、表示部６やフラッシュメモリ８等に出力する。また、旅程データ中の観光地毎に画像データを分類した結果を示す画像も生成する。

表示部６は、例えば液晶ディスプレイ等が適用され、この表示部６に画像処理部５から入力される撮影画像や旅程データ、画像分類結果等を示す画像を表示する。

操作部７は、画像分類装置２０本体に設けられた操作キーや表示部６上の画像にアイコン表示されたボタン部などである。ユーザは、操作部７を操作することにより、撮像手段４を用いた被写体の撮影、画像データの編集及び保存、旅程データの作成及び入力、データ通信、画像分類等、画像分類装置２０に対して種々の処理を指示することができる。

フラッシュメモリ８は、記憶したデータの書き換えが可能な不揮発性半導体メモリ（記憶部）である。このフラッシュメモリ８は、画像データを該画像データが撮影された位置を示す情報及び時間情報と対応づけてデータベースに記憶している。また、少なくとも訪問観光地の名称及び訪問時間、さらには行動内容等の付帯情報が含まれた旅程データファイルをデータベースに記憶している。

外部記憶装置コントローラ９は、制御部１の制御に基づいて、画像分類装置２０のスロット（図示略）に装着された外部記憶装置１０（リムーバルブメディア）に対し、データの読み出し及び書き込みを行うインターフェースであり、旅程情報取得部の一部を構成する。外部記憶装置１０としては、半導体メモリの他、光ディスク記録媒体など種々の記録媒体を用いることができる。

通信部１１は、画像分類装置２０とインターネット等のネットワーク３０を接続するためのインターフェースとしての機能を備えている。画像分類装置２０は、この通信部１１を介してネットワーク３０上のウェブサーバ３１にアクセスすることができる。例えば、後述するように旅行代理店等が運営するウェブサーバ３１から旅程データや観光地情報データベースを入手したり、撮影位置と対になっている画像データを取得したりすることができる。

アドレスバス・データバス処理部１３は、制御部１を始めとして各ブロックが動作する際、各ブロックからアドレスバス・データバス１２を通じて入力されるアドレス及びデータに対し、所定の処理を行う。

このように構成された画像分類装置２０は、旅程情報中の訪問観光地に対応する位置情報を参照し、複数の画像を、少なくともその画像が撮影された位置と時間に応じて、旅程情報に記された観光地毎に分類を行う。

以下、図２に示すフローチャートを参照して、画像分類装置２０の制御部１１による画像分類処理例について説明する。

まず、制御部１は、画像分類装置２０に対して分類したい画像の入力を行う（ステップＳ１）。撮影した画像をそのまま撮影位置と対応づけてフラッシュメモリ８に保存することで入力してもよいし、別途撮影された画像を、外部記憶装置１０や通信手段を利用して入力してもよい。予めフラッシュメモリ８に画像データが保存、すなわち画像を取得済みの場合には、このステップＳ１の処理をスキップしてもよい。画像はファイル名、撮影日時、撮影位置等の情報を持つ。画像分類装置２０で分類の対象とする画像は、静止画であっても動画であってもかまわない。入力された画像を示す情報の例を、図３に示す。

図３は、１０個の画像情報（画像４１〜画像５０）がある場合の例を示しており、各画像は、ファイル名、撮影日付、撮影時間、緯度経度（撮影位置）の情報を持っている。

次に、制御部１は、画像分類装置２０に画像を入力した後、旅程データの入力確認を行う（ステップＳ２）。入力確認方法の一例として、画像分類装置２０の表示部６の画面上に旅程データの入力の有無を確認する表示を行い、ユーザに選択を促す等が考えられる。なお、旅程データの入力の有無の確認を省略し、例えばユーザに直接旅程データファイルを記憶した外部記憶装置１０を画像分類装置２０に接続するよう促し、接続された外部記憶装置１０から旅程データファイルを読み込むことで入力確認の代わりとしてもよい。一定時間以上旅程データの入力が無い場合には、旅程データの入力がないものとして、後述するステップＳ４へ移行する。

ステップＳ２において、ユーザが旅程データの入力ありを選択して、制御部１が入力する旅程データファイルがあると判定した場合、制御部１の旅程情報取得部１Ａは、旅程データファイルの入力処理を行う（ステップＳ３）。以下、外部記憶装置１０に旅程データファイルを記録し、その外部記憶装置１０を画像分類装置２０に接続することで、旅程データの入力を行う場合について説明する。

図４は、旅程データファイルの一例を示すものである。図４に示す旅程データファイル６０は、旅行タイトル６１や日付情報等も含む。また、訪問時間６２と観光する施設６３が関連づけて示されている。さらに観光する施設６３に付随する情報（以下、「付帯情報」という）６４も付加されており、この付帯情報６４は、具体的な行動内容や時間制限等といった詳細な情報である。旅程データファイルは予め定められたフォーマットで記述されており、画像分類装置２０の旅程情報取得部１Ａはこのフォーマットに則り、外部記憶装置１０から旅程データファイルを読み取る。

ここでは旅程データを入力する手段として、外部記憶装置１０から旅程データファイルを読み出すことにより旅程データの入力を行うようにしたが、他の手段でもよい。例えば、他の旅程データを入力する手段として、旅程情報取得部１Ａは観光地情報データベースからユーザによって直接選択された旅程データを取得してもよいし、あるいは紙媒体に記述された旅程表を撮像手段４により撮影して取り込んだ旅程表を文字認識して旅程データを取得するようにしてもよい。

また、紙媒体に記述された旅程表にシンボルを印刷しておいてもよい。シンボルは、文字情報をコード化した情報すなわち二次元コードで構成されている。そのため、このシンボルを撮影することにより、旅程情報取得部１Ａがシンボルにコード化され埋め込まれていた旅程情報をデータ化して取得するようにしてもよい。あるいは、このシンボルに直接旅程データが埋め込まれているのではなく、サーバ３１上の旅程データが開示されたウェブサイトのＵＲＬ（Uniform Resource Locator）が埋め込まれている場合、旅程情報取得部１ＡはこのＵＲＬを取得し、通信部１１を介してＵＲＬが示すサーバ３１にアクセスし、そのサーバ３１の旅程データが開示されたウェブサイトから旅程データを取得するようにしてもよい。

図２のフローチャートの説明に戻る。ステップＳ２において、旅程情報取得部１Ａによる旅程データの入力が実施されない場合に、制御部１は、観光地情報検索部１Ａは観光地情報データベースから訪問観光施設候補を検索し（ステップＳ４）、仮の旅程データを作成する。観光地情報データベースは、旅行代理店や地方公共団体などの管理の下でウェブサーバ３１等に公開されているので、これを利用する。あるいは何らかの方法で観光地情報データベースを外部記憶装置１０に記憶し、その観光地情報データベースを利用してもよい。以下では観光地情報データベースから訪問観光地施設候を検索する方法を説明する。

図５は、観光地情報データベースの一例を示すものである。この例の観光地情報データベース７０では、観光地情報７１〜観光地情報７６の計５個の観光地情報が登録されている。ここで、旅程情報取得部１Ａは、図３に示した画像情報と、図５に示す観光地情報データベースの観光地情報を比較し、訪問したと推測される観光地を所定の順番、例えば時系列にリストアップしてゆく。

まず図３に示す画像４１の位置情報を基に、図５に示す観光地情報データベース７０を検索すると、観光地情報７２で示される「銀閣寺」が検索される。検索方法としては単純に両者の位置情報が一番近いと考えられる観光施設を抽出していく。この際、ＧＰＳ等の測位技術毎に、その測位精度を考慮し、撮影位置を点ではなく範囲として検索し、複数の観光施設をピックアップしてもよい。

このような検索を実施すると画像４１〜画像４３は「銀閣寺」に分類される。同様に画像４３〜画像４６も同様にして「△○亭」に分類される。次に、画像４７は「二条城」に、画像４８〜画像５０は「金閣寺」に分類される。このようにして複数のそれぞれの画像について時系列に訪問観光地施設候補を検索及び割り当てる。

図２のフローチャートの説明に戻る。ステップＳ４の処理が終了したら、制御部１は、訪問観光施設候補の表示・選択を行う（ステップＳ５）。

訪問観光施設候補の表示例を、図６に示す。この例では、観光地情報データベースから訪問観光施設候補として「銀閣寺」、「△○亭」、「二条城」及び「金閣寺」が抽出されている。ユーザは提示された時間や施設名に基づき、自身が見て回った観光施設を操作部７等を操作して選択する。

具体的には、一例として提示された候補に対し、○×を設定していく等の手法が考えられる。予めデフォルト（初期設定）として○が設定されており、必要ない施設名だけを×とするようにしてもよい。ここでは例として、「二条城」を非選択にしている。これは昼食からの移動中、たまたま二条城付近で撮影したものの、実際に撮影したのはバスの車内である場合などがあるからである。このようにして時間範囲は旅程表に比べ限定的なものの、画像分類に必要な観光施設の情報（仮の旅程情報）が揃う。

図２のフローチャートの説明に戻る。ステップＳ３又はステップＳ５の処理が終了後、制御部１の観光地情報検索部１Ｂは、旅程情報中の訪問観光施設情報を基に、その施設の位置を観光地情報データベースを検索して取得する（ステップＳ６）。具体的には観光施設名を検索キーにしてマッチングを行い、該当する施設とその位置情報を取得する。

ここで、制御部１は、ステップＳ３又はステップＳ５の処理により取得した旅程情報中の施設と画像情報（図３参照）とのマッチング状態を判定する（ステップＳ７）。旅程情報中のいずれの観光地（施設）にも該当しない画像がある場合には、ステップＳ４の処理に戻り訪問観光施設候補の検索処理を行う。

ステップＳ７の判定処理において、分類の対象とするすべての画像が旅程情報中のいずれかの訪問観光施設に該当する場合、制御部１の画像分類部１Ｃは、旅程情報中の訪問観光施設にその位置情報が付加された情報と、画像情報（図３を参照）を比較し、観光施設名毎に適切な画像分類を行う（ステップＳ８）。ここでの処理は、ステップＳ４の処理と似ているが、旅程情報に含まれる時間情報も利用することが決定的に異なる。画像分類部１Ｃは、具体的には図７に示すフローチャートに沿った分類処理を行い、図８で示されるような分類結果を得る。

図７及び図８に示す例では、図４に示す旅程情報６０を参照して、図３に示す画像情報について分類を実施した場合を説明する。図７において、制御部１は、まず旅程情報６０中の訪問観光施設に付加された位置情報と、画像４１に付加された位置情報を比較する（ステップＳ１１）。そして、画像４１に付加された位置情報が示す位置（緯度経度）を所定範囲に含む訪問観光施設があるか否かを判定する（ステップＳ１２）。訪問観光施設がある場合、分類した訪問観光施設と旅程（時間）は合っているか判定する（ステップＳ１３）。分類した訪問観光施設と旅程（時間）が合っている場合には、未分類の画像があるか否かを判定する（ステップＳ１５）。そして、未分類の画像があればステップＳ１１に戻って画像分類処理を続け、未分類の画像がなければ、画像分類処理を終了する。

一方、ステップＳ１２の判定処理において画像４１に付加された位置情報が示す位置（緯度経度）を所定範囲に含む訪問観光施設がない場合、又は、ステップＳ１３の判定処理において、分類した訪問観光施設と旅程（時間）が合っていない場合には、旅程、撮影時間及び位置情報に基づいて最も近い訪問観光施設を特定して画像４１を分類する（ステップＳ１４）。ステップＳ１４を終了後ステップＳ１５に移行する。

この例では、画像４１は、位置的にも時間的にも「銀閣時」と整合（マッチング）するので、画像４１は訪問観光施設を「銀閣寺」に分類する。同様に、画像４２，４３も訪問観光施設を「銀閣寺」に分類できる。よって、画像４１〜４３は訪問観光施設を「銀閣寺」に分類する。

また画像４４は、旅程情報６０において、時間的に「銀閣寺」の観光が終わって昼食先に移動中に含まれることになる。つまり、ステップＳ１３の判定処理で旅程と合っていないと判定され、ステップＳ１４の判定処理を行う必要がある。ここで画像４４の撮影位置は、「銀閣寺」よりは「△○亭」に近いものとする。この場合、画像４４については、位置情報から判断すると「銀閣寺」よりは昼食をとった「△○亭」に近く、また、旅程（図４参照）では１１:３０までが「銀閣寺」であり「昼食」が１２:００からであるところ、撮影時刻は１１:５０であるため、時間的にも「△○亭」に近いと判定される。このため、画像４４を「△○亭」に分類する。画像４５〜画像４６は位置的にも時間的にも「△○亭」に整合するため、結果として画像４４〜画像４６の訪問観光施設を「△○亭」に分類する。

また画像４７は観光地情報データベース７０と比較してしまうと、訪問観光施設が「二条城」に該当してしまう。しかし、ここでは旅程情報を基準に分類を行っている。その場合、時間的には「△○亭」から「金閣寺」への移動時間帯に当たると考えられるので、位置情報に重きをおいて分類を行う。すると画像４７は「金閣寺」に分類される。さらに画像４８〜画像５０は位置的にも時間的にも「金閣寺」と整合するため「金閣寺」に分類し、結果として画像４７〜画像５０は「金閣寺」に分類される。

このような処理が終了すると、図８に示すような旅程情報を基にした画像分類結果９０が得られる。図８には、図４の旅程データの観光施設毎に画像が分類された結果が示されている。この例では、「銀閣寺」に画像４１〜画像４３が、「△○亭」に画像４４〜画像４６が、「金閣寺」に画像４７〜画像５０が分類されている。

上述した実施の形態によれば、実際にユーザが行動した情報の基となる旅程情報を利用して、撮影位置を示す情報が付加された画像を分類することにより、位置情報のみからの分類と比べ、ユーザの思惑通りの分類が可能となる。すなわち、位置情報だけでなく、時間情報も含めて分類を行うことで、より正確な旅程に基づいた分類を行うことができる。

また、ユーザは旅行代理店から電子的に配布された旅程ファイルデータを入力したり、旅程表を撮影して入力としたり、旅程表のシンボル（二次元コード）を撮影することで旅程情報を取得し入力としたりすることによって、画像分類装置に簡易に旅程情報を入力でき、分類を行うにあたっての負担が少ない。

また、旅程情報が無くても、観光地情報データベース等を利用して、実際に訪問した観光施設の候補の一覧が表示されるので、ユーザはその候補の中から実際に訪問した観光施設を選択するだけで旅程情報の代替とすることができる。

なお、上記実施の形態では、画像と観光施設名を関連づける処理を行ったが、通常、観光地情報データベースには地名など他の情報も含まれるので、これらの情報を合わせて画像に関連づけてもよい。例えば、観光地が施設ではなく例えば名勝などのように地名の場合、一例としてその地名の中心位置（代表位置）が位置情報として観光地情報データベースに登録されていることが望ましい。また、訪問先の名称が地方自治体名などの場合、その地方自治体の役所の所在地など地図上の代表地点が位置情報として観光地情報データベースに登録されていることが望ましい。

次に、上述した本発明の一実施形態の変形例に係る画像分類装置を、図９を参照して説明する。図９に示す画像分類装置１００は、旅程情報取得部１０１Ａ、観光地情報検索部１０１Ｂ及び画像分類部１０１Ｃの各モジュールが、制御部１と別体かつアドレスバス・データバス１２と直接接続する形態のブロック構成としたものである。この一実施形態の変形例における旅程情報取得部１０１Ａ、観光地情報検索部１０１Ｂ及び画像分類部１０１Ｃはそれぞれ、図１に示した画像分類装置２０の旅程情報取得部１Ａ、観光地情報検索部１Ｂ及び画像分類部１Ｃと同様の機能を備えている。また画像分類装置２００のその他の各モジュール（ブロック）については、画像分類装置２０におけるものと同様であり既述しであるので説明を割愛する。

画像分類装置２０，１００で行われる一連の処理は、専用のハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。

また画像に関連づけられた情報は、静止画の場合はＥＸＩＦ（Exchangeable Image File Format）やＸＭＰ（Extensible Metadata Platform）等を利用してメタデータとして保存してもよい。

さらに上述した実施の形態においては、本発明の画像分類装置をデジタルスチルカメラに適用した例を説明したが、撮像手段を備えた実施の形態に限られるものではなく、例えばデジタルビデオカメラ、パーソナルコンピュータ、携帯電話機、携帯ゲーム機器等、種々の機器に適用できる。

本発明の一実施形態に係る画像分類装置の構成を示す説明図である。 本発明の一実施形態に係る制御部による画像分類処理例を示すフローチャートである。 本発明の一実施形態に係る入力画像情報例を示す説明図である。 本発明の一実施形態に係る旅程データファイルの一例を示す説明図である。 本発明の一実施形態に係る観光地情報データベースの一例を示す説明図である。 本発明の一実施形態に係る訪問観光施設候補の表示例を示す説明図である。 本発明の一実施形態に係る訪問観光施設毎の画像分類処理例を示すフローチャートである。 本発明の一実施形態に係る画像分類結果の例を示す説明図である。 本発明の一実施形態の変形例に係る画像分類装置の構成を示す説明図である。

符号の説明

１…制御部、１Ａ…旅程情報取得部、１Ｂ…観光地情報検索部、１Ｃ…画像分類部、４…撮像手段、５…画像処理部、６…表示部、８…フラッシュメモリ、９…外部記憶装置コントローラ、１０…外部記憶装置、１１…通信部、３１…ウェブサーバ、２０…画像分類装置、６０…旅程データファイル、７０…観光地情報データベース、８０…訪問観光施設候補、９０…画像分類結果、１００…画像分類装置、１０１Ａ…旅程情報取得部、１０１Ｂ…観光地情報検索部、１０１Ｃ…画像分類部

Claims (10)

1. 少なくとも訪問観光地の名称及び訪問時間が含まれる旅程情報を取得する旅程情報取得部と、
   前記旅程情報中の訪問観光地に対応する位置情報を、観光地とその位置情報が登録されている観光地情報データベースから検索する観光地情報検索部と、
   前記観光地情報検索部によって検索された前記旅程情報中の訪問観光地の位置情報を参照し、撮影位置と対応づけられている複数の画像を、それぞれの撮影位置と前記訪問時間に基づいて前記旅程情報中の前記訪問観光地毎に分類する画像分類部と、
   を備える画像分類装置。
2. 前記画像分類部による画像分類が終了後、前記旅程情報中の前記訪問観光地毎に各画像データを分類した結果を示す画像データを生成する画像処理部をさらに備える
   請求項２に記載の画像分類装置。
3. 撮像部と、
   前記撮像部で撮影した画像をその撮影位置と対にして記憶する記憶部とを 備える請求項２に記載の画像分類装置。
4. 前記旅程情報取得部は、当該画像分類装置に接続された外部記憶装置に記憶されている旅程データファイルから前記旅程情報を取得する
   請求項１に記載の画像分類装置。
5. 前記観光地情報データベースには前記旅程情報が登録されており、
   前記旅程情報取得部は、ユーザの指示に従い前記観光地情報データベースから前記旅程情報を取得する
   請求項１に記載の画像分類装置。
6. 前記旅程情報取得部は、前記撮像部により撮影された旅程表の画像を文字認識処理して旅程情報として取得する
   請求項３に記載の画像分類装置。
7. 前記旅程情報取得部は、前記撮像部により撮影された旅程表中の二次元コードに含まれるデータから旅程情報を取得する
   請求項３に記載の画像分類装置。
8. ネットワークに接続する通信部を備え、
   前記旅程情報取得部は、撮影手段により撮影された旅程表中の二次元コードに含まれるサーバ情報を認識し、前記サーバ情報に基づき前記通信部を介して前記ネットワーク上のサーバから前記旅程情報を取得する
   請求項１に記載の画像分類装置。
9. 前記旅程情報取得部による前記旅程情報の取得が実施されない場合、前記観光地情報データベースから複数の画像のそれぞれの撮影位置に応じて訪問観光地候補を検索する訪問観光地候補検索部と、
   検索された訪問観光地候補から実際に訪問した観光地を選択する訪問観光地選択部とを備え、
   前記観光地情報検索部は、前記訪問観光地選択部で選択された観光地に対応する位置情報を前記観光地情報データベースから検索し、前記画像分類部は、前記訪問観光地選択部で選択された観光地に対応する位置情報を参照し、前記撮影位置と対応づけられている複数の画像を、それぞれの撮影位置と撮影時間に基づいて前記観光地毎に分類する
   請求項１に記載の画像分類装置。
10. 少なくとも訪問観光地の名称及び訪問時間が含まれる旅程情報を取得するステップと、
    前記旅程情報中の訪問観光地に対応する位置情報を、観光地とその位置情報が登録されている観光地情報データベースから検索するステップと、
    前記検索された前記旅程情報中の訪問観光地の位置情報を参照し、撮影位置と対応づけられている複数の画像を、それぞれの撮影位置と前記訪問時間に基づいて前記旅程情報中の前記訪問観光地毎に分類するステップと
    を含む画像分類方法。

Images