JP2011028497A - 情報処理装置、情報処理方法及び情報処理プログラム - Google Patents

Abstract

【課題】携帯電話などの処理能力の低い装置においても、既存のデータベース構成を生かしつつ、画像検索の為のデータベース構成を柔軟に作成する事とともに、簡単に類似の画像を検索可能とする。
【解決手段】特徴抽出手段１３０は、画像データ１２３から特徴データ１１５を抽出する。ＤＢ生成手段１４０は、抽出された特徴データ１１５を、従来の電話帳ＤＢ１２０に格納されている各個人情報に関連付けて、新たな電話帳ＤＢ１１０を生成する。類似比較手段２１０により、特徴データＡＡ２３０と電話帳ＤＢ１１０の特徴データ１１５の類似判定を行う。類似である特徴データ１１５に対応した画像データＡ１２３−１の抽出を行う。これにより、入力画像データに対して、電話帳ＤＢ１１０内の類似画像データの検索を行う事が可能となる。
【選択図】図３

Description

本発明は、画像データの検索を行なう情報処理装置、情報処理方法及び情報処理プログラムに関し、特に、携帯電話機などの処理能力が比較的低い装置に適用するのが好適な技術に関する。

近年の携帯電話において、カメラ機能は必須機能として定着しており、また、インターネット等を介して画像データを取り込む機能も一般化している。メモリーの低価格化と大容量化により、画像データを大量に保存することが可能となってきており、データ数は増加の一途を辿っている。ＰＣ（Personal Computer）では、画像データ検索において、Ｇｏｏｇｌｅやｇｏｏなどのｗｅｂ上の画像検索システム等が公開され利用できるようになってきているが、携帯電話機等の処理能力の比較的低い装置にあっては、どのように検索処理を行なうかが課題となっている。

そこで、特許文献１では、ユーザが入力したブログ、日記、メール等の文章を解析して、画像の説明文を抽出し分類に役立てる技術が記載されている。

また、特許文献２では、撮影された画像を時間的要素での分類する方法とクラスタの代表的な画像（分類ホルダーの代表画像）と類似しているかを判定し画像を分類する方法とが記載されている。

また、特許文献３では、対象の画像データに類似の画像データを検索し、類似画像のキーワードを対象の画像データに付与する技術が記載されている。

特開２００６−２３５９１０号公報 特表２００８−５３２１８０号公報 特開２００５−３５２７８２号公報

しかし、前記特許文献の従来の技術では、携帯電話において、データベースのデータ構成を柔軟に追加する事はできなかった。この為、画像検索のシステム構築を行う事ができないという問題があった。

上記画像検索システムは、都度、画像の特徴データを抽出、類似比較の対象の画像も都度特徴データを抽出する事で、実現されている。この構成は、規模の大きな計算機での演算を前提に設計されているため、処理能力が低い携帯電話上で実現する事は、処理に時間がかかるという問題があった。

そこで本発明は、携帯電話などの処理能力の低い装置においても、既存のデータベース構成を生かしつつ、画像検索の為のデータベース構成を柔軟に作成する事とともに、簡単に類似の画像を検索可能とする情報処理装置、情報処理方法及び情報処理プログラムを提供することを目的とする。

本発明は、画像データを含む関連付けられた複数のデータからなる関連データ群を備えるデータベースを有し、入力画像データに類似する前記データベースの格納画像データを検索する情報処理装置であって、
前記格納画像データ及び入力画像データから特徴データを抽出する特徴抽出手段と、前記特徴抽出手段により前記格納画像データから抽出した特徴データを、該格納画像データの関連データ群に関連付けてデータベースを作成するデータベース生成手段と、前記特徴抽出手段により入力画像データから抽出された特徴データと前記格納画像データの特徴データとを比較し、類似度が所定値を越える類似特徴データを抽出する類似比較手段と、を備え、
検索した前記類似特徴データに関連付けられた関連データ群から所望のデータを抽出可能としたことを特徴とする。

また、本発明は、前記情報処理装置であって、前記データベース生成手段は、入力画像データとその特徴データとを、前記類似特徴データの関連データ群に関連付けてデータベースを生成することを特徴とする。

また、本発明は、前記情報処理装置であって、前記類似特徴データに関連付けられた前記関連データ群の少なくとも一部のデータを、入力画像データのメタデータとして付加書き込みするメタデータ付加手段を有することを特徴とする。

また、本発明は、前記情報処理装置であって、前記入力画像の特徴データを、入力画像データのメタデータとして付加書き込みするメタデータ付加手段を有することを特徴とする。

また、本発明は、前記情報処理装置であって、入力画像データの画像領域の一部を選択することが可能なエリア選択手段と、前記エリア選択手段で選択された画像領域を表すエリア座標情報と、そのエリア内の画像データを抽出するエリア座標抽出手段と、を備え、
前記特徴抽出手段は、前記エリア内の画像データの特徴データを、入力画像データの特徴データとして抽出することを特徴とする。

また、本発明は、前記情報処理装置であって、前記類似特徴データに関連付けられた前記関連データ群の少なくとも一部のデータを、入力画像データのメタデータとして付加書き込みするメタデータ付加手段を有することを特徴とする。

また、本発明は、前記情報処理装置であって、前記座標情報と前記入力画像の特徴データを、入力画像データのメタデータとして付加書き込みするメタデータ付加手段を有することを特徴とする。

また、本発明は、前記情報処理装置であって、前記類似画像データに関連付けされた関連データ群の一部のデータを、前記エリア内画像を示すように表示することを特徴とする。

また、本発明は、前記情報処理装置であって、表示手段に画像を表示する制御を行なう表示制御手段をさらに備え、
前記表示制御手段は、前記類似判定手段により前記エリア内画像データに類似する類似特徴データが抽出された場合、前記エリア内画像データを前記表示手段の表示画面中心に表示することを特徴とする。

また、本発明は、画像データを含む関連付けられた複数のデータからなる関連データ群を備えるデータベースを有し、入力画像データに類似する前記データベースの格納画像データを検索する情報処理方法であって、
前記格納画像データ及び入力画像データから特徴データを抽出する特徴抽出ステップと、前記特徴抽出ステップにより前記格納画像データから抽出した特徴データを、該格納画像データの関連データ群に関連付けてデータベースを作成するデータベース生成ステップと、前記特徴抽出ステップにより入力画像データから抽出された特徴データと前記格納画像データの特徴データとを比較し、類似度が所定値を越える類似特徴データを抽出する類似比較ステップと、を備え、
検索した前記類似特徴データに関連付けられた関連データ群から所望のデータを抽出可能としたことを特徴とする。

また、本発明は、コンピュータに、前記情報処理方法の各ステップを実行させることが可能な情報処理プログラムである。

本発明によれば、データベースとして予め登録しておいた電話番号や氏名などの関連データ群と、それに関連付けられていた画像データの特徴データを抽出して新たなデータベースとして生成したので、この特徴データを関連付けて管理が常時可能となる。そして新たに生成されたデータベース内に各格納画像データに対する特徴データが存在するので、入力画像データ（外部からの画像データ）の特徴データと、データベース内の特徴データとを比較できるので、類似比較を短時間で行う事が可能となり、処理パフォーマンスが比較的低い携帯電話などの情報処理装置においても画像類似検索処理を短時間で行うシステムを構築する事が可能となる。

また、本発明によれば、入力画像データやその特徴データも、関連データ群に関連付けされて常時管理可能となるために、次回、当該画像データに関して類似画像を検索して表示する際にも、再度、類似比較手段を用いて検索処理を行わなくても瞬時に情報を引き出すことが可能となる。

また、本発明によれば、抽出した類似画像データに関連付けされている関連データ群を画像データのメタデータとして書き込んでおく事が可能となるため、当該画像データがデータベースの外に移動された場合においてもメタデータを読み出す手順だけで類似画像に関連付けられた各種データを引き出す事が可能となる。

また、本発明によれば、入力画像データの特徴データをその画像のメタデータとして書き込んでおく事が可能となるために、当該画像データがデータベースの外に移動された場合においてもメタデータを読み出す手順だけでその画像データの特徴データを引き出す事が可能となり、新たに類似画像を管理するデータベースを構築する際にその画像の特徴データを再度抽出する作業を行わなくても当該画像の特徴データを得る事が可能となる。

また、本発明によれば、検索対象となる画像が複数存在する入力画像データに対して、検索対象となる画像のエリアを選択することを可能とすることで、そのエリア内画像データの特徴データと、データベースに格納されている画像データの特徴データと関連付けることができ、類似画像検索の対象として利用する事が可能となる。

また、本発明によれば、エリア選択した画像データと類似な特徴データを抽出して、この類似特徴データに関連付けられた前記関連データ群の少なくとも一部のデータを、入力画像データのメタデータとして付加書き込みしたり、エリア座標情報と前記入力画像の特徴データを、メタデータ（Ｅｘｉｆ等を含む）として、特徴データを付加書き込みしたりする事で、端末以外の所にデータを持ち出して使用しても、類似画像検索を早く行う事が可能となる。

また、本発明によれば、１枚の画像データに複数人が映っているような画像各人に名前を付加することにより、ユーザに優しいユーザーインターフェース（ＵＩ）端末を提供する事ができる。

また、本発明によれば、エリア選択の画像データに対して画像検索の結果、類似特徴データがデータベースに存在する場合、エリア選択の画像データを表示画面の中心にして表示することにより、画像の何処に類似対象物があるのかをユーザが探す必要がなく、ユーザに優しいＵＩを提供する事が可能となる。

第１の実施形態の携帯電話を表すブロック図である。 電話帳ＤＢ（データベース）内の画像データの特徴データを加えて新たなデータベースを生成する動作を示すフローチャートである。 第２の実施形態の携帯電話を表すブロック図である。 電話帳ＤＢ内の画像データから外部入手の画像データに類似の画像データを抽出する動作を示すフローチャートである。 第３の実施形態の携帯電話を表すブロック図である。 入力画像データを関連付けた新たなデータベースを生成する動作を示すフローチャートである。 第４の実施形態の携帯電話を表すブロック図である。 第５の実施形態の携帯電話を表すブロック図である。 第６の実施形態の携帯電話を表すブロック図である。 第７の実施形態の携帯電話を表すブロック図である。 第７の携帯電話の画像データ検索についての処理手順を示すフローチャートである。 外部から入手画像を表示手段に表示した図である。 第７の実施形態の画像データファイルを示す図である。 入力画像に対して、エリア画像データにメタデータである名前を表示する図である。 入力画像の各エリア（人物画像の顔部分）毎にメタデータを表示した図である。 タッチペンで触った画像（顔画像）に名前を表示する図である。

本発明に係る発明の実施の形態について図を用いて順次説明する。

＜第１の実施形態＞
図１は、第１の実施形態の携帯電話を表すブロック図である。以降、データベースは、ＤＢと略して記載する。
情報処理装置である携帯電話１００は、個人情報ＤＢである電話帳ＤＢ１１０と、特徴抽出手段１３０と、ＤＢ生成手段１４０と、を備えた構成である。携帯電話１００は、通信手段や表示手段を有しているが、図１では、ＤＢの生成部分の構成を示す。

携帯電話１００内にある電話帳ＤＢ１１０は、従来の電話帳ＤＢ１２０と、特徴データ１１５とから構成される。従来の電話帳ＤＢ１２０には、データの中身として、電話番号１２１、名前１２２などのテキストデータと、各データに関連する画像データ１２３が一個人の情報として対応づけられている。従来の電話帳ＤＢ１２０はＤＢの構成例として表したものであり、これに限定されるものではない。

例えば、テキストデータは、電話番号「０９０−１２３４−５６７８」１２１−１、名前「友田昌子」１２２−１であり、画像データＡ１２３−１は「友田昌子」の画像であり、これらが一つの個人情報として関連付けられている。この時、画像データ１２３は、その個人を表すものであればよく、写真でも、イラストでもよい。同様に、電話帳ＤＢ１２０には各個人情報として、電話番号１２１、名前１２２、画像データ１２３がそれぞれ関係付けられている。この電話帳ＤＢ１２０のデータ内容は、説明する為の例であり、データの内容を限定するものではない。

特徴抽出手段１３０は、画像データ１２３から特徴データ１１５を抽出する。ＤＢ生成手段１４０は、抽出された特徴データ１１５を、従来の電話帳ＤＢ１２０に格納されている各個人情報に関連付けて、新たな電話帳ＤＢ１１０を生成する。

携帯電話１００に搭載されている基本的な従来の電話帳ＤＢ１２０に、画像データ１２３の特徴データ１１５が関連付けられる動作を、図２のフローチャートを使って説明する。

電話帳ＤＢ１１０内の個人情報は図１に示すように１〜Ｍ個あり、従って、電話番号１２１、名前１２２、画像データ１２３が、それぞれ１〜Ｍ個あり、上から順に番号を符しているものとする。特徴抽出手段１３０は、順に画像データ１２３を参照しながら画像データ１２３の特徴データ１１５を抽出していく。

まず特徴抽出手段１３０は、参照する画像データ１２３の番号をＮ＝１と置き（ステップＳ１１）、順に画像を参照していく。特徴抽出手段１３０は、電話帳ＤＢ１１０を参照して、参照する画像データの番号ＮがＭ以上か、それより小さいかを判定する（ステップＳ１２）。参照する画像データの番号ＮがＭより大きい場合は処理を終了する。参照する画像データの番号ＮがＭ以下の場合は、ステップＳ１３に進んでＮ番目の画像データを参照する（ステップＳ１３）。まずは、Ｎ＝１であるので、画像データＡ１２３−１を参照することになる。

次に、特徴抽出手段１３０は、特徴データＡ１１５−１を画像データＡ１２３−１から抽出する（ステップＳ１４）。ＤＢ生成手段１４０は、電話帳ＤＢ１１０の画像データＡ１２３−１と特徴データＡ１１５−１の関連付けを行う（ステップＳ１５）。そして、ＤＢ生成手段１４０は、参照画像データ番号Ｎに１を加え（ステップＳ１６）、ステップＳ１２に戻り、特徴抽出手段１３０が電話帳ＤＢ１１０を参照し、次の参照する画像データの番号ＮがＭより大きくなるまで、上記処理を繰り返していく。こうして、従来の電話帳ＤＢ１２０と特徴データ１１５との関連付けが順に行われて、電話帳ＤＢ１１０が生成される。

こうして、電話帳ＤＢ１１０においては、電話番号１２１、名前１２２、画像データ１２３などの従来の電話帳ＤＢ１２０と共に、事前に抽出された画像データ１２３の特徴データ１１５を画像データ１２３に関連付けており、特徴データ１１５を含めた管理が常時可能となる。

＜第２の実施形態＞
図３は、第２の実施形態の携帯電話を表すブロック図である。

携帯電話２００は、第１の実施形態の携帯電話１００に類似比較手段２１０を加えた構成であり、図１と共通の部分には同一の符号を付してある。この携帯電話２００は、第１の実施形態と同じ電話帳ＤＢ１１０を備えており、ＤＢ生成手段１４０により、第１の実施形態で説明したように、既に電話帳ＤＢ１１０を生成している。

図３の携帯電話２００は、ネットワーク網２７０を経由して家庭内にある記憶手段２５０やサーバ内のＤＢ２６０に接続されて、画像データを取得可能である。また、携帯電話２００は、内部カメラ２４０を備えており、これから画像データを取得可能であり、また、ＳＤ等の外部記憶手段２８０を直接接続して画像データを取得可能である。

携帯電話２００のカメラ２４０により写真撮影した画像データ又は、ネットワーク２７０や外部記憶手段２８０等を通じて外部より入手した画像データＡＡ２２０に基づいて、電話帳ＤＢ１１０内の類似画像を抽出する場合を、図４のフローチャートを使って説明する。

まず、携帯電話２００は、内部カメラ２４０、外部記憶手段２８０又はネットワーク２７０を通じての記憶手段２５０や外部ＤＢ２６０から画像データＡＡ２２０を入手する（ステップＳ２１）。次に、特徴抽出手段１３０で、画像データＡＡ２２０の特徴データＡＡ２３０を抽出する（ステップＳ２２）。

特徴抽出手段１３０は、図２のステップＳ１１と同様に、参照画像データ番号Ｎを１と置く（ステップＳ２３）。特徴抽出手段１３０は、電話帳ＤＢ１１０を参照して、参照するデータベースの格納画像データ１２３の番号ＮがＭ以下か、それより大きいかを判定する（ステップＳ２４）。参照する画像データ１２３の番号ＮがＭより大きい場合は処理を終了する。参照する画像データの番号ＮがＭ以下の場合は、ステップＳ２５に進んで、類似比較手段２１０が特徴データ２３０と特徴データ１１５を比較して類似判定を行なう。まずは、Ｎ＝１であるので、特徴データＡ１１５−１と比較する。

特徴データＡＡ２３０と特徴データＡ１１５−１が類似であった場合、電話帳ＤＢ１１０の特徴データＡ１１５−１に対応した画像データＡ１２３−１の抽出を行う（ステップＳ２７）。これにより、入力画像データに対して、電話帳ＤＢ１１０内の類似画像データの検索を行う事が可能となる。

ステップＳ２５において特徴データＡＡ２３０と特徴データＡ１１５−１が類似でなかった場合、あるいはステップＳ２７において画像データＡ１２３−１の抽出を行った場合、ステップＳ２６に進む。類似比較手段２１０は、Ｎに１を加え（ステップＳ２６）、ステップＳ２４に戻り、特徴抽出手段１３０が電話帳ＤＢ１１０を参照し、参照する画像データの番号ＭがＮより小さくなるまで、上記処理を繰り返していく。

ここで、ステップＳ２５の類似判定は次のように行なう。予め類似判定の基準とする閾値を定めておく。類似判定手段２１０は、特徴データＡＡ２３０と特徴データ１１５の特徴データの差分を求め、その差分と閾値を比較し、差分が閾値以下であれば類似とみなす。

なお、全ての特徴データ１１５について、入力画像データＡＡ２２０の特徴データＡＡ２３０との類似比較を行なえば、場合によって複数の特徴データ１１５が抽出される事がある。その場合は、表示手段に抽出された特徴データ１１５の画像データ１２３を表示し、ユーザに選択させることも可能である。

このように、電話帳ＤＢ１１０内の全ての画像データ１２３の特徴データ１１５を備えているので、外部より入力された画像データＡＡ２２０の特徴データＡＡ２３０を抽出すれば、特徴データ１１５との類似比較を短時間で行う事が可能となり、処理パフォーマンスが比較的低い携帯電話においても、画像類似検索処理を短時間で行う事が可能となる。

＜第３の実施形態＞
図５は、第３の実施形態の携帯電話３００を表すブロック図である。

携帯電話３００は、ＤＢ１５０と、特徴抽出手段１３０と、ＤＢ生成手段１４０と、類似比較手段２１０とを備えた構成である。図１及び図３と共通の部分には同一の符号を付してある。ＤＢ１５０は、電話帳ＤＢ１１０に、特徴データ３１０と画像データ３２０とを加えたものである。第２の実施形態で説明したように、外部から取得した画像データＡＡ２２０は、特徴抽出手段１３０により特徴データＡＡ２３０を抽出され、類似比較手段２１０により電話帳ＤＢ１１０の特徴データＡ１１５−１と類似していると判定される。ＤＢ生成手段１４０は、特徴データＡＡ２３０と画像データＡＡ２２０を特徴データＡ１１５−１に関連付けて、ＤＢ１５０に登録する。

既に生成された電話帳ＤＢ１１０と、入力された画像データＡＡ２２０を関連付けて新ＤＢ１５０を生成するＤＢ生成手段１４０の手順を図６を使って説明する。

ステップＳ３１における類似比較手段２１０の処理は、図４のフローチャートにおけるステップＳ２１〜Ｓ２７の処理である。

ステップＳ３２において、入力画像データＡＡ２２０とその特徴データＡＡ２３０を電話帳ＤＢ１１０の特徴データＡ１１５−１に関連づけた新ＤＢ１５０を生成する。これにより、特徴データＡ１１５−１が指す画像データＡ１２３−１、名前１２２の「友田昌子」１２３−１、電話番号１２１の「０９０−１２３４−５６７８」１２１−１の各データを参照する事が可能となる。

このように本体での写真撮影や外部より入手した画像データＡＡ２２０とその特徴データＡＡ２３０に対しても電話帳ＤＢ１１０に関連付けされて常時管理可能となるために、次回、当該画像データに関して類似画像を検索して表示する際にも、再度、類似比較手段２１０を用いて検索処理を行わなくても瞬時に情報を引き出すことが可能となる。

＜第４の実施形態＞
図７は、第４の実施形態の携帯電話４００を表すブロック図である。

第３の実施形態で説明したように、ＤＢ１５０が生成されており、画像データＡＡ２２０の特徴データＡＡ２３０は、特徴データＡ１１５−１、画像データＡ１２３−１に関連付けられている。ＤＢ１５０においては、画像データＡＡ２２０の画像データファイル４２０が格納されている。本実施形態の携帯電話４００は、メタデータ付加手段４１０を備えている。図７では、第３の実施形態におけるＤＢ１５０、特徴抽出手段１３０、ＤＢ生成手段１４０、類似比較手段２１０は、図示していないが、当然備えているものとする。

メタデータ付加手段４１０は、特徴データＡ１１５−１、画像データＡ１２３−１に関連付けられている名前１２２の「友田昌子」１２３−１、及び電話番号１２１の「０９０−１２３４−５６７８」１２１−１の各データを抽出し、画像データファイル４２０において、画像データＡＡ２２０に加えてメタデータ４２０−２として書き込む。

こうして、画像データファイル４２０が、ＤＢ１５０以外に移動された場合であっても、画像データファイル４２０内のメタデータを読み出す手順だけで入力画像データＡＡ２２０に関連付けられた情報を引き出す事が可能となる。

＜第５の実施形態＞
図８は、第５の実施形態の携帯電話５００を表すブロック図である。
この第５の実施形態における携帯電話５００は、第１及び第２の実施形態に示した電話帳ＤＢ１１０を有するものである。当然ながら、特徴抽出手段１３０、ＤＢ生成手段１４０、類似比較手段２１０を有しており、さらに、メタデータ付加手段４１０も備えている。

本実施形態の携帯電話５００は、画像データＡ１２３−１の画像データファイル５２０に対し、画像データＡ１２３−１の特徴データＡ１１５−１を画像Ａ１２３−１のメタデータとしてメタデータ付加手段４１０により書き込む。

このメタデータは、Ｅｘｉｆデータとしても良い。これにより、画像データに名前や、電話番号といった付加情報を追加できる。

こうして、画像データファイル５２０が、ＤＢ１１０以外に移動された場合であっても、画像データファイル５２０内のメタデータを読み出す手順だけで画像データに関連付けられた情報を引き出す事が可能となる。

＜第６の実施形態＞
図９は、第６の実施形態の携帯電話６００を表すブロック図である。

本実施形態のＤＢは、第１の実施形態で説明した電話帳ＤＢ１１０とは異なるものである。
従来のデータボックスを表している従来データＢｏｘ６２０は、格納フォルダ６１０を持ち、この図の例では、フォルダＡには「花」、フォルダＢには「動物」、フォルダＣには「山」という名前がつけられている。フォルダＡ「花」６２１−１にはユーザが手動で分類した花の画像データＡ６２３−１が関連付けられ登録されている。
同様にフォルダＢ「動物」６２１−２、フォルダＣ「山」６２１−３があり、ユーザが手動で分類した画像データＢ６２３−２、画像データＣ６２３−３が関連付けられ登録されている。

従来のデータＢｏｘ６２０は、従来の携帯電話において実現されているデータ分類を表したものである。これら、フォルダに分類された画像データを第１の実施形態と同様に、図１の電話帳ＤＢ１２０がデータＢＯＸ６２０に置き換わったものと同じである。
フォルダ内の画像データを特徴抽出手段１３０により、特徴データを抽出し、ＤＢ生成手段１４０で画像データ６２３と特徴データ６１５との関連付けを行う。

これにより、電話帳以外のフォルダに納められた画像データにも、分類テキストや特徴データを付加する事が可能となる。

＜第７の実施形態＞
図１０の電話帳ＤＢ１１０は、図１の電話帳ＤＢ１１０と同じであるが、記載スペースの関係から左側が省略されて記載されている。この携帯電話７００は、画像データの一部を選択し、その部分の特徴データを抽出し、類似画像を抽出するものである。さらに、この抽出した特徴データに関連するデータを表示手段に表示する機能も有する。

携帯電話７００は、特徴抽出手段１３０、ＤＢ生成手段１４０、類似比較手段２１０、メタデータ付加手段４１０に加えて、操作手段（エリア選択手段）７１０、エリア座標抽出手段７２０、表示制御手段７４０、表示手段７５０を備える。表示手段７５０は液晶パネルなどからなり、表面にはタッチパネル等の入力操作手段７１０が備えられている。また、操作手段７１０は、キー入力操作も含んでいる。そして、後述する画像エリアを指定するエリア選択手段としても機能する。

以下に、携帯電話７００の画像データ検索についての処理について説明する。
図１１は、携帯電話７００の画像データ検索についての処理手順を示すフローチャートである。

ステップＳ１３１０にて、表示制御手段７４０が、外部より入力された画像９００を表示手段７５０に表示する。図１２に示すように、表示手段７５０に画像９００が表示されたとする。ステップＳ１３２０にて、操作手段７１０により、画面上の所望エリアをユーザが選択する。例えば、図１２に示すように、表示手段７５０に表示されている画像９００上で、ユーザが操作手段７１０を使い、エリア９１０を選択する。

ステップＳ１３３０にて、操作手段７１０により、選択されたエリア９１０をエリア座標抽出手段７２０によりそのエリアの画像データＡ９１０とそのエリアの座標データ９３０とを抽出する。ステップＳ１３４０にて、特徴抽出手段１３０で、エリア画像データＡ９１０のエリア特徴データＡ９２０を抽出する。

電話帳ＤＢ１１０内の個人情報は１〜Ｍ個あり、従って、電話番号１２１、名前１２２、画像データ１２３が、それぞれ１〜Ｍ個あり、上から順に番号を符しているものとする。類似比較手段２１０は、順に特徴データ１１５を参照しながら比較を行なっていく。まず類似比較手段２１０は、参照する画像データ１２３の番号をＮ＝１と置き（ステップＳ１３５０）、順に画像を参照していく。図１０は例として電話帳ＤＢのみの記載になっているが、参照場所がデータＢｏｘでもかまわない。

類似比較手段２１０は、電話帳ＤＢ１１０を参照して、参照する画像データの番号ＮがＭ以上か、それより小さいかを判定する（ステップＳ１３６０）。参照する画像データの番号ＮがＭより大きい場合は処理を終了する。参照する画像データの番号ＮがＭ以下の場合は、類似比較手段２１０でエリア特徴データＡ９２０と、電話帳ＤＢ１１０の特徴データ１１５を類似判定する（ステップＳ１３７０）。まずは、Ｎ＝１であるので、特徴データＡ１１５−１から比較する。

次に、類似比較手段２１０は、Ｎに１を加え（ステップＳ１３８０）、ステップＳ１３６０に戻り、特徴抽出手段１３０が電話帳ＤＢ１１０を参照し、参照する画像データの番号ＭがＮより小さくなるまで、上記処理を繰り返していく。

こうして、電話帳ＤＢ１１０の特徴データ１１５の中からエリア特徴データ９２０に類似したデータを抽出できる。

類似比較手段２１０の類似判定により、例として、エリア特徴データＡ９２０と特徴データＡ１１５−１が類似であり、特徴データＡ１１５−１が抽出されたとする。ＤＢ生成手段１４０は、エリア特徴データＡ９２０、エリア画像データＡ９１０を、特徴データＡ１１５−１に関連付けて新たなＤＢ７６０を作成する。また、電話帳ＤＢ１１０の特徴データＡ１１５−１に対応した画像データＡ１２３−１の抽出を行う（ステップＳ１３９０）。これにより、入力画像データに対して、電話帳ＤＢ１１０内の類似画像データの検索を行う事が可能となる。

また、メタデータ付加手段４１０は、画像データファイル８００にメタデータ等を付加することもできる。この画像データファイル８００を図１３に示す。画像データファイル８００内に、第４の実施形態の図７で説明したように、外部入力された画像データＡＡ２２０とそのメタデータ４２０−２が格納されている。さらに、そのエリア画像データＡ９１０のメタデータ８１０として、エリア特徴データＡ９２０、座標データ９３０、エリア特徴データＡ９２０と類似と判定された特徴データＡ１１５−１に関連する名前１２２−１、電話番号データ１２１−１のデータ９５０が付加される。
画像データファイル８００では、エリア画像データＡ９２０についてのみであるが、複数の画像エリアが選択されれば、その複数のエリア画像のメタデータも付加される。

こうして抽出された画像データ９１０に関して、表示手段７５０にメタデータを含めて表示する場合を説明する。
図１４に示すように、入力画像９００に対して、エリア画像データ９１０に、メタデータである名前１２２を表示する場合を想定する。この場合は、エリア画像データ９１０に類似する画像データを検索することにより、前述したように、類似画像データに関連する名前１２２を得る。名前を表示する座標を予め設定しておくと、表示制御手段７４０は、表示手段７５０に設定された位置に名前を表示する。この場合は、吹き出し内に名前を表示し、対象となるエリア画像を示すようになっている。

このように、入力画像９００の各エリア（人物画像の顔部分）毎にメタデータを表示したものが図１５であり、ユーザが各人物の顔部分をエリアとして選択し、前述のように類似比較処理を行なって、各エリア画像データはＤＢ７６０において、ＤＢ１１０のデータに関連付けられる。従って、表示制御手段７４０は、ＤＢ７６０から表示に必要な関連情報（この場合は名前）を得て、表示手段７５０に表示する。

こうして、集合写真のように一つの画像のなかに複数の検索対象となる画像が存在する場合には、その場に居合わせない人が名前を知る事ができる事から、例えば、出席者が、居合わせなかった人に写真を見せ、「ジョンはこの時××で、××をして盛り上がった」といった、情報を視覚で確認でき、居合わせなかった人、参加した人との情報共有がなされる事で会話が、スムーズに行う事ができる。

なお、メタデータ付加手段４１０による画像データファイルからメタデータを得て表示処理を行なってもよい。また、図１６の様に、タッチスクリーンで使われるようなタッチペン１７１０で触れた画像（人物の顔画像）に名前１７２０を表示させることも可能である。例えば、メタデータが組み込まれている部分をタッチするとメタデータの付加情報を表示させることができる。

上述したように、上記各実施の形態に係る携帯電話のデータベース作成機能や類似比較機能は、コンピュータによって実現することができる。その場合、このような機能の処理内容を記述したプログラムが提供される。そして、そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。

１００，２００，３００，４００，５００，６００，７００ 携帯電話
１１５ 特徴データ
１１０，１２０ 電話帳ＤＢ
１２１ 電話番号
１２２ 名前
１２３ 画像データ
１３０ 特徴抽出手段
１４０ ＤＢ生成手段
２１０ 類似比較手段
２２０ 入力画像データ
２３０ 特徴データ
２４０ 内部カメラ
２５０ 記憶手段
２６０ ＤＢ
２７０ ネットワーク
２８０ 外部記憶手段
３１０ 特徴データ
３２０ 入力画像データ
４００ 携帯電話
４１０ メタデータ付加手段
４２０ 画像データファイル
４２０−２ メタデータ
５２０ 画像データファイル
６１０ 格納フォルダ
７１０ 操作手段
７２０ エリア座標抽出手段
７４０ 表示制御手段
７５０ 表示手段
８００ 画像データファイル
８１０ メタデータ
９００ 入力画像
９１０ エリア画像データ
９２０ エリア特徴データ
９３０ 座標データ
９５０ データ
１７１０ タッチペン

Claims (11)

1. 画像データを含む関連付けられた複数のデータからなる関連データ群を備えるデータベースを有し、入力画像データに類似する前記データベースの格納画像データを検索する情報処理装置であって、
   前記格納画像データ及び入力画像データから特徴データを抽出する特徴抽出手段と、
   前記特徴抽出手段により前記格納画像データから抽出した特徴データを、該格納画像データの関連データ群に関連付けてデータベースを作成するデータベース生成手段と、
   前記特徴抽出手段により入力画像データから抽出された特徴データと前記格納画像データの特徴データとを比較し、類似度が所定値を越える類似特徴データを抽出する類似比較手段と、
   を備え、
   検索した前記類似特徴データに関連付けられた関連データ群から所望のデータを抽出可能としたことを特徴とする情報処理装置。
2. 請求項１に記載の情報処理装置であって、
   前記データベース生成手段は、入力画像データとその特徴データとを、前記類似特徴データの関連データ群に関連付けてデータベースを生成することを特徴とする情報処理装置。
3. 請求項２に記載の情報処理装置であって、
   前記類似特徴データに関連付けられた前記関連データ群の少なくとも一部のデータを、入力画像データのメタデータとして付加書き込みするメタデータ付加手段を有することを特徴とする情報処理装置。
4. 請求項２に記載の情報処理装置であって、
   前記入力画像の特徴データを、入力画像データのメタデータとして付加書き込みするメタデータ付加手段を有することを特徴とする情報処理装置。
5. 請求項１又は２に記載の情報処理装置であって、
   入力画像データの画像領域の一部を選択することが可能なエリア選択手段と、
   前記エリア選択手段で選択された画像領域を表すエリア座標情報と、そのエリア内の画像データを抽出するエリア座標抽出手段と、
   を備え、
   前記特徴抽出手段は、前記エリア内の画像データの特徴データを、入力画像データの特徴データとして抽出することを特徴とする情報処理装置。
6. 請求項５に記載の情報処理装置であって、
   前記類似特徴データに関連付けられた前記関連データ群の少なくとも一部のデータを、入力画像データのメタデータとして付加書き込みするメタデータ付加手段を有することを特徴とする情報処理装置。
7. 請求項５記載の情報処理装置であって、
   前記座標情報と前記入力画像の特徴データを、入力画像データのメタデータとして付加書き込みするメタデータ付加手段を有することを特徴とする情報処理装置。
8. 請求項５〜７のいずれかに記載の情報処理装置であって、
   前記類似画像データに関連付けされた関連データ群の一部のデータを、前記エリア内画像を示すように表示することを特徴とする情報処理装置。
9. 前記請求項５〜８のいずれかに記載の情報処理装置であって、
   表示手段に画像を表示する制御を行なう表示制御手段をさらに備え、
   前記表示制御手段は、前記類似判定手段により前記エリア内画像データに類似する類似特徴データが抽出された場合、前記エリア内画像データを前記表示手段の表示画面中心に表示することを特徴とする情報処理装置。
10. 画像データを含む関連付けられた複数のデータからなる関連データ群を備えるデータベースを有し、入力画像データに類似する前記データベースの格納画像データを検索する情報処理方法であって、
    前記格納画像データ及び入力画像データから特徴データを抽出する特徴抽出ステップと、
    前記特徴抽出ステップにより前記格納画像データから抽出した特徴データを、該格納画像データの関連データ群に関連付けてデータベースを作成するデータベース生成ステップと、
    前記特徴抽出ステップにより入力画像データから抽出された特徴データと前記格納画像データの特徴データとを比較し、類似度が所定値を越える類似特徴データを抽出する類似比較ステップと、
    を備え、
    検索した前記類似特徴データに関連付けられた関連データ群から所望のデータを抽出可能としたことを特徴とする情報処理方法。
11. コンピュータに、請求項１０に記載の情報処理方法の各ステップを実行させることが可能な情報処理プログラム。

Images