JP2007094962A - 画像内に表現された被写体の特定 - Google Patents

Abstract

【課題】画像内に表現された被写体を容易に特定することのできる技術を提供する。
【解決手段】画像処理装置は、複数の対象物に対応する複数の基準特徴データが格納された基準特徴データ格納部と、複数の対象物のうちの互いに類似する対象物間の相違点に関する相違データが格納された相違データ格納部と、被写体が表現された対象画像から、被写体の特徴を示す特徴データを抽出する特徴データ抽出部と、特徴データと複数の対象物に対応する複数の基準特徴データとを用いて、複数の対象物の中から被写体の候補としての候補対象物を選択するための候補選択部と、複数の候補対象物が選択された場合に、複数の候補対象物間の相違データによって示される相違情報をユーザに提供するための相違情報提供部と、を備える。
【選択図】図４

Description

本発明は、画像処理の技術に関し、特に、画像内に表現された被写体を特定するための技術に関する。

画像内に表現された被写体が何であるかを自動的に特定することが試みられている。この技術は、例えば、電子図鑑などとして機能する画像処理装置に適用される。

従来では、被写体が表現された対象画像から抽出される特徴量と、予め準備された複数の対象物に対応する複数の基準特徴量と、を用いて、複数の類似度が算出され、高い類似度に対応する対象物が被写体の候補として選択されていた。そして、被写体の候補として複数の対象物（候補対象物）が選択された場合には、ユーザが各対象物の詳細情報を確認することによって、被写体が何であるかが特定されていた。

特開２００３−２８８３６３号公報

しかしながら、従来の技術では、被写体を特定することが困難であった。これは、ユーザは各対象物の詳細情報を確認して被写体を特定する必要があり、各対象物の詳細情報の確認に時間と手間とが掛かるためである。

この発明は、従来技術における上述の課題を解決するためになされたものであり、画像内に表現された被写体を容易に特定することのできる技術を提供することを目的とする。

上述の課題の少なくとも一部を解決するため、本発明の第１の装置は、画像処理装置であって、
複数の対象物に対応する複数の基準特徴データであって、前記各基準特徴データは対応する前記対象物の特徴を示す、前記複数の基準特徴データが格納された基準特徴データ格納部と、
前記複数の対象物のうちの互いに類似する対象物間の相違点に関する相違データが格納された相違データ格納部と、
被写体が表現された対象画像から、前記被写体の特徴を示す特徴データを抽出する特徴データ抽出部と、
前記特徴データと前記複数の対象物に対応する前記複数の基準特徴データとを用いて、前記複数の対象物の中から、前記対象画像内に表現された前記被写体の候補としての候補対象物を選択する候補選択部と、
複数の前記候補対象物が選択された場合に、前記複数の候補対象物間の前記相違データによって示される相違情報をユーザに提供する相違情報提供部と、
を備えることを特徴とする。

この装置では、被写体の候補として複数の候補対象物が選択された場合に、複数の候補対象物間の相違情報がユーザに提供されるため、ユーザは、相違情報に基づいて、被写体を容易に特定することができる。

第１の装置において、さらに、
前記複数の対象物に対応する複数の詳細データであって、前記各詳細データは対応する前記対象物の詳細情報を示す、前記複数の詳細データが格納された詳細データ格納部と、
前記ユーザによって前記複数の候補対象物のうちのいずれかが指定された場合に、前記指定された候補対象物に対応する前記詳細データによって示される前記詳細情報をユーザに提供する詳細情報提供部と、
を備えることが好ましい。

こうすれば、ユーザは、自ら指定した候補対象物の詳細情報を知ることができる。

本発明の第２の装置は、画像処理装置であって、
複数の対象物に対応する複数の基準特徴データであって、前記各基準特徴データは対応する前記対象物の特徴を示す、前記複数の基準特徴データが格納された基準特徴データ格納部と、
前記複数の対象物のうちの互いに類似する対象物間の相違点に関する相違データが格納された相違データ格納部と、
対象画像内に表現された被写体が前記複数の対象物のうちのいずれであるかを特定するための被写体特定部と、
を備え、
前記被写体特定部は、
前記対象画像から、前記被写体の特徴を示す特徴データを抽出する特徴データ抽出部と、
前記特徴データと前記複数の対象物に対応する前記複数の基準特徴データとを用いて、前記複数の対象物の中から、前記対象画像内に表現された前記被写体の候補としての候補対象物を選択する候補選択部と、
複数の前記候補対象物が選択された場合に、前記複数の候補対象物間の前記相違データを利用して、前記複数の候補対象物のうちのいずれかを前記被写体として決定する決定部と、
を備えることを特徴とする。

この装置では、被写体の候補として複数の候補対象物が選択された場合に、決定部によって複数の候補対象物間の相違データが利用されるため、被写体を容易に特定することができると共に、被写体を正確に特定することができる。

第２の装置において、
前記決定部は、
前記複数の候補対象物間の前記相違データに応じて、前記ユーザに、前記対象画像内に表現された前記被写体と同一または同種の被写体の特定の部位が表現された参考画像を指定するように、指示する指示部と、
前記ユーザによって指定された前記参考画像から、前記被写体の前記特定の部位の特徴を示す参考特徴データを抽出する参考特徴データ抽出部と、
を備え、
前記決定部は、
前記参考特徴データと前記複数の候補対象物に対応する複数の前記基準特徴データとを用いて、前記複数の候補対象物のうちのいずれかを前記被写体として決定するようにしてもよい。

このように、被写体の特定の部位が表現された参考画像から参考特徴データが抽出されれば、被写体を容易に特定することができると共に、被写体を正確に特定することができる。

また、第２の装置において、さらに、
前記複数の対象物に対応する複数の基準詳細特徴データであって、前記各基準詳細特徴データは対応する前記対象物の特定の部位の詳細な特徴を示す、前記複数の基準詳細特徴データが格納された基準詳細特徴データ格納部を備え、
前記決定部は、
前記複数の候補対象物間の前記相違データに基づいて、前記複数の候補対象物に対応する複数の前記基準詳細特徴データを選択する基準詳細特徴データ選択部と、
前記対象画像から、前記被写体の前記特定の部位の詳細な特徴を示す詳細特徴データを抽出する詳細特徴データ抽出部と、
を備え、
前記決定部は、
前記詳細特徴データと前記複数の候補対象物に対応する前記複数の基準詳細特徴データとを用いて、前記複数の候補対象物のうちのいずれかを前記被写体として決定するようにしてもよい。

このように、複数の候補対象物に対応する複数の基準詳細特徴データが選択されると共に、対象画像から詳細特徴データが抽出されれば、被写体を容易に特定することができると共に、被写体を正確に特定することができる。

第２の装置において、
前記決定部は、
前記複数の候補対象物間の前記相違データに基づいて、前記複数の候補対象物のうちのいずれかを前記被写体として決定するための重み付けを設定する設定部を備え、
前記決定部は、
前記重み付けの設定に従って、前記特徴データと前記複数の候補対象物に対応する複数の前記基準特徴データとを用いて、前記複数の候補対象物のうちのいずれかを前記被写体として決定するようにしてもよい。

このように、重み付けが設定されれば、被写体を容易に特定することができると共に、被写体を正確に特定することができる。

上記の装置において、
前記決定部は、
前記特徴データと前記複数の候補対象物に対応する複数の前記基準特徴データとを用いて、複数の類似度を算出し、前記複数の類似度のうちの最大の類似度に対応する前記候補対象物を前記被写体として決定し、
前記決定部は、
前記特徴データに含まれる複数の特徴要素に対応する複数の要素データと、前記基準特徴データに含まれる前記複数の特徴要素に対応する複数の基準要素データと、を用いて算出される複数の要素類似度に前記重み付けを施して前記各類似度を算出するようにしてもよい。

第２の装置において、さらに、
前記複数の対象物に対応する複数の詳細データであって、前記各詳細データは対応する前記対象物の詳細情報を示す、前記複数の詳細データが格納された詳細データ格納部と、
前記決定部によって前記複数の候補対象物のうちのいずれかが前記被写体として決定された場合に、前記決定された対象物候補に対応する前記詳細データによって示される前記詳細情報をユーザに提供する詳細情報提供部と、
を備えることが好ましい。

こうすれば、ユーザは決定部によって決定された被写体の詳細情報を知ることができる。

この発明は、種々の形態で実現することが可能であり、例えば、画像処理装置および方法、これらの方法または装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体、そのコンピュータプログラムを含み搬送波内に具現化されたデータ信号、等の形態で実現することができる。

Ａ．第１実施例：
Ａ−１．画像処理装置の構成：
次に、本発明の実施の形態を実施例に基づき説明する。図１は、電子図鑑として機能する画像処理装置（パーソナルコンピュータ）２００を示す説明図である。この装置を用いることにより、ユーザは対象画像内に表現された被写体（例えば植物）が何であるかが分からない場合に、ユーザは、被写体を容易に特定することができると共に、被写体の詳細情報を得ることができる。

画像処理装置２００は、ＣＰＵ２１０と、ＲＯＭやＲＡＭなどの内部記憶装置２２０と、外部記憶装置２５０と、表示部２６０と、マウスやキーボードなどの操作部２７０と、インタフェース部（Ｉ／Ｆ部）２９０と、を備えている。Ｉ／Ｆ部２９０は、外部に設けられた種々の機器との間でデータ通信を行う。例えば、Ｉ／Ｆ部２９０は、デジタルカメラ４００から画像データを受け取る。

外部記憶装置２５０には、植物や、動物、昆虫などのカテゴリで区分された複数の図鑑データベース２５２が格納されている。

図２は、１つの図鑑データベース２５２の内容を示す説明図である。なお、図２では、植物の図鑑データベースの内容が示されている。

図２に示すように、１つの図鑑データベースには、複数の対象物に対応する複数の対象物データが含まれている。なお、対象物データは、対象物（植物）毎に、対象物の名称と対応付けて登録されている。対象物データは、対応する対象物の詳細データと、対応する対象物の基準特徴データと、を含んでいる。

詳細データは、対応する対象物が表現された１以上の画像や、対応する対象物に関する詳細な説明などの詳細情報を含んでいる。詳細な説明には、例えば、対象物（植物）の態様（花の色・形状，葉の色・形状，茎の色・形状など）や、棲息地、棲息環境、発芽や開花の時期などの説明が含まれる。

本実施例では、詳細データは、さらに、対応する対象物に類似する他の対象物の名称を含んでいる。なお、図２では、植物Ａに類似する植物として、植物Ｂと植物Ｃとが登録されている。

基準特徴データは、対応する対象物の種々の特徴を示すデータである。より具体的には、基準特徴データは、複数の特徴要素を示す複数の要素データを含んでいる。基準特徴データには、例えば、対象物（植物）の花の色や、花の形状、葉の色、葉の形状などの複数の特徴要素を示す複数の要素データが含まれる。

本実施例では、色に関する要素データとしては、色ヒストグラムの複数のクラスの値（頻度）が利用されている。色ヒストグラムは、周知のように、画像内の各画素を、その色に応じて、複数のクラスに区分することによって得られるヒストグラムである。例えば、花の色に関する要素データは、植物が表現された基準画像から花の部分を抽出し、該抽出画像を用いて色ヒストグラムの値を求めることによって、得られる。葉の色に関する要素データも同様である。

また、本実施例では、形状に関する要素データとしては、所定のサイズ（画素数）を有する二値画像データが利用されている。例えば、葉の形状に関する要素データは、植物が表現された基準画像から葉の部分を囲む矩形画像を選択し、該矩形画像にエッジ抽出処理を施すことによって葉の輪郭を抽出し、輪郭内部と輪郭外部とで異なる値を示す二値画像を所定のサイズに縮小することによって、得られる。花の形状に関する要素データも同様である。

外部記憶装置２５０には、さらに、植物や、動物、昆虫などのカテゴリで区分された複数の相違データベース２５４が格納されている。各相違データベースは、同じカテゴリの図鑑データベースが利用される場合に、利用される。

図３は、１つの相違データベース２５４の内容を示す説明図である。なお、図３では、植物の図鑑データベースに対応する植物の相違データベースの内容が示されている。

図示するように、相違データベースには、互いに類似する対象物間の相違点に関する相違データが含まれている。相違データは、互いに類似する対象物（例えば植物Ａおよび植物Ｂ）間の相違点の説明や、相違点に関する第１の対象物（例えば植物Ａ）の画像、相違点に関する第２の対象物（例えば植物Ｂ）の画像などの相違情報を含んでいる。相違点の説明には、互いに類似する対象物を見分けるポイントの説明が含まれている。また、相違点に関する各対象物の画像には、互いに類似する対象物を見分けるポイントの説明に対応する画像が含まれる。例えば、２つの植物Ａ，Ｂを見分けるポイントが葉の形状である場合には、相違点の説明には、双方の植物の葉の形状の説明が含まれ、相違点に関する各対象物の画像には、各植物の葉の形状が表現された画像が含まれる。

内部記憶装置２２０（図１）には、画像処理部３００として機能するコンピュータプログラムが格納されている。なお、画像処理部３００の機能は、ＣＰＵ２１０がコンピュータプログラムを実行することによって実現される。コンピュータプログラムは、ＣＤ−ＲＯＭなどのコンピュータ読み取り可能な記録媒体に記録された形態で提供される。

画像処理部３００は、被写体特定部３０２と、詳細情報提供部３０４と、を備えている。

被写体特定部３０２は、特徴データ抽出部３１２と、候補選択部３１４と、相違情報提供部３１６と、を備えており、画像内に表現された被写体が複数の対象物のうちのいずれであるかを特定する。

特徴データ抽出部３１２は、特定すべき被写体が表現された対象画像を表す対象画像データを解析して、被写体の特徴を示す特徴データを抽出する。

候補選択部３１４は、特徴データ抽出部３１２によって対象画像データから抽出された特徴データと、１つの図鑑データベース２５２に含まれる複数の対象物に対応する複数の基準特徴データと、を用いて、複数の対象物の中から、対象画像内に表現された被写体の候補としての候補対象物を選択する。

相違情報提供部３１６は、候補選択部３１４によって複数の候補対象物が選択された場合に、相違データベース２５４から該複数の候補対象物間の相違データを読み出して、相違情報を表示部２６０に表示させる。

なお、本実施例では、候補選択部３１４によって１つの候補対象物のみが選択された場合には、被写体特定部３０２は、該１つの候補対象物を被写体として決定する。また、候補選択部３１４によって複数の候補対象物が選択された場合には、ユーザが、該複数の候補対象物のうちの１つを被写体として決定する。

詳細情報提供部３０４は、被写体特定部３０２またはユーザによって決定された被写体（対象物）に対応する詳細データを図鑑データベース２５２から読み出して、詳細情報を表示部２６０に表示させる。

なお、本実施例における図鑑データベース２５２に含まれる複数の基準特徴データが格納された外部記憶装置２５０内の記憶領域が、本発明における基準特徴データ格納部に相当し、図鑑データベース２５２に含まれる複数の詳細データが格納された外部記憶装置２５０内の記憶領域が、本発明における詳細データ格納部に相当する。また、本実施例における相違データベース２５４が格納された外部記憶装置２５０内の記憶領域が、本発明における相違データ格納部に相当する。

Ａ−２．画像処理部の処理：
図４は、画像処理部３００の一連の処理手順を示すフローチャートである。

ステップＳ１０２では、ユーザは、複数の図鑑データベース２５２の中から、１つの図鑑データベースを選択する。ユーザによる図鑑データベースの選択は、画像処理部３００によって準備された図鑑選択画面において、ユーザが複数の図鑑の中から所望の図鑑を選択することによって、実現される。なお、本実施例では、ユーザによって植物の図鑑が選択される場合を想定する。

ステップＳ１０４では、ユーザは、特定すべき被写体が表現された対象画像を指定する。ユーザによる対象画像の指定は、例えば、画像処理部３００によって準備された対象画像選択画面において、ユーザが複数の画像の中から所望の画像を選択することによって、実現される。なお、本実施例では、対象画像には、特定すべき植物が表現されている。

ステップＳ１０６では、特徴データ抽出部３１２は、対象画像を表す対象画像データを解析して、被写体の特徴を示す特徴データを抽出する。抽出される特徴データは、利用される図鑑データベースの基準特徴データに対応する。本実施例では、植物の図鑑データベース２５２が選択されており、該データベースの基準特徴データには、図２に示すように、花の色や、花の形状、葉の色、葉の形状などの複数の特徴要素を示す複数の要素データが含まれている。このため、本実施例では、対象画像データから、花の色や、花の形状、葉の色、葉の形状などの複数の特徴要素を示す複数の要素データを含む特徴データが抽出される。

具体的には、特徴データ抽出部３１２は、まず、対象画像内において被写体（植物）の各部位が表現された領域を決定する。例えば、対象画像に対してエッジ抽出処理を施すことによってエッジ画像が生成され、該エッジ画像に基づいて、対象画像が複数の領域に区分される。複数の領域のうち、赤や、白、黄色などの花の色である可能性が高い領域は、花の領域として決定される。また、緑色などの葉の色である可能性が高い領域は、葉の領域として決定される。なお、領域の決定が困難な場合には、ユーザによって花の領域や葉の領域が指示されるようにしてもよい。

特徴データ抽出部３１２は、次に、要素データを生成する。例えば、花の色に関する要素データは、花の領域を構成する各画素を、その色に応じて複数のクラスに区分し、色ヒストグラムの値（頻度）を求めることによって、生成される。葉の色に関する要素データも同様である。また、花の形状に関する要素データは、花の領域を囲む矩形画像を選択し、該矩形画像にエッジ抽出処理を施すことによって花の輪郭を抽出し、輪郭内部と輪郭外部とで異なる値を示す二値画像を所定のサイズに縮小することによって、生成される。葉の形状に関する要素データも同様である。

なお、対象画像内に被写体の一部（例えば植物の花）のみが表現されている場合には、特徴データには、一部の要素データ（花の色や花の形状などの要素データ）のみが含まれ、他の要素データ（葉の色や葉の形状などの要素データ）は含まれない。

ステップＳ１０８では、候補選択部３１４は、ステップＳ１０２で選択された図鑑データベースに登録された複数の対象物の中から、被写体の候補を選択する。

具体的には、候補選択部３１４は、まず、ステップＳ１０６で得られた特徴データと、ステップＳ１０２で選択された図鑑データベースに登録された複数の対象物に対応する複数の基準特徴データと、を用いて複数の類似度を算出する。

図５は、類似度の算出結果の例を示す説明図である。前述したように、本実施例では、特徴データと基準特徴データとは、それぞれ、花の色と、花の形状と、葉の色と、葉の形状と、の複数の特徴要素を示す複数の要素データを含んでいる。このように、特徴データと基準特徴データとが複数の要素データを含む場合には、対応する特徴要素毎に要素類似度が算出され、複数の要素類似度の平均値を求めることによって類似度が算出される。

なお、対象画像内に被写体の一部（例えば植物の花）のみが表現されている場合には、特徴データに含まれる一部の要素データ（花の色や花の形状などの要素データ）に対応する一部の要素類似度のみが算出され、該一部の要素類似度の平均値を求めることによって類似度が算出される。

本実施例では、色に関する要素類似度は、角距離ｃｏｓθを用いて算出される。角距離ｃｏｓθは、以下の式（１）で表される。

ここで、ベクトルＩ，ベクトルＯは、色に関する要素類似度の算出対象である２つの要素データを示すベクトルである。色ヒストグラムの各クラスｈ１，ｈ２，ｈ３…の値をｖｈ１，ｖｈ２，ｖｈ３…とすると、各ベクトルは、（ｖｈ１，ｖｈ２，ｖｈ３，…）で表され、各ベクトルの大きさは、（ｖｈ１²＋ｖｈ２²＋ｖｈ３²＋…）^1/2で表される。

例えば、花の色に関する要素類似度を算出する場合には、ベクトルＩ，ベクトルＯとして、それぞれ、被写体の花の色の要素データを示すベクトルと、対象物の花の色の要素データを示すベクトルと、が利用される。

また、本実施例では、形状に関する要素類似度は、算出対象である２つの要素データである２つの二値画像データを用いて算出される。具体的には、２つの二値画像が重ね合わされ、第１の二値画像の輪郭内部の第１の領域と第２の二値画像の輪郭内部の第２の領域との少なくとも一方の領域を含む領域の面積（第１の画素数）と、第１の領域と第２の領域との重なり部分の領域の面積（第２の画素数）と、が算出される。そして、（第２の画素数）／（第１の画素数）の値が、形状に関する要素類似度として算出される。なお、形状に関する要素類似度が算出される際には、要素類似度が最大となるように、２つの二値画像のうちの一方を平行移動させたり回転させたりすることが好ましい。

例えば、葉の形状に関する要素類似度を算出する場合には、第１の二値画像データとして被写体の葉の形状の要素データ（二値画像データ）が利用され、第２の二値画像データとして対象物の葉の形状の要素データ（二値画像データ）が利用される。

ステップＳ１０８（図４）において、複数の対象物に対応する複数の類似度が算出されると、候補選択部３１４は、次に、該複数の類似度を用いて被写体の候補を選択する。複数の類似度の中に、最大の類似度にほぼ等しい他の類似度が存在する場合（例えば、最大の類似度と他の類似度との差分が０．１以下の場合）には、最大の類似度と該他の類似度とに対応する複数の対象物が、被写体の候補として選択される。複数の類似度の中に、最大の類似度にほぼ等しい他の類似度が存在しない場合には、換言すれば、他の類似度が最大の類似度よりもかなり小さい場合（例えば、最大の類似度と他の類似度との差分が０．１を超える場合）には、最大の類似度に対応する１つの対象物が、被写体の候補として選択される。ただし、すべての類似度が比較的小さな所定値（例えば０．５）以下である場合には、候補選択部３１４は、被写体の候補を選択しない。

ステップＳ１１０では、候補選択部３１４は、ステップＳ１０８において被写体の候補が選択されたか否かを判断する。被写体の候補が選択された場合には、ステップＳ１１２に進む。一方、被写体の候補が選択されなかった場合には、図４の処理が終了する。なお、この場合には、被写体特定部３０２は、ユーザに被写体の候補が選択されなかった旨を通知することが好ましい。

ステップＳ１１２では、候補選択部３１４は、ステップＳ１０８において被写体の候補として１つの候補対象物のみが選択されたか否かを判断する。被写体の候補として１つの候補対象物のみが選択された場合には、ステップＳ１１４に進み、被写体の候補として複数の候補対象物が選択された場合には、ステップＳ２１２に進む。

ステップＳ１１４では、被写体特定部３０２は、被写体の候補として選択された唯一の候補対象物を、被写体として決定する。

ステップＳ１１６では、詳細情報提供部３０４は、被写体特定部３０２によって被写体として決定された候補対象物の詳細データを、ステップＳ１０２で選択された図鑑データベース２５２から読み出して、該詳細データによって表される詳細情報を表示部２６０に表示する。

ステップＳ２１２では、相違情報提供部３１６は、ステップＳ１０２で選択された図鑑データベース２５２と同じカテゴリの相違データベース２５４から、被写体の候補として選択された複数の候補対象物間の相違データを取得する。そして、相違情報提供部３１６は、相違データによって表される相違情報を表示部２６０に表示する。

図６は、ステップＳ２１２（図４）で表示される相違情報表示画面Ｗの一例を示す説明図である。図６には、被写体の候補として植物Ａと植物Ｂとが選択された場合に表示される画面が示されている。

図示するように、相違情報表示画面Ｗには、植物Ａと植物Ｂとの相違点の説明を表示する第１のフィールドＦ１と、相違点に関する植物Ａの画像を表示する第２のフィールドＦ２ａと、相違点に関する植物Ｂの画像を表示する第３のフィールドＦ２ｂと、が設けられている。

第１のフィールドＦ１に表示された相違点の説明から、ユーザは、植物Ａと植物Ｂとを見分けるポイントが葉の裏であることを知ることができる。また、第２および第３のフィールドＦ２ａ，Ｆ２ｂに表示された相違点に関する植物Ａおよび植物Ｂの画像から、ユーザは、植物Ａの葉の裏の態様と植物Ｂの葉の裏の態様とを知ることができる。

ステップＳ２１４（図４）では、ユーザは、被写体の候補として選択された複数の候補対象物のうちのいずれかの候補対象物を被写体として指定する。図６の相違情報表示画面Ｗには、植物Ａの詳細情報を表示させるためのボタンＢ１ａと、植物Ｂの詳細情報を表示させるためのボタンＢ２ａと、が設けられている。ユーザは、相違情報表示画面Ｗの３つのフィールドＦ１，Ｆ２ａ，Ｆ２ｂに表示された相違情報に基づいて、被写体であると考えられるいずれかの候補対象物を選択して、２つの候補対象物に対応する２つのボタンＢ１ａ，Ｂ１ｂのうちのいずれかを選択する。

ステップＳ１１６では、詳細情報提供部３０４は、ユーザによって被写体として決定された候補対象物の詳細データを、ステップＳ１０２で選択された図鑑データベース２５２から読み出して、該詳細データによって表される詳細情報を表示部２６０に表示する。これにより、ユーザは、被写体の詳細情報を知ることができる。

ところで、本実施例では、図６に示すように、相違情報表示画面Ｗには、候補対象物（植物）に類似する対象物（植物）が表示されている。図２で説明したように、植物Ａの詳細データには、植物Ａに類似する植物として、植物Ｂ，植物Ｃが登録されている。また、植物Ｂの詳細データには、植物Ｂに類似する植物として、植物Ａ，植物Ｃが登録されている場合を想定する。すなわち、植物Ｃは、植物Ａと植物Ｃとに類似する場合を想定する。前述したように、本実施例では、被写体の候補として、植物Ａと植物Ｂとが選択されている。このため、相違情報表示画面Ｗには、被写体の候補として選択された植物Ａと植物Ｂとの双方に類似する植物Ｃが、類似する植物として表示されている。

なお、図６の相違情報表示画面Ｗには、ユーザが候補対象物に類似する対象物に関する情報を得るための３つのボタンＢ２ａ〜Ｂ２ｃが準備されている。ボタンＢ２ａが選択されると、詳細情報提供部３０４は、植物の図鑑データベースから、植物Ｃの詳細データを読み出して、詳細情報を表示部２６０に表示させる。また、ボタンＢ２ｂが選択されると、相違情報提供部３１６は、植物の相違データベースから、植物Ａと植物Ｃとの相違データを読み出して、相違情報を表示部２６０に表示させる。同様に、ボタンＢ２ｃが選択されると、相違情報提供部３１６は、植物の相違データベースから、植物Ｂと植物Ｃとの相違データを読み出して、相違情報を表示部２６０に表示させる。

なお、本実施例では、被写体の候補として２つの候補対象物が選択される場合について説明したが、３以上の候補対象物が選択される場合もある。この場合には、例えば、２つの候補対象物毎の相違情報がユーザに提供されればよい。例えば、３つの候補対象物Ａ〜Ｃが選択された場合には、候補対象物Ａ，Ｂ間の相違情報と、候補対象物Ｂ，Ｃ間の相違情報と、候補対象物Ａ，Ｃ間の相違情報と、がユーザに提供されればよい。

以上説明したように、本実施例では、被写体の候補として複数の候補対象物が選択された場合に、該複数の候補対象物間の相違情報がユーザに提供されるため、ユーザは、相違情報に基づいて、被写体を容易に特定することができる。

Ｂ．第２実施例：
図７は、第２実施例における画像処理装置（パーソナルコンピュータ）２００Ｂを示す説明図である。図７は、図１とほぼ同じであるが、相違データベース２５４Ｂと画像処理部３００Ｂとが変更されている。

図８は、１つの相違データベース２５４Ｂの内容を示す説明図である。なお、図８では、図３と同様に、植物の図鑑データベースに対応する植物の相違データベースの内容が示されている。図８と図３とを比較して分かるように、本実施例でも、相違データベースには、互いに類似する対象物間の相違点に関する相違データが含まれている。ただし、本実施例では、第１実施例と異なり、相違データは、互いに類似する対象物（例えば植物Ａおよび植物Ｂ）間の相違点を含んでいるが、相違点の説明や、相違点に関する各対象物の画像などを含んでいない。相違点は、例えば、「花」や「葉」で表されていてもよいし、「花の色」や、「花の形」、「葉の色」、「葉の形」で表されていてもよい。

本実施例では、画像処理部３００Ｂは、決定部３２０を含む被写体特定部３０２Ｂを備えている。決定部３２０は、参考画像指定指示部３２２と、参考特徴データ抽出部３２４と、を備えており、候補選択部３１４によって複数の候補対象物が選択された場合に、該複数の候補対象物のうちの１つを被写体として決定する。

参考画像指定指示部３２２は、候補選択部３１４によって複数の候補対象物が選択された場合に、相違データベース２５４Ｂから該複数の候補対象物間の相違データを読み出す。そして、参考画像指定指示部３２２は、相違データに応じて、対象画像内に表現された被写体と同一または同種の被写体の特定の部位が表現された参考画像をユーザに指定するように指示するメッセージを表示部２６０に表示させる。なお、参考画像は、相違データによって示される相違点が詳細に表現された画像である。

参考特徴データ抽出部３２４は、相違データに応じて、ユーザによって指定された参考画像を表す参考画像データを解析し、被写体の特定の部位の特徴を示す参考特徴データを抽出する。なお、参考特徴データには、相違データによって示される相違点に関係する複数の要素データが含まれる。

図９は、画像処理部３００Ｂの一連の処理手順を示すフローチャートである。図９は、図４とほぼ同じであるが、ステップＳ２１２，Ｓ２１４に代えて、ステップＳ２２２〜Ｓ２２８が実行される。

ステップＳ２２２では、参考画像指定指示部３２２は、ステップＳ１０２で選択された図鑑データベース２５２と同じカテゴリの相違データベース２５４Ｂから、被写体の候補として選択された複数の候補対象物間の相違データを取得する。そして、参考画像指定指示部３２２は、相違データに応じて、ユーザに相違点（例えば「花の形状」）が表現された参考画像を指定するように指示するメッセージを表示部２６０に表示させる。

ステップＳ２２４では、ユーザは、対象画像内に表現された被写体と同一のまたは同種の被写体の特定の部位が詳細に表現された参考画像を指定する。ユーザによる参考画像の指定は、例えば、参考画像指定指示部３２２によって準備された参考画像選択画面において、ユーザが複数の画像の中から適切な画像を選択することによって、実現される。例えば、ステップＳ２２２において「花の形状」が表現された参考画像を指定するように指示された場合には、ユーザは、対象画像内に表現された被写体と同一または同種の被写体の「花の形状」が表現された参考画像を指定する。

ステップＳ２２６では、参考特徴データ抽出部３２４は、ステップＳ１０６における特徴データの抽出と同様に、参考画像を表す参考画像データを解析して、被写体の特定の部位の特徴を示す参考特徴データを抽出する。参考特徴データの抽出は、ステップＳ２２２で取得された相違データに基づいて行われる。例えば、相違データによって示される相違点が「花の形状」である場合には、参考特徴データ抽出部３２４は、花の形状に関する要素データを含む参考特徴データを抽出する。なお、相違点が「花」である場合には、参考特徴データ抽出部３２４は、花の色に関する要素データと花の形状に関する要素データとを含む参考特徴データを抽出する。

ステップＳ２２８では、決定部３２０は、ステップＳ１０８で選択された複数の候補対象物のうちの１つを被写体として決定する。具体的には、決定部３２０は、ステップＳ２２６で得られた参考特徴データと、複数の候補対象物に対応する複数の基準特徴データと、を用いて、複数の参考類似度を算出する。なお、参考類似度の算出は、ステップＳ１０８における類似度の算出と同様に行われる。ただし、相違点が「花の形状」である場合には、各候補対象物に対応する各基準特徴データのうちの花の形状に関する要素データのみが利用される。また、相違点が「花」である場合には、各候補対象物に対応する各基準特徴データのうちの花の色に関する要素データと花の形状に関する要素データとのみが利用される。そして、決定部３２０は、複数の候補対象物のうちの最大の参考類似度に対応する１つの候補対象物を被写体として決定する。

なお、被写体の候補として３以上の候補対象物が選択される場合には、例えば、２つの候補対象物毎に参考画像が指定されればよい。例えば、３つの候補対象物Ａ〜Ｃが選択された場合には、候補対象物Ａ，Ｂ間の相違データに基づいて、第１の参考画像が指定される。そして、２つの候補対象物Ａ，Ｂに対応する２つの参考類似度が算出され、一方の候補対象物（例えば候補対象物Ｂ）が被写体の候補として残る。次に、候補対象物Ｂ，Ｃ間の相違データに基づいて、第２の参考画像が指定される。そして、２つの候補対象物Ｂ，Ｃに対応する２つの参考類似度が算出され、一方の候補対象物が被写体として決定される。なお、候補対象物Ａ〜Ｃの相違データが同じ相違点（例えば「花の形状」）を示す場合には、１つの参考画像が指定される。そして、３つの候補対象物Ａ〜Ｃに対応する３つの参考類似度が算出され、いずれか１つの候補対象物が被写体として決定される。

以上説明したように、本実施例では、被写体の候補として複数の候補対象物が選択された場合に、相違データに応じて、参考画像から参考特徴データが抽出される。そして、参考特徴データと複数の候補対象物に対応する複数の基準特徴データとを用いて、１つの候補対象物が被写体として決定される。このため、被写体を容易に特定することができると共に、被写体を正確に特定することができる。

なお、本実施例は、例えば、対象画像に被写体の一部（例えば植物の花）のみが表現されており、複数の候補対象物間の相違点が他の部分（例えば植物の葉の形状）である場合にも、利用可能である。また、本実施例は、例えば、対象画像に被写体の一面（例えば植物の側面）が表現されており、複数の候補対象物間の相違点が対象画像内に表現されていない部分（例えば花の正面の形状）である場合にも、利用可能である。

Ｃ．第３実施例：
図１０は、第３実施例における画像処理装置（パーソナルコンピュータ）２００Ｃを示す説明図である。図１０は、図１とほぼ同じであるが、外部記憶装置２５０には、複数の詳細図鑑データベース２５６が追加されている。

前述したように、各図鑑データベース２５２は、植物や、動物、昆虫などの大きなカテゴリで区分されている。一方、各詳細図鑑データベース２５６は、例えば、植物の花や植物の葉などの小さなカテゴリ（部位）で区分されている。

図１１は、１つの詳細図鑑データベース２５６の内容を示す説明図である。なお、図１１では、植物の花の詳細図鑑データベース２５６の内容が示されている。

図１１に示すように、１つの詳細図鑑データベースには、複数の対象物に対応する複数の対象物部位データが含まれている。なお、対象物部位データは、対象物（植物）毎に、対象物の名称と対応付けて登録されている。対象物部位データは、対応する対象物の特定の部位の詳細データと、対応する対象物の特定の部位の基準特徴データ（以下、「基準詳細特徴データ」と呼ぶ）と、を含んでいる。

詳細データは、対応する対象物の特定の部位が表現された１以上の画像や、対応する対象物の特定の部位に関する詳細な説明などの詳細情報を含んでいる。詳細な説明には、例えば、対象物（植物）の特定の部位（花）の態様などの説明が含まれる。

なお、詳細図鑑データベースの詳細データには、図鑑データベースの詳細データと同じデータが含まれていてもよいし、異なるデータが含まれていてもよい。

基準詳細特徴データは、対応する対象物の特定の部位の複数の特徴要素を示す複数の要素データを含んでいる。基準詳細特徴データには、例えば、対象物（植物）の花の色や、花の形状、花びらの形状、花びらの枚数などの特徴を示す複数の要素データが含まれる。

本実施例では、花びらの形状に関する要素データとしては、前述した他の形状に関する要素データと同様に、所定のサイズ（画素数）を有する二値画像データが利用されている。花びらの形状に関する要素データは、植物の花が表現された基準画像から花びらの部分を囲む矩形画像を選択し、該矩形画像にエッジ抽出処理を施すことによって花びらの輪郭を抽出し、輪郭内部と輪郭外部とで異なる値を示す二値画像を所定のサイズに縮小することによって、得られる。

また、本実施例では、花びらの枚数に関する要素データとしては、予め調査された値が利用されている。

なお、詳細図鑑データベースの基準詳細特徴データには、花の色や花の形状に関する要素データとして、図鑑データベースの基準特徴データと同じデータが含まれていてもよいし、異なるデータが含まれていてもよい。

また、本実施例では、図１０と図１とを比較して分かるように、相違データベース２５４Ｂと画像処理部３００Ｃとが変更されている。なお、本実施例の相違データベース２５４Ｂは、第２実施例（図８）と同じである。

本実施例では、画像処理部３００Ｃは、決定部３３０を含む被写体特定部３０２Ｃを備えている。決定部３３０は、相違データ取得部３３２と、詳細図鑑データベース選択部３３４と、詳細特徴データ抽出部３３６と、を備えており、候補選択部３１４によって複数の候補対象物が選択された場合に、該複数の候補対象物のうちの１つを被写体として決定する。

相違データ取得部３３２は、候補選択部３１４によって複数の候補対象物が選択された場合に、相違データベース２５４Ｂから該複数の候補対象物間の相違データを読み出す。

詳細図鑑データベース選択部３３４は、相違データに基づいて、複数の詳細図鑑データベース２５６の中から、１つの詳細図鑑データベースを選択する。例えば、相違データによって示される相違点が「花」や、「花の色」、「花の形状」である場合には、詳細図鑑データベース選択部３３４は、植物の花の詳細図鑑データベースを選択する。また、詳細図鑑データベース選択部３３４は、選択された詳細図鑑データベースから、候補選択部３１４によって選択された複数の候補対象物に対応する複数の基準詳細特徴データを読み出す。

詳細特徴データ抽出部３３６は、特徴データ抽出部３１２と同様に、被写体が表現された対象画像を表す対象画像データを解析して、被写体の特定の部位の詳細な特徴を示す詳細特徴データを抽出する。

なお、本実施例における詳細図鑑データベース２５６に含まれる基準詳細特徴データが格納された外部記憶装置２５０内の記憶領域が、本発明における基準詳細特徴データ格納部に相当する。また、本実施例における相違データ取得部３３２と詳細図鑑データベース選択部３３４とが、本発明における基準詳細特徴データ選択部に相当する。

図１２は、画像処理部３００Ｃの一連の処理手順を示すフローチャートである。図１２は、図４とほぼ同じであるが、ステップＳ２１２，Ｓ２１４に代えて、ステップＳ２３２〜Ｓ２３８が実行される。

ステップＳ２３２では、相違データ取得部３３２は、ステップＳ１０２で選択された図鑑データベース２５２と同じカテゴリの相違データベース２５４Ｂから、被写体の候補として選択された複数の候補対象物間の相違データを取得する。

ステップＳ２３４では、詳細図鑑データベース選択部３３４は、ステップＳ２３２で取得された相違データに基づいて、詳細図鑑データベースを選択する。本実施例では、相違データによって示される相違点は「花」であり、詳細図鑑データベース選択部３３４が、植物の花の詳細図鑑データベース２５６を選択する場合を想定する。また、詳細図鑑データベース選択部３３４は、選択された詳細図鑑データベースから、ステップＳ１０８で選択された複数の候補対象物に対応する複数の基準詳細特徴データを読み出す。

ステップＳ２３６では、ステップＳ１０６と同様に、詳細特徴データ抽出部３３６は、対象画像を表す対象画像データを解析して、対象画像データから詳細特徴データを抽出する。抽出される詳細特徴データは、利用される詳細図鑑データベースの基準詳細特徴データに対応する。本実施例では、植物の花の詳細図鑑データベース２５６が選択されており、該データベースの基準詳細特徴データには、図１１に示すように、花の色や、花の形状、花びらの形状、花びらの枚数などの複数の特徴要素を示す複数の要素データが含まれている。このため、本実施例では、対象画像データから、花の色や、花の形状、花びらの形状、花びらの枚数などの複数の特徴要素を示す複数の要素データを含む詳細特徴データが抽出される。

具体的には、詳細特徴データ抽出部３３６は、特徴データ抽出部３１２と同様に、まず、対象画像内において被写体（植物）の各部位が表現された領域を決定する。なお、花びらの領域は、例えば、以下のようにして決定可能である。対象画像に対してエッジ抽出処理を施すことによってエッジ画像が生成され、該エッジ画像に基づいて、対象画像が複数の領域に区分される。複数の領域のうち、赤や、白、黄色などの花びらの色である可能性が高く、かつ、ほぼ面積（画素数）の等しい２以上の領域は、花びらの領域として決定される。花びらの領域の決定が困難な場合には、ユーザによって花びらの領域が指示されるようにしてもよい。次に、詳細特徴データ抽出部３３６は、特徴データ抽出部３１２と同様に、要素データを生成する。なお、花びらの枚数に関する要素データは、例えば、花びらの領域として決定された領域数をカウントすることによって生成可能である。

ステップＳ２３８では、決定部３３０は、ステップＳ１０８で選択された複数の候補対象物のうちの１つを被写体として決定する。具体的には、決定部３３０は、ステップＳ２３６で得られた詳細特徴データと、複数の候補対象物に対応する複数の基準詳細特徴データと、を用いて、複数の詳細類似度を算出する。なお、詳細類似度の算出は、ステップＳ１０８における類似度の算出と同様に行われる。花びらの枚数に関する要素類似度は、例えば、被写体の花びらの枚数をｘ，対象物候補の花びらの枚数をｙとすると、「（ｘ−｜ｘ−ｙ｜）／ｘ」で算出される。そして、決定部３３０は、複数の候補対象物のうちの最大の詳細類似度に対応する１つの候補対象物を被写体として決定する。

なお、ステップＳ１１６では、詳細情報提供部３０４は、決定部３３０によって被写体として決定された候補対象物の詳細データを、ステップＳ１０２で選択された図鑑データベース２５２から読み出して、該詳細データによって表される詳細情報を表示部２６０に表示する。これにより、ユーザは、被写体の詳細情報を知ることができる。本実施例では、詳細図鑑データベース２５６が利用されている。このため、詳細情報提供部３０４は、上記の詳細情報と共に、被写体として決定された候補対象物の各部位に関する詳細データを詳細図鑑データベース２５６から読み出して、該詳細データによって表される詳細情報を表示部２６０に表示させてもよい。

なお、被写体の候補として３以上の候補対象物が選択される場合には、例えば、２つの候補対象物毎に、２つの基準詳細特徴データが選択されると共に、対象画像から詳細特徴データが抽出されればよい。例えば、３つの候補対象物Ａ〜Ｃが選択された場合には、候補対象物Ａ，Ｂ間の相違データに基づいて、２つの候補対象物Ａ，Ｂに対応する２つの基準詳細特徴データが選択されると共に、対象画像から第１の詳細特徴データが抽出される。そして、２つの候補対象物Ａ，Ｂに対応する２つの詳細類似度が算出され、一方の候補対象物（例えば候補対象物Ｂ）が被写体の候補として残る。次に、候補対象物Ｂ，Ｃ間の相違データに基づいて、２つの候補対象物Ｂ，Ｃに対応する２つの基準詳細特徴データが選択されると共に、対象画像から第２の詳細特徴データが抽出される。そして、２つの候補対象物Ｂ，Ｃに対応する２つの詳細類似度が算出され、一方の候補対象物が被写体として決定される。なお、候補対象物Ａ〜Ｃの相違データが同じ相違点（例えば「花の形状」）を示す場合には、３つの候補対象物Ａ〜Ｃに対応する３つの基準詳細特徴データが選択されると共に、対象画像から１つの詳細特徴データが抽出される。そして、３つの候補対象物Ａ〜Ｃに対応する３つの詳細類似度が算出され、いずれか１つの候補対象物が被写体として決定される。

以上説明したように、本実施例では、被写体の候補として複数の候補対象物が選択された場合に、相違データに基づいて、複数の候補対象物に対応する複数の基準詳細特徴データが選択されると共に、対象画像から詳細特徴データが抽出される。そして、詳細特徴データと複数の基準詳細特徴データとを用いて、１つの候補対象物が被写体として決定される。このため、被写体を容易に特定することができると共に、被写体を正確に特定することができる。

なお、本実施例では、植物の図鑑データベースに複数の基準特徴データが含まれており、植物の花の詳細図鑑データベースに複数の基準詳細特徴データが含まれているが、これに代えて、１つの図鑑データベースに複数の基準特徴データと複数の基準詳細特徴データとの双方が含まれていてもよい。この場合にも、特徴データと複数の基準特徴データとを用いて、被写体の候補が選択され、詳細特徴データと複数の基準詳細特徴データとを用いて、複数の候補対象物のうちの１つが被写体として決定されればよい。

Ｄ．第４実施例：
図１３は、第４実施例における画像処理装置（パーソナルコンピュータ）２００Ｄを示す説明図である。図１３は、図１とほぼ同じであるが、相違データベース２５４Ｂと画像処理部３００Ｂとが変更されている。なお、本実施例の相違データベース２５４Ｂは、第２実施例（図８）と同じである。

本実施例では、画像処理部３００Ｄは、決定部３４０を含む被写体特定部３０２Ｄ備えている。決定部３４０は、相違データ取得部３４２と、重み付け設定部３４４と、を備えており、候補選択部３１４によって複数の候補対象物が選択された場合に、該複数の候補対象物のうちの１つを被写体として決定する。

相違データ取得部３４２は、第３実施例の相違データ取得部３３２と同様に、候補選択部３１４によって複数の候補対象物が選択された場合に、相違データベース２５４Ｂから該複数の候補対象物間の相違データを読み出す。

重み付け設定部３４４は、相違データに基づいて、対象画像内に表現された被写体が複数の候補対象物のうちのいずれであるかを決定するための、より具体的には、複数の候補対象物に対応する複数の類似度を算出するための、重み付けを設定する。

なお、本実施例における相違データ取得部３４２と重み付け設定部３４４とが、本発明における設定部に相当する。

図１４は、画像処理部３００Ｄの一連の処理手順を示すフローチャートである。図１４は、図４とほぼ同じであるが、ステップＳ２１２，Ｓ２１４に代えて、ステップＳ２４２〜Ｓ２４６が実行される。

ステップＳ２４２では、相違データ取得部３４２は、ステップＳ１０２で選択された図鑑データベース２５２と同じカテゴリの相違データベース２５４Ｂから、被写体の候補として選択された複数の候補対象物間の相違データを取得する。

ステップＳ２４４では、重み付け設定部３４４は、相違データに基づいて、類似度を算出する際に用いられる各要素類似度に対する重み付け（重み係数）を設定する。例えば、被写体の候補として選択された２つの候補対象物の相違点が特定の部位である場合には、特定の部位に関する要素類似度の重み付け（重み係数）は比較的高く設定され、他の部位に関する要素類似度の重み付け（重み係数）は比較的低く設定される。

ステップＳ２４６では、決定部３４０は、ステップＳ２４４で設定された重み付けに基づいて、複数の候補対象物に対応する複数の参考類似度を算出する。具体的には、決定部３４０は、ステップＳ１０８で類似度を算出する際に利用された複数の要素類似度と、ステップＳ２４４で各要素類似度毎に設定された重み付け（重み係数）と、を用いて、候補対象物毎に参考類似度を算出する。そして、決定部３４０は、複数の候補対象物に対応する複数の参考類似度のうちの最大の参考類似度に対応する候補対象物を被写体として決定する。

図１５は、ステップＳ２４６（図１４）で算出される参考類似度を示す説明図である。図１５（Ａ）は、被写体（植物）が表現された対象画像を示している。図１５（Ｂ−１），（Ｂ−２）は、それぞれ、被写体の候補として選択された対象物（植物）Ａ，対象物（植物）Ｂを示している。なお、本実施例では、図１５（Ｂ−１），（Ｂ−２）から分かるように、２つの対象物間の相違点は「花の形状」である。

図１５（Ｃ−１），（Ｃ−１）は、ステップＳ１０８で算出される類似度を示している。図１５（Ｃ−１）に示す類似度は、対象画像の特徴データと対象物Ａの基準特徴データとを用いて算出され、図１５（Ｃ−２）に示す類似度は、対象画像の特徴データと対象物Ｂの基準特徴データとを用いて算出される。前述したように、各類似度は、複数の要素類似度を平均して算出されている。図１５（Ｃ−１），（Ｃ−２）を比較して分かるように、２つの類似度は、ほぼ等しい値を有している。

図１５（Ｄ−１），（Ｄ−２）は、ステップＳ２４６で算出される参考類似度を示している。図１５（Ｄ−１）に示す参考類似度は、図１５（Ｃ−１）と同様に、対象画像の特徴データと対象物Ａの基準特徴データとを用いて算出され、図１５（Ｄ−２）に示す参考類似度は、図１５（Ｃ−２）と同様に、対象画像の特徴データと対象物Ｂの基準特徴データとを用いて算出される。ただし、図１５（Ｄ−１），（Ｄ−２）に示す２つの参考類似度は、重み係数が乗じられた複数の要素類似度の平均値を求めることによって算出されている。具体的には、相違データによって示される相違点が「花の形状」であるため、花の形状に関する要素類似度の重み係数「１．５」は、他の要素類似度の重み係数「１．０」よりも大きく設定されている。このため、図１５（Ｄ−１），（Ｄ−２）に示すように、２つの参考類似度の差分は、かなり大きくなっている。

このようにして、ステップＳ２４６では、２つの候補対象物に対応する２つの参考類似度が算出され、決定部３４０は、２つの参考類似度のうちの大きな参考類似度に対応する対象物Ａを被写体として決定する。

なお、被写体の候補として３以上の候補対象物が選択される場合には、例えば、２つの候補対象物毎に重み付けが設定されればよい。例えば、３つの候補対象物Ａ〜Ｃが選択された場合には、候補対象物Ａ，Ｂ間の相違データに基づいて、第１の重み付けが設定される。そして、２つの候補対象物Ａ，Ｂに対応する２つの参考類似度が算出され、一方の候補対象物（例えば候補対象物Ｂ）が被写体の候補として残る。次に、候補対象物Ｂ，Ｃ間の相違データに基づいて、第２の重み付けが指定される。そして、２つの候補対象物Ｂ，Ｃに対応する２つの参考類似度が算出され、一方の候補対象物が被写体として決定される。なお、候補対象物Ａ〜Ｃの相違データが同じ相違点（例えば「花の形状」）を示す場合には、１種類の重み付けが設定されればよい。そして、３つの候補対象物Ａ〜Ｃに対応する３つの参考類似度が算出され、いずれか１つの候補対象物が被写体として決定される。

以上説明したように、本実施例では、被写体の候補として複数の候補対象物が選択された場合に、相違データに応じて、重み付けが設定される。そして、重み付けの設定に従って、特徴データと複数の候補対象物に対応する複数の基準特徴データとを用いて、１つの対象物候補が被写体として決定される。このため、被写体を容易に特定することができると共に、被写体を正確に特定することができる。

なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様で実施することが可能であり、例えば次のような変形も可能である。

（１）上記実施例では、色に関する類似度は、２つの要素データを示す２つのベクトルＩ，Ｏの角距離（式（１））を用いて算出されているが、他の手法で算出されてもよい。例えば、２つの要素データ間の、より具体的には、２つのベクトルＩ，Ｏの終点間のユークリッド距離を用いて算出されてもよい。

また、上記実施例では、形状に関する要素データとして二値画像データが利用されているが、形状に関する要素データは、数値で表現されていてもよい。この場合には、色に関する類似度と同様に、角距離（式（１））を用いて類似度を算出可能である。

（２）第２ないし第４実施例では、図８に示すように、相違データは、相違点のみを含んでいるが、さらに、第１実施例（図３）と同様に、相違点の説明と相違点に関する各対象物の画像とを含んでいてもよい。そして、第１実施例と同様に、相違点の説明等を含む相違情報がユーザに提供されてもよい。この態様では、複数の候補対象物のうちのいずれかを被写体として決定する処理は、ユーザの選択に応じて、ユーザによって実行されてもよいし、画像処理部（決定部）によって実行されてもよい。

また、第３実施例（図１２）では、ステップＳ２３６において、対象画像から詳細特徴データが抽出されているが、第２実施例と同様に、対象画像内に表現された被写体と同一または同種の被写体の特定の部位が詳細に表現された参考画像から詳細特徴データが抽出されるようにしてもよい。

一般には、被写体の候補として複数の候補対象物が選択された場合に、複数の候補対象物間の相違データを利用して、複数の候補対象物のうちのいずれかが被写体として決定されればよい。

（３）上記実施例では、ステップＳ１０８において、特徴データと複数の対象物に対応する複数の基準特徴データとを利用して被写体の候補が選択されているが、ステップＳ１０８の処理に先行して、調査対象の対象物の数を低減させるための処理が実行されることが好ましい。

例えば、植物の花の開花時期は、限られている場合が多い。このため、対象画像データに撮影時の時刻（日時）を示す時刻情報が付加されている場合には、該時刻情報と詳細データに含まれる開花時期の情報とを利用して、調査対象の対象物の数を迅速に低減させることができる。具体的には、対象画像内に植物の花が表現されている場合に、対象画像データの時刻情報が各対象物の各詳細データに含まれる開花時期の情報と整合する場合には、ステップＳ１０８の調査対象の対象物として残され、整合しない場合には、ステップＳ１０８の調査対象から除外される。また、植物の棲息地も、限られている場合が多い。このため、対象画像データに撮影時の位置を示す位置情報（ＧＰＳ情報）が付加されている場合には、該位置情報と詳細データに含まれる棲息地の情報とを利用して、調査対象の対象物の数を迅速に低減させることができる。具体的には、対象画像内に植物が表現されている場合に、対象画像データの位置情報が各対象物の各詳細データに含まれる棲息地の情報と整合する場合には、ステップＳ１０８の調査対象の対象物として残され、整合しない場合には、ステップＳ１０８の調査対象から除外される。

（４）上記実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えてもよい。

電子図鑑として機能する画像処理装置２００を示す説明図である。 １つの図鑑データベース２５２の内容を示す説明図である。 １つの相違データベース２５４の内容を示す説明図である。 画像処理部３００の一連の処理手順を示すフローチャートである。 類似度の算出結果の例を示す説明図である。 ステップＳ２１２（図４）で表示される相違情報表示画面Ｗの一例を示す説明図である。 第２実施例における画像処理装置２００Ｂを示す説明図である。 １つの相違データベース２５４Ｂの内容を示す説明図である。 画像処理部３００Ｂの一連の処理手順を示すフローチャートである。 第３実施例における画像処理装置２００Ｃを示す説明図である。 １つの詳細図鑑データベース２５６の内容を示す説明図である。 画像処理部３００Ｃの一連の処理手順を示すフローチャートである。 第４実施例における画像処理装置２００Ｄを示す説明図である。 画像処理部３００Ｄの一連の処理手順を示すフローチャートである。 ステップＳ２４６（図１４）で算出される参考類似度を示す説明図である。

符号の説明

２００，Ｂ，Ｃ，Ｄ…画像処理装置（パーソナルコンピュータ）
２１０…ＣＰＵ
２２０…内部記憶装置
２５０…外部記憶装置
２５２…図鑑データベース
２５４，Ｂ…相違データベース
２５６…詳細図鑑データベース
２６０…表示部
２７０…操作部
２９０…Ｉ／Ｆ部
３００，Ｂ，Ｃ，Ｄ…画像処理部
３０２，Ｂ，Ｃ，Ｄ…被写体特定部
３０４…詳細情報提供部
３１２…特徴データ抽出部
３１４…候補選択部
３１６…相違情報提供部
３２０…決定部
３２２…参考画像指定指示部
３２４…参考特徴データ抽出部
３３０…決定部
３３２…相違データ取得部
３３４…詳細図鑑データベース選択部
３３６…詳細特徴データ抽出部
３４０…決定部
３４２…相違データ取得部
３４４…重み付け設定部
４００…デジタルカメラ

Claims (13)

1. 画像処理装置であって、
   複数の対象物に対応する複数の基準特徴データであって、前記各基準特徴データは対応する前記対象物の特徴を示す、前記複数の基準特徴データが格納された基準特徴データ格納部と、
   前記複数の対象物のうちの互いに類似する対象物間の相違点に関する相違データが格納された相違データ格納部と、
   被写体が表現された対象画像から、前記被写体の特徴を示す特徴データを抽出する特徴データ抽出部と、
   前記特徴データと前記複数の対象物に対応する前記複数の基準特徴データとを用いて、前記複数の対象物の中から、前記対象画像内に表現された前記被写体の候補としての候補対象物を選択する候補選択部と、
   複数の前記候補対象物が選択された場合に、前記複数の候補対象物間の前記相違データによって示される相違情報をユーザに提供する相違情報提供部と、
   を備えることを特徴とする画像処理装置。
2. 請求項１記載の画像処理装置であって、さらに、
   前記複数の対象物に対応する複数の詳細データであって、前記各詳細データは対応する前記対象物の詳細情報を示す、前記複数の詳細データが格納された詳細データ格納部と、
   前記ユーザによって前記複数の候補対象物のうちのいずれかが指定された場合に、前記指定された候補対象物に対応する前記詳細データによって示される前記詳細情報をユーザに提供する詳細情報提供部と、
   を備える、画像処理装置。
3. 画像処理装置であって、
   複数の対象物に対応する複数の基準特徴データであって、前記各基準特徴データは対応する前記対象物の特徴を示す、前記複数の基準特徴データが格納された基準特徴データ格納部と、
   前記複数の対象物のうちの互いに類似する対象物間の相違点に関する相違データが格納された相違データ格納部と、
   対象画像内に表現された被写体が前記複数の対象物のうちのいずれであるかを特定するための被写体特定部と、
   を備え、
   前記被写体特定部は、
   前記対象画像から、前記被写体の特徴を示す特徴データを抽出する特徴データ抽出部と、
   前記特徴データと前記複数の対象物に対応する前記複数の基準特徴データとを用いて、前記複数の対象物の中から、前記対象画像内に表現された前記被写体の候補としての候補対象物を選択する候補選択部と、
   複数の前記候補対象物が選択された場合に、前記複数の候補対象物間の前記相違データを利用して、前記複数の候補対象物のうちのいずれかを前記被写体として決定する決定部と、
   を備えることを特徴とする画像処理装置。
4. 請求項３記載の画像処理装置であって、
   前記決定部は、
   前記複数の候補対象物間の前記相違データに応じて、前記ユーザに、前記対象画像内に表現された前記被写体と同一または同種の被写体の特定の部位が表現された参考画像を指定するように、指示する指示部と、
   前記ユーザによって指定された前記参考画像から、前記被写体の前記特定の部位の特徴を示す参考特徴データを抽出する参考特徴データ抽出部と、
   を備え、
   前記決定部は、
   前記参考特徴データと前記複数の候補対象物に対応する複数の前記基準特徴データとを用いて、前記複数の候補対象物のうちのいずれかを前記被写体として決定する、画像処理装置。
5. 請求項３記載の画像処理装置であって、さらに、
   前記複数の対象物に対応する複数の基準詳細特徴データであって、前記各基準詳細特徴データは対応する前記対象物の特定の部位の詳細な特徴を示す、前記複数の基準詳細特徴データが格納された基準詳細特徴データ格納部を備え、
   前記決定部は、
   前記複数の候補対象物間の前記相違データに基づいて、前記複数の候補対象物に対応する複数の前記基準詳細特徴データを選択する基準詳細特徴データ選択部と、
   前記対象画像から、前記被写体の前記特定の部位の詳細な特徴を示す詳細特徴データを抽出する詳細特徴データ抽出部と、
   を備え、
   前記決定部は、
   前記詳細特徴データと前記複数の候補対象物に対応する前記複数の基準詳細特徴データとを用いて、前記複数の候補対象物のうちのいずれかを前記被写体として決定する、画像処理装置。
6. 請求項３記載の画像処理装置であって、
   前記決定部は、
   前記複数の候補対象物間の前記相違データに基づいて、前記複数の候補対象物のうちのいずれかを前記被写体として決定するための重み付けを設定する設定部を備え、
   前記決定部は、
   前記重み付けの設定に従って、前記特徴データと前記複数の候補対象物に対応する複数の前記基準特徴データとを用いて、前記複数の候補対象物のうちのいずれかを前記被写体として決定する、画像処理装置。
7. 請求項６記載の画像処理装置であって、
   前記決定部は、
   前記特徴データと前記複数の候補対象物に対応する複数の前記基準特徴データとを用いて、複数の類似度を算出し、前記複数の類似度のうちの最大の類似度に対応する前記候補対象物を前記被写体として決定し、
   前記決定部は、
   前記特徴データに含まれる複数の特徴要素に対応する複数の要素データと、前記基準特徴データに含まれる前記複数の特徴要素に対応する複数の基準要素データと、を用いて算出される複数の要素類似度に前記重み付けを施して前記各類似度を算出する、画像処理装置。
8. 請求項３ないし７のいずれかに記載の画像処理装置であって、さらに、
   前記複数の対象物に対応する複数の詳細データであって、前記各詳細データは対応する前記対象物の詳細情報を示す、前記複数の詳細データが格納された詳細データ格納部と、
   前記決定部によって前記複数の候補対象物のうちのいずれかが前記被写体として決定された場合に、前記決定された対象物候補に対応する前記詳細データによって示される前記詳細情報をユーザに提供する詳細情報提供部と、
   を備える、画像処理装置。
9. 複数の対象物に対応する複数の基準特徴データであって、前記各基準特徴データは対応する前記対象物の特徴を示す、前記複数の基準特徴データと、前記複数の対象物のうちの互いに類似する対象物間の相違点に関する相違データと、を用いる画像処理方法であって、
   被写体が表現された対象画像から、前記被写体の特徴を示す特徴データを抽出する工程と、
   前記特徴データと前記複数の対象物に対応する前記複数の基準特徴データとを用いて、前記複数の対象物の中から、前記対象画像内に表現された前記被写体の候補としての候補対象物を選択する工程と、
   複数の前記候補対象物が選択された場合に、前記複数の候補対象物間の前記相違データによって示される相違情報をユーザに提供する工程と、
   を備えることを特徴とする画像処理方法。
10. 複数の対象物に対応する複数の基準特徴データであって、前記各基準特徴データは対応する前記対象物の特徴を示す、前記複数の基準特徴データと、前記複数の対象物のうちの互いに類似する対象物間の相違点に関する相違データと、を用いる画像処理方法であって、
    対象画像内に表現された被写体が前記複数の対象物のうちのいずれであるかを特定する工程を備え、
    前記特定工程は、
    前記対象画像から、前記被写体の特徴を示す特徴データを抽出する工程と、
    前記特徴データと前記複数の対象物に対応する前記複数の基準特徴データとを用いて、前記複数の対象物の中から、前記対象画像内に表現された前記被写体の候補としての候補対象物を選択する工程と、
    複数の前記候補対象物が選択された場合に、前記複数の候補対象物間の前記相違データを利用して、前記複数の候補対象物のうちのいずれかを前記被写体として決定する工程と、
    を備えることを特徴とする画像処理方法。
11. コンピュータに、複数の対象物に対応する複数の基準特徴データであって、前記各基準特徴データは対応する前記対象物の特徴を示す、前記複数の基準特徴データと、前記複数の対象物のうちの互いに類似する対象物間の相違点に関する相違データと、を用いた画像処理を実行させるためのコンピュータプログラムであって、
    被写体が表現された対象画像から、前記被写体の特徴を示す特徴データを抽出する機能と、
    前記特徴データと前記複数の対象物に対応する前記複数の基準特徴データとを用いて、前記複数の対象物の中から、前記対象画像内に表現された前記被写体の候補としての候補対象物を選択する機能と、
    複数の前記候補対象物が選択された場合に、前記複数の候補対象物間の前記相違データによって示される相違情報をユーザに提供する機能と、
    を前記コンピュータに実現させることを特徴とするコンピュータプログラム。
12. コンピュータに、複数の対象物に対応する複数の基準特徴データであって、前記各基準特徴データは対応する前記対象物の特徴を示す、前記複数の基準特徴データと、前記複数の対象物のうちの互いに類似する対象物間の相違点に関する相違データと、を用いる画像処理を実行させるためのコンピュータプログラムであって、
    対象画像内に表現された被写体が前記複数の対象物のうちのいずれであるかを特定する機能を前記コンピュータに実現させ、
    前記特定機能は、
    前記対象画像から、前記被写体の特徴を示す特徴データを抽出する機能と、
    前記特徴データと前記複数の対象物に対応する前記複数の基準特徴データとを用いて、前記複数の対象物の中から、前記対象画像内に表現された前記被写体の候補としての候補対象物を選択する機能と、
    複数の前記候補対象物が選択された場合に、前記複数の候補対象物間の前記相違データを利用して、前記複数の候補対象物のうちのいずれかを前記被写体として決定する機能と、
    を備えることを特徴とするコンピュータプログラム。
13. 請求項１１または１２記載のコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images