JP2007080136A - 画像内に表現された被写体の特定 - Google Patents

Abstract

【課題】 画像内に表現された被写体を正確に特定することのできる技術を提供する。
【解決手段】 被写体特定装置は、複数の対象物に対応する複数の基準特徴量であって、各基準特徴量は対応する対象物の所定の特徴を示す、複数の基準特徴量が格納された記憶部と、同一または同種の被写体が表現された複数の対象画像を用いて複数の特徴量を算出する特徴量算出部であって、各特徴量は対応する対象画像内に表現された被写体の所定の特徴を示す、特徴量算出部と、複数の対象物に対応する複数の基準特徴量と、複数の対象画像に対応する複数の特徴量と、を用いて、複数の対象画像内に表現された被写体が複数の対象物のうちのいずれであるかを特定する特定部と、を備える。
【選択図】 図３

Description

本発明は、画像処理の技術に関し、特に、画像内に表現された被写体を特定するための技術に関する。

画像内に表現された被写体が何であるかを自動的に特定することが試みられている。この技術は、例えば、電子図鑑などとして機能する画像処理装置に適用される。

従来では、被写体が表現された画像を用いて特徴量を算出し、該特徴量と、予め準備された複数の対象物の複数の基準特徴量のそれぞれと、を用いて得られる複数の類似度を用いて、最大の類似度に対応する対象物が被写体として決定されていた。

特開２００５−１４９３０２号公報 特開２００５−１３４９６６号公報 特開２０００−１８７７３１号公報

しかしながら、従来の技術では、被写体を正確に特定することが困難であった。これは、被写体が表現された画像から得られる特徴量は、被写体が撮影されたときの撮影条件などに起因して、異なるためである。

この発明は、従来技術における上述の課題を解決するためになされたものであり、画像内に表現された被写体を正確に特定することを目的とする。

上述の課題の少なくとも一部を解決するため、本発明の装置は、画像内に表現された被写体を特定するための被写体特定装置であって、
複数の対象物に対応する複数の基準特徴量であって、前記各基準特徴量は対応する前記対象物の所定の特徴を示す、前記複数の基準特徴量が格納された記憶部と、
同一または同種の被写体が表現された複数の対象画像を用いて複数の特徴量を算出する特徴量算出部であって、前記各特徴量は対応する前記対象画像内に表現された前記被写体の前記所定の特徴を示す、前記特徴量算出部と、
前記複数の対象物に対応する前記複数の基準特徴量と、前記複数の対象画像に対応する前記複数の特徴量と、を用いて、前記複数の対象画像内に表現された前記被写体が前記複数の対象物のうちのいずれであるかを特定する特定部と、
を備えることを特徴とする。

この装置では、同一または同種の被写体が表現された複数の対象画像を用いて、複数の特徴量が算出される。そして、複数の対象画像に対応する複数の特徴量を用いて、被写体が複数の対象物のうちのいずれであるかが特定されるため、被写体を正確に特定することが可能となる。

さらに、上記の装置において、
複数の候補画像の中から、前記被写体の特定に適する前記複数の対象画像を選択する選択部を備えることが好ましい。

こうすれば、被写体をより正確に特定することができる。

上記の装置において、
前記選択部は、
所定の合焦条件を満足する前記候補画像を前記対象画像として選択するようにしてもよい。

また、上記の装置において、
前記選択部は、
所定の露出条件を満足する前記候補画像を前記対象画像として選択するようにしてもよい。

こうすれば、被写体の特定に適した対象画像を容易に選択することができる。

上記の装置において、
前記特定部は、
前記複数の対象画像に対応する前記複数の特徴量の平均を示す平均特徴量を算出し、
前記平均特徴量と、前記複数の対象物に対応する前記複数の基準特徴量のそれぞれと、を用いて、複数の類似度を算出し、
前記複数の類似度のうちの最大の類似度に対応する前記対象物を、前記被写体として決定することが好ましい。

あるいは、上記の装置において、
前記特定部は、
前記各対象物に対応する前記各基準特徴量と、前記複数の対象画像に対応する前記複数の特徴量のそれぞれと、を用いて、前記対象物毎に、複数の類似度を算出し、
前記対象物毎に、前記複数の類似度の平均を示す平均類似度を算出し、
前記複数の対象物に対応する複数の前記平均類似度のうちの最大の平均類似度に対応する前記対象物を、前記被写体として決定することが好ましい。

この発明は、種々の形態で実現することが可能であり、例えば、被写体特定装置および方法、被写体特定装置を備える電子図鑑などの画像処理装置および該画像処理装置における処理方法、これらの方法または装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体、そのコンピュータプログラムを含み搬送波内に具現化されたデータ信号、等の形態で実現することができる。

Ａ．第１実施例：
Ａ−１．画像処理装置の構成：
次に、本発明の実施の形態を実施例に基づき説明する。図１は、電子図鑑として機能する画像処理装置（パーソナルコンピュータ）２００を示す説明図である。この装置を用いることにより、ユーザは画像内に表現された被写体（例えば花）が何であるかが分からない場合に、被写体の正確な特定結果を容易に得ることができると共に、被写体の詳細情報を得ることができる。

画像処理装置２００は、ＣＰＵ２１０と、ＲＯＭやＲＡＭなどの内部記憶装置２２０と、外部記憶装置２４０と、表示部２６０と、マウスやキーボードなどの操作部２７０と、インタフェース部（Ｉ／Ｆ部）２９０と、を備えている。Ｉ／Ｆ部２９０は、外部に設けられた種々の機器との間でデータ通信を行う。例えば、Ｉ／Ｆ部２９０は、デジタルカメラ３００から画像データを受け取る。

外部記憶装置２４０には、植物や、動物、昆虫などのカテゴリ毎に分類された複数の図鑑データベース２４２が格納されている。各図鑑データベース２４２には、複数種の対象物の詳細情報が登録されている。なお、各対象物の詳細情報は、各対象物の名称と対応付けて登録されている。例えば、植物の図鑑データベースには、対象物毎にすなわち植物の種類毎に、種々の角度から撮影された植物の画像や、花の色および形状、葉の色および形状、茎の色および形状、棲息地、棲息環境、発芽や開花の時期などの詳細情報が登録されている。

また、外部記憶装置２４０には、複数の図鑑データベース２４２に対応する複数の基準特徴量データベース２４４が格納されている。各基準特徴量データベース２４４には、各図鑑データベース２４２に登録された複数種の対象物に対応する複数の基準特徴量が登録されている。なお、各対象物の基準特徴量は、各対象物の名称と対応付けて登録されている。ここで、基準特徴量は、対象物の特徴を示す数値情報である。なお、各基準特徴量は、各対象物が表現された基準画像に対して後述する特徴量算出処理を実行することによって得られたものである。

本実施例では、基準特徴量として、色ヒストグラムの値が利用される。色ヒストグラムは、周知のように、画像内の各画素を、その色に応じて、複数のクラスに区分することによって得られるヒストグラムである。

図２は、複数種の対象物に対応する複数の基準特徴量を模式的に示す説明図である。図２（Ａ）は、６種類の対象物「ObjA」〜「ObjF」の色ヒストグラムを示している。図２（Ａ）に示すように、各色ヒストグラムの横軸には、互いに異なる色を表す複数のクラスが示されており、縦軸には、クラス毎の値（頻度）が示されている。なお、図２（Ａ）では、説明の便宜上、５つのクラス「ｈ１」〜「ｈ５」に区分されているが、実際には、より多くのクラスに区分される。図２（Ｂ）は、図２（Ａ）に表された６種類の対象物「ObjA」〜「ObjF」の色ヒストグラムの５つのクラス「ｈ１」〜「ｈ５」の値（頻度）を示す。なお、図２（Ｂ）では、説明の便宜上、各クラスの値（頻度）は比較的小さく設定されている。本実施例では、各対象物の色ヒストグラムの５つのクラス「ｈ１」〜「ｈ５」の値（頻度）が、各対象物の基準特徴量として利用される。

なお、６種類の対象物「ObjA」〜「ObjF」としては、例えば、６種類の花が想定される。

内部記憶装置２２０（図１）には、画像処理部２３０として機能するコンピュータプログラムが格納されている。なお、画像処理部２３０の機能は、ＣＰＵ２１０がコンピュータプログラムを実行することによって実現される。コンピュータプログラムは、ＣＤ−ＲＯＭなどのコンピュータ読み取り可能な記録媒体に記録された形態で提供される。

画像処理部２３０は、対象画像選択部２３２と、特徴量算出部２３４と、被写体特定部２３６と、詳細情報提供部２３８と、を備えている。

対象画像選択部２３２は、同一または同種の被写体が表現された複数の候補画像の中から、被写体の特定に適した複数の対象画像を選択する。

特徴量算出部２３４は、各対象画像を表す対象画像データを解析して、各対象画像内に表現された被写体の特徴を示す特徴量を算出する。本実施例では、特徴量として、基準特徴量と同様に、色ヒストグラムの５つのクラス「ｈ１」〜「ｈ５」の値が利用される。

被写体特定部２３６は、特徴量算出部２３４によって算出された複数の対象画像に対応する複数の特徴量と、基準特徴量データベース２４４に格納された複数の対象物に対応する複数の基準特徴量と、を用いて、複数の対象画像内に共通して表現された被写体を特定する。具体的には、被写体特定部２３６は、複数の対象画像内に共通して表現された被写体が、基準特徴量データベース２４４に登録された複数の対象物のうちのいずれであるかを決定する。

詳細情報提供部２３８は、被写体特定部２３６によって特定された被写体（対象物）に対応する詳細情報を図鑑データベース２４２から読み出して、該詳細情報を表示部２６０に表示させる。

ところで、図２（Ａ）に示すように、対象物の種類に応じて、色ヒストグラムの分布は異なっている。本実施例では、この特徴を利用することによって、画像内に表現された被写体がいずれの対象物であるかが特定される。図２（Ａ）から分かるように、第２の対象物「ObjB」の色ヒストグラムの分布と第３の対象物「ObjC」の色ヒストグラムの分布とは、比較的類似している。このため、画像内に表現された被写体が第２の対象物または第３の対象物である場合には、該被写体が第２の対象物と第３の対象物とのうちのいずれであるかを正確に特定するのは比較的困難である。本実施例では、このような場合にも、被写体を正確に特定することができる。

Ａ−２．被写体の特定処理：
図３は、画像内に表現された被写体を特定するための一連の処理手順を示すフローチャートである。なお、図３の処理は、図１の画像処理部２３０によって、より具体的には、対象画像選択部２３２と特徴量算出部２３４と被写体特定部２３６とによって実行される。

ステップＳ１０２では、対象画像選択部２３２は、ユーザによって選択された複数の候補画像の中から、被写体の特定に適した複数の対象画像を選択する。

図４は、ステップＳ１０２（図３）の処理手順を示すフローチャートである。

ステップＳ２０１では、ユーザは、特定すべき同一または同種の被写体が共通して表現された複数の候補画像を選択する。なお、ユーザによる複数の候補画像の選択は、例えば、画像処理部２３０によって準備された候補画像選択画面において、ユーザが複数の候補画像を個別に選択することによって実現されてもよいし、ユーザが複数の候補画像が格納されたフォルダを選択することによって実現されてもよい。

ステップＳ２０２では、ステップＳ２０１で選択された各候補画像が被写体の特定に適しているか否かを判断するために、対象画像選択部２３２は、複数の候補画像のうちの１つを判断対象として選択する。

ステップＳ２０４では、対象画像選択部２３２は、選択された候補画像（選択候補画像）のピントが合っているか否か、換言すれば、選択候補画像が合焦状態で撮影された画像（すなわち選択候補画像が所定の合焦条件を満足する画像）であるか否かを判断する。なお、この判断は、例えば、選択候補画像に対してエッジ抽出処理を施し、得られたエッジ画像（２値画像）内のエッジの幅（画素数）と、所定値と、を比較することによって実行可能である。すなわち、エッジの幅が所定値以下である場合には、合焦状態で撮影された画像であると判断され、エッジの幅が所定値を超える場合には、合焦状態で撮影された画像でないと判断される。

選択候補画像が合焦状態で撮影された画像であると判断される場合には、ステップＳ２０６に進み、選択候補画像が合焦状態で撮影された画像でないと判断される場合には、ステップＳ２１０に進む。

ステップＳ２０６では、対象画像選択部２３２は、選択候補画像の露出が適正か否か、換言すれば、選択候補画像が適正な露出で撮影された画像（すなわち選択候補画像が所定の露出条件を満足する画像）であるか否かを判断する。この判断は、例えば、選択候補画像内の最大の輝度値と最小の輝度値との差分（コントラスト）を算出し、該差分と所定値とを比較することによって実行可能である。すなわち、差分が所定値以上である場合には、適正な露出で撮影された画像であると判断され、差分が所定値未満である場合には、適正な露出で撮影された画像でないと判断される。

選択候補画像が適正な露出で撮影された画像であると判断される場合には、ステップＳ２０８に進み、選択候補画像が適正な露出で撮影された画像でないと判断される場合には、ステップＳ２１０に戻る。

ステップＳ２０８では、対象画像選択部２３２は、選択候補画像を被写体の特定に適した対象画像として決定する。なお、本実施例では、ステップＳ２０４の処理が実行されるため、不鮮明な候補画像は、対象画像として選択されない。また、本実施例では、ステップＳ２０６の処理が実行されるため、露出過多の候補画像や露出不足の候補画像は、対象画像として選択されない。

ステップＳ２１０では、対象画像選択部２３２は、ステップＳ２０２で判断対象として未だ選択されていない他の候補画像が存在するか否かを判断する。未選択の候補画像が存在する場合には、ステップＳ２０２に戻り、未選択の候補画像が選択され、上記の種々の処理が実行される。

上記のようにすれば、ユーザによって選択された複数の候補画像の中から、被写体の特定に適した複数の対象画像を容易に選択することができる。

なお、図４の処理の結果、複数の対象画像が選択されない場合には、対象画像選択部２３２は、複数の対象画像が選択されていないことをユーザに通知することが好ましい。こうすれば、ユーザは、例えば、特定すべき被写体が表現された他の複数の候補画像を選択して図４の処理をやり直す等の対策を施すことができる。

ステップＳ１０４（図３）では、特徴量算出部２３４は、ステップＳ１０２で選択された各対象画像を表す対象画像データを解析して、特徴量を算出する。前述したように、特徴量算出部２３４は、対象画像データを構成する各画素を、その色に応じて、複数のクラスに区分し、特徴量として色ヒストグラムの値（頻度）を算出する。

図５は、複数の画像の特徴量の算出結果を示す説明図である。図５（Ａ）は、７つの画像「Img01」〜「Img07」の色ヒストグラムを示している。図５（Ｂ）は、図５（Ａ）に示す７つの画像「Img01」〜「Img07」の色ヒストグラムの５つのクラス「ｈ１」〜「ｈ５」の値（特徴量）を示している。なお、図５（Ｂ）に示す各クラス「ｈ１」〜「ｈ５」は、図２（Ｂ）に示す各クラス「ｈ１」〜「ｈ５」と同じ色を表している。７つの画像「Img01」〜「Img07」内には、同一の被写体、より具体的には、第３の対象物「ObjC」が共通して表現されている。

７つの画像「Img01」〜「Img07」の色ヒストグラム（図５（Ａ））を比較して分かるように、各画像には同一の被写体が表現されているにも拘わらず、色ヒストグラムの分布は異なっている。これは、各画像が撮影されたときの撮影条件、例えば、被写体を照明する照明光の波長や、撮影角度、撮影距離（画像全体における被写体が占める割合）が異なることに起因する。なお、第２および第３の画像「Img02」，「Img03」の色ヒストグラムの分布は、他の５つの画像「Img01」，「Img04」，「Img05」，「Img06」，「Img07」の色ヒストグラムの分布と異なる傾向を示している。これは、第２の画像「Img02」は、合焦状態で撮影された画像でなく、第３の画像「Img03」は、適正な露出で撮影された画像でないためである。

なお、本実施例では、７つの画像内に物理的に同一の被写体が共通して表現されている場合を想定しているが、７つの画像内に物理的に同一でないが同種の被写体が共通して表現されている場合もある。この場合には、さらに、被写体の個体差に起因して、色ヒストグラムの分布は異なり得る。

また、各画像「Img01」〜「Img07」の色ヒストグラム（図５（Ａ））と、第３の対象物「ObjC」の色ヒストグラム（図２（Ａ））と、を比較して分かるように、各画像の色ヒストグラムの分布は、対象物「ObjC」の色ヒストグラムの分布と異なっている。これは、被写体が撮影されたときの撮影条件と対象物が撮影されたときの撮影条件とが異なると共に、被写体と対象物「ObjC」とが物理的に同一の物（例えば花）ではないためである。

なお、図５（Ｂ）において「img**（）」の括弧内に「○」印が付された５つの画像「Img01」，「Img04」，「Img05」，「Img06」，「Img07」は、ステップＳ１０２において対象画像として選択された画像である。一方、「×」印が付された２つの画像「Img02」，「Img03」は、ステップＳ１０２において対象画像として選択されていない画像である。この説明から分かるように、図５（Ｂ）には、説明の便宜上、７つの画像「Img01」〜「Img07」の特徴量の算出結果が示されているが、実際には、ステップＳ１０２の処理に起因して、２つの画像「Img02」，「Img03」の特徴量は算出されない。

ステップＳ１０６（図３）では、被写体特定部２３６は、複数の対象画像を用いて得られた複数の特徴量の平均（平均特徴量）を算出する。

図５（Ｂ）では、「平均特徴量（５）」の欄に、５つの対象画像「Img01」，「Img04」，「Img05」，「Img06」，「Img07」の平均特徴量が示されている。また、図５（Ｂ）では、比較のため、「平均特徴量（７）」の欄に、７つの画像「Img01」〜「Img07」の平均特徴量が示されている。なお、図５（Ｂ）に示すように、平均特徴量は、色ヒストグラムのクラス毎の値（頻度）を平均することによって得られる。

ステップＳ１０８では、被写体特定部２３６は、ステップＳ１０６で得られた平均特徴量と、各対象物の基準特徴量（図２（Ｂ））と、を用いて、類似度を算出する。

本実施例では、類似度は、角距離ｃｏｓθを用いて算出される。類似度（角距離）cosθは、以下の式（１）を用いて算出される。

ここで、ベクトルＩ，ベクトルＯは、類似度の算出対象である２つの特徴量を示すベクトルである。色ヒストグラムの各クラス「ｈ１」〜「ｈ５」の値を「ｖｈ１」〜「ｖｈ５」とすると、各ベクトルは、（ｖｈ１，ｖｈ２，ｖｈ３，ｖｈ４，ｖｈ５）で表され、各ベクトルの大きさは、（ｖｈ１²＋ｖｈ２²＋ｖｈ３²＋ｖｈ４²＋ｖｈ５²）^1/2で表される。

ステップＳ１０８では、ベクトルＩ，ベクトルＯとして、それぞれ、平均特徴量を示すベクトルと、各対象物の基準特徴量を示すベクトルと、が利用される。

図６は、ステップＳ１０８（図３）で得られる類似度の算出結果を示す説明図である。図６では、「平均特徴量（５）」の欄に、５つの対象画像「Img01」，「Img04」，「Img05」，「Img06」，「Img07」の平均特徴量と、各対象物「ObjA」〜「ObjF」の基準特徴量と、を用いて得られる６つの類似度の算出結果が示されている（図中、太枠で示す）。例えば、５つの対象画像の平均特徴量と第１の被写体「ObjA」の基準特徴量との類似度は「0.372」である。具体的には、５つの対象画像の平均特徴量を示すベクトルＩは、（2，6.8，7.6，3，1.4）（図５（Ｂ）参照）で表され、第１の被写体「ObjA」の基準特徴量を示すベクトルＯは、（4，1，0，2，5）（図２参照）で表される。そして、式（１）を用いて、類似度が「0.372」と算出される。

なお、図６には、比較のため、各画像「Img01」〜「Img07」の特徴量と、各対象物「ObjA」〜「ObjF」の基準特徴量と、を用いて得られる合計４２個の類似度が示されている。例えば、第１の画像「img01」の特徴量と第１の被写体「ObjA」の基準特徴量との類似度は「0.468」である。

また、図６には、比較のため、「平均特徴量（７）」の欄に、７つの画像「Img01」〜「Img07」の平均特徴量と、各対象物「ObjA」〜「ObjF」の基準特徴量と、を用いて得られる６つの類似度が示されている。例えば、７つの画像の平均特徴量と第１の被写体「ObjA」の基準特徴量との類似度は「0.426」である。

ステップＳ１１０では、被写体特定部２３６は、ステップＳ１０８で得られた複数の類似度の中から、最大の類似度に対応する対象物を被写体として特定する。具体的には、被写体特定部２３６は、図６に太枠で示す６つの類似度を比較して、最大の類似度「0.987」に対応する第３の対象物「ObjC」を被写体として決定する。図６の最右欄には、特定結果（「ObjC」）が示されている。

なお、前述したように、ステップＳ１１０で被写体が特定されると、詳細情報提供部２３８は、被写体として決定された対象物の詳細情報を図鑑データベース２４２から読み出して、表示部２６０に表示する。

ところで、図６では、比較のため、各画像「Img01」〜「Img07」の特徴量と、各対象物「ObjA」〜「ObjF」の基準特徴量と、の類似度を用いた場合の特定結果が示されている。第３の画像「Img03」の特徴量と各対象物の基準特徴量との類似度を用いた場合には、最大の類似度「0.987」に対応する第６の対象物「ObjF」が被写体として誤って決定される。同様に、第５の画像「Img05」の特徴量と各対象物の基準特徴量との類似度を用いた場合には、最大の類似度「0.993」に対応する第２の対象物「ObjB」が被写体として誤って決定される。また、第７の画像「Img07」の特徴量と各対象物の基準特徴量との類似度を用いた場合には、最大の類似度「0.987」に対応する第２の対象物「ObjB」が被写体として誤って決定される。

このように、１つの画像の特徴量が独立して利用される場合には、該１つの画像内に表現された被写体が、誤って、他の対象物であると決定されてしまう可能性が高い。

また、図６では、比較のため、７つの画像「Img01」〜「Img07」の平均特徴量と、各対象物の基準特徴量と、の類似度を用いた場合の特定結果が示されている。本実施例では、この場合には、最大の類似度「0.908」に対応する第３の対象物「ObjC」が被写体として正しく決定される。

このように、７つの画像「Img01」〜「Img07」の平均特徴量が利用される場合には、１つの画像の特徴量が独立して利用される場合よりも、被写体をより正確に決定することができる。ただし、７つの画像「Img01」〜「Img07」の中に、対象画像として不適切な画像がより多く含まれる場合には、被写体が、誤って、他の対象物であると決定されてしまう可能性が高くなってしまう。

本実施例では、７つの候補画像「Img01」〜「Img07」の中から、被写体の特定に適する５つの対象画像「Img01」，「Img04」，「Img05」，「Img06」，「Img07」が選択される。次に、５つの対象画像「Img01」，「Img04」，「Img05」，「Img06」，「Img07」に対応する５つの特徴量の平均を示す平均特徴量が算出され、該平均特徴量と６つの対象物「ObjA」〜「ObjF」に対応する６つの基準特徴量のそれぞれとを用いて６つの類似度が算出される。そして、６つの類似度のうちの最大の類似度に対応する対象物「ObjC」が、被写体として決定される。このため、本実施例では、各対象画像の撮影条件や各対象画像内に表現された被写体の個体差などに依存せずに、被写体を正確に特定することができる。

Ｂ．第２実施例：
図７は、第２実施例における画像内に表現された被写体を特定するための一連の処理手順を示すフローチャートである。図７は、図３とほぼ同様であるが、ステップＳ１０６ｂ，Ｓ１０８ｂ，Ｓ１１０ｂが変更されている。なお、図７のステップＳ１０２では、図４と同様の処理が実行される。

ステップＳ１０６ｂでは、被写体特定部２３６は、各対象物の基準特徴量（図２（Ｂ））と、ステップＳ１０４で得られた各対象画像の特徴量（図５（Ｂ））と、を用いて類似度を算出する。換言すれば、被写体特定部２３６は、各対象物に対応する各基準特徴量と、複数の対象画像に対応する複数の特徴量のそれぞれと、を用いて、対象物毎に、複数の類似度を算出する。

図８は、ステップＳ１０６ｂ（図７）で得られる類似度の算出結果を示す説明図である。図８では、各対象物「ObjA」〜「ObjF」の基準特徴量と、各画像「Img01」〜「Img07」の特徴量と、を用いて得られる合計４２個の類似度が示されている。なお、各類似度の値は、図６と同じである。

ステップＳ１０８ｂでは、被写体特定部２３６は、対象物毎に、複数の類似度の平均（平均類似度）を算出する。

図８では、「平均類似度（５）」の欄に、５つの対象画像の特徴量を利用して得られる６つの対象物に対応する６つの平均類似度が示されている（図中、太枠で示す）。各平均類似度は、対応する対象物の基準特徴量と、各対象画像「Img01」，「Img04」，「Img05」，「Img06」，「Img07」の特徴量と、を用いて得られる５つの類似度を平均することによって得られる。例えば、第１の対象物「ObjA」の基準特徴量と各対象画像「Img01」，「Img04」，「Img05」，「Img06」，「Img07」の特徴量とを用いてられる５つの類似度の平均は「0.362」である。

また、図８では、比較のため、「平均類似度（７）」の欄に、７つの画像の特徴量を利用して得られる６つの対象物に対応する６つの平均類似度が示されている。各平均類似度は、対応する対象物の基準特徴量と、各画像「Img01」〜「Img07」の特徴量と、を用いて得られる７つの類似度を平均することによって得られる。例えば、第１の対象物「ObjA」の基準特徴量と各画像「Img01」〜「Img07」の特徴量とを用いて得られる７つの類似度の平均は「0.416」である。

ステップＳ１１０ｂでは、被写体特定部２３６は、ステップＳ１０８ｂで得られた複数の対象物に対応する複数の平均類似度の中から、最大の平均類似度に対応する対象物を被写体として特定する。具体的には、被写体特定部２３６は、図８に太枠で示す６つの対象物に対応する６つの平均類似度を比較して、最大の平均類似度「0.987」に対応する第３の対象物「ObjC」を被写体として決定する。図８の最右欄には、特定結果（「ObjC」）が示されている。

第１実施例（図６）と同様に、図８では、比較のため、各画像「Img01」〜「Img07」の特徴量と、各対象物「ObjA」〜「ObjF」の基準特徴量と、の類似度を用いた場合の特定結果が示されている。第１実施例で説明したように、１つの画像の特徴量が独立して利用される場合には、該１つの画像内に表現された被写体が、誤って、他の対象物であると決定されてしまう可能性が高い。

また、図８では、比較のため、７つの画像の特徴量を利用して得られる６つの平均類似度を用いた場合の特定結果が示されている。本実施例では、この場合には、最大の平均類似度「0.913」に対応する第３の対象物「ObjC」が被写体として正しく決定される。

このように、７つの画像の特徴量を利用して得られる６つの平均類似度を用いる場合には、１つの画像の特徴量を利用して得られる６つの類似度を用いる場合よりも、被写体をより正確に決定することができる。ただし、第１実施例で説明したように、７つの画像「Img01」〜「Img07」の中に、対象画像として不適切な画像がより多く含まれる場合には、被写体が、誤って、他の対象物であると決定されてしまう可能性が高くなってしまう。

本実施例では、第１実施例と同様に、７つの候補画像「Img01」〜「Img07」の中から、被写体の特定に適する５つの対象画像「Img01」，「Img04」，「Img05」，「Img06」，「Img07」が選択される。次に、本実施例では、各対象物に対応する各基準特徴量と５つの対象画像に対応する５つの特徴量のそれぞれとを用いて、対象物毎に５つの類似度が算出され、対象物毎に５つの類似度の平均を示す平均類似度が算出される。そして、６つの対象物に対応する６つの平均類似度のうちの最大の平均類似度に対応する対象物が、被写体として決定される。このため、本実施例では、第１実施例と同様に、各対象画像の撮影条件や各対象画像内に表現された被写体の個体差などに依存せずに、被写体を正確に特定することができる。

なお、第２実施例では、ステップＳ１０６ｂにおいて、５つの対象画像の特徴量と６つの対象物の基準特徴量とを用いて、式（１）に基づいて合計３０個の類似度を算出する必要があるが、第１実施例では、ステップＳ１０８において、平均特徴量と６つの対象物の基準特徴量とを用いて、式（１）に基づいて合計６個の類似度を算出すれば済む。このため、第１実施例を採用すれば、第２実施例を採用する場合よりも、迅速に被写体の特定を行うことができるという利点がある。

なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様で実施することが可能であり、例えば次のような変形も可能である。

（１）上記実施例では、ステップＳ２０１において同一または同種の被写体が表現された複数の候補画像がユーザによって選択されているが、この際、ユーザは、各候補画像に同一または同種の被写体が表現されているか否かを確認する必要があり、手間が掛かる。このため、対象画像選択部２３２は、ユーザによる候補画像の選択を支援することが好ましい。

ほぼ同じ時刻を示すタイムスタンプが付加された複数の画像には、同一または同種の被写体が表現されている可能性が高い。例えば、連写機能を利用して撮影された複数の画像には、ほぼ同じ時刻を示すタイムスタンプが付加されると共に、通常、同一または同種の被写体が表現されている。このため、対象画像選択部２３２は、例えば、ユーザによって複数の画像が格納されたフォルダが指定された場合に、ほぼ等しい時刻に撮影された複数の画像を複数の候補画像として選択することができる。

また、上記実施例では、多数の静止画像の中から複数の候補画像が選択される場合が想定されているが、これに代えて、動画像の中から複数の候補画像が選択されるようにしてもよい。この場合にも、対象画像選択部２３２は、ユーザによる候補画像の選択を支援することが好ましい。具体的には、対象画像選択部２３２は、ユーザによって動画像が指定されると、動画像を解析して、シーンの変化点を検出する。なお、シーンの変化点は、例えば、隣接する２つの画像間の平均輝度の差分を利用して検出可能である。１つのシーンには、同一または同種の被写体が表現されている可能性が高い。このため、対象画像選択部２３２は、ユーザによって動画像が指定された場合には、動画像中の複数のシーンのうち、ユーザによって選択された１つのシーンに含まれる複数の画像を複数の候補画像として選択することができる。

（２）上記実施例では、ステップＳ２０４（図４）において、各候補画像が合焦状態で撮影された画像であるか否かが判断されている。また、上記実施例では、ステップＳ２０６（図４）において、各候補画像が適正な露出で撮影された画像であるか否かが判断されている。しかしながら、これらの２つの判断のうちの一方は省略可能である。また、上記の２つの判断に代えて、あるいは、上記の２つの判断のうちの少なくとも一方と共に、他の判断が実行されてもよい。例えば、候補画像の撮影時のブレまたは被写体の移動に伴うブレの有無が判断されてもよい。なお、ブレの有無は、例えば、合焦状態であるか否かの判断と同様に、エッジの幅を利用して判断可能である。

一般には、複数の候補画像の中から、被写体の特定に適する複数の対象画像が選択されればよい。

また、上記実施例では、上記の２つの判断を行うことによって、複数の候補画像の中から複数の対象画像が選択されているが、２つの判断は省略可能である。この場合には、ユーザによって選択された複数の画像が、複数の対象画像として利用されればよい。こうすれば、被写体の特定を比較的迅速に行うことができるという利点がある。ただし、上記実施例のように、被写体の特定に適する複数の対象画像が選択されれば、被写体をより正確に特定することができるという利点がある。

（３）上記実施例では、特徴量（および基準特徴量）として、色ヒストグラムの値が利用されているが、これに代えて、あるいは、これと共に、他のパラメータの値が利用されてもよい。他のパラメータとしては、例えば、被写体（および対象物）の形状の情報を利用可能である。

上記実施例では、対象画像の各画素を用いて特徴量が算出されているが、これに代えて、対象画像から被写体が表現された領域を抽出し、抽出画像の各画素を用いて特徴量が算出されてもよい。

一般には、同一または同種の被写体が表現された複数の対象画像を用いて複数の特徴量が算出されればよい。

（４）上記実施例では、類似度は、２つの特徴量を示す２つのベクトルＩ，Ｏの角距離（式（１））を用いて算出されているが、他の手法で算出されてもよい。例えば、２つの特徴量間の、より具体的には、２つのベクトルＩ，Ｏの終点間のユークリッド距離を用いて算出されてもよい。

第１実施例では、ステップＳ１０６において、複数の特徴量の平均（平均特徴量）が算出されているが、これに代えて、複数の特徴量の合計（合計特徴量）が算出されるようにしてもよい。この場合には、ステップＳ１０８において平均特徴量に代えて合計特徴量を用いて類似度が算出されればよい。

第２実施例では、ステップＳ１０８ｂにおいて、対象物毎に、複数の類似度の平均（平均類似度）が算出されているが、これに代えて、対象物毎に、複数の類似度の合計（合計類似度）が算出されるようにしてもよい。

一般には、複数の対象物に対応する複数の基準特徴量と、複数の対象画像に対応する複数の特徴量と、を用いて、複数の対象画像内に表現された被写体が複数の対象物のうちのいずれであるかが特定されればよい。

（５）上記実施例では、被写体特定部２３６は、最大の類似度または最大の平均類似度に対応する対象物を被写体として特定している。しかしながら、最大の類似度または最大の平均類似度が所定値よりも小さな値である場合には、被写体特定部は、該当する対象物がないと判断してもよい。また、最大の類似度または最大の平均類似度と等しいまたはほぼ等しい他の類似度が存在する場合には、被写体特定部は、２以上の対象物が被写体である可能性があると判断してもよい。

（６）上記実施例では、本発明の被写体特定装置を、電子図鑑として機能する画像処理装置に適用した場合について説明したが、本発明の被写体特定装置は他の画像処理装置にも適用可能である。

例えば、監視カメラからの画像を処理する監視用の画像処理装置に適用可能である。この場合には、被写体特定装置は、同一の被写体（人物）が表現された複数の対象画像を用いて得られる複数の特徴量と、予め登録された複数の対象物（人物）に対応する複数の基準特徴量と、を用いて、対象画像内に表現された被写体（人物）が複数の対象物（人物）のうちのいずれであるかを特定すればよい。この態様では、最大の類似度または最大の平均類似度が所定値よりも小さい場合には、被写体を不審者であると認定することができる。なお、この態様では、特徴量として、色ヒストグラムの値に代えて、あるいは、色ヒストグラムの値と共に、顔の特徴を示すパラメータの値が利用されることが好ましい。顔の特徴を示すパラメータとしては、種々の部位（眼、鼻、口等）の形状や位置関係などの情報を利用可能である。

（７）上記実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えてもよい。

電子図鑑として機能する画像処理装置（パーソナルコンピュータ）２００を示す説明図である。 複数種の対象物に対応する複数の基準特徴量を模式的に示す説明図である。 画像内に表現された被写体を特定するための一連の処理手順を示すフローチャートである。 ステップＳ１０２（図３）の処理手順を示すフローチャートである。 複数の画像の特徴量の算出結果を示す説明図である。 ステップＳ１０８（図３）で得られる類似度の算出結果を示す説明図である。 第２実施例における画像内に表現された被写体を特定するための一連の処理手順を示すフローチャートである。 ステップＳ１０６ｂ（図７）で得られる類似度の算出結果を示す説明図である。

符号の説明

２００…パーソナルコンピュータ
２１０…ＣＰＵ
２２０…内部記憶装置
２３０…画像処理部
２３２…対象画像選択部
２３４…特徴量算出部
２３６…被写体特定部
２３８…詳細情報提供部
２４０…外部記憶装置
２４２…図鑑データベース
２４４…基準特徴量データベース
２６０…表示部
２７０…操作部
２９０…Ｉ／Ｆ部
３００…デジタルカメラ

Claims (9)

1. 画像内に表現された被写体を特定するための被写体特定装置であって、
   複数の対象物に対応する複数の基準特徴量であって、前記各基準特徴量は対応する前記対象物の所定の特徴を示す、前記複数の基準特徴量が格納された記憶部と、
   同一または同種の被写体が表現された複数の対象画像を用いて複数の特徴量を算出する特徴量算出部であって、前記各特徴量は対応する前記対象画像内に表現された前記被写体の前記所定の特徴を示す、前記特徴量算出部と、
   前記複数の対象物に対応する前記複数の基準特徴量と、前記複数の対象画像に対応する前記複数の特徴量と、を用いて、前記複数の対象画像内に表現された前記被写体が前記複数の対象物のうちのいずれであるかを特定する特定部と、
   を備えることを特徴とする被写体特定装置。
2. 請求項１記載の被写体特定装置であって、さらに、
   複数の候補画像の中から、前記被写体の特定に適する前記複数の対象画像を選択する選択部を備える、被写体特定装置。
3. 請求項２記載の被写体特定装置であって、
   前記選択部は、
   所定の合焦条件を満足する前記候補画像を前記対象画像として選択する、被写体特定装置。
4. 請求項２または３記載の被写体特定装置であって、
   前記選択部は、
   所定の露出条件を満足する前記候補画像を前記対象画像として選択する、被写体特定装置。
5. 請求項１ないし４のいずれかに記載の被写体特定装置であって、
   前記特定部は、
   前記複数の対象画像に対応する前記複数の特徴量の平均を示す平均特徴量を算出し、
   前記平均特徴量と、前記複数の対象物に対応する前記複数の基準特徴量のそれぞれと、を用いて、複数の類似度を算出し、
   前記複数の類似度のうちの最大の類似度に対応する前記対象物を、前記被写体として決定する、被写体特定装置。
6. 請求項１ないし４のいずれかに記載の被写体特定装置であって、
   前記特定部は、
   前記各対象物に対応する前記各基準特徴量と、前記複数の対象画像に対応する前記複数の特徴量のそれぞれと、を用いて、前記対象物毎に、複数の類似度を算出し、
   前記対象物毎に、前記複数の類似度の平均を示す平均類似度を算出し、
   前記複数の対象物に対応する複数の前記平均類似度のうちの最大の平均類似度に対応する前記対象物を、前記被写体として決定する、被写体特定装置。
7. 複数の対象物に対応する複数の基準特徴量であって、前記各基準特徴量は対応する前記対象物の所定の特徴を示す、前記複数の基準特徴量を用いて、画像内に表現された被写体を特定する方法であって、
   （ａ）同一または同種の被写体が表現された複数の対象画像を用いて複数の特徴量を算出する工程であって、前記各特徴量は対応する前記対象画像内に表現された前記被写体の前記所定の特徴を示す、前記工程と、
   （ｂ）前記複数の対象物に対応する前記複数の基準特徴量と、前記複数の対象画像に対応する前記複数の特徴量と、を用いて、前記複数の対象画像内に表現された前記被写体が前記複数の対象物のうちのいずれであるかを特定する工程と、
   を備えることを特徴とする方法。
8. コンピュータに、複数の対象物に対応する複数の基準特徴量であって、前記各基準特徴量は対応する前記対象物の所定の特徴を示す、前記複数の基準特徴量を用いて、画像内に表現された被写体を特定させるためのコンピュータプログラムであって、
   同一または同種の被写体が表現された複数の対象画像を用いて複数の特徴量を算出する機能であって、前記各特徴量は対応する前記対象画像内に表現された前記被写体の前記所定の特徴を示す、前記機能と、
   前記複数の対象物に対応する前記複数の基準特徴量と、前記複数の対象画像に対応する前記複数の特徴量と、を用いて、前記複数の対象画像内に表現された前記被写体が前記複数の対象物のうちのいずれであるかを特定する機能と、
   を前記コンピュータに実現させることを特徴とするコンピュータプログラム。
9. 請求項８記載のコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images