JP2008134868A - 画像認識装置、電子機器、画像認識方法、および、制御プログラム - Google Patents
画像認識装置、電子機器、画像認識方法、および、制御プログラム Download PDFInfo
- Publication number
- JP2008134868A JP2008134868A JP2006321071A JP2006321071A JP2008134868A JP 2008134868 A JP2008134868 A JP 2008134868A JP 2006321071 A JP2006321071 A JP 2006321071A JP 2006321071 A JP2006321071 A JP 2006321071A JP 2008134868 A JP2008134868 A JP 2008134868A
- Authority
- JP
- Japan
- Prior art keywords
- image
- candidate
- collation
- recognition
- recognition target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【課題】制限なく様々な画像を利用して、効率よく画像を認識できる画像認識装置、画像認識方法、および、制御プログラムを提供する。
【解決手段】画像認識装置１は、認識対象画像から顔画像を検出し、予め決定された照合順序に従って、複数の登録者の画像を検出した顔画像と照合することにより、顔画像がどの登録者の画像であるかを特定する照合処理を実行可能であり、照合処理で一つの顔画像が登録者の画像として特定された場合に、特定された登録者と他の登録者とが同時に撮影される関連度に基づいて他の登録者の照合順序を決定し、決定した照合順序に従ってその後の照合処理を実行する。
【選択図】図１
【解決手段】画像認識装置１は、認識対象画像から顔画像を検出し、予め決定された照合順序に従って、複数の登録者の画像を検出した顔画像と照合することにより、顔画像がどの登録者の画像であるかを特定する照合処理を実行可能であり、照合処理で一つの顔画像が登録者の画像として特定された場合に、特定された登録者と他の登録者とが同時に撮影される関連度に基づいて他の登録者の照合順序を決定し、決定した照合順序に従ってその後の照合処理を実行する。
【選択図】図１
Description
本発明は、画像に写っているオブジェクトを認識する画像認識装置、電子機器、画像認識方法、および、制御プログラムに関する。
従来、画像データベースに登録された参照画像に基づき、画像に写っている人物等を特定する画像認識技術が知られている。画像認識の実行時には、画像データベースの参照画像に写っている人物等の画像と、認識対象の画像の全部または一部とを照合することで、認識対象画像に写っている人物等が特定される。このため、参照画像の数が増えるにつれて、多数の参照画像と認識対象の画像とを照合しなければならず、認識に時間がかかるという問題が指摘されていた。この問題を解決すべく、画像データベースを属性別に細分化し、一つの属性に登録される参照画像の数を抑制することで、認識率の向上を図った画像認識装置が知られている（例えば、特許文献１参照）。この画像認識装置は、参照画像に写った被写体の画像の大小に基づいて撮影者と被写体との親密度を測り、この親密度を属性の一つとして用いている。
特開２００４−１２７２８５号公報
しかしながら、撮影者と被写体との親密度を利用する場合、参照画像および認識対象の画像となる全ての画像が同じ撮影者により撮影された画像でなければ、十分な効果が得られない。
そこで本発明は、制限なく様々な画像を利用して、効率よく画像を認識できる画像認識装置、電子機器、画像認識方法、および、制御プログラムを提供することを目的とする。
そこで本発明は、制限なく様々な画像を利用して、効率よく画像を認識できる画像認識装置、電子機器、画像認識方法、および、制御プログラムを提供することを目的とする。
上記目的を達成するため、本発明は、認識対象画像からオブジェクト画像を検出する検出手段と、前記検出手段により検出された前記オブジェクト画像について、予め備えられた複数の候補オブジェクトとの照合を行うことにより、前記オブジェクト画像がどの前記候補オブジェクトであるかを特定する照合手段と、前記照合手段によって複数の前記候補オブジェクトを照合する際の照合順序を制御する制御手段と、を備え、前記制御手段は、前記認識対象画像において認識された複数の前記オブジェクト画像のうち少なくとも一つが前記候補オブジェクトとして特定された場合に、特定された前記候補オブジェクトと他の前記候補オブジェクトとが同時に撮影される関連度に基づいて、他の前記候補オブジェクトの照合順序を決定すること、を特徴とする画像認識装置を提供する。
この構成によれば、認識対象画像において認識された複数のオブジェクト画像のうち少なくとも一つが候補オブジェクトとして特定された場合に、特定された候補オブジェクトと他の候補オブジェクトとが同時に撮影される関連度に基づいて、他の候補オブジェクトの照合順序が決定され、この照合順序に従って以降の照合が行われる。このため、あるオブジェクト画像がある候補オブジェクトの画像として特定された後は、その候補オブジェクトと一緒に写っている可能性が高い候補オブジェクトから順に照合が行われる。つまり、特定される可能性が高い候補オブジェクトが優先されるので、残りのオブジェクト画像が速やかに特定されることが期待でき、画像認識の効率化および高速化を図ることができる。
この構成によれば、認識対象画像において認識された複数のオブジェクト画像のうち少なくとも一つが候補オブジェクトとして特定された場合に、特定された候補オブジェクトと他の候補オブジェクトとが同時に撮影される関連度に基づいて、他の候補オブジェクトの照合順序が決定され、この照合順序に従って以降の照合が行われる。このため、あるオブジェクト画像がある候補オブジェクトの画像として特定された後は、その候補オブジェクトと一緒に写っている可能性が高い候補オブジェクトから順に照合が行われる。つまり、特定される可能性が高い候補オブジェクトが優先されるので、残りのオブジェクト画像が速やかに特定されることが期待でき、画像認識の効率化および高速化を図ることができる。
上記構成において、各々の前記候補オブジェクトと他の前記候補オブジェクトとの組み合わせ毎に、同時に撮影される関連度である関連度情報を記憶する関連度情報記憶手段をさらに備え、前記制御手段は、前記認識対象画像において認識された複数の前記オブジェクト画像のうち少なくとも一つが前記候補オブジェクトとして特定された場合に、特定された前記候補オブジェクトを含む前記関連度情報に基づいて、他の前記候補オブジェクトの照合順序を決定するようにしてもよい。
この場合、各々の候補オブジェクトと他の候補オブジェクトとの組み合わせ毎に、同時に撮影される関連度を示す関連度情報が記憶され、この関連度情報をもとに照合順序が決定されるので、照合順序の決定を高速かつ適切に行うことができる。
この場合、各々の候補オブジェクトと他の候補オブジェクトとの組み合わせ毎に、同時に撮影される関連度を示す関連度情報が記憶され、この関連度情報をもとに照合順序が決定されるので、照合順序の決定を高速かつ適切に行うことができる。
また、上記構成において、前記関連度情報は、各々の前記候補オブジェクトが他の前記候補オブジェクトと同時に撮影された回数に基づいた情報としてもよい。
この場合、各々の候補オブジェクトと他の候補オブジェクトとが同時に撮影される関連度が的確に反映された情報をもとに、照合順序を決定することが可能となる。また、的確な関連度情報を容易に生成することが可能となる。
この場合、各々の候補オブジェクトと他の候補オブジェクトとが同時に撮影される関連度が的確に反映された情報をもとに、照合順序を決定することが可能となる。また、的確な関連度情報を容易に生成することが可能となる。
上記構成において、前記関連度情報は、各々の前記候補オブジェクトが、前記認識対象画像と同一または類似の撮影条件下で他の前記候補オブジェクトと同時に撮影された履歴に基づいた情報としてもよい。
この場合、関連度情報が、認識対象画像と同一または類似の撮影条件下で撮影された履歴に基づいて情報であるため、認識対象画像と同一または類似の撮影条件下における候補オブジェクトどうしの関連度を反映した情報となっている。つまり、関連度情報が認識対象画像の撮影条件に対して最適化されているので、画像認識を確実に効率化および高速化できる。
この場合、関連度情報が、認識対象画像と同一または類似の撮影条件下で撮影された履歴に基づいて情報であるため、認識対象画像と同一または類似の撮影条件下における候補オブジェクトどうしの関連度を反映した情報となっている。つまり、関連度情報が認識対象画像の撮影条件に対して最適化されているので、画像認識を確実に効率化および高速化できる。
また、上記構成において、前記制御手段は、前記認識対象画像の前記オブジェクト画像を前記照合手段によって照合する前に、各々の前記候補オブジェクトが撮影された回数に基づいて前記照合順序を決定し、少なくとも一つの前記オブジェクト画像が前記候補オブジェクトとして特定された後に、特定された前記候補オブジェクトを含む前記関連度情報に基づいて、他の前記候補オブジェクトの照合順序を決定するものとしてもよい。
この場合、最初のオブジェクト画像を認識する場合に、撮影された回数に基づいて決定された照合順序で候補オブジェクトを照合するので、最初のオブジェクト画像の認識を効率よく行うことができる。
この場合、最初のオブジェクト画像を認識する場合に、撮影された回数に基づいて決定された照合順序で候補オブジェクトを照合するので、最初のオブジェクト画像の認識を効率よく行うことができる。
また、上記構成において、前記オブジェクト画像がどのオブジェクトであるかを示す情報を入力可能な入力手段と、前記候補オブジェクトを前記照合順序に基づく順序で表示画面上に表示する候補表示手段と、前記候補表示手段により表示されたいずれかの前記候補オブジェクトが選択された場合に、前記オブジェクト画像が選択された前記候補オブジェクトであると特定するオブジェクト情報取得手段と、を備える構成としてもよい。
この場合、オブジェクト画像がどのオブジェクトであるかを示す情報を入力することが可能になる上、入力を行う際には、表示画面上に表示された候補オブジェクトを選択すればよいので、簡単に入力を行うことができる。また、表示画面上には照合順序に従って候補オブジェクトが表示されるので、一致する可能性が高い候補オブジェクトが優先して表示され、より簡単に、かつ速やかに入力を行うことができる。
さらに、上記のように構成される画像認識装置を具備した電子機器を実現することも可能である。
この場合、オブジェクト画像がどのオブジェクトであるかを示す情報を入力することが可能になる上、入力を行う際には、表示画面上に表示された候補オブジェクトを選択すればよいので、簡単に入力を行うことができる。また、表示画面上には照合順序に従って候補オブジェクトが表示されるので、一致する可能性が高い候補オブジェクトが優先して表示され、より簡単に、かつ速やかに入力を行うことができる。
さらに、上記のように構成される画像認識装置を具備した電子機器を実現することも可能である。
また、本発明は、認識対象画像からオブジェクト画像を検出し、予め決定された照合順序に従って、複数の候補オブジェクトの画像を、検出した前記オブジェクト画像と照合することにより、前記オブジェクト画像がどの前記候補オブジェクトであるかを特定する照合処理を実行するとともに、前記認識対象画像において認識された複数の前記オブジェクト画像のうち少なくとも一つが前記候補オブジェクトとして特定された場合に、特定された前記候補オブジェクトと他の前記候補オブジェクトとが同時に撮影される関連度に基づいて、他の前記候補オブジェクトの照合順序を決定し、決定した照合順序に従ってその後の前記照合処理を実行すること、を特徴とする画像認識方法を提供する。
この画像認識方法によれば、認識対象画像において認識された複数のオブジェクト画像のうち少なくとも一つが候補オブジェクトとして特定された場合に、特定された候補オブジェクトと他の候補オブジェクトとが同時に撮影される関連度に基づいて、他の候補オブジェクトの照合順序を決定し、決定した照合順序に従ってその後の照合処理を実行するので、あるオブジェクト画像がある候補オブジェクトとして特定された後は、その候補オブジェクトと一緒に写っている可能性が高い候補オブジェクトから順に照合が行われる。つまり、特定される可能性が高い候補オブジェクトが優先されるので、残りのオブジェクト画像が速やかに特定されることが期待でき、画像認識の効率化および高速化を図ることができる。
この画像認識方法によれば、認識対象画像において認識された複数のオブジェクト画像のうち少なくとも一つが候補オブジェクトとして特定された場合に、特定された候補オブジェクトと他の候補オブジェクトとが同時に撮影される関連度に基づいて、他の候補オブジェクトの照合順序を決定し、決定した照合順序に従ってその後の照合処理を実行するので、あるオブジェクト画像がある候補オブジェクトとして特定された後は、その候補オブジェクトと一緒に写っている可能性が高い候補オブジェクトから順に照合が行われる。つまり、特定される可能性が高い候補オブジェクトが優先されるので、残りのオブジェクト画像が速やかに特定されることが期待でき、画像認識の効率化および高速化を図ることができる。
また、本発明は、コンピュータを、認識対象画像からオブジェクト画像を検出する検出手段と、前記検出手段により検出された前記オブジェクト画像について、予め備えられた複数の候補オブジェクトとの照合を行うことにより、前記オブジェクト画像がどの前記候補オブジェクトであるかを特定する照合手段と、前記照合手段によって複数の前記候補オブジェクトを照合する際の照合順序を制御するとともに、前記認識対象画像において認識された複数の前記オブジェクト画像のうち少なくとも一つが前記候補オブジェクトとして特定された場合に、特定された前記候補オブジェクトと他の前記候補オブジェクトとが同時に撮影される関連度に基づいて、他の前記候補オブジェクトの照合順序を決定する制御手段として機能させるための制御プログラムを提供する。
この制御プログラムによれば、コンピュータによって画像認識を行う場合に、認識対象画像において認識された複数のオブジェクト画像のうち少なくとも一つが候補オブジェクトとして特定された場合に、特定された候補オブジェクトと他の候補オブジェクトとが同時に撮影される関連度に基づいて、他の候補オブジェクトの照合順序が決定され、この照合順序に従って以降の照合が行われる。このため、あるオブジェクト画像がある候補オブジェクトとして特定された後は、その候補オブジェクトと一緒に写っている可能性が高い候補オブジェクトから順に照合が行われる。つまり、特定される可能性が高い候補オブジェクトが優先されるので、残りのオブジェクト画像が速やかに特定されることが期待でき、効率よく、高速に画像認識を行うことができる。
この制御プログラムによれば、コンピュータによって画像認識を行う場合に、認識対象画像において認識された複数のオブジェクト画像のうち少なくとも一つが候補オブジェクトとして特定された場合に、特定された候補オブジェクトと他の候補オブジェクトとが同時に撮影される関連度に基づいて、他の候補オブジェクトの照合順序が決定され、この照合順序に従って以降の照合が行われる。このため、あるオブジェクト画像がある候補オブジェクトとして特定された後は、その候補オブジェクトと一緒に写っている可能性が高い候補オブジェクトから順に照合が行われる。つまり、特定される可能性が高い候補オブジェクトが優先されるので、残りのオブジェクト画像が速やかに特定されることが期待でき、効率よく、高速に画像認識を行うことができる。
以下、図面を参照して本発明を適用した実施形態について説明する。
［第１の実施形態］
図１は、第１の実施形態に係る画像認識装置１の構成を示すブロック図である。
画像認識装置１の概要は、予め記憶している参照画像に基づいて、認識対象画像中のオブジェクト（被写体として写っている人および物）を特定する画像認識処理を行う装置である。この画像認識装置１は、動画像と静止画像のいずれに対しても画像認識処理を実行可能であり、また、オブジェクトとして人および物のいずれも認識できる。本第１の実施形態及び後述する他の実施形態では、あくまで一例として、静止画像に対する画像認識処理を行い、オブジェクトとして人間の顔を認識する場合について説明する。
［第１の実施形態］
図１は、第１の実施形態に係る画像認識装置１の構成を示すブロック図である。
画像認識装置１の概要は、予め記憶している参照画像に基づいて、認識対象画像中のオブジェクト（被写体として写っている人および物）を特定する画像認識処理を行う装置である。この画像認識装置１は、動画像と静止画像のいずれに対しても画像認識処理を実行可能であり、また、オブジェクトとして人および物のいずれも認識できる。本第１の実施形態及び後述する他の実施形態では、あくまで一例として、静止画像に対する画像認識処理を行い、オブジェクトとして人間の顔を認識する場合について説明する。
まず、画像認識装置１の構成について説明する。
図１に示すように、画像認識装置１は、画像認識装置１の各部の制御、および、後述する画像認識処理を実行する制御部２と、制御部２によって実行される各種プログラムを記憶したＲＯＭ３と、制御部２によって処理されるプログラムやデータ等を一時的に記憶するＲＡＭ４とを備えている。ＲＯＭ３は、制御部２が画像認識処理を実行するための制御プログラム、画像認識装置１の各部を制御するための制御プログラム、および、これらプログラムに関するデータを記憶している。
また、画像認識装置１は、制御部２によって処理される画像等を記憶する記憶部５と、画像認識装置１に対する指示入力を行うための入力部６と、制御部２によって実行される処理の結果等を出力する出力部７と、外部の装置（図示略）に接続される外部インタフェース（Ｉ／Ｆ）８とを備えている。これらの各部はバス９により相互に接続されている。
図１に示すように、画像認識装置１は、画像認識装置１の各部の制御、および、後述する画像認識処理を実行する制御部２と、制御部２によって実行される各種プログラムを記憶したＲＯＭ３と、制御部２によって処理されるプログラムやデータ等を一時的に記憶するＲＡＭ４とを備えている。ＲＯＭ３は、制御部２が画像認識処理を実行するための制御プログラム、画像認識装置１の各部を制御するための制御プログラム、および、これらプログラムに関するデータを記憶している。
また、画像認識装置１は、制御部２によって処理される画像等を記憶する記憶部５と、画像認識装置１に対する指示入力を行うための入力部６と、制御部２によって実行される処理の結果等を出力する出力部７と、外部の装置（図示略）に接続される外部インタフェース（Ｉ／Ｆ）８とを備えている。これらの各部はバス９により相互に接続されている。
記憶部５は、磁気的記録媒体、光学的記録媒体、或いは半導体記憶デバイスを用いて各種情報を不揮発的に記憶する。記憶部５は複数の記憶領域を有し、これらの記憶領域には、既存の画像を記憶する参照画像記憶部５１、画像認識処理時に画像を認識するために利用される情報を格納した認識用ＤＢ（データベース）５２、参照画像記憶部５１に記憶した画像に対応するメタデータを格納したメタデータＤＢ５３、後述する同時撮影情報を記憶した関連度情報記憶手段としての同時撮影情報記憶部５４、および、画像認識処理の対象となる認識対象画像を記憶する認識対象画像記憶部５５が含まれる。
参照画像記憶部５１は、画像認識処理において参照画像として利用される複数の画像を記憶する記憶領域である。参照画像記憶部５１に記憶された各画像には、各画像を個別に識別するための識別情報（以下、画像ＩＤと呼ぶ）が付されている。
参照画像記憶部５１に記憶された画像は、例えば、外部インタフェース８等を介して外部の装置（図示略）から画像認識装置１に入力されたものであり、静止画像として撮影された画像であってもよいし、動画像から一部のフレームを抽出する等して生成された画像であってもよい。さらに、画像認識装置１に撮影機能を有する撮影装置を実装した場合には、この撮影装置によって過去に撮影された画像を参照画像記憶部５１に記憶してもよい。また、参照画像記憶部５１に記憶される参照画像として、認識対象画像よりも前に撮影または生成された画像を利用することが考えられるが、認識対象画像よりも後に撮影または生成された画像を用いることも勿論可能である。
参照画像記憶部５１に記憶された画像は、例えば、外部インタフェース８等を介して外部の装置（図示略）から画像認識装置１に入力されたものであり、静止画像として撮影された画像であってもよいし、動画像から一部のフレームを抽出する等して生成された画像であってもよい。さらに、画像認識装置１に撮影機能を有する撮影装置を実装した場合には、この撮影装置によって過去に撮影された画像を参照画像記憶部５１に記憶してもよい。また、参照画像記憶部５１に記憶される参照画像として、認識対象画像よりも前に撮影または生成された画像を利用することが考えられるが、認識対象画像よりも後に撮影または生成された画像を用いることも勿論可能である。
認識用ＤＢ５２は、後述する画像認識処理において、顔画像の認識を行うために用いる情報を格納したデータベースである。具体的には、認識用ＤＢ５２に格納された情報は、オブジェクトの画像の特徴を示す情報である。本第１の実施形態ではオブジェクトとして人の顔を認識するので、認識用ＤＢ５２には、複数の人物の顔について、顔画像の特徴を示す情報が、顔を識別するための情報（人物の名前等）に対応づけて格納されている。
制御部２は、画像認識処理において、認識対象画像から顔画像を検出し、検出した顔画像と、認識用ＤＢ５２に格納された情報とを照合することで、検出した顔画像が誰の顔であるかを特定する。従って、認識用ＤＢ５２に格納された複数の人物は、画像認識処理で認識候補として扱われる。すなわち、画像認識の候補として画像認識装置１に登録されたとみなすことができるので、以下の説明では「登録者」と呼ぶ。
制御部２は、画像認識処理において、認識対象画像から顔画像を検出し、検出した顔画像と、認識用ＤＢ５２に格納された情報とを照合することで、検出した顔画像が誰の顔であるかを特定する。従って、認識用ＤＢ５２に格納された複数の人物は、画像認識処理で認識候補として扱われる。すなわち、画像認識の候補として画像認識装置１に登録されたとみなすことができるので、以下の説明では「登録者」と呼ぶ。
メタデータＤＢ５３は、参照画像のメタデータを格納するデータベースである。
図２には、メタデータＤＢ５３の構成例を模式的に示す。この図２に示すように、メタデータＤＢ５３は、参照画像を特定するための識別情報（ここでは画像ＩＤ）と、各画像のメタデータとを対応づけて格納している。
本第１の実施形態において、メタデータＤＢ５３に記憶されるメタデータは、その画像に写っている人物の名前を含むオブジェクト情報である。図２の例で、画像「３」に対応するオブジェクト情報は「Ｂ、Ｃ」となっているが、これは画像「３」に登録者「Ｂ」と登録者「Ｃ」の顔が写っていることを示している。
通常、メタデータとは、Exif（Exchangeable Image File Format）等の規格化された形式で画像データに付加された情報を指す。このメタデータとしては、ＩＳＯ感度や露出時間等の撮影条件を示す情報、撮影日時を示す時刻情報、撮影場所のＧＰＳデータ等が知られている。本第１の実施形態の構成において、図２に示したオブジェクト情報に加え、これらの情報をメタデータとしてメタデータＤＢ５３に格納してもよい。
図２には、メタデータＤＢ５３の構成例を模式的に示す。この図２に示すように、メタデータＤＢ５３は、参照画像を特定するための識別情報（ここでは画像ＩＤ）と、各画像のメタデータとを対応づけて格納している。
本第１の実施形態において、メタデータＤＢ５３に記憶されるメタデータは、その画像に写っている人物の名前を含むオブジェクト情報である。図２の例で、画像「３」に対応するオブジェクト情報は「Ｂ、Ｃ」となっているが、これは画像「３」に登録者「Ｂ」と登録者「Ｃ」の顔が写っていることを示している。
通常、メタデータとは、Exif（Exchangeable Image File Format）等の規格化された形式で画像データに付加された情報を指す。このメタデータとしては、ＩＳＯ感度や露出時間等の撮影条件を示す情報、撮影日時を示す時刻情報、撮影場所のＧＰＳデータ等が知られている。本第１の実施形態の構成において、図２に示したオブジェクト情報に加え、これらの情報をメタデータとしてメタデータＤＢ５３に格納してもよい。
同時撮影情報記憶部５４は、上記登録者の顔が写っている参照画像の数を登録者毎に集計した値を示す同時撮影情報を記憶する記憶領域である。同時撮影情報記憶部５４に格納される同時撮影情報は、関連度情報としての同時撮影回数５４Ａと、合計撮影回数５４Ｂとから構成される。
同時撮影情報の構成例を図３に示す。図３（Ａ）は同時撮影回数５４Ａの構成例を示し、図３（Ｂ）は合計撮影回数５４Ｂの構成例を示す。
同時撮影情報の構成例を図３に示す。図３（Ａ）は同時撮影回数５４Ａの構成例を示し、図３（Ｂ）は合計撮影回数５４Ｂの構成例を示す。
同時撮影回数５４Ａは、各登録者と他の登録者とが一緒に撮影された回数を、登録者の組み合わせ毎に集計した値を示す情報である。図３（Ａ）の例では、登録者「Ａ」と「Ｂ」が一緒に撮影された回数が１０回、「Ａ」と「Ｃ」とが一緒に撮影された回数が５回、「Ａ」と「Ｄ」とが一緒に撮影された回数が４回となっている。同時撮影回数５４Ａには、全ての登録者から二人の登録者を選んだ全ての組み合わせについて、撮影回数が含まれていることが望ましいが、登録者の数が極めて多い場合には、一部の登録者の組み合わせについてのみ、撮影回数を集計したものであってもよい。また、同時撮影回数に関しては、二人が同時に撮影された回数に限定されず、三人以上が同時に撮影された回数を用いてもよい。
参照画像記憶部５１内の参照画像の数は、撮影された回数と見なすことができるので、同時撮影回数５４Ａは、各登録者の顔と他の登録者の顔とを同時に含む参照画像の数を集計することで求められる。例えば、登録者「Ａ」の顔と登録者「Ｂ」の顔とを含む参照画像の数が１０であれば、登録者「Ａ」と「Ｂ」とが一緒に撮影された回数は１０回である。この数値は、登録者どうしの関連性（親密度）を示す指標として利用できる。例えば、図３（Ａ）の例では、登録者「Ａ」と登録者「Ｂ」が一緒に撮影された回数は、他の登録者との組み合わせに比べて、非常に多い。言い換えれば、登録者「Ａ」が写っている画像には、登録者「Ｂ」が写っている可能性が高いといえる。
参照画像記憶部５１内の参照画像の数は、撮影された回数と見なすことができるので、同時撮影回数５４Ａは、各登録者の顔と他の登録者の顔とを同時に含む参照画像の数を集計することで求められる。例えば、登録者「Ａ」の顔と登録者「Ｂ」の顔とを含む参照画像の数が１０であれば、登録者「Ａ」と「Ｂ」とが一緒に撮影された回数は１０回である。この数値は、登録者どうしの関連性（親密度）を示す指標として利用できる。例えば、図３（Ａ）の例では、登録者「Ａ」と登録者「Ｂ」が一緒に撮影された回数は、他の登録者との組み合わせに比べて、非常に多い。言い換えれば、登録者「Ａ」が写っている画像には、登録者「Ｂ」が写っている可能性が高いといえる。
合計撮影回数５４Ｂは、各登録者の顔を含む参照画像の数、すなわち各登録者の撮影回数を示す情報である。図３（Ｂ）の例では、４人の登録者「Ａ」、「Ｂ」、「Ｃ」、「Ｄ」の撮影回数が、登録者毎に含まれている。
ここで、図３はあくまで一構成例を模式的に示した図であり、同時撮影回数５４Ａおよび合計撮影回数５４Ｂの具体的態様は図３の形式に限定されない。
ここで、図３はあくまで一構成例を模式的に示した図であり、同時撮影回数５４Ａおよび合計撮影回数５４Ｂの具体的態様は図３の形式に限定されない。
認識対象画像記憶部５５は、画像認識処理の対象となる認識対象画像を記憶する記憶領域である。この認識対象画像は、例えば、外部インタフェース８等を介して、外部のハードディスクドライブや半導体メモリを内蔵したストレージデバイス、パーソナルコンピュータ、デジタルスチルカメラ、デジタルビデオカメラ、携帯型電話機等の装置から画像認識装置１に入力される。画像認識装置１に撮影機能を有する撮影装置を実装した場合は、この撮影装置により撮影された画像が認識対象画像記憶部５５に記憶される構成としてもよい。また、認識対象画像記憶部５５に記憶される画像は、静止画像として撮影された画像であってもよいし、動画像をもとに、例えば一部のフレームを抽出する方法で生成された画像であってもよい。
入力部６は、数字・文字・記号等を入力するキーや特定の動作を指示する機能キー等の各種キースイッチ、ロータリースイッチ、電源ＯＮ／ＯＦＦボタン等を備え、これらスイッチ或いはボタン等の操作に対応する操作信号を生成して、制御部２に出力する。
出力部７は、制御部２による処理結果や処理中の画像等を出力する。具体的には、ＬＣＤ（液晶ディスプレイ）等により構成される表示画面７１に映像を表示させる機能、或いは、図示しない印刷装置により画像を印刷させる機能を具備する。
出力部７は、制御部２による処理結果や処理中の画像等を出力する。具体的には、ＬＣＤ（液晶ディスプレイ）等により構成される表示画面７１に映像を表示させる機能、或いは、図示しない印刷装置により画像を印刷させる機能を具備する。
外部インタフェース８は、画像認識装置１の外部の装置に接続されるインタフェースである。ここで外部の装置としては、ハードディスクドライブや半導体メモリを内蔵したストレージデバイス、パーソナルコンピュータ、デジタルスチルカメラ、デジタルビデオカメラ、携帯型電話機等が挙げられる。外部インタフェース８の具体的な構成としては、USB（Universal Serial Bus）、IEEE1394、Ethernet（登録商標）等の通信方式に対応した有線接続インタフェース、および、IEEE802.11、Bluetooth（登録商標）、UWB、ZigBee（登録商標）等の通信方式に対応した無線通信インタフェース等が挙げられる。
また、外部インタフェース８は、上記各種規格に準じたコネクタの他、上記各種規格により規定されたプロトコルを実行可能なインタフェース回路を備えていてもよい。
また、外部インタフェース８は、上記各種規格に準じたコネクタの他、上記各種規格により規定されたプロトコルを実行可能なインタフェース回路を備えていてもよい。
図４は、画像認識装置１が実行する同時撮影情報更新処理を示すフローチャートである。
制御部２は、ステップＳ１１でメタデータＤＢ５３を参照し、参照画像記憶部５１内の全ての参照画像に対応するメタデータを取得する。続いて、制御部２はステップＳ１２に移行して、取得したメタデータに含まれるオブジェクト情報に基づいて、各登録者の名前を含むメタデータの数を、登録者毎に集計する。メタデータＤＢ５３のメタデータは参照画像と一対一で対応する。従って、メタデータの数は参照画像の数と同数であるから、ステップＳ１２で集計された値は撮影回数に等しい。従って、ステップＳ１２で集計された値は、そのまま合計撮影回数５４Ｂとなる。
さらに、制御部２はステップＳ１３に移行して、各々の登録者と、他の登録者との組み合わせ毎に、この組み合わせを含むメタデータの数を集計する。ここで集計されるメタデータの数は撮影回数に等しい。従って、ステップＳ１３で集計された値は、そのまま同時撮影回数５４Ａとなる。
その後、ステップＳ１４で、制御部２は、集計した値をもとに同時撮影情報（同時撮影回数５４Ａ、合計撮影回数５４Ｂ）を生成して、同時撮影情報記憶部５４に記憶する。ここで、以前に生成された同時撮影情報が同時撮影情報記憶部５４に記憶されている場合、制御部２は、ステップＳ１２、Ｓ１３で集計した値で既存の同時撮影情報を更新する。
この図４に示す同時撮影情報更新処理は、認識対象画像記憶部５５に新たな画像が追加される毎に行ってもよいし、次に説明する画像認識処理を実行する毎に行ってもよい。
制御部２は、ステップＳ１１でメタデータＤＢ５３を参照し、参照画像記憶部５１内の全ての参照画像に対応するメタデータを取得する。続いて、制御部２はステップＳ１２に移行して、取得したメタデータに含まれるオブジェクト情報に基づいて、各登録者の名前を含むメタデータの数を、登録者毎に集計する。メタデータＤＢ５３のメタデータは参照画像と一対一で対応する。従って、メタデータの数は参照画像の数と同数であるから、ステップＳ１２で集計された値は撮影回数に等しい。従って、ステップＳ１２で集計された値は、そのまま合計撮影回数５４Ｂとなる。
さらに、制御部２はステップＳ１３に移行して、各々の登録者と、他の登録者との組み合わせ毎に、この組み合わせを含むメタデータの数を集計する。ここで集計されるメタデータの数は撮影回数に等しい。従って、ステップＳ１３で集計された値は、そのまま同時撮影回数５４Ａとなる。
その後、ステップＳ１４で、制御部２は、集計した値をもとに同時撮影情報（同時撮影回数５４Ａ、合計撮影回数５４Ｂ）を生成して、同時撮影情報記憶部５４に記憶する。ここで、以前に生成された同時撮影情報が同時撮影情報記憶部５４に記憶されている場合、制御部２は、ステップＳ１２、Ｓ１３で集計した値で既存の同時撮影情報を更新する。
この図４に示す同時撮影情報更新処理は、認識対象画像記憶部５５に新たな画像が追加される毎に行ってもよいし、次に説明する画像認識処理を実行する毎に行ってもよい。
図５は、画像認識装置１が実行する画像認識処理を示すフローチャートである。
この図５に示す画像認識処理において、制御部２は、検出手段、照合手段、および制御手段として機能する。
制御部２は、ステップＳ２１で、認識対象画像記憶部５５に記憶された認識対象画像に含まれる顔画像を検出する。
図６は、顔画像を検出する動作を説明する図である。図６に示すように、制御部２は、認識対象画像２１において、人間の顔の画像と思われる領域を検出し、検出した領域を顔画像領域Ｐ１〜Ｐ３として切り出す。この処理において切り出された顔画像領域Ｐ１〜Ｐ３は、以下において顔画像として処理される。ここで、顔画像領域を検出する処理は、例えば、輝度パターンに基づくＳＶＭ（サポートベクタマシン）による顔検出技術を利用できる。
この図５に示す画像認識処理において、制御部２は、検出手段、照合手段、および制御手段として機能する。
制御部２は、ステップＳ２１で、認識対象画像記憶部５５に記憶された認識対象画像に含まれる顔画像を検出する。
図６は、顔画像を検出する動作を説明する図である。図６に示すように、制御部２は、認識対象画像２１において、人間の顔の画像と思われる領域を検出し、検出した領域を顔画像領域Ｐ１〜Ｐ３として切り出す。この処理において切り出された顔画像領域Ｐ１〜Ｐ３は、以下において顔画像として処理される。ここで、顔画像領域を検出する処理は、例えば、輝度パターンに基づくＳＶＭ（サポートベクタマシン）による顔検出技術を利用できる。
制御部２はステップＳ２２に移行し、認識対象画像中の顔画像と、複数の登録者の顔とを照合する処理の準備として、登録者の照合順位を決定する。この照合順位は、複数の登録者を順番に顔画像と照合する場合の、登録者の順序を示す。ステップＳ２２の処理で、制御部２は合計撮影回数５４Ｂ（図３（Ｂ））を参照し、撮影回数が多い順に照合順位を決定する。
制御部２は、ステップＳ２３で照合順位が最上位の登録者を選択し、ステップＳ２４で、認識対象画像中の顔画像から一つの顔画像を選択する。認識対象画像に顔画像が一つしかない場合、ステップＳ２４では唯一の顔画像が自動的に選択される。また、認識対象画像に複数の顔画像が検出されている場合の選択順序は任意であり、例えば、顔画像の位置に基づいて、左側から順に、或いは上から順に顔画像を選択すればよい。
制御部２は、ステップＳ２３で照合順位が最上位の登録者を選択し、ステップＳ２４で、認識対象画像中の顔画像から一つの顔画像を選択する。認識対象画像に顔画像が一つしかない場合、ステップＳ２４では唯一の顔画像が自動的に選択される。また、認識対象画像に複数の顔画像が検出されている場合の選択順序は任意であり、例えば、顔画像の位置に基づいて、左側から順に、或いは上から順に顔画像を選択すればよい。
次に、制御部２はステップＳ２５に移行して、ステップＳ２３で選択した登録者の顔画像の特徴を示す情報を認識用ＤＢ５２から読み出し、読み出した情報と、ステップＳ２４で選択した顔画像とを照合し、ステップＳ２６で顔画像の特徴が一致するか否かを判別する。
ここで、顔画像の特徴が一致しなかった場合（ステップＳ２６；Ｎｏ）、制御部２はステップＳ２７に移行して、ステップＳ２３で選択した登録者の顔と、認識対象画像の全ての顔画像を照合したか否かを判別し、まだ照合していない顔画像があれば、ステップＳ２４に戻って別の顔画像を選択する。つまり、制御部２は、顔画像が一致するまでの間、認識対象画像中の全ての顔画像を、ステップＳ２３で選択した登録者の顔と照合する。
認識対象画像中の全ての顔画像をステップＳ２３で選択した登録者の顔と照合した後、制御部２はステップＳ２８に移行し、全ての登録者について照合が済んだか否かを判別する。ここで、まだ照合されていない登録者がいれば、制御部２はステップＳ２３に戻り、照合順位に従って次の登録者を選択する。
このように、顔画像が一致するまでの間は、ステップＳ２２で決定した照合順位に従って登録者が順次選択され、全ての登録者と、認識対象画像の全ての顔画像とが照合される。そして、全ての登録者について照合が済んだ場合、制御部２は後述するステップＳ３２に移行する。
ここで、顔画像の特徴が一致しなかった場合（ステップＳ２６；Ｎｏ）、制御部２はステップＳ２７に移行して、ステップＳ２３で選択した登録者の顔と、認識対象画像の全ての顔画像を照合したか否かを判別し、まだ照合していない顔画像があれば、ステップＳ２４に戻って別の顔画像を選択する。つまり、制御部２は、顔画像が一致するまでの間、認識対象画像中の全ての顔画像を、ステップＳ２３で選択した登録者の顔と照合する。
認識対象画像中の全ての顔画像をステップＳ２３で選択した登録者の顔と照合した後、制御部２はステップＳ２８に移行し、全ての登録者について照合が済んだか否かを判別する。ここで、まだ照合されていない登録者がいれば、制御部２はステップＳ２３に戻り、照合順位に従って次の登録者を選択する。
このように、顔画像が一致するまでの間は、ステップＳ２２で決定した照合順位に従って登録者が順次選択され、全ての登録者と、認識対象画像の全ての顔画像とが照合される。そして、全ての登録者について照合が済んだ場合、制御部２は後述するステップＳ３２に移行する。
一方、ステップＳ２６で顔画像の特徴が一致した場合、制御部２はステップＳ２９に移行して、ステップＳ２４で選択した顔画像を、ステップＳ２３で選択した登録者の顔画像であると確定する。制御部２は、ステップＳ３０で、認識対象画像中の全ての顔画像が確定されたか否かを判別する。全ての顔画像が確定済みであれば、制御部２はステップＳ３２へ移行する。
また、認識対象画像中の顔画像のうち、確定されていない顔画像がある場合（ステップＳ３０；Ｎｏ）、制御部２はステップＳ３１に移行して、新たに照合順位を決定する。このステップＳ３１では、制御部２は同時撮影情報記憶部５４内の同時撮影回数５４Ａを参照して、ステップＳ２９で確定した登録者と同時に撮影された回数に従って、他の登録者の照合順位を決定する。
例えば、確定した登録者が登録者「Ａ」であった場合、制御部２は、登録者「Ｂ」、「Ｃ」、「Ｄ」について、登録者「Ａ」と一緒に撮影された回数を取得し、撮影回数が多い順に照合順位を決定する。ステップＳ３１で決定される照合順位は、確定した登録者と他の登録者とが同時に撮影される頻度（確率）に密接に関連している。このため、ステップＳ３１で決定した照合順位に従って登録者を選択すれば、短時間で顔画像の特徴が一致する可能性が高く、照合順位を考慮しないで登録者を次々と照合する場合に比べて大幅な高速化が期待できる。
ここで、認識対象画像中の顔画像が３つ以上検出され、そのうち２以上の顔画像が確定した後で、ステップＳ３１で照合順位を決定する場合、制御部２は、既に確定した２以上の登録者のうち、どちらを基準としてもよい。つまり、最初に確定した登録者と他の登録者が一緒に撮影された回数に従って照合順位を決定してもよいし、２番目以後に確定した登録者と一緒に撮影された回数に従って、照合順位を決定してもよい。また、それぞれ算出可能な照合順位を組み合わせて、新たな照合順位を決定してもよい。
ステップＳ３１で照合順位を決定した後、制御部２は、ステップＳ２３に戻る。
例えば、確定した登録者が登録者「Ａ」であった場合、制御部２は、登録者「Ｂ」、「Ｃ」、「Ｄ」について、登録者「Ａ」と一緒に撮影された回数を取得し、撮影回数が多い順に照合順位を決定する。ステップＳ３１で決定される照合順位は、確定した登録者と他の登録者とが同時に撮影される頻度（確率）に密接に関連している。このため、ステップＳ３１で決定した照合順位に従って登録者を選択すれば、短時間で顔画像の特徴が一致する可能性が高く、照合順位を考慮しないで登録者を次々と照合する場合に比べて大幅な高速化が期待できる。
ここで、認識対象画像中の顔画像が３つ以上検出され、そのうち２以上の顔画像が確定した後で、ステップＳ３１で照合順位を決定する場合、制御部２は、既に確定した２以上の登録者のうち、どちらを基準としてもよい。つまり、最初に確定した登録者と他の登録者が一緒に撮影された回数に従って照合順位を決定してもよいし、２番目以後に確定した登録者と一緒に撮影された回数に従って、照合順位を決定してもよい。また、それぞれ算出可能な照合順位を組み合わせて、新たな照合順位を決定してもよい。
ステップＳ３１で照合順位を決定した後、制御部２は、ステップＳ２３に戻る。
ステップＳ２３の処理に戻った制御部２は、ステップＳ３１で決定した照合順位の一番上の登録者を選択し、ステップＳ２４で認識対象画像中の顔画像を選択し、ステップＳ２５で登録者の顔と認識対象画像中の顔画像とを照合する。その後、制御部２は、認識対象画像中の顔画像と登録者の顔画像の特徴が一致するまでステップＳ２３〜Ｓ２８の処理を実行し、顔画像の特徴が一致した場合はステップＳ２９に移行する。
そして、全ての登録者と認識対象画像中の全ての顔画像との照合が済んだ場合（ステップＳ２８；Ｙｅｓ）、または、認識対象画像中の全ての顔画像が確定された場合（ステップＳ３０；Ｎｏ）、制御部２は、ステップＳ３２に移行して、確定した登録者の名前を認識対象画像に対応するメタデータに登録し、本処理を終了する。
ここで、制御部２は、認識対象画像を参照画像として利用するために参照画像記憶部５１に記憶させてもよい。この場合、制御部２は、ステップＳ３２で名前を登録したメタデータを、メタデータＤＢ５３に登録する。
ここで、制御部２は、認識対象画像を参照画像として利用するために参照画像記憶部５１に記憶させてもよい。この場合、制御部２は、ステップＳ３２で名前を登録したメタデータを、メタデータＤＢ５３に登録する。
以上のように、第１の実施形態に係る画像認識装置１は、画像認識処理を実行して、認識対象画像に写っている人物の名前を特定し、特定した人物の名前を含むメタデータを生成する。
ここで生成されるメタデータは、文字で表現される情報（いわゆるテキストデータ）であるから、静止画像や動画像のデータに比べて高速に検索できる。このため、画像にメタデータを付与することで、画像の検索および抽出が格段に容易になる。この画像認識装置１は、画像に写っている人物を特定し、その名前を含むメタデータを高速に生成することが可能であり、画像管理の負担を大幅に軽減できる。
ここで生成されるメタデータは、文字で表現される情報（いわゆるテキストデータ）であるから、静止画像や動画像のデータに比べて高速に検索できる。このため、画像にメタデータを付与することで、画像の検索および抽出が格段に容易になる。この画像認識装置１は、画像に写っている人物を特定し、その名前を含むメタデータを高速に生成することが可能であり、画像管理の負担を大幅に軽減できる。
すなわち、上記の画像認識処理において、画像認識装置１は、認識対象画像から顔画像を検出した後、検出した顔画像の特徴と、予め記憶された登録者の顔画像の特徴とを照合することで、検出した顔画像が誰の顔であるかを確定する。この照合を行う段階では、認識対象画像中の顔画像と、複数の登録者の顔を一つずつ照合するので、登録者が多い場合は照合に時間がかかる。そこで、画像認識装置１は、複数の登録者の顔を照合する際の照合順位を決定し、この照合順位に従って、認識対象画像中の顔画像と登録者の顔とを照合する。最初に、画像認識装置１は、合計撮影回数５４Ｂに従って、撮影回数が多い順に照合順位を決める。撮影された回数が多い登録者は認識対象画像に写っている可能性も高いから、照合順位に従って登録者を照合すれば、より短い時間で顔画像と一致する登録者が出現する。このように、画像認識装置１は、参照画像に写った回数を反映した順序で登録者を照合することで、顔画像と一致する可能性が高い登録者との照合を優先的に行い、顔画像を効率よく高速に認識できる。
さらに、画像認識装置１は、認識対象画像中の顔画像と登録者の顔とが一致し、顔画像を確定した後で、新たに照合順位を決定する。ここで、画像認識装置１は、同時撮影回数５４Ａを参照して、既に確定した登録者と同時に撮影された回数の順に照合順位を決める。この照合順位は、登録者どうしが同時に撮影される頻度（確率）を反映しており、この照合順位に従って登録者を照合すれば、短い時間で顔画像と一致する登録者が出現する可能性が高い。このように、画像認識装置１は、既に確定した登録者と他の登録者との関連性（親密度）を反映した順序で登録者を照合することで、顔画像と一致する可能性が高い登録者との照合を優先的に行い、顔画像を効率よく高速に認識できる。
［第２の実施形態］
以下、第２の実施形態に係る画像認識装置１について説明する。本第２の実施形態に係る画像認識装置１の構成は、上記第１の実施形態で説明したものとほぼ同様であるから、共通する構成部に同符号を付すことにより説明を省略する。
以下、第２の実施形態に係る画像認識装置１について説明する。本第２の実施形態に係る画像認識装置１の構成は、上記第１の実施形態で説明したものとほぼ同様であるから、共通する構成部に同符号を付すことにより説明を省略する。
図７は、第２の実施形態に係る画像認識装置１が備えるメタデータＤＢ５３Ａの構成例を模式的に示す図である。メタデータＤＢ５３Ａは、上記第１の実施形態で説明したメタデータＤＢ５３（図１）に代えて、記憶部５に設けられる。
図７に示すように、メタデータＤＢ５３Ａには、参照画像記憶部５１に記憶された各画像について、写っている人物を示すオブジェクト情報とともに、撮影日時を示す情報および撮影場所を示す情報がメタデータとして格納される。これら撮影日時を示す情報および撮影場所を示す情報をまとめて、撮影状況情報と呼ぶ。この撮影状況情報は、撮影日時または撮影場所を示す情報の一方のみを含むものであってもよいし、或いは、撮影時の気温等、他の情報を含んでいてもよい。また、図７の例では、撮影場所を示す情報として、「自宅」や「公園」などの場所の名前が含まれているが、例えば、ＧＰＳ装置により取得された緯度および経度を示す情報であってもよい。
図７に示すように、メタデータＤＢ５３Ａには、参照画像記憶部５１に記憶された各画像について、写っている人物を示すオブジェクト情報とともに、撮影日時を示す情報および撮影場所を示す情報がメタデータとして格納される。これら撮影日時を示す情報および撮影場所を示す情報をまとめて、撮影状況情報と呼ぶ。この撮影状況情報は、撮影日時または撮影場所を示す情報の一方のみを含むものであってもよいし、或いは、撮影時の気温等、他の情報を含んでいてもよい。また、図７の例では、撮影場所を示す情報として、「自宅」や「公園」などの場所の名前が含まれているが、例えば、ＧＰＳ装置により取得された緯度および経度を示す情報であってもよい。
図７に例示したように、メタデータＤＢ５３Ａには、上述したオブジェクト情報に加えて、各画像が撮影された日時と場所とを示す情報が含まれる。
本第２の実施形態で、画像認識装置１は、認識対象画像のメタデータを取得して、このメタデータの撮影日時および撮影場所をもとに、認識対象画像と同じような状況下で撮影された参照画像のみを対象として、同時撮影回数５４Ａおよび合計撮影回数５４Ｂを生成し、これらの情報に基づいて画像認識処理を行う。以下、この画像認識処理について、図８のフローチャートを参照して説明する。図８に示す画像認識処理において、制御部２は、検出手段、照合手段、および制御手段として機能する。
本第２の実施形態で、画像認識装置１は、認識対象画像のメタデータを取得して、このメタデータの撮影日時および撮影場所をもとに、認識対象画像と同じような状況下で撮影された参照画像のみを対象として、同時撮影回数５４Ａおよび合計撮影回数５４Ｂを生成し、これらの情報に基づいて画像認識処理を行う。以下、この画像認識処理について、図８のフローチャートを参照して説明する。図８に示す画像認識処理において、制御部２は、検出手段、照合手段、および制御手段として機能する。
図８のステップＳ４１で、制御部２は、認識対象画像記憶部５５に記憶された認識対象画像のメタデータから、このメタデータに含まれる撮影状況情報を取得する。ステップＳ４１で参照するメタデータは、認識対象画像に付加されたメタデータでもよいし、或いは、認識対象画像とは別のファイルとして認識対象画像記憶部５５に記憶されたメタデータでもよい。
続くステップＳ４２で、制御部２は、メタデータＤＢ５３において、ステップＳ４１で取得した撮影状況情報に適合する撮影状況情報を含むメタデータを抽出する。撮影状況情報が適合するメタデータとは、認識対象画像の撮影状況情報と同一または類似する撮影状況を示すメタデータである。制御部２は、例えば、撮影場所が一致する、撮影場所が認識対象画像の撮影場所から所定距離以内である、撮影日時を示す情報に含まれる時刻が認識対象画像の撮影時刻より所定時間以内の時間帯である、撮影日時を示す情報に含まれる日付が所定日数以内である、等の条件が挙げられる。
制御部２は、ステップＳ４２で抽出したメタデータをもとに、ステップＳ４３で、同時撮影回数５４Ａおよび合計撮影回数５４Ｂを生成する。このステップＳ４３の処理は、例えば、上記第１の実施形態で説明した同時撮影情報生成処理（図４）と同様である。
続くステップＳ４２で、制御部２は、メタデータＤＢ５３において、ステップＳ４１で取得した撮影状況情報に適合する撮影状況情報を含むメタデータを抽出する。撮影状況情報が適合するメタデータとは、認識対象画像の撮影状況情報と同一または類似する撮影状況を示すメタデータである。制御部２は、例えば、撮影場所が一致する、撮影場所が認識対象画像の撮影場所から所定距離以内である、撮影日時を示す情報に含まれる時刻が認識対象画像の撮影時刻より所定時間以内の時間帯である、撮影日時を示す情報に含まれる日付が所定日数以内である、等の条件が挙げられる。
制御部２は、ステップＳ４２で抽出したメタデータをもとに、ステップＳ４３で、同時撮影回数５４Ａおよび合計撮影回数５４Ｂを生成する。このステップＳ４３の処理は、例えば、上記第１の実施形態で説明した同時撮影情報生成処理（図４）と同様である。
そして、制御部２は、上記第１の実施形態において図５を参照して説明した処理と、同様の処理を行う。
すなわち、ステップＳ４４で、制御部２は、認識対象画像記憶部５５に記憶された認識対象画像に含まれる顔画像を検出し、ステップＳ４５に移行して照合順位を決定する。ステップＳ４５では、制御部２は合計撮影回数５４Ｂを参照して、撮影回数が多い順に照合順位を決定する。
その後、制御部２は、ステップＳ４６で照合順位が最上位の登録者を選択し、ステップＳ４７で認識対象画像中の顔画像から一つの顔画像を選択する。
すなわち、ステップＳ４４で、制御部２は、認識対象画像記憶部５５に記憶された認識対象画像に含まれる顔画像を検出し、ステップＳ４５に移行して照合順位を決定する。ステップＳ４５では、制御部２は合計撮影回数５４Ｂを参照して、撮影回数が多い順に照合順位を決定する。
その後、制御部２は、ステップＳ４６で照合順位が最上位の登録者を選択し、ステップＳ４７で認識対象画像中の顔画像から一つの顔画像を選択する。
次のステップＳ４８で、制御部２は、ステップＳ４６で選択した登録者の顔画像の特徴を示す情報を認識用ＤＢ５２から読み出し、読み出した情報とステップＳ４７で選択した顔画像とを照合して、ステップＳ４９において顔画像の特徴が一致するか否かを判別する。
ここで、顔画像の特徴が一致しなかった場合（ステップＳ４９；Ｎｏ）、制御部２は、ステップＳ５０に移行して、ステップＳ４６で選択した登録者の顔と認識対象画像の全ての顔画像を照合したか否かを判別する。まだ照合していない顔画像があれば（ステップＳ５０；Ｎｏ）、制御部２はステップＳ４７に戻って別の顔画像を選択して照合を行う。また、全ての顔画像を登録者の顔と照合した後であれば（ステップＳ５０；Ｙｅｓ）、制御部２はステップＳ５１に移行し、全ての登録者について照合が済んだか否かを判別する。まだ照合されていない登録者がいれば、制御部２はステップＳ４６に戻り、照合順位に従って次の登録者を選択して、処理を続行する。
このように、顔画像が一致するまでの間は、ステップＳ４５で決定した照合順位に従って登録者が順次選択され、全ての登録者と認識対象画像の全ての顔画像とが照合される。全ての登録者について照合が済むと、制御部２は後述するステップＳ５５に移行する。
ここで、顔画像の特徴が一致しなかった場合（ステップＳ４９；Ｎｏ）、制御部２は、ステップＳ５０に移行して、ステップＳ４６で選択した登録者の顔と認識対象画像の全ての顔画像を照合したか否かを判別する。まだ照合していない顔画像があれば（ステップＳ５０；Ｎｏ）、制御部２はステップＳ４７に戻って別の顔画像を選択して照合を行う。また、全ての顔画像を登録者の顔と照合した後であれば（ステップＳ５０；Ｙｅｓ）、制御部２はステップＳ５１に移行し、全ての登録者について照合が済んだか否かを判別する。まだ照合されていない登録者がいれば、制御部２はステップＳ４６に戻り、照合順位に従って次の登録者を選択して、処理を続行する。
このように、顔画像が一致するまでの間は、ステップＳ４５で決定した照合順位に従って登録者が順次選択され、全ての登録者と認識対象画像の全ての顔画像とが照合される。全ての登録者について照合が済むと、制御部２は後述するステップＳ５５に移行する。
一方、ステップＳ４９において、顔画像の特徴が一致したと判別した場合、制御部２はステップＳ５２に移行して、ステップＳ４７で選択した顔画像を、ステップＳ４６で選択した登録者の顔画像であると確定する。続いて制御部２は、ステップＳ５３に移行して、認識対象画像中の全ての顔画像が確定されたか否かを判別する。ここで、全ての顔画像が確定済みであれば、制御部２は後述するステップＳ５５へ移行し、まだ確定されていない顔画像がある場合はステップＳ５４に移行して、新たに照合順位を決定する。
このステップＳ５４では、制御部２は同時撮影情報記憶部５４内の同時撮影回数５４Ａを参照し、ステップＳ５２で確定した登録者と同時に撮影された回数に従って他の登録者の照合順位を決定する。
ステップＳ５４で照合順位を決定した後、制御部２は、ステップＳ４６に戻る。
このステップＳ５４では、制御部２は同時撮影情報記憶部５４内の同時撮影回数５４Ａを参照し、ステップＳ５２で確定した登録者と同時に撮影された回数に従って他の登録者の照合順位を決定する。
ステップＳ５４で照合順位を決定した後、制御部２は、ステップＳ４６に戻る。
ステップＳ４６の処理に戻った制御部２は照合順位の一番上の登録者を選択し、ステップＳ４７で認識対象画像中の顔画像を選択し、ステップＳ４８で登録者の顔と認識対象画像中の顔画像とを照合する。
その後、制御部２は、認識対象画像中の顔画像と登録者の顔画像の特徴が一致するまでステップＳ４６〜Ｓ５１の処理を実行し、顔画像の特徴が一致した場合はステップＳ５２に移行する。
その後、制御部２は、認識対象画像中の顔画像と登録者の顔画像の特徴が一致するまでステップＳ４６〜Ｓ５１の処理を実行し、顔画像の特徴が一致した場合はステップＳ５２に移行する。
以上の処理を行って、全ての登録者と認識対象画像中の全ての顔画像との照合が済んだ場合（ステップＳ５１；Ｙｅｓ）、または、認識対象画像中の全ての顔画像が確定された場合（ステップＳ５３；Ｎｏ）、制御部２は、ステップＳ５５に移行して、確定した登録者の名前を認識対象画像に対応するメタデータに登録し、本処理を終了する。
ここで、制御部２は、認識対象画像を参照画像として利用するために参照画像記憶部５１に記憶させてもよい。この場合、制御部２は、ステップＳ５５で名前を登録したメタデータを、メタデータＤＢ５３に登録する。
ここで、制御部２は、認識対象画像を参照画像として利用するために参照画像記憶部５１に記憶させてもよい。この場合、制御部２は、ステップＳ５５で名前を登録したメタデータを、メタデータＤＢ５３に登録する。
このように、第２の実施形態に係る画像認識装置１は、画像認識処理において、参照画像記憶部５１の参照画像の中から、認識対象画像と一致または類似する撮影条件下で撮影された参照画像のみを選び、これらの参照画像をもとに同時撮影情報を生成して、この同時撮影情報をもとに照合順位を決定する。この場合、同時撮影情報は、撮影条件が一致または類似する参照画像を元に生成されており、いわば認識対象画像に対して最適化されている。このため、参照画像記憶部５１から選んだ参照画像に写っている登録者と、認識対象画像に写っている登録者との関連性は極めて高く、照合順位の上位の登録者は認識対象画像に写っている可能性が非常に高い。従って、画像認識処理を開始してから短時間のうちに、顔画像と一致する登録者の顔を確定でき、より確実に、画像認識の効率化および高速化を図ることができる。
［第３の実施形態］
次に、第３の実施形態に係る画像認識装置１について説明する。本第３の実施形態に係る画像認識装置１の構成は、上記第１の実施形態で説明したものとほぼ同様であるから、共通する構成部に同符号を付すことにより説明を省略する。
図９及び図１０は、第３の実施形態に係る画像認識装置１が実行する画像認識処理を示すフローチャートである。本第３の実施形態では、認識対象画像中の顔画像のうち、登録者の顔であると確定されなかった顔画像について、ユーザが人物の名前を入力することができる。
図９及び図１０に示す処理において、制御部２は、検出手段、照合手段、制御手段、及びオブジェクト情報取得手段として機能する。また、入力部６は入力手段として機能し、出力部７は候補表示手段として機能する。
次に、第３の実施形態に係る画像認識装置１について説明する。本第３の実施形態に係る画像認識装置１の構成は、上記第１の実施形態で説明したものとほぼ同様であるから、共通する構成部に同符号を付すことにより説明を省略する。
図９及び図１０は、第３の実施形態に係る画像認識装置１が実行する画像認識処理を示すフローチャートである。本第３の実施形態では、認識対象画像中の顔画像のうち、登録者の顔であると確定されなかった顔画像について、ユーザが人物の名前を入力することができる。
図９及び図１０に示す処理において、制御部２は、検出手段、照合手段、制御手段、及びオブジェクト情報取得手段として機能する。また、入力部６は入力手段として機能し、出力部７は候補表示手段として機能する。
図９のステップＳ６１で、制御部２は、認識対象画像記憶部５５に記憶された認識対象画像に含まれる顔画像を検出し、ステップＳ６２に移行して、合計撮影回数５４Ｂを参照して撮影回数が多い順に照合順位を決定する。
次に、制御部２は、ステップＳ６３に移行して照合順位が最上位の登録者を選択し、ステップＳ６４で、認識対象画像中の顔画像から一つの顔画像を選択する。
次に、制御部２は、ステップＳ６３に移行して照合順位が最上位の登録者を選択し、ステップＳ６４で、認識対象画像中の顔画像から一つの顔画像を選択する。
次のステップＳ６５において、制御部２は、ステップＳ６３で選択した登録者の顔画像の特徴を示す情報を認識用ＤＢ５２から読み出し、読み出した情報とステップＳ６４で選択した顔画像との照合を行い、顔画像の特徴が一致するか否かをステップＳ６６で判別する。
ここで、顔画像の特徴が一致しなかった場合（ステップＳ６６；Ｎｏ）、制御部２は、ステップＳ６３で選択した登録者の顔と、認識対象画像の全ての顔画像を照合したか否かをステップＳ６７で判別する。まだ照合していない顔画像があれば（ステップＳ６７；Ｎｏ）、制御部２はステップＳ６４に戻って別の顔画像を選択して、ステップＳ６５で照合を行う。また、全ての顔画像を登録者の顔と照合した後であれば（ステップＳ６７；Ｙｅｓ）、制御部２はステップＳ６８に移行し、Ｍ人（Ｍは予め設定された正の整数）の登録者を照合したか否かを判別する（ステップＳ６８）。まだ照合されていない登録者がいれば、制御部２は、ステップＳ６３に戻って照合順位に従って次の登録者を選択して照合を行う。
このように、制御部２は、顔画像が一致するまでの間、ステップＳ６２で決定した照合順位に従って登録者を順次選択し、Ｍ人の登録者の顔と、認識対象画像の全ての顔画像とを照合する。
ここで、顔画像の特徴が一致しなかった場合（ステップＳ６６；Ｎｏ）、制御部２は、ステップＳ６３で選択した登録者の顔と、認識対象画像の全ての顔画像を照合したか否かをステップＳ６７で判別する。まだ照合していない顔画像があれば（ステップＳ６７；Ｎｏ）、制御部２はステップＳ６４に戻って別の顔画像を選択して、ステップＳ６５で照合を行う。また、全ての顔画像を登録者の顔と照合した後であれば（ステップＳ６７；Ｙｅｓ）、制御部２はステップＳ６８に移行し、Ｍ人（Ｍは予め設定された正の整数）の登録者を照合したか否かを判別する（ステップＳ６８）。まだ照合されていない登録者がいれば、制御部２は、ステップＳ６３に戻って照合順位に従って次の登録者を選択して照合を行う。
このように、制御部２は、顔画像が一致するまでの間、ステップＳ６２で決定した照合順位に従って登録者を順次選択し、Ｍ人の登録者の顔と、認識対象画像の全ての顔画像とを照合する。
一方、ステップＳ６６において、顔画像の特徴が一致したと判別した場合、制御部２はステップＳ７０に移行して、ステップＳ６４で選択した顔画像を、ステップＳ６３で選択した登録者の顔画像であると確定する。制御部２は、ステップＳ７１で、認識対象画像中の全ての顔画像が確定されたか否かを判別する。ここで、全ての顔画像が確定済みであれば、制御部２はステップＳ７３へ移行する。まだ確定されていない顔画像がある場合、ステップＳ７２に移行して、新たに照合順位を決定する。
このステップＳ７２では、制御部２は同時撮影情報記憶部５４内の同時撮影回数５４Ａを参照し、ステップＳ７０で確定した登録者と同時に撮影された回数に従って他の登録者の照合順位を決定する。なお、既に複数の登録者が確定されている場合、制御部２は、ステップＳ７２において、いずれか一人の登録者と他の登録者とが一緒に撮影された回数に従って、照合順位を決定する。
このステップＳ７２では、制御部２は同時撮影情報記憶部５４内の同時撮影回数５４Ａを参照し、ステップＳ７０で確定した登録者と同時に撮影された回数に従って他の登録者の照合順位を決定する。なお、既に複数の登録者が確定されている場合、制御部２は、ステップＳ７２において、いずれか一人の登録者と他の登録者とが一緒に撮影された回数に従って、照合順位を決定する。
制御部２は、ステップＳ７２で照合順位を決定した後、ステップＳ６３の処理に戻って照合順位の一番上の登録者を選択し、ステップＳ６４で認識対象画像中の顔画像を選択し、ステップＳ６５で登録者の顔と認識対象画像中の顔画像とを照合する。その後、制御部２は、認識対象画像中の顔画像と登録者の顔画像の特徴が一致するまでステップＳ６３〜Ｓ６８の処理を実行し、顔画像の特徴が一致した場合はステップＳ７０に移行する。
そして、Ｍ人の登録者と全ての顔画像との照合が済んでも未確定の顔画像がある場合、制御部２はステップＳ６９に移行する。
そして、Ｍ人の登録者と全ての顔画像との照合が済んでも未確定の顔画像がある場合、制御部２はステップＳ６９に移行する。
ステップＳ６９で、制御部２は、ユーザ入力モードを実行する。
図１０は、図９のステップＳ７０に示すユーザ入力モードを詳細に示すフローチャートである。
図１０のステップＳ８１で、制御部２は、出力部７によって表示画面７１にユーザ入力画面を表示させ、さらに、ステップＳ８２で認識対象画像中の未確定の顔画像を選択する。このステップＳ８２で未確定の顔画像を選択する順序は任意であり、認識対象画像中における位置をもとに、例えば上から順に、或いは左から順に選択すればよい。
ステップＳ８３で、制御部２は、まだ照合されていない登録者の名前を、照合順位に従った順序で入力候補として表示画面７１に表示する。この状態で、制御部２は、ステップＳ８４で入力部６による名前の入力を受け付ける。ステップＳ８４で、ユーザは入力部６を操作して、未確定の顔画像に対応する人物の名前を入力するが、ステップＳ８３で候補として表示された名前を選択して、入力を行うことができる。
図１０は、図９のステップＳ７０に示すユーザ入力モードを詳細に示すフローチャートである。
図１０のステップＳ８１で、制御部２は、出力部７によって表示画面７１にユーザ入力画面を表示させ、さらに、ステップＳ８２で認識対象画像中の未確定の顔画像を選択する。このステップＳ８２で未確定の顔画像を選択する順序は任意であり、認識対象画像中における位置をもとに、例えば上から順に、或いは左から順に選択すればよい。
ステップＳ８３で、制御部２は、まだ照合されていない登録者の名前を、照合順位に従った順序で入力候補として表示画面７１に表示する。この状態で、制御部２は、ステップＳ８４で入力部６による名前の入力を受け付ける。ステップＳ８４で、ユーザは入力部６を操作して、未確定の顔画像に対応する人物の名前を入力するが、ステップＳ８３で候補として表示された名前を選択して、入力を行うことができる。
制御部２は、ステップＳ８５で、入力された名前を選択した未確定の顔画像に対応する名前として確定し、ステップＳ８６で、全ての顔画像が確定されたか否かを判別する。ここで未確定の顔画像が残っていれば、制御部２はステップＳ８２に戻って別の顔画像を選択して処理を継続する。全ての顔画像が確定された場合には、制御部２は、ユーザ入力モードを終了して、図９のステップＳ７３に移行する。
ステップＳ７３で、制御部２は、確定した登録者の名前を認識対象画像に対応するメタデータに登録し、本処理を終了する。ここで、制御部２は、認識対象画像を参照画像として利用するために参照画像記憶部５１に記憶させてもよい。この場合、制御部２は、ステップＳ７３で名前を登録したメタデータを、メタデータＤＢ５３に登録する。
以上のように、第３の実施形態に係る画像認識装置１は、画像認識処理において、認識対象画像から顔画像を検出した後、登録者の照合順位を決定し、この照合順位に従って登録者を順次選択して顔画像と照合する。画像認識装置１は、照合順位の最上位から順に登録者を選択し、Ｍ人の登録者を選択して照合を行った後は、ユーザ入力モードを実行して、入力部６による名前の入力を受け付ける。
画像認識処理を実行し、照合順位に従って何人かの登録者の照合を行っても認識対象画像中の顔画像が確定されない場合、残っている登録者は照合順位の下位である。下位の登録者は撮影回数が少なく、或いは、既に確定した登録者との関連性が薄い。このため、照合を続けても認識対象画像中の顔画像と一致しない可能性が高い。
そこで画像認識装置１は、照合順位の上位の登録者について照合を行った後は、ユーザ入力モードを実行して、入力部６による名前の入力を受け付ける。これにより、ユーザが少し手間をかけるだけで高速にメタデータを生成でき、メタデータの作成に要する時間を短縮できることで、結果的にユーザの負担を抑えることができる。さらに、画像認識装置１は、ユーザが入力を行う場合に、照合されなかった登録者の名前を照合順位に従って表示画面７１に表示する。このため、認識対象画像中の顔画像が登録者の顔であった場合、ユーザは候補として表示された名前を選択するだけで済み、ユーザの負担を軽減できる。
画像認識処理を実行し、照合順位に従って何人かの登録者の照合を行っても認識対象画像中の顔画像が確定されない場合、残っている登録者は照合順位の下位である。下位の登録者は撮影回数が少なく、或いは、既に確定した登録者との関連性が薄い。このため、照合を続けても認識対象画像中の顔画像と一致しない可能性が高い。
そこで画像認識装置１は、照合順位の上位の登録者について照合を行った後は、ユーザ入力モードを実行して、入力部６による名前の入力を受け付ける。これにより、ユーザが少し手間をかけるだけで高速にメタデータを生成でき、メタデータの作成に要する時間を短縮できることで、結果的にユーザの負担を抑えることができる。さらに、画像認識装置１は、ユーザが入力を行う場合に、照合されなかった登録者の名前を照合順位に従って表示画面７１に表示する。このため、認識対象画像中の顔画像が登録者の顔であった場合、ユーザは候補として表示された名前を選択するだけで済み、ユーザの負担を軽減できる。
なお、本第３の実施形態において、ユーザ入力モードで入力候補として登録者の名前を表示する場合、まだ照合されていない登録者の名前を一人ずつ表示してもよいし、まだ照合されていない全ての登録者の名前を照合順位に従って並べて表示してもよく、或いは、上位の登録者の名前だけを表示してもよい。この場合、ユーザが入力部６を操作して、一覧表示された複数の名前から一つの名前を選択できるようにしてもよい。
また、本第３の実施形態においては、上位Ｍ人の登録者を照合した後にユーザ入力モードを実行するものとして説明したが、ユーザが入力部６の操作により指定した任意のタイミングでユーザ入力モードを実行してもよい。例えば、間違った照合結果を修正する場合、修正したい顔画像以外の照合結果から、修正対象の顔画像に関する照合順位を算出することで、上記と同様の入力支援方法を提供することが可能である。
また、本第３の実施形態においては、上位Ｍ人の登録者を照合した後にユーザ入力モードを実行するものとして説明したが、ユーザが入力部６の操作により指定した任意のタイミングでユーザ入力モードを実行してもよい。例えば、間違った照合結果を修正する場合、修正したい顔画像以外の照合結果から、修正対象の顔画像に関する照合順位を算出することで、上記と同様の入力支援方法を提供することが可能である。
また、上記第１から第３の実施形態において、メタデータＤＢ５３に格納されるオブジェクト情報は登録者の名前であるとしたが、各登録者を識別できる情報であればよい。このため、オブジェクト情報として各登録者に付与された識別番号を用いてもよいし、他の情報を用いることも勿論可能である。また、上記第１から第３の実施形態においては、参照画像記憶部５１に記憶された画像のメタデータを、メタデータＤＢ５３に格納する構成について説明したが、本発明はこれに限定されるものではなく、例えば、各画像のファイルにExif形式でメタデータを付加してもよい。
さらに、上記第１から第３の実施形態においては、２回目に照合順位を決定する処理において、同時撮影回数５４Ａをもとに照合順位を決めるものとして説明したが、本発明はこれに限定されるものではない。すなわち、同時撮影回数５４Ａの値を合計撮影回数５４Ｂの値で除算して、同時に撮影された割合を求め、この割合をもとに照合順位を決定してもよい。この場合、登録者間で、写っている参照画像の数に大きなばらつきがあっても、適切な照合順位を決定できるという利点がある。
また、上記第１から第３の実施形態においては、一人の登録者を選択してから、認識対象画像中の全ての顔画像を、順次照合するものとして説明したが、本発明はこれに限定されるものではなく、例えば、認識対象画像から一つの顔画像を選択して、全ての登録者を、順次、選択した顔画像と照合してもよい。
また、上記第１から第３の実施形態においては、一人の登録者を選択してから、認識対象画像中の全ての顔画像を、順次照合するものとして説明したが、本発明はこれに限定されるものではなく、例えば、認識対象画像から一つの顔画像を選択して、全ての登録者を、順次、選択した顔画像と照合してもよい。
さらに、上記第１から第３の実施形態に係る画像認識装置１を、デジタルスチルカメラ、デジタルビデオカメラ、スキャナ、プロジェクタ、テレビ、プリンタおよびその他の画像データを処理する電子機器に実装することも可能である。例えば、上記画像認識装置を備えたデジタルカメラおよびスキャナは、撮影または取得した画像における顔を認識してメタデータを自動的に生成し、画像データに付加して出力することが可能となる。また、上記画像認識装置を備えたプリンタは印刷画像データから顔を認識してメタデータを生成し、このメタデータを表示画面に出力し、或いは画像とともに印刷することができる。上記画像認識装置を備えたプロジェクタやテレビは、出力画像データから顔を認識してメタデータを生成し、このメタデータを出力画像に重ねて表示出力することができる。
さらに、本発明の画像認識装置を適用したシステムとしては、例えば、建物や部屋の出入り口をデジタルカメラで撮影して、撮影画像から顔を認識することで、出入りした人物を特定するシステムや、例えば、建物や部屋の出入り口に設置されたデジタルカメラで特定の人物の顔が撮影された場合にのみ解錠するシステムが挙げられる。これらのシステムはセキュリティシステムや出退勤管理システム等に応用可能である。
その他、画像認識装置１を構成する各部の具体的な細部構成については、本発明の趣旨を逸脱しない範囲において、任意に変更可能である。
さらに、本発明の画像認識装置を適用したシステムとしては、例えば、建物や部屋の出入り口をデジタルカメラで撮影して、撮影画像から顔を認識することで、出入りした人物を特定するシステムや、例えば、建物や部屋の出入り口に設置されたデジタルカメラで特定の人物の顔が撮影された場合にのみ解錠するシステムが挙げられる。これらのシステムはセキュリティシステムや出退勤管理システム等に応用可能である。
その他、画像認識装置１を構成する各部の具体的な細部構成については、本発明の趣旨を逸脱しない範囲において、任意に変更可能である。
１…画像認識装置（電子機器）、２…制御部、３…ＲＯＭ、４…ＲＡＭ、５…記憶部、６…入力部、７…出力部、８…外部インタフェース、２１…認識対象画像、５１…参照画像記憶部、５２…認識用ＤＢ、５３，５３Ａ…メタデータＤＢ、５４…同時撮影情報記憶部（関連度情報記憶手段）、５４Ａ…同時撮影回数（関連度情報）、５４Ｂ…合計撮影回数、５５…認識対象画像記憶部、７１…表示画面。
Claims (9)
- 認識対象画像からオブジェクト画像を検出する検出手段と、
前記検出手段により検出された前記オブジェクト画像について、予め備えられた複数の候補オブジェクトとの照合を行うことにより、前記オブジェクト画像がどの前記候補オブジェクトであるかを特定する照合手段と、
前記照合手段によって複数の前記候補オブジェクトを照合する際の照合順序を制御する制御手段と、を備え、
前記制御手段は、前記認識対象画像において認識された複数の前記オブジェクト画像のうち少なくとも一つが前記候補オブジェクトとして特定された場合に、特定された前記候補オブジェクトと他の前記候補オブジェクトとが同時に撮影される関連度に基づいて、他の前記候補オブジェクトの照合順序を決定すること、
を特徴とする画像認識装置。 - 各々の前記候補オブジェクトと他の前記候補オブジェクトとの組み合わせ毎に、同時に撮影される関連度である関連度情報を記憶する関連度情報記憶手段をさらに備え、
前記制御手段は、前記認識対象画像において認識された複数の前記オブジェクト画像のうち少なくとも一つが前記候補オブジェクトとして特定された場合に、特定された前記候補オブジェクトを含む前記関連度情報に基づいて、他の前記候補オブジェクトの照合順序を決定すること、
を特徴とする請求項１記載の画像認識装置。 - 前記関連度情報は、各々の前記候補オブジェクトが他の前記候補オブジェクトと同時に撮影された回数に基づいた情報であること、
を特徴とする請求項２記載の画像認識装置。 - 前記関連度情報は、各々の前記候補オブジェクトが、前記認識対象画像と同一または類似の撮影条件下で他の前記候補オブジェクトと同時に撮影された履歴に基づいた情報であること、
を特徴とする請求項２記載の画像認識装置。 - 前記制御手段は、前記認識対象画像の前記オブジェクト画像を前記照合手段によって照合する前に、各々の前記候補オブジェクトが撮影された回数に基づいて前記照合順序を決定し、
少なくとも一つの前記オブジェクト画像が前記候補オブジェクトとして特定された後に、特定された前記候補オブジェクトを含む前記関連度情報に基づいて、他の前記候補オブジェクトの照合順序を決定すること、
を特徴とする請求項１から４のいずれかに記載の画像認識装置。 - 前記オブジェクト画像がどのオブジェクトであるかを示す情報を入力可能な入力手段と、
前記候補オブジェクトを前記照合順序に基づく順序で表示画面上に表示する候補表示手段と、
前記候補表示手段により表示されたいずれかの前記候補オブジェクトが選択された場合に、前記オブジェクト画像が選択された前記候補オブジェクトであると特定するオブジェクト情報取得手段と、を備えること、
を特徴とする請求項１から５のいずれかに記載の画像認識装置。 - 請求項１から６のいずれかに記載の画像認識装置を具備したことを特徴とする電子機器。
- 認識対象画像からオブジェクト画像を検出し、
予め決定された照合順序に従って、複数の候補オブジェクトの画像を、検出した前記オブジェクト画像と照合することにより、前記オブジェクト画像がどの前記候補オブジェクトであるかを特定する照合処理を実行するとともに、
前記認識対象画像において認識された複数の前記オブジェクト画像のうち少なくとも一つが前記候補オブジェクトとして特定された場合に、特定された前記候補オブジェクトと他の前記候補オブジェクトとが同時に撮影される関連度に基づいて、他の前記候補オブジェクトの照合順序を決定し、決定した照合順序に従ってその後の前記照合処理を実行すること、
を特徴とする画像認識方法。 - コンピュータを、
認識対象画像からオブジェクト画像を検出する検出手段と、
前記検出手段により検出された前記オブジェクト画像について、予め備えられた複数の候補オブジェクトとの照合を行うことにより、前記オブジェクト画像がどの前記候補オブジェクトであるかを特定する照合手段と、
前記照合手段によって複数の前記候補オブジェクトを照合する際の照合順序を制御するとともに、前記認識対象画像において認識された複数の前記オブジェクト画像のうち少なくとも一つが前記候補オブジェクトとして特定された場合に、特定された前記候補オブジェクトと他の前記候補オブジェクトとが同時に撮影される関連度に基づいて、他の前記候補オブジェクトの照合順序を決定する制御手段と、
して機能させるための制御プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006321071A JP2008134868A (ja) | 2006-11-29 | 2006-11-29 | 画像認識装置、電子機器、画像認識方法、および、制御プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006321071A JP2008134868A (ja) | 2006-11-29 | 2006-11-29 | 画像認識装置、電子機器、画像認識方法、および、制御プログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2008134868A true JP2008134868A (ja) | 2008-06-12 |
Family
ID=39559679
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006321071A Pending JP2008134868A (ja) | 2006-11-29 | 2006-11-29 | 画像認識装置、電子機器、画像認識方法、および、制御プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2008134868A (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010250464A (ja) * | 2009-04-14 | 2010-11-04 | Sony Corp | 情報処理装置、情報処理方法及びプログラム |
| JP2013008182A (ja) * | 2011-06-24 | 2013-01-10 | Nikon Corp | 電子機器 |
| JP2014052726A (ja) * | 2012-09-05 | 2014-03-20 | Nec Corp | 顔画像照合装置、顔画像照合方法、及び、プログラム |
| CN109376644A (zh) * | 2018-10-17 | 2019-02-22 | 深圳市智滴科技有限公司 | 一种基于人脸识别的监护方法以及系统 |
-
2006
- 2006-11-29 JP JP2006321071A patent/JP2008134868A/ja active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010250464A (ja) * | 2009-04-14 | 2010-11-04 | Sony Corp | 情報処理装置、情報処理方法及びプログラム |
| JP2013008182A (ja) * | 2011-06-24 | 2013-01-10 | Nikon Corp | 電子機器 |
| JP2014052726A (ja) * | 2012-09-05 | 2014-03-20 | Nec Corp | 顔画像照合装置、顔画像照合方法、及び、プログラム |
| CN109376644A (zh) * | 2018-10-17 | 2019-02-22 | 深圳市智滴科技有限公司 | 一种基于人脸识别的监护方法以及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8762659B2 (en) | Storage apparatus and method, program, and playback apparatus and method | |
| JP4961965B2 (ja) | 被写体追跡プログラム、被写体追跡装置、およびカメラ | |
| JP3984029B2 (ja) | 画像処理装置およびプログラム | |
| JP5662670B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| JP6132490B2 (ja) | 認証装置、認証方法、およびプログラム | |
| US20090322906A1 (en) | Imaging apparatus, imaged picture recording method, and storage medium storing computer program | |
| US20090232364A1 (en) | Priority target determining device, electronic equipment, priority target determining method, program, and recording medium | |
| EP2370857B1 (en) | Method, apparatus and computer program product for automatically taking photos of oneself | |
| JP2007249588A (ja) | 顔画像登録装置、顔画像登録方法、顔画像登録プログラム、および記録媒体 | |
| JP2008165700A (ja) | 画像処理装置、電子機器、画像処理システム、画像処理方法、および、プログラム | |
| CN101911670A (zh) | 使用存储对象识别的数码相机对焦 | |
| JP2010044516A (ja) | 検出用情報登録装置、電子機器、検出用情報登録装置の制御方法、電子機器の制御方法、検出用情報登録装置制御プログラム、電子機器の制御プログラム | |
| JP2009075999A (ja) | 画像認識装置、画像認識方法、画像認識プログラム | |
| KR102499560B1 (ko) | 검출 장치 및 검출 방법 | |
| JP2011192093A (ja) | 照合装置、デジタル画像処理システム、照合装置制御プログラム、コンピュータ読み取り可能な記録媒体、および照合装置の制御方法 | |
| US8311271B2 (en) | Image processing apparatus and image processing method | |
| JP2003150603A (ja) | 画像処理装置およびプログラム | |
| US20130163831A1 (en) | Object recognition apparatus and dictionary data registration method | |
| US8363886B2 (en) | Image processing apparatus for providing metadata to captured image and method thereof | |
| JP2008134868A (ja) | 画像認識装置、電子機器、画像認識方法、および、制御プログラム | |
| JP2007080184A (ja) | 画像処理装置及び方法 | |
| JP2003150617A (ja) | 画像処理装置およびプログラム | |
| JP2008271310A (ja) | 撮像装置及び撮像装置の制御方法、プログラム、及び記憶媒体 | |
| JP4603569B2 (ja) | 画像処理装置およびプログラム | |
| JP5267136B2 (ja) | 電子カメラ |