以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。
<<第1実施形態>>
本発明の第1実施形態を説明する。図1は、第1実施形態に係る撮像装置1の構成を表すブロック図である。撮像装置1は、符号11〜20によって参照される各部位を備える。撮像装置1は、静止画像及び動画像を撮影可能なデジタルビデオカメラである(後述の撮像装置1aも同様)。但し、撮像装置1は、静止画像のみを撮影可能なデジタルスチルカメラであっても良い(後述の撮像装置1aも同様)。
撮像部11は、撮像素子を用いて被写体の撮影を行うことで被写体の画像の画像データを取得する。具体的には、撮像部11は、図示されない光学系、絞り、及び、CCD(Charge Coupled Devices)又はCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどから成る撮像素子を有する。この撮像素子は、光学系及び絞りを介して入射した被写体を表す光学像を光電変換し、該光電変換によって得られたアナログの電気信号を出力する。図示されないAFE(Analog Front End)は、撮像素子から出力されたアナログ信号を増幅してデジタル信号に変換する。得られたデジタル信号は、被写体の画像の画像データとして、SDRAM(Synchronous Dynamic Random Access Memory)等にて形成される画像メモリ12に記録される。
画像メモリ12に記録された1フレーム周期分の画像データによって表される1枚分の画像を、以下、フレーム画像と呼ぶ。尚、本明細書では、画像データを単に画像ということがある。
フレーム画像の画像データは、入力画像の画像データとして顔検出部13及び顔認識部14等に送られる。この際、フレーム画像の画像データに対して必要な画像処理(ノイズ低減処理、エッジ強調処理など)を施し、その画像処理後の画像データを入力画像の画像データとして顔検出部13等に送るようにしてもよい。
顔検出部13は、入力画像の画像データに基づいて、入力画像に含まれる人物の顔の画像を検出して抽出する。換言すれば、入力画像の画像データに基づいて、入力画像の画像領域から人物の顔部分を含む領域である顔領域を検出して抽出する。以下、顔の画像を顔画像とも表記すると共に、顔検出処理によって抽出された顔画像を単に抽出顔画像とも表記する。顔検出部13による、顔画像(顔領域)を検出して抽出する処理を以下「顔検出処理」と呼ぶ。顔検出処理の方法として様々な手法が知られており、顔検出部13は、公知の方法を含む任意の方法によって顔検出処理を実行可能である。尚、以下の説明において、顔画像の検出及び抽出を顔の検出及び抽出と表現することもある。
顔認識部14は、顔検出処理によって入力画像から抽出された顔を有する人物が、予め登録された1又は複数の人物の内の、何れの人物であるかを認識する顔認識処理を行う。顔認識処理の方法として様々な手法が知られており、顔認識部14は、公知の方法を含む任意の方法によって顔認識処理を実行可能である。
例えば、顔認識処理を、顔検出処理によって抽出された顔画像の画像データと、照合用の顔画像データベースと、に基づいて行うことができる。顔画像データベースには、互いに異なる複数の人物についての顔画像の画像データが格納されている。顔画像データベースを、顔認識部14内に予め設けておくことができる。顔画像データベースに格納されている顔画像を登録顔画像と呼び、登録顔画像に対応する人物を登録人物という。
抽出顔画像及び登録顔画像の画像データに基づく抽出顔画像及び登録顔画像間の類似度評価によって、顔認識処理を実現することができる。具体的には例えば、抽出顔画像及び登録顔画像の画像データに基づいて抽出顔画像の顔に特有な特徴ベクトルを計算すると共に登録顔画像の顔に特有な特徴ベクトルを計算し、それらの特徴ベクトルの類似度を抽出顔画像及び登録顔画像間の類似度として計算する。この類似度の計算を顔画像データベースに格納された登録顔画像ごとに行うことで、抽出顔画像と複数の登録顔画像の夫々との間における類似度を求め、求めた複数の類似度から抽出顔画像に対応する人物が何れの登録人物であるかを識別することができる。
顔認識部14による顔認識処理の結果を表す情報を、認識結果情報と呼ぶ。認識結果情報を、入力画像ごとに作成することができる。図2に示す如く、認識結果情報には、抽出顔画像に対応する人物が顔画像データベースに登録された複数の登録人物の内の何れの人物であるかを表す人物特定情報と、その人物特定情報の信頼度を表す信頼度情報と、を含む。
顔認識修正部15は、顔認識部14によって一旦作成された認識結果情報を、必要に応じて修正する。認識結果情報の詳細及び認識結果情報の修正方法の詳細については、後述する。タイムスタンプ生成部16は、撮像装置1に内蔵されたタイマ等を用いて、入力画像の撮影時刻を表すタイムスタンプ情報を作成する。記録媒体17は、磁気ディスクや半導体メモリ等から成る不揮発性メモリである。入力画像の画像データを、画像ファイルに格納した上で記録媒体17に記録することができる。
図3に、1つの画像ファイルの構造を示す。1つの静止画像又は動画像に対して1つの画像ファイルが作成される。画像ファイルの構造を任意の規格に準拠させることができる。画像ファイルは、静止画像又は動画像の画像データが格納されるべき本体領域と、付加データが格納されるべきヘッダ領域からなる。本例では、入力画像の画像データそのもの又は該画像データの圧縮データが本体領域に格納され、入力画像に対する認識結果情報及び入力画像の撮影時刻を表すタイムスタンプ情報がヘッダ領域に格納される。
表示部18は、液晶ディスプレイ等から成り、撮像部11の撮影によって得られた入力画像や、記録媒体17に記録されている画像などを表示する。操作部19は、ユーザが撮像装置1に対して各種操作を行うための部位である。操作部19には、例えば、静止画像の撮影指示を行うためのシャッタボタン、動画像の撮影開始及び終了を指示するための録画ボタンが含まれる。主制御部20は、操作部19に対して成された操作内容に従いつつ、撮像装置1内の各部位の動作を統括的に制御する。
認識結果情報に含まれる人物特定情報により、通常、1つの抽出顔画像に対して1人の登録人物が割り当てられる。つまり、通常、1つの抽出顔画像に対応する1人の人物は、複数の登録人物の内の何れか1人であることが人物特定情報によって示される。しかしながら、様々な要因によって、1つの抽出顔画像に対して複数の登録顔画像が或る程度類似していると判断されることがあり、このような場合、人物特定情報は、1つの抽出顔画像に対して複数の登録人物を対応させることもある。
図4及び図5を参照して、認識結果情報の内容例を説明する。今、顔画像データベースに登録された複数の登録人物の中に、互いに異なる人物HA及びHBが含まれているものとする。また、説明の簡略化上、以下の説明では、特記なき限り、人物HA及びHB以外の登録人物の存在は考慮しないものとし、また、1枚の入力画像から顔画像が1つだけ抽出されることを想定する。そして、撮像部11の撮影によって入力画像IM[1]〜IM[6]が取得され、入力画像IM[1]〜IM[6]に、夫々、人物EH[1]〜EH[6]の顔画像が含まれていた場合を想定する。尚、本明細書では、類似度又は信頼度の度合いを表す文言として、「高い」及び「低い」を用いることもあるし「大きい」及び「小さい」を用いることもあるが、「高い」と「大きい」は同義であると共に「低い」と「小さい」は同義である。
顔認識部14は、顔検出処理によって入力画像IM[1]から抽出された顔画像に対して顔認識処理を施すことにより、入力画像IM[1]からの抽出顔画像と登録人物HAの顔画像との類似度SA[1]を算出すると共に入力画像IM[1]からの抽出顔画像と登録人物HBの顔画像との類似度SB[1]を算出する。入力画像IM[2]〜IM[6]についても、同様の類似度算出がなされる。この算出によって得られた、入力画像IM[2]〜IM[6]からの抽出顔画像と登録人物HAの顔画像との類似度をそれぞれ記号SA[2]〜SA[6]によって表し、入力画像IM[2]〜IM[6]からの抽出顔画像と登録人物HBの顔画像との類似度をそれぞれ記号SB[2]〜SB[6]によって表す。SA[1]等の類似度は、正の値を持ち、対比される顔画像間の類似度が高いほど、大きな値を持つ。
類似度SA[1]は類似度SB[1]に対して十分に大きく、且つ、類似度SB[4]は類似度SA[4]に対して十分に大きいものとする。加えて、類似度SA[1]及びSB[4]そのものが十分に大きいものとする。また、類似度SA[2]及びSA[3]はそれぞれ類似度SB[2]及びSB[3]よりも或る程度大きく、且つ、類似度SB[5]及びSB[6]はそれぞれ類似度SA[5]及びSA[6]よりも或る程度大きいものとする。加えて、類似度SB[2]及びSA[5]は或る程度の大きさを有する一方で、類似度SB[3]及びSA[6]はゼロとみなせる程度に小さいとする。
より具体的には例えば、以下の不等式(1A)〜(6B)が成立している場合を想定する。
SA[1]−SB[1]≧TH1 ・・・(1A)
SA[1]≧TH3 ・・・(1B)
TH1>SA[2]−SB[2]≧TH2 ・・・(2A)
SB[2]≧TH4 ・・・(2B)
TH1>SA[3]−SB[3]≧TH2 ・・・(3A)
SB[3]<TH4 ・・・(3B)
SB[4]−SA[4]≧TH1 ・・・(4A)
SB[4]≧TH3 ・・・(4B)
TH1>SB[5]−SA[5]≧TH2 ・・・(5A)
SA[5]≧TH4 ・・・(5B)
TH1>SB[6]−SA[6]≧TH2 ・・・(6A)
SA[6]<TH4 ・・・(6B)
TH1〜TH4は、不等式「TH1>TH2>0」及び「TH3>TH4>0」を満たすように予め設定された閾値である。
顔認識部14は、類似度SA[i]及びSB[i]に基づいて、入力画像IM[i]に含まれる人物EH[i]が、登録人物HAであるか或いは登録人物HBであるか或いは登録人物HA及びHB以外であるかを識別する。ここで、iは、1、2、3、4、5又は6である。
便宜上、
第1不等式群「SA[i]−SB[i]≧TH1」及び「SA[i]≧TH3」が成立するという条件を、A高認識条件と呼び、
第2不等式群「TH1>SA[i]−SB[i]≧TH2」及び「SB[i]≧TH4」が成立するという条件を、A優勢条件と呼び、
第3不等式群「TH1>SA[i]−SB[i]≧TH2」及び「SB[i]<TH4」が成立するという条件を、A低認識条件と呼び、
第4不等式群「SB[i]−SA[i]≧TH1」及び「SB[i]≧TH3」が成立するという条件を、B高認識条件と呼び、
第5不等式群「TH1>SB[i]−SA[i]≧TH2」及び「SA[i]≧TH4」が成立するという条件を、B優勢条件と呼び、
第6不等式群「TH1>SB[i]−SA[i]≧TH2」及び「SA[i]<TH4」が成立するという条件を、B低認識条件と呼ぶ。
また、A高認識条件、A優勢条件、A低認識条件、B高認識条件、B優勢条件及びB低認識条件の何れもが成立せず、且つ、第7不等式群「SA[i]<TH4」及び「SB[i]<TH4」が成立するという条件を、AB不認識条件と呼ぶ。
顔認識部14は、
人物EH[i]に対してA高認識条件又はA低認識条件が成立する場合、人物EH[i]は登録人物HAであると判断して人物EH[i]が登録人物HAであることを示す人物特定情報を作成すると共に類似度SA[i]に応じた信頼度RLA[i]を信頼度情報として作成し、
人物EH[i]に対してB高認識条件又はB低認識条件が成立する場合、人物EH[i]は登録人物HBであると判断して人物EH[i]が登録人物HBであることを示す人物特定情報を作成すると共に類似度SB[i]に応じた信頼度RLB[i]を信頼度情報として作成する。
このように、A高認識条件、A低認識条件、B高認識条件又はB低認識条件が成立する場合、人物特定情報において、1つの抽出顔画像に対応する1人の人物は1人の登録人物に絞り込まれる。
一方、顔認識部14は、
人物EH[i]に対してA優勢条件又はB優勢条件が成立する場合、人物EH[i]は登録人物HA又はHBであると判断して人物EH[i]が登録人物HA及びHBのどちらでもありうることを示す人物特定情報を作成すると共に、類似度SA[i]に応じた信頼度RLA[i]及び類似度SB[i]に応じた信頼度RLB[i]を信頼度情報として作成する。
このように、A優勢条件又はB優勢条件が成立する場合、人物特定情報において、1つの抽出顔画像に対応する1人の人物は1人の登録人物に絞り込まれず、複数の登録人物が人物特定情報に書き込まれる。
尚、人物EH[i]に対してAB不認識条件が成立する場合は、人物EH[i]の認識ができないため、人物特定情報の作成はなされない或いは人物EH[i]の認識ができない旨を人物特定情報に書き込む。
上記不等式(1A)〜(6B)より分かるように、
入力画像IM[1]及びその人物EH[1]に対してはA高認識条件が成立し、
入力画像IM[2]及びその人物EH[2]に対してはA優勢条件が成立し、
入力画像IM[3]及びその人物EH[3]に対してはA低認識条件が成立し、
入力画像IM[4]及びその人物EH[4]に対してはB高認識条件が成立し、
入力画像IM[5]及びその人物EH[5]に対してはB優勢条件が成立し、
入力画像IM[6]及びその人物EH[6]に対してはB低認識条件が成立する。
このため、顔認識部14は、
入力画像IM[1]の認識結果情報に対し、人物EH[1]が登録人物HAであるという認識内容を信頼度RLA[1]と共に書き込み、
入力画像IM[2]の認識結果情報に対し、人物EH[2]が登録人物HA又はHBであるという認識内容を信頼度RLA[2]及びRLB[2]と共に書き込み、
入力画像IM[3]の認識結果情報に対し、人物EH[3]が登録人物HAであるという認識内容を信頼度RLA[3]と共に書き込み、
入力画像IM[4]の認識結果情報に対し、人物EH[4]が登録人物HBであるという認識内容を信頼度RLB[4]と共に書き込み、
入力画像IM[5]の認識結果情報に対し、人物EH[5]が登録人物HA又はHBであるという認識内容を信頼度RLA[5]及びRLB[5]と共に書き込み、
入力画像IM[6]の認識結果情報に対し、人物EH[6]が登録人物HBであるという認識内容を信頼度RLB[6]と共に書き込む。
信頼度RLA[i]は、人物EH[i]が登録人物HAであることの確からしさを表す指標であり、類似度SA[i]が大きいほど、大きな値が与えられる。信頼度RLB[i]は、人物EH[i]が登録人物HBであることの確からしさを表す指標であり、類似度SB[i]が大きいほど、大きな値が与えられる。
人物EH[i]に対してA高認識条件が成立する場合における信頼度RLA[i]は、他の何れの条件が成立する場合における信頼度RLA[i]よりも大きく、
人物EH[i]に対してB高認識条件が成立する場合における信頼度RLB[i]は、他の何れの条件が成立する場合における信頼度RLB[i]よりも大きい。
また、人物EH[i]に対してA優勢条件が成立する場合、信頼度RLA[i]は信頼度RLB[i]よりも大きく、人物EH[i]に対してB優勢条件が成立する場合、信頼度RLA[i]は信頼度RLB[i]よりも小さい。
更に、人物EH[i]に対してA優勢条件が成立する場合における信頼度RLA[i]は、人物EH[i]に対してB優勢条件が成立する場合における信頼度RLA[i]よりも大きく、人物EH[i]に対してB優勢条件が成立する場合における信頼度RLB[i]は、人物EH[i]に対してA優勢条件が成立する場合における信頼度RLB[i]よりも大きい。
上記のような想定に当てはまる具体的な数値例として、以下では、RLA[1]=90、RLA[2]=60、RLB[2]=40、RLA[3]=60、RLB[4]=90、RLA[5]=40、RLB[5]=60、RLB[3]=60、であるとする。尚、RLB[1]=0、RLB[3]=0、RLA[4]=0及びRLA[6]=0を、夫々、入力画像I[1]、I[3]、I[4]及びI[6]に対する信頼度情報に追記することも可能である。
A高認識条件又はB高認識条件が成立する時に信頼度として書き込まれる0以外の上記数値(今の例において90)は、予め設定された基準信頼度(例えば、80)よりも大きく、A優勢条件、A低認識条件、B優勢条件又はB低認識条件が成立する時に信頼度として書き込まれる0以外の上記数値(今の例において40又は60)は、その基準信頼度よりも小さいものとする。
故に、入力画像IM[1]及びIM[4]に対する顔認識処理の信頼度RLA[1]及びRLB[4]は基準信頼度よりも大きく、入力画像IM[2]、IM[3]、IM[5]及びIM[6]に対する顔認識処理の信頼度RLA[2]、RLB[2]、RLA[3]、RLA[5]、RLB[5]及びRLB[6]は基準信頼度よりも小さい。
顔認識修正部15は、A優勢条件、A低認識条件、B優勢条件又はB低認識条件に対応する入力画像の認識結果情報を、修正する機能を備える。この修正によって、顔認識部14によって一旦作成された信頼度RLA[2]、RLB[2]、RLA[3]、RLA[5]、RLB[5]及びRLB[6]は変更されうる。
顔認識修正部15による修正後の信頼度RLA[2]、RLB[2]、RLA[3]、RLA[5]、RLB[5]及びRLB[6]を、夫々、信頼度RLA[2]’、RLB[2]’、RLA[3]’、RLA[5]’、RLB[5]’及びRLB[6]’にて表す。本明細書において、ダッシュ(’)を伴わない記号RLA[2]、RLB[2]、RLA[3]、RLA[5]、RLB[5]及びRLB[6]は、修正前の信頼度を表している。
尚、注目入力画像の認識結果情報に含まれる人物特定情報に複数の登録人物が書き込まれている場合において、画像検索等のために、注目入力画像中の人物を一人の登録人物に絞り込む必要がある時には、その書き込まれた登録人物の内、最も信頼度が高い登録人物を選択した上で画像検索等を行うことができる。また、最も信頼度が高い登録人物を指し示す情報を、注目入力画像の画像ファイルのヘッダ領域に追記することもできる。
顔認識部14が、信頼度情報を含む認識結果情報を記録媒体17上の画像ファイルに書き込んだ後に、顔認識修正部15が、必要に応じて、画像ファイルに書き込まれた認識結果情報を修正する。但し、認識結果情報の記録媒体17への書き込みを、顔認識修正部15による必要に応じた修正を経てから実行するようにしてもよい。
修正方法として複数の修正方法が考えられる。以下に、修正方法の具体的な内容を説明するための例として、第1〜第6修正例を説明する。尚、矛盾が生じない限り、第1〜第6修正例の内の、複数の修正例を組み合わせて実施することも可能である。
[第1修正例]
第1修正例を説明する。今、図6に示す如く、入力画像201、202及び203が、この順番で時間的に隣接して撮影されたものとする。即ち、入力画像202の撮影直前に入力画像201の撮影が行われ、入力画像202の撮影直後に入力画像203の撮影が行われたとする。入力画像201、202及び203の撮影時刻を、夫々、TS1、TS2及びTS3によって表し、撮影時刻TS1及びTS2間の時間差並びに撮影時刻TS2及びTS3間の時間差を夫々TD12及びTD23によって表す。
また、顔認識処理によって算出された入力画像202に対する信頼度が上記基準信頼度よりも低い、又は、顔認識処理によって入力画像202に含まれている人物を一人の登録人物に絞り込むことができていない、ことを想定する。この場合、顔認識修正部15は、入力画像202を認識結果情報の修正対象としての注目入力画像と捉える一方で入力画像201及び203を参照入力画像と捉え、入力画像201〜203のタイムスタンプ情報及び認識結果情報に基づいて、入力画像202の認識結果情報に対する修正処理を行う。
このような想定を満たす典型例として、第1修正例では、入力画像201及び203が共にA高認識条件を満たす入力画像IM[1]と同じ画像であって、且つ、入力画像202がB優勢条件を満たす入力画像IM[5]と同じ画像である場合を考える。
顔認識修正部15は、時間差TD12及びTD23が共に基準時間差TDTH以下である場合に、入力画像202内の人物EH[5]に対して求められた信頼度RLA[5]及びRLB[5]を修正する。この際、RLA[5]’>RLA[5]、RLB[5]’<RLB[5]且つRLA[5]’>RLB[5]’となるように、信頼度RLA[5]を増加させ且つ信頼度RLB[5]を減少させる修正を行う。このような修正を、便宜上、「修正α1」と呼ぶ。
修正α1では、例えば、40であった信頼度RLA[5]を60に修正すると共に60であった信頼度RLB[5]を40に修正する。これにより、“入力画像202内の人物EH[5]が登録人物HBであることが登録人物HAであることよりも確からしい”という情報(即ち、修正前の認識結果情報)は、“入力画像202内の人物EH[5]が登録人物HAであることが登録人物HBであることよりも確からしい”という情報(即ち、修正後の認識結果情報)へと修正される。
一方、時間差TD12及びTD23の何れか一方又は双方が基準時間差TDTHよりも大きい場合は、顔認識修正部15による認識結果情報の修正は行われない。基準時間差TDTHは、2枚の入力画像の撮影時刻が十分に近いか否かを区別するための、予め設定された時間的な閾値である。
[第2修正例]
第2修正例を説明する。第2修正例の説明において特に述べない事項に関しては、第1修正例の記載が第2修正例にも適用される。第1修正例では、入力画像202がB優勢条件を満たす入力画像IM[5]と同じ画像である場合を考えたが、入力画像202がA優勢条件を満たす入力画像IM[2]と同じ画像である場合も、同様の修正を行うことができる。
つまり、入力画像201及び203が共に入力画像IM[1]と同じ画像であって且つ入力画像202が入力画像IM[2]と同じ画像である場合、時間差TD12及びTD23と基準時間差TDTHとを比較し、時間差TD12及びTD23が共に基準時間差TDTH以下であるならば修正β1を行う一方、時間差TD12及びTD23の何れか一方又は双方が基準時間差TDTHよりも大きいならば認識結果情報の修正を行わない。
修正β1では、入力画像202内の人物EH[2]に対して求められた信頼度RLA[2]及びRLB[2]を修正する。この際、RLA[2]’>RLA[2]且つRLB[2]’<RLB[2]となるように、信頼度RLA[2]を増加させ且つ信頼度RLB[2]を減少させる修正を行う。例えば、60であった信頼度RLA[2]を70に修正すると共に40であった信頼度RLB[2]を30に修正する。これにより、入力画像202内の人物EH[2]が登録人物HAであることの確からしさが増大修正される。
[第3修正例]
第3修正例を説明する。第3修正例の説明において特に述べない事項に関しては、第1修正例の記載が第3修正例にも適用される。第1修正例では、入力画像202がB優勢条件を満たす入力画像IM[5]と同じ画像である場合を考えたが、入力画像202がA低認識条件を満たす入力画像IM[3]と同じ画像である場合も、同様の修正を行うことができる。
つまり、入力画像201及び203が共に入力画像IM[1]と同じ画像であって且つ入力画像202が入力画像IM[3]と同じ画像である場合、時間差TD12及びTD23と基準時間差TDTHとを比較し、時間差TD12及びTD23が共に基準時間差TDTH以下であるならば修正γ1を行う一方、時間差TD12及びTD23の何れか一方又は双方が基準時間差TDTHよりも大きいならば認識結果情報の修正を行わない。
修正γ1では、入力画像202内の人物EH[3]に対して求められた信頼度RLA[3]を修正する。この際、RLA[3]’>RLA[3]となるように、信頼度RLA[3]を増加させる修正を行う。例えば、60であった信頼度RLA[3]を70に修正する。これにより、入力画像202内の人物EH[3]が登録人物HAであることの確からしさが増大修正される。
ここで、図7を参照して、第1〜第3修正例に対応する、撮像装置1の動作の流れを説明する。図7は、この動作の流れを表すフローチャートである。
まず、ステップS11において、撮像部11を用いた撮影により今回の入力画像を取得する。この入力画像の取得は、例えば、操作部19に対する静止画像の撮影指示に従って実行される。続くステップS12〜S14では、ステップS11にて取得された今回の入力画像に対する顔検出処理及び顔認識処理の実行並びにタイムスタンプ情報の生成が行われる。その後、ステップS15において、画像ファイルが記録媒体17内に生成されて、該画像ファイルの本体領域に今回の入力画像の画像データが書き込まれると共に、該画像ファイルのヘッダ領域に今回の入力画像に対する認識結果情報及びタイムスタンプ情報が書き込まれる。
その後、ステップS16において、顔認識修正部15は、今回の入力画像に対する顔認識処理の信頼度が高いか否かを判断する。つまり、今回の入力画像に対する顔認識処理の信頼度が上記基準信頼度よりも高いか否かを判断する。そして、今回の入力画像に対する顔認識処理の信頼度が基準信頼度よりも高い場合はステップS16からステップS19に移行する一方で、そうでない場合はステップS16からステップ17に移行する。
ステップS17では、前回取得の入力画像に対する顔認識処理の信頼度が上記基準信頼度よりも高いか否かを判断する。そして、前者が後者(基準信頼度)よりも高い場合は、今回の入力画像のID情報を低信頼度リストに追加してからステップS11に戻る一方で、そうでない場合は、該追加を行うことなくステップS11に戻る。低信頼度リストは、例えば、顔認識修正部15に設けられる。ID情報は、個々の入力画像を他の入力画像と区別するための識別情報である。
今回の入力画像に対する顔認識処理の信頼度が高い場合に実行されるステップS19において、顔認識修正部15は、低信頼度リストにID情報が書き込まれているかをチェックし、ID情報が書き込まれている場合は、ステップS20において、該ID情報が指し示す入力画像の認識結果情報及びタイムスタンプ情報と該ID情報が指し示す入力画像の前後に取得された入力画像の認識結果情報及びタイムスタンプ情報とに基づいて、修正実行条件が満たされているか否かを判断する。修正実行条件とは、上述の修正α1、β1及びγ1を含む、認識結果情報の修正を実行するために満たすべき条件を指す。
修正実行条件が満たされている場合、ステップS21において、顔認識修正部15は、画像ファイルのヘッダ領域に既に書き込まれている認識結果情報を修正し、その後、ステップS11に戻る。一方、修正実行条件が満たされていない場合(ステップS20のN)又は低信頼度リストにID情報が書き込まれていない場合(ステップS19のN)は、認識結果情報の修正を行うことなく(ステップS22)、ステップS11に戻る。
第1〜第3修正例に係る入力画像201〜203を、図7の動作に当てはめた時の動作を説明する。
まず、A高認識条件が満たされるべき入力画像201が取得されて、入力画像201が今回の入力画像となった時、入力画像201に対する顔認識処理の信頼度は高いものの、未だ低信頼度リストにはID情報が存在しないため、修正処理が行われることなく(ステップS22)、ステップS11に戻る。
その後、B優勢条件等が満たされるべき入力画像202が取得されて入力画像202が今回の入力画像となると、ステップS16を介してステップS17に至る。入力画像202が今回の入力画像である時、前回取得の入力画像は入力画像201である。従って、ステップS17では、前回取得の入力画像201に対する顔認識処理の信頼度が上記基準信頼度よりも高いと判断され、結果、今回の入力画像201のID情報が低信頼度リストに追加されてから(ステップS18)ステップS11に戻る。
更にその後、A高認識条件が満たされるべき入力画像203が取得されて入力画像203が今回の入力画像となると、ステップS16を介してステップS19に至る。この時、低信頼度リストに入力画像202のID情報が書き込まれているため、顔認識修正部15は、入力画像202の認識結果情報及びタイムスタンプ情報と入力画像202の前後に取得された入力画像201及び203の認識結果情報及びタイムスタンプ情報とに基づき、入力画像202に対する修正実行条件が満たされているか否かを判断する(ステップS20)。
第1〜第3修正例においては、時間差TD12及びTD23が共に基準時間差TDTH以下である時に、この修正実行条件は満たされて、入力画像202に対する認識結果情報が修正される。その修正は、第1〜第3修正例において、それぞれ上述の修正α1、β1及びγ1である。
注目入力画像がB優勢条件、A優勢条件又はA低認識条件を満たす場合において、注目入力画像の前後に撮影された入力画像がA高認識条件を満たし、且つ、注目入力画像の前後に撮影された入力画像の撮影時刻が注目入力画像の撮影時刻に十分に近い場合、注目入力画像に含まれる人物は登録人物HAである可能性が高い。このため、顔認識修正部15は、上記のような修正を行う。この修正により、より精度の高い顔認識結果をユーザに提供することができる。
[第4修正例]
第4修正例を説明する。第4修正例は、第1〜第3修正例を変形したものに相当する。従って、第4修正例の説明において特に述べない事項に関しては、第1、第2又は第3修正例の記載が第4修正例にも適用される。
第1〜第3修正例では、時間差TD12及びTD23の何れか一方又は双方が基準時間差TDTHよりも大きい時、入力画像202の認識結果情報の修正を行わないが、第4修正例では、時間差TD12及びTD23の何れか一方のみが基準時間差TDTHよりも大きい場合には、該修正を行うようにする。時間差TD12及びTD23が共に基準時間差TDTHよりも大きいならば、第1〜第3修正例と同様、該修正を行わない。
即ち例えば、入力画像201及び203が共に入力画像IM[1]と同じ画像であって且つ入力画像202が入力画像IM[5]と同じ画像である場合において、時間差TD12及びTD23の内の一方のみが基準時間差TDTH以下である時、上述の修正α1に類似した修正α2を行う。修正α2では、入力画像202内の人物EH[5]に対して求められた信頼度RLA[5]及びRLB[5]を修正する。この際、RLA[5]’>RLA[5]及びRLB[5]’<RLB[5]となるように、信頼度RLA[5]を増加させ且つ信頼度RLB[5]を減少させる修正を行う。
ここで、修正α2における修正量を、修正α1におけるそれよりも小さくするとよい。例えば、修正α1において、40であった信頼度RLA[5]が60に修正されると共に60であった信頼度RLB[5]が40に修正されるのであれば、修正α2においては、40であった信頼度RLA[5]が50に修正されると共に60であった信頼度RLB[5]が50に修正される。
また例えば、入力画像201及び203が共に入力画像IM[1]と同じ画像であって且つ入力画像202が入力画像IM[2]と同じ画像である場合において、時間差TD12及びTD23の内の一方のみが基準時間差TDTH以下である時、上述の修正β1に類似した修正β2を行う。修正β2では、入力画像202内の人物EH[2]に対して求められた信頼度RLA[2]及びRLB[2]を修正する。この際、RLA[2]’>RLA[2]且つRLB[2]’<RLB[2]となるように、信頼度RLA[2]を増加させ且つ信頼度RLB[2]を減少させる修正を行う。
ここで、修正β2における修正量を、修正β1におけるそれよりも小さくするとよい。例えば、修正β1において、60であった信頼度RLA[2]が70に修正されると共に40であった信頼度RLB[2]が30に修正されるのであれば、修正β2においては、60であった信頼度RLA[2]が65に修正されると共に40であった信頼度RLB[2]が35に修正される。
また例えば、入力画像201及び203が共に入力画像IM[1]と同じ画像であって且つ入力画像202が入力画像IM[3]と同じ画像である場合において、時間差TD12及びTD23の内の一方のみが基準時間差TDTH以下である時、上述の修正γ1に類似した修正γ2を行う。修正γ2では、入力画像202内の人物EH[3]に対して求められた信頼度RLA[3]を修正する。この際、RLA[3]’>RLA[3]となるように、信頼度RLA[3]を増加させる修正を行う。
ここで、修正γ2における修正量を、修正γ1におけるそれよりも小さくするとよい。例えば、修正γ1において、60であった信頼度RLA[3]が70に修正されるのであれば、修正γ2においては、60であった信頼度RLA[3]が65に修正される。
注目入力画像がB優勢条件、A優勢条件又はA低認識条件を満たす場合において、注目入力画像の前後に撮影された入力画像がA高認識条件を満たし、且つ、注目入力画像の前後に撮影された入力画像の撮影時刻の何れか一方が注目入力画像の撮影時刻に十分に近い場合、注目入力画像に含まれる人物は登録人物HAである可能性が比較的高いと推測される。但し、その可能性は、注目入力画像の前後に撮影された入力画像の撮影時刻の双方が注目入力画像の撮影時刻に十分に近い場合と比べて、小さいと推測される。このため、顔認識修正部15は、上記のような修正を行う。この修正により、より精度の高い顔認識結果をユーザに提供することができる。
[第5修正例]
第5修正例を説明する。第5修正例は、第4修正例を更に変形したものに相当する。従って、第5修正例の説明において特に述べない事項に関しては、第4修正例の記載が第5修正例にも適用される。
第4修正例の如く、入力画像201又は203の撮影時刻と入力画像202の撮影時刻との時間差が大きく、入力画像201及び203の内の一方と入力画像202との間における時間的な関係が希薄である時においても、入力画像202の識別結果情報を修正可能であることに鑑みれば、以下のような修正処理を行うことも可能である。
即ち例えば、入力画像201が入力画像IM[1]と同じ画像であって且つ時間差TD12が基準時間差TDTH以下である場合において、
入力画像202が入力画像IM[5]と同じ画像である時、上述の修正α2又は修正α2に類似する修正を行い、
入力画像202が入力画像IM[2]と同じ画像である時、上述の修正β2又は修正β2に類似する修正を行い、
入力画像202が入力画像IM[3]と同じ画像である時、上述の修正γ2又は修正γ2に類似する修正を行う。
これらの修正は、入力画像203がどのような画像であるかを問わず実行することができるし、時間差TD23と基準時間差TDTHとの大小関係を問わず実行することができる。典型的には例えば、入力画像203が上記AB不認識条件を満たす時に、第5修正例に係る上記修正を実行すると良い。
入力画像201が入力画像IM[1]と同じ画像であって且つ時間差TD12が基準時間差TDTH以下である場合に実行可能な修正動作を上述したが、入力画像203が入力画像IM[1]と同じ画像であって且つ時間差TD23が基準時間差TDTH以下である場合についても同様の修正が可能である。
[第6修正例]
第6修正例を説明する。上述の各修正例では、注目入力画像の直前及び/又は直後に撮影された入力画像についての情報が、修正の是非判断に利用されたが、その判断に、注目入力画像の数フレーム前又は数フレーム後の入力画像についての情報を利用するようにしてもよい。
図8を参照して、具体的な修正内容を説明する。第6修正例においても、第1修正例の説明で述べた入力画像201〜203を参照する。第1修正例で述べたように、入力画像201〜203の撮影時刻は夫々TS1、TS2及びTS3であり、撮影時刻TS1及びTS2間の時間差並びに撮影時刻TS2及びTS3間の時間差は夫々TD12及びTD23である。入力画像201〜203に加えて、第6修正例では、入力画像201の撮影直前に撮影された入力画像200と、入力画像203の撮影直後に撮影された入力画像204をも利用する。入力画像200及び204の撮影時刻を夫々TS0及びTS4によって表し、撮影時刻TS0及びTS1間の時間差並びに撮影時刻TS3及びTS4間の時間差を夫々TD01及びTD34によって表す。撮影時刻TSj+1は、撮影時刻TSjよりも後に訪れる時刻である(jは整数)。
また、第1修正例と同様、顔認識処理によって算出された入力画像202に対する信頼度が上記基準信頼度よりも低い、又は、顔認識処理によって入力画像202に含まれている人物を一人の登録人物に絞り込むことができていない、ことを想定する。顔認識修正部15は、入力画像202を認識結果情報の修正対象としての注目入力画像と捉える一方で入力画像200、201、203及び204を参照入力画像と捉え、入力画像200〜204のタイムスタンプ情報及び認識結果情報に基づいて、入力画像202の認識結果情報に対する修正処理を行う。
例えば、入力画像200、201、203及び204が全て入力画像IM[1]と同じ画像であって且つ入力画像202が入力画像IM[5]と同じ画像である場合において、時間差TD01、TD12、TD23及びTD34が全て基準時間差DTH以下である時、或いは、和(TD01+TD12)及び(TD23+TD34)が共に基準時間差DTH以下である時、上述の修正α1に類似した修正α3を行う。修正α3では、入力画像202内の人物EH[5]に対して求められた信頼度RLA[5]及びRLB[5]を修正する。この際、RLA[5]’>RLA[5]、RLB[5]’<RLB[5]且つRLA[5]’>RLB[5]’となるように、信頼度RLA[5]を増加させ且つ信頼度RLB[5]を減少させる修正を行う。
ここで、修正α3における修正量を、修正α1におけるそれよりも大きくするとよい。例えば、修正α1において、40であった信頼度RLA[5]が60に修正されると共に60であった信頼度RLB[5]が40に修正されるのであれば、修正α3においては、40であった信頼度RLA[5]が70に修正されると共に60であった信頼度RLB[5]が30に修正される。
また例えば、入力画像200、201、203及び204が全て入力画像IM[1]と同じ画像であって且つ入力画像202が入力画像IM[2]と同じ画像である場合において、時間差TD01、TD12、TD23及びTD34が全て基準時間差DTH以下である時、或いは、和(TD01+TD12)及び(TD23+TD34)が共に基準時間差DTH以下である時、上述の修正β1に類似した修正β3を行う。修正β3では、入力画像202内の人物EH[2]に対して求められた信頼度RLA[2]及びRLB[2]を修正する。この際、RLA[2]’>RLA[2]且つRLB[2]’<RLB[2]となるように、信頼度RLA[2]を増加させ且つ信頼度RLB[2]を減少させる修正を行う。
ここで、修正β3における修正量を、修正β1におけるそれよりも大きくするとよい。例えば、修正β1において、60であった信頼度RLA[2]が70に修正されると共に40であった信頼度RLB[2]が30に修正されるのであれば、修正β3においては、60であった信頼度RLA[2]が80に修正されると共に40であった信頼度RLB[2]が20に修正される。
また例えば、入力画像200、201、203及び204が全て入力画像IM[1]と同じ画像であって且つ入力画像202が入力画像IM[3]と同じ画像である場合において、時間差TD01、TD12、TD23及びTD34が全て基準時間差DTH以下である時、或いは、和(TD01+TD12)及び(TD23+TD34)が共に基準時間差DTH以下である時、上述の修正γ1に類似した修正γ3を行う。修正γ3では、入力画像202内の人物EH[3]に対して求められた信頼度RLA[3]を修正する。この際、RLA[3]’>RLA[3]となるように、信頼度RLA[3]を増加させる修正を行う。
ここで、修正γ3における修正量を、修正γ1におけるそれよりも大きくするとよい。例えば、修正γ1において、60であった信頼度RLA[3]が70に修正されるのであれば、修正γ3においては、60であった信頼度RLA[3]が80に修正される。
尚、時間差TD01、TD12、TD23及びTD34が全て基準時間差DTH以下であるという条件、又は、和(TD01+TD12)及び(TD23+TD34)が共に基準時間差DTH以下であるという条件が満たされない時、上述の修正α3、β3及びγ3は行われない、
第6修正例においても、第1〜第3修正例と同様の作用・効果が得られる。また、第6修正例では、注目入力画像の認識結果情報の修正に際し、注目入力画像の前後に撮影された3枚以上の入力画像を参照するため、第1〜第3修正例よりも修正の妥当性が向上する。修正の妥当性の向上を反映して、上述の如く、第1〜第3修正例と比べて修正量を増大することが可能である。
<<第2実施形態>>
本発明の第2実施形態を説明する。図9は、第1実施形態に係る撮像装置1aの構成を表すブロック図である。撮像装置1aは、符号11〜21によって参照される各部位を備える。即ち、撮像装置1aは、第1実施形態に係る撮像装置1に対してフォルダ指定部21を追加した構成を有し、その追加を除き、撮像装置1と撮像装置1aは同様のものである。従って、以下では、フォルダ指定部21の機能を主として説明とする。第2実施形態において特に述べない事項に関しては、第1実施形態の記載が第2実施形態にも適用される。
記録媒体17の記録領域に階層構造を持たせ、複数の画像ファイルを階層的に分類保存することができる。例えば、記録媒体17の記録領域内に、複数の画像ファイルを格納しておくことのできるフィルダを複数個設け、或るフォルダに第1の画像ファイル群を格納し、他のフォルダに第2の画像ファイル群を格納しておく、といった利用が可能である。
フォルダ指定部21は、各画像ファイルを何れのフォルダに格納すべきかを指定する。フォルダ指定部21の指定内容に従って、各画像ファイルのフォルダへの格納が行われる。実際の格納処理は、フォルダ指定部21以外の部位が行ってもかまわないが、今、フォルダ指定部21が実際の格納処理をも行うこととする。
第1実施形態と同様、人物HA及びHB以外の登録人物の存在は考慮しないものとし、1枚の入力画像から顔画像が1つだけ抽出されることを想定する。そして、登録人物HAが被写体として含まれる入力画像の画像ファイルを第1フォルダに格納し、登録人物HBが被写体として含まれる入力画像の画像ファイルを第2フォルダに格納すべきことが、ユーザ等によって指示されていることを想定する。
フォルダ指定部21は、認識結果情報に基づいてフォルダ分類処理を実行することができる。フォルダ指定部21は、注目入力画像の画像ファイルに対するフォルダ分類処理において、注目入力画像の人物特定情報に登録人物が一人のみ書き込まれている場合は、その書き込まれた登録人物に対応するフォルダに該画像ファイルを格納し、注目入力画像の人物特定情報に複数の登録人物が書き込まれている場合は、その書き込まれた登録人物の内、最も信頼度が高い登録人物に対応するフォルダに該画像ファイルを格納する。従って例えば、顔認識処理によって注目入力画像がA高認識条件、A優勢条件又はA低認識条件を満たすと判断された場合は、その注目入力画像の画像ファイルを第1フォルダに格納し、顔認識処理によって注目入力画像がB高認識条件、B優勢条件又はB低認識条件を満たすと判断された場合は、その注目入力画像の画像ファイルを第2フォルダに格納する(図4及び図5参照)。
但し、フォルダ指定部21は、注目入力画像の画像ファイルが格納されるフォルダを、顔認識修正部15の修正内容に応じて事後的に変更することができる。この変更を実現する処理を、フォルダ変更処理という。例えば、注目入力画像がB優勢条件を満たす入力画像IM[5]である場合、注目入力画像の認識結果情報の信頼度RLA[5]及びRLB[5]が不等式「RLA[5]<RLB[5]」を満たすため、注目入力画像の画像ファイルを一旦第2フォルダに格納する。しかし、信頼度RLA[5]及びRLB[5]が顔認識修正部15の修正処理により信頼度RLA[5]’及びRLB[5]’へと変更されて不等式「RLA[5]’>RLB[5]’」が満たされるならば、フォルダ変更処理により、注目入力画像の画像ファイルが格納されるフォルダを第2フォルダから第1フォルダに変更することができる
図10を参照して、撮像装置1aの動作の流れを説明する。図10は、この動作の流れを表すフローチャートである。まず、撮像装置1aにおいてステップS11〜S14の処理が実行される。撮像装置1aにて実行されるステップS11〜S14の処理内容は、第1実施形態で示したそれらと同じである。但し、第2実施形態では、ステップS11〜S14の処理の後、ステップS35にてフォルダ分類処理が実行される。
即ち、ステップS35において、フォルダ指定部21は、今回の入力画像に対する顔認識処理の認識結果情報に基づき、今回の入力画像に対してフォルダ分類処理を実行する。この際、第1実施形態において述べたステップS15の処理も併せて実行するとよい。即ち、今回の入力画像が格納されるべき画像ファイルのヘッダ領域に、今回の入力画像に対する認識結果情報及びタイムスタンプ情報を書き込んでおくとよい。
ステップS35の処理の後、ステップS16の分岐処理を介してステップS17又はステップS19に移行する、ステップS17に移行した場合はステップS17及びS18の処理が行われ、ステップS19に移行した場合はステップS19及びステップS40〜S42の処理が行われる。ステップS16〜S19の処理内容は、第1実施形態で示したそれらと同じである。
ステップS19において、顔認識修正部15又はフォルダ指定部21は、低信頼度リストにID情報が書き込まれているかをチェックし、ID情報が書き込まれている場合は、ステップS40において、該ID情報が指し示す入力画像の認識結果情報及びタイムスタンプ情報と該ID情報が指し示す入力画像の前後に取得された入力画像の認識結果情報及びタイムスタンプ情報とに基づき、フォルダ変更処理の実行の是非を峻別するための条件(以下、フォルダ変更実行条件という)が満たされているか否かを判断する。
この判断に先立ち、第1実施形態で述べたステップS20及びS21の処理を実行するようにし、顔認識修正部15による修正後の認識結果情報に基づいてフォルダ変更実行条件の充足/不充足判断を行うことができる。入力画像に対して算出された複数の信頼度の内、最大の信頼度に対応する登録人物が、顔認識修正部15による修正処理によって変更にされた場合に、フォルダ変更実行条件が充足される。
フォルダ変更実行条件が満たされている場合、ステップS40からステップS41に移行し、ステップS41において、フォルダ指定部21は修正後の認識結果情報に基づいてフォルダ変更処理を実行し、その後ステップS11に戻る。一方、フォルダ変更実行条件が満たされていない場合(ステップS40のN)又は低信頼度リストにID情報が書き込まれていない場合(ステップS19のN)は、フォルダ変更処理を行うことなく(ステップS42)、ステップS11に戻る。
上述の第1修正例に係る入力画像201〜203を、図10の動作に当てはめた時の動作を説明する。
まず、A高認識条件が満たされるべき入力画像201が取得されて、入力画像201が今回の入力画像となった時、入力画像201に対する顔認識処理の信頼度は高いものの、未だ低信頼度リストにはID情報が存在しないため、修正処理が行われることなく(ステップS42)、ステップS11に戻る。入力画像201の画像ファイルはステップS35において第1フォルダに格納される。
その後、B優勢条件が満たされるべき入力画像202が取得されて入力画像202が今回の入力画像となると、ステップS35にて入力画像202の画像ファイルが第2フォルダに格納された後、ステップS16を介してステップS17に至る。入力画像202が今回の入力画像である時、前回取得の入力画像は入力画像201である。従って、ステップS17では、前回取得の入力画像201に対する顔認識処理の信頼度が上記基準信頼度よりも高いと判断される。結果、今回の入力画像201のID情報が低信頼度リストに追加されてから(ステップS18)、ステップS11に戻る。
更にその後、A高認識条件が満たされるべき入力画像203が取得されて入力画像203が今回の入力画像となると、ステップS35にて入力画像203の画像ファイルが第1フォルダに格納された後、ステップS16を介してステップS19に至る。この時、低信頼度リストに入力画像202のID情報が書き込まれているため、第1実施形態で述べたステップS20及びS21の処理を経て、フォルダ変更実行条件の充足/不充足判断を行う(ステップS40)。時間差TD12及びTD23が共に基準時間差TDTH以下であれば該フォルダ変更実行条件は満たされ、ステップS41において、入力画像202の画像ファイルが格納されるフォルダが第2フォルダから第1フォルダへと変更される。
上記のようなフォルダ変更処理を実行することにより、入力画像に含まれる人物に応じた画像分類をより高い精度で成すことが可能となる。
<<第3実施形態>>
本発明の第3実施形態を説明する。記録媒体17の記録データに基づく上述の各処理を、撮像装置と異なる電子機器(例えば、画像再生装置;不図示)にて実現することも可能である(撮像装置も電子機器の一種である)。
例えば、撮像装置1又は1aにおいて、複数の入力画像を取得し、各入力画像の画像データ並びに各入力画像の認識結果情報及びタイムスタンプ情報を格納した画像ファイルを記録媒体17に記録しておく。ここで、記録される認識結果情報は、顔認識修正部15による修正前の認識結果情報である。
そして、上記電子機器に顔認識修正部15及びフォルダ指定部21を設けておき、記録媒体17の記録データを電子機器内の顔認識修正部15(及びフォルダ指定部21)に与えることで、必要に応じて、撮像装置1又は1aにて生成された認識結果情報を修正することができる或いは各画像ファイルが格納されるべきフォルダを変更することができる。
<<変形等>>
上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。
図1の撮像装置1又は図9の撮像装置1aを、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって構成することができる。特に、図1又は図9に示される、顔検出部13、顔認識部14、顔認識修正部15及びフォルダ指定部21の機能は、ハードウェアのみ、ソフトウェアのみ、または、ハードウェアとソフトウェアの組み合わせによって実現可能である。それらの機能の全部または一部を、プログラムとして記述し、該プログラムをプログラム実行装置(例えばコンピュータ)上で実行することによって、その機能の全部または一部を実現するようにしてもよい。
また例えば、以下のように考えることができる。顔検出部13、顔認識部14及び顔認識修正部15を含む部位、又は、顔検出部13、顔認識部14、顔認識修正部15及びフォルダ指定部21を含む部位は、画像処理装置として機能する。