JP2023079045A - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】認証判定における設定を簡便にしつつ適切に認証判定を行える画像処理装置、画像処理方法及びプログラムを提供する。【解決手段】画像処理装置１００は、画像に含まれる人物の顔の特徴量を抽出する顔特徴量抽出部１０４と、第１認証対象者と第２認証対象者を含む複数の認証対象者と人物の顔の特徴量とに基づき、複数の認証対象者の各々について人物との一致度を示す照合スコアを算出する顔照合部１０７と、照合スコアに基づき人物が複数の認証対象者のいずれであるか判定する第１判定処理を実行する認証判定部１１１とを有し、認証判定部１１１は、人物が複数の認証対象者のいずれでもないと判定した場合、複数の認証判定者のうち最も照合スコアが高かった第１認証対象者に対する照合スコアと、第１認証対象者の次に照合スコアが高かった第２認証対象者に対する照合スコアとに基づき、人物が第１認証対象者であるか判定する第２判定処理を実行する。【選択図】図２

Description

本発明は、画像処理技術に関する。

従来、予め人物の顔が撮影された画像を登録しておき、認証を行うべき人物の顔が撮影された入力画像と登録画像を照合し、個人を識別して認証を行う顔認証技術が知られている。顔認証技術における顔認証処理では、認証判定の際に顔照合スコアの閾値が決められており、その閾値を超えた場合に本人であると判定され、認証される。認証判定は、登録画像と入力画像それぞれの撮影条件や登録画像に映っている個人の顔の特徴などの影響を受けるため、適切な顔照合スコアの閾値の設定が必要で、閾値が適切に設定されていないと、誤認証が発生する。

顔認証技術の分野では、誤認証をなるべく低減し、認証精度を向上させることが望まれており、そのための様々な技術が提案されている。特許文献１では、登録画像とその撮影条件を保持しておき、撮影条件ごとに認証判定を行う際に用いる顔照合スコアの重みづけを行う方法が開示されている。

特開２０１２－１３３５４１号公報

しかしながら、上述の特許文献１に開示された従来技術では、顔画像の登録の際に、撮影条件の設定を行わなければならず設定が煩雑であった。

そこで本発明では、認証判定における設定を簡便にしつつ適切に認証判定を行えるようにすることを目的とする。

上記課題を解決するために、例えば本発明に係る画像処理装置は、次の構成を有する。すなわち、画像に含まれる人物の顔を検出する検出手段と、前記検出手段で検出された顔の特徴量を抽出する抽出手段と、第１認証対象者と第２認証対象者を含む複数の認証対象者の各々の特徴量と、前記人物の顔の特徴量とに基づき、当該複数の認証対象者の各々について、当該認証対象者と当該人物との一致度を示す照合スコアを算出する照合手段と、前記照合手段から算出された照合スコアと認証閾値とに基づき前記人物が前記複数の認証対象者のいずれであるか判定する第１判定処理を実行する判定手段とを有し、前記判定手段は、前記第１判定処理により前記人物が前記複数の認証判定者のいずれでもないと判定した場合、前記複数の認証判定者のうち最も照合スコアが高かった第１認証対象者に対する照合スコアと、当該第１認証対象者の次に照合スコアが高かった第２認証対象者に対する照合スコアとに基づき、前記人物が前記第１認証対象者であるか判定する第２判定処理を実行する。

本発明によれば、認証判定における設定を簡便にしつつ適切に認証判定を行えるようにすることができる。

システム構成の一例を示す図である。 画像処理装置の機能ブロックを示す図である。 認証対象者情報の登録処理の流れを示すフローチャートである。 判定処理の流れを示すフローチャートである。 第２判定処理を説明するための図である。 認証対象者の認証閾値を説明するための図である。 各装置のハードウェア構成を示す図である。

以下、添付図面を参照しながら、本発明に係る実施形態について説明する。なお、以下の実施形態において示す構成は一例に過ぎず、図示された構成に限定されるものではない。

（実施形態１）
図１は、本実施形態におけるシステム構成を示す図である。本実施形態におけるシステムは、画像処理装置１００、撮像装置２００、ネットワーク３００、およびディスプレイ４００を有している。

画像処理装置１００および撮像装置２００は、ネットワーク３００を介して相互に接続されている。ネッワーク３００は、例えばＥＴＨＥＲＮＥＴ（登録商標）等の通信規格に準拠する複数のルータ、スイッチ、ケーブル等から実現される。

なお、ネットワーク３００は、インターネットや有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、無線ＬＡＮ（Ｗｉｒｅｌｅｓｓ Ｌａｎ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等により実現されてもよい。

画像処理装置１００は、後述の画像処理を実行可能な装置であり、後述する処理の機能を実現するためのプログラムがインストールされたパーソナルコンピュータ等である。

撮像装置２００は、画像を撮像する装置であり、撮像手段として機能する。撮像装置１００は、撮像した画像の画像データと、画像を撮像した撮像日時の情報と、撮像装置１００を識別する識別情報と、撮像装置２００の撮像範囲の情報とを、ネットワーク３００を介し、画像処理装置１００等の外部装置へ送信する。なお、本実施形態に係るシステムにおいて、撮像装置２００は１つとするが、複数であってもよい。すなわち、複数の撮像装置１００が、ネットワーク３００を介して、画像処理装置１００と接続されてもよい。この場合、画像処理装置１００は、例えば、送信された画像と関連付けられた識別情報を用いて、送信された当該画像は、複数の撮像装置１００のうちどの撮像装置２００により撮像されたかを判断する。

ディスプレイ４００は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等により構成されており、撮像装置２００が撮像した画像などを表示する。ディスプレイ４００は、ＨＤＭＩ（登録商標）（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）等の通信規格に準拠したディスプレイケーブルを介して画像処理装置１００と接続されている。なお、ディスプレイ４００および画像処理装置１００は、単一の筐体に設けられてもよい。

続いて図２に示す機能ブロックを参照して、本実施形態に係る画像処理装置１００について説明する。図２は、画像処理装置１００の有する機能ブロックである。なお、図２に示す各機能は、本実施形態の場合、画像処理装置１００のＲＯＭ７２０に格納されたコンピュータプログラムを画像処理装置１００のＣＰＵ７００が実行することにより実現されるものとする。また図２に示すように画像処理置１００には、顔検出部１０２、顔追尾部１０３、顔特徴量抽出部１０４、認証対象者情報記憶部１０６、顔照合部１０７、照合結果記憶部１０８、認証閾値記憶部１１０、認証判定部１１１、外部通知部１１２が設けられている。

顔検出部１０２は、撮像装置２００等の外部から供給された動画像または静止画像を取得する。なお、供給元は特に限定するものではなく、撮像装置や有線または無線を介して動画像または静止画像を供給するサーバ装置であってもよい。また、外部に限るものではなく、画像処置装置１００のメモリから取得してもよい。以下の説明では、画像処理装置１００が動画像を取得した場合であっても静止画像を取得した場合であっても、顔検出部１０２へ１枚の画像を送出する場合について説明する。前者の場合は、上記１枚の画像が動画像を構成する各フレームに相当し、後者の場合は、上記１枚の画像が静止画像に相当する。動画像の場合は、各フレームについて同様の処理を繰り返せばよい。

顔検出部１０２は、取得した動画像または静止画像に対して顔検出処理を行う。顔検出処理の具体的な処理方法は、取得された動画像または静止画像に対して顔および顔の位置を検出するものであれば、いかなる形態のものであってもよい。

顔追尾部１０３は、異なるフレーム間に存在する同じ顔を追尾する。同じ顔を異なるフレームで追尾する方法としては、追尾する顔の特徴量の類似性によって顔を追尾する方法がある。得られた追尾結果は、検出された顔ごとに追尾ＩＤとして付与され、顔特徴量抽出部１０４へ送出される。

顔特徴量抽出部１０４は、顔検出部１０２で検出された顔領域の画像から、所定の演算に基づいて特徴量を抽出する特徴量抽出処理を行う。なお、本実施形態における特徴量としては、色、エッジ、テクスチャ、髪の色、顔の器官の形状、サングラスの有無、髭の有無等といった情報があるが、人物の顔の特徴を示す情報であればよく特に限定はされない。

次に、認証対象者登録部１０５は、ユーザーから認証対象とする人物の顔画像を含む情報の入力を受け、当該人物の当該顔画像から顔照合処理に必要な特徴量を生成し認証対象者の特徴情報として認証対象者情報記憶部１０６に登録する。特徴量の生成については、顔特徴量抽出部１０４が行う処理と同様に実施する。認証対象者情報記憶部１０６は、認証対象者登録部１０５が生成した認証対象者の特徴量と当該認証対象者の顔画像を、登録名や登録時刻等の情報と共に認証対象者情報として管理する。なお、認証対象者情報記憶部１０６は、複数の異なる認証対象者の各々について、当該認証対象者の特徴量と、当該認証対象者の顔画像を、登録名や登録時刻等の情報と関連付けて認証対象者情報として記録する。なお、少なくとも複数の認証対象者には第１認証対象者と第２認証対象者が含まれ、第１認証対象者の特徴量と第１認証対象者の顔画像とが関連付けられて記録され、同様に、第２認証対象者の特徴量と第２認証対象者の顔画像とが関連付けて記憶される。

顔照合部１０７は、入力された画像に含まれる人物の顔領域から抽出された特徴量と、認証対象者情報記憶部１０６が保持する認証対象者の特徴量とを照合し、当該人物および当該認証対象者についての顔照合スコアを算出する。なお顔照合スコアは、当該人物および当該認証対象者の一致度を示す指標である。顔照合スコアが高ければ高いほど、当該人物と当該認証対象者の一致度が高いことを示す。なお顔照合部１０７は、認証対象者情報記憶部１０６が保持する複数の認証対象者の各々の特徴量と、入力された画像に含まれる人物の特徴量とに基づき、各複数の認証対象者について当該人物との顔照合スコアを算出する。例えば、顔照合部１０７は、画像に含まれる人物の顔の特徴量と第１認証対象者の特徴量とから当該第１認証対象者に対する照合スコアを算出し、同様に、当該人物の顔の特徴量と第２認証対象者の特徴量とから当該第２認証対象者に対する照合スコアを算出する。このとき、照合結果記憶部１０８には、顔照合部１０７によって算出された照合スコアがフレームごとに記憶される。

次に、認証閾値設定部１０９は、ユーザーから認証判定処理に用いる認証閾値の情報の入力を受け、当該認証閾値の情報を認証閾値記憶部１１０に登録する。なお認証閾値記憶部１１０にはあらかじめ認証閾値が保持されており、入力がない場合は当該デフォルトの閾値を用いて認証判定処理が行われる。

認証判定部１１１は、照合結果記憶部１０８に保持されている複数の認証対象者各々と画像中の人物の照合スコアおよび認証閾値とに基づき、当該人物が当該複数の認証対象者のいずれであるか判定する第１判定処理を実行する。第１判定処理において、画像から検出された人物の顔の特徴量と複数の認証対象者のうちのいずれかの認証対象者の特徴量とから算出された照合スコアが認証閾値以上と判定された場合、認証判定部１１１は、当該人物は当該或る認証対象者であると判定する。認証判定部１１１による認証結果は外部通知部１１２へ送出される。認証判定部１１１では、同一追尾ＩＤに対する認証結果の送出は、はじめの１フレームのみ行う。

第１判定処理により画像から検出された人物が登録された複数の認証対象者のいずれでもないと判定された場合、認証判定部１１１は、各認証対象者の照合スコアの結果を参照し、認証の判定を再度行う（第２判定処理）。認証判定部１１１は、第２判定処理として、次のような処理を実行する。すなわち複数の認証判定者のうち最も照合スコアが高かった第１認証対象者に対する照合スコアと、当該第１認証対象者の次に照合スコアが高かった第２認証対象者に対する照合スコアとに基づき、画像中の人物が第１認証対象者であるか判定する。なお、以降の説明において、最も照合スコアが高かった第１認証対象者を第１位の認証対象者とし、次に認証スコアが高かった第２認証対象者を第２位の認証対象者とする。ここで第２判定処理として、認証判定部１１１は、同一追尾ＩＤの顔に対する各認証対象者が照合スコア結果の第１位と第２位を用い、その照合スコアの差が閾値以上であるフレームが所定数以上存在するか判定する。当該フレームが所定数以上存在すると判定された場合、認証判定１１１は、検出された顔は第１位の第１認証対象者であると判定する。判定後、認証結果は外部通知部１１２へ送出される。なお再認証判定処理についての詳細な説明は後述する。外部通知部１１２は、認証判定部１１１より認証対象者が検出されたと認識された場合、認識対象者が検出されたことを示す情報をディスプレイ４００に表示させる。

続いて、図３に示すフローを参照して、本実施形態に係る画像処理装置１００の画像処理について説明する。なお図３に示すフローの処理を実行することにより、認証対象者情報を登録することができる。なお、図３に示すフローチャートの処理は、画像処理装置１００のＲＯＭ７２０に格納されたコンピュータプログラムを画像処理装置１００のＣＰＵ７００が実行して実現される図２に示す各機能ブロックにより実行されるものとする。

まずＳ３０１にて、認証対象者登録部１０５は、ユーザーから認証対象者となる人物の顔画像を含む情報が入力されたか否かを判定する。情報が入力された場合（Ｓ３０１にてＹｅｓ）、Ｓ３０２に遷移する。情報が入力されなかった場合、Ｓ３０１の処理を繰り返す。

Ｓ３０２にて、認証対象者登録部１０５は、入力された顔画像に対して顔特徴量の抽出処理を行う。顔画像が複数枚入力された場合には、認証対象者登録部１０５は、顔画像ごとに顔特徴量を抽出する。顔特徴量が抽出できた場合に入力された情報は正しいと判断され（Ｓ３０２にてＹｅｓ）、Ｓ３０３へ遷移する。一方、検出対象の顔特徴量が抽出できない場合には、入力された情報は、登録するには不十分な情報であると判断され（Ｓ３０２にてＮｏ）、Ｓ３０１へ遷移する。

Ｓ３０３では、認証対象者登録部１０５は、Ｓ３０１で入力された認証対象者の顔画像の情報と、Ｓ３０２で抽出した当該認証対象者の顔特徴量とを関連付けて、認証対象者情報として、認証対象者情報記憶部１０６に登録する。

続いて、図４のフローを参照して、顔認証処理について説明する。なお、図３に示すフローチャートの処理は、画像処理装置１００のＲＯＭ７２０に格納されたコンピュータプログラムを画像処理装置１００のＣＰＵ７００が実行して実現される図２に示す各機能ブロックにより実行されるものとする。

まずＳ４０１にて、顔検出部１０２は、処理対象の画像の入力の有無を判定し、処理対象とする画像がある場合（Ｓ４０１にてＮｏ）、Ｓ４０２に遷移し、処理対象の画像がない場合（Ｓ４０１にてＮＯ）、図４に示すフローの処理を終了する。

Ｓ４０２にて、顔検出部１０２は、現在処理対象とする画像に含まれる人物の顔の領域である顔領域の検出を行う。このとき顔検出部２０１２は、例えば、照合パターン辞書等を用いて取得した画像から顔領域を検出する処理を実施する。なお顔領域は、少なくとも顔特徴量等を抽出可能な領域であればよく、画像中の顔領域の検出処理はパターン処理に限定されない。

次にＳ４０３では、顔追尾部１０３は、Ｓ４０２で検出された人物の顔に対して追尾を行う。人物の顔の追尾処理では、現在のフレームで検出された顔が前フレームで検出された顔かどうかが判断され、同じ顔に対して、同一の追尾ＩＤが付与される。

次にＳ４０４では、顔特徴量抽出部１０４は、現在処理対象とする画像の人物から抽出された顔領域から特徴量を抽出する抽出処理を行う。次にＳ４０５にて、顔照合部１０７は、現在処理対象とする画像中の人物から抽出された特徴量と、認証対象者情報記憶部１０６に保持されている複数の認証対象者の特徴量の各々とを比較し、当該複数の認証対象者について顔照合スコアを算出する。処理対象の画像中の人物と当該複数の認証対象者の各々との顔照合スコアは照合結果記憶部１０８へ送出される。照合結果記憶部１０８へ送出する顔照合スコア結果は、閾値と比較することで選別してもよいし、画像中のスコアが上位数名分の結果に絞ってもよい。

次にＳ４０６にて、認証判定部１１１は、照合結果記憶部１０８に保持された現在のフレームの複数の認証対象者の各々について算出された顔照合スコアのいずれかが、認証閾値記憶部１１０に保持されている認証閾値以上か否かの第１判定処理を実行する。処理対象の画像中の人物の顔について算出された顔照合スコアが認証閾値以上である場合（Ｓ４０６にてＹｅｓ）、認証対象人物が検出されたこととなり、Ｓ４０８に遷移する。処理対象の画像中の人物の顔について算出された顔照合スコアが認証閾値未満であった場合（Ｓ４０６にてＮｏ）、現在の処理対象の画像の人物は複数の認証対象者のいずれでもないとし、Ｓ４０７に遷移する。

次にＳ４０７では、認証判定部１１１は、照合結果記憶部１０８に保持された顔照合スコアの結果から、第２判定処理を行う。具体的には、認証判定部１１１は、同一の追尾ＩＤの顔に対する各認証対象者の顔照合スコアの第１位と第２位を用いる。処理対象画像の人物に対する第１位の認証対象者の顔照合スコアと、当該人物に対する第２位の認証対象者の顔照合スコアとの差が一定閾値以上であるフレームが、所定数以上存在するかどうかを判定する。ここで図５を参照して第２判定処理について説明する。図５（ａ）は、フレーム１～３の一連の画像において追尾される対象人物の顔について、認証対象者１～３の各々に対し算出された顔照合スコアが示されている。図５（ａ）に示すしょうに、対象人物は、各フレームで認証対象者ａ（第１認証対象者）との顔照合スコアが最も高く、ついで認証対象者ｂ（第２認証対象者）、認証対象者ｃ（第３認証対象者）の順で顔照合スコアが算出されている。認証判定部１１１は、第２判定処理として、画像から検出された同一の人物の顔について、第１位の認証対象者ａと当該人物との顔照合スコアと、第２位の認証対象者ｂと当該人物との顔照合スコアとの差分が閾値以上となるフレームが所定数存在するか判定する。そして認証判定部１１１は、当該差分が閾値以上となるフレームが所定数存在すると判定した場合、当該人物は第１位の認証対象者ａであると判定し（Ｓ４０７にてＹｅｓ）、Ｓ４０８へ遷移する。図５（ａ）に示す例では、第１位の認証対象者ａと画像中の人物との顔照合スコアと、第２位の認証対象者ｂと当該人物との顔照合スコアとの差分が閾値以上となるフレームが所定数存在する場合を示す。このとき認証判定部１１１は、当該人物は認証対象者ａであると判定する。一方、図５（ｂ）の例では、第１位の認証対象者ａと画像中の人物との顔照合スコアと、第２位の認証対象者ｂと当該人物との顔照合スコアとの差分が閾値以上となるフレームが所定数存在しない例を示す。この場合、認証判定部１１１は、認証対象者は画像中から検出されなかったものとし、Ｓ４０１へ遷移する。以上説明した第２判定処理により、第１判定処理で認証閾値以上とならず認証されなかった人物に対しても、認証を行うことができる。

Ｓ４０８では、外部通知部１１２が認証判定部１１１より認証結果を受け取り、ディスプレイ４００に認証結果を示す情報の表示を行う。その後、Ｓ４０１へ遷移し、処理対象のフレームがまだ残っている場合、次の処理対象の画像についてＳ４０２以降の処理が実行される。これを繰り返し行い、最後のフレームと判定した場合（ステップＳ４０１）、図４に示すフローの処理を終了する。

以上説明したように、本実施形態によれば、顔照合結果に基づいて、顔照合スコアのばらつきを考慮した認証判定をすることができる。また認証対象者の顔画像の登録時の撮影条件を設定することなく認証判定を行えるため認証判定にかかる設定を簡便にすることができる。

（実施形態２）
以下では、実施形態１と異なる部分を主に説明し、実施形態１と同一または同等の構成要素、および処理には同一の符号を付すとともに、重複する説明は省略する。実施形態１のＳ４０７にて認証判定部１１１で実行される第２判定処理にて、第１位の第１認証対象者に対する顔照合スコアと第２位の第２認証対象者に対する顔照合スコアと差分が閾値以上であるフレームが、所定フレーム数以上存在するかどうかで判定を行っていた。しかしながら他の判定を行ってもよい。例えば、認証判定部１１１は、同一追尾ＩＤの一連のフレームの各々における人物の顔について算出された第１位の第１認証対象者の顔照合スコアの平均値を算出する。同様に、認証判定部１１１は、当該一連のフレームの各々における当該人物の顔について算出された第２位の第２認証対象者の顔照合スコアの平均値を算出する。そして、認証判定部１１１は、第１位の第１認証対象者について算出された照合スコアの平均値と、第２位の第２認証対象者について算出された照合スコアの平均値との差分が閾値以上であるかどうかを第２判定処理として判定する。図５（ａ）に示す例では、認証判定部１１１は、フレーム１～３の各々について算出された、画像中の或る人物と第１位の認証対象者ａ（第１認証判定者）との照合スコアの平均値を算出する。同様に認証判定部１１１は、フレーム１～３の各々について算出された、画像中の或る人物と第２位の認証対象者ｂ（第２認証判定者）との照合スコアの平均値を算出する。そして、認証判定部１１１は、第１位の認証対象者ａについて算出された照合スコアの平均値と、第２位の認証対象者ｂについて算出された照合スコアの平均値との差分が閾値以上であるか、第２判定処理として判定する。認証判定部１１１は、このとき、当該平均値の差分が閾値以上である場合、認証判定部１１１は、画像中の人物は第１認証対象者であるとし（Ｓ４０７にてＹｅｓ）、Ｓ４０８へ遷移する。一方、当該平均値の差分が閾値未満である場合、認証判定部１１１は、画像中の人物は第１認証対象者ではないと判定し（Ｓ４０７にてＮｏ）、Ｓ４０１へ遷移する。以上説明したように、第２判定処理として、照合スコアの平均値の差分を用いてもよい。

（実施形態３）
以下では、上述の各実施形態と異なる部分を主に説明し、実施形態１と同一または同等の構成要素、および処理には同一の符号を付すとともに、重複する説明は省略する。本実施形態では、認証判定部１１１が照合結果記憶部１０８に保持された顔照合スコアの結果から第２判定処理を行った後、認証対象者ごとに認証閾値を変更する方法について説明する。

実施形態１、２では、認証判定部１１１における第１認証判定処理として、認証閾値記憶部１１０に保持された全認証対象者共通の認証閾値（以下、デフォルト認証閾値）を用いて判定を行っていた。本実施形態では、図６に示すように認証対象者ごとに別個に認証閾値（以下、個別認証閾値）を保持することで、認証対象者各々の個別認証閾値にしたがって認証判定部１１１における第１認証判定処理を行うことができる。

ここで、デフォルト認証閾値から個別認証閾値への変更の仕方について、具体的に説明する。個別認証閾値への変更は、第２判定処理において、第１位の第１認証対象者についての顔照合スコアと第２位の第２認証対象者についての顔照合スコアとの差分が大きいと判定された場合（すなわちＳ４０７にてＹｅｓの場合）に実行する。例えば、当該顔照合スコアの当該差分が大きいと認証判定部１１１に判定された場合、認証閾値設定部１１９は、次のような処理を実行する。すなわち第１位の第１認証対象者について各フレームにわたって算出された顔照合スコアのうち最小値の顔照合スコアを第１認証対象者に対する個別認証閾値として設定する。図５（ａ）に示す例において、第２判定処理により第１位の認証対象者についての顔照合スコアと第２位の第２認証対象者についての顔照合スコアとの差分が大きいと判定され、認証閾値設定部１１９は次のような処理を実行する。すなわち、認証閾値設定部１１９は、各フレームについて第１位の認証対象者ａに対し算出された顔照合スコアのうち最小値である４００を当該認証対象者ａの個別認証閾値として設定する。以降の処理においては、第１判定処理において用いられる認証閾値として、このとき設定された個別認証閾値が用いられる。またこの設定により、次フレーム以降の認証処理では、第１判定処理における認証対象者ａに対する認証が、設定以前よりもしやすくなる。なお個別認証閾値として、第１位の第１認証対象者の一連のフレームの各々について算出された顔照合スコアの平均値やその他の値に設定してもよい。また、特定の認証対象者を優先し過ぎてしまうことを避けるために、個別認証閾値として設定可能な上限および下限は事前にユーザにより設定可能とする。第２判定処理では、登録されている認証対象者群のデータに依存する。そのため、認証閾値設定部１１９は、認証対象者登録部１０５にて認証対象者の追加・削除が行われた場合、過去設定されていた個別認証閾値の各々は元々のデフォルト認証閾値に設定しなおすようにしてもよい。

（実施形態４）
以下では、上述の各実施形態と異なる部分を主に説明し、実施形態１と同一または同等の構成要素、および処理には同一の符号を付すとともに、重複する説明は省略する。本実施形態では、顔尤度を用いて顔照合部１０７で算出される顔照合スコアのばらつきの影響を少なくする方法について説明する。

顔尤度は、画像から検出された顔ごとの顔らしさを表す指標であり、顔検出部１０３における顔検出処理の結果から求めることができる。顔検出部１０３は、例えば画像から検出された顔が正面顔に近いほど顔尤度の値を高くし、正面顔から離れるほど（例えば横向きや後ろ向きなど）顔尤度の値を小さく算出する。角度のついた顔よりも正面顔ほど顔尤度は高くなる。上述の実施形態１～３におけるＳ４０２の顔検出処理において、顔尤度の値によってＳ４０３へ送出する顔の選定を行う。具体的には顔尤度が閾値未満の顔についてはＳ４０３以降の処理を行わない（すなわち当該顔に対する解析を行わない）ようにすることで、顔照合スコアのばらつきを低減することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

（その他の実施形態）
次に図７を参照して、各実施形態の各機能を実現するための画像処理装置１００のハードウェア構成を説明する。なお、以降の説明において画像処理装置１００のハードウェア構成について説明するが、撮像装置２００も同様のハードウェア構成によって実現されるものとする。

本実施形態における画像処理装置１００は、ＣＰＵ７００、ＲＡＭ７１０、ＲＯＭ７２０、ＨＤＤ７３０、および、Ｉ／Ｆ７４０を有している。

ＣＰＵ７００は画像処理装置１００を統括制御する中央処理装置である。ＲＡＭ７１０は、ＣＰＵ７００が実行するコンピュータプログラムを一時的に記憶する。また、ＲＡＭ７１０は、ＣＰＵ７００が処理を実行する際に用いるワークエリアを提供する。また、ＲＡＭ７１０は、例えば、フレームメモリとして機能したり、バッファメモリとして機能したりする。

ＲＯＭ７２０は、ＣＰＵ７００が画像処理装置１００を制御するためのプログラムなどを記憶する。ＨＤＤ７３０は、画像データ等を記録する記憶装置である。

Ｉ／Ｆ７１０は、ネットワーク３００を介して、ＴＣＰ／ＩＰやＨＴＴＰなどに従って、外部装置との通信を行う。

なお、上述した各実施形態の説明では、ＣＰＵ７００が処理を実行する例について説明するが、ＣＰＵ７００の処理のうち少なくとも一部を専用のハードウェアによって行うようにしてもよい。例えば、ＲＯＭ７２０からプログラムコードを読み出してＲＡＭ７１０に展開する処理は、転送装置として機能するＤＭＡ（ＤＩＲＥＣＴ ＭＥＭＯＲＹ ＡＣＣＥＳＳ）によって実行してもよい。

なお、本発明は、上述の実施形態の１以上の機能を実現するプログラムを１つ以上のプロセッサが読出して実行する処理でも実現可能である。プログラムは、ネットワーク又は記憶媒体を介して、プロセッサを有するシステム又は装置に供給するようにしてもよい。また、本発明は、上述の実施形態の１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。また、画像処理装置１００の各部は、図７に示すハードウェアにより実現してもよいし、ソフトウェアにより実現することもできる。

なお、上述した各実施形態に係る画像処理装置１００の１以上の機能を他の装置が有していてもよい。例えば、各実施形態に係る画像処理装置１００の１以上の機能を撮像装置２００が有していてもよい。なお、上述した各実施形態を組み合わせて、例えば、上述した実施形態を任意に組み合わせて実施してもよい。

以上、本発明を実施形態と共に説明したが、上記実施形態は本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲は限定的に解釈されるものではない。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱しない範囲において、様々な形で実施することができる。例えば、各実施形態を組み合わせたものも本明細書の開示内容に含まれる。

１００ 画像処理装置
１０１ 入力画像
１０２ 顔検出部
１０３ 顔追尾部
１０４ 顔特徴量抽出部
１０５ 認証対象者登録部
１０６ 認証対象者情報記憶部
１０７ 顔照合部
１０８ 照合結果記憶部
１０９ 認証閾値設定部
１１０ 認証閾値記憶部
１１１ 認証判定部
１１２ 外部通知部

Claims (8)

1. 画像に含まれる人物の顔を検出する検出手段と、
   前記検出手段で検出された顔の特徴量を抽出する抽出手段と、
   第１認証対象者と第２認証対象者を含む複数の認証対象者の各々の特徴量と、前記人物の顔の特徴量とに基づき、当該複数の認証対象者の各々について、当該認証対象者と当該人物との一致度を示す照合スコアを算出する照合手段と、
   前記照合手段から算出された照合スコアと認証閾値とに基づき前記人物が前記複数の認証対象者のいずれであるか判定する第１判定処理を実行する判定手段とを有し、
   前記判定手段は、前記第１判定処理により前記人物が前記複数の認証対象者のいずれでもないと判定した場合、前記複数の認証判定者のうち最も照合スコアが高かった第１認証対象者に対する照合スコアと、当該第１認証対象者の次に照合スコアが高かった第２認証対象者に対する照合スコアとに基づき、前記人物が前記第１認証対象者であるか判定する第２判定処理を実行することを特徴とする画像処理装置。
2. 前記判定手段は、前記第２判定処理において、複数のフレームの画像の各々について算出された、前記人物と前記第１認証対象者との各照合スコアに基づく値と、当該複数のフレームの画像の各々について算出された、前記人物と前記第２認証対象者との各照合スコアに基づく値とに従って、前記人物が前記第１認証対象者であるか判定することを特徴とする請求項１に記載の画像処理装置。
3. 前記判定手段は、複数のフレームの画像の各々について算出された、前記人物と前記第１認証対象者との各照合スコアに基づく値と、当該複数のフレームの画像の各々について算出された、前記人物と前記第２認証対象者との各照合スコアに基づく値との差分が閾値以上のフレームが所定数以上ある場合、前記人物が前記第１認証対象者であると判定することを特徴とする請求項２に記載の画像処理装置。
4. 前記複数のフレームの画像の各々について算出された、前記人物と前記第１認証対象者との各照合スコアに基づく値は、前記人物と前記第１認証対象者との当該各照合スコアのうち最小値であり、
   前記複数のフレームの画像の各々について算出された、前記人物と前記第２認証対象者との各照合スコアに基づく値は、前記人物と前記第１認証対象者との当該各照合スコアのうち最小値であることを特徴とする請求項２又は３に記載の画像処理装置。
5. 前記複数のフレームの画像の各々について算出された、前記人物と前記第１認証対象者との各照合スコアに基づく値は、前記人物と前記第１認証対象者との当該各照合スコアの平均値であり、
   前記複数のフレームの画像の各々について算出された、前記人物と前記第２認証対象者との各照合スコアに基づく値は、前記人物と前記第１認証対象者との当該各照合スコアの平均値であることを特徴とする請求項２又は３に記載の画像処理装置。
6. 前記認証閾値を設定する設定手段を更に有し、
   前記第２判定処理により前記人物は前記第１認証対象者であると判定された場合、前記設定手段は、前記第１認証対象者に対する認証閾値として、前記複数のフレームの画像の各々について算出された、前記人物と前記第１認証対象者との各照合スコアに基づく値を設定することを特徴とする請求項２乃至５のいずれか１項に記載の画像処理装置。
7. 画像に含まれる人物の顔を検出する検出工程と、
   前記検出工程において検出された顔の特徴量を抽出する抽出工程と、
   第１認証対象者と第２認証対象者を含む複数の認証対象者の各々の特徴量と、前記人物の顔の特徴量とに基づき、当該複数の認証対象者の各々について、当該認証対象者と当該人物との一致度を示す照合スコアを算出する照合工程と、
   前記照合工程において算出された照合スコアと認証閾値とに基づき前記人物が前記複数の認証対象者のいずれであるか判定する第１判定処理を実行する第１判定工程と、
   前記第１判定工程において、前記第１判定処理により前記人物が前記複数の認証判定者のいずれでもないと判定した場合、前記複数の認証判定者のうち最も照合スコアが高かった第１認証対象者に対する照合スコアと、当該第１認証対象者の次に照合スコアが高かった第２認証対象者に対する照合スコアとに基づき、前記人物が前記第１認証対象者であるか判定する第２判定処理を実行する第２判定工程と、を有することを特徴とする画像処理方法。
8. コンピュータを、請求項１乃至６のいずれか１項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。

Images