JP2013077068A - 顔認証データベース管理方法、顔認証データベース管理装置及び顔認証データベース管理プログラム - Google Patents

Abstract

【課題】自動更新登録による認証精度の低下を抑制するとともに安定した認証精度を得ることを課題とする。
【解決手段】顔画像検出部１２によって検出された顔画像データに対する利用者Ｍが登録済みであると顔認証され、かつ、該顔認証された利用者Ｍに対応する顔認証データベース５内の格納領域に空きがない場合に、該格納領域内の各顔画像データに対応して格納され過去の顔認証の決定に用いられた顔画像データの利用度を示す認証利用度が所定のしきい値以下であり、かつ、最も古い顔画像データを顔認証データベース５から削除し、前記検出された顔画像データを顔認証データベース５に更新登録する。
【選択図】図１

Description

この発明は、カメラ等の撮像装置で撮像された画像データから切り出された利用者の顔部分を含む部分画像データ（以下、「顔画像データ」と言う）を該利用者の利用者識別情報（以下、「利用者ＩＤ」と言う）と対応付けて管理する顔認証データベース管理方法、顔認証データベース管理装置及び顔認証データベース管理プログラムに関する。

従来、認証対象者となる利用者に対して会員証や社員証などのＩＤカード（Identity Card）を発行しておき、各利用者の入退室時にＩＤカードに記録した利用者ＩＤをリーダライタで読み取って個人認証を行う個人認証システムが知られている。また、かかるＩＤカードの偽造等の不正に対応するために、利用者の指紋等を用いて個人認証を行う個人認証技術も知られている。

ところが、上記個人認証技術を用いる場合には、利用者を認証する度に該利用者を静止させて指紋等を採取しなければならず、利用者の利便性の観点から見て好ましくない。このため、最近では、歩行する利用者を静止させなくとも個人認証を行うことができる顔認証技術が注目されている。例えば、特許文献１には、あらかじめ利用者の顔画像データの特徴量を辞書情報として登録しておき、歩行中の利用者がカメラに近づく際に、該カメラで利用者の顔部分を撮像して顔画像データを取得し、取得した利用者の顔画像データの特徴量と辞書情報の内容とを照合して利用者の顔認証を行う技術が開示されている。

この場合、定期的に新しい顔画像データをデータベースに追加登録し、不適切な顔画像データを削除する必要がある。このため、例えば特許文献２では、データベースの更新の際、利用者ごとの顔画像データの格納量が上限に達すると、ＦＩＦＯ（First In First Out：先入れ先出し）方式によって古い顔画像データを削除して新しい顔画像データを追加登録し、データベースの登録内容を自動更新している。このデータベースの自動更新登録によって、データベースの管理者にかかる負担を軽減するとともに、利用者の顔の経年変化にも対応することができる。

特開２００９−１０４５９９号公報 特開２０１０−２３８１８１号公報

しかしながら、利用者ごとに複数の顔画像データが関連付けられて登録される顔認証データベースの場合、関連付けられて登録された各顔画像データは、認証の決め手となる利用度が均等ではなく、特定の数個の顔画像データのみが頻繁に認証の決め手となる傾向がある。このため、上記特許文献２に代表される従来のＦＩＦＯ方式を用いた場合には、頻繁に認証の決め手として利用される顔画像データが登録順によって削除されてしまう結果となる。

このように、従来のＦＩＦＯ方式による自動更新登録技術によれば、頻繁に認証の決め手として利用される顔画像データであっても削除されてしまうため、かかる画像データの削除時点から認証精度が極端に低下してしまうという問題点がある。加えて、認証の決め手として利用される顔画像データが存在する期間は認証精度が高くなるものの、かかる画像データが削除された後は認証精度が低くなったのでは、安定した認証精度が得られないという問題もある。

本発明は、上述した従来技術の課題を解消するためになされたものであって、撮像装置で利用者の顔部分を撮像して得られる顔画像データを利用者識別情報に関連付けて顔認証データベースに自動更新登録する場合に、自動更新登録による認証精度の低下を抑制するとともに安定した認証精度を得ることができる顔認証データベース管理方法、顔認証データベース管理装置及び顔認証データベース管理プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するため、本発明は、利用者を一意に識別する利用者識別情報と、撮像装置により撮像された利用者の複数の顔画像データとを関連付けて記憶する顔認証データベースを管理する顔認証データベース管理方法であって、前記撮像装置により撮像された画像データから利用者の顔部分を含む顔画像データを検出する顔画像データ検出工程と、前記顔画像データ検出工程により検出された顔画像データと前記顔認証データベースに格納されている顔画像データとの類似度をもとに前記利用者の顔認証処理を行う顔認証処理工程と、前記顔認証処理工程により前記検出された顔画像データに対する前記利用者が登録済みであると顔認証され、かつ、該顔認証された利用者に対応する前記顔認証データベース内の格納領域に空きがない場合に、該格納領域内の各顔画像データに対応して格納され過去の顔認証の決定に用いられた顔画像データの利用度を示す認証利用度に基づいて顔画像データを前記顔認証データベースから削除し、前記検出された顔画像データを登録する更新登録処理工程と、前記顔認証処理の都度、前記認証利用度を更新する認証利用度更新工程とを含んだことを特徴とする。

また、本発明は、上記発明において、前記更新登録処理工程は、前記顔認証処理工程により前記検出された顔画像データに対する前記利用者が登録済みであると顔認証され、かつ、該顔認証された利用者に対応する前記顔認証データベース内の格納領域に空きがない場合に、該格納領域内の各顔画像データに対応して格納され過去の顔認証の決定に用いられた顔画像データの利用度を示す認証利用度が所定のしきい値以下であり、かつ、最も古い顔画像データを前記顔認証データベースから削除し、前記検出された顔画像データを登録することを特徴とする。

また、本発明は、上記発明において、前記更新登録処理工程は、利用者に対応する顔認証データベース内の格納領域内の各顔画像データのうち、登録後所定の回数以上の顔認証が行われていない顔画像データを削除対象から除外することを特徴とする。

また、本発明は、上記発明において、前記認証利用度は、前記利用者の顔認証回数に対する顔認証の決定に用いられた回数の比を示す認証頻度であることを特徴とする。

また、本発明は、上記発明において、前記認証利用度は、顔認証の決定に用いられた顔画像データと前記検出された顔画像データとの類似度とをもとに与えられるスコアを累積した認証スコアであることを特徴とする。

また、本発明は、上記発明において、前記認証スコアは、前記類似度が所定値以上である場合にスコアが加算されることを特徴とする。

また、本発明は、上記発明において、前記認証スコアは、類似度を多段階領域に分け、前記類似度が大きい領域に大きなスコアを加算したものであることを特徴とする。

また、本発明は、上記発明において、前記認証スコアは、前記類似度の順位に応じて大きなスコアが加算されることを特徴とする。

また、本発明は、上記発明において、前記認証利用度は、現在時刻までの所定期間内の利用度であることを特徴とする。

また、本発明は、利用者を一意に識別する利用者識別情報と、撮像装置により撮像された利用者の複数の顔画像データとを関連付けて記憶する顔認証データベースを管理する顔認証データベース管理装置であって、前記撮像装置により撮像された画像データから利用者の顔部分を含む顔画像データを検出する顔画像データ検出部と、前記顔画像データ検出部により検出された顔画像データと前記顔認証データベースに格納されている顔画像データとの類似度をもとに前記利用者の顔認証処理を行う顔認証処理部と、前記顔認証処理部により前記検出された顔画像データに対する前記利用者が登録済みであると顔認証され、かつ、該顔認証された利用者に対応する前記顔認証データベース内の格納領域に空きがない場合に、該格納領域内の各顔画像データに対応して格納され過去の顔認証の決定に用いられた顔画像データの利用度を示す認証利用度に基づいて顔画像データを前記顔認証データベースから削除し、前記検出された顔画像データを登録する更新登録処理部と、前記顔認証処理の都度、前記認証利用度を更新する認証利用度更新部とを備えたことを特徴とする。

また、本発明は、上記発明において、前記更新登録処理部は、前記顔認証処理部により前記検出された顔画像データに対する前記利用者が登録済みであると顔認証され、かつ、該顔認証された利用者に対応する前記顔認証データベース内の格納領域に空きがない場合に、該格納領域内の各顔画像データに対応して格納され過去の顔認証の決定に用いられた顔画像データの利用度を示す認証利用度が所定のしきい値以下であり、かつ、最も古い顔画像データを前記顔認証データベースから削除し、前記検出された顔画像データを登録することを特徴とする。

また、本発明は、上記発明において、前記更新登録処理部は、利用者に対応する顔認証データベース内の格納領域内の各顔画像データのうち、登録後所定の回数以上の顔認証が行われていない顔画像データを削除対象から除外することを特徴とする。

また、本発明は、利用者を一意に識別する利用者識別情報と、撮像装置により撮像された利用者の複数の顔画像データとを関連付けて記憶する顔認証データベースを管理する顔認証データベース管理装置に用いられる顔認証データベース管理プログラムであって、前記撮像装置により撮像された画像データから利用者の顔部分を含む顔画像データを検出する顔画像データ検出手順と、前記顔画像データ検出手順により検出された顔画像データと前記顔認証データベースに格納されている顔画像データとの類似度をもとに前記利用者の顔認証処理を行う顔認証処理手順と、前記顔認証処理手順により前記検出された顔画像データに対する前記利用者が登録済みであると顔認証され、かつ、該顔認証された利用者に対応する前記顔認証データベース内の格納領域に空きがない場合に、該格納領域内の各顔画像データに対応して格納され過去の顔認証の決定に用いられた顔画像データの利用度を示す認証利用度に基づいて顔画像データを前記顔認証データベースから削除し、前記検出された顔画像データを登録する更新登録処理手順と、前記顔認証処理の都度、前記認証利用度を更新する認証利用度更新手順とをコンピュータに実行させることを特徴とする。

また、本発明は、上記発明において、前記更新登録処理手順は、前記顔認証処理手順により前記検出された顔画像データに対する前記利用者が登録済みであると顔認証され、かつ、該顔認証された利用者に対応する前記顔認証データベース内の格納領域に空きがない場合に、該格納領域内の各顔画像データに対応して格納され過去の顔認証の決定に用いられた顔画像データの利用度を示す認証利用度が所定のしきい値以下であり、かつ、最も古い顔画像データを前記顔認証データベースから削除し、前記検出された顔画像データを登録することを特徴とする。

また、本発明は、上記発明において、前記更新登録処理手順は、利用者に対応する顔認証データベース内の格納領域内の各顔画像データのうち、登録後所定の回数以上の顔認証が行われていない顔画像データを削除対象から除外することを特徴とする。

本発明によれば、顔認証処理部により検出された顔画像データに対する利用者が登録済みであると顔認証され、かつ、該顔認証された利用者に対応する顔認証データベース内の格納領域に空きがない場合に、該格納領域内の各顔画像データに対応して格納され過去の顔認証の決定に用いられた顔画像データの利用度を示す認証利用度に基づいて顔画像データを前記顔認証データベースから削除し、前記検出された顔画像データを登録するよう構成したので、自動更新登録による認証精度の低下を抑制するとともに安定した認証精度を得ることが可能となる。

図１は、本実施例１に係る入退室管理装置の構成を示す図である。 図２は、図１に示した顔画像検出部によって取得される顔画像データの一例を示す図である。 図３は、図１に示した更新登録処理部の処理概念を説明するための説明図である。 図４は、図１に示した制御部による顔認証制御処理手順を示す全体フローチャートである。 図５は、図４に示した顔認証データベースの更新登録処理手順を示す詳細フローチャートである。 図６は、本実施例２による認証利用度更新処理の概念を説明するための説明図である。 図７は、本実施例２による更新登録処理の概念を説明するための説明図である。 図８は、本実施例２による多段階の類似度領域を設けた認証利用度更新処理の概念を説明するための説明図である。 図９は、本実施例２による類似度順位に従った認証利用度更新処理の概念を説明するための説明図である。

以下に、添付図面を参照して、本発明に係る顔認証データベース管理方法、顔認証データベース管理装置及び顔認証データベース管理プログラムの好適な実施例を詳細に説明する。以下に示す実施例１及び２では、本発明に係る顔認証データベース管理方法、顔認証データベース管理装置及び顔認証データベース管理プログラムを入退室管理装置に適用した場合について説明する。

まず、本実施例１に係る入退室管理装置１の特徴及び構成について説明する。図１は、本実施例１に係る入退室管理装置１の構成を示す図である。図１に示す入退室管理装置１は、顔認証を利用して利用者Ｍの入退室管理を行う装置であり、従来技術と同様に予め各利用者Ｍに対して該利用者Ｍを一意に識別する利用者ＩＤが記録されたＩＤカード２ａを発行する。ただし、かかるＩＤカード２ａを発行する時点では、該利用者Ｍの顔画像データについては登録しない。なお、ＩＤカード２ａを発行する時点で利用者Ｍの氏名や所属等の個人情報を登録することもできるが、ここではその説明を省略する。

そして、利用者Ｍが、初回の入室を行うためにＩＤカード２ａを操作器２に読み取らせたならば、カメラ３によって撮像した画像データから利用者Ｍの顔部分を含む顔画像データを切り出し、これをＩＤカード２ａの利用者ＩＤに関連付けて顔認証データベース５に登録する。このように、この入退室管理装置１では、事前に良好な環境で利用者Ｍの顔画像データを取得するのではなく、ＩＤカード２ａのみを先に発行しておき、利用者Ｍの顔画像データは実環境で取得することとしている。実環境で撮像した利用者Ｍの顔画像データを顔認証データベース５に登録することで、より一層顔認証の精度が向上するからである。

また、初回の顔画像データの登録を終えた利用者Ｍが入室する場合には、この利用者Ｍが操作器２を操作しなくとも、正当な登録者であることが顔認証されることを条件に、ゲート１０を開放して入室を許可する。また、利用者Ｍの顔認証時に取得された新たな顔画像データは、利用者ＩＤに対応付けて顔認証データベース５に追加登録する。

ここで、本実施例１に係る入退室管理装置１は、認証された利用者Ｍの顔画像データを顔認証データベース５に追加登録する場合であって、登録されている利用者ＩＤに対応する顔画像データが所定数（例えば「１０」）に達した場合に、登録されている利用者Ｍの顔画像データの認証利用度が所定のしきい値以下で、かつ、最も古く登録された顔画像データを削除して、認証された顔画像データを登録するようにした点にその特徴がある。認証利用度が所定のしきい値を超える顔画像データは、古く登録された場合であっても認証の決め手となる場合があるため、本実施例１では、かかる認証の決め手となる顔画像データを残すことにより、認証精度の低下を抑制している。一方、認証の決め手となっていない認証利用度が所定のしきい値以下の顔画像データについては、古く登録された顔画像データから順次削除されるため、顔の経年変化にも対応することができる。その結果、安定した認証精度を得ることが可能となる。

具体的には、カメラ３により新たに撮像された利用者Ｍの顔画像データの顔認証に成功した際に、顔認証データベース５に登録された該利用者Ｍの顔画像データが所定数に達していない場合には、顔認証に成功した新たな顔画像データをそのまま顔認証データベース５に登録する。これに対して、顔認証データベース５に登録された該利用者Ｍの顔画像データが所定数に達しており、認証利用度が所定のしきい値以下の顔画像データが存在する場合には、この顔画像データを顔認証データベース５から削除して、顔認証に成功した新たな顔画像データを顔認証データベース５に登録する。なお、認証利用度が所定のしきい値以下の顔画像データが存在しない場合には、顔認証に成功した新たな顔画像データを削除し、顔認証データベース５に登録された顔画像データを維持する。かかる認証利用度は、対応する顔画像データが認証の決め手になった度合いを示す指標であり、例えば、利用者の顔認証回数に対する顔認証の決定に用いられた回数の比を示す認証頻度で表される。

図１に示すように、本実施例１に係る入退室管理装置１は、操作器２と、カメラ３と、制御部４と、顔認証データベース５と、ゲート１０とを有する。また、制御部４は、操作検出部１１と、顔画像検出部１２と、登録処理部１３と、顔認証処理部１４と、更新登録処理部１５と、認証利用度更新部１６と、警報出力部１７とを有する。なお、図１では入退室管理装置１のうちの入室側の構成を図示したが、顔認証データベース５を退室側にも共通使用することができる。

操作器２は、利用者Ｍが保有するＩＤカード２ａの利用者ＩＤを取得するカードリーダである。具体的には、ＩＤカード２ａが非接触式のカードである場合にはＩＤカード２ａに記録した利用者ＩＤを近距離無線通信により受信し、ＩＤカード２ａが磁気記録式のカードである場合にはＩＤカード２ａに磁気記録した利用者ＩＤを読み取る。なお、かかる操作器２は、利用者自身が手入力で利用者ＩＤを入力するテンキー等であっても良く、利用者ＩＤを取得できればよい。

カメラ３は、利用者を撮像して画像データを出力するＣＣＤ（Charge Coupled Device）素子などからなる撮像装置である。このカメラ３は、操作器２を操作する利用者Ｍの顔部分並びに利用者がゲート１０に至る途中での該利用者Ｍの顔部分を撮像できる画角にあらかじめ設定されている。なお、本実施例では、かかるカメラ３で撮像される画像データは、説明の便宜上、白黒濃淡画像であるものとするが、カラー画像を対象とすることもできる。

制御部４は、入退室管理装置１を全体制御するコンピュータであり、操作器２、カメラ３、顔認証データベース５及びゲート１０と接続されている。この制御部４は、少なくとも、操作器２を操作した利用者Ｍの顔画像データを利用者ＩＤに関連付けて顔認証データベース５に自動登録及び自動更新登録する処理を行う。また、この制御部４は、顔認証データベース５に登録された顔画像データを用いて利用者Ｍの顔認証処理を行い、この認証結果に基づいて利用者Ｍの入退室管理を行う。具体的には、制御部４は、利用者Ｍを認証できた場合にはゲート１０を開き、利用者Ｍを認証できない場合にはゲート１０の閉鎖状態を維持する制御を行う。なお、ゲート１０の開閉制御は周知の技術を用いることができるため、ここではその詳細な説明を省略する。

顔認証データベース５は、少なくとも利用者ＩＤと１又は複数の顔画像データとを関連付けて格納するデータベースである。この顔認証データベース５は、さらに各顔画像データに認証利用度と登録時刻とが対応づけられて格納されている。この顔認証データベース５は、利用者ＭにＩＤカード２ａを付与する時点では該利用者Ｍの顔画像データが登録されておらず、ＩＤカード２ａの初回利用時に利用者Ｍの顔画像データが登録される。このため、利用者Ｍの初回利用時にはＩＤカード２ａを発行した作業員が立ち会うことが望ましい。なお、上記制御部４は、顔認証データベース５のデータベース管理装置（ＤＢＭＳ）の役割を果たす。

操作検出部１１は、利用者Ｍにより操作器２が操作されたか否かを検出する処理部である。例えば、ＩＤカード２ａが非接触式のカードである場合には、利用者ＭがＩＤカード２ａを操作器２に翳し操作したことを検出して、該ＩＤカード２ａから利用者ＩＤを受信する。また、ＩＤカード２ａが磁気記録式のカードである場合には、利用者ＭがＩＤカード２ａを操作器２に接触させたことを検出して、該ＩＤカード２ａから利用者ＩＤを読み取る。

顔画像検出部１２は、カメラ３によって撮像された白黒濃淡画像データ（以下、単に「画像データ」と言う）内に存在する人の顔部分を含む矩形の顔画像データを切り出す処理部である。この顔画像検出部１２により切り出された顔画像データについても白黒濃淡画像となる。図２は、顔画像検出部１２によって検出される顔画像データの一例を示す図である。同図に示すように、ここではカメラ３で撮像された画像データ２０内に利用者Ｍが含まれており、この利用者Ｍの顔画像データ２１を切り出す状況を示している。ここで、利用者Ｍの顔画像データを切り出す際には、人の一般的な顔の輪郭を示すテンプレート（マスクパターン）を準備し、このテンプレートを画像データ２０にずらしマッチングすることで、画像データ内に存在する顔画像データ２１を検出することができる。なお、かかるテンプレートマッチングだけではなく、公知の各種顔検出アルゴリズム（画像処理技術）を用いることができる。

登録処理部１３は、利用者Ｍの顔画像データを利用者ＩＤに関連付けて顔認証データベース５に登録する処理部である。すでに説明したように、本実施例１では、利用者ＭにＩＤカード２ａを発行する時点で別環境にて利用者Ｍの顔部分を撮像するのではなく、利用者Ｍが実環境で最初にＩＤカード２ａを利用して入室する時点で利用者Ｍの顔部分をカメラ３で撮像して顔認証データベース５に登録する。なお、登録時には、登録された時刻が、登録された顔画像データに対応して格納される。

顔認証処理部１４は、利用者Ｍが顔認証データベース５に登録された登録済みの利用者であるか否かを認証する処理部である。具体的には、顔画像検出部１２により検出された利用者Ｍの顔画像データと顔認証データベース５に登録された顔画像データとの類似度を算出し、算出された類似度に基づいて、該利用者Ｍが顔認証データベース５に登録された登録済みの利用者であるか否かを認証する。顔認証データベース５に登録済みの利用者Ｍは、ＩＤカード２ａの操作がなされなくともゲート１０を開制御する必要があるためである。ここで、上記類似度の一例として、顔画像データ相互間の相互相関係数を用いることができ、両顔画像データに同一人物の顔部分が含まれる場合に類似度が高くなり、両顔画像データに異なる人物の顔部分が含まれる場合に類似度が低くなる。なお、かかる類似度としては、上記の相互相関係数以外の公知の類似度算出技術を用いることもできる。

そして、顔認証データベース５に登録された顔画像データが一つのみである場合には、上記顔画像データ間の類似度が所定のしきい値以上である場合に、利用者が顔認証データベース５に登録済みであると判定し、顔認証データベース５に登録された顔画像データが複数存在する場合には、顔画像検出部１２により検出された利用者の顔画像データと顔認証データベース５に登録された複数の顔画像データの各類似度のうちの例えば上位３つの類似度を抽出し、抽出した上位３つの類似度のうちの平均値が所定のしきい値以上である場合に、利用者が顔認証データベース５に登録済みであると判定することができる。なお、かかる判定処理としては、既存の周知技術を用いることができる。

更新登録処理部１５は、利用者Ｍが２回目以降の入退室を行う際に、新たな顔画像データを利用者ＩＤに関連付けて顔認証データベース５に追加登録する。そして、検出された利用者Ｍの顔画像データが顔認証データベース５のいずれかの顔画像データに対応すると判定され、かつ、顔認証データベース５の顔画像データが登録可能な所定数に達していない場合には、そのまま認証された顔画像データを顔認証データベース５に追加登録する。また、顔認証データベース５に登録された利用者ＩＤに対応する顔画像データが所定数に達し、かつ、認証利用度が所定のしきい値以下のものがある場合には、そのうちの最も古い顔画像データを削除して、認証された顔画像データを更新登録する。一方、顔画像データが所定数に達し、かつ、認証利用度が所定のしきい値以下のものがない場合には、認証された顔画像データを登録せずに削除し、現在登録状態の顔画像データを維持する。なお、登録時には、登録された時刻が、登録された顔画像データに対応して格納される。また、所定のしきい値は、例えば各顔画像データの認証利用度の中間値や平均値とすることが好ましい。この場合、必ず、所定のしきい値以下の顔画像データが存在し、最も古い顔画像データが削除され、認証利用度の高い顔画像データが保持されるからである。さらに、所定のしきい値には、認証利用度順にソートした場合の所定の順位（例えば、上位８割）を用いることもできる。また、顔認証データベース５内の顔画像データを更新するタイミングで所定のしきい値を動的に更新することができる。

この更新登録処理部１５は、図３に示すように、利用者Ｍの所定数（５つ）の顔画像データＤ１〜Ｄ５が登録されている場合は、各顔画像データＤ１〜Ｄ５には、それぞれ認証利用度Ｆ１〜Ｆ５及び登録時刻Ｔ１〜Ｔ５が対応して格納されている。そして、検出された利用者Ｍの顔画像データＤ６が認証された際に、更新しきい値Ｆｔｈ（＝０．７）以下の認証利用度をもつ顔画像データＤ１，Ｄ２，Ｄ３がある場合には、この顔画像データＤ１，Ｄ２，Ｄ３のうちの最も古い顔画像データＤ３が削除され、顔画像データＤ６が顔画像データＤ３の格納領域に登録される。一方、更新しきい値Ｆｔｈ以下の認証利用度をもつ顔画像データがない場合には、顔画像データＤ６は、顔認証データベース５に登録されずに削除される。

認証利用度更新部１６は、利用者Ｍが認証される都度、利用者Ｍの顔画像データに対応する認証利用度を更新する。この認証利用度は、上述した更新登録処理部１５における自動更新登録の判定に用いられる認証頻度である。例えば、利用者Ｍの認証回数が１０回であり、顔画像データＤ１がそのうちの５回で認証の決め手となった場合には、顔画像データＤ１の認証利用度Ｆ＝０．５（５／１０）となる。なお、認証利用度の更新演算対象期間は、現在までの所定時間内であり、例えば１か月、１年又は運用開始から現在までの期間であり、これらは任意に設定することができる。

図１に戻り、警報出力部１７は、顔認証処理部１４により利用者Ｍが顔認証データベース５に登録済みでないと判定された場合に、警報を出力する処理部である。かかる警報出力としては、実際に音声出力するほか、所定の警備員の携帯端末に「異常発生」を報知するものでも良い。なお、かかる警報を出力している間は、ゲート１０の閉鎖状態が維持される。

次に、図１に示した制御部４による顔認証制御処理手順について説明する。図４は、図１に示した制御部４による顔認証制御処理手順を示す全体フローチャートである。図４に示すように、制御部４は、カメラ３により撮像された画像データを取得し（ステップＳ１０１）、取得された画像データ内で顔部分が検出されたか否かを判定する（ステップＳ１０２）。画像データ内で顔部分が検出されない場合には（ステップＳ１０２，Ｎｏ）、ステップＳ１０１に移行して、次の画像データを取得する。

一方、画像データ内で顔部分が検出された場合には（ステップＳ１０２，Ｙｅｓ）、この顔部分の顔画像データと顔認証データベース５内に登録されているすべての顔画像データとの類似度を算出し、所定の認証しきい値以上の顔画像データが登録されている場合には、この顔画像データの利用者ＩＤに対応する利用者として認証する（ステップＳ１０３）。そして、この顔認証処理結果をもとに、利用者が登録済みであるか否かを判定する（ステップＳ１０４）。

利用者Ｍが顔認証データベース５に登録されていないと判定された場合には（ステップＳ１０４，Ｎｏ）、「未登録者が入室する可能性がある旨」の警報を出力する（ステップＳ１０５）。この警報によりゲート１０に駆け付けた係員による所定の操作が行われたならば（ステップＳ１０６，Ｙｅｓ）、警報の出力を中止してステップＳ１０１に移行する。

これに対して、利用者Ｍが顔認証データベース５に登録されている場合には（ステップＳ１０４，Ｙｅｓ）、利用者Ｍが入室可能となるようにゲート１０を開放制御するとともに、該利用者Ｍの入室完了後にゲート１０を閉鎖制御する（ステップＳ１０７）。

その後、更新登録処理部１５に対して、顔認証データベース５の更新登録処理を行わせる（ステップＳ１０８）。さらに、認証利用度更新部１６に対して、認証利用度の更新処理を行わせ（ステップＳ１０９）、ステップＳ１０１に移行して次の画像データを取得し、上述した処理を繰り返す。

ここで、図５は、ステップＳ１０８による顔認証データベースの更新登録処理手順を示すフローチャートである。図５に示すように、まず、更新登録処理部１５は、顔認証データベース５内で、顔認証された利用者ＩＤの格納領域に空きが無いか否かを判定する（ステップＳ２０１）。この格納領域に空きが無いか否かは、顔画像データが所定数を超えるか否かの判定に相当する。

顔認証された利用者ＩＤの格納領域に空きがある場合には（ステップＳ２０１，Ｎｏ）、この空き領域に、顔認証された顔画像データを追加登録して（ステップＳ２０４）、ステップＳ１０９に移行する。

一方、顔認証された利用者ＩＤの格納領域に空きが無い場合には（ステップＳ２０１，Ｙｅｓ）、認証利用度が更新しきい値以下である顔画像データが存在するか否かを判定する（ステップＳ２０２）。認証利用度が更新しきい値以下である顔画像データが存在する場合には（ステップＳ２０２，Ｙｅｓ）、この更新しきい値以下の顔画像データのうち、登録時刻が最も古い顔画像データを削除し（ステップＳ２０３）、この削除した領域に、顔認証された顔画像データを更新登録し（ステップＳ２０４）、ステップＳ１０９に移行する。なお、このステップＳ２０３，２０４の処理は、上書き処理であってもよい。

また、認証利用度が更新しきい値以下である顔画像データがない場合には（ステップＳ２０２，Ｎｏ）、顔認証された顔画像データを削除し（ステップＳ２０５）、ステップＳ１０９に移行する。すなわち、かかる場合には顔認証データベース５の更新登録は実施しない。

上述してきたように、本実施例１では、顔認証された利用者に対応する顔認証データベース５内の格納領域に空きがない場合に、該格納領域内の各顔画像データに対応して格納された認証利用度が所定のしきい値以下であり、かつ、最も古い顔画像データを顔認証データベース５から削除し、認証された顔画像データを更新登録するように構成したので、認証の決め手となる顔画像データを残しつつ、古い顔画像データを削除して新しい顔画像データを登録することができ、結果として、自動更新登録による認証精度の低下を抑制するとともに安定した認証精度を得ることが可能となる。

ところで、上記実施例１では、「認証頻度」を認証利用度として用いた場合を示したが、かかる認証利用度は、認証処理時における類似度をもとにした認証スコアであってもよい。この認証スコアを用いた更新登録処理を行うと、顔認証データベース５に残すべき顔画像データを精度よく判定できる。

この実施例２に係る入退室管理装置の構成は、実施例１と同様であるが、認証利用度更新部１６の処理と、更新登録処理部１５の処理とが実施例１と異なる。すなわち、本実施例２の認証利用度更新部１６は、認証時における認証対象の顔画像データと、顔認証データベース５内の認証対象利用者の顔画像データとの類似度をもとに、認証スコアを累積更新している。一方、更新登録処理部１５は、ステップＳ１０８での認証利用度として認証スコアを用いている。

本実施例２の認証利用度更新部は、図６に示すように、認証処理時の類似度が、スコアしきい値Ｓ１ｔｈ以上である場合に、現在の認証スコアに「１」を加算し、スコアしきい値Ｓ１ｔｈ未満である場合に、現在の認証スコアに加算せずに維持する。なお、スコアしきい値Ｓ１ｔｈは、認証しきい値Ｓ０ｔｈよりも大きな類似度であることが好ましい。すなわち、検出された顔画像データが認証しきい値Ｓ０ｔｈ以上で認証されたとしても、類似度が小さい場合と大きい場合とで、認証に用いられた顔認証データベース５内の顔画像データに認証利用度に差をつけて格納しておく。これにより、単に認証回数のみでの認証利用度を用いる場合よりも、きめの細かい認証利用度を得ることができ、結果的に、認証精度の低下抑止と安定化とを図ることができる。

そして、更新登録処理部１５は、累積された認証スコアをもとに、新たに検出された顔画像データの自動更新をすべきか否かを判定することになる。例えば、図７に示すように、認証スコアが更新しきい値ＦＳｔｈ以下の顔画像データＤ１１，Ｄ１２，Ｄ１３が存在する場合には、この顔画像データＤ１１，Ｄ１２，Ｄ１３のうち、最も古い顔画像データＤ１２が顔認識データベース５から削除され、新しく認証された顔画像データが更新登録される。

なお、類似度をもとにした認証スコアの更新は、図８に示すように、さらに類似度を多段階に分けて、各段階の領域で加算すべきスコアを類似度が大きくなるにしたがって大きくするようにしてもよい。例えば、認証しきい値Ｓ０ｔｈ以上の類似度領域に、順次大きいスコアしきい値Ｓ１ｔｈ，Ｓ２ｔｈ，Ｓ３ｔｈを設け、スコアしきい値Ｓ１ｔｈ以上でスコアしきい値Ｓ２ｔｈ未満の類似度の場合には、この顔画像データの認証スコアに「１」加算し、スコアしきい値Ｓ２ｔｈ以上でスコアしきい値Ｓ３ｔｈ未満の類似度の場合には、この顔画像データの認証スコアに「２」加算し、スコアしきい値Ｓ３ｔｈ以上の類似度の場合には、この顔画像データの認証スコアに「３」加算するようにする。

さらに、図９に示すように、スコアしきい値を設けず、認証しきい値Ｓ０ｔｈ以上の類似度を有する顔画像データに対し、類似度の大きい順に順位を設け、順位の高い順に順次大きなスコアを加算するようにしてもよい。例えば、認証時における認証判定が、類似度の高い３つの顔画像データの平均値によって行われる場合、認証利用度更新部１６は、認証時における類似度の高い３つの顔画像データＤ２１，Ｄ２２，Ｄ２３に対し、最も類似度の高い顔画像データＤ２３にスコア「３」を加算し、次に類似度の高い顔画像データＤ２２にスコア「２」を加算し、最も類似度の低い顔画像データＤ２１にスコア「１」を加算する。

上述してきたように、本実施例２では、認証利用度として、認証時の類似度を反映した認証スコアを用いて、きめの細かい認証利用度の更新を行い、この認証スコアを用いて顔認証データベース５の更新登録処理を行うようにしているので、一層、認証精度の低下を抑止し、認証精度の安定化を図ることができる。

なお、上記実施例１及び２では、認証利用度と登録時刻の２つの情報を用いて顔認証データベース５の更新登録処理を行う場合を示したが、本発明はこれに限定されるものではなく、認証利用度のみを用いて顔認証データベース５の更新登録処理を行うこともできる。かかる場合には、図３に示した顔画像データＤ２を削除して、顔画像データＤ６を登録する処理を行うことになる。

また、登録されたばかりの顔画像データについては、「登録後に所定回数以上の顔認証が行われないと、削除の対象とはならない」とすることで、登録されたばかりの顔画像データから順次削除され、その結果として顔の経年変化に対応できなくなるという事態を防止することが可能となる。ただし、登録後に所定回数以上の顔認証が行われていれば良く、該顔画像データが決め手として採用されたか否かは問わない。

また、上記実施例１及び２では、本発明を入退室管理システムに適用した場合を示したが、本発明はこれに限定されるものではなく、勤怠管理システムなど各種システムに適用することができる。また、操作器２としてカードリーダを用いることで、従来、社員証等のＩＣカードの利用のみで実現していた入退室管理や勤怠管理に、顔認証を導入することができる。そして、顔認証用の顔画像データが自動登録されるため、利用者は、わざわざＩＤカードをかざさなくても、電気錠の開錠やタイムカードの打刻が可能になる。さらに、開錠時（打刻時）の映像と利用者ＩＤとを関連付けて登録することができる。この結果、管理者によるチェックを一層厳密に行うことができるとともに、不正防止を図ることができる。なお、ＩＣカードの利用と顔認証処理との二重照合も可能であり、この二重照合を行うことによって、通常よりもセキュリティの高いシステムを実現することができる。

また、上記実施例１及び２では、操作器２をカードリーダとする場合を示したが、本発明はこれに限定されるものではない。操作器２は、ＩＤ情報のやり取りができればよく、社員証などのＩＣカードでなくても適用可能である。例えば、パーソナルコンピュータ（ＰＣ）のディスプレイにウェブカメラを取り付け、ログインする際のユーザ名とパスワードと顔画像データとを関連付けるようにして顔画像データを登録することができる。また、マンションのエントランスに設置されているオートロックなどに対しても、顔画像データと開錠用のパスワードとを関連付けて登録することもできる。

本発明に係る顔認証データベース管理方法、顔認証データベース管理装置及び顔認証データベース管理プログラムは、入退室監視システムや勤怠管理システムなどに適しており、特に、自動更新登録による認証精度の低下を抑制するとともに安定した認証精度を得る場合に適している。

１ 入退室管理装置
２ 操作器
２ａ ＩＤカード
３ カメラ
４ 制御部
５ 顔認証データベース
１０ ゲート
１１ 操作検出部
１２ 顔画像検出部
１３ 登録処理部
１４ 顔認証処理部
１５ 更新登録処理部
１６ 認証利用度更新部
１７ 警報出力部
２０ 画像データ
２１ 顔画像データ
Ｍ 利用者
Ｆｔｈ，ＦＳｔｈ 更新しきい値
Ｓ１ｔｈ〜Ｓ３ｔｈ スコアしきい値

Claims (15)

1. 利用者を一意に識別する利用者識別情報と、撮像装置により撮像された利用者の複数の顔画像データとを関連付けて記憶する顔認証データベースを管理する顔認証データベース管理方法であって、
   前記撮像装置により撮像された画像データから利用者の顔部分を含む顔画像データを検出する顔画像データ検出工程と、
   前記顔画像データ検出工程により検出された顔画像データと前記顔認証データベースに格納されている顔画像データとの類似度をもとに前記利用者の顔認証処理を行う顔認証処理工程と、
   前記顔認証処理工程により前記検出された顔画像データに対する前記利用者が登録済みであると顔認証され、かつ、該顔認証された利用者に対応する前記顔認証データベース内の格納領域に空きがない場合に、該格納領域内の各顔画像データに対応して格納され過去の顔認証の決定に用いられた顔画像データの利用度を示す認証利用度に基づいて顔画像データを前記顔認証データベースから削除し、前記検出された顔画像データを登録する更新登録処理工程と、
   前記顔認証処理の都度、前記認証利用度を更新する認証利用度更新工程と
   を含んだことを特徴とする顔認証データベース管理方法。
2. 前記更新登録処理工程は、前記顔認証処理工程により前記検出された顔画像データに対する前記利用者が登録済みであると顔認証され、かつ、該顔認証された利用者に対応する前記顔認証データベース内の格納領域に空きがない場合に、該格納領域内の各顔画像データに対応して格納され過去の顔認証の決定に用いられた顔画像データの利用度を示す認証利用度が所定のしきい値以下であり、かつ、最も古い顔画像データを前記顔認証データベースから削除し、前記検出された顔画像データを登録することを特徴とする請求項１に記載の顔認証データベース管理方法。
3. 前記更新登録処理工程は、利用者に対応する顔認証データベース内の格納領域内の各顔画像データのうち、登録後所定の回数以上の顔認証が行われていない顔画像データを削除対象から除外することを特徴とする請求項１又は２に記載の顔認証データベース管理方法。
4. 前記認証利用度は、前記利用者の顔認証回数に対する顔認証の決定に用いられた回数の比を示す認証頻度であることを特徴とする請求項１、２又は３に記載の顔認証データベース管理方法。
5. 前記認証利用度は、顔認証の決定に用いられた顔画像データと前記検出された顔画像データとの類似度とをもとに与えられるスコアを累積した認証スコアであることを特徴とする請求項１、２又は３に記載の顔認証データベース管理方法。
6. 前記認証スコアは、前記類似度が所定値以上である場合にスコアが加算されることを特徴とする請求項５に記載の顔認証データベース管理方法。
7. 前記認証スコアは、類似度を多段階領域に分け、前記類似度が大きい領域に大きなスコアを加算したものであることを特徴とする請求項５に記載の顔認証データベース管理方法。
8. 前記認証スコアは、前記類似度の順位に応じて大きなスコアが加算されることを特徴とする請求項５に記載の顔認証データベース管理方法。
9. 前記認証利用度は、現在時刻までの所定期間内の利用度であることを特徴とする請求項１〜８のいずれか一つに記載の顔認証データベース管理方法。
10. 利用者を一意に識別する利用者識別情報と、撮像装置により撮像された利用者の複数の顔画像データとを関連付けて記憶する顔認証データベースを管理する顔認証データベース管理装置であって、
    前記撮像装置により撮像された画像データから利用者の顔部分を含む顔画像データを検出する顔画像データ検出部と、
    前記顔画像データ検出部により検出された顔画像データと前記顔認証データベースに格納されている顔画像データとの類似度をもとに前記利用者の顔認証処理を行う顔認証処理部と、
    前記顔認証処理部により前記検出された顔画像データに対する前記利用者が登録済みであると顔認証され、かつ、該顔認証された利用者に対応する前記顔認証データベース内の格納領域に空きがない場合に、該格納領域内の各顔画像データに対応して格納され過去の顔認証の決定に用いられた顔画像データの利用度を示す認証利用度に基づいて顔画像データを前記顔認証データベースから削除し、前記検出された顔画像データを登録する更新登録処理部と、
    前記顔認証処理の都度、前記認証利用度を更新する認証利用度更新部と
    を備えたことを特徴とする顔認証データベース管理装置。
11. 前記更新登録処理部は、前記顔認証処理部により前記検出された顔画像データに対する前記利用者が登録済みであると顔認証され、かつ、該顔認証された利用者に対応する前記顔認証データベース内の格納領域に空きがない場合に、該格納領域内の各顔画像データに対応して格納され過去の顔認証の決定に用いられた顔画像データの利用度を示す認証利用度が所定のしきい値以下であり、かつ、最も古い顔画像データを前記顔認証データベースから削除し、前記検出された顔画像データを登録することを特徴とする請求項１０に記載の顔認証データベース管理装置。
12. 前記更新登録処理部は、利用者に対応する顔認証データベース内の格納領域内の各顔画像データのうち、登録後所定の回数以上の顔認証が行われていない顔画像データを削除対象から除外することを特徴とする請求項１０又は１１に記載の顔認証データベース管理装置。
13. 利用者を一意に識別する利用者識別情報と、撮像装置により撮像された利用者の複数の顔画像データとを関連付けて記憶する顔認証データベースを管理する顔認証データベース管理装置に用いられる顔認証データベース管理プログラムであって、
    前記撮像装置により撮像された画像データから利用者の顔部分を含む顔画像データを検出する顔画像データ検出手順と、
    前記顔画像データ検出手順により検出された顔画像データと前記顔認証データベースに格納されている顔画像データとの類似度をもとに前記利用者の顔認証処理を行う顔認証処理手順と、
    前記顔認証処理手順により前記検出された顔画像データに対する前記利用者が登録済みであると顔認証され、かつ、該顔認証された利用者に対応する前記顔認証データベース内の格納領域に空きがない場合に、該格納領域内の各顔画像データに対応して格納され過去の顔認証の決定に用いられた顔画像データの利用度を示す認証利用度に基づいて顔画像データを前記顔認証データベースから削除し、前記検出された顔画像データを登録する更新登録処理手順と、
    前記顔認証処理の都度、前記認証利用度を更新する認証利用度更新手順と
    をコンピュータに実行させることを特徴とする顔認証データベース管理プログラム。
14. 前記更新登録処理手順は、前記顔認証処理手順により前記検出された顔画像データに対する前記利用者が登録済みであると顔認証され、かつ、該顔認証された利用者に対応する前記顔認証データベース内の格納領域に空きがない場合に、該格納領域内の各顔画像データに対応して格納され過去の顔認証の決定に用いられた顔画像データの利用度を示す認証利用度が所定のしきい値以下であり、かつ、最も古い顔画像データを前記顔認証データベースから削除し、前記検出された顔画像データを登録することを特徴とする請求項１３に記載の顔認証データベース管理プログラム。
15. 前記更新登録処理手順は、利用者に対応する顔認証データベース内の格納領域内の各顔画像データのうち、登録後所定の回数以上の顔認証が行われていない顔画像データを削除対象から除外することを特徴とする請求項１３又は１４に記載の顔認証データベース管理プログラム。

Images