JP2008197903A - 人物認識装置、人物認識方法および人退場管理システム - Google Patents

Abstract

【課題】同一認識対象者の辞書情報を二重に登録することを防止できる人物認識装置を提供する。
【解決手段】認識対象者から取得した顔画像をあらかじめ登録された辞書情報と照合することにより当該人物はあらかじめ登録された人物であるかを特定する人物認識装において、登録すべき辞書情報が入力された場合、当該辞書情報と既に登録された全ての辞書情報との類似度を求め、あらかじめ定められた類似度以上の辞書情報が存在する場合、その旨の警告情報とともに当該辞書情報に関連する情報を出力する。
【選択図】 図１

Description

本発明は、たとえば、認識対象者から取得した顔画像をあらかじめ登録された辞書情報と照合することにより両者の類似度を求め、この求めた類似度に基づき当該人物はあらかじめ登録された人物であるかを特定する人物認識装置および人物認識方法に関する。

また、本発明は、上記人物認識装置および人物認識方法を用いてセキュリティを必要とする部屋や施設等の入退場対象エリアに対する入退場を管理する人退場管理システムに関する。

一般に、人物認識装置を用いた入退場管理システムは、あらかじめ認識対象者（入退場者）の顔画像をカメラやセンサなどを用いて取得し、この取得した顔画像から得られる固有の特徴情報を辞書情報として辞書記憶手段に記憶（登録）しておく。
そして、顔照合時（顔認識時）には、認識対象者（入退場者）の顔画像をカメラやセンサなどを用いて再度取得し、この取得した顔画像から得られる固有の特徴情報を辞書記憶手段にあらかじめ記憶（登録）されている辞書情報と照合することにより当該認識対象者はあらかじめ登録された人物であるかを特定し、あらかじめ登録された人物であると特定された場合、入退場対象エリア（部屋や施設等）のドアを開放するようになっている（たとえば、特許文献１、特許文献２参照）。
特開平９−３１９８７７号公報 特開２００２−１１７４２６号公報

しかしながら、この種の入退場管理システム（人物認識装置）にあっては、同一認識対象者の辞書情報を二重に登録することが可能であるという問題がある。このため、以下のような問題点がある。

（１）同一認識対象者の辞書情報を二重に登録することによるシステム資源の浪費。

（２）同一認識対象者の辞書情報を二重に登録することにより、登録件数が増え、顔照合に時間がかかる。

（３）同一認識対象者の辞書情報を二重に登録することで、顔照合時の学習機能（顔画像の経年変化に対応）が、登録された一方の辞書情報に偏ったり、両辞書情報に分散したりするため、本来の性能を発揮できなくなる。

（４）特定の辞書情報を消去する場合に、二重登録されている場合には、片方の辞書情報が消去されずに残存してしまうことで、セキュリティ上の問題が発生する。また、これを避けるためには、システム管理者が全辞書情報を検索する必要があり、操作上の煩雑さが発生する。

そこで、本発明は、同一認識対象者の辞書情報を二重に登録することを防止できる人物認識装置、人物認識方法および人退場管理システムを提供することを目的とする。

本発明の人物認識装置は、あらかじめ認識対象者の顔画像から取得した固有の特徴情報を辞書情報として記憶する辞書記憶手段と、認識対象者の顔画像を入力する画像入力手段と、この画像入力手段により入力された顔画像から固有の特徴情報を抽出する特徴抽出手段と、この特徴抽出手段により抽出された特徴情報と前記辞書記憶手段に記憶された辞書情報とを照合することにより両情報の類似度を求め、この求めた類似度に基づき当該認識対象者を特定する照合手段と、前記辞書記憶手段に記憶すべき辞書情報が入力された場合、当該入力された辞書情報と前記辞書記憶手段に記憶された全ての辞書情報との類似度を求め、あらかじめ定められた類似度以上の辞書情報が存在するか否かを判定する類似度判定手段と、この類似度判定手段による判定の結果、あらかじめ定められた類似度以上の辞書情報が存在する場合、その旨の警告情報とともに当該辞書情報に関連する情報を出力する出力手段とを具備している。

本発明の人物認識方法は、あらかじめ認識対象者の顔画像から取得した固有の特徴情報を辞書情報として記憶する辞書記憶手段を有し、認識対象者の顔画像を入力する画像入力ステップと、この画像入力ステップにより入力された顔画像から固有の特徴情報を抽出する特徴抽出ステップと、この特徴抽出ステップにより抽出された特徴情報と前記辞書記憶手段に記憶された辞書情報とを照合することにより両情報の類似度を求め、この求めた類似度に基づき当該認識対象者を特定する照合ステップと、前記辞書記憶手段に記憶すべき辞書情報が入力された場合、当該入力された辞書情報と前記辞書記憶手段に記憶された全ての辞書情報との類似度を求め、あらかじめ定められた類似度以上の辞書情報が存在するか否かを判定する類似度判定ステップと、この類似度判定ステップによる判定の結果、あらかじめ定められた類似度以上の辞書情報が存在する場合、その旨の警告情報とともに当該辞書情報に関連する情報を出力する出力ステップとを具備している。

本発明の人退場管理システムは、あらかじめ入退場対象エリアに対し入退場を許可された入退場者の顔画像から取得した固有の特徴情報を辞書情報として記憶する辞書記憶手段と、入退場者の顔画像を入力する画像入力手段と、この画像入力手段により入力された顔画像から固有の特徴情報を抽出する特徴抽出手段と、この特徴抽出手段により抽出された特徴情報と前記辞書記憶手段に記憶された辞書情報とを照合することにより両情報の類似度を求め、この求めた類似度に基づき当該入退場者を特定する照合手段と、この照合手段により当該入退場者が特定された場合、当該入退場者に対し前記入退場対象エリアに対する入退場の許可を与える入退場制御手段と、前記辞書記憶手段に記憶すべき辞書情報が入力された場合、当該入力された辞書情報と前記辞書記憶手段に記憶された全ての辞書情報との類似度を求め、あらかじめ定められた類似度以上の辞書情報が存在するか否かを判定する類似度判定手段と、この類似度判定手段による判定の結果、あらかじめ定められた類似度以上の辞書情報が存在する場合、その旨の警告情報とともに当該辞書情報に関連する情報を出力する出力手段とを具備している。

本発明によれば、登録すべき辞書情報が入力された場合、当該辞書情報と既に登録された全ての辞書情報との類似度を求め、あらかじめ定められた類似度以上の辞書情報が存在する場合、その旨の警告情報とともに当該辞書情報に関連する情報を出力することにより、同一認識対象者の辞書情報を二重に登録することを防止できる人物認識装置、人物認識方法および人退場管理システムを提供できる。

以下、本発明の実施の形態について図面を参照して説明する。
図１は、本実施の形態に係る人物認識装置および人物認識方法が適用される入退場管理システムの構成を概略的に示すものである。この入退場管理システムは、認識対象者（以下、人物、入退場者ともいう）１００の顔画像（少なくとも顔を含んでいる画像）を撮像して入力する画像入力手段としてのテレビジョンカメラ（以降、単にカメラと略称する）１０１、カメラ１０１の近傍から認識対象者１００の少なくとも顔に向けて一定の照度で光を照射する照明部１０２、認識対象者１００や係員に対して入力された顔画像や各種案内などを表示したり、認識対象者１００を特定するＩＤ番号（特定情報）やパスワードなどを入力したりする出力手段および入力手段としての入出力部１０３、および、カメラ１０１から入力された顔画像を処理して顔画像の認識処理などを行なう処理部１０４を有して構成されている
カメラ１０１は、認識対象者１００の顔画像を下方から所定角度で撮像して入力するものであり、たとえば、ＣＣＤセンサなどの撮像素子を用いたテレビジョンカメラを有して構成されている。
照明部１０２は、カメラ１０１の近傍（たとえば、カメラ１０１の側部）から認識対象者１００の顔に向けて一定の照度で光を照射する蛍光灯などの照明器具である。

入出力部１０３は、カメラ１０１で撮影されている認識対象者１００の顔画像や各種ガイダンス、処理結果などを表示したり、認識対象者１００の個人ＩＤやパスワードなどを入力したりするもので、たとえば、液晶表示部とタッチパネルとを一体化して構成されていて、カメラ１０１の近傍、たとえば、カメラ１０１の上部で、ほぼ認識対象者１００の顔部分と相対応する位置に設けられている。なお、表示によるガイダンスのみに限らず、音声によるガイダンス機能を付加してもよい。

処理部１０４は、カメラ１０１からの顔画像を入力する画像入力部１０５、画像入力部１０５から得られた人物の顔画像を用いて、あらかじめ準備されたパターン辞書との照合で顔および目、鼻などの顔部品の位置を検出する顔検出手段としての顔検出部１０６、顔検出部１０６の出力に基づき濃淡情報あるいは部分空間情報などの固有の特徴量を抽出する特徴抽出手段としての特徴抽出部１０７、辞書情報の登録時には、特徴抽出部１０７で抽出された特徴量を辞書情報として記憶（登録）する辞書記憶手段としての辞書記憶部１０８、人物認識（顔照合）時には、特徴抽出部１０７で抽出された特徴量（入力特徴情報）と辞書記憶部１０８に登録されている辞書情報とを照合することにより、両情報の間に所定の関係が成立するか否か、たとえば、入力特徴情報と辞書情報との類似度を求め、求めた類似度が閾値よりも高い場合には当該認識対象者１００は登録者（本人）であると判定し、求めた類似度が閾値よりも低い場合には未登録者（本人ではない）と判定する照合手段としての照合部１０９、照合部１０９の判定結果に応じて入退場対象エリアとしての重要施設１１０の入退場用ドア１１１の開閉制御を行なうとともに全体的な制御を司る制御手段としての制御部１１２を有して構成されている。

画像入力部１０５は、カメラ１０１からの顔画像を入力し、Ａ／Ｄ変換してデジタル化した後、顔検出部１０６へ送る。
顔検出部１０６は、まず、画像入力部１０５で入力された顔画像から認識対象者１００の顔の領域を検出する。たとえば、あらかじめ用意されたテンプレートを、画像中を移動させながら相関値を求めることにより、最も高い相関値を持った場所を顔領域とする。なお、その他に、固有空間法や部分空間法を利用した顔領域抽出法などの顔検出手段でもよい。

顔検出部１０６は、次に、検出された顔領域の部分の中から、目、鼻、口といった顔部品の位置を検出する。その検出方法は、たとえば、文献（福井和広、山口修：「形状抽出とパターン照合の組合せによる顔特徴点抽出」、電子情報通信学会論文誌（Ｄ），ｖｏｌ．Ｊ８０−Ｄ−ＩＩ，Ｎｏ．８，ｐｐ２１７０−２１７７（１９９７））などの方法を用いてよい。

特徴抽出部１０７は、顔検出部１０６で検出された顔部品の位置を基に、顔領域を一定の大きさ、形状に切り出し、その濃淡情報を特徴量として用いる。ここでは、たとえば、ｍピクセル×ｎピクセルの領域の濃淡値をそのまま情報として用い、ｍ×ｎ次元の情報を特徴ベクトルとして用いる。

また、後で述べるように、認識を行なうための入力データとして部分空間自身を利用してもよい。したがって、部分空間を算出した結果は、照合部１０９および辞書記憶部１０８に送られる。

辞書記憶部１０８は、認識対象者１００を認識あるいは同定するために利用する部分空間（または、相関行列）などの辞書情報を当該認識対象者のＩＤ番号（固有の識別情報）と対応させて記憶している。また、登録の際の日時、時刻、場所、当該認識対象者の顔画像および名称などの属性情報も対応させて記憶できる。なお、辞書情報として、部分空間に限らず、入力された顔画像や抽出された顔の特徴量そのものを用いてもよい。

照合部１０９は、辞書記憶部１０８に蓄えられた辞書情報（部分空間）と特徴抽出部１０７で得られた特徴量（濃淡情報あるいは部分空間情報）とを照合（比較）することにより、カメラ１０１で撮影している認識対象者１００が誰であるかを認識、あるいは、該当人物であるかどうかを同定する。人物を認識するためには、どの人物のデータに最も類似しているかを求めればよく、最大類似度をとるデータに対応する人物を認識結果とすればよい。

また、カードやＩＤ番号、暗証番号、鍵などを用いて、顔画像による認識を行なう場合には、それぞれの人物のカードやＩＤ番号などの個人情報に対応する認識データとの類似度を計算して、設定した閾値と照合し、その閾値を越えた場合に、その人物と同定する。

これらカードやＩＤ番号、暗証番号、鍵など入力する手段が必要であるが、たとえば、カードならＩＣカード、ＩＤカード、無線カードなどを用いることで実現できる。ＩＤ番号や暗証番号を用いる場合は、キー入力手段を設ければよい。

認識の方法としては、特徴抽出部１０７の情報を用いる場合は、部分空間法や複合類似度法などの方法を用いてよい。本実施の形態での認識方法は、たとえば、文献（前田賢一、渡辺貞一：「局所的構造を導入したパターン・マッチング法」、電子情報通信学会論文誌（Ｄ），ｖｏｌ．Ｊ６８−Ｄ，Ｎｏ．３，ｐｐ３４５−３５２（１９８５））に記載されている公知の認識方法である相互部分空間法を用いる。

この方法では、あらかじめ登録された辞書情報も、入力されるデータも部分空間として表現され、２つの部分空間のなす「角度」を類似度として定義する。ここで入力される部分空間を入力部分空間という。入力データ列に対して同様に相関行列Ｃｉｎを求め、

と対角化し、固有ベクトルΦｉｎを求める。２つのΦｉｎ、Φｄで表わされる部分空間の部分空間類似度（０．０〜１．０）を求め、それを認識するための類似度とする。

次に、このような構成において辞書情報の登録処理について図２に示すフローチャートを参照して説明する。
まず、辞書情報の登録処理を許可された係員は、入出力部１０３において所定の操作を行なうことで登録モードを設定した後、登録する認識対象者のＩＤ番号および名称（たとえば、名前）を入力する（ステップＳ１）。

次に、登録する認識対象者１００がカメラ１０１の前に立ち、それが検知されることにより、カメラ１０１は認識対象者１００の画像を取込み、画像入力部１０５を介して顔検出部１０６へ送る（ステップＳ２）。

顔検出部１０６は、カメラ１０１により取込んだ画像から顔領域を検出し、検出した顔領域の部分の中から、目、鼻、口といった顔部品の位置を検出する。次に、特徴抽出部１０７は、顔検出部１０６で検出された顔部品の位置を基に顔の特徴量（入力顔画像に基づく情報）を抽出し、照合部１０９へ送る（ステップＳ３）。

次に、照合部１０９は、特徴抽出部１０７で抽出された顔の特徴量（入力顔画像）と辞書記憶部１０８に記憶された全ての辞書情報（登録顔画像）とをそれぞれ照合することにより両情報の類似度を求め、あらかじめ定められた類似度以上の辞書情報が存在するか否かを判定する（ステップＳ４，Ｓ５）。

ステップＳ４，Ｓ５において、あらかじめ定められた類似度以上の辞書情報が存在しない場合、その判定結果を受けた制御部１１２は、ステップＳ３で抽出された顔の特徴量を辞書情報として辞書記憶部１０８に記憶（登録）する（ステップＳ６）。このとき、たとえば、ステップＳ１で入力された認識対象者１００のＩＤ番号および名称、ステップＳ２で入力された認識対象者１００の顔画像を辞書情報とともに対応させて記憶する。

ステップＳ４，Ｓ５において、あらかじめ定められた類似度以上の辞書情報が存在する場合、その判定結果を受けた制御部１１２は、当該辞書情報に付加されている認識対象者１００のＩＤ番号および名称、さらに顔画像も付加されていれば当該顔画像とともに、既に当該辞書情報は登録済みである可能性がある旨の警告メッセージ等を入出力部１０３に表示し、係員に報知する（ステップＳ７，Ｓ８）。

係員は、入出力部１０３の表示内容を目視確認することで、当該認識対象者１００が既に登録されているか否かを判定し、登録の可否を決定する（ステップＳ９）。ここで、係員が強制登録と判断した場合、その旨の指示を入出力部１０３から行なうことで、その指示を受けた制御部１１２は、ステップＳ３で抽出された顔の特徴量を辞書情報として辞書記憶部１０８に記憶（登録）する（ステップＳ６）。

また、係員が登録を行わないと判断した場合、その旨の指示を入出力部１０３から行なうことで、その指示を受けた制御部１１２は、今回の辞書登録は行なわず、当該登録処理を終了する（ステップＳ１０）。

なお、上記処理は、あらかじめ定められた類似度以上の類似度があると判定された辞書情報の全てに対して行なうものとする。

このように、上記実施の形態によれば、登録すべき辞書情報が入力された場合、当該辞書情報と既に登録された全ての辞書情報との類似度を求め、あらかじめ定められた類似度以上の辞書情報が存在する場合、その旨の警告情報とともに当該辞書情報に関連する情報を出力することにより、同一認識対象者の辞書情報を二重に登録することを防止できる。これにより、以下のような効果が期待できる。
（１）同一認識対象者の辞書情報の二重登録防止により、システム資源の浪費を防止できる。
（２）同一認識対象者の辞書情報の二重登録防止により、無駄な辞書情報の登録を防止でき、顔照合時間を短縮できる。
（３）同一認識対象者の辞書情報を二重登録すると、顔照合時の学習機能（顔画像の経年変化に対応）が、登録された一方の辞書情報に偏ったり、両辞書情報に分散したりするため、本来の性能を発揮できなくなる弊害があるが、これを防止できる。
（４）同一認識対象者の辞書情報の二重登録防止により、特定の辞書情報を消去する際の片方の辞書情報の残存を防止でき、セキュリティ上の問題を未然に防止できる。また、システム管理者も二重登録されていないため全辞書情報の検索が不要である。

本発明の実施の形態に係る人物認識装置および人物認識方法が適用される入退場管理システムの構成を概略的に示すブロック図。 辞書情報の登録処理の流れについて説明するフローチャート。

符号の説明

１００…認識対象者（人物、入退場者）、１０１…カメラ（画像入力手段）、１０２…照明部、１０３…入出力部（出力手段）、１０４…処理部、１０５…画像入力部、１０６…顔検出部、１０７…特徴抽出部、１０８…辞書記憶部（辞書記憶手段）、１０９…照合部（照合手段）、１１０…重要施設（入退場対象エリア）、１１１…入退場用ドア、１１２…制御部（制御手段）。

Claims (8)

1. あらかじめ認識対象者の顔画像から取得した固有の特徴情報を辞書情報として記憶する辞書記憶手段と、
   認識対象者の顔画像を入力する画像入力手段と、
   この画像入力手段により入力された顔画像から固有の特徴情報を抽出する特徴抽出手段と、
   この特徴抽出手段により抽出された特徴情報と前記辞書記憶手段に記憶された辞書情報とを照合することにより両情報の類似度を求め、この求めた類似度に基づき当該認識対象者を特定する照合手段と、
   前記辞書記憶手段に記憶すべき辞書情報が入力された場合、当該入力された辞書情報と前記辞書記憶手段に記憶された全ての辞書情報との類似度を求め、あらかじめ定められた類似度以上の辞書情報が存在するか否かを判定する類似度判定手段と、
   この類似度判定手段による判定の結果、あらかじめ定められた類似度以上の辞書情報が存在する場合、その旨の警告情報とともに当該辞書情報に関連する情報を出力する出力手段と、
   を具備したことを特徴とする人物認識装置。
2. 前記類似度判定手段による判定の結果、あらかじめ定められた類似度以上の辞書情報が存在しない場合、前記入力された辞書情報を前記辞書記憶手段に記憶することを特徴とする請求項１記載の人物認識装置。
3. 前記辞書記憶手段に記憶すべき辞書情報は、前記画像入力手段および前記特徴抽出手段を介して入力されることを特徴とする請求項１記載の人物認識装置。
4. 前記辞書記憶手段に記憶された辞書情報には、当該辞書情報に対応する認識対象者固有の識別情報、当該認識対象者の名称、当該辞書情報を取得した顔画像のうち少なくともいずれか１つが付加されていて、
   前記出力手段が警告情報とともに出力する辞書情報に関連する情報とは、当該辞書情報そのもの、および、当該辞書情報に付加された認識対象者固有の識別情報、認識対象者の名称、顔画像のうち少なくともいずれか１つであることを特徴とする請求項１記載の人物認識装置。
5. あらかじめ認識対象者の顔画像から取得した固有の特徴情報を辞書情報として記憶する辞書記憶手段を有し、
   認識対象者の顔画像を入力する画像入力ステップと、
   この画像入力ステップにより入力された顔画像から固有の特徴情報を抽出する特徴抽出ステップと、
   この特徴抽出ステップにより抽出された特徴情報と前記辞書記憶手段に記憶された辞書情報とを照合することにより両情報の類似度を求め、この求めた類似度に基づき当該認識対象者を特定する照合ステップと、
   前記辞書記憶手段に記憶すべき辞書情報が入力された場合、当該入力された辞書情報と前記辞書記憶手段に記憶された全ての辞書情報との類似度を求め、あらかじめ定められた類似度以上の辞書情報が存在するか否かを判定する類似度判定ステップと、
   この類似度判定ステップによる判定の結果、あらかじめ定められた類似度以上の辞書情報が存在する場合、その旨の警告情報とともに当該辞書情報に関連する情報を出力する出力ステップと、
   を具備したことを特徴とする人物認識方法。
6. 前記辞書記憶手段に記憶された辞書情報には、当該辞書情報に対応する認識対象者固有の識別情報、当該認識対象者の名称、当該辞書情報を取得した顔画像のうち少なくともいずれか１つが付加されていて、
   前記出力ステップが警告情報とともに出力する辞書情報に関連する情報とは、当該辞書情報そのもの、および、当該辞書情報に付加された認識対象者固有の識別情報、認識対象者の名称、顔画像のうち少なくともいずれか１つであることを特徴とする請求項５記載の人物認識方法。
7. あらかじめ入退場対象エリアに対し入退場を許可された入退場者の顔画像から取得した固有の特徴情報を辞書情報として記憶する辞書記憶手段と、
   入退場者の顔画像を入力する画像入力手段と、
   この画像入力手段により入力された顔画像から固有の特徴情報を抽出する特徴抽出手段と、
   この特徴抽出手段により抽出された特徴情報と前記辞書記憶手段に記憶された辞書情報とを照合することにより両情報の類似度を求め、この求めた類似度に基づき当該入退場者を特定する照合手段と、
   この照合手段により当該入退場者が特定された場合、当該入退場者に対し前記入退場対象エリアに対する入退場の許可を与える入退場制御手段と、
   前記辞書記憶手段に記憶すべき辞書情報が入力された場合、当該入力された辞書情報と前記辞書記憶手段に記憶された全ての辞書情報との類似度を求め、あらかじめ定められた類似度以上の辞書情報が存在するか否かを判定する類似度判定手段と、
   この類似度判定手段による判定の結果、あらかじめ定められた類似度以上の辞書情報が存在する場合、その旨の警告情報とともに当該辞書情報に関連する情報を出力する出力手段と、
   を具備したことを特徴とする人退場管理システム。
8. 前記辞書記憶手段に記憶された辞書情報には、当該辞書情報に対応する入退場者固有の識別情報、当該入退場者の名称、当該辞書情報を取得した顔画像のうち少なくともいずれか１つが付加されていて、
   前記出力手段が警告情報とともに出力する辞書情報に関連する情報とは、当該辞書情報そのもの、および、当該辞書情報に付加された入退場者固有の識別情報、入退場者の名称、顔画像のうち少なくともいずれか１つであることを特徴とする請求項７記載の人退場管理システム。

Images