JP2008250829A - 歩行者照合システムおよび歩行者照合方法 - Google Patents

Abstract

【課題】照合ＮＧ（照合不一致）直後に辞書情報の更新が行なえ、歩行者はその場で通行可能となり、管理者に依頼して追加更新をする手間や追加更新を行なう時間が必要なくなる歩行者照合システムを提供する。
【解決手段】照合装置で歩行中の照合結果が照合ＮＧであるとき、歩行者が静止した状態で再び照合を行ない、この再照合時にも照合ＮＧであるとき、遠隔地の管理装置に自動でその情報を送信し、管理者に対し通知・表示出力することで、管理者が照合ＮＧ時の顔画像を確認して行なう更新操作に基づき、照合装置で辞書情報の更新処理を行なうとともに、ドアの解錠制御も同時に行なう。
【選択図】 図１

Description

本発明は、たとえば、歩行者が入退場対象エリア（特定の位置）に到着するまでに当該歩行者から取得した顔画像から得られる固有の特徴情報をあらかじめ登録された辞書情報と照合することにより当該歩行者はあらかじめ登録された人物であるか否かを判定したり、さらには、その判定結果に基づき前記歩行者の入退場対象エリアに対する入退場を制御したりする歩行者照合システムおよび歩行者照合方法に関する。

最近、歩行者を照合対象とした歩行者照合システムとして、入場対象エリアの入口の近傍にカメラと表示部を配設し、入口のドアに向かって移動する歩行者の顔照合を行なうものが知られている。これは、入口のドアに向かって移動する歩行者の顔画像をカメラで撮像して入力し、この入力した顔画像から得られる当該人物固有の顔の特徴情報をあらかじめ登録されている辞書情報と照合することにより、当該歩行者はあらかじめ登録された人物であるかを判定し、あらかじめ登録された人物である場合、入口のドアを開いて通行を許可し、そうでなければ、入口のドアを閉じたままにして通行を阻止するものである（たとえば、特許文献１参照）。
このように、歩行者が入口のドアに到達するまでに、顔照合処理を終了することで、あらかじめ登録された歩行者は立ち止まることなしに入口を通過できる。
特開２００４−１５７６０２号公報

ところが、この種の歩行者照合システムにおいては、顔の経年変化や顔照合時の状況により照合率が１００％であることは非常に難しく、照合ＮＧ（照合不一致）となったときは通行することができない。また、再度照合を行なうためには、カメラの視野内に顔が入るように後方へ後戻りする必要がある。さらに、辞書情報の更新が行なわれない限り照合ＯＫ（照合一致）となる確率は低くなるため、管理者が歩行者の身分証明の確認をとったり、従来からの鍵やカードに頼って通行を行なうしか方法がない。

そのため、歩行者照合システムとして照合ＮＧの直後に辞書情報の更新を行なうことができない。したがって、辞書情報の更新が必要なときは管理者に依頼するしか方法がなく、管理者が顔照合装置の前で辞書情報の更新操作を行ない、照合対象者（歩行者）は更新用の動作を行なうことで更新を行なう。そのため、管理者および照合対象者ともに時間と労力が必要であり、負担が大きいという問題がある。

そこで、本発明は、照合ＮＧ（照合不一致）直後に辞書情報の更新が行なえ、歩行者はその場で通行可能となり、管理者に依頼して追加更新をする手間や追加更新を行なう時間が必要なくなる歩行者照合システムおよび歩行者照合方法を提供することを目的とする。

本発明の歩行者照合システムは、歩行者が特定の位置に到着するまでに当該歩行者から取得した顔画像から得られる固有の特徴情報をあらかじめ登録された辞書情報と照合することにより当該歩行者はあらかじめ登録された人物であるか否かを判定する照合装置、および、この照合装置と通信回線を介して接続される管理装置を有して構成され、前記照合装置は、あらかじめ照合対象者となる歩行者の顔画像から得られる固有の特徴情報を辞書情報として記憶する辞書記憶手段と、前記歩行者の少なくとも顔を含む画像を取得する画像取得手段と、この画像取得手段により取得された画像から人物の顔画像を検出する顔検出手段と、この顔検出手段により検出された顔画像から固有の特徴情報を抽出する特徴抽出手段と、この特徴抽出手段により抽出された特徴情報と前記辞書記憶手段に記憶された辞書情報とを照合することにより当該歩行者はあらかじめ登録された人物であるか否かを判定する照合手段と、この照合手段による判定の結果、当該歩行者はあらかじめ登録された人物でないと判定された場合、当該歩行者に対し静止するように案内する案内手段と、この案内手段による案内に基づき静止した当該歩行者に対し前記画像取得手段、顔検出手段、特徴抽出手段および照合手段による照合処理を再度行なうよう制御する再照合制御手段と、この再照合制御手段の制御による再照合処理時に前記照合手段から当該歩行者はあらかじめ登録された人物でないという判定結果が再度得られた場合、照合不一致を示す情報、１回目の歩行状態での照合時に前記顔検出手段で検出された顔画像と前記照合手段において得られた上位複数名の候補者の顔画像、および、２回目の静止状態での照合時に前記顔検出手段で検出された顔画像と前記照合手段において得られた上位複数名の候補者の顔画像を前記管理装置へ送信する第１の送信手段とを具備し、前記管理装置は、前記照合装置の第１の送信手段により送信された照合不一致を示す情報、１回目の歩行状態での照合時に前記顔検出手段で検出された顔画像と前記照合手段において得られた上位複数名の候補者の顔画像、および、２回目の静止状態での照合時に前記顔検出手段で検出された顔画像と前記照合手段において得られた上位複数名の候補者の顔画像を受信する第１の受信手段と、この第１の受信手段により受信された照合不一致を示す情報、１回目の歩行状態での照合時に前記顔検出手段で検出された顔画像と前記照合手段において得られた上位複数名の候補者の顔画像、および、２回目の静止状態での照合時に前記顔検出手段で検出された顔画像と前記照合手段において得られた上位複数名の候補者の顔画像を管理者に対し表示出力する出力手段と、この出力手段により表示出力された照合不一致を示す情報、１回目の歩行状態での照合時に前記顔検出手段で検出された顔画像と前記照合手段において得られた上位複数名の候補者の顔画像、および、２回目の静止状態での照合時に前記顔検出手段で検出された顔画像と前記照合手段において得られた上位複数名の候補者の顔画像に基づき管理者によりなされた、上位複数名の候補者の中に当該歩行者が存在するか確認し、上位複数名の候補者の中に当該歩行者が存在する場合その候補者を辞書情報更新対象として決定した判断結果を入力する判断結果入力手段と、この判断結果入力手段により入力された判断結果に基づき辞書情報更新対象となる候補者の情報を前記照合装置へ送信する第２の送信手段とを具備し、前記照合装置は、さらに、前記管理装置の第２の送信手段により送信された辞書情報更新対象となる候補者の情報を受信する第２の受信手段と、この第２の受信手段により受信された辞書情報更新対象となる候補者の情報および当該歩行者から得られた特徴情報に基づき、前記辞書記憶手段内の当該候補者の辞書情報を更新する辞書更新手段とを具備している。

また、本発明の歩行者照合方法は、歩行者が特定の位置に到着するまでに当該歩行者から取得した顔画像から得られる固有の特徴情報をあらかじめ登録された辞書情報と照合することにより当該歩行者はあらかじめ登録された人物であるか否かを判定する歩行者照合方法において、照合装置およびこの照合装置と通信回線を介して接続される管理装置を有し、前記照合装置において、前記歩行者の少なくとも顔を含む画像を取得する画像取得工程と、この画像取得工程により取得された画像から人物の顔画像を検出する顔検出工程と、この顔検出工程により検出された顔画像から固有の特徴情報を抽出する特徴抽出工程と、この特徴抽出工程により抽出された特徴情報と、あらかじめ照合対象者となる歩行者の顔画像から得られる固有の特徴情報を辞書情報として記憶する辞書記憶手段に記憶された辞書情報とを照合することにより当該歩行者はあらかじめ登録された人物であるか否かを判定する照合工程と、この照合工程による判定の結果、当該歩行者はあらかじめ登録された人物でないと判定された場合、当該歩行者に対し静止するように案内する案内工程と、この案内工程による案内に基づき静止した当該歩行者に対し前記画像取得工程、顔検出工程、特徴抽出工程および照合工程による照合処理を再度行なうよう制御する再照合制御工程と、この再照合制御工程の制御による再照合処理時に前記照合工程から当該歩行者はあらかじめ登録された人物でないという判定結果が再度得られた場合、照合不一致を示す情報、１回目の歩行状態での照合時に前記顔検出工程で検出された顔画像と前記照合工程において得られた上位複数名の候補者の顔画像、および、２回目の静止状態での照合時に前記顔検出工程で検出された顔画像と前記照合工程において得られた上位複数名の候補者の顔画像を前記管理装置へ送信する第１の送信工程とを具備し、前記管理装置において、第１の送信工程により送信された照合不一致を示す情報、１回目の歩行状態での照合時に前記顔検出工程で検出された顔画像と前記照合工程において得られた上位複数名の候補者の顔画像、および、２回目の静止状態での照合時に前記顔検出工程で検出された顔画像と前記照合工程において得られた上位複数名の候補者の顔画像を受信する第１の受信工程と、この第１の受信工程により受信された照合不一致を示す情報、１回目の歩行状態での照合時に前記顔検出工程で検出された顔画像と前記照合工程において得られた上位複数名の候補者の顔画像、および、２回目の静止状態での照合時に前記顔検出工程で検出された顔画像と前記照合工程において得られた上位複数名の候補者の顔画像を管理者に対し表示出力する出力工程と、この出力工程により表示出力された照合不一致を示す情報、１回目の歩行状態での照合時に前記顔検出工程で検出された顔画像と前記照合工程において得られた上位複数名の候補者の顔画像、および、２回目の静止状態での照合時に前記顔検出工程で検出された顔画像と前記照合工程において得られた上位複数名の候補者の顔画像に基づき管理者によりなされた、上位複数名の候補者の中に当該歩行者が存在するか確認し、上位複数名の候補者の中に当該歩行者が存在する場合その候補者を辞書情報更新対象として決定した判断結果を入力する判断結果入力工程と、この判断結果入力工程により入力された判断結果に基づき辞書情報更新対象となる候補者の情報を前記照合装置へ送信する第２の送信工程とを具備し、前記照合装置において、前記第２の送信工程により送信された辞書情報更新対象となる候補者の情報を受信する第２の受信工程と、この第２の受信工程により受信された辞書情報更新対象となる候補者の情報および当該歩行者から得られた特徴情報に基づき、前記辞書記憶手段内の当該候補者の辞書情報を更新する辞書更新工程とを具備している。

また、本発明の歩行者照合システムは、歩行者が入退場対象エリアに到着するまでに当該歩行者から取得した顔画像から得られる固有の特徴情報をあらかじめ登録された辞書情報と照合することにより当該歩行者はあらかじめ登録された人物であるか否かを判定し、この判定結果に基づき前記歩行者の入退場対象エリアに対する入退場を制御する照合装置、および、この照合装置と通信回線を介して接続される管理装置を有して構成され、前記照合装置は、あらかじめ照合対象者となる歩行者の顔画像から得られる固有の特徴情報を辞書情報として記憶する辞書記憶手段と、前記歩行者の少なくとも顔を含む画像を取得する画像取得手段と、この画像取得手段により取得された画像から人物の顔画像を検出する顔検出手段と、この顔検出手段により検出された顔画像から固有の特徴情報を抽出する特徴抽出手段と、この特徴抽出手段により抽出された特徴情報と前記辞書記憶手段に記憶された辞書情報とを照合することにより当該歩行者はあらかじめ登録された人物であるか否かを判定する照合手段と、この照合手段の判定結果に基づき前記歩行者の入退場対象エリアに対する入退場を制御する第１の通行制御手段と、前記照合手段による判定の結果、当該歩行者はあらかじめ登録された人物でないと判定された場合、当該歩行者に対し静止するように案内する案内手段と、この案内手段による案内に基づき静止した当該歩行者に対し前記画像取得手段、顔検出手段、特徴抽出手段および照合手段による照合処理を再度行なうよう制御する再照合制御手段と、この再照合制御手段の制御による再照合処理時に前記照合手段から当該歩行者はあらかじめ登録された人物でないという判定結果が再度得られた場合、照合不一致を示す情報、１回目の歩行状態での照合時に前記顔検出手段で検出された顔画像と前記照合手段において得られた上位複数名の候補者の顔画像、および、２回目の静止状態での照合時に前記顔検出手段で検出された顔画像と前記照合手段において得られた上位複数名の候補者の顔画像を前記管理装置へ送信する第１の送信手段とを具備し、前記管理装置は、前記照合装置の第１の送信手段により送信された照合不一致を示す情報、１回目の歩行状態での照合時に前記顔検出手段で検出された顔画像と前記照合手段において得られた上位複数名の候補者の顔画像、および、２回目の静止状態での照合時に前記顔検出手段で検出された顔画像と前記照合手段において得られた上位複数名の候補者の顔画像を受信する第１の受信手段と、この第１の受信手段により受信された照合不一致を示す情報、１回目の歩行状態での照合時に前記顔検出手段で検出された顔画像と前記照合手段において得られた上位複数名の候補者の顔画像、および、２回目の静止状態での照合時に前記顔検出手段で検出された顔画像と前記照合手段において得られた上位複数名の候補者の顔画像を管理者に対し表示出力する出力手段と、この出力手段により表示出力された照合不一致を示す情報、１回目の歩行状態での照合時に前記顔検出手段で検出された顔画像と前記照合手段において得られた上位複数名の候補者の顔画像、および、２回目の静止状態での照合時に前記顔検出手段で検出された顔画像と前記照合手段において得られた上位複数名の候補者の顔画像に基づき管理者によりなされた、上位複数名の候補者の中に当該歩行者が存在するか確認し、上位複数名の候補者の中に当該歩行者が存在する場合その候補者を辞書情報更新対象として決定した判断結果を入力する判断結果入力手段と、この判断結果入力手段により入力された判断結果に基づき辞書情報更新対象となる候補者の情報を前記照合装置へ送信する第２の送信手段とを具備し、前記照合装置は、さらに、前記管理装置の第２の送信手段により送信された辞書情報更新対象となる候補者の情報を受信する第２の受信手段と、この第２の受信手段により受信された辞書情報更新対象となる候補者の情報および当該歩行者から得られた特徴情報に基づき、前記辞書記憶手段内の当該候補者の辞書情報を更新する辞書更新手段と、前記第２の受信手段により辞書情報更新対象となる候補者の情報が受信されると、当該歩行者に対し入退場対象エリアへの入場を許可する第２の通行制御手段とを具備している。

本発明によれば、照合ＮＧ（照合不一致）直後に辞書情報の更新が行なえ、歩行者はその場で通行可能となり、管理者に依頼して追加更新をする手間や追加更新を行なう時間が必要なくなる歩行者照合システムおよび歩行者照合方法を提供できる。

以下、本発明の実施の形態について図面を参照して説明する。
図１は、本実施の形態に係る歩行者照合システムの構成を概略的に示すものである。この歩行者照合システムは、たとえば、歩行者Ｍが入退場対象エリア（特定の位置）に到着するまでに当該歩行者Ｍから取得した顔画像から得られる固有の特徴情報をあらかじめ登録された辞書情報と照合することにより当該歩行者Ｍはあらかじめ登録された人物であるか否かを判定し、その判定結果に基づき歩行者Ｍの入退場対象エリアに対する入退場を制御する照合装置１０、および、この照合装置１０と通信回線３０を介して接続される管理装置４０を有して構成される。

照合装置１０は、入場対象エリア（セキュリティを必要とする部屋や施設等）の入口に向かって移動する歩行者（以下、人物ともいう）Ｍの少なくとも顔を含む画像を取得する画像取得手段としてのカメラ１１、歩行者Ｍや係員に対して各種案内などを表示したり各種操作を行なうためのタッチパネル付き液晶表示器からなる案内手段としての操作表示部１２、カメラ１１により取得された画像から人物の領域を検出する人物検出手段としての人物検出部１３、人物検出部１３により検出された人物領域内の画像を用いて、あらかじめ準備されたパターン辞書との照合で顔および目、鼻などの顔部品の位置を検出する顔検出手段としての顔検出部１４、顔検出部１４の出力に基づき濃淡情報あるいは部分空間情報などの固有の特徴量（特徴情報）を抽出する特徴抽出手段としての特徴抽出部１５、辞書情報の登録時に、特徴抽出部１５で抽出された特徴情報を辞書情報として記憶（登録）する辞書記憶手段としての辞書記憶部１６、顔照合時に、特徴抽出部１５で抽出された特徴情報と辞書記憶部１６に登録されている辞書情報とを照合することにより両情報の類似度を求め、求めた類似度に基づき当該歩行者Ｍはあらかじめ登録された人物であるか否かを判定する照合手段としての照合部１７、照合部１７の判定結果に応じて入退場対象エリアの入口に設けられた入退場用ドア（図示省略）の開閉制御を行なう通行制御手段としてのゲート制御部１８、通信回線３０を介して管理装置４０と通信を行なう送信および受信手段としての通信部１９、全体的な制御を司る制御手段としての主制御部２０を有して構成される。

カメラ１１は、歩行者Ｍの少なくとも顔を含んでいる画像を撮影して入力するもので、たとえば、ＣＣＤセンサなどの撮像素子を用いたテレビジョンカメラなどを主体に構成されており、入場対象エリアの入口近傍に設置されている。

操作表示部１２は、カメラ１１で撮影されている歩行者Ｍの顔画像や各種ガイダンス、処理結果などを表示したり、歩行者Ｍの個人ＩＤやパスワードの入力など、各種操作を行なったりするもので、たとえば、液晶表示器とタッチパネルとを一体化して構成されている。なお、表示によるガイダンスのみに限らず、音声によるガイダンス機能を付加してもよい。

人物検出部１３は、カメラ１１によって得られた画像からそれぞれ人物領域を検出する。具体的には、入力された画像に対して、たとえば、文献（中井宏章：「事後確率を用いた移動物体検出手法」、情報処理学会研究報告、ＳＩＧ−ＣＶ９０−１、１９９４年）で示される方法により、背景差分を用いて人物領域を抽出し、その変化領域の形状、面積、色分布情報を歩行者Ｍの特徴として抽出することが可能である。

顔検出部１４は、まず、顔領域の検出処理を行なう。すなわち、人物検出部１１３で検出された人物領域内の画像において、あらかじめ用意されたテンプレートを画像内で移動させながら相関値を求めることにより、最も高い相関値を与える位置を顔領域とする。なお、その他に、固有空間法や部分空間法を利用した顔領域抽出法などの顔検出手段でも実現可能である。

顔検出部１４は、次に、検出された顔領域の部分の中から、目、鼻、口といった顔部品の位置を検出する。その検出方法としては、たとえば、文献（福井和広、山口修：「形状抽出とパターン照合の組合せによる顔特徴点抽出」、電子情報通信学会論文誌（Ｄ），ｖｏｌ．Ｊ８０−Ｄ−ＩＩ，Ｎｏ．８，ｐｐ２１７０−２１７７（１９９７年））に開示されている方法などで実現可能である。

また、上記目、鼻の検出の他に口領域の検出については、たとえば、文献（湯浅真由美、中島朗子：「高精度顔特徴点検出に基づくデジタルメイクシステム」第１０回画像センシングシンポジウム予稿集，ｐｐ２１９−２２４（２００４年））の技術を利用することで容易に実現が可能である。

特徴抽出部１５は、顔検出部１４により検出された顔の部品の位置を基に、顔領域を一定の大きさ、形状に切り出し、その濃淡情報を特徴情報として用いる。ここでは、ｍピクセル×ｎピクセルの領域の濃淡値をそのまま情報として用い、ｍ×ｎ次元の情報を特徴ベクトルとして用いる。これらは単純類似度法という手法によりベクトルとベクトルの長さをそれぞれ「１」とするように正規化を行ない、内積を計算することで特徴ベクトル間の類似性を示す類似度が求められる。

１枚の画像で認識結果を出すような処理であればこれで特徴抽出は完了するが、連続した複数の画像を利用した動画像による計算をすることで、より精度の高い認識処理が行なえるため、本実施の形態ではこちらの手法を例にとって説明を行なう。カメラ１１から連続して得られた画像から、上記同様にｍ×ｎピクセルの画像を切り出し、これらの画像から特徴ベクトルの相関行列を求め、周知のＫ−Ｌ展開による正規直交ベクトルを求めることにより、連続した画像から得られる顔の特徴を示す部分空間を計算する。

部分空間の計算法は、特徴ベクトルの相関行列（または、共分散行列）を求め、そのＫ−Ｌ展開による正規直交ベクトル（固有ベクトル）を求めることにより、部分空間を計算する。部分空間は、固有値に対応する固有ベクトルを、固有値の大きな順にｋ個選び、その固有ベクトルの集合を用いて表現する。本実施の形態では、相関行列Ｃｄを特徴ベクトルから求め、相関行列

と対角化して、固有ベクトルの行列Φを求める。この情報が現在認識対象としている人物の顔の特徴を示す部分空間となる。なお、あらかじめ辞書記憶部１６に登録される辞書情報である部分空間（顔特徴情報）についても、ここで計算された部分空間そのものを登録するだけでよい。

辞書記憶部１６は、歩行者Ｍを認識あるいは同定するために利用する部分空間（または、相関行列）などの辞書情報を当該歩行者のＩＤ番号（固有の識別情報）と対応させて記憶している。また、登録の際の日時、時刻、場所、当該歩行者の顔画像および名称などの属性情報も対応させて記憶される。なお、辞書情報として、部分空間に限らず、入力された顔画像や抽出された顔の特徴量そのものを用いてもよい。

照合部１７は、辞書記憶部１６に蓄えられた辞書情報（部分空間）と特徴抽出部１５で得られた特徴情報（濃淡情報あるいは部分空間情報）とを照合（比較）することにより、カメラ１１で撮影している歩行者Ｍが誰であるかを認識、あるいは、該当人物であるかどうかを同定する。人物を認識するためには、どの人物のデータに最も類似しているかを求めればよく、最大類似度をとるデータに対応する人物を認識結果とすればよい。

また、カードやＩＤ番号、暗証番号、鍵などを用いて、顔画像による認識を行なう場合には、それぞれの人物のカードやＩＤ番号などの個人情報に対応する認識データとの類似度を計算して、設定した閾値と照合し、その閾値を越えた場合に、その人物と同定する。

これらカードやＩＤ番号、暗証番号、鍵など入力する手段が必要であるが、たとえば、カードならＩＣカード、ＩＤカード、無線カードなどを用いることで実現できる。ＩＤ番号や暗証番号を用いる場合は、キー入力手段を設ければよい。

認識の方法としては、特徴抽出部１５の情報を用いる場合は、部分空間法や複合類似度法などの方法を用いてよい。本実施の形態での認識方法は、たとえば、文献（前田賢一、渡辺貞一：「局所的構造を導入したパターン・マッチング法」、電子情報通信学会論文誌（Ｄ），ｖｏｌ．Ｊ６８−Ｄ，Ｎｏ．３，ｐｐ３４５−３５２（１９８５））に記載されている公知の認識方法である相互部分空間法を用いる。

この方法では、あらかじめ登録された辞書情報も、入力されるデータも部分空間として表現され、２つの部分空間のなす「角度」を類似度として定義する。ここで入力される部分空間を入力部分空間という。入力データ列に対して同様に相関行列Ｃｉｎを求め、

と対角化し、固有ベクトルΦｉｎを求める。２つのΦｉｎ、Φｄで表わされる部分空間の部分空間類似度（０．０〜１．０）を求め、それを認識するための類似度とする。

ゲート制御部１８は、一般的には、たとえば、入場対象エリアの入口に設けられる自動ドア、電子錠付ドア、ゲート装置などで実現可能であり、照合部１７によって通行許可者として認識された場合にのみ開錠信号を送信して通行を許可するようにするものである。

管理装置４０は、照合装置１０を管理するもので、照合装置１０から遠隔した管理者が滞在する特定の場所に設置されていて、各種入出力情報や操作案内などを表示出力したり各種操作を行なうためのタッチパネル付き液晶表示器からなる入力および出力手段としての表示部４１、各種情報の入力などを行なうキーボードなどの操作部４２、通信回線３０を介して照合装置１０と通信を行なう送信および受信手段としての通信部４３、全体的な制御を司る制御手段としての主制御部４４を有して構成される。

次に、このような構成において、照合処理および辞書情報の更新処理について図２〜図６に示すフローチャートを参照して説明する。
照合装置１０において、人物検出部１３が、カメラ１１により取得された画像から、入場対象エリアの入口に向かって移動する歩行者Ｍを検出すると（ステップＳＴ１）、顔検出部１４は、その検出された人物領域内の画像を用いて人物（歩行者Ｍ）の顔を検出し（ステップＳＴ２）、その検出結果を特徴抽出部１５へ送る。

特徴抽出部１５は、顔検出部１４で検出された顔画像から固有の特徴量（特徴情報）を抽出し（ステップＳＴ３）、その抽出結果を照合部１７へ送る。照合部１７は、特徴抽出部１５で抽出された特徴情報と辞書記憶部１６に登録されている複数の辞書情報とをそれぞれ照合することにより両情報の類似度を求める（ステップＳＴ４）。

次に、照合部１７は、求めた類似度のうち、最高点が得られた１位の類似度（類似度が１位の候補者の類似度）を、あらかじめ設定される所定の閾値α２と比較し、１位の類似度が閾値α２以上あるか否かを判定する（ステップＳＴ５）。

ステップＳＴ５における判定の結果、１位の類似度が閾値α２以上の場合、照合部１７は、当該１位の類似度を、あらかじめ設定される前記閾値α２よりも大きい所定の閾値α１と比較し、１位の類似度が閾値α１以上あるか否か（すなわち、類似度が１位の候補者の辞書情報を当該歩行者Ｍの特徴情報に更新可能であるか）を判定する（ステップＳＴ６）。
ここに、上記判定用の閾値は、「類似度の最大値＞α１＞α２＞類似度の最小値」の関係にあるものとする。

ステップＳＴ６における判定の結果、１位の類似度が閾値α１以上の場合、照合部１７は、主制御部２０を介して、辞書記憶部１６内の類似度が１位となった候補者の辞書情報を、特徴抽出部１５で抽出された当該歩行者Ｍの特徴情報に更新する（ステップＳＴ７）。
また、照合部１７は、主制御部２０を介して、操作表示部１２に照合ＯＫ（照合一致）の通行可能表示を行なうとともに（ステップＳＴ８）、ゲート制御部１８に解錠指示を行なうことで当該歩行者Ｍの通行（入場）を許可する（ステップＳＴ９）。

ステップＳＴ６における判定の結果、１位の類似度が閾値α１以下の場合、照合部１７は、主制御部２０を介して、操作表示部１２に照合ＯＫ（照合一致）の通行可能表示を行なうとともに（ステップＳＴ８）、ゲート制御部１８に解錠指示を行なうことで当該歩行者Ｍの通行（入場）を許可し（ステップＳＴ９）、当該照合処理および更新処理を終了する。

ステップＳＴ５における判定の結果、１位の類似度が閾値α２以下の場合、照合部１７は、照合ＮＧ（照合不一致）の照合結果（日付、照合場所、照合ＮＧを示す照合ＮＧ情報等）と、当該歩行者Ｍに対し顔検出部１４で検出された顔画像および特徴抽出部１５で抽出された特徴情報と、当該歩行者Ｍに対し照合部１７で求められた類似度が１位〜１０位までの候補者の情報（顔画像、ＩＤ番号等）を図示しない保存用メモリに一時保存する（ステップＳＴ１０）。

また、照合部１７は、照合ＮＧ（照合不一致）の照合結果を主制御部２０に送る。主制御部２０は、照合部１７から照合ＮＧの照合結果を受取ると、操作表示部１２に「静止してください」等の案内文を表示することで（ステップＳＴ１１）、入場対象エリアの入口に向かって移動する歩行者Ｍに対し、当該歩行者Ｍが入口のドアの前に到達する前にカメラ１１の撮像視野内に当該歩行者Ｍの顔が入る位置に静止させるように促す。

次に、主制御部２０は、顔検出以降の処理を再度行なうように制御する。すなわち、再び、顔検出部１４による顔検出処理を行ない（ステップＳＴ１２）、特徴抽出部１５による特徴情報の抽出処理を行ない（ステップＳＴ１３）、照合部１７による照合処理を行なう（ステップＳＴ１４）。

そして、照合部１７は、求めた類似度のうち、最高点が得られた１位の類似度（類似度が１位の候補者の類似度）を、あらかじめ設定される前記閾値α２よりも小さい所定の閾値α４と比較し、１位の類似度が閾値α４以上あるか否かを判定する（ステップＳＴ１５）。

ステップＳＴ１５における判定の結果、１位の類似度が閾値α４以上の場合、照合部１７は、当該１位の類似度を、あらかじめ設定される前記閾値α１よりも小さい所定の閾値α３と比較し、１位の類似度が閾値α３以上あるか否か（すなわち、類似度が１位の候補者の辞書情報を当該歩行者Ｍの特徴情報に更新可能であるか）を判定する（ステップＳＴ１６）。
ここに、上記判定用の閾値は、「類似度の最大値＞α１＞α２≧α３＞α４＞類似度の最小値」の関係にあるものとする。

ステップＳＴ１６における判定の結果、１位の類似度が閾値α３以上の場合、照合部１７は、主制御部２０を介して、辞書記憶部１６内の類似度が１位となった候補者の辞書情報を、特徴抽出部１５で抽出された当該歩行者Ｍの特徴情報に更新する（ステップＳＴ１７）。
また、照合部１７は、主制御部２０を介して、操作表示部１２に照合ＯＫ（照合一致）の通行可能表示を行なうとともに（ステップＳＴ１８）、ゲート制御部１８に解錠指示を行なうことで当該歩行者Ｍの通行（入場）を許可する（ステップＳＴ１９）。

次に、照合部１７は、保存用メモリに一時保存しておいた照合ＮＧ（照合不一致）の照合結果（日付、照合場所、照合ＮＧを示す照合ＮＧ情報等）と、当該歩行者Ｍに対し顔検出部１４で検出された顔画像および特徴抽出部１５で抽出された特徴情報と、当該歩行者Ｍに対し照合部１７で求められた類似度が１位〜１０位までの候補者の情報（顔画像、ＩＤ番号等）を消去し（ステップＳＴ２０）、当該照合処理および更新処理を終了する。

ステップＳＴ１６における判定の結果、１位の類似度が閾値α３以下の場合、照合部１７は、主制御部２０を介して、操作表示部１２に照合ＯＫ（照合一致）の通行可能表示を行なうとともに（ステップＳＴ１８）、ゲート制御部１８に解錠指示を行なうことで当該歩行者Ｍの通行（入場）を許可する（ステップＳＴ１９）。

次に、照合部１７は、保存用メモリに一時保存しておいた照合ＮＧ（照合不一致）の照合結果と、当該歩行者Ｍに対し顔検出部１４で検出された顔画像および特徴抽出部１５で抽出された特徴情報と、当該歩行者Ｍに対し照合部１７で求められた類似度が１位〜１０位までの候補者の情報（顔画像、ＩＤ番号）を消去し（ステップＳＴ２０）、当該照合処理および更新処理を終了する。

ステップＳＴ１５における判定の結果、１位の類似度が閾値α４以下の場合、照合部１７は、１回目の歩行状態での照合時に照合部１７において得られた類似度が１位の候補者と、２回目の静止状態での照合時に照合部１７において得られた類似度が１位の候補者とが同一であるか否かを判定する（ステップＳＴ２１）。

ステップＳＴ２１における判定の結果、１回目の照合時の類似度が１位の候補者と２回目の照合時の類似度が１位の候補者とが同一である場合、照合部１７は、主制御部２０を介して、１回目の照合時に得られた１位の類似度と２回目の照合時に得られた１位の類似度とを比較して、類似度がより大きい値である結果の特徴情報（特徴抽出部１５で抽出された当該歩行者Ｍの特徴情報）に、辞書記憶部１６内の類似度が１位となった候補者の辞書情報を更新する（ステップＳＴ２２）。
また、照合部１７は、主制御部２０を介して、操作表示部１２に照合ＯＫ（照合一致）の通行可能表示を行なうとともに（ステップＳＴ２３）、ゲート制御部１８に解錠指示を行なうことで当該歩行者Ｍの通行（入場）を許可する（ステップＳＴ２４）。

次に、照合部１７は、保存用メモリに一時保存しておいた照合ＮＧ（照合不一致）の照合結果（日付、照合場所、照合ＮＧを示す照合ＮＧ情報等）と、当該歩行者Ｍに対し顔検出部１４で検出された顔画像および特徴抽出部１５で抽出された特徴情報と、当該歩行者Ｍに対し照合部１７で求められた類似度が１位〜１０位までの候補者の情報（顔画像、ＩＤ番号等）を消去し（ステップＳＴ２５）、当該照合処理および更新処理を終了する。

ステップＳＴ２１における判定の結果、１回目の照合時の類似度が１位の候補者と２回目の照合時の類似度が１位の候補者とが同一でない場合、照合部１７は、２回目の照合ＮＧ（照合不一致）の照合結果（日付、照合場所、照合ＮＧを示す照合ＮＧ情報等）と、当該歩行者Ｍに対し顔検出部１４で検出された顔画像および特徴抽出部１５で抽出された特徴情報と、当該歩行者Ｍに対し照合部１７で求められた類似度が１位〜１０位までの候補者の情報（顔画像、ＩＤ番号等）を図示しない保存用メモリに一時保存する（ステップＳＴ２７）。

次に、主制御部２０は、照合部１７内の図示しない保存用メモリに一時保存した１回目および２回目の照合ＮＧ（照合不一致）の照合結果（日付、照合場所、照合ＮＧを示す照合ＮＧ情報等）と、当該歩行者Ｍに対し顔検出部１４で検出された顔画像および特徴抽出部１５で抽出された特徴情報と、当該歩行者Ｍに対し照合部１７で求められた類似度が１位〜１０位までの候補者の情報（顔画像、ＩＤ番号等）を、通信部１９を介してそれぞれ管理装置４０へ送信する（ステップＳＴ２８）。

管理装置４０において、主制御部４４は、通信部４３で１回目および２回目の照合ＮＧ（照合不一致）の照合結果（日付、照合場所、照合ＮＧを示す照合ＮＧ情報等）と、当該歩行者Ｍに対し顔検出部１４で検出された顔画像および特徴抽出部１５で抽出された特徴情報と、当該歩行者Ｍに対し照合部１７で求められた類似度が１位〜１０位までの候補者の情報（顔画像、ＩＤ番号等）を受信したか否かを判定する（ステップＳＴ４１）。

ステップＳＴ４１における判定の結果、照合装置１０からの各情報を受信した場合、主制御部４４は、たとえば、図７に示すように、表示部４１の管理者用更新画面５１に、１回目の照合ＮＧ（照合不一致）の照合結果（日付、照合場所、照合ＮＧを示す照合ＮＧ情報等）５２、当該歩行者Ｍに対し顔検出部１４で検出された顔画像（入力顔画像）５３、当該歩行者Ｍに対し照合部１７で求められた類似度が１位〜１０位までの候補者の情報（顔画像、ＩＤ番号等）５４、類似度が１位〜１０位までの候補者の情報に対応した更新ボタン群５５、および、２回目の照合ＮＧ（照合不一致）の照合結果（日付、照合場所、照合ＮＧを示す照合ＮＧ情報等）５６、当該歩行者Ｍに対し顔検出部１４で検出された顔画像（入力顔画像）５７、当該歩行者Ｍに対し照合部１７で求められた類似度が１位〜１０位までの候補者の情報（顔画像、ＩＤ番号等）５８、類似度が１位〜１０位までの候補者の情報に対応した更新ボタン群５９をそれぞれ表示する（ステップＳＴ４２）。
また、このとき、主制御部４４は、たとえば、警報装置および音声案内装置により音および音声により照合ＮＧが生じたことを管理者に対し報知する。

管理者は、管理者用更新画面５１に表示された１回目の入力顔画像５３および２回目の入力顔画像５７と、１回目の候補者の情報５４および２回目の候補者の情報５８とを比較することで、照合不一致時の顔画像を確認し、候補者の中に歩行者Ｍが存在するか否か目視により確認する（ステップＳＴ４３）。

この確認の結果、候補者の中に歩行者Ｍが存在する場合、管理者は、更新ボタン群５５，５９内の当該候補者の顔画像と対応して表示されている更新ボタンを押下する（タッチする）ことで、その信号を受けた主制御部４４は、更新対象となる候補者の情報（たとえば、顔画像に対応するＩＤ番号）を、通信部４３を介して照合装置１０へ送信し（ステップＳＴ４４）、当該照合処理および更新処理を終了する。

ステップＳＴ４１における判定の結果、照合装置１０からの各情報を受信しなかった場合、主制御部４４は、ここで処理を終了する。また、ステップＳＴ４３における確認の結果、候補者の中に歩行者Ｍが存在しない場合、管理者は、たとえば、図示しない終了ボタンを押下することで処理を終了する。

照合装置１０において、主制御部２０は、ステップＳＴ２８により管理装置４０へ情報を送信したのち一定時間内に、管理装置４０から通信部１９を介して更新対象となる候補者の情報（顔画像に対応するＩＤ番号）を受信したか否かを判定する（ステップＳＴ２９）。

ステップＳＴ２９における判定の結果、管理装置４０から更新対象となる候補者の情報（顔画像に対応するＩＤ番号）を一定時間内に受信した場合、主制御部２０は、辞書記憶部１６内の管理装置４０から受信した更新対象となる候補者の情報であるＩＤ番号に対応する候補者の辞書情報を、特徴抽出部１５で抽出された当該歩行者Ｍの特徴情報に更新する（ステップＳＴ３０）。

また、主制御部２０は、操作表示部１２に照合ＯＫ（照合一致）の通行可能表示を行なうとともに（ステップＳＴ３１）、ゲート制御部１８に解錠指示を行なうことで当該歩行者Ｍの通行（入場）を許可する（ステップＳＴ３２）。

次に、主制御部２０は、照合部１７内の図示しない保存用メモリに一時保存した１回目および２回目の照合ＮＧ（照合不一致）の照合結果（日付、照合場所、照合ＮＧを示す照合ＮＧ情報等）と、当該歩行者Ｍに対し顔検出部１４で検出された顔画像および特徴抽出部１５で抽出された特徴情報と、当該歩行者Ｍに対し照合部１７で求められた類似度が１位〜１０位までの候補者の情報（顔画像、ＩＤ番号等）を消去し（ステップＳＴ３３）、当該照合処理および更新処理を終了する。

ステップＳＴ２９における判定の結果、管理装置４０から更新対象となる候補者の情報を一定時間内に受信しなかった場合、主制御部２０は、操作表示部１２に照合ＮＧ（照合不一致）の通行不可表示を行なうことで（ステップＳＴ３４）、当該歩行者Ｍの通行（入場）を不許可とする。

次に、主制御部２０は、照合部１７内の図示しない保存用メモリに一時保存した１回目および２回目の照合ＮＧ（照合不一致）の照合結果（日付、照合場所、照合ＮＧを示す照合ＮＧ情報等）と、当該歩行者Ｍに対し顔検出部１４で検出された顔画像および特徴抽出部１５で抽出された特徴情報と、当該歩行者Ｍに対し照合部１７で求められた類似度が１位〜１０位までの候補者の情報（顔画像、ＩＤ番号等）を消去し（ステップＳＴ３３）、当該照合処理を終了する。

このように、照合装置で歩行中の照合結果が照合ＮＧであるとき、歩行者が静止した状態で再び照合を行ない、この再照合時にも照合ＮＧであるとき、遠隔地の管理装置に自動でその情報を送信し、管理者に対し通知・表示出力することで、管理者が照合ＮＧ時の顔画像を確認して行なう更新操作に基づき、照合装置で辞書情報の更新処理を行なうとともに、ドアの解錠制御も同時に行なう。

これにより、照合ＮＧ直後に辞書情報の更新が行なえ、その場で通行可能となり、次回、照合装置で再び歩行者の照合を行なうとき、更新された辞書情報と照合が行なわれるため、照合ＯＫとなる確率が非常に高くなり、従来の鍵やカードを使っての通行が必要なくなる。また、管理者に依頼して辞書情報の追加更新をする手間や、追加更新を行なう時間が必要なくなる。

本発明の実施の形態に係る歩行者照合システムの構成を概略的に示すブロック図。 照合装置における照合処理および辞書情報の更新処理について説明するフローチャート。 照合装置における照合処理および辞書情報の更新処理について説明するフローチャート。 照合装置における照合処理および辞書情報の更新処理について説明するフローチャート。 照合装置における照合処理および辞書情報の更新処理について説明するフローチャート。 管理装置における辞書情報の更新処理について説明するフローチャート。 管理装置における表示部の管理者用更新画面を概略的に示す模式図。

符号の説明

１０…照合装置、３０…通信回線、４０…管理装置、１１…カメラ（画像取得手段）、Ｍ…歩行者、１２…操作表示部、１３…人物検出部（人物検出手段）、１４…顔検出部（顔検出手段）、１５…特徴抽出部（特徴抽出手段）、１６…辞書記憶部（辞書記憶手段）、１７…照合部（照合手段）、１８…ゲート制御部（通行制御手段）、１９…通信部（送信および受信手段）、２０…主制御部（制御手段）、４１…表示部（入力および出力手段）、４２…操作部、４３…通信部（送信および受信手段）、４４…主制御部（制御手段）、５１…管理者用更新画面、５５，５９…更新ボタン群。

Claims (6)

1. 歩行者が特定の位置に到着するまでに当該歩行者から取得した顔画像から得られる固有の特徴情報をあらかじめ登録された辞書情報と照合することにより当該歩行者はあらかじめ登録された人物であるか否かを判定する照合装置、および、この照合装置と通信回線を介して接続される管理装置を有して構成され、
   前記照合装置は、
   あらかじめ照合対象者となる歩行者の顔画像から得られる固有の特徴情報を辞書情報として記憶する辞書記憶手段と、
   前記歩行者の少なくとも顔を含む画像を取得する画像取得手段と、
   この画像取得手段により取得された画像から人物の顔画像を検出する顔検出手段と、
   この顔検出手段により検出された顔画像から固有の特徴情報を抽出する特徴抽出手段と、
   この特徴抽出手段により抽出された特徴情報と前記辞書記憶手段に記憶された辞書情報とを照合することにより当該歩行者はあらかじめ登録された人物であるか否かを判定する照合手段と、
   この照合手段による判定の結果、当該歩行者はあらかじめ登録された人物でないと判定された場合、当該歩行者に対し静止するように案内する案内手段と、
   この案内手段による案内に基づき静止した当該歩行者に対し前記画像取得手段、顔検出手段、特徴抽出手段および照合手段による照合処理を再度行なうよう制御する再照合制御手段と、
   この再照合制御手段の制御による再照合処理時に前記照合手段から当該歩行者はあらかじめ登録された人物でないという判定結果が再度得られた場合、照合不一致を示す情報、１回目の歩行状態での照合時に前記顔検出手段で検出された顔画像と前記照合手段において得られた上位複数名の候補者の顔画像、および、２回目の静止状態での照合時に前記顔検出手段で検出された顔画像と前記照合手段において得られた上位複数名の候補者の顔画像を前記管理装置へ送信する第１の送信手段とを具備し、
   前記管理装置は、
   前記照合装置の第１の送信手段により送信された照合不一致を示す情報、１回目の歩行状態での照合時に前記顔検出手段で検出された顔画像と前記照合手段において得られた上位複数名の候補者の顔画像、および、２回目の静止状態での照合時に前記顔検出手段で検出された顔画像と前記照合手段において得られた上位複数名の候補者の顔画像を受信する第１の受信手段と、
   この第１の受信手段により受信された照合不一致を示す情報、１回目の歩行状態での照合時に前記顔検出手段で検出された顔画像と前記照合手段において得られた上位複数名の候補者の顔画像、および、２回目の静止状態での照合時に前記顔検出手段で検出された顔画像と前記照合手段において得られた上位複数名の候補者の顔画像を管理者に対し表示出力する出力手段と、
   この出力手段により表示出力された照合不一致を示す情報、１回目の歩行状態での照合時に前記顔検出手段で検出された顔画像と前記照合手段において得られた上位複数名の候補者の顔画像、および、２回目の静止状態での照合時に前記顔検出手段で検出された顔画像と前記照合手段において得られた上位複数名の候補者の顔画像に基づき管理者によりなされた、上位複数名の候補者の中に当該歩行者が存在するか確認し、上位複数名の候補者の中に当該歩行者が存在する場合その候補者を辞書情報更新対象として決定した判断結果を入力する判断結果入力手段と、
   この判断結果入力手段により入力された判断結果に基づき辞書情報更新対象となる候補者の情報を前記照合装置へ送信する第２の送信手段とを具備し、
   前記照合装置は、さらに、
   前記管理装置の第２の送信手段により送信された辞書情報更新対象となる候補者の情報を受信する第２の受信手段と、
   この第２の受信手段により受信された辞書情報更新対象となる候補者の情報および当該歩行者から得られた特徴情報に基づき、前記辞書記憶手段内の当該候補者の辞書情報を更新する辞書更新手段とを具備したことを特徴とする歩行者照合システム。
2. 前記照合装置は、
   前記再照合制御手段の制御による再照合処理時に前記照合手段から当該歩行者はあらかじめ登録された人物でないという判定結果が再度得られた場合、１回目の歩行状態での照合時に前記照合手段において得られた最上位の候補者と２回目の静止状態での照合時に前記照合手段において得られた最上位の候補者とが同一人物であるか否かを判定する判定手段をさらに具備し、
   前記第１の送信手段は、前記判定手段により１回目の候補者と２回目の候補者とが同一人物でないと判定された場合、照合不一致を示す情報、１回目の歩行状態での照合時に前記顔検出手段で検出された顔画像と前記照合手段において得られた上位複数名の候補者の顔画像、および、２回目の静止状態での照合時に前記顔検出手段で検出された顔画像と前記照合手段において得られた上位複数名の候補者の顔画像を前記管理装置へ送信することを特徴とする請求項１記載の歩行者照合システム。
3. 歩行者が特定の位置に到着するまでに当該歩行者から取得した顔画像から得られる固有の特徴情報をあらかじめ登録された辞書情報と照合することにより当該歩行者はあらかじめ登録された人物であるか否かを判定する歩行者照合方法において、
   照合装置およびこの照合装置と通信回線を介して接続される管理装置を有し、
   前記照合装置において、
   前記歩行者の少なくとも顔を含む画像を取得する画像取得工程と、
   この画像取得工程により取得された画像から人物の顔画像を検出する顔検出工程と、
   この顔検出工程により検出された顔画像から固有の特徴情報を抽出する特徴抽出工程と、
   この特徴抽出工程により抽出された特徴情報と、あらかじめ照合対象者となる歩行者の顔画像から得られる固有の特徴情報を辞書情報として記憶する辞書記憶手段に記憶された辞書情報とを照合することにより当該歩行者はあらかじめ登録された人物であるか否かを判定する照合工程と、
   この照合工程による判定の結果、当該歩行者はあらかじめ登録された人物でないと判定された場合、当該歩行者に対し静止するように案内する案内工程と、
   この案内工程による案内に基づき静止した当該歩行者に対し前記画像取得工程、顔検出工程、特徴抽出工程および照合工程による照合処理を再度行なうよう制御する再照合制御工程と、
   この再照合制御工程の制御による再照合処理時に前記照合工程から当該歩行者はあらかじめ登録された人物でないという判定結果が再度得られた場合、照合不一致を示す情報、１回目の歩行状態での照合時に前記顔検出工程で検出された顔画像と前記照合工程において得られた上位複数名の候補者の顔画像、および、２回目の静止状態での照合時に前記顔検出工程で検出された顔画像と前記照合工程において得られた上位複数名の候補者の顔画像を前記管理装置へ送信する第１の送信工程とを具備し、
   前記管理装置において、
   第１の送信工程により送信された照合不一致を示す情報、１回目の歩行状態での照合時に前記顔検出工程で検出された顔画像と前記照合工程において得られた上位複数名の候補者の顔画像、および、２回目の静止状態での照合時に前記顔検出工程で検出された顔画像と前記照合工程において得られた上位複数名の候補者の顔画像を受信する第１の受信工程と、
   この第１の受信工程により受信された照合不一致を示す情報、１回目の歩行状態での照合時に前記顔検出工程で検出された顔画像と前記照合工程において得られた上位複数名の候補者の顔画像、および、２回目の静止状態での照合時に前記顔検出工程で検出された顔画像と前記照合工程において得られた上位複数名の候補者の顔画像を管理者に対し表示出力する出力工程と、
   この出力工程により表示出力された照合不一致を示す情報、１回目の歩行状態での照合時に前記顔検出工程で検出された顔画像と前記照合工程において得られた上位複数名の候補者の顔画像、および、２回目の静止状態での照合時に前記顔検出工程で検出された顔画像と前記照合工程において得られた上位複数名の候補者の顔画像に基づき管理者によりなされた、上位複数名の候補者の中に当該歩行者が存在するか確認し、上位複数名の候補者の中に当該歩行者が存在する場合その候補者を辞書情報更新対象として決定した判断結果を入力する判断結果入力工程と、
   この判断結果入力工程により入力された判断結果に基づき辞書情報更新対象となる候補者の情報を前記照合装置へ送信する第２の送信工程とを具備し、
   前記照合装置において、
   前記第２の送信工程により送信された辞書情報更新対象となる候補者の情報を受信する第２の受信工程と、
   この第２の受信工程により受信された辞書情報更新対象となる候補者の情報および当該歩行者から得られた特徴情報に基づき、前記辞書記憶手段内の当該候補者の辞書情報を更新する辞書更新工程とを具備したことを特徴とする歩行者照合方法。
4. 前記照合装置において、
   前記再照合制御工程の制御による再照合処理時に前記照合工程から当該歩行者はあらかじめ登録された人物でないという判定結果が再度得られた場合、１回目の歩行状態での照合時に前記照合工程において得られた最上位の候補者と２回目の静止状態での照合時に前記照合工程において得られた最上位の候補者とが同一人物であるか否かを判定する判定工程をさらに具備し、
   前記第１の送信工程は、前記判定工程により１回目の候補者と２回目の候補者とが同一人物でないと判定された場合、照合不一致を示す情報、１回目の歩行状態での照合時に前記顔検出工程で検出された顔画像と前記照合工程において得られた上位複数名の候補者の顔画像、および、２回目の静止状態での照合時に前記顔検出工程で検出された顔画像と前記照合工程において得られた上位複数名の候補者の顔画像を前記管理装置へ送信することを特徴とする請求項３記載の歩行者照合方法。
5. 歩行者が入退場対象エリアに到着するまでに当該歩行者から取得した顔画像から得られる固有の特徴情報をあらかじめ登録された辞書情報と照合することにより当該歩行者はあらかじめ登録された人物であるか否かを判定し、この判定結果に基づき前記歩行者の入退場対象エリアに対する入退場を制御する照合装置、および、この照合装置と通信回線を介して接続される管理装置を有して構成され、
   前記照合装置は、
   あらかじめ照合対象者となる歩行者の顔画像から得られる固有の特徴情報を辞書情報として記憶する辞書記憶手段と、
   前記歩行者の少なくとも顔を含む画像を取得する画像取得手段と、
   この画像取得手段により取得された画像から人物の顔画像を検出する顔検出手段と、
   この顔検出手段により検出された顔画像から固有の特徴情報を抽出する特徴抽出手段と、
   この特徴抽出手段により抽出された特徴情報と前記辞書記憶手段に記憶された辞書情報とを照合することにより当該歩行者はあらかじめ登録された人物であるか否かを判定する照合手段と、
   この照合手段の判定結果に基づき前記歩行者の入退場対象エリアに対する入退場を制御する第１の通行制御手段と、
   前記照合手段による判定の結果、当該歩行者はあらかじめ登録された人物でないと判定された場合、当該歩行者に対し静止するように案内する案内手段と、
   この案内手段による案内に基づき静止した当該歩行者に対し前記画像取得手段、顔検出手段、特徴抽出手段および照合手段による照合処理を再度行なうよう制御する再照合制御手段と、
   この再照合制御手段の制御による再照合処理時に前記照合手段から当該歩行者はあらかじめ登録された人物でないという判定結果が再度得られた場合、照合不一致を示す情報、１回目の歩行状態での照合時に前記顔検出手段で検出された顔画像と前記照合手段において得られた上位複数名の候補者の顔画像、および、２回目の静止状態での照合時に前記顔検出手段で検出された顔画像と前記照合手段において得られた上位複数名の候補者の顔画像を前記管理装置へ送信する第１の送信手段とを具備し、
   前記管理装置は、
   前記照合装置の第１の送信手段により送信された照合不一致を示す情報、１回目の歩行状態での照合時に前記顔検出手段で検出された顔画像と前記照合手段において得られた上位複数名の候補者の顔画像、および、２回目の静止状態での照合時に前記顔検出手段で検出された顔画像と前記照合手段において得られた上位複数名の候補者の顔画像を受信する第１の受信手段と、
   この第１の受信手段により受信された照合不一致を示す情報、１回目の歩行状態での照合時に前記顔検出手段で検出された顔画像と前記照合手段において得られた上位複数名の候補者の顔画像、および、２回目の静止状態での照合時に前記顔検出手段で検出された顔画像と前記照合手段において得られた上位複数名の候補者の顔画像を管理者に対し表示出力する出力手段と、
   この出力手段により表示出力された照合不一致を示す情報、１回目の歩行状態での照合時に前記顔検出手段で検出された顔画像と前記照合手段において得られた上位複数名の候補者の顔画像、および、２回目の静止状態での照合時に前記顔検出手段で検出された顔画像と前記照合手段において得られた上位複数名の候補者の顔画像に基づき管理者によりなされた、上位複数名の候補者の中に当該歩行者が存在するか確認し、上位複数名の候補者の中に当該歩行者が存在する場合その候補者を辞書情報更新対象として決定した判断結果を入力する判断結果入力手段と、
   この判断結果入力手段により入力された判断結果に基づき辞書情報更新対象となる候補者の情報を前記照合装置へ送信する第２の送信手段とを具備し、
   前記照合装置は、さらに、
   前記管理装置の第２の送信手段により送信された辞書情報更新対象となる候補者の情報を受信する第２の受信手段と、
   この第２の受信手段により受信された辞書情報更新対象となる候補者の情報および当該歩行者から得られた特徴情報に基づき、前記辞書記憶手段内の当該候補者の辞書情報を更新する辞書更新手段と、
   前記第２の受信手段により辞書情報更新対象となる候補者の情報が受信されると、当該歩行者に対し入退場対象エリアへの入場を許可する第２の通行制御手段と、
   を具備したことを特徴とする歩行者照合システム。
6. 前記照合装置は、
   前記再照合制御手段の制御による再照合処理時に前記照合手段から当該歩行者はあらかじめ登録された人物でないという判定結果が再度得られた場合、１回目の歩行状態での照合時に前記照合手段において得られた最上位の候補者と２回目の静止状態での照合時に前記照合手段において得られた最上位の候補者とが同一人物であるか否かを判定する判定手段をさらに具備し、
   前記第１の送信手段は、前記判定手段により１回目の候補者と２回目の候補者とが同一人物でないと判定された場合、照合不一致を示す情報、１回目の歩行状態での照合時に前記顔検出手段で検出された顔画像と前記照合手段において得られた上位複数名の候補者の顔画像、および、２回目の静止状態での照合時に前記顔検出手段で検出された顔画像と前記照合手段において得られた上位複数名の候補者の顔画像を前記管理装置へ送信することを特徴とする請求項５記載の歩行者照合システム。

Images