JP2006215858A

JP2006215858A - 入退場管理システムおよび入退場管理方法

Info

Publication number: JP2006215858A
Application number: JP2005028725A
Authority: JP
Inventors: Hiroshi Takahashi; 博高橋; Hiroshi Sukegawa; 寛助川
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2005-02-04
Filing date: 2005-02-04
Publication date: 2006-08-17

Abstract

【課題】案内者の照合と他の入場希望者の生体情報記録のみで入場希望者を管理できる入退場管理システムを提供する。
【解決手段】画像入力部２０１で入力された顔画像から顔領域検出部２０２で顔領域を検出し、顔特徴抽出部２０３で顔特徴情報を抽出する。個人顔特徴作成部２０４であらかじめ案内者の顔特徴情報を作成して、その人物の顔画像とともに顔特徴保持部２０５に登録しておく。顔照合部２０６は、顔特徴抽出部２０３からの顔特徴情報と顔特徴保持部２０５内の顔特徴情報とを照合し、所定値以上の類似度となった人物の顔画像を出力する。人数比較部２０９は、顔領域検出部２０２で検出された顔領域の数と人数入力部２０８で入力された人数とを比較し、両者が等しくなったところで、顔領域検出部２０２で検出された顔領域内の顔画像を出力する。表示部２１０は、顔照合部２０６および人数比較部２０９から出力された各顔画像を表示する。
【選択図】図１

Description

本発明は、たとえば、高セキュリティの要求される事務所や作業エリア、各種の展示会場など、案内者（第１の入場希望者）とともに入場する顧客や見学者などの人物（第２の入場希望者）がいる入場対象エリアにおけるセキュリティ管理において、人物の顔画像等の生体情報により入場希望者の入退場を管理する入退場管理システムおよび入退場管理方法に関する。

たとえば、高セキュリティが要求される部屋などにおいては、ドアなどの前に入退場用の生体照合装置が設置され、その生体照合装置にて照合された本人のみが入場を許可されるという入退場管理システムが存在する。
複数の人物が部屋などに入場する場合には、各人がその生体照合装置にて個人情報を登録し、それぞれが生体照合装置で照合して入場している。しかし、そのように各人が生体照合装置にて個人情報を登録して、それぞれが照合する方法では、多くの人物が同時に入退場する場合、生体照合装置の付近が非常に混雑し、スムーズな入場ができない。

そこで、たとえば、特許文献１では、事前に入場希望者のＩＤ情報などを登録しておき、生体照合装置の利用時には取得した生体情報から登録情報を作成することで、各人の登録作業負荷を低減している。
また、たとえば、特許文献２では、案内者の虹彩を照合して入場し、他の入場希望者はＩＤタグにより管理することで、入場希望者の人数把握などが容易に行なえるようにしている。

一方、部屋などに複数の人物が入場した場合、案内者は、それら全ての人物を監視し、不用意に他のエリアに入らないようにチェックする必要がある。ＩＤタグなどを各人に携帯させることで、各人の所在をチェックし、許可されているエリア以外に入場しようとした場合に、アラームやメッセージを出力することで対処している。
特開２００２−２８８６６６号公報特開２０００−１５５８６３号公報

上記のように、複数の人物が同時に部屋に入場する場合、各人が生体照合装置にて個人情報を登録し、それぞれが照合して入場しなければならず、生体照合装置の付近が非常に混雑し、スムーズな入場ができない。
また、事前にＩＤ情報などを登録しておき、利用時には取得した生体情報から登録情報を作成することで各人の登録作業負荷を低減する手法では、事前情報が必要となり、また事前情報と本人とを対応付けるためのＩＤ情報を設定しなければならない。
さらに、案内者の虹彩を照合して入場し、他の入場希望者はＩＤタグにより管理することで入場希望者の人数把握などを行なう手法では、ＩＤタグを携帯する必要がある。

そこで、本発明は、案内者の照合と他の入場希望者の生体情報記録のみで入場希望者を管理できる入退場管理システムおよび入退場管理方法を提供することを目的とする。
また、本発明は、案内者と他の入場希望者とを関連づけることで入場希望者の立入り許可エリアを簡易に管理できる入退場管理システムおよび入退場管理方法を提供することを目的とする。

本発明の入退場管理システムは、入場対象エリアに対し入場を希望する第１の入場希望者の生体情報があらかじめ登録されている生体情報保持手段と、前記第１の入場希望者および当該第１の入場希望者とともに入場を希望する第２の入場希望者から生体情報を取得する生体情報取得手段と、この生体情報取得手段により取得された生体情報と前記生体情報保持手段に登録されている生体情報とを照合することにより両生体情報の類似度を求め、この求めた類似度のうち所定値以上の類似度が得られた生体情報を出力する照合手段と、入場対象エリアに対し入場する人数を入力する人数入力手段と、前記生体情報取得手段により生体情報を取得した入場希望者の人数を計数する人数計数手段と、この人数計数手段により計数された人数と前記人数入力手段により入力された人数とを比較し、両人数が一致した際に前記生体情報取得手段により取得された生体情報を出力する人数比較手段と、前記照合手段により出力された生体情報および前記人数比較手段により出力された生体情報を表示する表示手段とを具備している。

また、本発明の入退場管理システムは、入場対象エリアに対し入場を希望する第１の入場希望者からあらかじめ取得した個人の顔の特徴情報が当該第１の入場希望者の顔画像とともに登録されている顔特徴保持手段と、前記第１の入場希望者および当該第１の入場希望者とともに入場を希望する第２の入場希望者の少なくとも顔を含む画像を撮影して入力する第１の画像入力手段と、この第１の画像入力手段により入力された画像から顔領域を検出する顔領域検出手段と、この顔領域検出手段により検出された顔領域から顔の特徴情報を抽出する顔特徴抽出手段と、この顔特徴抽出手段により抽出された顔特徴情報と前記顔特徴保持手段に登録されている顔特徴情報とを照合することにより両顔特徴情報の類似度を求め、この求めた類似度のうち所定値以上の類似度が得られた顔特徴情報と対応する顔画像を出力する照合手段と、入場対象エリアに対し入場する人数を入力する人数入力手段と、前記第１の画像入力手段により画像を入力された入場希望者の人数を計数する人数計数手段と、この人数計数手段により計数された人数と前記人数入力手段により入力された人数とを比較し、両人数が一致した際に前記顔領域検出手段により検出された顔領域の顔画像を出力する人数比較手段と、前記照合手段により出力された顔画像および前記人数比較手段により出力された顔画像を表示する表示手段とを具備している。

本発明によれば、案内者の照合と他の入場希望者の生体情報記録のみで入場希望者を管理できる入退場管理システムおよび入退場管理方法を提供できる。

また、本発明によれば、案内者と他の入場希望者とを関連づけることで入場希望者の立入り許可エリアを簡易に管理できる入退場管理システムおよび入退場管理方法を提供できる。

以下、本発明の実施の形態について図面を参照して説明する。
なお、以下の説明では、人物の生体情報として顔画像を用いた場合を例として述べるが、顔画像以外に、指紋画像、虹彩情報、掌形画像、指画像、静脈情報、音声情報などの他の生体情報を用いても同様に実施できる。

まず、第１の実施の形態について説明する。
図１は、本発明に係る入退場管理システムのレイアウト例を示すものである。図１において、１０１，１０２，１０３は入退場管理を行なう部屋（入場対象エリア）で、それぞれ入退場用のドア１０４，１０５，１０６を備えている。ドア１０４，１０５，１０６の近傍には、それぞれ生体照合装置としての顔照合装置１０７，１０８，１０９、表示装置１１０，１１１，１１２、警報装置１１３，１１４，１１５、監視装置１１６，１１７，１１８が設置されている。
監視装置１１６，１１７，１１８は、ドア１０４，１０５，１０６および顔照合装置１０７，１０８，１０９の近傍エリアを監視するもので、ビデオカメラなどを主体に構成されている。

図２は、第１の実施の形態に係る顔照合装置１０７，１０８，１０９の構成を概略的に示すものである。なお、この顔照合装置１０７，１０８，１０９は同一構成であるので、代表して顔照合装置１０７について説明する。

第１の実施の形態に係る顔照合装置１０７は、照合対象となる人物、つまり案内者（第１の入場希望者）および当該案内者とともに入場する顧客や見学者などの人物（以下、同行者（第２の入場希望者）とも言う）の顔画像を撮像して入力する画像入力手段（生体情報取得手段）としての画像入力部２０１、画像入力部２０１により入力された画像から人物の顔領域を検出する顔領域手段としての顔領域検出部２０２、顔領域検出部２０２により検出された顔領域内の顔の特徴情報を抽出する顔特徴抽出手段としての顔特徴抽出部２０３、あらかじめ案内者（第１の入場希望者）から個人の顔の特徴情報を作成する個人顔特徴作成部２０４、個人顔特徴作成部２０４により作成された顔特徴情報が当該個人顔特徴情報を取得した人物の顔画像と対応させて登録（記憶）されている顔特徴保持手段（生体情報保持手段）としての顔特徴保持部２０５、顔特徴抽出部２０３により抽出された顔特徴情報と顔特徴保持部２０５に保持された顔特徴情報とを照合することにより両情報の類似度を求め、この求めた類似度のうち所定値以上の類似度が得られた顔特徴情報と対応する顔画像を出力する照合手段としての顔照合部２０６、顔照合部２０６において所定値以上の類似度が得られた場合にドア１０４を開放制御する入場制御手段としてのドア制御部２０７、案内者が入場する人数を入力する人数入力手段としての人数入力部（たとえば、キーボード等）２０８、顔領域検出部２０２により検出された顔領域の数を計数し、人数入力部２０８から入力された人数と比較し、両者が等しくなったところで、顔領域検出部２０２により検出された顔領域内の顔画像を出力する人数計数手段および人数比較手段としての人数比較部２０９、顔照合部２０６から出力された顔画像および人数比較部２０９から出力された顔画像を表示する表示手段としての表示部２１０（図１の表示装置１１０に相当）によって構成されている。

以下、各部について詳細に説明する。
画像入力部２０１は、たとえば、ビデオカメラなどからなり、照合対象となる人物の少なくとも顔を含む画像（以下、顔画像という）を撮影して、デジタル濃淡画像情報として出力する。このデジタル濃淡画像情報は、たとえば、横方向に５１２画素、縦方向に５１２画素、各画素が８ビットからなる構造で、１秒間に３０枚出力される画像情報である。

顔領域検出部２０２は、入力された画像情報１枚ごとに顔パターンを検出する。この顔検出処理は、たとえば、図３に示すフローチャートのような処理手順で実行される。以下、図３の処理手順について説明する。

まず、サイズｓやｙ，ｘ座標などの初期化を行なう（ステップ３０１〜３０３）。次に、あらかじめ用意されたサイズの異なる複数の標準顔パターンｇｓ（ｉ，ｊ）を用いて、入力画像ｆ（ｘ，ｙ）内の局所領域との相関Ｍｓ（ｘ，ｙ）を、座標（ｘ，ｙ）をずらしながら下記数１にしたがって計算する（ステップ３０４）。ここで、サイズの異なる標準顔パターンｇｓ（ｉ，ｊ）は、決められたサイズであらかじめ収集した顔パターンを平均するなどして作成される。

次に、求めた相関Ｍｓ（ｘ，ｙ）が一定の閾値ＴＨＲ以上であれば（ステップ３０５）、顔パターンを検出したものとして、その結果を出力する（ステップ３０６）。この画像探索を、図４に模式的に示すように、標準顔パターンｇｓ（ｉ，ｊ）のサイズｓを変更しながら実施する。図３のステップ３０７〜３１２がその処理である。
なお、図４において、符号４０１，４０３，４０５は入力画像全体を示し、符号４０２，４０４，４０６は標準顔パターンｇｓ（ｉ，ｊ）を示している。

顔特徴抽出部２０３は、顔領域検出部２０２にて検出された顔領域から、まず、目、鼻、口といった顔部品の位置を検出する。その検出方法は、たとえば、文献（福井和広、山口修：「形状抽出とパターン照合の組合せによる顔特徴点抽出」、電子情報通信学会論文誌（Ｄ），ｖｏｌ．Ｊ８０−Ｄ−ＩＩ，Ｎｏ．８，ｐｐ２１７０−２１７７（１９９７））に開示されている方法などを用いてよい。

次に、検出された目、鼻、口などの位置を基に顔領域を一定の大きさ、形状に切出し、その濃淡情報を顔特徴情報とする。なお、顔特徴情報としては、上記のような濃淡情報だけでなく、目、鼻、口などの大きさやそれらの間の画素数などを特徴情報としてもよい。

個人顔特徴作成部２０４は、顔特徴情報の作成方法は顔特徴抽出部２０３と同様であるが、あらかじめ照合対象の人物（案内者）の顔画像から顔特徴情報を作成しておく点が異なる。
顔特徴保持部２０５は、個人顔特徴作成部２０４により作成された顔特徴情報を当該個人顔特徴情報を取得した人物の顔画像と対応させて記憶する。

顔照合部２０６は、顔特徴抽出部２０３から出力される顔特徴情報と、顔特徴保持部２０５に保持されているあらかじめ作成された案内者の顔特徴情報とを照合することにより両情報の類似度を求め、この求めた類似度のうち所定値以上の類似度（たとえば、最大の類似度）が得られた顔特徴情報に対応させて顔特徴保持部２０５に保持されている顔画像を出力する。この顔照合部２０６で実行される照合処理は、図５に示すような処理手順で実行される。以下、図５の処理手順について説明する。

まず、カテゴリｃの初期設定を行なった後（ステップ５０１）、顔特徴保持部２０５にあらかじめ保持されているカテゴリｃの顔特徴情報である顔特徴パターン（辞書パターン）ｒｃ（ｉ、ｊ）と、入力された顔画像の顔特徴パターン（入力画像）ｈ（ｘ、ｙ）との類似度Ｓｉｍｃ（ｘ、ｙ）を、下記数２のように相関を求めることで計算する（ステップ５０２）。これを全てのカテゴリｃに対して行なうことにより、最大の類似度Ｓｉｍｃ（ｘ，ｙ）を答えとして出力する（ステップ５０３〜５０７）。

ここで、顔特徴保持部２０５に保持されている顔特徴パターンｒｃ（ｉ、ｊ）は、たとえば、図６に示すようなデータ構造を持っている。

人数比較部２０９は、たとえば、図７に示すフローチャートにしたがった処理を実行する。すなわち、まず、人数入力部２０８から入力された人数を受取る（ステップ７０１）。顔領域検出部２０２により顔領域出され、その顔領域検出信号が出力されたら（ステップ７０２）、図示しない顔領域検出カウンタをカウントアップし（ステップ７０３）、人数入力部２０８から入力された人数と比較する（ステップ７０４）。

この比較の結果、顔領域検出カウンタのカウント値（顔領域検出数）が入力人数に満たない場合は、ステップ７０２に戻って顔領域検出部２０２からの顔領域検出信号の出力を待つ。顔領域検出部２０２から顔領域検出信号が出力されたら、ステップ７０３，７０４の処理を再度行なう。顔領域検出数と入力人数とが等しくなったら処理を終了する。
なお、顔領域検出部２０２からは、同一人物の顔領域が複数回出力される可能性があるが、その場合、連続した出力を１回の顔領域検出としてカウントすることで、同一人物では顔領域検出カウンタが１回のみカウントされることになる。

次に、このような構成において、具体的な入場管理方法について図１を参照して説明する。案内者と、当該案内者とともに入場する同行者がドア１０４の前に来る。案内者は、顔照合装置１０７で顔照合を行なう。顔照合の処理の流れは、図２〜図６で前述した通りである。案内者が、顔照合装置１０７の人数入力部２０８から、入場する人数を入力する。

その後、案内者とともに入場する同行者が１人ずつ、顔照合装置１０７の前に立ち、画像入力部２０１による顔画像の入力を行なう。その際、顔照合装置１０７では、前述したような顔領域の検出処理や入場人数の計数処理を行なっている。案内者の顔照合がＯＫとなり、全員が顔画像の入力を終えたら、ドア１０４が開き、部屋１０１に入場することができる。

表示装置１１０や表示装置１１１（表示部２１０）には、案内者や、ともに入場した同行者の顔画像がそれぞれ表示される。たとえば、図８に示すように、案内者の顔画像８０１と同行者の顔画像８０２とが対応付けられて表示されている。表示装置１１０や表示装置１１１には、たとえば、「確認してください」などの確認のメッセージ８０３および確認ボタン８０４も同時に表示される。
ここで、案内者は、表示装置１０７や表示装置１１１において、表示された確認ボタン８０４を押下するなどして、確認したという情報を入力する。案内者が確認の操作を行なわないと、当該表示は消去されないようになっている。

なお、表示装置は各部屋に設置されており、どの部屋の表示装置で確認を行なってもよい。また、人物の顔照合は、顔照合装置１０７ではなく、監視装置１１６で行なってもよく、その場合の顔照合処理の流れは、図２〜図６で前述したと同様である。その場合、入場する人数の入力は、顔照合装置１０７で行なってもよく、あるいは、監視装置１１６で、撮影視野内に存在する人物の数を計数することで入力し、顔画像の入力も監視装置１１６で行なってもよい。監視装置１１６で人物の数を計数するには、たとえば、周知のＨｏｕｇｈ変換を用いて、撮影画像内の円形パターンの数を求めるなどして数えることができる。

以上説明したような管理方法により、案内者の顔照合と同行者の顔画像の記録のみで入場希望者を管理することができる。

次に、第２の実施の形態について説明する。
図９は、第２の実施の形態に係る顔照合装置１０７，１０８，１０９の構成を概略的に示すものである。なお、この顔照合装置１０７，１０８，１０９は同一構成であるので、代表して顔照合装置１０７について説明する。

第２の実施の形態に係る顔照合装置１０７は、照合対象となる人物、つまり案内者（第１の入場希望者）および同行者（第２の入場希望者）の顔画像を撮像して入力する画像入力手段（生体情報取得手段）としての画像入力部９０１、画像入力部９０１により入力された画像から人物の顔領域を検出する顔領域手段としての顔領域検出部９０２、顔領域検出部９０２により検出された顔領域内の顔の特徴情報を抽出する顔特徴抽出手段としての顔特徴抽出部９０３、あらかじめ案内者（第１の入場希望者）から個人の顔の特徴情報を作成する個人顔特徴作成部９０４、個人顔特徴作成部９０４により作成された顔特徴情報が当該個人顔特徴情報を取得した人物のＩＤ情報（識別情報）と対応させて登録（記憶）されている顔特徴保持手段（生体情報保持手段）としての顔特徴保持部９０５、顔特徴抽出部９０３により抽出された顔特徴情報と顔特徴保持部９０５に保持された顔特徴情報とを照合することにより両情報の類似度を求め、この求めた類似度のうち所定値以上の類似度が得られた顔特徴情報に対応させて顔特徴保持部９０５に登録されているＩＤ情報を出力する照合手段としての顔照合部９０６、案内者が入場を希望する部屋を示す行き先情報が当該案内者のＩＤ情報と対応させてあらかじめ登録されている行き先情報保持手段としての行き先情報保持部９０７、顔照合部９０６により出力されたＩＤ情報に基づき当該ＩＤ情報と対応する行き先情報を行き先情報保持部９０８から取得する行き先情報取得手段としての行き先情報出力部９０８、行き先情報出力部９０８により取得された行き先情報に基づき対応する部屋のドアの開錠を制御する入場制御手段としてのドア制御部９０９、ドア制御部９０９からのドアの開閉情報と行き先情報出力部９０８からの行き先情報を基に入場者の滞在時間を測定する滞在時間計測手段としての時間計測部９１０、時間計測部９１０からの計測情報と行き先情報出力部９０８からの行き先情報を基に、滞在時間が一定時間を超えたら警報を出力する警報出力手段としての警報出力部９１１（図１の警報装置１１３に相当）、案内者が入場する人数を入力する人数入力手段としての人数入力部（たとえば、キーボード等）９１２、顔領域検出部９０２により検出された顔領域の数を計数し、人数入力部９１２から入力された人数と比較し、両者が等しくなったところで、顔領域検出部９０２により検出された顔領域内の顔画像を出力する人数計数手段および人数比較手段としての人数比較部９１３、時間計測部９１０における計測時間（滞在時間）および人数比較部９１３から出力された顔画像等を表示する表示手段としての表示部９１４（図１の表示装置１１０に相当）によって構成されている。

行き先情報保持部９０７は、複数の案内者の行き先情報をあらかじめ保持しており、たとえば、図１０に示すように、案内者のＩＤ情報と行き先情報（たとえば、部屋番号）とが対応付けられたテーブルとして保持されている。図１０の例では、たとえば、ＩＤ情報が「００１」の案内者の行き先情報は「部屋１（部屋１０１）」と「部屋２（部屋１０２）」であることを示している。

次に、このような構成において、案内者と同行者とを関連付けることで入場希望者の入場許可エリアを簡易に管理する具体的な管理方法について図１を参照して説明する。案内者と、当該案内者とともに入場する同行者がドア１０４の前に来る。案内者は、顔照合装置１０７で顔照合を行なう。顔照合の処理の流れは、図９や図３〜図６で前述した通りである。案内者が、顔照合装置１０７の人数入力部９１２から、入場する人数を入力する。

その後、案内者とともに入場する同行者が１人ずつ、顔照合装置１０７の前に立ち、画像入力部９０１による顔画像の入力を行なう。その際、顔照合装置１０７では、前述したような顔領域の検出処理や入場人数の計数処理を行なっている。全員が顔画像の入力を終えたら、ドア１０４が開き、部屋１０１に入場することができる。
表示装置１１０や表示装置１１１（表示部９１４）には、案内者や、ともに入場した同行者の顔画像がそれぞれ表示される。たとえば、図８に示すように、案内者８０１と同行者８０２とが対応付けられて表示されている。

案内者は、あらかじめ決められた部屋のみに入場が許可されており、入場が許可されていない部屋のドアは開かない。たとえば、部屋１（部屋１０１）のみに入場が許可された案内者であれば、案内者が顔照合装置１０７で顔照合を行なうことでドア１０４は開くが、顔照合装置１０８で顔照合を行なってもドア１０５は開かない。案内者がどの部屋に入ることができるかは、あらかじめ行き先情報保持部９０７に図１０のように保存されており、行き先情報を変更したい場合は、この情報を変更する。

案内者とともに入場した同行者は、図８のように案内者と対応づけられているため、案内者が入場できる部屋のみしか入場することができないようになっている。案内者とともに入場する同行者は、部屋１０１に入場する前に、顔照合装置１０７で顔画像の入力を行なっていて、その入力された顔画像は、案内者の顔画像や顔特徴情報とともに顔照合装置１０８にも伝送されている。

顔照合装置１０８では、案内者や同行者の各顔画像が保存されており、顔照合装置１０８で顔照合する際には、これら全員の人物の顔照合を行なう。案内者とともに入場した同行者が部屋２（部屋１０２）に入るために、顔照合装置１０８で顔照合を行なうと、許可されていない部屋に入ろうとしたことがわかり、表示装置１１１（表示部９１４）からメッセージを出力するとともに、警報装置１１４（警報出力部９１１）から警報を出力する。

なお、人物の顔照合は、顔照合装置１０７や顔照合装置１０８だけでなく、監視装置１１６や監視装置１１７で行なってもよい、その場合の顔照合処理の流れは、図９や図３〜図６で前述したと同様である。その場合、入場する人数の入力は、顔照合装置１０７で行なってもよく、あるいは、監視装置１１６で、撮影視野内に存在する人物の数を計数することで入力し、顔画像の入力も監視装置１１６で行なってもよい。監視装置１１６で人物の数を計数するには、たとえば、周知のＨｏｕｇｈ変換を用いて、撮影画像内の円形パターンの数を求めるなどして数えることができる。

次に、退場時について説明する。退場時には、案内者と、案内者とともに入場した同行者が確実に退場したことを確認するため、たとえば、出口に設置してある顔照合装置１０７にて案内者が顔照合を行ない、案内者とともに入場した同行者は顔照合装置１０７の前に立って顔画像の入力を行なう。入場者全員が確実に退場したかどうかは、表示装置１１０で案内者が確認する。

なお、顔照合装置１０７で顔照合あるいは顔画像の入力を行なうのではなく、監視装置１１６で行なってもよい。また、案内者とともに入場した同行者は、顔画像の入力のみでなく、顔照合装置１０７や監視装置１１６で顔照合を行なってもよく、その場合は、入場時に顔照合装置１０７で記録した顔画像と、退場時に顔照合装置１０７で記録した顔画像とを照合する。照合方法は、図３〜図６で前述した通りである。

退場した後の表示装置１１０には、たとえば、図１１に示すように、入場時の案内者の顔画像１１０１、入場時の案内者とともに入場した同行者の顔画像１１０２、退場時の案内者の顔画像１１０３、退場時の案内者とともに入場した同行者の顔画像１１０４がそれぞれ表示される。

なお、案内者とともに入場した同行者の顔照合を行なう場合、表示装置１１０には、入場時の案内者とともに入場した同行者の顔画像１１０２と、退場時の案内者とともに入場した同行者の顔画像１１０４とが同じ位置に対応付けて表示される。
また、退場時に、案内者とともに入場した人物の顔照合を行なう場合は、入場したときに入力した顔画像と退場時に入力した顔画像との照合を行ない、照合されないと退場できないようにすることもできる。その場合は、顔照合を顔照合装置１０８で行なうことになる。

次に、第３の実施の形態について説明する。
図１２は、第３の実施の形態に係る顔照合装置１０７，１０８，１０９の構成を概略的に示すものである。なお、この顔照合装置１０７，１０８，１０９は同一構成であるので、代表して顔照合装置１０７について説明する。

第３の実施の形態に係る顔照合装置１０７は、前述した第２の実施の形態（図９）の構成に対して、データ保存手段としてのデータ保存部９１５およびデータ抽出手段としてのデータ抽出部９１６が追加された点が異なり、その他の構成は第２の実施の形態と同様であるので説明は省略し、異なる点についてだけ説明する。

データ保存部９１５は、人数比較部９１３から出力された同行者の顔画像、ドア制御部９０９からのドア開閉情報および時間計測部９１０からの計測時間情報をそれぞれ受取り、それらの各情報等をそれぞれ保存する。データ保存部９１５の保存内容の具体例は、たとえば、図１３に示すようになっている。図１３の例では、案内者のＩＤ情報、案内者の氏名、行き先情報、入場時間、滞在時間、移動軌跡、同行者の顔画像などが保存されている。データ抽出部９１６は、データ保存部９１５に保存された情報から、必要に応じて所望の情報を抽出する。

以上説明したような構成であれば顧客管理を自動的に行なうことができる。すなわち、案内者と、案内者とともに入場した同行者とが対応付けられているため、顧客管理を容易に行なうことができる。たとえば、案内者を顧客担当者とし、案内者とともに入場する同行者を顧客とみなし、顧客の顔画像、入場時間、滞在時間、移動軌跡等を保存することで、どの顧客が、どの場所にどれくらい滞在したかなどがわかり、顧客の興味を知ることができる。

本発明に係る入退場管理システムのレイアウト例を示す模式図。第１の実施の形態に係る顔照合装置の構成を概略的に示すブロック図。顔領域検出部が実行する処理手順を示すフローチャート。顔領域検出部の処理を模式的に示す図。顔照合部が実行する処理手順を示すフローチャート。顔特徴保持部が保持する顔特徴パターンの構造を示す図。人数比較部が実行する処理手順を示すフローチャート。表示部で表示するイメージ例を示す模式図。第２の実施の形態に係る顔照合装置の構成を概略的に示すブロック図。行き先情報保持部の内容を示す図。表示部で表示する別のイメージ例を示す図。第３の実施の形態に係る顔照合装置の構成を概略的に示すブロック図。データ保存部の内容を示す図。

符号の説明

１０１，１０２，１０３…部屋（入場対象エリア）、１０４，１０５，１０６…ドア、１０７，１０８，１０９…顔照合装置（生体照合装置）、１１０，１１１，１１２…表示装置、１１３，１１４，１１５…警報装置、１１６，１１７，１１８…監視装置、２０１，９０１…画像入力部（画像入力手段、生体情報取得手段）、２０２，９０２…顔領域検出部（顔領域検出手段）、２０３，９０３…顔特徴抽出部（顔特徴抽出手段）、２０４，９０４…個人顔特徴作成部、２０５，９０５…顔特徴保持部（顔特徴保持手段、生体情報保持手段）、２０６，９０６…顔照合部（照合手段）、２０７，９０９…ドア制御部（入場制御手段）、２０８，９１２…人数入力部（人数入力手段）、２０９，９１３…人数比較部（人数比較手段）、２１０，９１４…表示部（表示手段）、９０７…行き先情報保持部（行き先情報保持手段）、９０８…行き先情報出力部（行き先情報取得手段）、９１０…時間計測部（時間計測手段）、９１１…警報出力部（警報出力手段）、９１５…データ保存部（データ保存手段）、９１６…データ抽出部（データ抽出手段）。

Claims

入場対象エリアに対し入場を希望する第１の入場希望者の生体情報があらかじめ登録されている生体情報保持手段と、
前記第１の入場希望者および当該第１の入場希望者とともに入場を希望する第２の入場希望者から生体情報を取得する生体情報取得手段と、
この生体情報取得手段により取得された生体情報と前記生体情報保持手段に登録されている生体情報とを照合することにより両生体情報の類似度を求め、この求めた類似度のうち所定値以上の類似度が得られた生体情報を出力する照合手段と、
入場対象エリアに対し入場する人数を入力する人数入力手段と、
前記生体情報取得手段により生体情報を取得した入場希望者の人数を計数する人数計数手段と、
この人数計数手段により計数された人数と前記人数入力手段により入力された人数とを比較し、両人数が一致した際に前記生体情報取得手段により取得された生体情報を出力する人数比較手段と、
前記照合手段により出力された生体情報および前記人数比較手段により出力された生体情報を表示する表示手段と、
を具備したことを特徴とする入退場管理システム。
入場対象エリアに対し入場を希望する第１の入場希望者からあらかじめ取得した個人の顔の特徴情報が当該第１の入場希望者の顔画像とともに登録されている顔特徴保持手段と、
前記第１の入場希望者および当該第１の入場希望者とともに入場を希望する第２の入場希望者の少なくとも顔を含む画像を撮影して入力する第１の画像入力手段と、
この第１の画像入力手段により入力された画像から顔領域を検出する顔領域検出手段と、
この顔領域検出手段により検出された顔領域から顔の特徴情報を抽出する顔特徴抽出手段と、
この顔特徴抽出手段により抽出された顔特徴情報と前記顔特徴保持手段に登録されている顔特徴情報とを照合することにより両顔特徴情報の類似度を求め、この求めた類似度のうち所定値以上の類似度が得られた顔特徴情報と対応する顔画像を出力する照合手段と、
入場対象エリアに対し入場する人数を入力する人数入力手段と、
前記第１の画像入力手段により画像を入力された入場希望者の人数を計数する人数計数手段と、
この人数計数手段により計数された人数と前記人数入力手段により入力された人数とを比較し、両人数が一致した際に前記顔領域検出手段により検出された顔領域の顔画像を出力する人数比較手段と、
前記照合手段により出力された顔画像および前記人数比較手段により出力された顔画像を表示する表示手段と、
を具備したことを特徴とする入退場管理システム。
前記人数計数手段は、前記顔領域検出手段により検出された顔領域の数を計数することにより前記第１の画像入力手段により画像を入力された入場希望者の人数を計数することを特徴とする請求項２記載の入退場管理システム。
前記第１の表示手段は、第１の入場希望者の顔画像と第２の入場希望者の顔画像とを対応付けて表示することを特徴とする請求項２記載の入退場管理システム。
前記第１の表示手段は、顔画像とともに全員が入場対象エリアに入場したことを確認するよう案内する案内文をも表示し、第１の入場希望者が当該案内文に基づき確認したとの所定の動作を行なうまで当該案内文の表示を行なうことを特徴とする請求項２記載の入退場管理システム。
入場対象エリアから退場する際、第１の入場希望者および第２の入場希望者の少なくとも顔を含む画像を撮影して入力する第２の画像入力手段と、
この第２の画像入力手段により入力された顔画像を表示する第２の表示手段と、
をさらに具備したことを特徴とする請求項２記載の入退場管理システム。
前記第１の表示手段および前記第２の表示手段は同一の表示手段であって、入場時の顔画像と退場時の顔画像とを対応付けて表示することを特徴とする請求項６記載の入退場管理システム。
入場対象エリアに対し入場を希望する第１の入場希望者の生体情報が当該第１の入場希望者の識別情報と対応させてあらかじめ登録されている生体情報保持手段と、
前記第１の入場希望者および当該第１の入場希望者とともに入場を希望する第２の入場希望者から生体情報を取得する生体情報取得手段と、
この生体情報取得手段により取得された生体情報と前記生体情報保持手段に登録されている生体情報とを照合することにより両生体情報の類似度を求め、この求めた類似度のうち所定値以上の類似度が得られた生体情報に対応させて前記生体情報保持手段に登録されている識別情報を出力する照合手段と、
入場対象エリアに対し入場する人数を入力する人数入力手段と、
前記生体情報取得手段により生体情報を取得した入場希望者の人数を計数する人数計数手段と、
この人数計数手段により計数された人数と前記人数入力手段により入力された人数とを比較し、両人数が一致した際に前記生体情報取得手段により取得された生体情報を出力する人数比較手段と、
この人数比較手段により出力された生体情報を表示する表示手段と、
前記第１の入場希望者が入場を希望する入場対象エリアを示す行き先情報が当該第１の入場希望者の識別情報と対応させてあらかじめ登録されている行き先情報保持手段と、
前記照合手段により出力された識別情報に基づき当該識別情報と対応する行き先情報を前記行き先情報保持手段から取得する行き先情報取得手段と、
この行き先情報取得手段により取得された行き先情報に基づき対応する入場対象エリアに対する入場を制御する入場制御手段と、
を具備したことを特徴とする入退場管理システム。
入場対象エリアに対し入場を希望する第１の入場希望者からあらかじめ取得した個人の顔の特徴情報が当該第１の入場希望者の識別情報と対応させて登録されている顔特徴保持手段と、
前記第１の入場希望者および当該第１の入場希望者とともに入場を希望する第２の入場希望者の少なくとも顔を含む画像を撮影して入力する画像入力手段と、
この画像入力手段により入力された画像から顔領域を検出する顔領域検出手段と、
この顔領域検出手段により検出された顔領域から顔の特徴情報を抽出する顔特徴抽出手段と、
この顔特徴抽出手段により抽出された顔特徴情報と前記顔特徴保持手段に登録されている顔特徴情報とを照合することにより両顔特徴情報の類似度を求め、この求めた類似度のうち所定値以上の類似度が得られた顔特徴情報に対応させて前記顔特徴保持手段に登録されている識別情報を出力する照合手段と、
入場対象エリアに対し入場する人数を入力する人数入力手段と、
前記画像入力手段により画像を入力された入場希望者の人数を計数する人数計数手段と、
この人数計数手段により計数された人数と前記人数入力手段により入力された人数とを比較し、両人数が一致した際に前記顔領域検出手段により検出された顔領域の顔画像を出力する人数比較手段と、
前記第１の入場希望者が入場を希望する入場対象エリアを示す行き先情報が当該第１の入場希望者の識別情報と対応させてあらかじめ登録されている行き先情報保持手段と、
前記照合手段により出力された識別情報に基づき当該識別情報と対応する行き先情報を前記行き先情報保持手段から取得する行き先情報取得手段と、
この行き先情報取得手段により取得された行き先情報に基づき対応する入場対象エリアに対する入場を制御する入場制御手段と、
入場対象エリアに入場した入場希望者の滞在時間を計測する滞在時間計測手段と、
この滞在時間計測手段により計測された滞在時間があらかじめ定められた一定値を超えたら警報を出力する警報出力手段と、
前記人数比較手段により出力された顔画像および前記滞在時間計測手段により計測された滞在時間を表示する表示手段と、
を具備したことを特徴とする入退場管理システム。
入場対象エリアに対し入場を希望する第１の入場希望者からあらかじめ取得した個人の顔の特徴情報が当該第１の入場希望者の識別情報と対応させて登録されている顔特徴保持手段と、
前記第１の入場希望者および当該第１の入場希望者とともに入場を希望する第２の入場希望者の少なくとも顔を含む画像を撮影して入力する画像入力手段と、
この画像入力手段により入力された画像から顔領域を検出する顔領域検出手段と、
この顔領域検出手段により検出された顔領域から顔の特徴情報を抽出する顔特徴抽出手段と、
この顔特徴抽出手段により抽出された顔特徴情報と前記顔特徴保持手段に登録されている顔特徴情報とを照合することにより両顔特徴情報の類似度を求め、この求めた類似度のうち所定値以上の類似度が得られた顔特徴情報に対応させて前記顔特徴保持手段に登録されている識別情報を出力する照合手段と、
入場対象エリアに対し入場する人数を入力する人数入力手段と、
前記画像入力手段により画像を入力された入場希望者の人数を計数する人数計数手段と、
この人数計数手段により計数された人数と前記人数入力手段により入力された人数とを比較し、両人数が一致した際に前記顔領域検出手段により検出された顔領域の顔画像を出力する人数比較手段と、
前記第１の入場希望者が入場を希望する入場対象エリアを示す行き先情報が当該第１の入場希望者の識別情報と対応させてあらかじめ登録されている行き先情報保持手段と、
前記照合手段により出力された識別情報に基づき当該識別情報と対応する行き先情報を前記行き先情報保持手段から取得する行き先情報取得手段と、
この行き先情報取得手段により取得された行き先情報に基づき対応する入場対象エリアに対する入場を制御する入場制御手段と、
入場対象エリアに入場した入場希望者の滞在時間を計測する滞在時間計測手段と、
この滞在時間計測手段により計測された滞在時間があらかじめ定められた一定値を超えたら警報を出力する警報出力手段と、
前記人数比較手段により出力された顔画像、前記入場制御手段における制御情報および前記滞在時間計測手段により計測された滞在時間を保存するデータ保存手段と、
を具備したことを特徴とする入退場管理システム。
入場対象エリアに対し入場を希望する第１の入場希望者および当該第１の入場希望者とともに入場を希望する第２の入場希望者から生体情報を取得する生体情報取得ステップと、
この生体情報取得ステップにより取得された生体情報とあらかじめ登録されている前記第１の入場希望者の生体情報とを照合することにより両生体情報の類似度を求め、この求めた類似度のうち所定値以上の類似度が得られた生体情報を出力する照合ステップと、
入場対象エリアに対し入場する人数を入力する人数入力ステップと、
前記生体情報取得ステップにより生体情報を取得した入場希望者の人数を計数する人数計数ステップと、
この人数計数ステップにより計数された人数と前記人数入力ステップにより入力された人数とを比較し、両人数が一致した際に前記生体情報取得ステップにより取得された生体情報を出力する人数比較ステップと、
前記照合ステップにより出力された生体情報および前記人数比較ステップにより出力された生体情報を表示する表示ステップと、
を具備したことを特徴とする入退場管理方法。
入場対象エリアに対し入場を希望する第１の入場希望者および当該第１の入場希望者とともに入場を希望する第２の入場希望者の少なくとも顔を含む画像を撮影して入力する画像入力ステップと、
この画像入力ステップにより入力された画像から顔領域を検出する顔領域検出ステップと、
この顔領域検出ステップにより検出された顔領域から顔の特徴情報を抽出する顔特徴抽出ステップと、
この顔特徴抽出ステップにより抽出された顔特徴情報と、前記第１の入場希望者からあらかじめ取得した個人の顔の特徴情報が当該第１の入場希望者の顔画像とともに登録されている顔特徴保持手段に登録されている顔特徴情報とを照合することにより両顔特徴情報の類似度を求め、この求めた類似度のうち所定値以上の類似度が得られた顔特徴情報と対応する顔画像を出力する照合ステップと、
入場対象エリアに対し入場する人数を入力する人数入力ステップと、
前記画像入力ステップにより画像を入力された入場希望者の人数を計数する人数計数ステップと、
この人数計数ステップにより計数された人数と前記人数入力ステップにより入力された人数とを比較し、両人数が一致した際に前記顔領域検出ステップにより検出された顔領域の顔画像を出力する人数比較ステップと、
前記照合ステップにより出力された顔画像および前記人数比較ステップにより出力された顔画像を表示する表示ステップと、
を具備したことを特徴とする入退場管理方法。
入場対象エリアに対し入場を希望する第１の入場希望者および当該第１の入場希望者とともに入場を希望する第２の入場希望者から生体情報を取得する生体情報取得ステップと、
この生体情報取得ステップにより取得された生体情報と、前記第１の入場希望者の生体情報が当該第１の入場希望者の識別情報と対応させてあらかじめ登録されている生体情報保持手段に登録されている生体情報とを照合することにより両生体情報の類似度を求め、この求めた類似度のうち所定値以上の類似度が得られた生体情報に対応させて前記生体情報保持手段に登録されている識別情報を出力する照合ステップと、
入場対象エリアに対し入場する人数を入力する人数入力ステップと、
前記生体情報取得ステップにより生体情報を取得した入場希望者の人数を計数する人数計数ステップと、
この人数計数ステップにより計数された人数と前記人数入力ステップにより入力された人数とを比較し、両人数が一致した際に前記生体情報取得ステップにより取得された生体情報を出力する人数比較ステップと、
この人数比較ステップにより出力された生体情報を表示する表示ステップと、
前記照合ステップにより出力された識別情報に基づき当該識別情報と対応する行き先情報を、前記第１の入場希望者が入場を希望する入場対象エリアを示す行き先情報が当該第１の入場希望者の識別情報と対応させてあらかじめ登録されている行き先情報保持手段から取得する行き先情報取得ステップと、
この行き先情報取得ステップにより取得された行き先情報に基づき対応する入場対象エリアに対する入場を制御する入場制御ステップと、
を具備したことを特徴とする入退場管理方法。
入場対象エリアに対し入場を希望する第１の入場希望者および当該第１の入場希望者とともに入場を希望する第２の入場希望者の少なくとも顔を含む画像を撮影して入力する画像入力ステップと、
この画像入力ステップにより入力された画像から顔領域を検出する顔領域検出ステップと、
この顔領域検出ステップにより検出された顔領域から顔の特徴情報を抽出する顔特徴抽出ステップと、
この顔特徴抽出ステップにより抽出された顔特徴情報と、前記第１の入場希望者からあらかじめ取得した個人の顔の特徴情報が当該第１の入場希望者の識別情報と対応させて登録されている顔特徴保持手段に登録されている顔特徴情報とを照合することにより両顔特徴情報の類似度を求め、この求めた類似度のうち所定値以上の類似度が得られた顔特徴情報に対応させて前記顔特徴保持手段に登録されている識別情報を出力する照合ステップと、
入場対象エリアに対し入場する人数を入力する人数入力ステップと、
前記画像入力ステップにより画像を入力された入場希望者の人数を計数する人数計数ステップと、
この人数計数ステップにより計数された人数と前記人数入力ステップにより入力された人数とを比較し、両人数が一致した際に前記顔領域検出ステップにより検出された顔領域の顔画像を出力する人数比較ステップと、
前記照合ステップ手段により出力された識別情報に基づき当該識別情報と対応する行き先情報を、前記第１の入場希望者が入場を希望する入場対象エリアを示す行き先情報が当該第１の入場希望者の識別情報と対応させてあらかじめ登録されている行き先情報保持手段から取得する行き先情報取得ステップと、
この行き先情報取得ステップにより取得された行き先情報に基づき対応する入場対象エリアに対する入場を制御する入場制御ステップと、
入場対象エリアに入場した入場希望者の滞在時間を計測する滞在時間計測ステップと、
この滞在時間計測ステップにより計測された滞在時間があらかじめ定められた一定値を超えたら警報を出力する警報出力ステップと、
前記人数比較ステップにより出力された顔画像および前記滞在時間計測ステップにより計測された滞在時間を表示する表示ステップと、
を具備したことを特徴とする入退場管理方法。