JP2007303239A - 認証装置、認証装置の制御方法、および認証装置の制御プログラム - Google Patents

Abstract

【課題】認証の効率を高めることができる認証装置を提供する。
【解決手段】天井の追尾用カメラと、ドア付近に取付けられた認証用カメラとで人物の入退室の管理を行なう。追尾用カメラは、撮影された人物にＩＤ０００２〜０００６を割振る。認証用カメラは、人物の位置に基づいてその人物の顔の認証を行ない、ＩＤごとに認証状態を記録する。認証ＯＫの人物がドアに接近したことが追尾用カメラで検出されると、ドアを開錠する。
【選択図】図１３

Description

この発明は、認証装置、認証装置の制御方法、および認証装置の制御プログラムに関し、特に人物の認証結果に応じて機器の制御を行なう認証装置、認証装置の制御方法、および認証装置の制御プログラムに関する。

従来より、人物の認証結果に応じて機器の制御を行なう認証システムが知られている。
図１９は、従来の認証システムを備えた廊下を上から見た図である。

これは、部屋や建物等の出入口（入室用ドア３００）に人物Ｐの認証装置４００を設けることによって、誰が進入したかといった情報を管理したり、不審者の侵入を防止するシステムである。認証装置４００による認証方法としては、ＩＤカードや生体情報を用いるものがある。生体情報の例としては、指紋・虹彩・静脈等がある。

ＩＤカードには、携帯する必要があるといったユーザビリティ上の問題や紛失や盗難といったセキュリティ上の問題がある。生体情報は、各個人の身体の特徴を利用する情報であるため、ＩＤカードのような携帯必要性・紛失・盗難等の問題がない。指紋・静脈等は、接触式センサで検出する必要がある。虹彩認証を行なう場合に非接触センサを用いるにしても、姿勢や位置が認証精度に大きく影響するため、人間はセンサの前で身体を停止させる必要があり、ユーザビリティ的に課題が残る。

オフィスの会議室や学校等では、複数のメンバが次々と入室する場合がある。認証装置の前で一旦停止して認証動作をするのでは、認証装置の前に待ち行列が生じてしまうという問題がある。

このような問題を解決する認証方法として、顔認証がある。
図２０は、従来の顔認証システムを備えた廊下を上から見た図である。

顔認証においては、顔認証装置５００のカメラによって撮影した顔画像をもとに特徴量を抽出する。顔認証は、特徴量をもとに行われる、完全非接触・非拘束の認証方法である。従って、人物Ｐが認証装置５００に十分近づかなくても認証ができる。また顔認証は姿勢や位置が認証精度にあまり影響しないため、人物Ｐが認証装置の近くを通過するだけで認証処理を完了できるというメリットがある。従って、認証作業に係る時間が短く、数人が連続して認証しようとする場合でも、待ち行列の発生が少ない。

従来の認証システムに関連する技術として、下記特許文献１は、最初の出入口通行時に、カード等で認証すると共に顔を記録し、次回からはこの顔との認証により入退室を許可する入退室管理装置を開示している。

下記特許文献２は、天井カメラで人数を計数した結果が１人の時のみ、認証カメラによる認証結果を有効とし、ドアを開錠する入退室管理システムを開示している。

下記特許文献３は、天井カメラで部屋への侵入検知した人物がカード認証をしてない場合に警告する、入退室管理システムを開示している。
特開２００５−１４６７０９号公報 特開２００４−１２４４９７号公報 特開２００４−１８５４８４号公報

顔認証では、処理速度の問題により、ある程度カメラに接近してサイズが大きくなった顔のみを認証対象にする場合が多い。

図２１は、カメラにより撮影された画像の具体例を示す図である。
図２１において、通常の顔認証システムでは、画像中で認証対象とするエリアをＳ２などの範囲に限定する。また、エリアＳ２中で認証対象の顔サイズをＳ１などのサイズに限定する。具体的には、最小顔矩形サイズと、最大顔矩形サイズとを指定し、その範囲にある顔のみを認証対象とする。認証対象とする位置、顔サイズのいずれかを満たさないＰ２のような人物は、認証処理の対象外となる。

図２２は、従来の顔認証システムを備えた廊下を上から見た図である。
部屋の入り口は通常通路に面しているため、認証対象は入り口の左右から接近して来ることが多い。

図２３は、図２２における顔認証装置５００のカメラが撮影した画像を示す図である。
ここでは、図２２の人物Ａがカメラに対峙しているため、人物Ａは良好なアングル、解像度で撮影される。しかし、一般的なＵＳＢカメラ、監視カメラ、インターホンカメラなどの撮影画角（５０度程度）では、左右から接近する人物Ｂ、Ｃの検知ができない。

従って、カメラの画角は十分に広くする必要があるが、単に画角を広くするだけでは顔の解像度が低下し、認証精度が低下してしまう。

図２４は、従来の顔認証システムを備えた廊下を上から見た図である。
ここでは、点線で示されるように、人物Ｂ、Ｃを撮影するためにカメラの画角を１８０度近くにしている。

図２５は、図２４における顔認証装置５００のカメラが撮影した画像を示す図である。
撮像素子の画素数がそのままで、画角を図２５（Ａ）のように大きくすると、カメラ正面の対峙人物の解像度が図２５（Ｂ）のように低下し、これにより認証精度が低下する。

このため、カメラの画素数も十分に大きくする必要がある。人物の解像度を低下させずに、たとえば、画角を５０度から１８０度に増加させる場合、画素数は（１８０／５０）×（１８０／５０）＝約１３倍必要となる。このため、カメラ価格、処理速度・転送速度の低下が問題となる。特に処理速度の問題は深刻であり、画像内で十分サイズが大きい顔のみを処理対象にすることにつながる。つまり、認証装置に近づいた人のみを認証処理の対象とすることになる。

図２６〜２９は、従来の顔認証システムを備えた廊下を上から見た図である。
図２６では、人物Ａ、Ｂ、Ｃが続けて入室する場合を示している。このように、顔認証装置５００には認証希望者が同時に接近し得るため、顔認証用カメラ付近では人が前後に重なりやすい。たとえば、図２７においては、人物Ｃは人物Ｂに隠れてしまい、認証されない。従って、カメラから見て後ろ側にいる人は、図２８に示されるようにカメラから見えるように立ち止まってカメラの方を注視して認証を受ける必要が生じる。

また、十分にカメラに近い顔を処理対象にすると、カメラの方を意図的に見なければ顔の向きが横顔になってしまうことで認証率が低下するという問題もある。たとえば、図２９に示されるように人物Ｃが認証装置５００のカメラの方を意図的に見ない場合を想定する。

図３０は、図２９における顔認証装置５００のカメラが撮影した画像を示す図である。
図２９のように人物Ｂが入室することで、人物Ｃの顔とカメラとの間に遮蔽物がなくなった時点では、人物Ｃの顔の撮影画像は、図３０のように真横の顔となってしまう。これにより、顔認証精度が極めて低下する。

図３１は、従来の顔認証システムを備えた廊下を上から見た図である。
また、図３１のように、不審者Ｄが正常な認証者Ｃの後ろに隠れて続けて入室を試みること（以下、「共連れ」という。）の検知ができないという問題がある。共連れを防止する方法として、天井にカメラを設置することが考えられる。すなわち、天井カメラで人数をカウントし、一人の時にのみ入口付近に設置した認証用カメラでの認証を有効とするものである。

しかし、このような認証方法を採用すると、複数メンバが続けて入室する場合に対応できないという問題がある。また、部屋の前を通過するだけの人を区別できないという問題がある。

この発明は上記問題点を解決するためになされたものであり、認証の効率を高めることができる認証装置、認証装置の制御方法、および認証装置の制御プログラムを提供することを目的としている。

上記目的を達成するためこの発明のある局面に従うと、人物の認証結果に応じて機器の制御を行なう認証装置は、人物が接近する位置に設置される認証用カメラと、認証用カメラの画像に基づいて、人物の認証を行なう認証手段と、認証用カメラの周辺の人物の存在を検出する検出手段と、検出手段で検出された人物を追尾する追尾手段と、認証手段による認証結果を、追尾手段で追尾している人物ごとに付与する認証結果付与手段とを備える。

好ましくは検出手段は、追尾用カメラを含み、追尾用カメラによる画像に基づいて人物を検出する。

好ましくは認証装置は、検出手段で検出された人物が、認証用カメラ付近の所定の領域内に入ったことを判定する判定手段と、認証結果付与手段で付与された人物ごとの認証結果と、判定手段の判定結果とに基づいて、機器の制御を行なう制御手段をさらに備える。

好ましくは認証装置は、認証用カメラ付近の所定の領域と、認証を行なう人物との間の距離に基づいて、認証手段による認証を行なう人物の優先順位を決定する。

好ましくは認証装置は、入退室口における通行を許可するための機器の制御、入退室者を記録するための機器の制御、オペレータへ通知するための機器の制御、画像を記録するための機器の制御、警告を発生するための機器の制御、および入退室口を施錠するための機器の制御の少なくとも１つを実行する。

好ましくは認証装置は、追尾手段により追尾された人物の、認証用カメラの画像における位置を特定する位置特定手段をさらに備え、認証手段は、位置特定手段により求めた位置情報を用いて、認証用カメラの画像内の人物を認証する。

好ましくは認証装置は、認証結果付与手段によって付与された認証結果に応じて、認証手段による認証を行なう人物を限定する限定手段をさらに備える。

好ましくは認証手段は、認証用カメラの画像の座標、およびサイズの少なくともいずれかを限定して認証処理を行なう。

好ましくは認証用カメラは、パン、チルト、およびズームの少なくとも１つ以上の機構を有し、認証手段は、認証用カメラにおいて、認証処理対象が画像から外れないように機構を制御して得られた画像をもとに認証処理を行なう。

この発明の他の局面に従うと、人物の認証結果に応じて機器の制御を行なう認証装置の制御方法において、認証装置は、人物が接近する位置に設置される認証用カメラを備え、制御方法は、認証用カメラの画像に基づいて、人物の認証を行なう認証ステップと、認証用カメラの周辺の人物の存在を検出する検出ステップと、検出ステップで検出された人物を追尾する追尾ステップと、認証ステップによる認証結果を、追尾ステップで追尾している人物ごとに付与する認証結果付与ステップとを備える。

この発明のさらに他の局面に従うと、人物の認証結果に応じて機器の制御を行なう認証装置の制御プログラムにおいて、認証装置は、人物が接近する位置に設置される認証用カメラを備え、プログラムは、認証用カメラの画像に基づいて、人物の認証を行なう認証ステップと、認証用カメラの周辺の人物の存在を検出する検出ステップと、検出ステップで検出された人物を追尾する追尾ステップと、認証ステップによる認証結果を、追尾ステップで追尾している人物ごとに付与する認証結果付与ステップとをコンピュータに実行させる。

この発明に従うと、認証の効率を高めることができる認証装置、認証装置の制御方法、および認証装置の制御プログラムを提供することが可能となる。

図１は、本発明の実施の形態の１つにおける認証システムの構成を示す図である。
図を参照して、認証システムは、廊下の天井に取付けられる追尾用カメラ１０１（天井カメラ）と、廊下の壁に取付けられる認証装置２００と、認証システムで入退室を管理する対象となる出入口のドア３００（制御対象機器）とを備えている。

図２は、認証装置２００の外観を示す図である。
図に示されるように、認証装置２００は、認証者が行なう操作などを表示する表示部２０１と、認証者の入力を受付ける操作部２０３と、認証者の顔画像を撮影する認証用カメラ２０５とを備えている。認証用カメラ２０５は、ドア３００に接近する人物が存在し得る角度の範囲を全てカバーする画角を備えている。

認証用カメラ２０５により、認証者の顔認証が行なわれ、追尾用カメラ１０１により廊下を通る人、および認証者の撮影と追尾とが行なわれる。

図３は、認証システムのハードウェア構成を示すブロック図である。
図に示されるように大きくは認証システムは、追尾装置１００と、認証装置２００と、認証用データベース２１１と、制御対象機器であるドア３００とから構成される。

追尾装置１００は、廊下を通る人、および認証者の全体の撮影と追跡とを行なうための追尾用カメラ１０１と、追尾用カメラ１０１の撮影した画像から人物の検出を行なう検出処理部１０３と、人物の追尾処理を行なう追尾処理部１０５と、人物の位置を特定する位置特定部１０７と、追尾情報を記録する追尾情報記録部１０９とを備える。

認証装置２００は、認証者が行なう操作などを表示する表示部２０１と、認証者の入力を受付ける操作部２０３と、認証者の顔画像を撮影する認証用カメラ２０５と、認証用の設定を行なう認証用設定処理部２０７と、認証処理を行なう認証処理部２０９とを備えている。認証装置２００は、認証用データベース２１１から認証用のデータを取得する。

ドア３００は、機器制御部３０１により制御される。ここでは、ドア３００のロックおよびその解除、自動でのドア３００の開閉などの制御が行なわれる。

本実施の形態では、廊下からドア３００を通って室内へ進入を希望する認証者は、認証装置２００で認証を受けなければ室内への入室が許可されない。認証装置２００には認証用カメラ２０５が搭載されており、認証用カメラ２０５からの画像をもとに抽出した顔特徴データと、あらかじめ登録した顔特徴データとの一致について判定を行ない、一致した場合に出入口であるドア３００の鍵が開錠される。

追尾用カメラ１０１では、ドア３００周辺の人物の検出および追尾を行なう。追尾装置１００は、人物が入室しようとしているか否かを、人物のドア３００付近への接近状態に基づいて検知する。入室しようとした人物が認証済みの場合には、ドア３００の鍵が開錠されるが、入室を試みる人に対して認証が行われていない場合や、入室を許可されていない人であると認証された場合にはドア３００は施錠されたままとなる。これにより特定の人物以外の人物の入室を拒むことができる。

認証装置２００の操作部２０３には、万が一誤認証があった場合などに、カード挿入、顔以外の生体情報入力、暗証番号入力等の操作、顔認証処理のパラメータ調整、オペレータへの電話操作等、認証装置２００に関する何らかの操作入力を行なうことができるようにするため機能を備えることが望ましい。また、表示部２０１には認証用カメラ２０５からの画像や、ドア３００に接近した人の認証状態等、認証装置２００に関する何らかの情報を表示できるようにするための機能が搭載されていることが好ましい。

本実施の形態では説明の簡略化のために、入退室管理システムを例に挙げて説明を行なうが、顔認証のような完全非接触・完全非拘束型の認証が可能な認証方式を用い、認証結果をもとに「何らかの機器」を制御するシステムであれば、本発明を実施することができる。

具体的には、登録顧客の入場や行動の情報を自動収集するマーケティングシステム、登録顧客の来店時に顧客毎に異なる適切な応対が可能な自動応対システム、出勤管理等を行うと同時にスケジュールやメール有無等の情報をアクティブに提示するオフィス業務支援システムなどが考えられる。この場合、上記「何らかの機器」とは、顧客情報集計装置、応対音声案内・応対情報表示装置、スケジュール等表示装置となる。

また、入退室管理システムであっても、本実施の形態のように開錠・施錠制御だけでなく、画像記録用に設置した専用監視カメラを用いた入退室者記録装置での撮影開始・停止の制御を行なうシステムや、不正入場者の有無をオペレータに通報したりメールで送信する装置の制御を行なうシステムや、不正入場を音声等で警告する装置の制御を行なうシステム等に本発明を適用することが可能である。

追尾装置１００では、追尾用カメラ１０１からの入力画像をもとに、人を検出したり、検出した人を追尾する処理がなされる。追尾処理では必要に応じて、検出処理部１０３で抽出された情報を用いて処理を行うことができる。追尾結果は追尾情報記録部１０９に記録される。また、追尾結果での各人物毎の現在位置情報は、位置特定部１０７によって、認証用カメラ２０５の画像内で各人物は、どの位置・どの程度の大きさに写るのかといった情報に変換されて保持される。

認証装置２００では、認証用設定処理部２０７において、位置特定部１０７の情報をもとに認証用カメラ２０５の画像内に検出対象の位置とサイズとを画像の各フレーム毎に設定する。この設定に基づき、認証処理部２０９は顔を検出し認証を行なう。

認証対象としては、認証用データベース２１１に予め登録されているものを対象とする。登録は、各自が自由に、または管理者の管理のもとで予め行われる。入室管理の運用の一例として、登録者なら誰でも入室を許可する場合には、登録者全員のデータの１つ１つと認証希望者のデータとを比較し、本人であると判定される登録者がいた場合に入室を許可すればよい。入室許可は、機器制御部３０１による開錠操作により行なわれる。

他の運用の例として、予め会議室の使用を使用者リストと使用時刻と合わせて申請しておき、申請された人だけ入室を許すことが考えられる。この場合には、認証処理を行なう現在の時刻をもとに、入室許可者を全登録者の中から抽出しておき、抽出された人のみに対して認証処理を行ない、入室を許可すればよい。なお、登録の方法や運用方法については具体例を示しているが、他の方法を採用してもよい。

また、追尾用カメラ１０１は天井カメラであるものとして説明を行なっている。追尾用カメラ１０１は、人が重なって撮影されることの無い天井に設置することが好ましいが、追尾が容易な位置に設置するのであれば天井に限定されない。たとえば、人の進路に制限がある場合や、マーケティング用の顧客動線検出等、他の目的で既に追尾用のカメラが天井以外に設置されており、これを利用する場合などでは、必ずしも天井である必要は無い。

さらに、追尾用カメラ１０１や認証用カメラ２０５は、人の重なりへの対応やハード的な処理性能、および設置コスト等によってはそれぞれ複数設置することもできる。また、最終的には各人毎に追尾ができればよく、各フレーム毎に人物の検出処理を行ない、フレーム間対応で追尾を行ってもよいし、天井カメラの視界と視界外との境界付近では人物の検出処理を行なうが、中央付近では一旦検出された人を追尾する処理だけ行なうこととしてもよい。このようにすることで、処理の高速化を図ることができる。実施の形態では、前フレームでの検出人物が付近にいるかどうか対応をとることを「追尾」とし、人物の存在を発見することを「検出」と呼んでいるが、検出と追尾の処理分担方法について特に限定されない。

認証装置２００での各人物毎の認証結果は、機器制御に用いられるだけでなく、対応する追尾人物と対応付けられて追尾装置１００内の追尾情報記録部１０９に送られ記録される。

図４は、追尾用カメラ１０１による検出処理方法を示す図である。
図４（Ａ）は、追尾用カメラ１０１の撮影した映像中の、あるフレーム画像を示す。図４（Ｂ）は、部屋の前に誰もいない瞬間を予め撮影した背景画像を示す。図４（Ｃ）は、（Ａ）の画像と（Ｂ）の画像の差をとった画像を示す。このように、基準となる背景画像と各フレーム画像との差分をとることで、図４（Ｃ）のように人だけを抽出することができる。

抽出された人毎にラベルを付与し、各人の位置関係、移動方向、抽出領域毎の特徴データ（色等）等を考慮してフレーム間で対応をとり、ラベルを更新することで追尾を行なうことができる。天井カメラから人を検出する方法、追尾する方法については特に限定はなく、図４のような背景差分を用いる方法等、従来の手法を用いることが可能である（たとえば、特開２００２−１５７５９９号公報に記載された技術を用いることができる）。

図５は、追尾情報記録部１０９に記録される追尾情報の具体例を示す図である。
追尾用カメラ１０１の映像の、あるフレームで抽出された人毎にラベリングをした後のラベルを「ＩＤ」とし、更に、それぞれの抽出人物毎に重心座標を算出して「最新位置」としている。

図５（Ａ）は、座標値の決め方を示す図であり、（Ｂ）はフレームＴからフレーム（Ｔ＋１）へ移る間に、人物が移動し、その対応付けを行なった状態を示す図である。（Ｃ）
は、追尾情報として記録される情報を示す図である。

次フレームでの人物の追尾（対応付け）に、現在の抽出された人物の色や模様等の情報を用いるときには、これら情報の抽出処理を行なう。抽出結果は、「追尾用データ」として記録される。各追尾人物毎に認証済みか否か、認証結果がＯＫかＮＧかといった情報は、「認証状態」として記録される。図５（Ｃ）では、「ＯＫ」は、認証済みで入室ＯＫであることを、「ＮＧ」は認証済みで入室ＮＧであることを、「ＹＥＴ」は未認証であるため入室ＮＧであることを、「ＯＦＦ」はそのＩＤの人物が未だ確認されていないことを示している。

次のフレームでは「最新位置」や「追尾用データ」をもとに、現フレームでの人物との対応をとることで新たに追尾情報を取得し、「最新位置」を「前回位置」に変更すると同時に、新たに得られた次フレームでの追尾位置の重心座標を「最新位置」として更新する。

図６は、追尾処理の具体例を示す図である。
図に示されるように、フレームＴにおける人物Ｐ１，Ｐ２が、フレーム（Ｔ＋１）では人物Ｐ１’，Ｐ２’の位置に移動したものとする。図５（Ｃ）の追尾用データと共に、同一の人物であればフレーム間での距離は近く、異なる人物であればフレーム間での距離は遠い、という条件を考慮することで追尾処理を行なうことができる。

図７は、位置特定部１０７と認証用設定処理部２０７とで実行される、認証用カメラ２０５の撮影画像から認証エリアを設定する処理を示す図である。

図７の上に示されるように、追尾用カメラ１０１により撮影された人物と認証用カメラ２０５との相対的な位置を、認証用カメラ２０５の光軸と認証用カメラ２０５および人物を通る直線との間の角度θ、および認証用カメラ２０５と人物との間の距離Ｄにより表わす。

図７の下に示されるように、θとＤとにより認証用カメラ２０５の撮影画像中で人物の顔を検出すべき位置が、座標ＹおよびサイズＳとして求められる。すなわち、図の右に示されるように予めＤとＳ、θとＹの対応関係をテーブルとして定めておくことで、認証用カメラ２０５の撮影画像中での検出位置が定められる。画像全体において検出を行なわなくてもよいため、処理が高速、効率的になり、検出精度を高めることができる。

上記のように、追尾装置１００と認証装置２００との間で情報をやりとりすることにより、追尾位置と認証処理対象位置とを対応付けることができる。

なお、テーブルでは図７に示されるように値の対応関係を定めてもよいし、ある程度幅を持たせて対応関係を定めてもよい（たとえば、対応する最大値、最小値を定めるなど）。

図８は、人物が入室しようとしているかを判定するための処理を示す図である。
追尾用カメラ１０１が天井から捉えた画像において、入室しようとしているかどうかを判断するために画像上のドア３００付近に領域Ａを設定する。領域Ａ内に進入した人物は、入室しようとしている人物であると判定し、認証状態に応じて機器の制御を行なう。

認証ＯＫである人物が領域Ａに進入した場合の機器制御の例として、入口ドアの開錠、入室者ログにＩＤを記録するなどの制御がある。

認証ＮＧまたは未認証人物が領域Ａに進入した場合の機器制御の例として、入口ドアの施錠、不正侵入者ログにドア付近の画像を記録、不正侵入者の存在を通報（警備員呼出、メール添付等）、警報器作動などの制御がある。

図９〜１６は、認証状態の更新の様子について示す図である。
それぞれの図においては、上にフレーム番号と追尾情報記録部１０９に記録される情報を、下に追尾用カメラ１０１が撮影した映像を示している。なお、追尾用カメラ１０１が撮影した映像中の人物の近くにその人物のＩＤを４桁の数字で示している。入室が許可されている人物（登録者）は太線で、許可されていない人物（未登録者）は細線で示している。

なお、追尾情報記録部１０９に記録される情報のうち、「前回位置」と「最新位置」の欄には、本来は図５（Ｃ）に示されるように座標値が入るが、図９〜１６においてはこれを省略し、追尾する人物のＩＤに対しては、最新位置の欄に「追尾中」とのみ記載する。人物が存在しないＩＤに対しては何も記載しない。

また、入室した人物に対しては、追尾情報記録部１０９に別途入室者のログ記録を残しておくことも可能である。

図９においては、追尾用カメラ１０１が検出した人物０００１を認証用カメラ２０５が認証し、未登録と判断した状態を示している。

図１０に示されるように、追尾用カメラ１０１は、人物０００１を引き続き追尾し、図８の領域Ａに入らないかを監視する。

図１１においては、追尾用カメラ１０１で新規に人物０００２を検出している。認証用カメラ２０５は、得られた画像中の人物０００２が存在する位置に絞って認証を試みる。しかし、人物０００２は、人物０００１に隠れて認証不可能であるものとする。

図１２においては、人物０００１がいなくなったことにより、人物０００２が認証用カメラ２０５に写ったため、認証処理がなされる。人物０００２は、登録者であるものとする。また追尾用カメラ１０１は、新規に検出された人物０００３と０００４の追尾を開始する。認証用カメラ２０５は、これら人物の認証を行なう。

図１３においては、人物０００２が入口に接近している。人物０００２は認証状態がＯＫであるため、ドアを開錠し、人物０００２の入室後にドアを施錠する。人物０００２〜０００６全員の追尾は継続するが、認証許可確認済の人物０００２と０００３については認証処理の対象から除外する。また、新規に検出された人物０００５と０００６の認証処理を行なう。

図１４においては、人物０００３が入口に接近している。人物０００３は認証状態がＯＫであるため、ドアを開錠する。人物０００４と０００５については認証ＯＫではないため、引続き認証処理を継続する。人物０００３が入場したら、ドアを再び施錠する。

図１５に示されるように、追尾用カメラ１０１が、人物０００５が人物０００３に隠れて続けて入場しようとしていることを捉えると、不正侵入である旨、音声で警告を行なう。

図１６に示されるように、認証ＯＫである人物０００６がドアに接近すると、ドアを開錠し、人物０００６の入室後に再び施錠する。

図１７は、追尾装置１００の実行する処理を示すフローチャートである。
図を参照して、ステップＳ１０１において初期設定処理を行なう。これは、背景差分処理用の背景画像を取得する処理、進入判定用の領域を設定する処理、各種変数・テーブル等の初期化処理などを含む処理である。

ステップＳ１０３において、追尾用カメラ１０１によりフレーム画像を入力する。ステップＳ１０５で、入力されたフレーム画像に基づき、新規の侵入物体を検出する処理を行なう。これは、フレーム画像と背景画像の差分画像を２値化することで抽出される画素群を、塊ごとに分割してラベリングする処理である。

ステップＳ１０７において、追尾処理を行なう。これは、ステップＳ１０５の検出処理によって抽出された各塊と、前フレームでラベリングされた各塊との位置を比較し、たとえば、フレーム間で最も距離が近い塊を同一物体と判定し、各塊にラベル（ＩＤ）付けを行なう処理である。

ステップＳ１０９において、追尾情報を追尾情報記録部１０９に記録する処理を行なう。

ステップＳ１１１において、追尾用カメラ１０１で得られた人物の位置を元に、認証用カメラ２０５の画像での対応する人物の顔位置とサイズとを決定する処理を行なう。これは、図７で説明したように、認証用カメラ２０５から人物までの距離に応じて検出顔サイズＳを決定し、認証用カメラ２０５の光軸からの角度θをもとに検出対象位置を決定するものである。なお、サイズと位置は、図７に示すように予めテーブル化しておいて求めてもよいし、その都度演算によって求めても良い。

また、ステップＳ１１１では、認証用カメラ２０５の画像において複数の人物に対応する複数の検出対象位置を求めることができる。このとき、複数の検出対象位置において、検出の優先順位をつけることができる。たとえば、ドア３００または図８の検出領域Ａからの距離に基づいて優先順位を設定してもよい。ドア３００または図８の検出領域Ａから近い人物を優先して、近い人物から遠い人物の順に検出を行なうなどである。

ステップＳ１１３において、追尾の結果、人物がドア３００近くの領域（図８の領域Ａ）に存在するかを判定する。ＹＥＳであればステップＳ１１５において、機器制御部３０１に制御信号を送信する。これは、たとえば、認証装置２００で判定された「認証ＯＫ」という情報と、「開錠せよ」という制御情報とを制御信号として送信するものである。

ステップＳ１１７において、追尾用カメラ１０１からの次のフレーム画像を受付け、ステップＳ１１９でフレーム画像が無ければ終了し、あればステップＳ１０３へ戻る。

図１８は、認証装置２００の実行する処理を示すフローチャートである。
図を参照して、ステップＳ２０１において初期設定を行なう。これは、認証用登録顔データの読込み、各種変数・テーブル等初期化などの処理を含むものである。なお、顔データの登録は前もって認証用データベース２１１に対して行なわれる。ステップＳ２０１では、認証用データベース２１１からのデータの読込みが行なわれる。なお、登録顔データの読込みは、必ずしも初期設定で認証装置２００内のメモリに対して行なう必要はない。すなわち、認証処理毎に適時認証用データベース２１１と通信を行なって登録顔データを参照しにいってもよい。

ステップＳ２０３において、認証用カメラ２０５からのフレーム画像の入力を行なう。
ステップＳ２０５において、認証用カメラ２０５の画像から処理対象エリアを決定する。これは、追尾用カメラ１０１での追尾結果をもとに算出された検出対象顔サイズと検出対象位置、および認証状態情報を読込んだ後に、認証ＯＫの人物以外の人物を対象に、認証用カメラ２０５の処理対象エリアを設定するものである。なお、認証対象者が複数存在する場合は、処理対象エリアも複数設定することとなる。

ステップＳ２０７において、ステップＳ２０５で設定されたエリアの内、最初の処理対象エリアを入力する。ステップＳ２０９において、処理対象エリアを対象に顔の検索を行なう。ここでは出力として、検出対象位置に顔が検出されたか否かの情報を得る。

ステップＳ２１１において、顔が検出されたかを判定し、ＹＥＳであればステップＳ２１３で登録された顔データとの間で認証を行なう。ここでは出力として、登録者であるか否かの情報と、誰の顔であるかの結果情報（登録者ＩＤ）とを得る。

ステップＳ２１５において、認証結果を追尾情報記録部１０９に書込む。なお、直接、追尾情報記録部１０９に書込まなくても、他のデータベースや処理装置に情報を送り、このデータベースや処理装置を介して追尾情報記録部１０９との間で情報のやり取りを行ってもよい。

ステップＳ２１７において、次のエリアを処理対象にセットし、ステップＳ２１９で最後の処理対象エリアの処理が終了しているかを判定する。ＹＥＳであれば、ステップＳ２２１で次のフレーム画像を受付け、ステップＳ２２３でフレーム画像が無ければ終了し、あればステップＳ２０３へ戻る。

なお、ステップＳ２１１でＮＯであればステップＳ２１７へ、ステップＳ２１９であればステップＳ２０９へ進む。

［実施の形態における効果］
以上のように、本実施の形態においては天井の追尾用カメラ１０１で人物の追尾が行なわれる。各追尾人物が入口に接近した際、認証を受けたか否かをチェックし、未認証の場合開錠が行なわれない。また、各追尾人物の認証状態をもとに、認証対象者を限定するとともに、認証対象者が認証用カメラ２０５の画像ではどの位置・どの程度の大きさに対応するかが算出される。算出された認証対象者の位置、大きさに限定して、認証用カメラ２０５で認証場所を限定して、顔認証処理が行なわれる。

人が重なることが無いため追尾が簡易に行える追尾用カメラ１０１による追尾情報を、顔を捕らえやすく、顔認証に適した認証用カメラ２０５による顔認証装置にフィードバックすることで、顔認証の処理速度を早めることができ、また顔の重なりの発生への対応を容易にすることができる。また、共連れを防止するとともに、正規の登録者が入口付近で認証作業のために停滞することがない入退室管理を行なうことが可能となる。すなわち、認証希望者を漏れなく、かつ、認証装置の前で待ち行列ができることなく認証することができると同時に、認証を受けることなく不正に入室を試みる者を検知可能な認証システムを実現することができる。

［その他］
なお、認証に基づく機器の制御として、入退室口の通行を許可（開錠、開門）する機器、入退室者を記録する機器、侵入が検知された人が未認証の場合、オペレータへ通知、画像を記録、警告を発生、入退室口を施錠する機器などの制御が可能である。

また、認証用カメラは、パン、チルト、およびズームの少なくとも１つ以上の機構を有していてもよい。認証装置は、認証用カメラにおいて、認証処理対象が画像から外れないように認証用カメラの機構を制御して得られた画像をもとに認証処理を行なう。

また、認証装置においては、認証カメラから人物までの距離や、追尾用カメラで検出される人の重なり情報をもとに、認証を行なう人物の順番、または優先度を決定することができる。

さらに、追尾カメラに代えて、床センサなどのセンサで人物の存在する位置を判定し、追跡を行なってもよい。また、複数のカメラで追尾を行なってもよい。

また、認証カメラにおいては、顔画像で認証を行なうのではなく、温度分布や動作の特徴などの生態認証、名札など、人物とは非接触の手段で認証を行なってもよい。また、認証カメラとカードやパスワード入力と組合わせで認証してもよい。

さらに、認証結果と、別途得られたＰＣなどにおける部屋の入室予約情報とから入室の可否の判断を行なってもよい。すなわち、認証システムを予約システムと連動させてもよい。

また、上述の実施の形態における処理は、ソフトウエアによって行なっても、ハードウエア回路を用いて行なってもよい。

また、上述の実施の形態における処理を実行するプログラムを提供することもできるし、そのプログラムをＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスク、ＲＯＭ、ＲＡＭ、メモリカードなどの記録媒体に記録してユーザに提供することにしてもよい。また、プログラムはインターネットなどの通信回線を介して、装置にダウンロードするようにしてもよい。

このように、今回開示した上記各実施の形態はすべての点で例示であって、制限的なものではない。本発明の技術的範囲は特許請求の範囲によって画定され、また特許請求の範囲の記載と均等の意味および範囲内でのすべての変更を含むものである。

本発明の実施の形態の１つにおける認証システムの構成を示す図である。 認証装置２００の外観を示す図である。 認証システムのハードウェア構成を示すブロック図である。 追尾用カメラ１０１による検出処理方法を示す図である。 追尾情報記録部１０９に記録される追尾情報の具体例を示す図である。 追尾処理の具体例を示す図である。 位置特定部１０７と認証用設定処理部２０７とで実行される、認証用カメラ２０５の撮影画像から認証エリアを設定する処理を示す図である。 人物が入室しようとしているかを判定するための処理を示す図である。 認証状態の更新の様子について示す図である。 認証状態の更新の様子について示す図である。 認証状態の更新の様子について示す図である。 認証状態の更新の様子について示す図である。 認証状態の更新の様子について示す図である。 認証状態の更新の様子について示す図である。 認証状態の更新の様子について示す図である。 認証状態の更新の様子について示す図である。 追尾装置１００の実行する処理を示すフローチャートである。 認証装置２００の実行する処理を示すフローチャートである。 従来の認証システムを備えた廊下を上から見た図である。 従来の顔認証システムを備えた廊下を上から見た図である。 カメラにより撮影された画像の具体例を示す図である。 従来の顔認証システムを備えた廊下を上から見た図である。 図２２における顔認証装置５００のカメラが撮影した画像を示す図である。 従来の顔認証システムを備えた廊下を上から見た図である。 図２４における顔認証装置５００のカメラが撮影した画像を示す図である。 従来の顔認証システムを備えた廊下を上から見た図である。 従来の顔認証システムを備えた廊下を上から見た図である。 従来の顔認証システムを備えた廊下を上から見た図である。 従来の顔認証システムを備えた廊下を上から見た図である。 図２９における顔認証装置５００のカメラが撮影した画像を示す図である。 従来の顔認証システムを備えた廊下を上から見た図である。

符号の説明

１００ 追尾装置、１０１ 追尾用カメラ、１０３ 検出処理部、１０５ 追尾処理部、１０７ 位置特定部、１０９ 追尾情報記録部、２００ 認証装置、２０１ 表示部、２０３ 操作部、２０５ 認証用カメラ、２０７ 認証用設定処理部、２０９ 認証処理部、２１１ 認証用データベース、３００ ドア（制御対象機器の具体例）、３０１ 機器制御部。

Claims (11)

1. 人物の認証結果に応じて機器の制御を行なう認証装置であって、
   人物が接近する位置に設置される認証用カメラと、
   前記認証用カメラの画像に基づいて、人物の認証を行なう認証手段と、
   前記認証用カメラの周辺の人物の存在を検出する検出手段と、
   前記検出手段で検出された人物を追尾する追尾手段と、
   前記認証手段による認証結果を、前記追尾手段で追尾している人物ごとに付与する認証結果付与手段とを備えた、認証装置。
2. 前記検出手段は、追尾用カメラを含み、前記追尾用カメラによる画像に基づいて人物を検出する、請求項１に記載の認証装置。
3. 前記検出手段で検出された人物が、前記認証用カメラ付近の所定の領域内に入ったことを判定する判定手段と、
   前記認証結果付与手段で付与された人物ごとの認証結果と、前記判定手段の判定結果とに基づいて、前記機器の制御を行なう制御手段をさらに備えた、請求項１または２に記載の認証装置。
4. 前記認証用カメラ付近の所定の領域と、認証を行なう人物との間の距離に基づいて、前記認証手段による認証を行なう人物の優先順位を決定する、請求項３に記載の認証装置。
5. 入退室口における通行を許可するための機器の制御、入退室者を記録するための機器の制御、オペレータへ通知するための機器の制御、画像を記録するための機器の制御、警告を発生するための機器の制御、および入退室口を施錠するための機器の制御の少なくとも１つを実行する、請求項１〜４のいずれかに記載の認証装置。
6. 前記追尾手段により追尾された人物の、前記認証用カメラの画像における位置を特定する位置特定手段をさらに備え、
   前記認証手段は、前記位置特定手段により求めた位置情報を用いて、前記認証用カメラの画像内の人物を認証する、請求項１〜５のいずれかに記載の認証装置。
7. 前記認証結果付与手段によって付与された認証結果に応じて、前記認証手段による認証を行なう人物を限定する限定手段をさらに備えた、請求項１〜６のいずれかに記載の認証装置。
8. 前記認証手段は、前記認証用カメラの画像の座標、およびサイズの少なくともいずれかを限定して認証処理を行なう、請求項１〜７のいずれかに記載の認証装置。
9. 前記認証用カメラは、パン、チルト、およびズームの少なくとも１つ以上の機構を有し、
   前記認証手段は、前記認証用カメラにおいて、認証処理対象が画像から外れないように前記機構を制御して得られた画像をもとに認証処理を行なう、請求項１〜８のいずれかに記載の認証装置。
10. 人物の認証結果に応じて機器の制御を行なう認証装置の制御方法であって、
    前記認証装置は、人物が接近する位置に設置される認証用カメラを備え、
    前記認証用カメラの画像に基づいて、人物の認証を行なう認証ステップと、
    前記認証用カメラの周辺の人物の存在を検出する検出ステップと、
    前記検出ステップで検出された人物を追尾する追尾ステップと、
    前記認証ステップによる認証結果を、前記追尾ステップで追尾している人物ごとに付与する認証結果付与ステップとを備えた、認証装置の制御方法。
11. 人物の認証結果に応じて機器の制御を行なう認証装置の制御プログラムであって、
    前記認証装置は、人物が接近する位置に設置される認証用カメラを備え、
    前記認証用カメラの画像に基づいて、人物の認証を行なう認証ステップと、
    前記認証用カメラの周辺の人物の存在を検出する検出ステップと、
    前記検出ステップで検出された人物を追尾する追尾ステップと、
    前記認証ステップによる認証結果を、前記追尾ステップで追尾している人物ごとに付与する認証結果付与ステップとをコンピュータに実行させる、認証装置の制御プログラム。

Images