JP2006236260A - 顔認証装置、顔認証方法および入退場管理装置 - Google Patents
顔認証装置、顔認証方法および入退場管理装置 Download PDFInfo
- Publication number
- JP2006236260A JP2006236260A JP2005053683A JP2005053683A JP2006236260A JP 2006236260 A JP2006236260 A JP 2006236260A JP 2005053683 A JP2005053683 A JP 2005053683A JP 2005053683 A JP2005053683 A JP 2005053683A JP 2006236260 A JP2006236260 A JP 2006236260A
- Authority
- JP
- Japan
- Prior art keywords
- face
- person
- flow line
- imaging
- entrance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Abandoned
Links
Images
Landscapes
- Collating Specific Patterns (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【課題】歩行者の動線を用いて撮像対象として適切か否かを判定し、この判定結果に応じて顔照合処理における判定用閾値を変更することで顔認証性能が著しく向上する顔認証装置、顔認証方法および入退場管理装置を提供する。
【解決手段】通行路1を図示矢印a方向に移動して入退場対象エリア(部屋や施設等)2に設けられたゲート装置(入退場用ゲート)3に向う歩行者Mの顔をカメラ101で撮像する。具体的には、通行路1におけるC地点からA地点の間に歩行者Mが存在する間に、歩行者Mの少なくとも顏を含む画像をカメラ101で撮像し、A地点からゲート装置3まで歩行者Mが到達する間に、取得した画像によって、当該歩行者Mがあらかじめ登録された人物であるか否かを判定する。あらかじめ登録された人物と判定した場合にはゲート装置3を通行許可とする。
【選択図】 図2
【解決手段】通行路1を図示矢印a方向に移動して入退場対象エリア(部屋や施設等)2に設けられたゲート装置(入退場用ゲート)3に向う歩行者Mの顔をカメラ101で撮像する。具体的には、通行路1におけるC地点からA地点の間に歩行者Mが存在する間に、歩行者Mの少なくとも顏を含む画像をカメラ101で撮像し、A地点からゲート装置3まで歩行者Mが到達する間に、取得した画像によって、当該歩行者Mがあらかじめ登録された人物であるか否かを判定する。あらかじめ登録された人物と判定した場合にはゲート装置3を通行許可とする。
【選択図】 図2
Description
本発明は、たとえば、歩行者を認証対象とし、当該歩行者から取得した顔画像をあらかじめ登録された辞書情報と照合することにより当該歩行者はあらかじめ登録された人物であるかを判定する顔認証装置および顔認証方法に関する。
また、本発明は、上記顔認証装置および顔認証方法を用いてセキュリティを必要とする部屋や施設等の入退場対象エリアに対する入退場を管理する入退場管理装置に関する。
一般に、顔認証装置を用いた入退場管理装置は、ビデオカメラなどのカメラを有していて、認証対象となる人物がカメラの前に立ち止まり、カメラのレンズに顔を向けることで、人物の顔画像をカメラが撮像して入力し、この入力した顔画像から得られる当該人物固有の顔の特徴情報をあらかじめ登録されている辞書情報と照合することにより当該人物はあらかじめ登録された人物であるかを判定し、あらかじめ登録された人物である場合、入退場対象エリア(部屋や施設等)のドアを開放する(たとえば、特許文献1参照)。
この種の入退場管理装置(顔認証装置)にあっては、上記したように、認証する人物がカメラの前に立ち止まることで、当該人物の顔を撮像するようになっているため、認証対象が歩行者(移動する人物)であって、当該歩行者がドアに接近するまでに顔認証を行なう目的に使用する場合、このような歩行する人物の顔を撮像することはできないという問題がある。
これらの目的で用いる場合、歩行者が誰であるかの特徴がよくわかるように、顔の正面をとらえるようにすることが望ましい。歩行者の顔画像を撮像する方法の公知例としては、たとえば、特許文献2および特許文献3に開示された技術がある。
特許文献2の技術は、人物が歩行するときは、やや下を向く傾向があるため、顔を下から撮像した方が、正面の顔をとらえた画像を取得しやすいことに着目している。具体的には、歩行者の顔をとらえるように、通路の左右の顔よりも低い位置から、やや上向きにカメラを配置している。
特許文献3の技術は、ドアが開いたときに歩行者の顔をとらえるようにカメラを配置し、ドアが開いた瞬間の画像を取得するというものである。人物がドアを通過する際に正面を向くという傾向があることに着目した技術である。
特開2001−266152号公報
特開2000−331207号公報
特開2002−140699号公報
しかし、従来の入退場管理装置(顔認証装置)にあっては、カメラのレンズの前に一旦立ち止まってから認証しなければならず、利用者にとって使いにくいという問題がある。
また、従来の歩行者の顔画像を撮像する方法の問題点としては、正面の顔を捉えていない画像を入力することで顔認証性能が低下してしまうことが挙げられる。
特許文献2、3では、歩行するときにやや下を向く傾向や、ドアを通過する際に正面を向く傾向といった歩行者の特性を利用して、歩行者に対する正面の顔を捉える撮像方法を示している。
しかし、これらはある限られた状況を想定しており、一般的な歩行動作においては正面の顔を捉えられない可能性が高い。また、歩行者の歩行速度が速い場合などを想定すると、正面の顔を捉えられたとしても取得画像数が充分ではなく、顔認証性能が低下してしまう。
また、従来の歩行者の顔画像を撮像する方法の問題点としては、正面の顔を捉えていない画像を入力することで顔認証性能が低下してしまうことが挙げられる。
特許文献2、3では、歩行するときにやや下を向く傾向や、ドアを通過する際に正面を向く傾向といった歩行者の特性を利用して、歩行者に対する正面の顔を捉える撮像方法を示している。
しかし、これらはある限られた状況を想定しており、一般的な歩行動作においては正面の顔を捉えられない可能性が高い。また、歩行者の歩行速度が速い場合などを想定すると、正面の顔を捉えられたとしても取得画像数が充分ではなく、顔認証性能が低下してしまう。
そこで、本発明は、歩行者の動線を用いて撮像対象として適切か否かを判定し、この判定結果に応じて顔照合処理における判定用閾値を変更することで顔認証性能が著しく向上する顔認証装置、顔認証方法および入退場管理装置を提供することを目的とする。
また、本発明は、歩行者の歩行速度から撮像対象として適切か否かを判定し、この判定結果に応じて顔照合処理における判定用閾値を変更することで顔認証性能が著しく向上する顔認証装置、顔認証方法および入退場管理装置を提供することを目的とする。
また、本発明は、歩行者の判定結果と対応付けられた動線を用いて歩行者の入れ替わりを判定することで入れ替りを防止し、セキュリティ性がより高まる顔認証装置、顔認証方法および入退場管理装置を提供することを目的とする。
さらに、本発明は、第1の顔検出手段と第2の顔検出手段を利用し、複数の顔領域画像を用いて顔照合処理を行なうことで、歩行動作で生じる顔向き変化によるパターンの変動を吸収し、高速かつ精度よく歩行者の顔認証ができる顔認証装置、顔認証方法および入退場管理装置を提供することを目的とする。
本発明の顔認証装置は、移動する人物が特定の位置に到達するまでに当該人物の顔認証を行なう顔認証装置であって、前記移動する人物の少なくとも顔を含む画像を撮像する撮像手段と、この撮像手段により撮像された画像から前記人物の顔領域を検出する顔検出手段と、この顔検出手段により検出された顔領域の画像とあらかじめ登録された辞書情報とを照合して両者の類似度を求め、この求めた類似度を判定用閾値と比較することにより当該人物はあらかじめ登録された人物であるか否かを判定する顔照合手段と、前記移動する人物の動線を抽出する動線抽出手段と、この動線抽出手段により抽出された動線とあらかじめ設定された基準動線とを比較することにより当該人物は撮像対象として適切か否かを判定する撮像対象判定手段と、この撮像対象判定手段の判定結果に応じて前記顔照合手段における判定用閾値を変更する判定用閾値変更手段とを具備している。
また、本発明の顔認証装置は、移動する人物が特定の位置に到達するまでに当該人物の顔認証を行なう顔認証装置であって、前記移動する人物の少なくとも顔を含む画像を撮像する撮像手段と、この撮像手段により撮像された画像から前記人物の顔領域を検出する顔検出手段と、この顔検出手段により検出された顔領域の画像とあらかじめ登録された辞書情報とを照合して両者の類似度を求め、この求めた類似度を判定用閾値と比較することにより当該人物はあらかじめ登録された人物であるか否かを判定する顔照合手段と、前記移動する人物の移動速度を計測する移動速度計測手段と、この移動速度計測手段により計測された移動速度に基づき当該人物は撮像対象として適切か否かを判定する撮像対象判定手段と、この撮像対象判定手段の判定結果に応じて前記顔照合手段における判定用閾値を変更する判定用閾値変更手段とを具備している。
また、本発明の顔認証装置は、移動する人物が特定の位置に到達するまでに当該人物の顔認証を行なう顔認証装置であって、前記移動する人物の少なくとも顔を含む画像を撮像する撮像手段と、この撮像手段により撮像された画像から前記人物の顔領域を検出する顔検出手段と、この顔検出手段により検出された顔領域の画像とあらかじめ登録された辞書情報とを照合することにより当該人物はあらかじめ登録された人物であるか否かを判定する顔照合手段と、前記移動する人物の動線を抽出する動線抽出手段と、この動線抽出手段により抽出された動線と前記顔照合手段の判定結果とを対応付け、この対応付けた動線を用いて人物の入れ替りを判定する人物入れ替り判定手段とを具備している。
また、本発明の顔認証装置は、移動する人物が特定の位置に到達するまでに当該人物の顔認証を行なう顔認証装置であって、前記移動する人物の少なくとも顔を含む画像を撮像する撮像手段と、この撮像手段により撮像された画像から前記人物の顔領域の候補を検出する第1の顔検出手段と、この第1の顔検出手段により検出された顔候補領域から認証対象となる顔領域を検出する第2の顔検出手段と、この第2の顔検出手段により検出された顔領域の画像をあらかじめ定められた複数個蓄積する顔領域蓄積手段と、この顔領域蓄積手段により蓄積された複数個の顔領域の画像とあらかじめ登録された辞書情報とをそれぞれ照合することにより当該人物はあらかじめ登録された人物であるか否かを判定する顔照合手段とを具備している。
また、本発明の入退場管理装置は、移動する人物が入退場対象エリアに設けられた入退場用ゲートに到達するまでに当該人物の顔認証を行ない、その認証結果に基づき前記入退場用ゲートを開閉制御する入退場管理装置であって、前記移動する人物の少なくとも顔を含む画像を撮像する撮像手段と、この撮像手段により撮像された画像から前記人物の顔領域を検出する顔検出手段と、この顔検出手段により検出された顔領域の画像とあらかじめ登録された辞書情報とを照合して両者の類似度を求め、この求めた類似度を判定用閾値と比較することにより当該人物はあらかじめ登録された人物であるか否かを判定する顔照合手段と、この顔照合手段の判定結果に基づき前記入退場用ゲートを開閉制御するゲート制御手段と、前記移動する人物の動線を抽出する動線抽出手段と、この動線抽出手段により抽出された動線とあらかじめ設定された基準動線とを比較することにより当該人物は撮像対象として適切か否かを判定する撮像対象判定手段と、この撮像対象判定手段の判定結果に応じて前記顔照合手段における判定用閾値を変更する判定用閾値変更手段とを具備している。
また、本発明の入退場管理装置は、移動する人物が入退場対象エリアに設けられた入退場用ゲートに到達するまでに当該人物の顔認証を行ない、その認証結果に基づき前記入退場用ゲートを開閉制御する入退場管理装置であって、前記移動する人物の少なくとも顔を含む画像を撮像する撮像手段と、この撮像手段により撮像された画像から前記人物の顔領域を検出する顔検出手段と、この顔検出手段により検出された顔領域の画像とあらかじめ登録された辞書情報とを照合して両者の類似度を求め、この求めた類似度を判定用閾値と比較することにより当該人物はあらかじめ登録された人物であるか否かを判定する顔照合手段と、この顔照合手段の判定結果に基づき前記入退場用ゲートを開閉制御するゲート制御手段と、前記移動する人物の移動速度を計測する移動速度計測手段と、この移動速度計測手段により計測された移動速度に基づき当該人物は撮像対象として適切か否かを判定する撮像対象判定手段と、この撮像対象判定手段の判定結果に応じて前記顔照合手段における判定用閾値を変更する判定用閾値変更手段とを具備している。
また、本発明の入退場管理装置は、移動する人物が入退場対象エリアに設けられた入退場用ゲートに到達するまでに当該人物の顔認証を行ない、その認証結果に基づき前記入退場用ゲートを開閉制御する入退場管理装置であって、前記移動する人物の少なくとも顔を含む画像を撮像する撮像手段と、この撮像手段により撮像された画像から前記人物の顔領域を検出する顔検出手段と、この顔検出手段により検出された顔領域の画像とあらかじめ登録された辞書情報とを照合することにより当該人物はあらかじめ登録された人物であるか否かを判定する顔照合手段と、この顔照合手段の判定結果に基づき前記入退場用ゲートを開閉制御するゲート制御手段と、前記移動する人物の動線を抽出する動線抽出手段と、この動線抽出手段により抽出された動線と前記顔照合手段の判定結果とを対応付け、この対応付けた動線を用いて人物の入れ替りを判定する人物入れ替り判定手段とを具備している。
さらに、本発明の入退場管理装置は、移動する人物が入退場対象エリアに設けられた入退場用ゲートに到達するまでに当該人物の顔認証を行ない、その認証結果に基づき前記入退場用ゲートを開閉制御する入退場管理装置であって、前記移動する人物の少なくとも顔を含む画像を撮像する撮像手段と、この撮像手段により撮像された画像から前記人物の顔領域の候補を検出する第1の顔検出手段と、この第1の顔検出手段により検出された顔候補領域から認証対象となる顔領域を検出する第2の顔検出手段と、この第2の顔検出手段により検出された顔領域の画像をあらかじめ定められた複数個蓄積する顔領域蓄積手段と、この顔領域蓄積手段により蓄積された複数個の顔領域の画像とあらかじめ登録された辞書情報とをそれぞれ照合することにより当該人物はあらかじめ登録された人物であるか否かを判定する顔照合手段と、この顔照合手段の判定結果に基づき前記入退場用ゲートを開閉制御するゲート制御手段とを具備している。
本発明によれば、歩行者の動線を用いて撮像対象として適切か否かを判定し、この判定結果に応じて顔照合処理における判定用閾値を変更することで顔認証性能が著しく向上する顔認証装置、顔認証方法および入退場管理装置を提供できる。
また、本発明によれば、歩行者の歩行速度から撮像対象として適切か否かを判定し、この判定結果に応じて顔照合処理における判定用閾値を変更することで顔認証性能が著しく向上する顔認証装置、顔認証方法および入退場管理装置を提供できる。
また、本発明によれば、歩行者の判定結果と対応付けられた動線を用いて歩行者の入れ替わりを判定することで入れ替りを防止し、セキュリティ性がより高まる顔認証装置、顔認証方法および入退場管理装置を提供できる。
さらに、本発明によれば、第1の顔検出手段と第2の顔検出手段を利用し、複数の顔領域画像を用いて顔照合処理を行なうことで、歩行動作で生じる顔向き変化によるパターンの変動を吸収し、高速かつ精度よく歩行者の顔認証ができる顔認証装置、顔認証方法および入退場管理装置を提供できる。
以下、本発明の実施の形態について図面を参照して説明する。
本発明の概要について簡単に説明する。本発明では、たとえば、図2に示すように、通行路1を図示矢印a方向に移動して入退場対象エリア(部屋や施設等)2に設けられたドアやゲートなどのゲート装置(入退場用ゲート)3に向う歩行者Mの顔をカメラで撮像する。具体的には、通行路1におけるC地点からA地点の間に歩行者Mが存在する間に、歩行者Mの少なくとも顏を含む画像をカメラで撮像し、A地点からゲート装置3まで歩行者Mが到達する間に、取得した画像によって、当該歩行者Mがあらかじめ登録された人物であるか否かを判定する。あらかじめ登録された人物と判定した場合にはゲート装置3を通行許可とする。ここに、図2に示すように、歩行路1におけるC地点からA地点で囲まれた範囲を歩行者Mの顔を撮像する撮像対象領域と呼ぶことにする。
本発明の概要について簡単に説明する。本発明では、たとえば、図2に示すように、通行路1を図示矢印a方向に移動して入退場対象エリア(部屋や施設等)2に設けられたドアやゲートなどのゲート装置(入退場用ゲート)3に向う歩行者Mの顔をカメラで撮像する。具体的には、通行路1におけるC地点からA地点の間に歩行者Mが存在する間に、歩行者Mの少なくとも顏を含む画像をカメラで撮像し、A地点からゲート装置3まで歩行者Mが到達する間に、取得した画像によって、当該歩行者Mがあらかじめ登録された人物であるか否かを判定する。あらかじめ登録された人物と判定した場合にはゲート装置3を通行許可とする。ここに、図2に示すように、歩行路1におけるC地点からA地点で囲まれた範囲を歩行者Mの顔を撮像する撮像対象領域と呼ぶことにする。
まず、本発明の第1の実施の形態について説明する。
図1は、第1の実施の形態に係る顔認証装置が適用される入退場管理装置の構成を概略的に示すものである。この入退場管理装置は、歩行者Mの少なくとも顔を含む画像を撮像する撮像手段としての照合画像取得用のビデオカメラ(以降、単にカメラと略称する)101、変化検出手段としての変化検出部102、頭部検出手段としての頭部検出部103、頭部追跡手段としての頭部追跡部104、顔候補領域検出手段としての顔候補領域検出部105、顔検出手段としての顔領域検出部106、顔特徴抽出手段としての顔特徴抽出部107、辞書記憶手段としての顔照合辞書部108、顔照合手段としての顔照合部109、歩行者Mを含む通行路1の画像を撮像する撮像手段としての監視画像取得用のビデオカメラ(以降、単にカメラと略称する)110、動線抽出手段としての動線抽出部111、基準動線記憶手段としての基準動線記憶部112、動線比較手段としての動線比較部113、表示手段としての顔認証表示部114、顔検索表示部115、ゲート制御手段としてのゲート制御部116、および、全体的な制御を司る制御手段としての表示認証制御部117を有して構成されている。
図1は、第1の実施の形態に係る顔認証装置が適用される入退場管理装置の構成を概略的に示すものである。この入退場管理装置は、歩行者Mの少なくとも顔を含む画像を撮像する撮像手段としての照合画像取得用のビデオカメラ(以降、単にカメラと略称する)101、変化検出手段としての変化検出部102、頭部検出手段としての頭部検出部103、頭部追跡手段としての頭部追跡部104、顔候補領域検出手段としての顔候補領域検出部105、顔検出手段としての顔領域検出部106、顔特徴抽出手段としての顔特徴抽出部107、辞書記憶手段としての顔照合辞書部108、顔照合手段としての顔照合部109、歩行者Mを含む通行路1の画像を撮像する撮像手段としての監視画像取得用のビデオカメラ(以降、単にカメラと略称する)110、動線抽出手段としての動線抽出部111、基準動線記憶手段としての基準動線記憶部112、動線比較手段としての動線比較部113、表示手段としての顔認証表示部114、顔検索表示部115、ゲート制御手段としてのゲート制御部116、および、全体的な制御を司る制御手段としての表示認証制御部117を有して構成されている。
以下、各構成要素について詳細に説明する。
顔認証表示部114は、たとえば、図2に示すように、ゲート装置3の近傍に設置されていて、歩行者Mに対して、現在の顔認証の状況を表示するものであり、たとえば、液晶表示器またはCRT表示器などから構成されている。顔認証表示部114の設置高さは、たとえば、歩行者もの身長の平均値程度とする。
顔認証表示部114は、たとえば、図2に示すように、ゲート装置3の近傍に設置されていて、歩行者Mに対して、現在の顔認証の状況を表示するものであり、たとえば、液晶表示器またはCRT表示器などから構成されている。顔認証表示部114の設置高さは、たとえば、歩行者もの身長の平均値程度とする。
顔認証表示部114の表示内容としては、たとえば、図3(a)に示すように、照合画像取得用のカメラ101から得られる全体の画像31と、顔候補領域検出部105により得られる顔候補領域の検出結果(顔候補領域)32を表示する。認証処理が終了して登録された人物であると判定された場合には、歩行者Mに対して、図3(b)に示すような通行(入場)が許可されたことを表すメッセージ「認証OK 通過して下さい」を表示する。そうでない場合は、歩行者Mに対して、図(c)に示すような通行(入場)が拒否されたことを表すメッセージ「認証NG パスワードを入力して下さい」を表示する。
顔検索表示部115は、当該顔認証装置の管理者に対して、複数(N)人の顔検索結果の順序を表示するものであり、たとえば、液晶表示器またはCRT表示器などから構成されている。表示内容としては、たとえば、図4に示すように、顔検索結果の上位10名の顔画像を表示する。
照合画像取得用のカメラ101は、歩行者Mの少なくとも顔を含む画像を撮像するものであり、たとえば、CCDセンサなどの撮像素子を用いたテレビジョンカメラから構成されている。カメラ101の設置位置は、たとえば、図2に示すように、通行路1の側部でA地点とゲート装置3との間に設置されている。カメラ101の設置高さは、顔認証表示部114とほぼ同じとするが、カメラ101によって顔認証表示部114が隠れないようにするために、顔認証表示部114よりも若干低めとする。そして、上から見た場合に、図2(a)に示すように、撮像対象領域内の歩行者Mから見て、カメラ101および顔認証表示部114が一直線上になるように配設されている。
このようにカメラ101を設置することで、歩行者Mが顔認証表示部114を見た場合に正面の顔を含む画像を取得できる。取得した画像は、たとえば、横方向に512画素、縦方向に512画素のデジタル濃淡画像データとして変化検出部102に送られる。
このようにカメラ101を設置することで、歩行者Mが顔認証表示部114を見た場合に正面の顔を含む画像を取得できる。取得した画像は、たとえば、横方向に512画素、縦方向に512画素のデジタル濃淡画像データとして変化検出部102に送られる。
変化検出部102は、カメラ101で得られた画像から変化のある領域を検出するものである。変化領域の検出処理には、たとえば、文献(中井,”事後確認を用いた移動物体検出手法”,情処研報,94−CV90,pp.1−8,1994)に記載されている手法のように、背景画像との差分から変化領域を検出する。これは、変化が存在しない場合の画像を背景画像として持ち、背景画像と現在の入力画像との差分から変化のある領域を変化領域として検出する。
頭部検出部103は、変化検出部102で得られた変化領域から顔を含んだ頭部領域を検出するものである。頭部領域の検出は、たとえば、図5に示す処理で行なう。まず、変化領域画像の縦方向に射影をとり、その射影値がある閾値Thを越えているものを対象領域とする。つづいて、対象とした領域について極大点の探索を行ない、見つけた極大点を基準に頭部領域を決定する。なお、図5において、51,52は検出した頭部領域を示している。
頭部追跡部104は、過去に頭部検出部104で検出された頭部領域と、現在の入力画像から検出された頭部領域との対応付けを行なうものである。対応付けは、たとえば、図6に示すように、現在の入力画像(時刻t)で検出された頭部領域と、1つ前の入力画像(時刻t−1)で検出された頭部領域との大きさと位置が近いもの同士を対応付けることにより行なう。なお、図6において、61は検出された頭部領域を示し、62は顔候補領域を示している。
顔候補領域検出部105は、頭部検出部103もしくは頭部追跡部104で得られた頭部領域から、顔の存在する候補領域を検出するものである。これは、顔らしい特徴を用いて顔候補領域を検出するもので、変化検出部102から頭部追跡部104までの処理で検出した顔を含まない頭部領域を削除する目的で行なう。具体的な顔候補領域の検出処理には、たとえば、文献(三田.金子.堀,”微小な差異を含む画像の認証に適した空間差分確率テンプレートの提案”,第9会画像センシングシンポジウム講演論文集,SSII03,2003)に記載されている手法を用いる。これは、事前に顔の学習パターンから検出用辞書パターンを作成しておき、辞書パターンと高い類似度を持つパターンを入力画像から探す手法である。
顔領域検出部106は、顔候補領域検出部105で検出され入力された顔候補領域から顔パターンを切り出す。これは、たとえば、文献(福井,山口.”形状抽出とパターン照合の組合せによる顔特徴点抽出”,信学論,(D),vol.J80−D−H,No.8,pp.2170−2177,1997)に記載されている方法などを用いることで、精度の高い顔領域の検出が実現可能である。
顔特徴抽出部107は、検出された部品の位置をもとに顔領域を一定の大きさ、形状に切り出し、その濃淡情報を特徴量として用いる。ここでは、mピクセル×nピクセルの領域の濃淡値をそのまま情報として用い、m×n次元の情報を特徴ベクトルとして用いる。これらのデータから特徴ベクトルの相関行列を求め、K−L展開による正規直交ベクトルを求めることにより、部分空間を計算する。部分空間の計算法は、特徴ベクトルの相関行列(または共分散行列)を求め、そのK−L展開による正規直交ベクトル(固有ベクトル)を求めることにより、部分空間を計算する。部分空間は、固有値に対応する固有ベクトルを固有値の大きな順にk個選び、その固有ベクトル集合を用いて表現する。本実施の形態では、相関行列Cdを特徴ベクトルから求め、相関行列
と対角化して、固有ベクトルの行列Φを求める。この部分空間は、人物の同定を行なうための顔特徴情報として利用する。この情報をあらかじめ登録しておいて、それを辞書として登録しておけばよい。また、後で述べるように、識別を行なうための顔特徴情報として部分空間自身を利用してもよい。よって、部分空間を算出した結果は、顔照合辞書部108、顔照合部109に出力される。
顔照合辞書部108は、顔特徴抽出部108から得られた顔特徴情報を辞書情報として保持し、人物Mとの類似度を計算できるようにしている。
顔照合部109は、カメラ101で取得した画像から顔特徴抽出部107で抽出した歩行者Mの顔特徴情報と顔照合辞書部108に記憶されている顔特徴情報(辞書情報)との類似度を求め、求めた類似度があらかじめ設定された判定用閾値以上である場合、当該歩行者Mはあらかじめ登録された人物であると判定し、求めた類似度が判定用閾値以上でない場合、当該歩行者Mはあらかじめ登録された人物でないと判定する。この顔照合処理には、たとえば、文献(山口.福井.前田,”動画像を用いた顔認識システム”,信学技報PRMU97−50,pp.17−23,1997−06)に記載されている相互部分空間法を用いることで実現可能である。
監視画像取得用のカメラ110は、歩行中の歩行者Mの撮影対象領域での動線を抽出するための画像を取得するものであり、たとえば、CCDセンサなどの撮像素子を用いたテレビジョンカメラから構成されている。カメラ110の設置位置は、たとえば、図2に示すように、通行路1の撮影対象領域内が画角に収まるように天井から下を見下ろす形で設置されている。取得した画像は、たとえば、横方向に640画素、縦方向に480画素のデジタル濃淡画像データとして動線抽出部111に送られる。
動線抽出部111は、カメラ110により得られた画像から歩行者Mの動線を抽出するものである。動線の抽出は、たとえば、図7に示す処理で行なう。まず、過去に入力された画像から統計的に推定した背景画像71と、新たに入力された入力画像72との画素間の輝度値の差分を計算し、この差分画像73から閾値処理により2値画像を求めて人物領域74を検出する。つづいて、各画像フレームにおいて検出された人物領域74の対応付けを行ない、人物ごとの動線75を求める。
基準動線記憶部112は、あらかじめ設定された基準動線を記憶し、歩行者Mの動線との類似度を計算できるようにしている。
動線比較部113は、基準動線記憶部112に記憶されている基準動線と、動線抽出部111により得られた歩行者Mの動線との類似度を計算する。類似度は、たとえば、下記数2で計算する。これは、図8に示すように、類似度Dをサンプリング点X1〜Xnにおける入力動線LXkと基準動線lXkとの間の距離dXkの累積和で表わしたものである。
ゲート制御部116は、図2のゲート装置3に対し開閉を指示する制御信号を送る。具体的には、図9に示すように制御を行なう。すなわち、通行可能信号がオフにもかかわらず、ゲート装置3を通過したときに警告音を出したり、あるいは、ゲート装置3に設けられているフラッパを閉じ、通行を阻止する。
表示認証制御部117は、本装置全体の制御を行なうもので、処理の流れを図10のフローチャートに示す。以下、図10のフローチャートについて説明する。
歩行者Mが撮影対象領域に存在した場合、顔領域検出処理を行ない(ステップS1)、その検出結果を顔認証表示部114に表示する(ステップS2)。次に、顔領域検出終了条件を満たしたか否かをチェックし(ステップS3)、顔領域検出終了条件を満たしていない場合、ステップS1に戻って上記同様な処理を繰り返す。
歩行者Mが撮影対象領域に存在した場合、顔領域検出処理を行ない(ステップS1)、その検出結果を顔認証表示部114に表示する(ステップS2)。次に、顔領域検出終了条件を満たしたか否かをチェックし(ステップS3)、顔領域検出終了条件を満たしていない場合、ステップS1に戻って上記同様な処理を繰り返す。
ここで、上記顔領域検出処理とは、カメラ101から顔候補領域検出部105までの一連の処理のことを指し、図11に処理の流れを示す。なお、顔領域検出処理は、図12に示すような順序で処理してもよく、これは、最初に顔らしさの特徴を用いて厳密に検出した後、動き特徴を用いて顔候補領域を検出するのを示している。
また、顔領域検出終了条件とは、たとえば、顔候補領域が必要数揃った場合であり、他にも検出した顔候補領域の画像サイズが一定値以上になった場合であるとか、頭部追跡が終了した場合などが考えられる。
また、顔領域検出終了条件とは、たとえば、顔候補領域が必要数揃った場合であり、他にも検出した顔候補領域の画像サイズが一定値以上になった場合であるとか、頭部追跡が終了した場合などが考えられる。
顔領域検出終了条件を満たすと、動線抽出部111から歩行者Mの動線抽出結果を取得する(ステップS4)。次に、取得した動線抽出結果とあらかじめ基準動線記憶部112に登録された基準動線とを比較し(ステップS5)、求めた類似度が閾値Th1以上である場合は顔照合処理を行なう(ステップS6)。ここで、顔照合処理とは、顔領域検出部106から顔照合部109までの一連の処理のことを指し、図13に処理の流れを示す。
一方、歩行者Mの動線と基準動線との類似度が、閾値Th1未満である場合は、通常の顔照合処理を行わない。具体的には、閾値Th1未満で、かつ、閾値Th2(Th1>Th2)以上である場合は(ステップS7)、顔照合部109における判定用閾値を高く(セキュリティレベルを高く)変更して(ステップS8)、顔照合処理を行ない(ステップS6)、閾値Th2未満である場合は、照合対象から除外し(ステップS9)、ステップS1に戻る。
次に、顔照合処理の結果から認証が成功したか否かをチェック(ステップS10)、顔認証が成功した場合(当該歩行者Mはあらかじめ登録された人物であると判定された場合)、顔認証表示部112に認証OKのメッセージを表示してから(ステップS11)、ゲート装置3への通行可能信号を一定時間オンにし(ステップS12)、ステップS1に戻る。これより、歩行者Mは、ゲート装置3を通過できる。
ステップS10におけるチェックの結果、認証が失敗した場合(当該歩行者Mはあらかじめ登録された人物でないと判定された場合)、顔認証表示部112に認証NGのメッセージを表示し(ステップS13)、ステップS1に戻る。
以上説明したように、上記第1の実施の形態によれば、歩行者Mの動線抽出結果から、当該歩行者Mは撮像対象として適切かどうかを判定し、それに基づいて顔照合処理を行なうことで顔認証性能を著しく高めることができる。
次に、第2の実施の形態について説明する。
図14は、第2の実施の形態に係る顔認証装置が適用される入退場管理装置の構成を概略的に示すものである。第2の実施の形態は、前述した第1の実施の形態に対し基準動線更新手段としての基準動線学習部118が追加された点が異なり、その他は前述した第1の実施の形態(図1)と同様であるので、異なる部分とそれに関連する部分だけ図示してその他の部分は図示を省略している。
図14は、第2の実施の形態に係る顔認証装置が適用される入退場管理装置の構成を概略的に示すものである。第2の実施の形態は、前述した第1の実施の形態に対し基準動線更新手段としての基準動線学習部118が追加された点が異なり、その他は前述した第1の実施の形態(図1)と同様であるので、異なる部分とそれに関連する部分だけ図示してその他の部分は図示を省略している。
基準動線学習部118は、認証成功時の動線抽出結果と基準動線記憶部112に記憶してある基準動線とを用いて基準動線を更新する。そのため、動線比較部113は、動線比較結果と動線抽出結果を表示認証制御部117に出力し、表示認証制御部117は、基準動線学習部118に認証成功時の動線抽出結果を出力する。基準動線の更新方法は、たとえば、サンプリング点X1〜Xnにおける入力動線LXkと基準動線lXkとの平均値を更新後の新たな基準動線とし、この新たな基準動線を基準動線記憶部112に登録(記憶)する。
以上説明したように、上記第2の実施の形態によれば、過去の認証成功時の動線抽出結果を用いて基準動線を更新し、顔認証に適した基準動線との比較を行なうことで、信頼性の高い撮像対象の判定が行なえる。
次に、第3の実施の形態について説明する。
図15は、第3の実施の形態に係る顔認証装置が適用される入退場管理装置の構成を概略的に示すものである。この入退場管理装置は、照合画像取得用のカメラ301、変化検出部302、頭部検出部303、頭部追跡部304、顔候補領域検出部305、顔領域検出部306、顔特徴抽出部307、顔照合辞書部308、顔照合部309、移動速度計測手段としての歩行速度計測部310、顔認証表示部311、顔検索表示部312、ゲート制御部313、および、表示認証制御部314を有して構成されている。
図15は、第3の実施の形態に係る顔認証装置が適用される入退場管理装置の構成を概略的に示すものである。この入退場管理装置は、照合画像取得用のカメラ301、変化検出部302、頭部検出部303、頭部追跡部304、顔候補領域検出部305、顔領域検出部306、顔特徴抽出部307、顔照合辞書部308、顔照合部309、移動速度計測手段としての歩行速度計測部310、顔認証表示部311、顔検索表示部312、ゲート制御部313、および、表示認証制御部314を有して構成されている。
なお、上記各構成要素のうち、照合画像取得用のカメラ301、変化検出部302、頭部検出部303、頭部追跡部304、顔候補領域検出部305は、顔領域検出部306、顔特徴抽出部307、顔照合辞書部308、顔照合部309、顔認証表示部311、顔検索表示部312、ゲート制御部313は、前述した第1の実施の形態(図1)における照合画像取得用のカメラ101、変化検出部102、頭部検出部103、頭部追跡部104、顔候補領域検出部は105、顔領域検出部106、顔特徴抽出部107、顔照合辞書部108、顔照合部109、顔認証表示部114、顔検索表示部115、ゲート制御部116と同様であることから説明は省略し、第1の実施の形態と異なる部分についてだけ説明する。
歩行速度計測部310は、歩行者Mの歩行速度(移動速度)を計測するものであり、たとえば、あらかじめ撮像対象領域内における歩行者Mの歩行速度と画像取得数との関係を記憶しておき、照合画像取得用のカメラ301での照合画像取得数から歩行者Mの歩行速度を近似的に計測する。
表示認証制御部314は、本装置全体の制御を行なうもので、処理の流れを図16のフローチャートに示す。以下、図16のフローチャートについて説明する。なお、制御方法は、図10に示した表示認証制御部117と基本的に同じである。
歩行者Mが撮影対象領域に存在した場合、前述同様な顔領域検出処理を行ない(ステップS21)、その検出結果を顔認証表示部114に表示する(ステップS22)。次に、顔領域検出終了条件を満たしたか否かをチェックし(ステップS23)、顔領域検出終了条件を満たしていない場合、ステップS21に戻って上記同様な処理を繰り返す。
顔領域検出終了条件を満たすと、歩行速度計測部310から歩行者Mの歩行速度計測結果を取得する(ステップS24)。次に、取得した歩行速度を閾値Th1と比較し(ステップS25)、取得した歩行速度が閾値Th1未満である場合は前述同様な顔照合処理を行なう(ステップS26)。
一方、取得した歩行速度が閾値Th1以上である場合は、通常の顔照合処理を行わない。具体的には、閾値Th1以上で、かつ、閾値Th2(Th2>Th1)未満である場合は(ステップS27)、顔照合部309における判定用閾値を高く(セキュリティレベルを高く)変更して(ステップS28)、顔照合処理を行ない(ステップS26)、閾値Th2以上である場合は、照合対象から除外し(ステップS29)、ステップS21に戻る。
次に、顔照合処理の結果から認証が成功したか否かをチェック(ステップS30)、顔認証が成功した場合(当該歩行者Mはあらかじめ登録された人物であると判定された場合)、顔認証表示部311に認証OKのメッセージを表示してから(ステップS31)、ゲート装置3への通行可能信号を一定時間オンにし(ステップS32)、ステップS21に戻る。これより、歩行者Mは、ゲート装置3を通過できる。
ステップS30におけるチェックの結果、認証が失敗した場合(当該歩行者Mはあらかじめ登録された人物でないと判定された場合)、顔認証表示部311に認証NGのメッセージを表示し(ステップS33)、ステップS21に戻る。
以上説明したように、上記第3の実施の形態によれば、歩行者Mの歩行速度計測結果から撮像対象として適切かどうかを判定し、それに基づいて顔照合処理を行なうことで顔認証性能を著しく高めることができる。
次に、第4の実施の形態について説明する。
図17は、第4の実施の形態に係る顔認証装置が適用される入退場管理装置の構成を概略的に示すものである。この入退場管理装置は、照合画像取得用のカメラ401、変化検出部402、頭部検出部403、頭部追跡部404、顔候補領域検出部405、顔領域検出部406、顔特徴抽出部407、顔照合辞書部408、顔照合部409、監視画像取得用のカメラ410、動線抽出部411、人物入れ替り判定手段としての入れ替り判定部412、顔認証表示部413、顔検索表示部414、通行制御部415、および、表示認証制御部416を有して構成されている。
図17は、第4の実施の形態に係る顔認証装置が適用される入退場管理装置の構成を概略的に示すものである。この入退場管理装置は、照合画像取得用のカメラ401、変化検出部402、頭部検出部403、頭部追跡部404、顔候補領域検出部405、顔領域検出部406、顔特徴抽出部407、顔照合辞書部408、顔照合部409、監視画像取得用のカメラ410、動線抽出部411、人物入れ替り判定手段としての入れ替り判定部412、顔認証表示部413、顔検索表示部414、通行制御部415、および、表示認証制御部416を有して構成されている。
なお、上記各構成要素のうち、照合画像取得用のカメラ401、変化検出部402、頭部検出部403、頭部追跡部404、顔候補領域検出部405、顔領域検出部406、顔特徴抽出部407、顔照合辞書部408、顔照合部409、動線抽出部411、顔認証表示部413、顔検索表示部414、ゲート制御部415は、前述した第1の実施の形態(図1)における照合画像取得用のカメラ101、変化検出部102、頭部検出部103、頭部追跡部104、顔候補領域検出部105、顔領域検出部106、顔特徴抽出部107、顔照合辞書部108、顔照合部109、動線抽出部111、顔認証表示部114、顔検索表示部115、ゲート制御部116と同じであることから説明は省略し、第1の実施の形態と異なる部分についてだけ説明する。
第4の実施の形態では、ゲート装置3を通行する場合に確実に通行しなければならない領域で、かつ、ゲート装置3付近の領域を通行者確認領域と呼ぶことにする。具体的には、図18に示す斜線で示す矩形領域5を指すものとする。
監視画像取得用のカメラ410は、通行者確認領域での動線を抽出するための画像を取得するものであり、たとえば、CCDセンサなどの撮像素子を用いたテレビジョンカメラから構成されている。カメラ401の設置位置は、たとえば、図18に示すように、認証終了時の歩行者Mの位置と通行者確認領域5内が画角に収まるように天井から下を見下ろす形で設置されている。取得した画像は、たとえば、横方向に640画素、縦方向に480画素のデジタル濃淡画像データとして動線抽出部411に送られる。
入れ替り判定部412は、顔照合結果と対応付けた動線を用いて歩行者Mの入れ替りを判定する。そのため、表示認証制御部416から顔照合結果と動線抽出結果を取得し、その判定結果を表示認証制御部416に出力する。具体的な処理については、1回の照合成功に対し、1人の1回の通行を許可するゲート装置3を対象に説明する。照合結果と動線との対応付けは、たとえば、図19に示すように、照合終了時の顔検出領域の座標値(図19(a))と動線の座標値(図19(b))から行なう。対応付けする対象が複数存在する場合は、互いの相対位置関係を基に決定する。
入れ替り判定処理は、たとえば、図20に示すフローチャートにしたがった処理を行なう。これは、まず通行者確認領域5に歩行者Mが存在しているかを確認する(ステップS41)。この確認の結果、歩行者Mが存在した場合は、複数人存在するかを確認する(ステップS42)。この確認の結果、複数人存在する場合は、複数人の中で先頭の(最もゲート装置3に近い)歩行者Mが照合に成功したかどうかを確認する(ステップS43)。この確認の結果、照合に成功していれば入れ替りなしと判定し(ステップS44)、照合に失敗していれば入れ替りありと判定する(ステップS45)。
ステップS42における確認の結果、複数人存在しない場合も、同様に照合に成功したかどうかを確認し(ステップS46)、照合に成功していれば入れ替りなしと判定し(ステップS47)、照合に失敗していれば入れ替りありと判定する(ステップS45)。この判定結果は、表示認証制御部416に出力する。具体的な例として、入れ替りなしの場合を図21(a)、図21(b)に、入れ替りありの場合を図21(c)、図21(d)に示す。
表示認証制御部416は、本装置全体の制御を行なうもので、処理の流れを図22のフローチャートに示す。以下、図22のフローチャートについて説明する。なお、制御方法は、図10に示した表示認証制御部117と基本的に同じである。
歩行者Mが撮影対象領域に存在した場合、前述同様な顔領域検出処理を行ない(ステップS51)、その検出結果を顔認証表示部413に表示する(ステップS52)。次に、顔領域検出終了条件を満たしたか否かをチェックし(ステップS53)、顔領域検出終了条件を満たしていない場合、ステップS51に戻って上記同様な処理を繰り返す。
顔領域検出終了条件を満たすと、前述同様な顔照合処理を行ない、その顔照合処理の結果を取得する(ステップS54)。次に、動線抽出部411から歩行者Mの動線抽出結果を取得する(ステップS55)。次に、取得した顔照合処理結果と動線抽出結果を入れ替り判定部412に送り(ステップS56)、入れ替り判定部412から判定結果を取得する(ステップS57)。
次に、入れ替り判定部412から取得した判定結果が入れ替りありか否かをチェック(ステップS58)、入れ替りなしの場合は、顔認証表示部112に認証OKのメッセージを表示してから(ステップS59)、ゲート装置3への通行可能信号を一定時間オンにし(ステップS60)、ステップS51に戻る。これより、歩行者Mは、ゲート装置3を通過できる。
ステップS58におけるチェックの結果、入れ替りありの場合は、顔認証表示部112に認証NGのメッセージを表示し(ステップS61)、ステップS51に戻る。
ステップS58におけるチェックの結果、入れ替りありの場合は、顔認証表示部112に認証NGのメッセージを表示し(ステップS61)、ステップS51に戻る。
以上説明したように、上記第4の実施の形態によれば、歩行者Mの顔照合結果と対応付けられた歩行者Mの動線を用いて入れ替わりを判定し、その判定結果に応じて通行制御することで入れ替りを防止し、セキュリティを著しく高めることができる。
次に、第5の実施の形態について説明する。
図23は、第5の実施の形態に係る顔認証装置が適用される入退場管理装置の構成を概略的に示すものである。この入退場管理装置は、照合画像取得用のカメラ501、第1の顔領域検出手段としての第1の顔領域検出部502、第2の顔領域検出手段としての第2の顔領域検出部503、顔領域蓄積手段としての顔領域画像蓄積部504、顔特徴抽出部505、顔照合辞書部506、顔照合部507、および、ゲート制御部508を有して構成されている。
図23は、第5の実施の形態に係る顔認証装置が適用される入退場管理装置の構成を概略的に示すものである。この入退場管理装置は、照合画像取得用のカメラ501、第1の顔領域検出手段としての第1の顔領域検出部502、第2の顔領域検出手段としての第2の顔領域検出部503、顔領域蓄積手段としての顔領域画像蓄積部504、顔特徴抽出部505、顔照合辞書部506、顔照合部507、および、ゲート制御部508を有して構成されている。
なお、上記各構成要素のうち、照合画像取得用のカメラ501、顔特徴抽出部505、顔照合辞書部506、および、ゲート制御部508は、前述した第1の実施の形態(図1)における照合画像取得用のカメラ101、顔特徴抽出部107、顔照合辞書部108、ゲート制御部116と同様であることから説明は省略し、第1の実施の形態と異なる部分についてだけ説明する。
第1の顔領域検出部502は、カメラ501により撮像された画像から歩行者Mの顔領域の候補を検出するもので、たとえば、第1の実施例で説明した変化検出部102、頭部検出部103、頭部追跡部104、顔候補領域検出部105から構成することで実現可能であり、よって説明は省略する。検出した顔領域は第2の顔領域検出部503に送られる。
第2の顔領域検出部503は、第1の顔領域検出部502により検出された顔候補領域から認証対象となる顔領域を検出するもので、たとえば、第1の実施例で説明した顔領域検出部106から構成することで実現可能であり、よって説明は省略する。検出した顔領域は顔領域画像蓄積部504に送られる。
顔領域画像蓄積部504は、第2の顔領域検出部503により検出された顔領域の画像をあらかじめ定められた複数個蓄積するもので、蓄積終了条件を満たすまで顔領域の画像を蓄積する。ここに、蓄積終了条件とは、たとえば、顔領域の画像の数が必要数揃った場合であり、他にも検出した顔領域の画像のサイズが一定値以上になった場合などが考えられる。
顔照合部507は、顔領域画像蓄積部504により蓄積された複数個の顔領域の画像と顔照合辞書部506にあらかじめ登録された辞書情報とをそれぞれ照合することにより当該歩行者Mはあらかじめ登録された人物であるか否かを判定する。
以下、図24に示すフローチャートに基づき全体的な処理の流れについて説明する。なお、制御方法は、図10に示した表示認証制御部117と基本的に同じであるので、簡単に説明する。
まず、カメラ501により歩行者Mの顔を含む画像を取得し(ステップS71)、第1の顔領域検出部502へ送る。第1の顔領域検出部502は、カメラ501により取得された画像から歩行者Mの顔領域の候補を検出し(ステップS72)、第2の顔領域検出部503へ送る。
第2の顔領域検出部503は、第1の顔領域検出部502により検出された顔候補領域から認証対象となる顔領域を検出し(ステップS73)、顔領域画像蓄積部504へ送る。顔領域画像蓄積部504は、第2の顔領域検出部503により検出された顔領域の画像を、蓄積終了条件を満たすまで蓄積する(ステップS74,S75)。
検出された顔領域の画像を蓄積終了条件を満たすまで蓄積すると、顔特徴抽出部505により、顔領域画像蓄積部504に蓄積された複数の顔領域画像に対しそれぞれ特徴情報の抽出を行ない(ステップS76)、顔照合部507へ送る。
顔照合部507は、抽出された各特長情報を顔照合辞書部506にあらかじめ登録されている辞書情報とそれぞれ照合することにより当該人物はあらかじめ登録された人物であるか否かを判定し(ステップS77)、その判定結果をゲート制御部508へ送る。ゲート制御部508は、顔照合部507の判定結果に応じてゲート装置3を制御する(ステップS78)。
以上説明したように、上記第5の実施の形態によれば、第1の顔領域検出部と第2の顔領域検出部を利用し、複数個の顔領域画像を用いて顔照合を行なうことで、歩行動作で生じる顔向きの変化によるパターンの変動を吸収し、高速かつ精度よく歩行者の顔認証ができる。
M…歩行者、1…通行路、2…入退場対象エリア(部屋や施設等)、3…ゲート装置(入退場用ゲート)、101…照合画像取得用のビデオカメラ(撮像手段)、102変化検出部、103頭部検出部、104頭部追跡部、105顔候補領域検出部、106顔領域検出部(顔検出手段)、107顔特徴抽出部、108顔照合辞書部、109顔照合部(顔照合手段)、110監視画像取得用のビデオカメラ、111動線抽出部(動線抽出手段)、112基準動線記憶部(基準動線記憶手段)、113動線比較部(動線比較手段)、114顔認証表示部、115顔検索表示部、116ゲート制御部(ゲート制御手段)、117表示認証制御部(制御手段)。
Claims (14)
- 移動する人物が特定の位置に到達するまでに当該人物の顔認証を行なう顔認証装置であって、
前記移動する人物の少なくとも顔を含む画像を撮像する撮像手段と、
この撮像手段により撮像された画像から前記人物の顔領域を検出する顔検出手段と、
この顔検出手段により検出された顔領域の画像とあらかじめ登録された辞書情報とを照合して両者の類似度を求め、この求めた類似度を判定用閾値と比較することにより当該人物はあらかじめ登録された人物であるか否かを判定する顔照合手段と、
前記移動する人物の動線を抽出する動線抽出手段と、
この動線抽出手段により抽出された動線とあらかじめ設定された基準動線とを比較することにより当該人物は撮像対象として適切か否かを判定する撮像対象判定手段と、
この撮像対象判定手段の判定結果に応じて前記顔照合手段における判定用閾値を変更する判定用閾値変更手段と、
を具備したことを特徴とする顔認証装置。 - 前記顔照合手段により当該人物はあらかじめ登録された人物であると判定された場合、このとき前記動線抽出手段により抽出された動線および前記基準動線を用いて当該基準動線を更新する基準動線更新手段をさらに具備したことを特徴とする請求項1記載の顔認証装置。
- 移動する人物が特定の位置に到達するまでに当該人物の顔認証を行なう顔認証装置であって、
前記移動する人物の少なくとも顔を含む画像を撮像する撮像手段と、
この撮像手段により撮像された画像から前記人物の顔領域を検出する顔検出手段と、
この顔検出手段により検出された顔領域の画像とあらかじめ登録された辞書情報とを照合して両者の類似度を求め、この求めた類似度を判定用閾値と比較することにより当該人物はあらかじめ登録された人物であるか否かを判定する顔照合手段と、
前記移動する人物の移動速度を計測する移動速度計測手段と、
この移動速度計測手段により計測された移動速度に基づき当該人物は撮像対象として適切か否かを判定する撮像対象判定手段と、
この撮像対象判定手段の判定結果に応じて前記顔照合手段における判定用閾値を変更する判定用閾値変更手段と、
を具備したことを特徴とする顔認証装置。 - 移動する人物が特定の位置に到達するまでに当該人物の顔認証を行なう顔認証装置であって、
前記移動する人物の少なくとも顔を含む画像を撮像する撮像手段と、
この撮像手段により撮像された画像から前記人物の顔領域を検出する顔検出手段と、
この顔検出手段により検出された顔領域の画像とあらかじめ登録された辞書情報とを照合することにより当該人物はあらかじめ登録された人物であるか否かを判定する顔照合手段と、
前記移動する人物の動線を抽出する動線抽出手段と、
この動線抽出手段により抽出された動線と前記顔照合手段の判定結果とを対応付け、この対応付けた動線を用いて人物の入れ替りを判定する人物入れ替り判定手段と、
を具備したことを特徴とする顔認証装置。 - 移動する人物が特定の位置に到達するまでに当該人物の顔認証を行なう顔認証装置であって、
前記移動する人物の少なくとも顔を含む画像を撮像する撮像手段と、
この撮像手段により撮像された画像から前記人物の顔領域の候補を検出する第1の顔検出手段と、
この第1の顔検出手段により検出された顔候補領域から認証対象となる顔領域を検出する第2の顔検出手段と、
この第2の顔検出手段により検出された顔領域の画像をあらかじめ定められた複数個蓄積する顔領域蓄積手段と、
この顔領域蓄積手段により蓄積された複数個の顔領域の画像とあらかじめ登録された辞書情報とをそれぞれ照合することにより当該人物はあらかじめ登録された人物であるか否かを判定する顔照合手段と、
を具備したことを特徴とする顔認証装置。 - 移動する人物が特定の位置に到達するまでに当該人物の顔認証を行なう顔認証方法であって、
前記移動する人物の少なくとも顔を含む画像を撮像する撮像ステップと、
この撮像ステップにより撮像された画像から前記人物の顔領域を検出する顔検出ステップと、
この顔検出ステップにより検出された顔領域の画像とあらかじめ登録された辞書情報とを照合して両者の類似度を求め、この求めた類似度を判定用閾値と比較することにより当該人物はあらかじめ登録された人物であるか否かを判定する顔照合ステップと、
前記移動する人物の動線を抽出する動線抽出ステップと、
この動線抽出ステップにより抽出された動線とあらかじめ設定された基準動線とを比較することにより当該人物は撮像対象として適切か否かを判定する撮像対象判定ステップと、
この撮像対象判定ステップの判定結果に応じて前記顔照合ステップにおける判定用閾値を変更する判定用閾値変更ステップと、
を具備したことを特徴とする顔認証方法。 - 移動する人物が特定の位置に到達するまでに当該人物の顔認証を行なう顔認証方法であって、
前記移動する人物の少なくとも顔を含む画像を撮像する撮像ステップと、
この撮像ステップにより撮像された画像から前記人物の顔領域を検出する顔検出ステップと、
この顔検出ステップにより検出された顔領域の画像とあらかじめ登録された辞書情報とを照合して両者の類似度を求め、この求めた類似度を判定用閾値と比較することにより当該人物はあらかじめ登録された人物であるか否かを判定する顔照合ステップと、
前記移動する人物の移動速度を計測する移動速度計測ステップと、
この移動速度計測ステップにより計測された移動速度に基づき当該人物は撮像対象として適切か否かを判定する撮像対象判定ステップと、
この撮像対象判定ステップの判定結果に応じて前記顔照合ステップにおける判定用閾値を変更する判定用閾値変更ステップと、
を具備したことを特徴とする顔認証方法。 - 移動する人物が特定の位置に到達するまでに当該人物の顔認証を行なう顔認証方法であって、
前記移動する人物の少なくとも顔を含む画像を撮像する撮像ステップと、
この撮像ステップにより撮像された画像から前記人物の顔領域を検出する顔検出ステップと、
この顔検出ステップにより検出された顔領域の画像とあらかじめ登録された辞書情報とを照合することにより当該人物はあらかじめ登録された人物であるか否かを判定する顔照合ステップと、
前記移動する人物の動線を抽出する動線抽出ステップと、
この動線抽出ステップにより抽出された動線と前記顔照合ステップの判定結果とを対応付け、この対応付けた動線を用いて人物の入れ替りを判定する人物入れ替り判定ステップと、
を具備したことを特徴とする顔認証方法。 - 移動する人物が特定の位置に到達するまでに当該人物の顔認証を行なう顔認証方法であって、
前記移動する人物の少なくとも顔を含む画像を撮像する撮像ステップと、
この撮像ステップにより撮像された画像から前記人物の顔領域の候補を検出する第1の顔検出ステップと、
この第1の顔検出ステップにより検出された顔候補領域から認証対象となる顔領域を検出する第2の顔検出ステップと、
この第2の顔検出ステップにより検出された顔領域の画像をあらかじめ定められた複数個蓄積する顔領域蓄積ステップと、
この顔領域蓄積ステップにより蓄積された複数個の顔領域の画像とあらかじめ登録された辞書情報とをそれぞれ照合することにより当該人物はあらかじめ登録された人物であるか否かを判定する顔照合ステップと、
を具備したことを特徴とする顔認証装方法 - 移動する人物が入退場対象エリアに設けられた入退場用ゲートに到達するまでに当該人物の顔認証を行ない、その認証結果に基づき前記入退場用ゲートを開閉制御する入退場管理装置であって、
前記移動する人物の少なくとも顔を含む画像を撮像する撮像手段と、
この撮像手段により撮像された画像から前記人物の顔領域を検出する顔検出手段と、
この顔検出手段により検出された顔領域の画像とあらかじめ登録された辞書情報とを照合して両者の類似度を求め、この求めた類似度を判定用閾値と比較することにより当該人物はあらかじめ登録された人物であるか否かを判定する顔照合手段と、
この顔照合手段の判定結果に基づき前記入退場用ゲートを開閉制御するゲート制御手段と、
前記移動する人物の動線を抽出する動線抽出手段と、
この動線抽出手段により抽出された動線とあらかじめ設定された基準動線とを比較することにより当該人物は撮像対象として適切か否かを判定する撮像対象判定手段と、
この撮像対象判定手段の判定結果に応じて前記顔照合手段における判定用閾値を変更する判定用閾値変更手段と、
を具備したことを特徴とする入退場管理装置。 - 前記顔照合手段により当該人物はあらかじめ登録された人物であると判定された場合、このとき前記動線抽出手段により抽出された動線および前記基準動線を用いて当該基準動線を更新する基準動線更新手段をさらに具備したことを特徴とする請求項10記載の入退場管理装置。
- 移動する人物が入退場対象エリアに設けられた入退場用ゲートに到達するまでに当該人物の顔認証を行ない、その認証結果に基づき前記入退場用ゲートを開閉制御する入退場管理装置であって、
前記移動する人物の少なくとも顔を含む画像を撮像する撮像手段と、
この撮像手段により撮像された画像から前記人物の顔領域を検出する顔検出手段と、
この顔検出手段により検出された顔領域の画像とあらかじめ登録された辞書情報とを照合して両者の類似度を求め、この求めた類似度を判定用閾値と比較することにより当該人物はあらかじめ登録された人物であるか否かを判定する顔照合手段と、
この顔照合手段の判定結果に基づき前記入退場用ゲートを開閉制御するゲート制御手段と、
前記移動する人物の移動速度を計測する移動速度計測手段と、
この移動速度計測手段により計測された移動速度に基づき当該人物は撮像対象として適切か否かを判定する撮像対象判定手段と、
この撮像対象判定手段の判定結果に応じて前記顔照合手段における判定用閾値を変更する判定用閾値変更手段と、
を具備したことを特徴とする入退場管理装置。 - 移動する人物が入退場対象エリアに設けられた入退場用ゲートに到達するまでに当該人物の顔認証を行ない、その認証結果に基づき前記入退場用ゲートを開閉制御する入退場管理装置であって、
前記移動する人物の少なくとも顔を含む画像を撮像する撮像手段と、
この撮像手段により撮像された画像から前記人物の顔領域を検出する顔検出手段と、
この顔検出手段により検出された顔領域の画像とあらかじめ登録された辞書情報とを照合することにより当該人物はあらかじめ登録された人物であるか否かを判定する顔照合手段と、
この顔照合手段の判定結果に基づき前記入退場用ゲートを開閉制御するゲート制御手段と、
前記移動する人物の動線を抽出する動線抽出手段と、
この動線抽出手段により抽出された動線と前記顔照合手段の判定結果とを対応付け、この対応付けた動線を用いて人物の入れ替りを判定する人物入れ替り判定手段と、
を具備したことを特徴とする入退場管理装置。 - 移動する人物が入退場対象エリアに設けられた入退場用ゲートに到達するまでに当該人物の顔認証を行ない、その認証結果に基づき前記入退場用ゲートを開閉制御する入退場管理装置であって、
前記移動する人物の少なくとも顔を含む画像を撮像する撮像手段と、
この撮像手段により撮像された画像から前記人物の顔領域の候補を検出する第1の顔検出手段と、
この第1の顔検出手段により検出された顔候補領域から認証対象となる顔領域を検出する第2の顔検出手段と、
この第2の顔検出手段により検出された顔領域の画像をあらかじめ定められた複数個蓄積する顔領域蓄積手段と、
この顔領域蓄積手段により蓄積された複数個の顔領域の画像とあらかじめ登録された辞書情報とをそれぞれ照合することにより当該人物はあらかじめ登録された人物であるか否かを判定する顔照合手段と、
この顔照合手段の判定結果に基づき前記入退場用ゲートを開閉制御するゲート制御手段と、
を具備したことを特徴とする入退場管理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005053683A JP2006236260A (ja) | 2005-02-28 | 2005-02-28 | 顔認証装置、顔認証方法および入退場管理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005053683A JP2006236260A (ja) | 2005-02-28 | 2005-02-28 | 顔認証装置、顔認証方法および入退場管理装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006236260A true JP2006236260A (ja) | 2006-09-07 |
Family
ID=37043801
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005053683A Abandoned JP2006236260A (ja) | 2005-02-28 | 2005-02-28 | 顔認証装置、顔認証方法および入退場管理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2006236260A (ja) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008099816A1 (ja) * | 2007-02-13 | 2008-08-21 | Kabushiki Kaisha Toshiba | 人物検索装置 |
JP2008233959A (ja) * | 2007-03-16 | 2008-10-02 | Ricoh Co Ltd | 画像処理装置、画像処理方法、プログラムおよび記録媒体 |
JP2008262305A (ja) * | 2007-04-10 | 2008-10-30 | Canon Inc | 撮像装置、撮像装置の制御方法、プログラム、及び記憶媒体 |
JP2009217510A (ja) * | 2008-03-10 | 2009-09-24 | Canon Inc | 画像表示装置及びその制御方法 |
CN104239386A (zh) * | 2013-06-10 | 2014-12-24 | 国际商业机器公司 | 用于对面部识别匹配区分优先级的方法和系统 |
JP2015001790A (ja) * | 2013-06-14 | 2015-01-05 | セコム株式会社 | 顔認証システム |
JP2020515983A (ja) * | 2017-11-28 | 2020-05-28 | シェンチェン センスタイム テクノロジー カンパニー リミテッドShenzhen Sensetime Technology Co.,Ltd | 対象人物の検索方法および装置、機器、プログラム製品ならびに媒体 |
CN111611908A (zh) * | 2014-12-22 | 2020-09-01 | 迈克菲有限责任公司 | 用于在在线教育中进行实时用户验证的系统和方法 |
WO2021060256A1 (ja) * | 2019-09-24 | 2021-04-01 | Necソリューションイノベータ株式会社 | 顔認証装置、顔認証方法、及びコンピュータ読み取り可能な記録媒体 |
JP2021165994A (ja) * | 2020-04-08 | 2021-10-14 | テックファーム株式会社 | 情報処理装置、情報処理方法及び認証システム |
WO2023248384A1 (ja) * | 2022-06-22 | 2023-12-28 | 日本電気株式会社 | 情報処理装置、情報処理システム、情報処理方法、及び記録媒体 |
-
2005
- 2005-02-28 JP JP2005053683A patent/JP2006236260A/ja not_active Abandoned
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8965061B2 (en) | 2007-02-13 | 2015-02-24 | Kabuhiki Kaisha Toshiba | Person retrieval apparatus |
JP2008197904A (ja) * | 2007-02-13 | 2008-08-28 | Toshiba Corp | 人物検索装置および人物検索方法 |
JP4594945B2 (ja) * | 2007-02-13 | 2010-12-08 | 株式会社東芝 | 人物検索装置および人物検索方法 |
WO2008099816A1 (ja) * | 2007-02-13 | 2008-08-21 | Kabushiki Kaisha Toshiba | 人物検索装置 |
JP2008233959A (ja) * | 2007-03-16 | 2008-10-02 | Ricoh Co Ltd | 画像処理装置、画像処理方法、プログラムおよび記録媒体 |
JP2008262305A (ja) * | 2007-04-10 | 2008-10-30 | Canon Inc | 撮像装置、撮像装置の制御方法、プログラム、及び記憶媒体 |
JP2009217510A (ja) * | 2008-03-10 | 2009-09-24 | Canon Inc | 画像表示装置及びその制御方法 |
US8379916B2 (en) | 2008-03-10 | 2013-02-19 | Canon Kabushiki Kaisha | Image display apparatus and control method thereof |
CN104239386B (zh) * | 2013-06-10 | 2018-09-18 | 格芯公司 | 用于对面部识别匹配区分优先级的方法和系统 |
CN104239386A (zh) * | 2013-06-10 | 2014-12-24 | 国际商业机器公司 | 用于对面部识别匹配区分优先级的方法和系统 |
JP2015001790A (ja) * | 2013-06-14 | 2015-01-05 | セコム株式会社 | 顔認証システム |
CN111611908A (zh) * | 2014-12-22 | 2020-09-01 | 迈克菲有限责任公司 | 用于在在线教育中进行实时用户验证的系统和方法 |
CN111611908B (zh) * | 2014-12-22 | 2023-08-29 | 迈克菲有限责任公司 | 用于在在线教育中进行实时用户验证的系统和方法 |
JP2020515983A (ja) * | 2017-11-28 | 2020-05-28 | シェンチェン センスタイム テクノロジー カンパニー リミテッドShenzhen Sensetime Technology Co.,Ltd | 対象人物の検索方法および装置、機器、プログラム製品ならびに媒体 |
US10891465B2 (en) | 2017-11-28 | 2021-01-12 | Shenzhen Sensetime Technology Co., Ltd. | Methods and apparatuses for searching for target person, devices, and media |
WO2021060256A1 (ja) * | 2019-09-24 | 2021-04-01 | Necソリューションイノベータ株式会社 | 顔認証装置、顔認証方法、及びコンピュータ読み取り可能な記録媒体 |
JPWO2021060256A1 (ja) * | 2019-09-24 | 2021-04-01 | ||
JP7248348B2 (ja) | 2019-09-24 | 2023-03-29 | Necソリューションイノベータ株式会社 | 顔認証装置、顔認証方法、及びプログラム |
JP2021165994A (ja) * | 2020-04-08 | 2021-10-14 | テックファーム株式会社 | 情報処理装置、情報処理方法及び認証システム |
JP7426630B2 (ja) | 2020-04-08 | 2024-02-02 | テックファーム株式会社 | 情報処理装置、情報処理方法及び認証システム |
WO2023248384A1 (ja) * | 2022-06-22 | 2023-12-28 | 日本電気株式会社 | 情報処理装置、情報処理システム、情報処理方法、及び記録媒体 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100831122B1 (ko) | 얼굴 인증 장치, 얼굴 인증 방법, 및 출입 관리 장치 | |
JP4836633B2 (ja) | 顔認証装置、顔認証方法および入退場管理装置 | |
US11704936B2 (en) | Object tracking and best shot detection system | |
JP2006236260A (ja) | 顔認証装置、顔認証方法および入退場管理装置 | |
AU2006200828B2 (en) | Face authenticating apparatus and entrance and exit management apparatus | |
JP6148065B2 (ja) | 顔認証システム | |
WO2015136938A1 (ja) | 情報処理方法および情報処理システム | |
KR101546137B1 (ko) | 인물 인식 장치 및 방법 | |
US20140177946A1 (en) | Human detection apparatus and method | |
JP6148064B2 (ja) | 顔認証システム | |
JP2008071172A (ja) | 顔認証装置、顔認証方法および入退場管理装置 | |
JP2003141541A (ja) | 人物認識装置および通行制御装置 | |
JP2008108243A (ja) | 人物認識装置および人物認識方法 | |
JP2007148988A (ja) | 顔認証装置、顔認証方法および入退場管理装置 | |
JP4667508B2 (ja) | 移動体情報検出装置、移動体情報検出方法および移動体情報検出プログラム | |
JP2018181157A (ja) | 人物認証装置 | |
CN110674680A (zh) | 活体识别的方法、装置、存储介质 | |
KR101596363B1 (ko) | 얼굴 인식에 의한 출입관리장치 및 방법 | |
JP2009032116A (ja) | 顔認証装置、顔認証方法および入退場管理装置 | |
JP2004118359A (ja) | 人物認識装置、人物認識方法および通行制御装置 | |
KR101154350B1 (ko) | 고해상도 영상의 객체 검지 및 분할 인식을 이용한 다중 영상처리시스템 및 방법 | |
JP2005063172A (ja) | 顔照合装置および通行制御装置 | |
CN116959161A (zh) | 一种基于区块链的智能门禁可信监控系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080221 |
|
A762 | Written abandonment of application |
Free format text: JAPANESE INTERMEDIATE CODE: A762 Effective date: 20100104 |