JP2008243093A - 辞書データの登録装置及び辞書データの登録方法 - Google Patents

辞書データの登録装置及び辞書データの登録方法 Download PDF

Info

Publication number
JP2008243093A
JP2008243093A JP2007086132A JP2007086132A JP2008243093A JP 2008243093 A JP2008243093 A JP 2008243093A JP 2007086132 A JP2007086132 A JP 2007086132A JP 2007086132 A JP2007086132 A JP 2007086132A JP 2008243093 A JP2008243093 A JP 2008243093A
Authority
JP
Japan
Prior art keywords
data
face
posture
registrant
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007086132A
Other languages
English (en)
Inventor
Yasuhiro Aoki
泰浩 青木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2007086132A priority Critical patent/JP2008243093A/ja
Priority to PCT/JP2008/054996 priority patent/WO2008120576A1/ja
Publication of JP2008243093A publication Critical patent/JP2008243093A/ja
Priority to US12/568,341 priority patent/US8385608B2/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries

Abstract

【課題】単に姿勢変動に対応するだけでなく、実際に通路を歩行する際の傾向（予想しうる変動）を反映させた辞書データを作成することができ、この結果として、利用者に大きな負担をかけずに、高精度な顔照合が行える辞書データを作成し、登録することができる歩行者認証用の辞書データの登録装置を提供できる。
【解決手段】顔画像による歩行者認証用の辞書データを登録するための登録装置であって、姿勢（顔の向き）を変動させた登録者の顔を撮影した複数の顔画像から姿勢変動データを収集し、さらに、実際に通路を歩行している登録者の顔を撮影した顔画像から歩行データを収集し、姿勢変動データと歩行データとを融合させた辞書データを作成し、作成した辞書データを通路内を歩行する人物を顔照合により認証するための辞書データとして登録するようにしたものである。
【選択図】 図４

Description

本発明は、たとえば、歩行中の認証対象者の顔画像を撮影し、撮影した認識対象者（歩行者）の顔データと予め辞書データとして登録されている顔データとを照合することにより歩行者に対する認証を行う歩行者認証装置などに用いられる辞書データの登録装置および辞書データの登録方法に関する。
従来の一般的な顔認証装置では、立ち止まった状態の認証対象者の顔画像を撮影し、撮影した顔画像と予め登録されている顔画像とを照合することにより認証対象者に対する認証処理を行うものが多い。これに対して、近年、歩行者の顔画像を撮影し、撮影した歩行者の顔データと予め辞書データとして登録されている顔データとを照合することにより歩行者を認証する歩行者認証装置が開発されている。上記歩行者認証装置では、歩行中の人物の顔を含む画像をカメラにより撮影し、撮影した画像から歩行者の顔領域を抽出し、抽出した顔領域の画像（顔画像）から得られる顔の特徴量としての顔データ（入力部分空間）と予め辞書データとして登録されている顔データ（登録部分空間）との照合を行う。
このような歩行者認証装置においては、歩行中の人物の顔を撮影するため、撮影された画像における顔画像の状態変動が大きい。例えば、認証対象者が歩行中であるため、認証対象者の姿勢（顔の向きなど）は、立ち止まっている場合に比べて変動が大きい。また、カメラが特定の位置の人物だけを撮影するものではないので、被撮影者の位置や照明などの環境変化による撮影条件の変動も大きい。通常、顔照合処理では、照合処理時に撮影された顔画像の姿勢（顔の向き）と登録時に撮影された顔画像の姿勢（顔の向き）とが変動したり、照合処理時と登録時とで撮影条件が変動したりすると、照合精度が劣化する。このため、歩行者認証装置では、認証性能を確保するために、頻繁に登録情報（登録用の顔画像）の更新を行ったり、種々の条件で複数の登録情報を取得したりする必要がある。
たとえば、実際の歩行中における姿勢の変動を含む顔画像を収集するためには、登録者に通路を何度も歩かせて、歩行中における当該登録者の多くの顔画像を収集することが考えられる。また、環境の変動を含む顔画像を収集するためには、環境を変動させた状態で、何度も通路を歩くことを登録者に要求する必要がある。しかしながら、上記のような方法では、何度も通路を歩かせることを登録者に強要しなければならない。このため、上記のような登録用の顔画像の収集方法は、ユーザに対する負荷が大きく、あまり現実的ではない。
また、従来、ガイダンスによって登録者に姿勢（顔の向き）の変動を促し、登録用の顔画像として必要な姿勢で撮影した顔画像を収集および登録する方法が提案されている（例えば、特許文献１）。このような登録方法では、所望の姿勢を変動させた種々の顔画像を収集できる。しかしながら、実際に歩行する際の姿勢変動が反映されていないため、照合精度が低くなったり、照合精度にばらつきがでたりする可能性がある。
上記のように、従来の歩行者認証装置では、辞書データの登録処理において、登録情報（登録用の顔画像）を収集するために、ユーザに対する要求する負担が増えてしまったり、頻繁な辞書データの更新によって管理タスクへの負担が大きくなってしまったりするなどの問題がある。
特開２００３−１４１５４１号公報
この発明の一形態は、上記のような問題点を解決するものであり、ユーザの負荷を軽減しつつ、効率的に辞書データを登録することが可能な辞書データの登録装置および辞書データの登録方法を提供することを目的とする。
この発明の一形態としての辞書データの登録装置は、歩行者を認証するための辞書データを登録するものにおいて、画像を入力する画像入力手段と、この画像入力手段により入力した画像から人物の顔画像を検出する顔検出手段と、前記画像入力手段により入力した登録者の種々の姿勢の顔を撮影した複数の画像における複数の顔画像から得られる複数の顔データを収集する第１のデータ収集手段と、前記画像入力手段により入力した歩行中の前記登録者の顔を撮影した複数の画像における複数の顔画像から得られる複数の顔データを収集する第２のデータ収集手段と、前記第１のデータ収集手段により収集された顔データと前記第２のデータ収集手段により収集された顔データとを統合する統合手段と、この統合手段により統合したデータを前記登録者の辞書データとして記憶する記憶手段とを有する。
この発明の一形態としての辞書データの登録装置は、歩行者を認証するための辞書データを登録するものにおいて、画像を入力する画像入力手段と、この画像入力手段により入力した画像から人物の顔画像を検出する顔検出手段と、前記画像入力手段により入力した登録者の種々の姿勢の顔を撮影した複数の画像における複数の顔画像から得られる複数の顔データを収集する第１のデータ収集手段と、前記画像入力手段により入力した照明条件を変動させて前記登録者の顔を撮影した複数の画像における複数の顔画像から得られる複数の顔データを収集する第２のデータ収集手段と、前記第１のデータ収集手段により収集された顔データと前記第２のデータ収集手段により収集された顔データとを統合する統合手段と、この統合手段により統合したデータを前記登録者の辞書データとして記憶する記憶手段とを有する。
この発明の一形態としての辞書データの登録方法は、歩行者を認証するための辞書データの登録方法であって、登録者の種々の姿勢の顔を撮影した複数の画像を入力し、それらの入力画像から種々の姿勢の顔画像を検出し、それらの種々の姿勢の顔画像から得られる複数の顔データを前記登録者の姿勢変動データとして収集し、歩行中の前記登録者の顔を撮影した複数の画像を入力し、それらの入力画像から歩行中の変動を含む複数の顔画像を検出し、それらの歩行中の変動を含む顔画像から得られる複数の顔データを前記登録者の歩行データとして収集し、前記姿勢変動データと前記歩行データとを統合し、この統合したデータを前記登録者の辞書データとして記憶手段に記憶する。
この発明の一形態としての辞書データの登録方法は、歩行者を認証するための辞書データの登録方法であって、登録者の種々の姿勢の顔を撮影した複数の画像を入力し、それらの入力画像から種々の姿勢の顔画像を検出し、それらの種々の姿勢の顔画像から得られる複数の顔データを前記登録者の姿勢変動データとして収集し、照明条件を変動させて前記登録者の顔を撮影した複数の画像を入力し、それらの入力画像から照明変動を含む複数の顔画像を検出し、それらの照明変動を含む顔画像から得られる複数の顔データを前記登録者の環境変動データとして収集し、前記姿勢変動データと前記環境変動データとを統合し、この統合したデータを前記登録者の辞書データとして記憶手段に記憶する。
この発明の一形態によれば、ユーザの過大な負荷をかけずに、効率的に辞書データを登録することが可能な辞書データの登録装置および辞書データの登録方法を提供できる。
以下、この発明の実施の形態について、図面を参照しつつ詳細に説明する。
まず、第１の実施の形態について説明する。
図１は、第１の実施の形態に係る歩行者認証システム１の運用形態の例を示す図である。
図１に示す歩行者認証システム１は、Ａ地点、Ｂ地点、Ｃ地点を有する通路を歩行する人物を顔画像により認証するシステムである。図１に示す例では、歩行者認証システム１は、歩行者認証装置１１、カメラ１２および表示装置１３などにより構成されている。
上記カメラ１２は、認識対象者（歩行者）が通行する通路に設置される。上記カメラ１２は、通路内において、所定の方向に移動（歩行）する歩行者の顔画像（顔を含む画像）が撮影できるように設置されている。上記カメラ１２は、動画像あるいは所定間隔ごとの静止画像として、通路内を撮影するようになっている。上記カメラ１２で撮影された画像は、歩行者認証装置１１に供給されるようになっている。また、上記カメラ１２は、通路内の状態を監視するための監視カメラとして設置されているものであっても良い。また、上記カメラ１２は、前記通路内の各所に複数設置されているものであっても良い。
上記表示装置１３は、ＬＣＤパネルなどにより構成される。上記表示装置１３は、通路内の人物が目視可能な位置に設置される。上記表示装置１３では、前記通路内の人物に対する案内などが表示されるようになっている。上記表示装置１３には、通路内の人物に対して特定の動きを要求する旨の案内などを表示したり、通路内を所定の方向に歩行している人物に対して通行案内などを表示したりするようになっている。上記表示装置１３に表示される内容は、上記歩行者認証装置１１により制御される。たとえば、図２は、上記表示装置１３に表示される案内画面の例を示す図である。図２に示す例では、顔の位置を移動させることを促すために、利用者の顔画像と移動方向を示すグラフィカルイメージ（矢印）とが表示されている。
上記歩行者認証装置１１は、前記通路内を所定の方向に歩行する歩行者が予め登録されている特定の人物（登録者）であるか否かを認証する装置である。上記歩行者認証装置１１では、認証処理として、歩行者の顔画像と登録者の顔画像とを照合することにより歩行者の認証を行う。また、上記歩行者認証装置１１では、登録処理として、登録者の顔画像を登録する処理も行うようになっている。
また、上記歩行者認証システムが用いられる通路は、Ａ地点、Ｂ地点、Ｃ地点を有している。図１に示すように、Ａ地点、Ｂ地点、Ｃ地点は、上記カメラ１２からの距離が近い順であるとする。この場合、上記カメラ１２では、Ａ地点の人物を撮影した場合、Ｂ地点の人物を撮影した場合、Ｃ地点の人物を撮影した場合の順に、人物の顔画像（顔領域）が小さいサイズで撮影される。
たとえば、図３は、Ａ、Ｂ、Ｃ地点の人物を撮影した場合の顔画像のサイズの例を示す図である。図３に示すように、上記カメラ１２がＡ地点の人物を撮影した場合の顔画像、Ｂ地点の人物を撮影した場合の顔画像、Ｃ地点の人物を撮影した場合の顔画像の順に、顔画像のサイズが小さくなっている。このように、上記カメラ１２が特定の地点（固定位置）に設置されている場合（たとえば、既存の監視カメラをカメラ１２として利用する場合）、上記カメラ１２が撮影した画像から検出される顔画像は、通路内における人物の位置によってサイズが変化してしまう。このように顔画像のサイズが変化が大きいと、認証精度に影響があるため、本歩行者認証システムでは、各地点の人物を撮影した画像から辞書データとして登録すべき顔データを収集するようになっている。
次に、上記歩行者認証装置１１の構成について説明する。
図４は、上記歩行者認証装置１１の構成例を示すブロック図である。
上記歩行者認証装置１１は、図４に示すように、処理部２１、画像入力部２２、画像メモリ２３、表示制御部２４、辞書データ部２５および通行制御部２６などにより構成されている。
上記処理部２１は、当該歩行者認証装置１１全体の制御および各種の情報処理などを行うものである。上記処理部２１は、ＣＰＵ、ワーキングメモリ、プログラムメモリおよび各種の内部インターフェースなどにより構成される。上記処理部２１では、上記ＣＰＵがワーキングメモリを用いてプログラムメモリに記憶されている各種のプログラムを実行することにより種々の処理および各部の制御などを実現している。
上記画像入力部２２は、上記カメラ１２で撮影した画像を入力するためのインターフェースである。この画像入力部２２は、たとえば、上記カメラ１２から取り込んだ画像を画像メモリ２３に記憶するようになっている。上記画像メモリ２３は、上記カメラ１２で撮影され、上記画像入力部２２により入力した画像などを記憶するためのメモリである。上記表示制御部２４は、上記表示装置１３に表示する内容を制御するものである。
上記辞書データ部２５は、登録者の顔画像における特徴量などの辞書データを記憶するものである。上記辞書データ部２５に記憶される辞書データは、歩行者認証用の登録情報として用いられる。上記辞書データ部２５には、たとえば、姿勢変動データと歩行データとを統合した辞書データが記憶される。ここで、姿勢変動データは、通路内の複数の地点において種々の姿勢（顔の向き）で撮影された登録者の顔画像から得られる顔の特徴量などのデータである。また、歩行データは、当該登録者が通路を歩行した際における姿勢変動などのデータである。この歩行データは、当該登録者が通路を歩行する際に予測される姿勢変動を示すデータとなる。姿勢変動データと歩行データとについては、後で詳細に説明する。
従って、上記辞書データ部２５には、通路内の複数の地点において種々の姿勢で撮影された登録者の顔画像から得られた顔の特徴量（姿勢変動データ）に、当該登録者が通路を歩行する際における姿勢変動の予測（歩行データ）を反映させた顔の特徴量の分布が辞書データとして記憶されるようになっている。
なお、上記辞書データ部２５は、歩行者認証装置１１の外部に設けられるようにしても良い。たとえば、上記辞書データ部２５は、ネットワークインターフェースなどを介して歩行者認証装置１１と通信可能な外部機器に設けられるようにしても良い。
上記通行制御部２６は、顔画像による認証結果に基づいて歩行者の通行を制御するものである。たとえば、図示しないドアによって歩行者の通行を制限する場合（登録者以外の通行を阻止する場合）、上記通行制御部２６は、顔画像による認証結果に基づいて図示しないドアの開閉を制御する。当該歩行者認証システムが歩行者の通行を制御するためのシステムでない場合（たとえば、単に、顔画像による認証結果を表示装置などに表示するシステムである場合）、上記通行制御部２６は、省略するようにしても良い。
次に、上記処理部２１が有する種々の機能について説明する。
上記処理部２１では、図４に示すように、各種のプログラムを実行することにより実現される機能として、顔検出部３１、特徴抽出部３２、認証部（照合部）３３、位置判定部３４、姿勢判定部３５、姿勢データ収集部３６、歩行データ収集部３７、統合部（辞書データ作成部）３８などの機能を有している。
上記顔検出部３１は、上記画像入力部２２により入力した画像から顔画像を検出するものである。すなわち、上記顔検出部３１は、上記画像入力部２２により入力した画像に対して、予め用意されたテンプレートを当該画像内で移動させながら相関値を求めることにより、最も高い相関値を与える位置を顔領域として検出する。また、顔領域の検出方法は、固有空間法や部分空間法を利用した顔抽出法などでも実現は可能である。
上記特徴抽出部３２は、上記顔検出部により検出された顔領域の画像から顔の特徴量を抽出するものである。上記特徴抽出部３２は、上記顔検出部により検出された顔領域の画像において、目および鼻孔などの顔における特徴点としての顔部位の位置を抽出する。たとえば、顔画像における特徴点の検出方法は、文献（福井和広、山口修：「形状抽出とパターン照合の組合せによる顔特徴点抽出」，電子情報通信学会論文誌（Ｄ），ｖｏｌ．Ｊ８０−Ｄ−ＩＩ，Ｎｏ．８，ｐｐ２１７０．２１７７（１９９７））などに記載されている方法で実現可能である。さらに、上記特徴抽出部３２では、各特徴点の位置関係に基づいて、当該顔画像における顔の特徴量を生成する。たとえば、上記特徴抽出部３２では、特徴量として、上記顔検出部３１により検出された顔領域を正規化処理し、正規化した顔画像における特徴点の位置関係に基づいてＮ次元の量子ベクトルｆを生成する。
上記認証部３３は、上記画像入力部２２により入力され、上記顔検出部３１で検出され顔画像から得られる特徴量（以下、入力顔データとも称する）と上記辞書データ部２５に記憶されている顔画像の特徴量（以下、登録顔データとも称する）との照合を行う。上記認証部３３では、上記入力顔データと上記辞書データ部２５に記憶されている登録顔データとの類似度を算出する。上記認証部３３では、算出した類似度のうち最大となる類似度が所定の閾値以上であるか否かを判定する。上記認証部３３は、算出した類似度のうち最大となる類似度が所定の閾値以上である場合、当該入力顔画像の人物が最大類似度となった登録顔画像の人物であると判定する。
たとえば、本歩行者認証システムの認証部３３では、歩行中の人物を認証するため、相互部分空間法を用いて照合を行なっている。この場合、特徴抽出部３２では、順次入力される複数の顔画像から得られる特徴量から特徴ベクトルの分布（入力部分空間）としての入力顔データを生成し、辞書データ部２５では、予め特徴ベクトルの分布（登録部分空間）としての登録顔データを登録しておく。これにより、上記認証部３３では、相互部分空間法を用いて、入力顔データとしての入力部分空間と登録顔データとしての登録部分空間との照合を行う。
上記位置判定部３４は、上記顔検出部３１により検出された顔画像に基づいて当該人物の位置を判定する。上記位置判定部３４は、たとえば、上記カメラ１２が連続して撮影した複数の画像における顔画像のサイズの変化に基づいて、通路内における人物の位置を判定する。ここで、上記カメラ１２は、連続した時系列の複数の画像（各フレームの画像）を撮影するものとする。また、上記位置判定部３４では、当該人物の位置に基づいてどの位置をどの時刻で通過したかを判定する。例えば、通路内におけるＡ地点、Ｂ地点、Ｃ地点に対し、各地点で検出される顔領域の大きさ（顔サイズ）をＳＡ，ＳＢ，ＳＣとする。この場合、歩行時の時系列変化による顔サイズの変化は、…、Ｓｔ−１、Ｓｔ、Ｓｔ＋１、…として表される。当該人物が時刻ｔにどの地点を通過したかについては、たとえば、ＤＰ法（Ｄｉｎａｍｉｃ Ｐｒｏｇｒａｍｍｉｎｇ）等を用いて導出される。
上記姿勢判定部３５は、顔画像から顔の向き（姿勢）を判定する。つまり、上記姿勢判定部３５は、上記顔検出部３１により検出された顔画像における顔の向きを判定するものである。上記姿勢判定部３５は、たとえば、上記特徴抽出部３２により抽出される顔の特徴点の相対的な位置の変化などに基づいて顔の向きを判定する。なお、顔特徴点の相対的な位置の変化により顔の向きを判定する技術は、たとえば、特許文献１（特開２００３−１４１５４１号公報）などに記載されている方法が適用可能である。
上記姿勢データ収集部３６は、種々の姿勢の顔画像から得られた顔の特徴量を姿勢変動データとして収集する。上記姿勢データ収集部３６では、姿勢変動データとして、所定の複数の姿勢での顔画像から得られた顔の特徴量を収集する。つまり、上記姿勢データ収集部３６は、上記姿勢判定部３５により判定された姿勢が所定の姿勢であれば、当該姿勢の顔画像から得られた顔の特徴量を収集する。たとえば、上記姿勢データ収集部３６では、上記画像入力部２２により順次入力する各画像（フレーム）毎に生成されたＮ次元の量子ベクトルｆに基づき、自己相関行列Ｒ＝（１／ｎｉ）Σｉｆｆｔを用いて、行列Ｒの固有値とそれに対応する固有ベクトルを求める。ラベルＬｉについての特徴空間は、降順に並べられた固有値に対応する固有ベクトルをｎ＜Ｎ個抽出して構成される。
また、上記姿勢データ収集部３６では、通路内の所定の地点において、種々の姿勢の顔画像から得られた顔の特徴量（特徴ベクトルの分布ＤＡ、ＤＢ、ＤＣ）を姿勢変動データとして収集する。例えば、通路内のＡ地点、Ｂ地点、Ｃ地点で姿勢変動データを収集する場合、上記姿勢データ収集部３６は、Ａ地点、Ｂ地点、Ｃ地点の人物を撮影した種々の姿勢の顔画像から得られた顔の特徴量を各地点での姿勢変動データとして収集する。
上記歩行データ収集部３７は、上記通路内を歩行した人物の顔画像に関するデータを歩行データ（時系列パターン）として収集する。上記歩行データ収集部３７は、歩行データとして、上記通路内を実際に通行した人物について、通路内における位置、姿勢（顔の向き）、顔の特徴量などを対応づけたデータを収集する。たとえば、Ａ地点、Ｂ地点、Ｃ地点で人物を検出した時刻がｔ＝ＴＡ、ＴＢ、ＴＣであることを上記位置判定部３４により推定した場合、上記歩行データ収集部３７は、ｔ＝ＴＡ、ＴＢ、ＴＣの近傍フレームから抽出された顔の特徴量（特徴ベクトルの分布ＤＴＡ、ＤＴＢ、ＤＴＣ）をＡ、Ｂ、Ｃ地点近傍における実際に通路を歩行した場合の変動（予想しうる変動）を示す歩行データとして収集する。
上記統合部（辞書データ作成部）３８は、上記姿勢データ収集部３６により収集された姿勢データと上記歩行データ収集部３７により収集された歩行データとを統合して辞書データを作成する。
たとえば、上記姿勢データ収集部３６では、Ａ地点、Ｂ地点、Ｃ地点において予め姿勢変動データを収集している。ここで、上記姿勢データ収集部３６がＡ地点、Ｂ地点、Ｃ地点において収集した姿勢変動データにより構成される特徴ベクトルの分布をそれぞれＤＡ、ＤＢ、ＤＣとする。
また、上記歩行データ収集部３７では、ｔ＝ＴＡ、ＴＢ、ＴＣの近傍フレームにおいて上記姿勢判定部３５により判定された姿勢をＡ、Ｂ、Ｃ地点近傍での姿勢変動を示す歩行データとして収集している。ここで、上記歩行データ収集部３７がＡ、Ｂ、Ｃ地点において収集した歩行データにより構成される特徴ベクトルの分布（入力部分空間）をそれぞれＤＴＡ、ＤＴＢ、ＤＴＣとする。つまり、特徴ベクトルの分布ＤＴＡ、ＤＴＢ、ＤＴＣが実際にＡ、Ｂ、Ｃ地点を歩行した時刻として推定されたｔ＝ＴＡ、ＴＢ、ＴＣの近傍フレームより構成される特徴ベクトルの分布である。
Ａ、Ｂ、Ｃ地点における実際の歩行中の姿勢変動を含む特徴ベクトルの近似分布ＤＡ´、ＤＢ´、ＤＣ´は、それぞれＤＡ´＝ＤＡ＋ＤＴＡ、ＤＢ´＝ＤＢ＋ＤＴＢ、ＤＣ´＝ＤＣ＋ＤＴＣとして構成される。したがって、特徴ベクトルの分布ＤＡ´、ＤＢ´、ＤＣ´は、それぞれＡ、Ｂ、Ｃ地点で収集された姿勢変動データより構成される特徴ベクトルの分布ＤＡ、ＤＢ、ＤＣに対して、実際に当該人物が歩行した際の変動（予想しうる変動）を示す特徴ベクトルの分布ＤＴＡ、ＤＴＢ、ＤＴＣを反映させたものとなる。すなわち、上記のような特徴ベクトルの分布ＤＡ´、ＤＢ´、ＤＣ´は、Ａ、Ｂ、Ｃ地点で収集された姿勢変動データに実際に歩行した際の変動（予想しうる変動）を含むものとなる。これにより、上記統合部３８では、辞書データとして、姿勢変動データと歩行データとを統合させた特徴ベクトルの分布が得られる。
また、図５は、Ａ地点、Ｂ地点、Ｃ地点付近の特徴ベクトルの分布を特徴空間上にマッピングした例を示している。図５に示す例では、横軸が辞書データ（Ｒｅｆｅｒｅｎｃｅ）であり、縦軸が入力データ（Ｉｎｐｕｔ）である。図５に示す各ベクトルは、各時刻ごとの顔画像の状態を示している。従って、図５において、人物が登録時と同様に歩行した場合、各ベクトルは、スタート地点から終点までの直線を構成する。すなわち、図５に示す例では、実際に通路を人物が歩行する場合、登録時とは異なる動作を行いながら人物が通路を歩行することを示している。また、図６は、歩行データと姿勢変動データとの統合処理を概念的に示す図である。図６（ａ）に示すような各地点での歩行データとしての特徴ベクトルの分布と図６（ｂ）に示すような姿勢変動データとしての特徴ベクトルの分布とを統合することにより、辞書データとしての特徴ベクトルの分布が生成されるようになっている。
次に、上記のような第１の実施の形態の歩行者認証システムにおける登録処理について説明する。
図７及び図８は、第１の実施の形態としての登録処理の例を説明するためのフローチャートである。
辞書データの登録処理は、まず、複数の地点において登録者から姿勢変動データを収集する処理（姿勢変動データ収集処理）と、実際に登録者が通路を歩行した際の歩行データを収集する処理（歩行データ収集処理）と、姿勢変動データと歩行データとを統合して登録する処理（統合処理）とを有している。なお、図７及び図８において、姿勢変動データ収集処理の例は、後述するステップＳ１１〜Ｓ２３の処理であり、歩行データの収集処理の例は、後述するステップＳ３１〜Ｓ４０の処理であり、統合処理の例は、後述するステップＳ５１〜Ｓ５４の処理である。
まず、姿勢変動データ収集処理の例について説明する。
登録が開始されると、上記表示制御部２４は、登録者に対して最初の登録地点へ移動する旨を案内する案内画面を上記表示装置１３に表示する（ステップＳ１１）。また、上記カメラ１２は、通路内の画像を連続的に撮影し（ステップＳ１２）、撮影した画像を順次上記画像入力部２２へ供給する（ステップＳ１３）。上記画像入力部２２に画像が入力されると、上記顔検出部３１は、入力された画像から顔画像（顔の顔領域）を検出する処理を行う（ステップＳ１４）。顔画像が抽出されると、上記位置判定部３４は、検出された顔画像のサイズなどに基づいて当該人物（登録者）の当該通路内における位置を判定する（ステップＳ１５）。この判定により当該登録者の位置が所望の登録地点でないと判定された場合（ステップＳ１６、ＮＯ）、上記処理部２１は、上記ステップＳ１１へ戻り、上記表示制御部２４により所望の登録地点へ移動する旨の案内を上記表示装置１３に表示させる。
また、上記判定により当該登録者の位置が所望の登録点であると判定された場合（ステップＳ１６、ＹＥＳ）、上記特徴抽出部３２は、上記顔検出部３１により検出された顔画像から顔の特徴点及びそれらの特徴点に基づく顔の特徴量を抽出する処理を行う（ステップＳ１７）。上記特徴抽出部３２により顔の特徴点が抽出されると、上記姿勢判定部３５は、抽出された顔の特徴点の相対的な位置関係などにより姿勢（顔の向き）を判定する処理を行う（ステップＳ１８）。ここで、登録すべき姿勢は、予め種々の姿勢が決められているものとする。このため、予め決められている姿勢の顔画像から抽出した顔の特徴量を姿勢変動データとして抽出するものとする。
すなわち、上記姿勢判定部３５は、姿勢の判定結果が所望の姿勢（所定の姿勢のうち未収集の姿勢）であるか否かを判定する（ステップＳ１９）。この姿勢判定により姿勢が所望の姿勢でないと判定された場合（ステップＳ１９、ＮＯ）、上記処理部２１では、上記表示制御部２４により当該登録者に対して所望の姿勢となることを促す案内画面を上記表示装置１３に表示し（ステップＳ２２）、上記ステップＳ１２へ戻る。この場合、上記表示装置１３に表示する姿勢の変更を促す案内は、所定の順序で姿勢を変更させるような案内（たとえば、図２に示すような顔の向きを指示する案内）であっても良いし、任意の順序で姿勢を変更させるような案内であっても良い。
また、上記姿勢判定により姿勢が所望の姿勢であると判定された場合（ステップＳ１９、ＹＥＳ）、上記姿勢データ収集部３６では、上記特徴抽出部３２により抽出された顔の特徴量を当該姿勢における顔の特徴量として収集する（ステップＳ２０）。当該姿勢における顔の特徴量を収集すると、上記処理部２１では、当該地点での所定の種々の姿勢における顔の特徴量（姿勢変動データ）の収集が完了したか否かを判定する（ステップＳ２１）。
この判定により当該地点における姿勢変動データの収集が完了していないと判定した場合、つまり、当該地点で収集すべき種々の姿勢のうち未収集の姿勢があると判定した場合（ステップＳ２１、ＹＥＳ）、上記処理部２１では、上記表示制御部２４により当該登録者に対して所望の姿勢（収集すべき種々の姿勢のうち未収集の姿勢）となることを促す案内画面を上記表示装置１３に表示し（ステップＳ２２）、上記ステップＳ１２へ戻る。
また、上記判定により当該地点における姿勢変動データの収集が完了したと判定した場合（ステップＳ２１、ＹＥＳ）、上記姿勢データ収集部３６では、当該地点における姿勢変動データの収集を完了する。この際、上記姿勢データ収集部３６では、当該地点（Ａ、Ｂ、Ｃ地点）における姿勢変動データとして特徴ベクトルの分布（ＤＡ、ＤＢ、ＤＣ）を構成する。
ある地点での姿勢変動データの収集が完了した場合（ステップＳ２１、ＹＥＳ）、上記処理部２１では、所定の全地点での姿勢変動データの収集が完了したか否かを判定する（ステップＳ２３）。この判定により全地点での姿勢変動データの収集が完了していないと判定した場合（ステップＳ２３、ＮＯ）、上記処理部２１では、上記ステップＳ１１へ戻り、姿勢変動データの収集が完了していない地点への移動を促す案内を上記表示制御部２４により上記表示装置１３に表示させる。なお、通常は、当該通路の通行順路（たとえば、カメラから遠い位置へ向かう順路）で各地点における姿勢変動データの収集を行うように案内を行う。たとえば、図１に示すような構成であれば、Ｃ地点、Ｂ地点、Ａ地点の順で姿勢変動データの収集を行うような案内を行う。また、上記判定により全地点での姿勢変動データの収集が完了したと判定された場合（ステップＳ２３、ＹＥＳ）、上記処理部２１では、ステップＳ３１へ進み、姿勢変動データ収集処理を終了して歩行データ収集処理へ移行する。
次に、歩行データ収集処理の例について説明する。
上記勢変動データ収集処理が完了すると、上記処理部２１は、上記表示制御部２４により実際に通路を歩行する旨の案内を表示装置１３に表示させる（ステップＳ３１）。また、上記カメラ１２は、通路内の画像を連続的に撮影し（ステップＳ３２）、撮影した画像を順次上記画像入力部２２へ供給する（ステップＳ３３）。上記画像入力部２２に画像が入力されると、上記顔検出部３１は、入力された画像から顔画像（顔の顔領域）を検出する処理を行う（ステップＳ３４）。
顔画像が検出されると、上記位置判定部３４は、検出された顔画像のサイズなどに基づいて当該人物（登録者）の当該通路内における位置を判定する（ステップＳ３５）。また、上記特徴抽出部３２は、上記顔検出部３１により検出された顔画像から顔の特徴点及びそれらの特徴点に基づく顔の特徴量を抽出する処理を行う（ステップＳ３６）。上記特徴抽出部３２により顔の特徴点が抽出されると、上記姿勢判定部３５は、抽出された顔の特徴点の相対的な位置関係などにより姿勢（顔の向き）を判定する処理を行う（ステップＳ３７）。上記の処理によって得られた位置検出結果、特徴量、姿勢検出結果などのデータは、歩行データ収集部３７内の図示しないメモリに蓄積される（ステップＳ３８）。
また、上記歩行データ収集処理を開始した後、上記処理部２１では、当該登録者による通路内の歩行が終了したか否かを判定するようになっている（ステップＳ３９）。たとえば、上記処理部２１は、上記位置判定部３４による位置判定結果に基づいて当該登録者による通路内の歩行が終了したか否かを判定する。また、上記処理部２１は、上記顔検出部３１による顔の検出結果に基づいて当該登録者による通路内の歩行が終了したか否かを判定するようにしても良い。
当該登録者による通路内の歩行が終了したと判定されるまで（ステップＳ３９、ＮＯ）、上記処理部２１は、上記ステップＳ３２〜Ｓ３９の処理を繰り返し実行する。この結果、歩行が終了するまでのデータがメモリに蓄積される。
当該登録者による通路内の歩行が完了したと判定した場合（ステップＳ３９、ＹＥＳ）、上記歩行データ収集部３７は、所定の各地点周辺における歩行データを収集する処理を行う（ステップＳ４０）。各地点周辺の歩行データは、上記位置判定部３４による位置検出結果などに基づいて選別される。たとえば、上記歩行データ収集部３７は、上記位置判定部３４により推定される各地点を通行した時刻の近傍フレームから得られた特徴量を各地点周辺における歩行データとして選別し、それらのデータから各地点（Ａ、Ｂ、Ｃ地点）周辺における特徴ベクトルの分布（ＤＴＡ、ＤＴＢ、ＤＴＣ）を構成する。上記のような処理により、当該登録者が通路を実際に歩行した場合の各地点周辺における歩行データが収集される。
次に、統合処理の例について説明する。
姿勢変動データ収集処理と歩行データ収集処理とが完了すると、上記統合部３８は、姿勢データ収集部３６により収集された姿勢変動データと歩行データ収集部３７により収集された歩行データとを統合する処理を行う（ステップＳ５１）。ここで、姿勢変動データは、Ａ、Ｂ、Ｃ地点での特徴ベクトルの分布ＤＡ、ＤＢ、ＤＣとして収集されているものとする。また、歩行データは、Ａ、Ｂ、Ｃ地点周辺での特徴ベクトルの分布ＤＴＡ、ＤＴＢ、ＤＴＣとして収集されているものとする。この場合、姿勢変動データと歩行データとは、上述したように、Ａ、Ｂ、Ｃ地点における実際の歩行中の姿勢変動を含む特徴ベクトルの近似分布ＤＡ´、ＤＢ´、ＤＣ´として統合される。すなわち、統合された辞書データとしての特徴ベクトルの近似分布ＤＡ´、ＤＢ´、ＤＣ´は、それぞれＤＡ´＝ＤＡ＋ＤＴＡ、ＤＢ´＝ＤＢ＋ＤＴＢ、ＤＣ´＝ＤＣ＋ＤＴＣとして構成される。
上記のような姿勢変動データと歩行データとの統合が成功した場合、つまり、辞書データの作成が成功した場合（ステップＳ５２、ＹＥＳ）、上記統合部３８は、作成した辞書データを当該登録者の登録データとして辞書データ部に登録する（ステップＳ５４）。また、姿勢変動データあるいは歩行データが不足している場合などは、上記統合部３８は、辞書データの作成に失敗したものと判断する（ステップＳ５２、ＮＯ）。このような場合（ステップＳ５２、ＮＯ）、上記処理部２１では、エラー処理を行う（ステップＳ５３）。エラー処理としては、たとえば、登録に失敗した旨を表示装置１３に表示する処理などを行う。
上記のように、第１の実施の形態では、姿勢（顔の向き）を変動させた登録者の顔を撮影した複数の顔画像から姿勢変動データを収集し、さらに、実際に通路を歩行している登録者の顔を撮影した顔画像から歩行データを収集し、姿勢変動データと歩行データとを融合させた辞書データを作成し、作成した辞書データを通路内を歩行する人物を顔照合により認証するための辞書データとして登録するようにしたものである。これにより、単に姿勢変動に対応するだけでなく、実際に通路を歩行する際の傾向（予想しうる変動）を反映させた辞書データを作成することができる。この結果として、利用者に大きな負担をかけずに、高精度な顔照合が行える辞書データを作成し、登録することができる。
次に、第１の実施の形態の変形例について説明する。
上述した第１の実施の形態では、通路内の複数の地点において、姿勢変動データを収集することを前提として説明している。しかしながら、運用形態によっては、複数地点で姿勢変動データを収集しにくい状況もありうる。たとえば、ユーザへの負担軽減を優先させるために複数地点での姿勢変動データを収集しない場合、登録時において通路長が短く複数地点で姿勢変動データを収集できない場合などが考えられる。第１の実施の形態の変形例では、上記のような場合に、最低１回の姿勢変動データの収集（１つの地点での姿勢変動データの収集）により、上述した動作を実現するものである。
以下の説明では、上述した歩行者認証システムにおいて、たとえば、Ａ地点のみで姿勢変動データを収集する場合を想定して説明する。
まず、Ａ地点で収集されたデータより構成される特徴ベクトルの分布ＤＡについてＲ（θ）を姿勢変動パラメータとして、自己相関行列Ｒ＝（１／ｎｉ）Σｉ（Ｒ（θ）ｆ）（Ｒ（θ）ｆ）ｔより求められたものと考える。すると、ｔ＝ＴＡの近傍フレームより構成される特徴ベクトルの分布ＤＴＡを用いて予想しうる変動を含む事前分布（特徴ベクトルの分布）ＤＡ´は、ＤＡ´＝ＤＡ＋ＤＴＡの処理により獲得できる。
さらに、Ａ地点とＢ地点の姿勢変動データの相違について、Ｒ（θ´）を姿勢変動パラメータとして自己相関行列Ｒ´＝（１／ｎｉ）Σｉ（Ｒ（θ´）ｆ）（Ｒ（θ´）ｆ）ｔによりＢ地点における姿勢変動データとしての特徴ベクトルの分布ＤＢを推定出来る。従って，上記姿勢データ収集部３６あるいは上記統合部３８では、ｔ＝ＴＢの近傍フレームより構成されるＢ地点周辺の歩行データとしての特徴ベクトルの分布ＤＴＢを用いて、特徴ベクトルの分布ＤＢ´をＤ´＝ＤＢ＋ＤＴＢにより生成することができる。同様な手法により、Ｃ地点についても、Ｃ地点の姿勢変動データとしての特徴ベクトルの分布ＤＣを推定することができる。つまり、ｔ＝ＴＣの近傍フレームより構成されるＣ地点周辺の歩行データとしての特徴ベクトルの分布ＤＴＣを用いて、特徴ベクトルの分布ＤＣ´をＤ´＝ＤＣ＋ＤＴＣにより生成することができる。
以上により、第１の実施の形態の変形例によれば、１つの地点で収集した姿勢変動データを用いて所定の各地点における姿勢変動データを確保することができ、歩行データと統合した辞書データを作成することが可能となる。この結果として、登録時のユーザの負担を軽減でき、照合精度が良い辞書データを効率的に作成できる。
次に、第２の実施の形態について説明する。
上記第２の実施の形態は、さらに、上記第１の実施の形態で説明した処理により作成される辞書データに、さらに、照明などの環境変動を統合した辞書データを作成するものである。顔照合処理においては、顔画像を撮影した際の環境によって照合精度が左右されることがある。たとえば、一般に、同じ明るさの環境で撮影された２つの顔画像を照合する場合に比べて、異なる明るさの環境で撮影された２つの顔画像を照合する場合あるいは顔を照らす光の方向が異なる環境で撮影された２つの顔画士を照合する場合は、照合精度が低くなる。このため、辞書データに環境変動を考慮した情報を統合することにより、照合精度を向上させることが可能となる。
以下に説明する第２の実施の形態では、環境変動としての照明変動に応じた情報を辞書データに統合するものである。
図９は、第２の実施の形態に係る歩行者認証システムの構成例を示すブロック図である。なお、ここでは、歩行者認証システムは、例えば、図１に示すような運用形態を想定するものとする。
上記歩行者認証システムは、歩行者認証装置１１１、カメラ１２、表示装置１３および複数の照明１１４などにより構成される。なお、図９に示す歩行者認証システムにおけるカメラ１２及び表示装置１３は、図１あるいは図４に示すものと同様であるため詳細な説明を省略する。なお、表示装置１３の目前における登録者の種々の姿勢の顔画像を撮影するために、複数のカメラを種々の角度で設置するようにしても良い。これにより、姿勢変動データを収集するためのユーザの負担を軽減することが可能となる。この場合も、表示装置１３に表示するガイダンスにより姿勢変動させた登録者の顔画像から姿勢変動データを得る場合と同等な姿勢変動データが得られる。
また、上記歩行者認証装置１１１は、図９に示すように、処理部１２１、画像入力部２２、画像メモリ２３、表示制御部２４、辞書データ部２５、通行制御部２６および照明制御部１２７などにより構成されている。また、上記処理部１２１は、図４に示すように、各種のプログラムを実行することにより実現される機能として、顔検出部３１、特徴抽出部３２、認証部（照合部）３３、位置判定部３４、姿勢判定部３５、姿勢データ収集部３６、歩行データ収集部３７、統合部（辞書データ作成部）１３８、環境データ収集部１３９などの機能を有している。ここで、図９に示す歩行者認証装置１１１と図４に示す歩行者認証装置１１と同様な構成要素については、同一箇所に同一符号を付して詳細な説明を省略するものとする。
上記複数の照明１１４は、たとえば、表示装置１３に近傍に設置される。上記複数の照明１１４は、表示装置１３の目前における人物の顔を種々の方向や種々の明るさで照明するものである。これらの照明１１４は、人物の顔に対する撮影条件（照明などの環境）を意図的に変動させるために、上記歩行者認証装置１１１の照明制御部１２７により制御されるようになっている。
上記環境データ収集部１３９は、種々の環境（照明）条件における顔の特徴量を環境変動データとして収集する。上記環境データ収集部１３９では、種々の照明条件で撮影された顔画像から得られた顔の特徴量を環境変動データとして収集する。つまり、上記環境データ収集部１３９は、環境変動データとして、上記照明制御部１２７により制御される種々の照明条件で撮影された顔画像から得られた顔の特徴量を収集する。たとえば、上記環境データ収集部１３９では、ここで、環境変動パラメータをＬ（θi）すると、自己相関行例Ｒ＝（１／ｎｉ）Σｉ（Ｌ（θ）ｆ）（Ｌ（θ）ｆ）ｔにより行列Ｒの固有値とそれに対応する固有ベクトルが得られる。これが、環境変動データＤＬであるものとする。
また、上記姿勢データ収集部３６では、上記第１の実施の形態と同様な手法により、表示装置１３の目前における姿勢変動データを収集する。つまり、上記姿勢データ収集部３６は、表示装置１３の目前における種々の姿勢の登録者の顔を撮影した顔画像から得られた顔の特徴量を姿勢変動データとして収集するものとする。ここで、姿勢変動パラーメータがＲ（θi）であるとすると、自己相関行例Ｒ＝（１／ｎｉ）Σｉ（Ｒ（θi）ｆ）（Ｒ（θi）ｆ）ｔにより行列Ｒの固有値とそれに対応する固有ベクトルが得られる。これが、姿勢変動データＤＰＮＬであるものとする。
また、上記歩行データ収集部３７は、上記第１の実施の形態と同様に、上記通路内を歩行した人物の顔画像に関するデータを歩行データ（時系列パターン）として収集する。たとえば、上記歩行データ収集部３７は、Ａ地点で人物を検出した時刻（ｔ＝ＴＡ）を推定し、ｔ＝ＴＡの近傍フレームから抽出された顔の特徴量（特徴ベクトル）から作成される自己相関行列Ｒ＝（１／２ε）Σ｜ｔ−ＴＡ｜＜ε（ｆ）（ｆ）ｔを用いて、歩行データとしての特徴ベクトルの分布（部分空間）を生成する。
上記統合部（辞書データ作成部）３８は、上記姿勢データ収集部３６により収集された姿勢変動データＤＰＮＬと上記環境データ収集部１３９により収集された環境変動データＤＬと上記歩行データ収集部３７により収集された歩行データＤＴとを統合して辞書データを作成する。なお、上記歩行データ収集部３７により収集された歩行データＤＴに上記姿勢データ収集部３６により収集された姿勢変動データＤＰＮＬを投影した特徴ベクトルの分布（部分空間）と、上記歩行データ収集部３７により収集された歩行データＤＴに上記環境データ収集部１３９により収集された環境変動データＤＬを射影した特徴ベクトルの分布（部分空間）とを辞書データとして作成するようにしても良い。
次に、第２の実施の形態の歩行者認証システムにおける登録処理時の登録者の動作について概略的に説明する。
上述しように、第２の実施の形態では、姿勢変動データと環境変動データと歩行データとを収集し、それらのデータを統合することにより、辞書データを作成する。ここで、姿勢変動データと環境変動データとは、表示装置１３の目前を登録地点として、その地点における登録者の顔を撮影した画像から収集されるものとする。
図１０は、姿勢変動データを収集する際の様子を模式的に示す図である。
図１０に示すように、姿勢変動データを収集する場合、登録者は、表示装置１３の目前で種々の姿勢となる。この際、登録者は、表示装置１３に表示される姿勢を変更する旨のガイダンスに従って姿勢を変更する。このようなガイダンスに応じた姿勢の登録者の顔がカメラ１２により撮影される。従って、姿勢変動データの収集処理では、ガイダンスに応じた種々の姿勢の登録者の顔画像を撮影し、それらの顔画像から姿勢変動データとしての顔の特徴量を収集するようになっている。
図１１は、環境変動データを収集する際の様子を模式的に示す図である。
図１１に示すように、環境変動データを収集する場合、上記表示装置１３の目前の登録者は、種々の照明条件で顔画像が撮影される。この際、各照明１１４は、所定の種々の条件で制御される。それらの照明条件において、上記カメラ１２は、登録者の顔画像を撮影する。すなわち、環境変動データの収集処理では、所定の種々の照明条件の元で登録者の顔画像を撮影し、それらの顔画像から環境変動データとしての顔の特徴量を収集するようになっている。
図１２は、歩行データを収集する際の様子を模式的に示す図である。
図１２に示すように、歩行データを収集する場合、歩行中の登録者の顔画像が撮影される。すなわち、歩行データの収集処理では、実際に登録者が歩行している状態で、当該登録者の顔画像を撮影し、それらの顔画像から歩行データとしての顔の特徴量を収集するようになっている。
次に、第２の実施の形態の歩行者認証システムにおける登録処理について説明する。
図１３、図１４及び図１５は、第２の実施の形態としての辞書データの登録処理の例を説明するためのフローチャートである。
辞書データの登録処理は、姿勢変動データを収集する処理（姿勢変動データ収集処理）と、環境変動データを収集する処理（環境変動データ収集処理）と、実際に登録者が通路を歩行した際の歩行データを収集する処理（歩行データ収集処理）と、姿勢変動データ、環境変動データおよび歩行データを統合してそれらの統合したデータを辞書データとして登録する処理（統合処理）とを有している。
なお、図１３、図１４及び図１５において、姿勢変動データ収集処理の例は、後述するステップＳ１１１〜Ｓ１２２の処理であり、環境変動データ収集処理の例は、後述するステップＳ１３１〜Ｓ１４４の処理であり、歩行データ収集処理の例は、後述するステップＳ１５１〜Ｓ１６０の処理であり、統合処理の例は、後述するステップＳ１７１〜Ｓ１７４の処理である。また、姿勢変動データ収集処理、環境変動データ収集処理および歩行データ収集処理は、図１３、図１４及び図１５に示す順序に限定されるものではなく、任意の順序で実行するようにしても良い。
まず、姿勢変動データ収集処理の例について説明する。
登録が開始されると、上記表示制御部２４は、登録者に対して表示装置１３の目前（所榮の登録地点）へ移動する旨を案内する案内画面を上記表示装置１３に表示する（ステップＳ１１１）。また、上記カメラ１２は、表示装置１３の目前の人物の顔を含む画像（顔画像）を撮影し（ステップＳ１１２）、撮影した画像を上記画像入力部２２へ供給する（ステップＳ１１３）。上記画像入力部２２に画像が入力されると、上記顔検出部３１は、入力された画像から顔画像（顔の顔領域）を検出する処理を行う（ステップＳ１１４）。顔画像が抽出されると、上記位置判定部３４は、検出された顔画像のサイズなどに基づいて当該人物（登録者）が所定の登録地点であるか否かを判定する（ステップＳ１１５）。この判定により当該登録者の位置が所定の登録地点でないと判定された場合（ステップＳ１１６、ＮＯ）、上記処理部２１は、上記ステップＳ１１１へ戻り、上記表示制御部２４により所定の登録地点へ移動する旨の案内を上記表示装置１３に表示させる。
また、上記判定により当該登録者の位置が所定の登録地点であると判定された場合（ステップＳ１１６、ＹＥＳ）、上記特徴抽出部３２は、上記顔検出部３１により検出された顔画像から顔の特徴点及びそれらの特徴点に基づく顔の特徴量を抽出する処理を行う（ステップＳ１１７）。上記特徴抽出部３２により顔の特徴点が抽出されると、上記姿勢判定部３５は、抽出された顔の特徴点の相対的な位置関係などにより姿勢（顔の向き）を判定する処理を行う（ステップＳ１１８）。ここで、登録すべき姿勢は、予め種々の姿勢が決められているものとする。このため、予め決められている姿勢の顔画像から抽出した顔の特徴量を姿勢変動データとして抽出するものとする。
すなわち、上記姿勢判定部３５は、姿勢の判定結果が所望の姿勢（所定の姿勢のうち未収集の姿勢）であるか否かを判定する（ステップＳ１１９）。この姿勢判定により姿勢が所望の姿勢でないと判定された場合（ステップＳ１１９、ＮＯ）、上記処理部２１では、上記表示制御部２４により当該登録者に対して所望の姿勢となることを促す案内画面を上記表示装置１３に表示し（ステップＳ１２２）、上記ステップＳ１１２へ戻る。この場合、上記表示装置１３に表示する姿勢の変更を促す案内は、所定の順序で姿勢を変更させるような案内（たとえば、図２に示すような顔の向きを指示する案内）であっても良いし、任意の順序で姿勢を変更させるような案内であっても良い。
また、上記姿勢判定により姿勢が所望の姿勢であると判定された場合（ステップＳ１１９、ＹＥＳ）、上記姿勢データ収集部３６では、上記特徴抽出部３２により抽出された顔の特徴量を当該姿勢における顔の特徴量として収集する（ステップＳ１２０）。当該姿勢における顔の特徴量を収集すると、上記処理部２１では、当該地点での所定の種々の姿勢における顔の特徴量（姿勢変動データ）の収集が完了したか否かを判定する（ステップＳ１２１）。
この判定により当該地点における姿勢変動データの収集が完了していないと判定した場合、つまり、当該地点で収集すべき種々の姿勢のうち未収集の姿勢があると判定した場合（ステップＳ１２１、ＹＥＳ）、上記処理部２１では、上記表示制御部２４により当該登録者に対して所望の姿勢（収集すべき種々の姿勢のうち未収集の姿勢）となることを促す案内画面を上記表示装置１３に表示し（ステップＳ１２２）、上記ステップＳ１１２へ戻る。
また、上記判定により当該地点における姿勢変動データの収集が完了したと判定した場合（ステップＳ１２１、ＹＥＳ）、上記姿勢データ収集部３６では、当該地点における姿勢変動データの収集を完了する。この際、上記姿勢データ収集部３６では、当該地点における姿勢変動データとして特徴ベクトルの分布ＤＰＮＬを構成する。
上記表示装置１３の目前（所定の登録地点）での姿勢変動データの収集が完了した場合（ステップＳ１２１、ＹＥＳ）、上記処理部２１では、ステップＳ１３１へ進み、姿勢変動データ収集処理を終了して環境データ収集処理へ移行する。なお、複数の地点で上記姿勢変動データを収集する場合、上記第１の実施の形態と同様に、各地点において上述したような姿勢変動データを収集する処理を行う。また、上記第１の実施の形態の変形例で説明した手法により、所定の１地点で収集した姿勢変動データを用いて複数の地点（たとえば、Ａ、Ｂ、Ｃ地点）における姿勢変動データを生成するようにしても良い。
次に、環境変動データ収集処理の例について説明する。
上記環境変動データ収集処理が完了すると、上記処理部２１は、上記照明制御部１２７により所定の照明条件で各照明１１４を制御（点灯）する（ステップＳ１３１）。すると、上記カメラ１２は、表示装置１３の目前の人物の顔を含む画像（顔画像）を撮影し（ステップＳ１３２）、撮影した画像を上記画像入力部２２へ供給する（ステップＳ１３３）。上記画像入力部２２に画像が入力されると、上記顔検出部３１は、入力された画像から顔画像（顔の顔領域）を検出する処理を行う（ステップＳ１３４）。顔画像が抽出されると、上記位置判定部３４は、検出された顔画像のサイズなどに基づいて当該人物（登録者）が所定の登録地点であるか否かを判定する（ステップＳ１３５）。この判定により当該登録者の位置が所定の登録地点でないと判定された場合（ステップＳ１３６、ＮＯ）、上記処理部２１は、上記表示制御部２４により所定の登録地点へ移動する旨の案内を上記表示装置１３に表示させ、上記ステップＳ１３２へ戻る。
また、上記判定により当該登録者の位置が所定の登録地点であると判定された場合（ステップＳ１３６、ＹＥＳ）、上記特徴抽出部３２は、上記顔検出部３１により検出された顔画像から顔の特徴点及びそれらの特徴点に基づく顔の特徴量を抽出する処理を行う（ステップＳ１３７）。上記特徴抽出部３２により顔の特徴点が抽出されると、上記姿勢判定部３５は、抽出された顔の特徴点の相対的な位置関係などにより姿勢（顔の向き）を判定する処理を行う（ステップＳ１３８）。ここで、種々の照明条件で撮影する顔画像は、所定の姿勢であるものとする。このため、上記姿勢判定部３５は、姿勢の判定結果が所定の姿勢であるか否かを判定する（ステップＳ１３９）。この姿勢判定により所定の姿勢でないと判定された場合（ステップＳ１４０、ＮＯ）、上記処理部２１では、上記表示制御部２４により当該登録者に対して所定の姿勢となることを促す案内画面を上記表示装置１３に表示し（ステップＳ１４１）、上記ステップＳ１３２へ戻る。
また、上記姿勢判定により姿勢が所望の姿勢であると判定された場合（ステップＳ１４０、ＹＥＳ）、上記姿勢データ収集部３６では、上記特徴抽出部３２により抽出された顔の特徴量を当該照明条件における顔の特徴量として収集する（ステップＳ１４２）。当該照明条件における顔の特徴量を収集すると、上記処理部２１では、所定の種々の照明条件における顔の特徴量（環境変動データ）の収集が完了したか否かを判定する（ステップＳ１４３）。
この判定により環境変動データの収集が完了していないと判定した場合（ステップＳ１４３、ＹＥＳ）、上記処理部２１では、別の照明条件（収集すべき種々の姿勢のうち未収集の姿勢）に変更し（ステップＳ１４４）、上記ステップＳ１３１へ戻る。これにより、別の照明条件で照明が制御され、その照明条件における顔の特徴量が収集される。
また、上記判定により環境変動データの収集が完了したと判定した場合（ステップＳ１４３、ＹＥＳ）、上記姿勢データ収集部３６では、収集した顔の特徴量により環境変動データとしての特徴ベクトルの分布ＤＰＮＬを生成する。これにより、上記処理部２１では、ステップＳ１５１へ進み、環境変動データ収集処理を終了して歩行データ収集処理へ移行する。なお、複数の地点で上記環境変動データを収集する場合、各地点において上述したような環境変動データを収集する処理を行うようにすれば良い。また、上記第１の実施の形態の変形例で説明した手法により、所定の１地点で収集した環境変動データを用いて複数の地点（たとえば、Ａ、Ｂ、Ｃ地点）における環境変動データを生成するようにしても良い。
次に、歩行データ収集処理の例について説明する。
上記環境変動データ収集処理が完了すると、上記処理部２１は、上記表示制御部２４により実際に通路を歩行する旨の案内を表示装置１３に表示させる（ステップＳ１５１）。また、上記カメラ１２は、通路内の画像を連続的に撮影し（ステップＳ１５２）、撮影した画像を順次上記画像入力部２２へ供給する（ステップＳ１５３）。上記画像入力部２２に画像が入力されると、上記顔検出部３１は、入力された画像から顔画像（顔の顔領域）を検出する処理を行う（ステップＳ１５４）。
顔画像が検出されると、上記位置判定部３４は、検出された顔画像のサイズなどに基づいて当該人物（登録者）の当該通路内における位置を判定する（ステップＳ１５５）。また、上記特徴抽出部３２は、上記顔検出部３１により検出された顔画像から顔の特徴点及びそれらの特徴点に基づく顔の特徴量を抽出する処理を行う（ステップＳ１５６）。上記特徴抽出部３２により顔の特徴点が抽出されると、上記姿勢判定部３５は、抽出された顔の特徴点の相対的な位置関係などにより姿勢（顔の向き）を判定する処理を行う（ステップＳ１５７）。上記の処理によって得られた位置検出結果、特徴量、姿勢検出結果などのデータは、歩行データ収集部３７内の図示しないメモリに蓄積される（ステップＳ１５８）。
また、上記歩行データ収集処理を開始した後、上記処理部２１では、当該登録者による通路内の歩行が終了したか否かを判定するようになっている（ステップＳ１５９）。たとえば、上記処理部２１は、上記位置判定部３４による位置判定結果に基づいて当該登録者による通路内の歩行が終了したか否かを判定する。また、上記処理部２１は、上記顔検出部３１による顔の検出結果に基づいて当該登録者による通路内の歩行が終了したか否かを判定するようにしても良い。
当該登録者による通路内の歩行が終了したと判定されるまで（ステップＳ１５９、ＮＯ）、上記処理部２１は、上記ステップＳ３２〜Ｓ３９の処理を繰り返し実行する。この結果、歩行が終了するまでのデータがメモリに蓄積される。
当該登録者による通路内の歩行が完了したと判定した場合（ステップＳ１５９、ＹＥＳ）、上記歩行データ収集部３７は、所定の各地点周辺における歩行データを収集する処理を行う（ステップＳ１６０）。各地点周辺の歩行データは、上記位置判定部３４による位置検出結果などに基づいて選別される。たとえば、上記歩行データ収集部３７は、上記位置判定部３４により推定される各地点を通行した時刻の近傍フレームから得られた特徴量を各地点周辺における歩行データとして選別し、それらのデータから各地点（Ａ、Ｂ、Ｃ地点）周辺における特徴ベクトルの分布（ＤＴＡ、ＤＴＢ、ＤＴＣ）を構成する。上記のような処理により、当該登録者が通路を実際に歩行した場合の各地点周辺における歩行データが収集される。
次に、統合処理の例について説明する。
姿勢変動データ収集処理と歩行データ収集処理とが完了すると、上記統合部３８は、姿勢データ収集部３６により収集された姿勢変動データと、環境データ収集部１３９により収集された環境変動データと、歩行データ収集部３７により収集された歩行データとを統合する処理を行う（ステップＳ１７１）。ここで、姿勢変動データ、環境変動データおよび歩行データの統合処理は、上述したように、姿勢変動データとしての特徴ベクトルの分布（部分空間）、環境変動データとしての特徴ベクトルの分布（部分空間）および歩行データとしての特徴ベクトルの分布（部分空間）をそれぞれ射影した特徴ベクトルの分布（部分空間）として辞書データを作成するものである。
上記のような姿勢変動データ、環境変動データ及び歩行データの統合が成功した場合、つまり、辞書データの作成が成功した場合（ステップＳ１７２、ＹＥＳ）、上記統合部１３８は、作成した辞書データを当該登録者の登録データとして辞書データ部２５に登録する（ステップＳ１７４）。また、姿勢変動データ、環境データあるいは歩行データが不足している場合などは、上記統合部１３８は、辞書データの作成に失敗したものと判断する（ステップＳ１７２、ＮＯ）。このような場合（ステップＳ１７２、ＮＯ）、上記処理部２１では、エラー処理を行う（ステップＳ１７３）。エラー処理としては、たとえば、登録に失敗した旨を表示装置１３に表示する処理などを行う。
上記のように、第２の実施の形態では、姿勢（顔の向き）を変動させた登録者の顔を撮影した複数の顔画像から姿勢変動データを収集し、照明条件を変動させた状態で撮影した登録者の複数の顔画像から環境変動データを収集し、さらに、実際に通路を歩行中の登録者の顔を撮影した顔画像から歩行データを収集し、姿勢変動データと環境変動データと歩行データとを融合させた辞書データを作成し、作成した辞書データを通路内を歩行する人物を顔照合により認証するための辞書データとして登録するようにしたものである。
これにより、第２の実施の形態の歩行者認証システムでは、姿勢変動および環境変動などに対応するだけでなく、実際に通路を歩行する際の傾向（予想しうる変動）を反映させた辞書データを作成することができる。この結果として、利用者に大きな負担をかけずに、高精度な顔照合が行える辞書データを作成し、登録することができる。
次に、第３の実施の形態について説明する。
第３の実施の形態では、顔写真あるいは記憶媒体としてのメモリに記憶されている顔画像データから姿勢変動データを収集する。さらに、姿勢変動データを収集した人物の歩行データについては、カメラにより撮影した顔画像から得られた特徴量と姿勢変動データとの照合により一致した人物あるいは管理者が指定した人物が通路を歩行中に収集する。すなわち、第３の実施の形態は、人物（登録者）に登録処理を意識させずに、辞書データを作成するものである。なお、以下に説明する第３の実施の形態の処理は、姿勢変動データを収集するための顔画像の入力元が写真あるいは記憶媒体であること以外は上記第１の実施の形態（第１の実施の形態の変形例）とほぼ同様な流れで実施される処理であるものとする。
図１６は、第３の実施の形態に係る歩行者認証システムの構成例を示す図である。
図１６に示す歩行者認証システムでは、歩行者認証装置２１１に読取装置２１５が接続された構成となっている。上記読取装置２１５は、顔を含む画像の画像データを記録媒体（たとえば、写真などの顔画像が印刷されている印刷物、あるいは、顔画像データをメモリに記憶した記憶媒体）から読み取るためのスキャナあるいはメモリリーダなどである。また、図１６に示す歩行者認証装置２１１の構成例では、図４に示す第１の実施の形態に係る歩行者認証装置２１１の構成例に加えて読取装置２１５から画像データを入力するためのインターフェース２２８を具備している。なお、図１６に示す歩行者認証装置２１１では、図４に示す歩行者認証装置２１１の構成と同様な部分については同一箇所に同一符号を付して詳細な説明を省略するものとする。
上記インターフェース２２８は、読取装置２１５から画像データを入力するためのものである。たとえば、読取装置２１５がスキャナである場合、上記インターフェース２２８は、上記スキャナが顔を含む画像が印刷されている写真などの印刷物から画像を光学的に読み取って電気信号に変換した画像（顔画像）データを入力する。また、上記読取装置２１５がメモリリーダである場合、上記インターフェース２２８は、顔を含む画像のデータが記憶されている記憶媒体としてのメモリから上記メモリリーダが読み出した画像（顔画像）データを入力する。
第３の実施の形態に係る歩行者認証装置２１１では、写真あるいは記憶媒体から姿勢変動データを生成するための顔画像を取得する。このため、第３の実施の形態の歩行者認証装置２１１では、所望の種々の姿勢における顔画像が全て収集できない場合も想定される。このような場合であっても、図１６に示す姿勢データ収集部２３６では、上記インターフェース２２８から入力した各画像における顔画像から姿勢変動データを収集する。たとえば、２種類の姿勢の顔画像しか得られなかった場合であっても、上記姿勢データ収集部２３６は、それらの顔画像から姿勢変動データを生成する。また、たとえば、コンピュータグラフィックス技術などを用いて、上記インターフェース２２８から得られた顔画像から種々の姿勢の顔画像を擬似的に作成し、それらの顔画像から姿勢変動データを収集あるいは生成するようにしても良い。すなわち、上記姿勢データ収集部２３６では、上記インターフェース２２８を介して得られた画像だけから姿勢変動データを生成する。
また、上記歩行データ収集部３７は、上記第１の実施の形態で説明したように、上記通路を実際に歩行している人物を撮影した画像から歩行データを収集する。但し、第３の実施の形態では、登録処理として表示装置１３に表示した案内に従って通路を歩行させた人物の顔画像を収集するシステムではない（つまり、第３の実施の形態では、人物（登録者）に意識させずに歩行データを収集するシステムである）。このため、歩行者認証装置２１１は、当該人物に意識させない状態で人物を特定し、その特定された人物の歩行データを収集する。
たとえば、歩行中の人物は、カメラ１２が撮影した歩行中の人物の顔画像から得られた特徴量（特徴ベクトル）と予め写真あるいはメモリから収集した顔画像に基づいて生成された姿勢変動データ（特徴ベクトルの分布）との照合によって特定する。また、上記カメラ１２で撮影した画像を監視している管理者が人物を特定し、その特定した人物を示す情報を上記管理者が図示しない操作部により入力するようにしても良い。
次に、上記のような第３の実施の形態の歩行者認証システムにおける登録処理について説明する。
図１７及び図１８は、第３の実施の形態に係る辞書データの登録処理の例を説明するためのフローチャートである。
図１７及び図１８において、後述するステップＳ２１１〜Ｓ２２３の処理は、第３の実施の形態としての姿勢変動データ収集処理であり、後述するステップＳ２３１〜Ｓ２４０の処理は、第３の実施の形態としての歩行データの収集処理であり、後述するステップＳ５１〜Ｓ５４の処理は、第３の実施の形態としての統合処理である。なお、以下の説明では、図１７及び図１８に示す処理おいて、図７及び図８と同等な処理については、詳細な説明を省略するものとする。
まず、管理者は、登録すべき人物の顔が写っている写真あるいは登録すべき人物の顔画像データが記憶されている記憶媒体を読取装置２１５により読み取らせる。上記読取装置２１５により読み取った顔を含む画像の画像データは、上記インターフェース２２８により歩行者認証装置２１１に取り込まれる。こららの画像データは、画像メモリ２３などに格納される。上記インターフェース２２８を介して画像データが入力されると、歩行者認証装置２１１の処理部２２１では、入力した各画像について順次後述する処理を施す。
すなわち、上記インターフェース２２８により画像データが入力されると、上記顔検出部３１は、入力された画像データから顔画像（顔の領域）を検出する処理を行う（ステップＳ２１４）。顔画像が抽出されると、上記特徴抽出部３２は、上記顔検出部３１により検出された顔画像から顔の特徴点及びそれらの特徴点に基づく顔の特徴量を抽出する処理を行う（ステップＳ２１７）。上記特徴抽出部３２により顔の特徴点が抽出されると、上記姿勢判定部３５は、抽出された顔の特徴点の相対的な位置関係などにより姿勢（顔の向き）を判定する処理を行う（ステップＳ２１８）。
また、上記姿勢判定部３５により姿勢が判定されると、上記姿勢データ収集部２３６は、上記特徴抽出部３２により抽出された顔の特徴量を当該姿勢における顔の特徴量として収集する（ステップＳ２２０）。当該姿勢における顔の特徴量を収集すると、上記処理部２２１では、姿勢変動データを収集するための次の顔画像データがあるか否かを判定する（ステップＳ２２１）。上記処理部２２１では、たとえば、読取装置２１５が読み取っていない画像データであるか否か、あるいは、上記インターフェース２２８により入力した全ての画像データについて顔の特徴量の収集が完了したか否かにより、姿勢変動データを収集するための次の顔画像データがあるか否かを判定する。
上記判定により姿勢変動データを収集するための次の顔画像データがあると判定した場合（ステップＳ２２１、ＮＯ）、上記処理部２２１は、上記ステップＳ２１１あるいは上記ステップＳ２１３からの処理を繰り返し実行する。
また、上記判定により姿勢変動データを収集するための次の顔画像データがないと判定した場合（ステップＳ２２１、ＮＯ）、上記姿勢データ収集部２３６は、上記ステップＳ２２０で収集した顔の特徴量（インターフェース２２８により入力した各画像データから得られた特徴量）により姿勢変動データを生成する（ステップＳ２２２）。なお、通路内の複数地点における姿勢変動データが必要である場合、上記姿勢データ収集部２３６は、上記第１の実施の形態の変形例で説明した手法により、通路内の各地点における姿勢変動データを生成するようにしても良い。
当該人物の姿勢変動データを生成すると、上記処理部２２１は、生成された姿勢変動データを当該人物の辞書データとして一旦辞書データ部２５に登録する（ステップＳ２２３）。これにより、上記歩行者認証装置２１１では、姿勢変動データを辞書データとして人物の認証処理（顔照合処理）が実行可能な状態となる。ここで、姿勢変動データを一旦辞書データとして登録するのは、歩行データを収集すべき人物を顔照合により抽出（特定）するためである。
すなわち、上記のような処理により姿勢変動データが辞書データとして辞書データ部２５に登録されている状態において、上記歩行者認証装置２１１では、上記カメラ１２により撮影した画像から得られる特徴量と辞書データとを照合（顔照合）することにより人物の認証処理を行う（ステップＳ２３０）。この認証処理によって歩行データを収集する必要のない人物が特定された場合、つまり、歩行データが統合済みの辞書データの人物が特定された場合（ステップＳ２３１、ＮＯ）、上記処理部２２１は、上記ステップＳ２３０へ戻り、認証処理を繰り返し実行する。
また、上記認証処理によって、姿勢変動データが辞書データとして登録されている人物、つまり、歩行データが統合されていない辞書データの人物が特定された場合（ステップＳ２３１、ＹＥＳ）、上記処理部２２１では、当該人物の歩行データの収集処理を行う（ステップＳ２３２〜Ｓ２４０）。なお、ステップＳ２３２〜Ｓ２４０の処理は、上記第１の実施の形態で説明した上記ステップＳ３２〜Ｓ４０の処理と同様である。このため、ステップＳ２３２〜Ｓ２４０の処理については、詳細な説明を省略する。
上記歩行データの収集処理が完了すると、上記処理部２２１は、姿勢変動データと歩行データとの統合及び登録（更新）処理を行う（ステップＳ２５１〜Ｓ２５４）。なお、ステップＳ２５１〜Ｓ２５４の処理は、上記第１の実施の形態で説明した上記ステップＳ５１〜Ｓ５４の処理と同様である。このため、ステップＳ２５１〜Ｓ２５４の処理については、詳細な説明を省略する。
上記のような第３の実施の形態の歩行者認証装置では、写真あるいは記憶媒体から人物の顔を含む画像の複数の画像データを読み込み、それらの読み込んだ画像データから特徴量を抽出し、それらの特徴量から当該人物の姿勢変動データを生成し、さらに、生成した姿勢変動データと歩行データとを統合した辞書データを生成し、生成した辞書データを登録する。これにより、第３の実施の形態の歩行者認証装置によれば、登録者に対して辞書データの登録処理を意識させることなく、当該登録者の辞書データを生成及び登録することができる。
なお、第３の実施の形態の変形例として、以下のような形態で姿勢変動データを収集するようにしても良い。たとえば、ある人物の顔画像が複数の異なる記憶媒体に記録されている場合、上記歩行者認証装置２１１では、それらの記憶媒体から当該人物の顔画像を順次取り込んで姿勢変動データを収集するようにしても良い。また、１つの記憶媒体に複数の人物の顔画像が記録されている場合、それらの顔画像について顔照合処理を行い、各人物ごとの顔画像を抽出し、それらの顔画像により各人物ごとの姿勢変動データを収集するようにしても良い。
第１の実施の形態に係る歩行者認証システムの運用形態の例を説明するための図である。 表示装置に表示される案内画面の例を示す図である。 Ａ、Ｂ、Ｃ地点の人物を撮影した場合の顔画像のサイズの例を示す図である。 第１の実施の形態に係る歩行者認証システムの構成例を示すブロック図である。 Ａ、Ｂ、Ｃ地点付近の特徴ベクトルの分布を特徴空間上にマッピングした例を示している。 歩行データと姿勢変動データとの統合処理を概念的に示す図である。 第１の実施の形態としての辞書データの登録処理における姿勢変動データ収集処理を説明するためのフローチャートである。 第１の実施の形態としての辞書データの登録処理における歩行データ収集処理と統合処理を説明するためのフローチャートである。 第２の実施の形態に係る歩行者認証システムの構成例を示すブロック図である。 姿勢変動データを収集する際の様子を模式的に示す図である。 環境変動データを収集する際の様子を模式的に示す図である。 歩行データを収集する際の様子を模式的に示す図である。 第２の実施の形態としての辞書データの登録処理における姿勢変動データ収集処理を説明するためのフローチャートである。 第２の実施の形態としての辞書データの登録処理における環境変動データ収集処理を説明するためのフローチャートである。 第２の実施の形態としての辞書データの登録処理における歩行データ収集処理と統合処理を説明するためのフローチャートである。 第３の実施の形態に係る歩行者認証システムの構成例を示す図である。 第３の実施の形態としての辞書データの登録処理における姿勢変動データ収集処理を説明するためのフローチャートである。 第３の実施の形態としての辞書データの登録処理における歩行データ収集処理と統合処理を説明するためのフローチャートである。
符号の説明
１１、１１１、２１１…歩行者認証装置、１２…カメラ、１３…表示装置、２１、１２１、２２１…処理部、２２…画像入力部、２３…画像メモリ、２４…表示制御部、２５…辞書データ部、２６…通行制御部、３１…顔検出部、３２…特徴抽出部、３３…認証部、３４…位置判定部、３５…姿勢判定部、３６、２３６…姿勢データ収集部、３７…歩行データ収集部、３８、１３８…統合部、１１４…照明、１２７…照明制御部、１３９…環境データ収集部、２１５…読取装置、２２８…インターフェース

Claims (10)

  1. 歩行者を認証するための辞書データを登録する登録装置において、
    画像を入力する画像入力手段と、
    この画像入力手段により入力した画像から人物の顔画像を検出する顔検出手段と、
    前記画像入力手段により入力した登録者の種々の姿勢の顔を撮影した複数の画像における複数の顔画像から得られる複数の顔データを収集する第１のデータ収集手段と、
    前記画像入力手段により入力した歩行中の前記登録者の顔を撮影した複数の画像における複数の顔画像から得られる複数の顔データを収集する第２のデータ収集手段と、
    前記第１のデータ収集手段により収集された顔データと前記第２のデータ収集手段により収集された顔データとを統合する統合手段と、
    この統合手段により統合したデータを前記登録者の辞書データとして記憶する記憶手段と、
    を有することを特徴する辞書データの登録装置。
  2. さらに、前記顔検出手段により検出した顔画像における姿勢を判定する姿勢判定手段を有し、
    前記第１のデータ収集手段は、前記姿勢判定手段による所望の姿勢であると判定された顔画像から得られる顔データを収集する、
    ことを特徴とする前記請求項１に記載の辞書データ登録装置。
  3. 前記第１のデータ収集手段は、所定地点に存在する前記登録者の種々の姿勢の顔を撮影した複数の画像における複数の顔画像から得られる複数の顔データを収集し、
    前記第２のデータ収集手段は、前記所定地点周辺を歩行中の前記登録者を撮影した複数の画像における複数の顔画像から得られる複数の顔データを収集する、
    ことを特徴とする前記請求項１又は２に記載の辞書データ登録装置。
  4. さらに、前記顔検出手段により検出された顔画像に基づいて前記登録者の位置を判定する位置判定手段を有し、
    前記第２のデータ収集手段は、前記位置判定手段により前記所定地点周辺を歩行中であると判定された前記登録者の顔を撮影した複数の画像から得られる顔データを収集する、
    ことを特徴とする前記請求項３に記載の辞書データ登録装置。
  5. 歩行者を認証するための辞書データを登録する登録装置において、
    画像を入力する画像入力手段と、
    この画像入力手段により入力した画像から人物の顔画像を検出する顔検出手段と、
    前記画像入力手段により入力した登録者の種々の姿勢の顔を撮影した複数の画像における複数の顔画像から得られる複数の顔データを収集する第１のデータ収集手段と、
    前記画像入力手段により入力した照明条件を変動させて前記登録者の顔を撮影した複数の画像における複数の顔画像から得られる複数の顔データを収集する第２のデータ収集手段と、
    前記第１のデータ収集手段により収集された顔データと前記第２のデータ収集手段により収集された顔データとを統合する統合手段と、
    この統合手段により統合したデータを前記登録者の辞書データとして記憶する記憶手段と、
    を有することを特徴する辞書データの登録装置。
  6. さらに、前記登録者に対して姿勢の変動を促す案内を表示する表示手段を有する、
    ことを特徴とする前記請求項１乃至５に記載の辞書データの登録装置。
  7. 前記画像入力手段は、認証対象者が歩行する通路内の画像を連続的に撮影するカメラから画像を順次入力するものである、
    ことを特徴とする前記請求項１乃至５に記載の辞書データの登録装置。
  8. 前記画像入力手段は、登録者の顔を含む画像が記録されている記録媒体から画像データを入力するものである、
    ことを特徴とする前記請求項１乃至５に記載の辞書データの登録装置。
  9. 歩行者を認証するための辞書データの登録方法であって、
    登録者の種々の姿勢の顔を撮影した複数の画像を入力し、
    それらの入力画像から種々の姿勢の顔画像を検出し、
    それらの種々の姿勢の顔画像から得られる複数の顔データを前記登録者の姿勢変動データとして収集し、
    歩行中の前記登録者の顔を撮影した複数の画像を入力し、
    それらの入力画像から歩行中の変動を含む複数の顔画像を検出し、
    それらの歩行中の変動を含む顔画像から得られる複数の顔データを前記登録者の歩行データとして収集し、
    前記姿勢変動データと前記歩行データとを統合し、
    この統合したデータを前記登録者の辞書データとして記憶手段に記憶する、
    ことを特徴する辞書データの登録方法。
  10. 歩行者を認証するための辞書データの登録方法であって、
    登録者の種々の姿勢の顔を撮影した複数の画像を入力し、
    それらの入力画像から種々の姿勢の顔画像を検出し、
    それらの種々の姿勢の顔画像から得られる複数の顔データを前記登録者の姿勢変動データとして収集し、
    照明条件を変動させて前記登録者の顔を撮影した複数の画像を入力し、
    それらの入力画像から照明変動を含む複数の顔画像を検出し、
    それらの照明変動を含む顔画像から得られる複数の顔データを前記登録者の環境変動データとして収集し、
    前記姿勢変動データと前記環境変動データとを統合し、
    この統合したデータを前記登録者の辞書データとして記憶手段に記憶する、
    ことを特徴する辞書データの登録方法。
JP2007086132A 2007-03-29 2007-03-29 辞書データの登録装置及び辞書データの登録方法 Pending JP2008243093A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2007086132A JP2008243093A (ja) 2007-03-29 2007-03-29 辞書データの登録装置及び辞書データの登録方法
PCT/JP2008/054996 WO2008120576A1 (ja) 2007-03-29 2008-03-18 辞書データの登録装置及び辞書データの登録方法
US12/568,341 US8385608B2 (en) 2007-03-29 2009-09-28 Dictionary data registration apparatus and dictionary data registration method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007086132A JP2008243093A (ja) 2007-03-29 2007-03-29 辞書データの登録装置及び辞書データの登録方法

Publications (1)

Publication Number Publication Date
JP2008243093A true JP2008243093A (ja) 2008-10-09

Family

ID=39808158

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007086132A Pending JP2008243093A (ja) 2007-03-29 2007-03-29 辞書データの登録装置及び辞書データの登録方法

Country Status (3)

Country Link
US (1) US8385608B2 (ja)
JP (1) JP2008243093A (ja)
WO (1) WO2008120576A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010262601A (ja) * 2009-05-11 2010-11-18 Canon Inc パターン認識システム及びパターン認識方法
JP2011129120A (ja) * 2009-12-18 2011-06-30 General Electric Co <Ge> 一群の個人の歩行特性を監視するためのシステム及び方法
WO2012042631A1 (ja) * 2010-09-30 2012-04-05 富士通フロンテック株式会社 登録プログラム、登録装置、および登録方法
US9436981B2 (en) 2011-12-12 2016-09-06 Nec Corporation Dictionary creation device, image processing device, image processing system, dictionary creation method, image processing method, and program
US11380132B2 (en) 2019-09-13 2022-07-05 Fujitsu Limited Face image processing apparatus and face image processing method
US20230308615A1 (en) * 2017-10-22 2023-09-28 Todd Martin Streamlined Facial Recognition Event Entry System and Method

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4459788B2 (ja) * 2004-11-16 2010-04-28 パナソニック株式会社 顔特徴照合装置、顔特徴照合方法、及びプログラム
JP5226370B2 (ja) * 2008-04-18 2013-07-03 株式会社東芝 読影レポート作成支援システム
JP5753966B2 (ja) * 2010-08-05 2015-07-22 パナソニックＩｐマネジメント株式会社 顔画像登録装置および方法
US10255491B2 (en) * 2010-11-19 2019-04-09 Nikon Corporation Guidance system, detection device, and position assessment device
KR20120139100A (ko) * 2011-06-16 2012-12-27 삼성전자주식회사 얼굴 인증을 이용한 보안 장치 및 방법
JP5755046B2 (ja) * 2011-06-22 2015-07-29 キヤノン株式会社 画像認識装置、画像認識方法及びプログラム
KR20150046852A (ko) * 2013-10-23 2015-05-04 삼성전자주식회사 전자 장치 및 전자 장치의 암호를 이용한 인증 방법
JP5920894B2 (ja) 2013-11-07 2016-05-18 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および顔識別用データの登録方法
CN106921500B (zh) * 2017-03-22 2020-06-12 深圳先进技术研究院 一种移动设备的身份认证方法及装置
US11010595B2 (en) 2017-03-23 2021-05-18 Samsung Electronics Co., Ltd. Facial verification method and apparatus
US10643063B2 (en) * 2018-04-09 2020-05-05 Qualcomm Incorporated Feature matching with a subspace spanned by multiple representative feature vectors
US20220335461A1 (en) * 2020-03-19 2022-10-20 Nec Corporation Visit promotion apparatus, system, method, and non-transitory computer-readable medium storing program

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69914370T2 (de) * 1998-12-02 2004-11-04 The Victoria University Of Manchester Bestimmung von gesichtsunterräumen
JP2004511870A (ja) * 2000-10-10 2004-04-15 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 画像に基づく認識を介した装置制御
JP3974375B2 (ja) 2001-10-31 2007-09-12 株式会社東芝 人物認識装置、人物認識方法および通行制御装置
JP2004265231A (ja) * 2003-03-03 2004-09-24 Toshiba Corp 顔画像記録システム及び顔画像記録方法
JP2004356730A (ja) * 2003-05-27 2004-12-16 Toshiba Corp 画像撮影装置および画像認識装置
US7986339B2 (en) * 2003-06-12 2011-07-26 Redflex Traffic Systems Pty Ltd Automated traffic violation monitoring and reporting system with combined video and still-image data
JP2005056004A (ja) 2003-08-07 2005-03-03 Omron Corp 顔照合装置、顔照合方法、および顔照合プログラム
JP4339762B2 (ja) * 2003-09-02 2009-10-07 富士フイルム株式会社 認証システム、及びプログラム
JP4303602B2 (ja) * 2004-01-09 2009-07-29 本田技研工業株式会社 顔面像取得システム
JP2007004584A (ja) * 2005-06-24 2007-01-11 Toshiba Corp 情報処理装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010262601A (ja) * 2009-05-11 2010-11-18 Canon Inc パターン認識システム及びパターン認識方法
US8938117B2 (en) 2009-05-11 2015-01-20 Canon Kabushiki Kaisha Pattern recognition apparatus and method therefor configured to recognize object and another lower-order object
JP2011129120A (ja) * 2009-12-18 2011-06-30 General Electric Co <Ge> 一群の個人の歩行特性を監視するためのシステム及び方法
WO2012042631A1 (ja) * 2010-09-30 2012-04-05 富士通フロンテック株式会社 登録プログラム、登録装置、および登録方法
CN103003840A (zh) * 2010-09-30 2013-03-27 富士通先端科技株式会社 登记程序、登记装置以及登记方法
JPWO2012042631A1 (ja) * 2010-09-30 2014-02-03 富士通フロンテック株式会社 登録プログラム、登録装置、および登録方法
JP5509335B2 (ja) * 2010-09-30 2014-06-04 富士通フロンテック株式会社 登録プログラム、登録装置、および登録方法
US9436981B2 (en) 2011-12-12 2016-09-06 Nec Corporation Dictionary creation device, image processing device, image processing system, dictionary creation method, image processing method, and program
US20230308615A1 (en) * 2017-10-22 2023-09-28 Todd Martin Streamlined Facial Recognition Event Entry System and Method
US11882389B2 (en) * 2017-10-22 2024-01-23 Todd Martin Streamlined facial recognition event entry system and method
US11380132B2 (en) 2019-09-13 2022-07-05 Fujitsu Limited Face image processing apparatus and face image processing method

Also Published As

Publication number Publication date
WO2008120576A1 (ja) 2008-10-09
US8385608B2 (en) 2013-02-26
US20100067751A1 (en) 2010-03-18

Similar Documents

Publication Publication Date Title
JP2008243093A (ja) 辞書データの登録装置及び辞書データの登録方法
US11188734B2 (en) Systems and methods for performing fingerprint based user authentication using imagery captured using mobile devices
JP5008269B2 (ja) 情報処理装置、情報処理方法
US9626551B2 (en) Collation apparatus and method for the same, and image searching apparatus and method for the same
JP4241763B2 (ja) 人物認識装置及びその方法
US7856122B2 (en) Method and device for collating biometric information
US8498454B2 (en) Optimal subspaces for face recognition
KR101240043B1 (ko) 대조 장치, 디지털 화상 처리 시스템, 대조 장치 제어 프로그램, 컴퓨터 판독 가능한 기록 매체, 및 대조 장치의 제어 방법
KR102554391B1 (ko) 홍채 인식 기반 사용자 인증 장치 및 방법
JP4476744B2 (ja) 撮像システム、及びプログラム
JP2000259814A (ja) 画像処理装置及びその方法
MX2012010602A (es) Aparato para el reconocimiento de la cara y metodo para el reconocimiento de la cara.
JP7151875B2 (ja) 画像処理装置、画像処理方法、およびプログラム
US20090016577A1 (en) Collation sytem and computer readable medium storing thereon program
JP6265592B2 (ja) 顔特徴抽出装置および顔認証システム
JP5783759B2 (ja) 認証装置、認証方法、および認証プログラム、並びに記録媒体
US20210406567A1 (en) Authentication device, authentication method, and recording medium
KR20110092848A (ko) 얼굴 인증 및 등록방법
WO2020115910A1 (ja) 情報処理システム、情報処理装置、情報処理方法、およびプログラム
Lee et al. Improvements in video-based automated system for iris recognition (vasir)
JP6873639B2 (ja) 画像処理装置、画像処理方法およびプログラム
KR101031369B1 (ko) 얼굴 인식 장치 및 그 방법
US20160188856A1 (en) Authentication device, authentication method, and non-transitory computer readable medium
JP7103443B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2014075098A (ja) 顔特徴抽出装置および顔認証システム