JP2001351104A - パターン認識方法及びパターン認識装置、並びにパターン照合方法及びパターン照合装置 - Google Patents

パターン認識方法及びパターン認識装置、並びにパターン照合方法及びパターン照合装置

Info

Publication number
JP2001351104A
JP2001351104A JP2000168560A JP2000168560A JP2001351104A JP 2001351104 A JP2001351104 A JP 2001351104A JP 2000168560 A JP2000168560 A JP 2000168560A JP 2000168560 A JP2000168560 A JP 2000168560A JP 2001351104 A JP2001351104 A JP 2001351104A
Authority
JP
Japan
Prior art keywords
pattern
class
feature extraction
patterns
cab
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000168560A
Other languages
English (en)
Inventor
Kenji Nagao
健司 長尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2000168560A priority Critical patent/JP2001351104A/ja
Priority to EP01112830A priority patent/EP1162566A3/en
Priority to US09/874,199 priority patent/US6865296B2/en
Publication of JP2001351104A publication Critical patent/JP2001351104A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【課題】 比較する2つのタイプのパターンセットの間
で、データの取得条件が大きく変化している場合でも、
入力パターンがデータベースに登録しているどのパター
ンクラスに対応するかを認識、並びに、2つのタイプの
パターンが同一のクラスに由来するかどうか照合するこ
とを目的とする。 【解決手段】 それぞれのパターンセットの内部、及
び、2つのパターンセットまたがって、異なるクラスに
対応するパターン間の散らばりであるクラス間分散を最
大化し、同一のクラスに含まれパターンの間の散らばり
であるクラス内分散を最小化する特徴抽出手段を備え
る。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、画像や音声等の認
識を行うパターン認識方法及びパターン認識装置、並び
にパターン照合方法及びパターン照合装置に関する。
【0002】
【従来の技術】パターン認識とは、カメラやイメージス
キャナ、マイクなどのセンシグデバイスを介してコンピ
ュータに取り込まれた、実体の表現、例えば、実体とし
て人物の顔や、文字人の声などを想定すれば、顔の画像
や、音声のシグナルを、その実体などとの対応を基本に
分類したりすることである。従って、(1)同一の実体
にに由来しながらも、センシング時の状況などに依存し
て、見かけ上、異なった様相の散らばりを呈すること、
即ち、クラス内の分散と(2)実体の相違ゆえに、パタ
ーンに現れる相違、即ち、クラス間の分散の、2つの変
動要因を扱う技術であると言える。従来、パターン認識
の技術分野において、評価の高い方法は、まず、パター
ン全体の集合に対応した一つの標本空間を仮定し、その
上で、クラス内の分散を最小化し、クラス間の分散を最
大化するような一貫した関数を個々の入力データに対し
て適用することで、特徴抽出を実行するという基本的な
モデルに基づくものであった。例えば、Fisher の判別
分析法(Fukunaga: Introduction to Statistical Patte
rn Recognition, Academic Press, 1972)、はその代表
例として極めてよく知られており、実際、文字認識や音
声認識、顔画像認識などの分野ではしばしば利用されて
きた。
【0003】
【発明が解決しようとする課題】しかし、従来法におけ
る仮定、即ち、パターン全体が大域的な一つの分布から
引かれているとするモデルは、しばしば、現実の問題か
ら見ると無理のある設定となっている。例えば、身分証
の顔写真と、ビデオカメラで直接取り込んだ顔画像の照
合を実行するシステムを考察すると、一方は、対象を直
接撮影したのに対して、他方は、印刷物などから間接的
に取り込まれた画像であり、これらを比べて同一性を判
定する必要があるわけである。しかしながら、全く異な
ったプロセスから生成された全ての画像の集合を一つの
分布に由来すると仮定するには、画像の変貌があまりに
大きく、実際、身分証写真と本人の照合は、我々人間に
とってもしばしば困難な作業となる。従って、従来のモ
デルにおける、パターン全体を一つの分布で記述し、分
類すべき入力データに対して一貫して共通の特徴抽出関
数を適用するというアプローチには限界があるという課
題を有していた。
【0004】本発明は、2つにまたがるクラス内分散を
最小化し、クラス間分散を最大化するという統一的な基
準を満足する、最適な特徴抽出を実行するため、従来法
に比べ格段に高精度なパターン認識及びパターン照合を
行うことを目的とする。
【0005】
【課題を解決するための手段】上記課題を解決するため
に、本発明では、2つの条件CA、CBのもとで獲得さ
れたパターンセットA1、B1に対して、それぞれのパ
ターンセット内部にとどまらず、パターンセット間にま
たがり、異なるクラス(異なる実体)に対応するパター
ン間の散らばりであるクラス間分散を最大化し、同一の
クラスに対応するセットA1、セットB1のパターンの
間のクラス内の散らばりであるクラス内分散を最小化す
るセットA1の特徴抽出行列AF、及びセットB1の特
徴抽出行列BFを求める特徴抽出行列生成手段を有する
ものである。
【0006】これにより、従来法に比べ格段に高精度な
パターン認識/照合装置が実現できる。
【0007】
【発明の実施の形態】本発明の請求項1に記載の発明
は、同一の実体(一つのクラス)から2つのセンシング
プロセスCA、CBを通して獲得されたパターンのペア
の集合(パターンのペアは1対1である必要はない、単
に、同一の実体に由来するという対応がついていればよ
い)である教示用パターンセット(A1、B1)に対し
て、それぞれのパターンセット内部にとどまらず、パタ
ーンセット間にまたがり、異なるクラス(異なる実体)
に対応するパターン間の散らばりであるクラス間分散を
最大化し、同一のクラスに対応するセットA1、セット
B1のパターンの間のクラス内の散らばりであるクラス
内分散を最小化するセットA1の特徴抽出行列AF、及
びセットB1の特徴抽出行列BFを求め、教示用パター
ンセットB1のそれぞれのクラスiの代表パターンB1
iに対して、前記特徴抽出行列BFを用いて特徴量fB
1iを計算し、これら特徴量fB1iの集合{fB1
i}と前記特徴抽出行列AFとBFを予め参照データベ
ースに保存し、入力されたパターンA2jに対して前記
特徴抽出行列AFを適用して抽出した特徴量fA2j
と、前記参照データベースFB1に保存された特徴量の
中で最も類似した要素を決定するようにしたもので、比
較する2つのデータセットA1、B1の分布に応じて、
クラス内分散を最小化し、クラス間分散を最大化すると
いう統一的な基準を満足する、それぞれ最適な特徴抽出
行列が得られるため、高精度なパターン認識を可能にす
るという作用を有する。
【0008】請求項2に記載の発明は、請求項1記載の
パターン認識方法において、特徴抽出行列AF及びBF
は、2つのプロセスで獲得したパターンの集合である教
示用パターンセットA1とB1を獲得し、教示用パター
ンセットA1及びセットB1のパターンセットから、そ
れぞれパターンセット内のクラス間分散 Ca-b、Cb-b、
また、パターンセットA1内のクラス内分散Ca-wを推定
するステップと、パターンセットA1とB1のそれぞれ
の対応する要素のペアの集合から、それらのA1、B1
にまたがったクラス内分散Cab-w、 クラス間分散Cab-b
を計算するステップと、前記5つの統計量 Ca-b、Cb-b、
Ca-w、Cab-w、Cab-b のうち、Ca-b、Cb-b、Cab-bを最大
化し、Ca-w、Cab-wを最小化するという統一的な基準を
満足する、それぞれ最適な特徴抽出行列が得られるた
め、高精度なパターン認識を可能にするという作用を有
する。
【0009】請求項3に記載の発明は、一つのクラス
(同一の実体)から2つの条件CA、CBのもと獲得さ
れたパターンのペアの集合である教示用パターンセット
(A1、B1)に対して、それぞれのパターンセット内
部にとどまらず、パターンセット間にまたがり、異なる
クラス(異なる実体)に対応するパターン間の散らばり
であるクラス間分散を最大化し、同一のクラスに対応す
るセットA1、セットB1のパターンの間のクラス内の
散らばりであるクラス内分散を最小化するセットA1の
特徴抽出行列AF、及びセットB1の特徴抽出行列BF
を求め、2つの条件下で獲得した入力パターンa、bか
ら前記特徴抽出行列AF、BFを用いてそれぞれ特徴量
fa、fbを計算し、特徴量faとfbの類似度から2
つのパターンaとパターンbが同一のものであるかどう
かを判定するようにしたもので、比較する2つのデータ
セットA1、B1の分布に応じて、それぞれのパターン
セット内部にとどまらず、パターンセット間にまたが
り、クラス内分散を最小化し、クラス間分散を最大化す
るという統一的な基準を満足する、それぞれ最適な特徴
抽出行列が得られるため、高精度なパターン照合を可能
にするという作用を有する。
【0010】請求項4に記載の発明は、請求項3記載の
パターン照合方法において、特徴抽出行列AF及びBF
は、条件CA、CBのもとで獲得したパターンの集合で
ある教示用パターンセットA1とB1を獲得し、教示用
パターンセットA1及びセットB1のパターンセットか
ら、それぞれパターンセットA1、B1内のクラス間分
散Ca-b、Cb-b、また、クラス内分散Ca-w、Cb-wを推定す
るステップと、パターンセットA1とB1のそれぞれの
対応する要素のペアの集合から、それらのA1、B1に
またがったクラス内分散 Cab-w、クラス間分散 Cab-bを
計算するステップと、前記6つの統計量 Ca-b、Cb-b、C
a-w、Cb-w、Cab-w、Cab-bのうち、Ca-b、 Cb-b、Cab-b
を最大化し、Ca-w、Cb-w、Cab-wを最小化するという統
一的な基準を満足する、それぞれ最適な特徴抽出行列が
得られるため、高精度なパターン認識を可能にするとい
う作用を有する。
【0011】請求項5に記載の発明は、同一の実体(一
つのクラス)から2つの条件CA、CBでパターンのペ
アの集合である教示用パターンセット(A1、B1)を
獲得するパターン入力手段と、異なるクラス(異なる実
体)に対応するパターン間の散らばりであるクラス間分
散を最大化し、同一のクラスに対応するセットA1、セ
ットB1のパターンの間のクラス内の散らばりであるク
ラス内分散を最小化するセットA1の特徴抽出行列A
F、及びセットB1の特徴抽出行列BFを求める特徴抽
出行列生成手段と、教示用パターンセットB1のそれぞ
れのクラスiの代表パターンB1iに対して、前記特徴
抽出行列BFを用いて特徴量fB1iを計算し、これら
特徴量fB1iの集合{fB1i}と前記特徴抽出行列
BFとを予め参照データベースFB1に保存し、入力さ
れたパターンA2jに対して前記特徴抽出行列AFを適
用して抽出した特徴量fA2jと最も類似した要素を前
記参照データベースFB1の中から選ぶ最適マッチ決定
手段とを具備するもので、比較する2つのデータセット
A1、B1の分布に応じて、それぞれ最適な特徴抽出行
列が得られるため、高精度なパターン認識を可能にする
という作用を有する。
【0012】請求項6に記載の発明は、請求項5記載の
パターン認識装置において、特徴抽出行列AF及びBF
は、2つのプロセスで獲得したパターンの集合である教
示用パターンセットA1とB1を獲得し、教示用パター
ンセットA1及びセットB1のパターンセットから、そ
れぞれパターンセットA1、B1内のクラス間分散 Ca-
b、Cb-b、また、クラス内分散Ca-wを推定するステップ
と、パターンセットA1とB1のそれぞれの対応する要
素のペアの集合から、それらのA1、B1にまたがった
クラス内分散Cab-w、クラス間分散Cab-bを計算するステ
ップと、前記5つの統計量 Ca-b、Cb-b、Ca-w、Cb-w、C
ab-w、Cab-bのうち、Ca-b、Cb-b、Cab-bを最大化し、Ca
-w、Cb-w、Cab-wを最小化するという統一的な基準を満
足する、それぞれ最適な特徴抽出行列が得られるため、
高精度なパターン認識がを可能にするという作用を有す
る。
【0013】請求項7に記載の発明は、同一の実体(一
つのクラス)から2つの条件でパターンのペアの集合で
ある教示用パターンセット(A1、B1)を獲得するパ
ターン入力手段と、異なるクラス(異なる実体)に対応
するパターン間の散らばりであるクラス間分散を最大化
し、同一のクラスに対応するセットA1、セットB1の
パターンの間のクラス内の散らばりであるクラス内分散
を最小化するセットA1の特徴抽出行列AF、及びセッ
トB1の特徴抽出行列BFを求める特徴抽出行列生成手
段と、パターン入力手段から入力された入力パターン
a、bから前記特徴抽出行列AF及びBFを用いてそれ
ぞれ特徴量fa、fbを計算する特徴抽出手段と、特徴
量faとfbの類似度から2つのパターンaとパターン
bが同一のものであるかどうかを判定する同一性判定手
段を具備するもので、比較する2つのデータセットA
1、B1の分布に応じて、クラス内分散を最小化し、ク
ラス間分散を最大化するという統一的な基準を満足す
る、それぞれ最適な特徴抽出行列が得られるため、高精
度なパターン照合を可能にするという作用を有する。
【0014】請求項8に記載の発明は、請求項7記載の
パターン照合装置において、特徴抽出行列AF及びBF
は、2つのプロセスで獲得したパターンの集合である教
示用パターンセットA1とB1を獲得し、教示用パター
ンセットA1及びセットB1のパターンセットから、そ
れぞれパターンセットA1、B1内のクラス間分散Ca-
b、Cb-b、また、クラス内分散Ca-w、Cb-wを推定するス
テップと、パターンセットA1とB1のそれぞれの対応
する要素のペアの集合から、それらのA1、B1にまた
がったクラス内分散 Cab-w、クラス間分散 Cab-bを計算
するステップと、前記6つの統計量Ca-b、Cb-b、Ca-w、
Cb-w、Cab-w、Cab-bのうち、Ca-b、Cb-b、 Cab-bを最大
化し、Ca-w、Cb-w、Cab-wを最小化するという統一的な
基準を満足する、それぞれ最適な特徴抽出行列が得られ
るため、高精度なパターン照合を可能にするという作用
を有する。
【0015】請求項9に記載の発明は、コンピュータに
記録媒体から読み込まれたプログラムによって動作する
もので、コンピュータによりパターン認識を行うプログ
ラムを記録した記録媒体であって、同一の実体(一つの
クラス)から2つのセンシングプロセスを通してパター
ンのペアの集合である教示用パターンセット(A1、B
1)を獲得するパターン入力手段と、それぞれのパター
ンセット内部にとどまらず、パターンセット間にまたが
り、異なるクラス(異なる実体)に対応するパターン間
の散らばりであるクラス間分散を最大化し、同一のクラ
スに対応するセットA1、セットB1のパターンの間の
クラス内の散らばりであるクラス内分散を最小化するセ
ットA1の特徴抽出行列AF、及びセットB1の特徴抽
出行列BFを求める特徴抽出行列生成手段と、教示用パ
ターンセットB1のそれぞれのクラスiの代表パターン
B1iに対して、前記特徴抽出行列BFを用いて特徴量
fB1iを計算し、これら特徴量fB1iの集合{fB
1i}と前記特徴抽出行列BFとを予め参照データベー
スFB1に保存し、入力されたパターンA2jに対して
前記特徴抽出行列AFを適用して抽出した特徴量fA2
jと最も類似した要素を前記参照データベースFB1の
中から選ぶ最適マッチ決定手段とを具備するもので、比
較する2つのデータセットA1、B1の分布に応じて、
それぞれ最適な特徴抽出行列が得られるため、高精度な
パターン認識を可能にするという作用を有する。
【0016】請求項10に記載の発明は、コンピュータ
に記録媒体から読み込まれたプログラムによって動作す
るもので、コンピュータによりパターン照合を行うプロ
グラムを記録した記録媒体であって、同一の実体(一つ
のクラス)から2つのセンシングプロセスを通してパタ
ーンのペアの集合である教示用パターンセット(A1、
B1)を獲得するパターン入力手段と、それぞれのパタ
ーンセット内部にとどまらず、パターンセット間にまた
がり、異なるクラス(異なる実体)に対応するパターン
間の散らばりであるクラス間分散を最大化し、同一のク
ラスに対応するセットA1、セットB1のパターンの間
のクラス内の散らばりであるクラス内分散を最小化する
セットA1の特徴抽出行列AF、及びセットB1の特徴
抽出行列BFを求める特徴抽出行列生成手段と、パター
ン入力手段から入力された入力パターンa、bから前記
特徴抽出行列AF及びBFを用いてそれぞれ特徴量f
a、fbを計算する特徴抽出手段と、特徴量faとfb
の類似度から2つのパターンaとパターンbが同一のも
のであるかどうかを判定する同一性判定手段を具備する
もので、比較する2つのデータセットA1、B1の分布
に応じて、クラス内分散を最小化し、クラス間分散を最
大化するという統一的な基準を満足する、それぞれ最適
な特徴抽出行列が得られるため、高精度なパターン照合
を可能にするという作用を有する。
【0017】以下、本発明の実施の形態について、図面
を用いて説明する。
【0018】(実施の形態1)図1に、本発明の実施の
形態1におけるパターン認識装置を身分証照合に適用し
た顔画像認識装置のブロック構成図を示し説明する。
【0019】図1は、顔画像認識装置をコンピュータシ
ステムで実現したものである。図1において、1は人物
の顔画像(パターンセットA)を直接撮影するためのビ
デオカメラ、2は身分証の顔写真(パターンセットB)
から顔画像を取り込むためのイメージスキャナ、3、4
はビデオカメラ1およびイメージスキャナ2からの画像
信号を記憶する画像メモリA、B、5はプログラムの格
納やワーク用のメモリ、6はCPU、7、8はそれぞれ
A、Bの画像パターンや、特徴抽出の実行によって計算
された特徴パターンを記憶するパターンメモリA、B、
9はシステムコンソールとしてのキーボード&ディスプ
レイ、10は画像パターン情報など大規模なデータを保
存するための2次記憶装置(光磁気ディスクなど)、1
1は参照画像データベース、12〜16は外部機器との
データのやり取りを行うインタフェース(I/F)、1
7はシステムバス、18は認識結果を出力する出力端
子、19、20はそれぞれパターンA、パターンBのた
めの特徴抽出行列AF、BFを格納する特徴抽出行列メ
モリ、21はコンピュータシステムで構成されている。
【0020】顔画像認識装置は、予め多くの人の身分証
がイメージスキャナ等により顔画像をデータベースに登
録しておき、ビデオカメラで撮像した顔画像の人物の該
当者がデータベースの中にいるか、あるいは登録された
身分証のどれに一番類似しているかを認識するものであ
る。その処理は、ビデオ画像用の特徴徴抽出行列AFの
計算と身分証画像用の特徴抽出行列BFの計算、さら
に、参照画像データベースFB1の構築を行うオフライ
ン処理と、入力された顔画像が参照画像データベースF
B1に登録済みの人物かどうかの判定と、登録済みであ
ればその最も類似したものをデータベースのエントリか
ら選ぶオンライン処理とに大別される。
【0021】まず、最初にオフライン処理について、図
2のオフライン処理動作フローを用いて説明する。オフ
ライン処理の目的は、画像メモリに一旦蓄えられた教示
画像から特徴抽出行列AF、BFを計算し、さらに、パ
ターンセット、即ち、身分証画像から特徴ベクトルを抽
出しておくことにある。まず、ビデオカメラからの顔画
像はセットA1(ビデオ顔画像)と、イメージスキャナ
からの身分証の顔画像はセットB1(身分証写真)とし
て、例えば顔画像データは1次元のデータ列としたパタ
ーンAとパターンBに変換してパターンメモリAとパタ
ーンメモリBに保持する(S11)。この場合、一般的
には、ビデオカメラからは、各人について複数枚の顔画
像が、また、身分証画像からは各人1枚の顔画像がえら
れる。
【0022】特徴抽出行列AF及びBFは、以下のステ
ップ12(S12)〜ステップ14(S14)の手順で計
算される。まず、パターンセットA1のクラス内分散行
列Ca-w、クラス間分散Ca-bが、それぞれ(数1)(数2)
に従って計算され、並行して、パターンセットB1のク
ラス間分散行列Cb-bが、(数3)に従って計算される
(S12)。
【0023】
【数1】
【0024】
【数2】
【0025】
【数3】
【0026】続いて、(数4)に従って計算されるパタ
ーンセットAとパターンセットBの相互相関行列Cab-r
が計算される(S13)。
【0027】
【数4】
【0028】次に、(数5)(数6)に従って、パター
ンセットA1、B1のそれぞれに対して、特徴抽出行列
AF、BFを計算する(S14)。
【0029】
【数5】
【0030】
【数6】
【0031】この特徴抽出関数の妥当性は、以下のよう
に説明される。まず、Cab-r は、(数7)に示される、
パターンセットAとパターンセットBにまたがるクラス
内分散行列Cab-wと(数8)に示される関係があるた
め、Cab-wの最小化は、Ca-b、Cb-bの最小化、及びCab-r
の最大化と等価である。
【0032】
【数7】
【0033】
【数8】
【0034】ここで(数9)に示されるような評価基準
Sは、パターンセットA1、パターンセットB1のそれ
ぞれの内部で、また、2つのパターンセットにまたがっ
て、クラス内分散を最小化し、クラス間分散を最大化す
るときにのみ最大化される。
【0035】
【数9】
【0036】また、評価基準Sを最大化するような特徴
抽出関数fa = AF(X^a)、fb =BF(X^b)は、(数10)
を最大化するAF、BFに一致する。
【0037】
【数10】
【0038】この(数10)を最大化する準最適な特徴
抽出行列の一つが、(数5)(数6)で示されるAF、
BFである。
【0039】続いて、参照画像データベースFB1構築
のために、教示画像入力の場合と同様に身分証顔画像を
イメージスキャナから取り込み(データベースB1)、
そのおのおののクラスの代表パターンB1iを(数1
0)に従って計算し、それに対して特徴抽出行列BFを
用いて(数11)に従って特徴ベクトルfB1iを計算
し、参照画像データベースFB1に登録する(S1
5)。
【0040】
【数11】
【0041】以上がオフラインで実行されるプロセスで
ある。
【0042】次に、オンライン処理について、オンライ
ン処理の動作フローを図3に示し説明する。オンライン
処理の目的は、入力された顔画像が参照画像データベー
スFB1に登録済みの人物かどうかの判定と、登録済み
であればその最も類似したものをデータベースのエント
リから選ぶことである。
【0043】ビデオカメラ1から直接取り込まれた顔画
像は、画像メモリA7に記憶され、入力されたパターン
aをパターンA2jに変換してパターンメモリAに転送
する(S30)。パタンメモリAに保持されたパターン
A2jに対して、オフライン時に求めた特徴抽出行列メ
モリ19からの特徴抽出行列AFが適用され、(数1
2)に従って特徴ベクトルfA2jが計算される(S3
1)。
【0044】
【数12】
【0045】次に、最適マッチ処理で、参照データベー
スFB1のエントリのインデックスiを変化させ、特徴
ベクトルfA2jに類似した特徴ベクトルを参照画像デ
ータベースから選びだし(S32)、これら(1つ以
上)を認識結果として、出力端子18に出力するもので
ある(S33)。
【0046】なお、参照画像データベースは、身分証か
らイメージスキャナによりその顔画像をデータベース化
したが、ビデオカメラから顔画像を入力しデータベース
を構築しても構わない。また、パターン入力手段とし
て、イメージスキャンとビデオカメラを用いたが、どち
らか1方であっても良く、他の入力手段であっても構わ
ない。
【0047】また、顔画像データ、パターンセットA、
B及び参照画像データベースFB1をオフラインで作成
したが、二次記憶装置10から入力することも可能であ
る。さらに、オフラインで獲得、作成した、顔画像デー
タ、パターンセットA、B及び参照画像データベースF
B1を二次記憶装置10に格納することも可能である。
【0048】なお、本実施の形態では、顔画像認識装置
を例にして説明したが、顔以外に車、組み立て部品等の
画像データ、あるいは音声データ、文字データ等、パタ
ーンデータ化することによりパターン認識装置として幅
広く応用が可能である。
【0049】(実施の形態2)本発明の実施の形態2の
パターン照合装置を身分証照合に適用した顔画像照合装
置のブロック構成図を示し説明する。顔画像照合装置の
ブロック構成図は、実施の形態1の顔画像認識装置と同
じ、コンピュータシステムを用いて実現したもので、ブ
ロック構成図の説明は省略する。
【0050】顔画像照合装置は、身分証の顔画像とビデ
オカメラの顔画像が同一のものかどうかを判定するもの
で、その処理は予め多くの人の身分証がイメージスキャ
ナ等により顔画像と、ビデオカメラで撮像した顔画像と
を獲得し、特徴抽出行列AF、BFの計算を行うオフラ
イン処理と、イメージスキャナから入力された顔画像
(パターンA)とビデオカメラから入力した顔画像(パ
ターンB)から特徴抽出行列を用いて特徴量を計算し、
特徴量同士の類似度から同一かどうかを判定するオンラ
イン処理とに大別される。
【0051】最初にオフライン処理について、図4のオ
フライン処理動作フローを用いて説明する。オフライン
処理の目的は、特徴抽出行列AF、BFの計算にある。
【0052】まず、ビデオカメラ1から得られた人物顔
の画像信号がI/F12を介してデジタル変換された画
像メモリA3に蓄積される。並行して、当人の身分証顔
写真からイメージスキャナ2によって身分証の顔画像が
獲得されI/F13を介して画像メモリB4に蓄積され
る(S10)。この過程は、特徴抽出行列Fの学習に必
要な十分な教示画像の数が得られるまで(例えば150
00人分程度)収集される。
【0053】画像メモリに一旦蓄えられた教示画像は、
ビデオカメラからの多数の顔画像はセットA1(顔画
像)として、イメージスキャナからの多数の身分証の顔
画像はセットB1(身分証写真)として、例えば1次元
のデータ列としてパターンAとパターンBに変換してパ
ターンメモリAとパターンメモリBに保持する(S1
1)。 特徴抽出行列AF及びBFは、以下のステップ
12(S12)〜ステップ14(S14)の手順で計算さ
れる。
【0054】まず、パターンセットA1のクラス内分散
行列Ca-w、クラス間分散Ca-bが、それぞれ(数1)(数
2)に従って計算され、並行して、パターンセットB1の
クラス間分散行列Cb-bが、(数3)に従って計算される
(S12)。続いて、(数4)に従って計算されるパタ
ーンセットAとパターンセットBの相互相関行列Cab-r
が計算される(S13)。
【0055】次に、(数5)(数6)に従って、パター
ンセットA1、B1のそれぞれに対して、特徴抽出行列
AF、BFを計算する(S14)。この特徴抽出関数の
妥当性は、以下のように説明される。
【0056】まず、Cab-r は、(数7)に示される、パ
ターンセットAとパターンセットBにまたがるクラス内
分散行列Cab-wと(数8)に示される関係があるため、C
ab-wの最小化は、Ca-b、Cb-bの最小化、及びCab-rの最
大化と等価である。ここで(数9)に示されるような評
価基準Sは、パターンセットA1、パターンセットB1
のそれぞれの内部で、また、2つのパターンセットにま
たがって、クラス内分散を最小化し、クラス間分散を最
大化するときにのみ最大化される。
【0057】また、評価基準Sを最大化するような特徴
抽出関数fa = AF(X^a)、fb =BF(X^b)は、(数10)
を最大化するAF、BFに一致する。この(数10)を
最大化する準最適な特徴抽出行列の一つが、(数5)
(数6)で示されるAF、BFである。
【0058】以上がオフラインで実行されるプロセスで
ある。
【0059】次に、オンライン処理について、オンライ
ン処理の動作フローを図5に示し説明する。オンライン
処理の目的は、イメージスキャナ1から入力された身分
証の顔画像とビデオカメラ2からの顔画像とが同一人物
かどうかを判定するものである。
【0060】ビデオカメラ1から直接取り込まれた顔画
像(A/D変換後)とイメージスキャナ2から得られた
顔画像は、画像メモリA3、画像メモリB4に入力さ
れ、入力された顔画像は画像メモリA3、画像メモリB
4から読み出され、例えば一次元のデータ列に変換さ
れ、パターンメモリA7及びパターンメモリB8に転送
される(S50)。
【0061】パターンメモリA、Bのパターンa2及び
パターンb2は、オフライン時に予め求めた特徴抽出行
列メモリ19、20からの特徴抽出行列AF、BFから
(数13)、(数14)により、それぞれ特徴ベクトル
fA2、fB2を求める(S51)。
【0062】
【数13】
【0063】
【数14】
【0064】次に、特徴ベクトルfA2、fB2の両者
の類似度からこれらが同一人物に由来するものであるか
どうかを判定する(S52)。判定結果 Y/N をパタ
ーン照合のアウトプットとして、出力端子18に出力す
る(S53)。なお、顔画像データ、パターンセット
A、Bをオフラインで獲得、作成したが、二次記憶装置
10から入力することも可能である。さらに、オフライ
ンで獲得、作成した、顔画像データ、パターンセット
A、Bを二次記憶装置10に格納することも可能であ
る。
【0065】
【発明の効果】以上のように本発明では、比較するパタ
ーンデータセットの分布の相違を前提とし、その上で、
それぞれの分布に応じて、2つの分布のそれぞれに対し
て、また、2つにまたがるクラス内分散を最小化し、ク
ラス間分散を最大化するという統一的な基準を満足す
る、最適な特徴抽出を実行するため、従来法に比べ格段
に高精度なパターン認識及びパターン照合が実現でき、
その効果は非常に大きい。
【図面の簡単な説明】
【図1】本発明の実施の形態1における顔画像認識装置
のブロック構成図
【図2】顔画像認識装置のオフライン処理を説明する動
作フロー図
【図3】顔画像認識装置のオンライン処理を説明する動
作フロー図
【図4】本発明の実施の形態2の顔画像照合装置のオフ
ライン処理を説明する動作フロー図
【図5】顔画像照合装置のオンライン処理を説明する動
作フロー図
【符号の説明】
1 ビデオカメラ(パターンA入力手段) 2 イメージスキャナ(パターンB入力手段) 3 画像メモリA 4 画像メモリB 5 高速アクセスメモリ 6 CPU 7 パターンメモリA 8 パターンメモリB 9 コンソール(キーボード+ディスプレイ) 10 二次記憶手段(光磁気ディスク) 11 参照画像データベース 12 I/Fユニット 13 I/Fユニット 14 I/Fユニット 15 I/Fユニット 16 I/Fユニット 17 システムバス 18 出力端子 19 特徴抽出行列AFメモリ 20 特徴抽出行列BFメモリ 21 コンピュータシステム

Claims (10)

    【特許請求の範囲】
  1. 【請求項1】 同一実体(クラスに対応)から条件C
    A、CBのもと獲得されたパターンのペアの集合である
    教示用パターンセット(A1、B1)に対して、それぞ
    れのパターンセット内部にとどまらず、パターンセット
    間にまたがり、異なるクラス(異なる実体)に対応する
    パターン間の散らばりであるクラス間分散を最大化し、
    同一のクラスに対応するセットA1、セットB1のパタ
    ーンの間のクラス内の散らばりであるクラス内分散を最
    小化するセットA1の特徴抽出行列AF、及びセットB
    1の特徴抽出行列BFを求め、教示用パターンセットB
    1のそれぞれのクラスiの代表パターンB1iに対し
    て、前記特徴抽出行列BFを用いて特徴量fB1iを計
    算し、これら特徴量fB1iの集合{fB1i}と前記
    特徴抽出行列AFとBFを予め参照データベースに保存
    し、入力されたパターンA2jに対して前記特徴抽出行
    列AFを適用して抽出した特徴量fA2jと、前記参照
    データベースBF1に保存された特徴量の中で最も類似
    した要素を決定することを特徴とするパターン認識方
    法。
  2. 【請求項2】 特徴抽出行列AF及びBFは、条件C
    A、CBのもとで獲得されたパターンの集合である教示
    用パターンセットA1及びセットB1のパターンセット
    から、それぞれパターンセット内のクラス間分散Ca-b、
    Cb-b、また、パターンセットA1内のクラス内分散Ca-w
    を推定するステップと、パターンセットA1とB1のそ
    れぞれの対応する要素のペアの集合から、それらのA
    1、B1にまたがったクラス内分散Cab-w、クラス間分
    散Cab-bを計算するステップと、前記5つの統計量Ca-b、
    Cb-b、Ca-w、Cab-w、Cab-bのうち、Ca-b、Cb-b、Cab-b
    を最大化し、Ca-w、Cab-wを最小化するような特徴抽出
    関数を計算するステップから計算することを特徴とする
    請求項1記載のパターン認識方法。
  3. 【請求項3】 同一実体(クラスに対応)から条件C
    A、CBのもと獲得されたパターンのペアの集合である
    教示用パターンセット(A1、B1)に対して、それぞ
    れのパターンセット内部にとどまらず、パターンセット
    間にまたがり、異なるクラス(異なる実体)に対応する
    パターン間の散らばりであるクラス間分散を最大化し、
    同一のクラスに対応するセットA1、セットB1のパタ
    ーンの間のクラス内の散らばりであるクラス内分散を最
    小化するセットA1の特徴抽出行列AF、及びセットB
    1の特徴抽出行列BFを求め、2つの条件CA、CBで
    獲得した入力パターンa、bから前記特徴抽出行列A
    F、BFを用いてそれぞれ特徴量fa、fbを計算し、
    特徴量faとfbの類似度から2つのパターンaとパタ
    ーンbが同一のものであるかどうかを判定することを特
    徴とするパターン照合方法。
  4. 【請求項4】 特徴抽出行列AF及びBFは、条件C
    A、CBのもと獲得されたパターンの集合である教示用
    パターンセットA1とB1から、それぞれパターンセッ
    トA1、B1内のクラス間分散 Ca-b、Cb-bまた、クラ
    ス内分散Ca-w、Cb-wを推定するステップと、パターン
    セットA1とB1のそれぞれの対応する要素のペアの集
    合から、それらのA1、B1にまたがったクラス内分散
    Cab-w、 クラス間分散 Cab-bを計算するステップと、
    前記6つの統計量 Ca-b、Cb-b、Ca-w、Cb-w、 Cab-w、C
    ab-bのうち、Ca-b、Cb-b、Cab-bを最大化し、Ca-w、Cb-
    w、Cab-wを最小化するような特徴抽出関数を計算するス
    テップから計算することを特徴とする請求項3記載のパ
    ターン照合方法。
  5. 【請求項5】 同一の実体(一つのクラス)から条件C
    A、CBのもと、パターンのペアの集合である教示用パ
    ターンセット(A1、B1)を獲得するパターン入力手
    段と、2つのパターンセットに対して、それぞれのパタ
    ーンセット内部にとどまらず、パターンセット間にまた
    がり、異なるクラス(異なる実体)に対応するパターン
    間の散らばりであるクラス間分散を最大化し、同一のク
    ラスに対応するセットA1、セットB1のパターンの間
    のクラス内の散らばりであるクラス内分散を最小化する
    セットA1の特徴抽出行列AF、及びセットB1の特徴
    抽出行列BFを求める特徴抽出行列生成手段と、教示用
    パターンセットB1のそれぞれのクラスiの代表パター
    ンB1iに対して、前記特徴抽出行列BFを用いて特徴
    量fB1iを計算し、これら特徴量fB1iの集合{f
    B1i}と前記特徴抽出行列BFとを予め参照データベ
    ースFB1に保存し、入力されたパターンA2jに対し
    て前記特徴抽出行列AFを適用して抽出した特徴量fA
    2jと最も類似した要素を前記参照データベースBF1
    の中から選ぶ最適マッチ決定手段とを具備することを特
    徴とするパターン認識装置。
  6. 【請求項6】 特徴抽出行列生成手段は、条件CA、C
    Bのもと獲得された教示用パターンセットA1及びセッ
    トB1のパターンセットから、それぞれパターンセット
    A1、B1内のクラス間分散Ca-b、Cb-b、また、セット
    A1のクラス内分散Ca-wを推定する手段と、パターン
    セットA1とB1のそれぞれの対応する要素のペアの集
    合から、それらのA1、B1にまたがったクラス内分散
    Cab-w、クラス間分散 Cab-bを計算する手段を有し、前
    記5つの統計量 Ca-b、Cb-b、Ca-w、Cab-w、Cab-bのう
    ち、Ca-b、Cb-b、Cab-bを最大化し、Ca-w、Cab-wを最小
    化するような特徴抽出関数を計算する手段を有すること
    を特徴とする請求項5記載のパターン認識装置。
  7. 【請求項7】 同一の実体(一つのクラス)から条件C
    A、CBのもと、パターンのペアの集合である教示用パ
    ターンセット(A1、B1)を獲得するパターン入力手
    段と、2つのパターンセットに対して、それぞれのパタ
    ーンセット内部にとどまらず、パターンセット間にまた
    がり、異なるクラス(異なる実体)に対応するパターン
    間の散らばりであるクラス間分散を最大化し、同一のク
    ラスに対応するセットA1、セットB1のパターンの間
    のクラス内の散らばりであるクラス内分散を最小化する
    セットA1の特徴抽出行列AF、及びセットB1の特徴
    抽出行列BFを求める特徴抽出行列生成手段と、パター
    ン入力手段から入力された入力パターンa、bから前記
    特徴抽出行列AF及びBFを用いてそれぞれ特徴量f
    a、fbを計算する特徴抽出手段と、特徴量faとfb
    の類似度から2つのパターンaとパターンbが同一のも
    のであるかどうかを判定する同一性判定手段とを具備す
    ることを特徴とするパターン照合装置。
  8. 【請求項8】 特徴抽出行列生成手段は、条件CA、C
    Bのもとパターンの集合である教示用パターンセットA
    1とB1を獲得し、教示用パターンセットA1及びセッ
    トB1のパターンセットから、それぞれパターンセット
    A1、B1内のクラス間分散Ca-b、Cb-b、また、クラス
    内分散Ca-w、Cb-wを推定する手段と、パターンセット
    A1とB1のそれぞれの対応する要素のペアの集合か
    ら、それらのA1、B1にまたがったクラス内分散Cab-
    w、クラス間分散 Cab-bを計算する手段を有し、前記6
    つの統計量 Ca-b、Cb-b、Ca-w、Cb-w、Cab-w、Cab-bの
    うち、Ca-b、Cb-b、Cab-bを最大化し、Ca-w、Cb-w、Cab
    -wを最小化するような特徴抽出関数を計算する手段を有
    することを特徴とする請求項7記載のパターン照合装
    置。
  9. 【請求項9】 コンピュータによりパターン認識を行う
    プログラムを記録した記録媒体であって、同一の実体
    (一つのクラス)から、条件CA、CBのもと獲得され
    たパターンのペアの集合である教示用パターンセット
    (A1、B1)に対して、それぞれのパターンセット内
    部にとどまらず、パターンセット間にまたがり、異なる
    クラス(異なる実体)に対応するパターン間の散らばり
    であるクラス間分散を最大化し、同一のクラスに対応す
    るセットA1、セットB1のパターンの間のクラス内の
    散らばりであるクラス内分散を最小化するセットA1の
    特徴抽出行列AF、及びセットB1の特徴抽出行列BF
    を求め、教示用パターンセットB1のそれぞれのクラス
    iの代表パターンB1iに対して、前記特徴抽出行列B
    Fを用いて特徴量fB1iを計算し、これら特徴量fB
    1iの集合{fB1i}と前記特徴抽出行列AFとBFを予
    め参照データベースに保存し、入力されたパターンA2
    jに対して前記特徴抽出行列AFを適用して抽出した特
    徴量fA2jと、前記参照データベースFB1に保存さ
    れた特徴量の中で最も類似した要素を決定するパターン
    認識プログラムを記録した記録媒体。
  10. 【請求項10】 コンピュータによりパターン照合を行
    うプログラムを記録した記録媒体であって、一つのクラ
    ス(同一の実体)から条件CA、CBのもと獲得された
    パターンのペアの集合である教示用パターンセット(A
    1、B1)から、それぞれのパターンセット内部にとど
    まらず、パターンセット間にまたがり、異なるクラス
    (異なる実体)に対応するパターン間の散らばりである
    クラス間分散を最大化し、同一のクラスに対応するセッ
    トA1、セットB1のパターンの間のクラス内の散らば
    りであるクラス内分散を最小化するセットA1の特徴抽
    出行列AF、及びセットB1の特徴抽出行列BFを求
    め、2つのプロセスで獲得した入力パターンa、bから
    前記特徴抽出行列AF、BFを用いてそれぞれ特徴量f
    a、fbを計算し、特徴量faとfbの類似度から2つ
    のパターンaとパターンbが同一のものであるかどうか
    を判定するパターン照合プログラムを記録した記録媒
    体。
JP2000168560A 2000-06-06 2000-06-06 パターン認識方法及びパターン認識装置、並びにパターン照合方法及びパターン照合装置 Pending JP2001351104A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2000168560A JP2001351104A (ja) 2000-06-06 2000-06-06 パターン認識方法及びパターン認識装置、並びにパターン照合方法及びパターン照合装置
EP01112830A EP1162566A3 (en) 2000-06-06 2001-05-30 Methods and apparatuses for recognising or checking patterns
US09/874,199 US6865296B2 (en) 2000-06-06 2001-06-05 Pattern recognition method, pattern check method and pattern recognition apparatus as well as pattern check apparatus using the same methods

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000168560A JP2001351104A (ja) 2000-06-06 2000-06-06 パターン認識方法及びパターン認識装置、並びにパターン照合方法及びパターン照合装置

Publications (1)

Publication Number Publication Date
JP2001351104A true JP2001351104A (ja) 2001-12-21

Family

ID=18671548

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000168560A Pending JP2001351104A (ja) 2000-06-06 2000-06-06 パターン認識方法及びパターン認識装置、並びにパターン照合方法及びパターン照合装置

Country Status (3)

Country Link
US (1) US6865296B2 (ja)
EP (1) EP1162566A3 (ja)
JP (1) JP2001351104A (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080080744A1 (en) * 2004-09-17 2008-04-03 Mitsubishi Electric Corporation Face Identification Apparatus and Face Identification Method
US7561721B2 (en) * 2005-02-02 2009-07-14 Visteon Global Technologies, Inc. System and method for range measurement of a preceding vehicle
US20070031008A1 (en) * 2005-08-02 2007-02-08 Visteon Global Technologies, Inc. System and method for range measurement of a preceding vehicle
US7623681B2 (en) * 2005-12-07 2009-11-24 Visteon Global Technologies, Inc. System and method for range measurement of a preceding vehicle
US20090005948A1 (en) * 2007-06-28 2009-01-01 Faroog Abdel-Kareem Ibrahim Low speed follow operation and control strategy
US8024152B2 (en) * 2008-09-23 2011-09-20 Microsoft Corporation Tensor linear laplacian discrimination for feature extraction
TWI467498B (zh) * 2011-12-19 2015-01-01 Ind Tech Res Inst 影像識別方法及系統
JP5900052B2 (ja) * 2012-03-15 2016-04-06 オムロン株式会社 登録判定装置、その制御方法および制御プログラム、並びに電子機器
TWI443346B (zh) * 2012-09-14 2014-07-01 Chunghwa Telecom Co Ltd 電器設備識別系統及方法
CN105785187B (zh) * 2016-04-08 2018-06-15 湖南工业大学 一种学生宿舍用电器类型判断方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4914703A (en) * 1986-12-05 1990-04-03 Dragon Systems, Inc. Method for deriving acoustic models for use in speech recognition
JP2872776B2 (ja) 1990-08-20 1999-03-24 日本電信電話株式会社 顔画像照合装置
US5164992A (en) * 1990-11-01 1992-11-17 Massachusetts Institute Of Technology Face recognition system
US5842194A (en) * 1995-07-28 1998-11-24 Mitsubishi Denki Kabushiki Kaisha Method of recognizing images of faces or general images using fuzzy combination of multiple resolutions
EP0944018B1 (en) * 1998-03-19 2011-08-24 Panasonic Corporation Method and apparatus for recognizing image pattern, method and apparatus for judging identity of image patterns, recording medium for recording the pattern recognizing method and recording medium for recording the pattern identity judging method
US6405065B1 (en) * 1999-01-22 2002-06-11 Instrumentation Metrics, Inc. Non-invasive in vivo tissue classification using near-infrared measurements

Also Published As

Publication number Publication date
US20020018596A1 (en) 2002-02-14
US6865296B2 (en) 2005-03-08
EP1162566A2 (en) 2001-12-12
EP1162566A3 (en) 2004-07-28

Similar Documents

Publication Publication Date Title
EP0944018B1 (en) Method and apparatus for recognizing image pattern, method and apparatus for judging identity of image patterns, recording medium for recording the pattern recognizing method and recording medium for recording the pattern identity judging method
CN100492397C (zh) 人脸元数据生成设备和生成方法、人脸识别系统和方法
TWI427541B (zh) 人臉快速辨識系統及其方法
JP3938872B2 (ja) データ分類装置および物体認識装置
EP1530157B1 (en) Image matching system using 3-dimensional object model, image matching method, and image matching program
JP4321350B2 (ja) パラメタ推定方法、パラメタ推定装置および照合方法
CN111368772B (zh) 身份识别方法、装置、设备及存储介质
Srivastava et al. Real time attendance system using face recognition technique
CN108921038A (zh) 一种基于深度学习人脸识别技术的课堂快速点名签到方法
JP2001351104A (ja) パターン認識方法及びパターン認識装置、並びにパターン照合方法及びパターン照合装置
EP1830308A2 (en) Pattern recognition apparatus and method therefor
CN116229552A (zh) 一种基于yolov7模型的面向嵌入式硬件的人脸识别方法
JPH0520442A (ja) 顔画像照合装置
JP4543455B2 (ja) パターン認識方法及びパターン認識装置、並びにパターン照合方法及びパターン照合装置
CN101276404A (zh) 一种快速准确的智能图像处理系统及其处理方法
JP3468108B2 (ja) 顔画像照合方法及び顔画像照合装置
JP2001014465A (ja) 物体認識方法及び物体認識装置
JP3708383B2 (ja) パターン認識方法及びパターン認識装置
JP3322216B2 (ja) パターン認識方法及びパターン認識装置並びにパターン照合方法及びパターン照合装置
JP3322208B2 (ja) パターン認識方法及びパターン認識装置並びにパターン照合方法及びパターン照合装置
JP2000076459A (ja) 人物同定方法及び装置
CN114613058B (zh) 一种具有考勤功能的门禁系统、考勤方法和相关装置
Uma et al. Biometric Attendance Prediction using Face Recognition Method
Ballary et al. Deep Learning based Facial Attendance System using Convolutional Neural Network
JP3530363B2 (ja) 認識モデル生成方法および画像認識方法