JP2000132675A - 顔識別・照合方法及びその装置 - Google Patents
顔識別・照合方法及びその装置Info
- Publication number
- JP2000132675A JP2000132675A JP30818298A JP30818298A JP2000132675A JP 2000132675 A JP2000132675 A JP 2000132675A JP 30818298 A JP30818298 A JP 30818298A JP 30818298 A JP30818298 A JP 30818298A JP 2000132675 A JP2000132675 A JP 2000132675A
- Authority
- JP
- Japan
- Prior art keywords
- image
- class
- feature
- images
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Collating Specific Patterns (AREA)
Abstract
(57)【要約】
【課題】 比較する2つの顔画像が異なった撮影条件や
異なった撮影時期に撮影されたものである場合でも安定
した識別を行うこと目的とする。 【解決手段】 入力された2枚の顔画像の差の画像と複
数タイプの変動を表す共分散行列Σiの主成分によって
張られる空間との距離を算出する摂動空間評価ステップ
202と、入力された2枚の顔画像の差の画像とゼロベ
クトルとのマハラノビス距離を算出する摂動確率算出ス
テップ203と、算出された2つの距離の和が最も小さ
いクラスを選択する摂動特徴決定ステップ204を設け
たものである。ステップ202と203により変動の特
徴が入力された2つの画像間の変動を正確に表している
かどうかの尺度の算出法を与えることができ、最適な変
動の特徴を選択することを可能になる。従って、多種多
様な変動に対して安定な顔識別・照合を実現することが
できる。
異なった撮影時期に撮影されたものである場合でも安定
した識別を行うこと目的とする。 【解決手段】 入力された2枚の顔画像の差の画像と複
数タイプの変動を表す共分散行列Σiの主成分によって
張られる空間との距離を算出する摂動空間評価ステップ
202と、入力された2枚の顔画像の差の画像とゼロベ
クトルとのマハラノビス距離を算出する摂動確率算出ス
テップ203と、算出された2つの距離の和が最も小さ
いクラスを選択する摂動特徴決定ステップ204を設け
たものである。ステップ202と203により変動の特
徴が入力された2つの画像間の変動を正確に表している
かどうかの尺度の算出法を与えることができ、最適な変
動の特徴を選択することを可能になる。従って、多種多
様な変動に対して安定な顔識別・照合を実現することが
できる。
Description
【0001】
【発明の属する技術分野】本発明は、比較する2つの顔
画像が異なった撮影条件や異なった撮影時期に撮影され
たものである場合でも安定した識別を実現する顔識別・
照合方法及びその装置に関するものである。
画像が異なった撮影条件や異なった撮影時期に撮影され
たものである場合でも安定した識別を実現する顔識別・
照合方法及びその装置に関するものである。
【0002】
【従来の技術】撮影条件の異なる顔画像の識別の従来方
法としては、撮影条件の違いによって生じる顔画像の変
動の特徴を予め一つの学習セットから学習しておき、学
習された変動の特徴を抑制しながら識別を行う方法が知
られている。
法としては、撮影条件の違いによって生じる顔画像の変
動の特徴を予め一つの学習セットから学習しておき、学
習された変動の特徴を抑制しながら識別を行う方法が知
られている。
【0003】以下この方法について特願平9−7917
0号に基づき、図4を使って説明する。図4で、401
は比較する2つの顔画像を入力する顔画像入力ステッ
プ、402は顔画像の特徴量を算出する特徴量算出ステ
ップ、403は顔画像の特徴量を比較し入力された顔画
像が同一人物であるか否かを判定する判定ステップであ
る。以下従来方法の動作について説明する。まず、ステ
ップ401で比較する2つの顔画像x、yが入力され
る。次にステップ402では顔画像x、yに対し特徴抽
出線形関数Aを施し、顔特徴ベクトルAx、Ayが算出
される。ここで特徴抽出線形関数Aは標本集合から学習
される関数で例えば以下のようにして求められる。ま
ず、2つの異なる撮影条件で撮影された画像の組を複数
用意し、各画像の組において2つの画像の差の画像を生
成する。次に生成された差の画像mi(i=
1,....,N)を標本として(Nは標本数)、次式
(数1)
0号に基づき、図4を使って説明する。図4で、401
は比較する2つの顔画像を入力する顔画像入力ステッ
プ、402は顔画像の特徴量を算出する特徴量算出ステ
ップ、403は顔画像の特徴量を比較し入力された顔画
像が同一人物であるか否かを判定する判定ステップであ
る。以下従来方法の動作について説明する。まず、ステ
ップ401で比較する2つの顔画像x、yが入力され
る。次にステップ402では顔画像x、yに対し特徴抽
出線形関数Aを施し、顔特徴ベクトルAx、Ayが算出
される。ここで特徴抽出線形関数Aは標本集合から学習
される関数で例えば以下のようにして求められる。ま
ず、2つの異なる撮影条件で撮影された画像の組を複数
用意し、各画像の組において2つの画像の差の画像を生
成する。次に生成された差の画像mi(i=
1,....,N)を標本として(Nは標本数)、次式
(数1)
【0004】
【数1】
【0005】によって共分散行列Σを計算する。次に共
分散行列の固有値ejと固有ベクトルλjを求める(j
=1,.....,M)(Mは固有値、固有ベクトルの
数)。求められた固有値と固有ベクトルを用いて特徴抽
出線形関数Aは次式(数2)によって定められる。
分散行列の固有値ejと固有ベクトルλjを求める(j
=1,.....,M)(Mは固有値、固有ベクトルの
数)。求められた固有値と固有ベクトルを用いて特徴抽
出線形関数Aは次式(数2)によって定められる。
【0006】
【数2】
【0007】(数2)においてTは転置行列を表す記号
である。判定ステップ403では、ステップ402で得
られた特徴ベクトルのユークリッド距離を算出し、算出
された距離が予め与えられた値thより小さい場合入力
された2つの画像を同一人物と判定する。このような照
合を行うことにより、共分散行列Σによって表された画
像の変動の特徴を特徴抽出関数Aを施すことによって抑
制した後に照合を行うことが可能になり、撮影条件の変
動に強い照合が可能になるというものである。
である。判定ステップ403では、ステップ402で得
られた特徴ベクトルのユークリッド距離を算出し、算出
された距離が予め与えられた値thより小さい場合入力
された2つの画像を同一人物と判定する。このような照
合を行うことにより、共分散行列Σによって表された画
像の変動の特徴を特徴抽出関数Aを施すことによって抑
制した後に照合を行うことが可能になり、撮影条件の変
動に強い照合が可能になるというものである。
【0008】
【発明が解決しようとする課題】しかしながら、前記従
来技術は以下のような課題を有していた。すなわち、従
来技術では、画像の変動の特徴を1つの共分散行列によ
ってしか捉えておらず、変動の特徴を正確に記述するこ
とができず、多種多様な変動に対応することができない
という課題を有していた。
来技術は以下のような課題を有していた。すなわち、従
来技術では、画像の変動の特徴を1つの共分散行列によ
ってしか捉えておらず、変動の特徴を正確に記述するこ
とができず、多種多様な変動に対応することができない
という課題を有していた。
【0009】本発明は、前記従来の課題を解決するもの
で、共分散行列の固有値、固有ベクトルによって与えら
れた変動の特徴が入力された2つの画像間の変動を正確
に表しているかどうかの尺度の算出法を与え、最適な変
動の特徴、あるいは最適な入力画像の組を選択すること
を可能にすることにより、多種多様な変動に対して安定
な顔識別・照合を実現するものである。
で、共分散行列の固有値、固有ベクトルによって与えら
れた変動の特徴が入力された2つの画像間の変動を正確
に表しているかどうかの尺度の算出法を与え、最適な変
動の特徴、あるいは最適な入力画像の組を選択すること
を可能にすることにより、多種多様な変動に対して安定
な顔識別・照合を実現するものである。
【0010】
【課題を解決するための手段】上記の課題を解決するた
めに本発明は、入力された2枚の顔画像の差の画像と各
共分散行列Σiの主成分によって張られる空間との距離
を算出する摂動空間評価手段と、入力された2枚の顔画
像の差の画像とゼロベクトルとのマハラノビス距離を算
出する摂動確率算出手段と、算出された2つの距離の和
が最も小さいクラスを選択する摂動特徴決定手段を設け
たものである。
めに本発明は、入力された2枚の顔画像の差の画像と各
共分散行列Σiの主成分によって張られる空間との距離
を算出する摂動空間評価手段と、入力された2枚の顔画
像の差の画像とゼロベクトルとのマハラノビス距離を算
出する摂動確率算出手段と、算出された2つの距離の和
が最も小さいクラスを選択する摂動特徴決定手段を設け
たものである。
【0011】これにより、2つの顔画像が異なった撮影
条件や異なった撮影時期に撮影されたものである場合で
も安定した識別を実現することができる。
条件や異なった撮影時期に撮影されたものである場合で
も安定した識別を実現することができる。
【0012】
【発明の実施の形態】本発の明請求項1に記載の発明
は、撮影条件または撮影時期の違いによる画像変動の特
徴を分類されたクラス毎に予め学習しておき、撮影条件
または撮影時期の少なくとも1つが異なる2枚の顔画像
の差からクラスを選択し、前記2枚の顔画像から選択さ
れたクラスの画像変動の特徴量が小さくなる特徴量をそ
れぞれ求め、前記2枚の顔画像の特徴量により顔識別・
照合を行うようにしたもので、撮影条件の違いの特徴を
複数のクラスにより捉え、識別時に最適なクラスを選択
することにより、多種多様な撮影条件の違いに対応する
ことが可能となるという作用を有する。
は、撮影条件または撮影時期の違いによる画像変動の特
徴を分類されたクラス毎に予め学習しておき、撮影条件
または撮影時期の少なくとも1つが異なる2枚の顔画像
の差からクラスを選択し、前記2枚の顔画像から選択さ
れたクラスの画像変動の特徴量が小さくなる特徴量をそ
れぞれ求め、前記2枚の顔画像の特徴量により顔識別・
照合を行うようにしたもので、撮影条件の違いの特徴を
複数のクラスにより捉え、識別時に最適なクラスを選択
することにより、多種多様な撮影条件の違いに対応する
ことが可能となるという作用を有する。
【0013】請求項2に記載の発明は、請求項1記載の
顔識別・照合方法において、画像変動の特徴は、撮影条
件または撮影時期の異なる2つの画像の差画像の標本集
合を複数用意し、各クラス毎に主成分分析を行って主成
分と各主成方向の標本分布の分散の大きさを求めるもの
で、撮影条件の違いの特徴を複数のクラスにより捉え、
識別時に最適なクラスを選択することが可能になるとい
う作用を有する。
顔識別・照合方法において、画像変動の特徴は、撮影条
件または撮影時期の異なる2つの画像の差画像の標本集
合を複数用意し、各クラス毎に主成分分析を行って主成
分と各主成方向の標本分布の分散の大きさを求めるもの
で、撮影条件の違いの特徴を複数のクラスにより捉え、
識別時に最適なクラスを選択することが可能になるとい
う作用を有する。
【0014】請求項3に記載の発明は、請求項1または
2記載の顔識別・照合方法において、画像変動の特徴の
クラスタの選択は、入力された2枚の顔画像の差の画像
と各クラスの主成分によって張られる空間との距離を算
出し、算出された距離が最も近いクラスを選択するもの
で、識別時に最適なクラスを選択することにより、多種
多様な撮影条件の違いに対応することが可能となるとい
う作用を有する。
2記載の顔識別・照合方法において、画像変動の特徴の
クラスタの選択は、入力された2枚の顔画像の差の画像
と各クラスの主成分によって張られる空間との距離を算
出し、算出された距離が最も近いクラスを選択するもの
で、識別時に最適なクラスを選択することにより、多種
多様な撮影条件の違いに対応することが可能となるとい
う作用を有する。
【0015】請求項4に記載の発明は、請求項1または
2記載の顔識別・照合方法において、画像変動の特徴の
クラスタの選択は、入力された2枚の顔画像の差の画像
と各クラスの主成分によって張られる空間との距離と、
入力された2枚の顔画像の差の画像とゼロベクトルとの
マハラノビス距離を算出し、算出された2つの距離の和
が最も小さいクラスを選択するもので、識別時に最適な
クラスを選択することにより、多種多様な撮影条件の違
いに対応することが可能となるという作用を有する。
2記載の顔識別・照合方法において、画像変動の特徴の
クラスタの選択は、入力された2枚の顔画像の差の画像
と各クラスの主成分によって張られる空間との距離と、
入力された2枚の顔画像の差の画像とゼロベクトルとの
マハラノビス距離を算出し、算出された2つの距離の和
が最も小さいクラスを選択するもので、識別時に最適な
クラスを選択することにより、多種多様な撮影条件の違
いに対応することが可能となるという作用を有する。
【0016】請求項5記載の発明は、撮影条件または撮
影時期の異なる2つの画像の差画像の標本集合を複数用
意し、各クラス毎に主成分分析を行って主成分と各主成
方向の標本分布の分散の大きさを予め求めておき、入力
された2枚の顔画像の差の画像と各クラスの主成分によ
って張られる空間との距離を算出し、算出された距離に
より小さいクラスを少なくとも1つを選択し、前記2枚
の顔画像からそれらのクラスを統合したクラスの画像変
動の特徴の小さくなる特徴量をそれぞれ求め、前記2枚
の顔画像の特徴量により顔識別・照合を行うもので、撮
影条件の違いの特徴を複数のクラスにより捉え、識別時
に適当なクラスを1つまたは複数選択することにより、
多種多様な撮影条件の違いに対応することが可能となる
という作用を有する。
影時期の異なる2つの画像の差画像の標本集合を複数用
意し、各クラス毎に主成分分析を行って主成分と各主成
方向の標本分布の分散の大きさを予め求めておき、入力
された2枚の顔画像の差の画像と各クラスの主成分によ
って張られる空間との距離を算出し、算出された距離に
より小さいクラスを少なくとも1つを選択し、前記2枚
の顔画像からそれらのクラスを統合したクラスの画像変
動の特徴の小さくなる特徴量をそれぞれ求め、前記2枚
の顔画像の特徴量により顔識別・照合を行うもので、撮
影条件の違いの特徴を複数のクラスにより捉え、識別時
に適当なクラスを1つまたは複数選択することにより、
多種多様な撮影条件の違いに対応することが可能となる
という作用を有する。
【0017】請求項6に記載の発明は、請求項5記載の
顔識別・照合方法において、クラスの選択は、入力され
た2枚の顔画像の差の画像と各クラスの主成分によって
張られる空間との距離と入力された2枚の顔画像の差の
画像とゼロベクトルとのマハラノビス距離を算出し、算
出された2つの距離の和が予め定められた値より小さい
クラスを1つまたは複数選択するもので、撮影条件の違
いの特徴を複数のクラスにより捉え、識別時に適当なク
ラスを1つまたは複数選択することにより、多種多様な
撮影条件の違いに対応することが可能となるという作用
を有する。
顔識別・照合方法において、クラスの選択は、入力され
た2枚の顔画像の差の画像と各クラスの主成分によって
張られる空間との距離と入力された2枚の顔画像の差の
画像とゼロベクトルとのマハラノビス距離を算出し、算
出された2つの距離の和が予め定められた値より小さい
クラスを1つまたは複数選択するもので、撮影条件の違
いの特徴を複数のクラスにより捉え、識別時に適当なク
ラスを1つまたは複数選択することにより、多種多様な
撮影条件の違いに対応することが可能となるという作用
を有する。
【0018】請求項7に記載の発明は、撮影条件または
撮影時期の違いによる画像変動の特徴を予め学習してお
き、同一人物の画像集合Aと、別の撮影条件でとった同
一人物の画像集合Bを入力し、画像集合Aに含まれる画
像と画像集合Bに含まれる画像のすべての組み合わせて
画像の差を求め、予め学習された画像変動の特徴と最も
一致している前記画像から前記画像変動の特徴量が小さ
くなる特徴量をそれぞれ求め、前記2枚の顔画像の特徴
量により顔識別・照合を行うもので、動画により顔画像
を採取した場合などで、入力画像が複数枚存在する場合
に識別・照合に最適な画像を自動的に選んで識別・照合
の処理を行うことが可能になるという作用を有する。
撮影時期の違いによる画像変動の特徴を予め学習してお
き、同一人物の画像集合Aと、別の撮影条件でとった同
一人物の画像集合Bを入力し、画像集合Aに含まれる画
像と画像集合Bに含まれる画像のすべての組み合わせて
画像の差を求め、予め学習された画像変動の特徴と最も
一致している前記画像から前記画像変動の特徴量が小さ
くなる特徴量をそれぞれ求め、前記2枚の顔画像の特徴
量により顔識別・照合を行うもので、動画により顔画像
を採取した場合などで、入力画像が複数枚存在する場合
に識別・照合に最適な画像を自動的に選んで識別・照合
の処理を行うことが可能になるという作用を有する。
【0019】以下、本発明の実施の形態について、図を
用いて説明する。 (実施の形態1)図1は、本発明の実施の形態1におけ
る顔識別・照合装置をコンピュータシステム113で実
現した構成図を示したものである。
用いて説明する。 (実施の形態1)図1は、本発明の実施の形態1におけ
る顔識別・照合装置をコンピュータシステム113で実
現した構成図を示したものである。
【0020】図1において、100、101は入力画像
を取り込むビデオカメラ、102はカメラ信号をA/D
変換するA/D変換器、103はカメラから入力された
画像が格納される画像メモリ、104は本装置の顔識別
・照合アルゴリズムを実行するためのCPU、105は
CPU104の処理の中間結果を格納するメモリ、10
6は特徴ベクトル格納メモリ、107は特徴ベクトル格
納ディスク、108、109はシステムの操作を行うた
めのキーボード・ディスプレイとそのインターフェー
ス、110、111は結果を出力する端子とインターフ
ェース、112はバス、114はスキャナ、115、1
16はスキャナ114からの画像を格納する画像メモリ
である。
を取り込むビデオカメラ、102はカメラ信号をA/D
変換するA/D変換器、103はカメラから入力された
画像が格納される画像メモリ、104は本装置の顔識別
・照合アルゴリズムを実行するためのCPU、105は
CPU104の処理の中間結果を格納するメモリ、10
6は特徴ベクトル格納メモリ、107は特徴ベクトル格
納ディスク、108、109はシステムの操作を行うた
めのキーボード・ディスプレイとそのインターフェー
ス、110、111は結果を出力する端子とインターフ
ェース、112はバス、114はスキャナ、115、1
16はスキャナ114からの画像を格納する画像メモリ
である。
【0021】以下、コンピュータシステム113によっ
て実現した顔識別・照合装置の動作について、図2のフ
ローチャートを用いて説明する。201は顔画像入力ス
テップ、202は入力された2枚の顔画像の差の画像と
ゼロベクトルとのマハラノビス距離を算出する摂動確率
算出ステップ、203は入力された2枚の顔画像の差の
画像と各共分散行列Σiの主成分によって張られる空間
との距離を算出する摂動空間評価ステップ、204は算
出された2つの距離の和をもとに適切な摂動特徴を決定
する摂動特徴決定ステップ、205はステップ204で
決定された摂動特徴を用いて特徴抽出関数を算出する特
徴抽出関数算出ステップ、206はステップ205で算
出された関数を用いて入力顔画像の特徴量を算出する特
徴量算出ステップ、207はステップ206で算出され
た2つの特徴量の距離を算出しその値が予め定められた
値thより小さい場合に同一人物と判定する判定ステッ
プである。
て実現した顔識別・照合装置の動作について、図2のフ
ローチャートを用いて説明する。201は顔画像入力ス
テップ、202は入力された2枚の顔画像の差の画像と
ゼロベクトルとのマハラノビス距離を算出する摂動確率
算出ステップ、203は入力された2枚の顔画像の差の
画像と各共分散行列Σiの主成分によって張られる空間
との距離を算出する摂動空間評価ステップ、204は算
出された2つの距離の和をもとに適切な摂動特徴を決定
する摂動特徴決定ステップ、205はステップ204で
決定された摂動特徴を用いて特徴抽出関数を算出する特
徴抽出関数算出ステップ、206はステップ205で算
出された関数を用いて入力顔画像の特徴量を算出する特
徴量算出ステップ、207はステップ206で算出され
た2つの特徴量の距離を算出しその値が予め定められた
値thより小さい場合に同一人物と判定する判定ステッ
プである。
【0022】以下、これらの各ステップにおける動作を
説明する。まず、ステップ201では、比較する2枚の
画像がビデオカメラ101から入力され、A/D変換器
102によりディジタル化された後、画像メモリ103
に列ベクトルとして格納される。以下、画像メモリ10
3に格納された画像列ベクトルをx、yと表記する。な
お、図1の構成では、1台のビデオカメラを使って2枚
の画像を取り込むことになるが、2台のカメラを使って
それぞれ1枚ずつ画像を取り込んでもよい。また、比較
する画像の1つが証明証の写真である場合、カメラのい
ずれか1台の替りにスキャナ114を用いて顔画像をと
りこんでもよい。
説明する。まず、ステップ201では、比較する2枚の
画像がビデオカメラ101から入力され、A/D変換器
102によりディジタル化された後、画像メモリ103
に列ベクトルとして格納される。以下、画像メモリ10
3に格納された画像列ベクトルをx、yと表記する。な
お、図1の構成では、1台のビデオカメラを使って2枚
の画像を取り込むことになるが、2台のカメラを使って
それぞれ1枚ずつ画像を取り込んでもよい。また、比較
する画像の1つが証明証の写真である場合、カメラのい
ずれか1台の替りにスキャナ114を用いて顔画像をと
りこんでもよい。
【0023】次に、ステップ202では、オフライン処
理によって得られた共分散行列Σi(i=1,..,
S)毎に、入力画像の差の画像x−yと原点0とのマハ
ラノビス距離d1(x−y、Σi)が、固有値λi,j
と固有ベクトルei,j(i=1,..,S、j=
1,...,Mi)を用いて算出される。ここで関数d
1は次式(数3)によって与えられる。
理によって得られた共分散行列Σi(i=1,..,
S)毎に、入力画像の差の画像x−yと原点0とのマハ
ラノビス距離d1(x−y、Σi)が、固有値λi,j
と固有ベクトルei,j(i=1,..,S、j=
1,...,Mi)を用いて算出される。ここで関数d
1は次式(数3)によって与えられる。
【0024】
【数3】
【0025】(数3)において、|・|はユークリッド
距離、Tは転置を表している。ステップ203では、オ
フライン処理によって得られた共分散行列Σi(i=
1,..,S)毎に、入力画像の差の画像x−yと、固
有ベクトルei,j(i=1,..,S、j=
1,...,Mi)によって張られる空間との距離d2
(x−y、Σi)を求める。ここで関数d2は次式(数
4)によって与えられる。
距離、Tは転置を表している。ステップ203では、オ
フライン処理によって得られた共分散行列Σi(i=
1,..,S)毎に、入力画像の差の画像x−yと、固
有ベクトルei,j(i=1,..,S、j=
1,...,Mi)によって張られる空間との距離d2
(x−y、Σi)を求める。ここで関数d2は次式(数
4)によって与えられる。
【0026】
【数4】
【0027】(数4)において、|・|はユークリッド
距離、(・、・)は内積を表している。ステップ204
では、予め定められた値thより、μ・d1(x−y、
Σi)+(1−μ)・d2(x−y、Σi)の値が大き
いクラスiを選択する。または、μ・d1(x−y、Σ
i)+(1−μ)・d2(x−y、Σi)が最も大きい
クラスを1つのみ選択しても良い。なお、ここでμはあ
らかじめ固定された0以上1以下の実数である。
距離、(・、・)は内積を表している。ステップ204
では、予め定められた値thより、μ・d1(x−y、
Σi)+(1−μ)・d2(x−y、Σi)の値が大き
いクラスiを選択する。または、μ・d1(x−y、Σ
i)+(1−μ)・d2(x−y、Σi)が最も大きい
クラスを1つのみ選択しても良い。なお、ここでμはあ
らかじめ固定された0以上1以下の実数である。
【0028】ステップ205では、ステップ204で選
択された共分散行列を混合した共分散行列ΣTを、選択
された各共分散行列の固有ベクトルei,jに対応する
ベクトル√(λi,j)・ei,jを標本集合として生
成し、その固有値λT,jと固有ベクトルeT,j(j
=1,...,MT)(MTは固有値、固有ベクトルの
数)を算出する。なお処理時間の短縮のため、選択され
るクラスのすべての可能性について予めオフラインでΣ
Tの固有値と固有ベクトルを算出しておいても良い。
択された共分散行列を混合した共分散行列ΣTを、選択
された各共分散行列の固有ベクトルei,jに対応する
ベクトル√(λi,j)・ei,jを標本集合として生
成し、その固有値λT,jと固有ベクトルeT,j(j
=1,...,MT)(MTは固有値、固有ベクトルの
数)を算出する。なお処理時間の短縮のため、選択され
るクラスのすべての可能性について予めオフラインでΣ
Tの固有値と固有ベクトルを算出しておいても良い。
【0029】また、ステップ204でただ一つのクラス
iが選択された場合は、ΣTとしてΣiが選ばれる。こ
の場合、ΣTの固有値と固有ベクトルはΣiの固有値、
固有ベクトルと一致し算出する必要はない。また、ΣT
のかわりに顔特徴を表す共分散行列ΣFとΣTの混合共
分散行列λΣF+(1−λ)ΣTを考え、その固有値と
固有ベクトルを算出しステップ206に渡してもよい。
ここでλは予め適当に定められた0以上1以下の実数
で、ΣFは顔画像のサンプルfiを標本集合として次式
(数5)により計算される共分散行列である。
iが選択された場合は、ΣTとしてΣiが選ばれる。こ
の場合、ΣTの固有値と固有ベクトルはΣiの固有値、
固有ベクトルと一致し算出する必要はない。また、ΣT
のかわりに顔特徴を表す共分散行列ΣFとΣTの混合共
分散行列λΣF+(1−λ)ΣTを考え、その固有値と
固有ベクトルを算出しステップ206に渡してもよい。
ここでλは予め適当に定められた0以上1以下の実数
で、ΣFは顔画像のサンプルfiを標本集合として次式
(数5)により計算される共分散行列である。
【0030】
【数5】
【0031】ステップ206では、ステップ205で算
出された固有値λT,jと固有ベクトルeT,j(j=
1,...,MT)を用いて次式(数6)により定めら
れた特徴抽出関数ATを用いて、特徴量AT(x),A
T(y)を算出する。
出された固有値λT,jと固有ベクトルeT,j(j=
1,...,MT)を用いて次式(数6)により定めら
れた特徴抽出関数ATを用いて、特徴量AT(x),A
T(y)を算出する。
【0032】
【数6】
【0033】ステップ207では、ステップ206で算
出された特徴量の距離が予め定められた閾値THより大
きい場合同一人物と判定する。
出された特徴量の距離が予め定められた閾値THより大
きい場合同一人物と判定する。
【0034】なお、各クラスの変動の特徴を表す共分散
行列Σiは、従来方法と同様に(数1)で定められ、そ
の固有値と固有ベクトルは予め算出しておくものとす
る。
行列Σiは、従来方法と同様に(数1)で定められ、そ
の固有値と固有ベクトルは予め算出しておくものとす
る。
【0035】(実施の形態2)以下に、本発明の実施の
形態2の顔照合装置について説明する。実施の形態2の
構成は実施の形態1と同じく図1によって示される。実
施の形態1と実施の形態2ではCPU104の動作が異
なる。
形態2の顔照合装置について説明する。実施の形態2の
構成は実施の形態1と同じく図1によって示される。実
施の形態1と実施の形態2ではCPU104の動作が異
なる。
【0036】以下、CPU104によって行われる動作
について図3を用いて説明する。図3で、301は異な
った撮影条件の顔画像を複数枚入力する顔画像入力ステ
ップ、302は2枚の顔画像の差の画像とゼロベクトル
とのマハラノビス距離を算出する摂動確率算出ステッ
プ、303は入力された2枚の顔画像の差の画像とあら
かじめ学習された共分散行列の主成分によって張られる
空間との距離を算出する摂動空間評価ステップ、304
は算出された2つの距離の和をもとに入力された複数枚
の画像の中から識別に最適な画像の組を選択する最適入
力画像決定ステップ、305はステップ304によって
決定された画像の組に対して特徴量を算出する特徴量算
出ステップ、305はステップ304で算出された特徴
量をもとに入力画像の人物が同一人物であるか否かを判
定する判定ステップである。
について図3を用いて説明する。図3で、301は異な
った撮影条件の顔画像を複数枚入力する顔画像入力ステ
ップ、302は2枚の顔画像の差の画像とゼロベクトル
とのマハラノビス距離を算出する摂動確率算出ステッ
プ、303は入力された2枚の顔画像の差の画像とあら
かじめ学習された共分散行列の主成分によって張られる
空間との距離を算出する摂動空間評価ステップ、304
は算出された2つの距離の和をもとに入力された複数枚
の画像の中から識別に最適な画像の組を選択する最適入
力画像決定ステップ、305はステップ304によって
決定された画像の組に対して特徴量を算出する特徴量算
出ステップ、305はステップ304で算出された特徴
量をもとに入力画像の人物が同一人物であるか否かを判
定する判定ステップである。
【0037】以下これらの各ステップにおける動作を説
明する。まず、ステップ301では、撮影条件1の下で
1枚または複数枚の顔画像がビデオカメラ101から入
力され、A/D変換器102によりディジタル化された
後、メモリ103に列ベクトルとして格納される。さら
に撮影条件3の下で1枚または複数枚の顔画像がビデオ
カメラ101から入力され、A/D変換器102により
ディジタル化された後、画像メモリ103に列ベクトル
として格納される。以下、画像メモリ103に格納され
た画像列ベクトルをxi、yj(i=1,....,N
x,j=1,...,Ny)(Nx、Nyはそれぞれ撮
影条件1,2の下で獲得された画像列ベクトルの個数)
と表記する。
明する。まず、ステップ301では、撮影条件1の下で
1枚または複数枚の顔画像がビデオカメラ101から入
力され、A/D変換器102によりディジタル化された
後、メモリ103に列ベクトルとして格納される。さら
に撮影条件3の下で1枚または複数枚の顔画像がビデオ
カメラ101から入力され、A/D変換器102により
ディジタル化された後、画像メモリ103に列ベクトル
として格納される。以下、画像メモリ103に格納され
た画像列ベクトルをxi、yj(i=1,....,N
x,j=1,...,Ny)(Nx、Nyはそれぞれ撮
影条件1,2の下で獲得された画像列ベクトルの個数)
と表記する。
【0038】なお、図1の構成では1台のカメラで撮影
条件1,2の画像群を入力することになるが、カメラ1
00、101を2台用意し、それぞれ撮影条件1、2の
画像群を入力するようにしてもよい。また、身分証の照
合システムでは一方のカメラをスキャナ114にして身
分証写真を取り込んでもよい。また、この場合一方の画
像群に含まれる画像は、取り込まれた身分証写真のみの
1枚となる。
条件1,2の画像群を入力することになるが、カメラ1
00、101を2台用意し、それぞれ撮影条件1、2の
画像群を入力するようにしてもよい。また、身分証の照
合システムでは一方のカメラをスキャナ114にして身
分証写真を取り込んでもよい。また、この場合一方の画
像群に含まれる画像は、取り込まれた身分証写真のみの
1枚となる。
【0039】ステップ302では、予め学習された変動
特徴を表す共分散行列Σを用いて、各xiとyjの組み
合わせについて(数3)によってd1(xi−yj,
Σ)の値を算出する。ステップ303では、各xiとy
jの組み合わせについて(数4)によってd2(xi−
yj,Σ)の値を算出する。
特徴を表す共分散行列Σを用いて、各xiとyjの組み
合わせについて(数3)によってd1(xi−yj,
Σ)の値を算出する。ステップ303では、各xiとy
jの組み合わせについて(数4)によってd2(xi−
yj,Σ)の値を算出する。
【0040】ステップ304では、μ・d1(xi−y
i、Σ)+(1−μ)・d2(xi−yi、Σ)が最も
大きい各xiとyjの組み合わせを選択する。ステップ
305では、ステップ304で選択されたxiとyjに
対して特徴抽出関数ATを施して特徴量を算出する。特
徴抽出関数ATは、(数5)で定められる共分散行列Σ
FとΣの混合共分散行列ΣT=λΣF+(1−λ)Σを
考え、その固有値と固有ベクトルを用いて(数5)によ
り定められる。
i、Σ)+(1−μ)・d2(xi−yi、Σ)が最も
大きい各xiとyjの組み合わせを選択する。ステップ
305では、ステップ304で選択されたxiとyjに
対して特徴抽出関数ATを施して特徴量を算出する。特
徴抽出関数ATは、(数5)で定められる共分散行列Σ
FとΣの混合共分散行列ΣT=λΣF+(1−λ)Σを
考え、その固有値と固有ベクトルを用いて(数5)によ
り定められる。
【0041】ステップ306では、ステップ305で算
出された特徴量の距離が予め定められた閾値THより大
きい場合同一人物と判定する。
出された特徴量の距離が予め定められた閾値THより大
きい場合同一人物と判定する。
【0042】以上の様に、複数の種類の異なった変動の
各々についてその特徴を共分散行列Σi(i=
1,..,S)(Sは変動の種類の数)によって表し、
入力された2つ画像間の変動をどの共分散行列が最適に
表現できるかを判定することにより、多種多様な変動に
対して安定した顔識別・照合を実現することができる。
各々についてその特徴を共分散行列Σi(i=
1,..,S)(Sは変動の種類の数)によって表し、
入力された2つ画像間の変動をどの共分散行列が最適に
表現できるかを判定することにより、多種多様な変動に
対して安定した顔識別・照合を実現することができる。
【0043】また、複数の入力画像の組(xi、yi)
に対応する差ベクトルxi−yiのいずれが、あらかじ
め学習された変動特徴に近いかを判定することにより、
学習された変動特徴にもっとも適した入力画像を識別・
照合時に選択することが可能になり、精度の高い顔識別
・照合が可能になる。
に対応する差ベクトルxi−yiのいずれが、あらかじ
め学習された変動特徴に近いかを判定することにより、
学習された変動特徴にもっとも適した入力画像を識別・
照合時に選択することが可能になり、精度の高い顔識別
・照合が可能になる。
【0044】
【発明の効果】以上のように、2つの画像間の変動を正
確に表しているかどうかの尺度の算出法を与え、最適な
変動の特徴、あるいは最適な入力画像の組を選択するこ
とを可能にすることにより、多種多様な変動に対して精
度良く安定な顔識別・照合が実現できる。
確に表しているかどうかの尺度の算出法を与え、最適な
変動の特徴、あるいは最適な入力画像の組を選択するこ
とを可能にすることにより、多種多様な変動に対して精
度良く安定な顔識別・照合が実現できる。
【図1】本発明の実施の形態1における顔画像・照合装
置の構成図
置の構成図
【図2】本発明の実施の形態1の動作フロー図
【図3】本発明の実施の形態2の動作フロー図
【図4】従来方法の顔パーツ検出方法を表すフロー図
100,101 ビデオカメラ 102 A/D変換器 103 画像メモリ 104 CPU 105 メモリ 106 特徴ベクトル格納メモリ 107 特徴ベクトル格納ディスク 108 キーボードディスプレイ 109 インターフェース 110 結果出力端子 111 インターフェース 112 バス 113 コンピュータシステム 114 スキャナ 115 インターフェース 116 画像メモリ
Claims (13)
- 【請求項1】 撮影条件または撮影時期の違いによる画
像変動の特徴を分類されたクラス毎に予め学習してお
き、撮影条件または撮影時期の少なくとも1つが異なる
2枚の顔画像の差からクラスを選択し、前記2枚の顔画
像から選択されたクラスの画像変動の特徴量が小さくな
る特徴量をそれぞれ求め、前記2枚の顔画像の特徴量に
より顔識別・照合を行うことを特徴とする顔識別・照合
方法。 - 【請求項2】 画像変動の特徴は、撮影条件または撮影
時期の異なる2つの画像の差画像の標本集合を複数用意
し、各クラス毎に主成分分析を行って主成分と各主成方
向の標本分布の分散の大きさを求めることを特徴とする
請求項1記載の顔識別・照合方法。 - 【請求項3】 画像変動の特徴のクラスタの選択は、入
力された2枚の顔画像の差の画像と各クラスの主成分に
よって張られる空間との距離を算出し、算出された距離
が最も近いクラスを選択することを特徴とする請求項1
または請求項2記載の顔識別・照合方法。 - 【請求項4】 画像変動の特徴のクラスタの選択は、入
力された2枚の顔画像の差の画像と各クラスの主成分に
よって張られる空間との距離と、入力された2枚の顔画
像の差の画像とゼロベクトルとのマハラノビス距離を算
出し、算出された2つの距離の和が最も小さいクラスを
選択することを特徴とする請求項1または請求項2記載
の顔識別・照合方法。 - 【請求項5】 撮影条件または撮影時期の異なる2つの
画像の差画像の標本集合を複数用意し、各クラス毎に主
成分分析を行って主成分と各主成方向の標本分布の分散
の大きさを予め求めておき、入力された2枚の顔画像の
差の画像と各クラスの主成分によって張られる空間との
距離を算出し、算出された距離により小さいクラスを少
なくとも1つを選択し、前記2枚の顔画像からそれらの
クラスを統合したクラスの画像変動の特徴の小さくなる
特徴量をそれぞれ求め、前記2枚の顔画像の特徴量によ
り顔識別・照合を行うことを特徴とする顔識別・照合方
法。 - 【請求項6】 クラスの選択は、入力された2枚の顔画
像の差の画像と各クラスの主成分によって張られる空間
との距離と入力された2枚の顔画像の差の画像とゼロベ
クトルとのマハラノビス距離を算出し、算出された2つ
の距離の和が予め定められた値より小さいクラスを1つ
または複数選択することを特徴とする請求項5記載の顔
識別・照合方法。 - 【請求項7】 撮影条件または撮影時期の違いによる画
像変動の特徴を予め学習しておき、同一人物の画像集合
Aと、別の撮影条件でとった同一人物の画像集合Bを入
力し、画像集合Aに含まれる画像と画像集合Bに含まれ
る画像のすべての組み合わせて画像の差を求め、予め学
習された画像変動の特徴と最も一致している前記画像か
ら前記画像変動の特徴量が小さくなる特徴量をそれぞれ
求め、前記2枚の顔画像の特徴量により顔識別・照合を
行うことを特徴とする顔識別・照合方法。 - 【請求項8】 撮影条件または撮影時期の違いによる画
像変動の特徴を分類されたクラス毎に予め学習する学習
手段と、撮影条件または撮影時期の少なくとも1つが異
なる2枚の顔画像の差からクラスを選択する特徴決定手
段と、前記2枚の顔画像から選択されたクラスの画像変
動の特徴量が小さくなる特徴量をそれぞれ求める特徴量
算出手段と、前記2枚の顔画像の特徴量により顔識別・
照合を行う判定手段とを具備することを特徴とする顔識
別・照合装置。 - 【請求項9】 撮影条件または撮影時期の異なる2つの
画像の差画像の標本集合を複数用意し、各クラス毎に主
成分分析を行って主成分と各主成方向の標本分布の分散
の大きさを予め求める分布演算手段と、入力された2枚
の顔画像の差の画像と各クラスの主成分によって張られ
る空間との距離を算出する空間評価手段と、前記算出さ
れた距離により小さいクラスを少なくとも1つを選択す
る特徴決定手段と、、前記2枚の顔画像からそれらのク
ラスを統合したクラスの画像変動の特徴の小さくなる特
徴量をそれぞれ求める特徴量算出手段と、前記2枚の顔
画像の特徴量により顔識別・照合を行う判定手段とを具
備することを特徴とする顔識別・照合装置。 - 【請求項10】 撮影条件または撮影時期の違いによる
画像変動の特徴を予め学習する学習手段と、同一人物の
画像集合Aと、別の撮影条件でとった同一人物の画像集
合Bを入力し、画像集合Aに含まれる画像と画像集合B
に含まれる画像のすべての組み合わせて画像の差を求
め、予め学習された画像変動の特徴と最も一致している
組み合わせを求める特徴決定手段と、前記組み合わせ画
像から前記画像変動の特徴量が小さくなる特徴量をそれ
ぞれ求める特徴量算出手段と、前記2枚の顔画像の特徴
量により顔識別・照合を行う判定手段とを具備すること
を特徴とする顔識別・照合装置。 - 【請求項11】 コンピュータにより顔識別・照合を行
うプログラムを記録した記録媒体であって、撮影条件ま
たは撮影時期の違いによる画像変動の特徴を分類された
クラス毎に予め学習しておき、撮影条件または撮影時期
の少なくとも1つが異なる2枚の顔画像の差からクラス
を選択し、前記2枚の顔画像から選択されたクラスの画
像変動の特徴量が小さくなる特徴量をそれぞれ求め、前
記2枚の顔画像の特徴量により顔識別・照合を行うこと
を特徴とする顔識別・照合プログラムを記録した記録媒
体。 - 【請求項12】 コンピュータにより顔識別・照合を行
うプログラムを記録した記録媒体であって、撮影条件ま
たは撮影時期の異なる2つの画像の差画像の標本集合を
複数用意し、各クラス毎に主成分分析を行って主成分と
各主成方向の標本分布の分散の大きさを予め求めてお
き、入力された2枚の顔画像の差の画像と各クラスの主
成分によって張られる空間との距離を算出し、算出され
た距離により小さいクラスを少なくとも1つを選択し、
前記2枚の顔画像からそれらのクラスを統合したクラス
の画像変動の特徴の小さくなる特徴量をそれぞれ求め、
前記2枚の顔画像の特徴量により顔識別・照合を行うこ
とを特徴とする顔識別・照合プログラムを記録した記録
媒体。 - 【請求項13】 コンピュータにより顔識別・照合を行
うプログラムを記録した記録媒体であって、撮影条件ま
たは撮影時期の違いによる画像変動の特徴を予め学習し
ておき、同一人物の画像集合Aと、別の撮影条件でとっ
た同一人物の画像集合Bを入力し、画像集合Aに含まれ
る画像と画像集合Bに含まれる画像のすべての組み合わ
せて画像の差を求め、予め学習された画像変動の特徴と
最も一致している前記画像から前記画像変動の特徴量が
小さくなる特徴量をそれぞれ求め、前記2枚の顔画像の
特徴量により顔識別・照合を行うことを特徴とする顔識
別・照合プログラムを記録した記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP30818298A JP2000132675A (ja) | 1998-10-29 | 1998-10-29 | 顔識別・照合方法及びその装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP30818298A JP2000132675A (ja) | 1998-10-29 | 1998-10-29 | 顔識別・照合方法及びその装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2000132675A true JP2000132675A (ja) | 2000-05-12 |
Family
ID=17977904
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP30818298A Pending JP2000132675A (ja) | 1998-10-29 | 1998-10-29 | 顔識別・照合方法及びその装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2000132675A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2017770A2 (en) | 2001-12-14 | 2009-01-21 | NEC Corporation | Face meta-data generation and face similarity calculation |
-
1998
- 1998-10-29 JP JP30818298A patent/JP2000132675A/ja active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2017770A2 (en) | 2001-12-14 | 2009-01-21 | NEC Corporation | Face meta-data generation and face similarity calculation |
US7593551B2 (en) | 2001-12-14 | 2009-09-22 | Nec Corporation | Face meta-data generation and face similarity calculation |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108269254B (zh) | 图像质量评估方法和装置 | |
US6430307B1 (en) | Feature extraction system and face image recognition system | |
US10558851B2 (en) | Image processing apparatus and method of generating face image | |
US7502496B2 (en) | Face image processing apparatus and method | |
JP4505733B2 (ja) | テクストンを用いる対象物認識方法及び装置 | |
CN100492397C (zh) | 人脸元数据生成设备和生成方法、人脸识别系统和方法 | |
US9070041B2 (en) | Image processing apparatus and image processing method with calculation of variance for composited partial features | |
WO2010004958A1 (ja) | 個人認証システム、個人認証方法 | |
US20080240579A1 (en) | Video discrimination method and video discrimination apparatus | |
US20070041638A1 (en) | Systems and methods for real-time object recognition | |
JP2008033424A (ja) | 画像処理装置、画像処理方法、プログラム及び記憶媒体 | |
CN112215201A (zh) | 评估人脸识别模型、针对图像的分类模型的方法及装置 | |
JP2000132688A (ja) | 顔パーツ検出方法及びその装置 | |
CN105678778B (zh) | 一种图像匹配方法和装置 | |
CN110717458B (zh) | 人脸识别方法及识别装置 | |
WO2005012880B1 (en) | Analysing biological entities | |
CN111461101A (zh) | 工服标志的识别方法、装置、设备及存储介质 | |
US20120052473A1 (en) | Learning apparatus, learning method, and computer program product | |
US9576222B2 (en) | Image retrieval apparatus, image retrieval method, and recording medium | |
JPH0520442A (ja) | 顔画像照合装置 | |
Tapia et al. | Face feature visualisation of single morphing attack detection | |
CN114677504B (zh) | 目标检测方法、装置、设备终端和可读存储介质 | |
JP3468108B2 (ja) | 顔画像照合方法及び顔画像照合装置 | |
JP2000222572A (ja) | 性別の判定方法 | |
JP2015041293A (ja) | 画像認識装置および画像認識方法 |