JP2008257329A - Face recognition apparatus - Google Patents
Face recognition apparatus Download PDFInfo
- Publication number
- JP2008257329A JP2008257329A JP2007096319A JP2007096319A JP2008257329A JP 2008257329 A JP2008257329 A JP 2008257329A JP 2007096319 A JP2007096319 A JP 2007096319A JP 2007096319 A JP2007096319 A JP 2007096319A JP 2008257329 A JP2008257329 A JP 2008257329A
- Authority
- JP
- Japan
- Prior art keywords
- face
- person
- face information
- information
- collation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims abstract description 38
- 238000012795 verification Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 description 10
- 238000001514 detection method Methods 0.000 description 7
- 210000000887 face Anatomy 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 6
- 230000007423 decrease Effects 0.000 description 5
- 238000012790 confirmation Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000002411 adverse Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000037237 body shape Effects 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
Images
Landscapes
- Collating Specific Patterns (AREA)
Abstract
Description
本発明は、顔照合装置に関し、特に、不特定多数の顔から登録者の顔を識別する装置に関する。 The present invention relates to a face collation apparatus, and more particularly to an apparatus for identifying a registrant's face from an unspecified number of faces.
あらかじめ複数の顔を登録し、不特定多数の顔から登録されている顔を認証するシステムにおいて、別人を、登録済みの人物として誤認証してしまうという課題がある(以後このような誤認証を「他人受入エラー」と呼び、他人受入エラーが起こる確率を他人受入率と呼ぶ)。このようなシステムでは一般に、入力された顔画像と登録されている全顔画像を照合し、最も類似度が大きい登録顔を候補とし、その類似度が一定の値を超えた場合に認証成功としている。 In a system in which a plurality of faces are registered in advance and a face registered from a large number of unspecified faces is authenticated, there is a problem that another person is mistakenly authenticated as a registered person (hereinafter, such false authentication is performed). This is called “other person acceptance error”, and the probability that another person acceptance error will occur is called the “other person acceptance rate”). In such a system, the input face image is generally compared with all registered face images, the registered face with the highest similarity is taken as a candidate, and the authentication is successful if the similarity exceeds a certain value. Yes.
したがって、登録者間の認証は学習方法などの工夫により、互いに類似度の相関が低くなるように工夫することが可能であるが、非登録者を登録者と照合する場合においては、非登録者の特徴が未知であるため、他人受入率の削減が難しいという課題がある。 Therefore, authentication between registrants can be devised so that the correlation between similarities becomes low by means of learning methods, etc., but in the case of matching non-registrants with registrants, non-registrants Since the characteristics of are unknown, there is a problem that it is difficult to reduce the acceptance rate of others.
これらの対策として、システムが判断した識別結果の正誤を人が確認可能な場合においては、正しい情報をシステムに手入力することにより、それ以降の認識精度を向上することが期待できる。 As these measures, when a person can confirm the correctness of the identification result determined by the system, it is expected that the recognition accuracy after that can be improved by manually inputting correct information into the system.
従来は、他人受入エラーとされた他人を全て新たに登録し、以降その他人も含めた登録データと照合するという方法が取られてきた(誤認証除去だけのために登録された顔は他の登録者とは区別される)。次にその他人が照合されたときには新たに登録した人と認証されるため、他人受入エラーとならない。 Conventionally, a method has been used in which all other persons who have been misaccepted by other persons are newly registered and then verified against registered data including other persons (faces registered only for the purpose of removing false authentication are other Distinct from registrants). Next, when another person is collated, since it is authenticated as a newly registered person, no other person acceptance error occurs.
しかし、この手法では、他人受入エラーが発生するたびに登録人数が多くなってしまい、認証にかかる時間が増えてしまうという問題がある。照合対象の画像を全ての登録画像と照合しなければならず、登録人数に比例して認証時間が増加するためである。 However, this method has a problem that the number of registered persons increases every time another person acceptance error occurs, and the time required for authentication increases. This is because the image to be verified must be verified against all registered images, and the authentication time increases in proportion to the number of registered users.
また、この手法では、既登録者の顔画像であるにもかかわらず他人受入エラーが発生してしまった場合、その既登録者の顔画像が他人受入エラーを起こした画像として、別人として登録されてしまう。同一人物が別人として登録されてしまうと、その人の認証率は低下してしまう。 In addition, in this method, when a stranger acceptance error occurs even though it is a face image of a registered person, the face image of the registered person is registered as a different person as an image that has caused another person acceptance error. End up. If the same person is registered as a different person, the authentication rate of that person will decrease.
なお、特許文献1では、登録者Aと誤って認識される可能性の高い他の登録者B1〜Bnを誤認識人物リストに登録し、そのリストに登録された人数nに応じて登録者Aの照合時の認識条件を変化させる手法が提案されている。この手法を利用すれば、登録者Aと他の登録者B1〜Bnとの識別精度を向上できると期待される。しかしながら、この手法は未登録者の画像による他人受入エラーの低減には寄与しないし、また上述した従来の問題(他人受入エラー画像を登録することによる認証時間の増大、及び、同一人物の二重登録による認証率の低下)を解決することもできない。
本発明は上記実情に鑑みてなされたものであって、その目的とするところは、認証時間の増大や同一人物の二重登録による認証率の低下を可及的に抑えながら、他人受入エラー
の低減を図るための技術を提供することにある。
The present invention has been made in view of the above circumstances, and the purpose of the present invention is to prevent errors in accepting other people while suppressing as much as possible an increase in authentication time and a decrease in authentication rate due to double registration of the same person. The object is to provide a technique for reducing this.
上記目的を達成するために本発明は、以下の構成を採用する。 In order to achieve the above object, the present invention adopts the following configuration.
本発明の第1態様は、顔照合装置であって、複数の登録者の顔情報を予め記憶している登録顔記憶手段と、照合対象者の画像から顔情報を取得する顔情報取得手段と、顔照合によって、前記複数の登録者の中から前記照合対象者と同一人と推定される候補者を選ぶ顔照合手段と、前記照合対象者と前記候補者が同一人であるか否かを判定する判定手段と、前記判定手段により同一人でないと判定された照合対象者の顔情報を類似顔情報として記憶する類似顔記憶手段と、を備える。ここで、前記類似顔記憶手段は、登録者別に前記類似顔情報を記憶するものであり、前記顔照合手段は、前記照合対象者の顔情報を前記登録者それぞれの顔情報と照合する第1の顔照合と、前記照合対象者の顔情報を前記第1の顔照合の結果選ばれた登録者に対応付けられている類似顔情報と照合する第2の顔照合とを実行するものである。 A first aspect of the present invention is a face collation device, which is a registered face storage unit that stores face information of a plurality of registrants in advance, and a face information acquisition unit that acquires face information from an image of a person to be collated. A face matching means for selecting a candidate who is estimated to be the same person as the person to be collated from the plurality of registrants by face matching; and whether or not the person to be collated and the candidate are the same person. Determination means for determining, and similar face storage means for storing face information of the person to be collated determined to be not the same person by the determination means as similar face information. Here, the similar face storage means stores the similar face information for each registrant, and the face collating means compares the face information of the person to be collated with the face information of each registrant. And the second face matching for matching the face information of the person to be matched with the similar face information associated with the registrant selected as a result of the first face matching. .
この構成によれば、類似顔情報が登録者の顔情報と区別されて蓄積されるので、第1の顔照合に要する時間は増大しない。また、類似顔情報が登録者別に管理されており、第2の顔照合における照合範囲が第1の顔照合の結果選ばれた登録者に対応する類似顔情報に限定されるので、第2の顔照合に要する時間を可及的に小さくできる。よって認証時間の短縮と他人受入エラーの低減を両立することができる。 According to this configuration, the similar face information is accumulated separately from the registrant's face information, so the time required for the first face matching does not increase. Further, similar face information is managed for each registrant, and the collation range in the second face collation is limited to the similar face information corresponding to the registrant selected as a result of the first face collation. The time required for face matching can be reduced as much as possible. Therefore, it is possible to achieve both shortening of the authentication time and reduction of other person acceptance errors.
さらに、ある登録者Aの顔情報が別の登録者Bの類似顔情報として記憶されたとしても、その類似顔情報は、第1の顔照合の照合範囲からも、第1の顔照合で登録者Aが選ばれた場合の第2の顔照合の照合範囲からも外れるので、登録者Aの認証率に悪影響を与えない。すなわち、本発明では、従来問題とされていた同一人物の二重登録による認証率低下も生じない。 Further, even if face information of a registrant A is stored as similar face information of another registrant B, the similar face information is registered by the first face matching from the matching range of the first face matching. Since the user A is also out of the collation range of the second face collation when the user A is selected, the authentication rate of the registrant A is not adversely affected. That is, in the present invention, the authentication rate is not lowered due to double registration of the same person, which has been regarded as a problem in the past.
上記構成において、前記顔照合手段は、前記第1の顔照合において、前記複数の登録者の中から、前記照合対象者の顔情報との類似度が最も大きい一の登録者(暫定候補者)を選び出すとよい。さらに、前記顔照合手段は、前記第2の顔照合において、前記照合対象者の顔情報と前記一の登録者の顔情報との類似度が、前記照合対象者の顔情報と前記一の登録者に対応付けられている類似顔情報との類似度よりも大きい場合に、前記一の登録者を前記候補者として出力することが好ましい。 In the above-described configuration, the face collating unit is one registrant (provisional candidate) having the highest similarity with the face information of the person to be collated among the plurality of registrants in the first face collation. It is good to pick out. Further, in the second face matching, the face matching unit is configured such that the similarity between the face information of the person to be checked and the face information of the one registrant is equal to the face information of the person to be checked and the one registration. It is preferable that the one registrant is output as the candidate when the degree of similarity with the similar face information associated with the person is larger.
前記判定手段は、照合対象者と候補者が同一人であるか否かを自動で判定してもよいし、ユーザに判定させてもよい。自動判定の場合、前記判定手段は顔照合手段による顔照合とは異なる手段を用いて照合対象者と候補者の同一性を判定するとよい。またユーザに判定させる場合、前記判定手段は、前記照合対象者の顔画像と前記候補者の顔画像を表示するとよい。これによりユーザは同一人か否かを容易に判定することができる。 The determination means may automatically determine whether or not the verification target person and the candidate are the same person, or may allow the user to determine. In the case of automatic determination, the determination unit may determine the identity between the verification target person and the candidate using a unit different from the face verification by the face verification unit. Moreover, when making a user determine, the said determination means is good to display the said collation subject's face image and the said candidate's face image. As a result, the user can easily determine whether or not they are the same person.
本発明は、上記手段の少なくとも一部を有する顔照合装置として捉えてもよいし、また、本発明は、上記処理の少なくとも一部を含む顔照合方法、または、かかる方法を実現するためのプログラムやそのプログラムを記憶する記憶媒体として捉えることもできる。なお、上記手段および処理の各々は可能な限り互いに組み合わせて本発明を構成することができる。 The present invention may be regarded as a face collation apparatus having at least a part of the above means, and the present invention also includes a face collation method including at least a part of the above processing, or a program for realizing such a method. Or as a storage medium for storing the program. Each of the above means and processes can be combined with each other as much as possible to constitute the present invention.
例えば、本発明に係る顔照合方法は、複数の登録者の顔情報を予め記憶しているコンピュータが、照合対象者の画像から顔情報を取得する顔情報取得処理と、顔照合によって、前記複数の登録者の中から前記照合対象者と同一人と推定される候補者を選ぶ顔照合処理
と、前記照合対象者と前記候補者が同一人であるか否かを判定する判定処理と、同一人でないと判定された照合対象者の顔情報を類似顔情報として記憶する類似顔記憶処理と、を実行し、前記類似顔記憶処理において、前記コンピュータは、登録者別に前記類似顔情報を記憶し、前記顔照合処理において、前記コンピュータは、前記照合対象者の顔情報を前記登録者それぞれの顔情報と照合する第1の顔照合と、前記照合対象者の顔情報を前記第1の顔照合の結果選ばれた登録者に対応付けられている類似顔情報と照合する第2の顔照合とを実行することを特徴とするものである。
For example, in the face collation method according to the present invention, a computer that stores face information of a plurality of registrants in advance includes face information acquisition processing in which face information is obtained from an image of a person to be collated, and face collation. The same face matching process for selecting a candidate who is estimated to be the same person as the person to be collated from among the registered persons, and a determination process for determining whether or not the person to be collated and the candidate are the same person A similar face storage process for storing the face information of the person who is determined to be non-human as similar face information, and in the similar face storage process, the computer stores the similar face information for each registrant. In the face collation process, the computer collates the face information of the person to be collated with the face information of each of the registrants, and the face information of the person to be collated is the first face collation. Selected registration as a result of It is characterized in performing a second face collation to be matched with similar face information associated with the.
本発明によれば、認証時間の増大や同一人物の二重登録による認証率の低下を可及的に抑えながら、他人受入エラーの低減を図ることができる。 According to the present invention, it is possible to reduce other person acceptance errors while suppressing as much as possible an increase in authentication time and a decrease in authentication rate due to double registration of the same person.
以下に図面を参照して、この発明の好適な実施の形態を例示的に詳しく説明する。 Exemplary embodiments of the present invention will be described in detail below with reference to the drawings.
<装置構成>
図1は、本発明の一実施形態に係る顔照合装置の構成を示している。顔照合装置は、その機能として、撮像部1、顔検出部2、顔照合部3、登録顔記憶部4、類似顔記憶部5、結果表示部6、入力部7、類似顔登録部8を備えている。顔照合装置は、ハードウエア的には、撮像装置、表示装置、入力装置などを具備するコンピュータにより構成可能である。上記機能は、コンピュータにおいて、補助記憶装置に格納されたプログラムが主記憶装置に読み込まれ、CPU(中央演算処理装置)によって実行されることで実現されるものである。ただし、上記機能の一部又は全部を専用のチップで構成しても構わない。
<Device configuration>
FIG. 1 shows a configuration of a face collation apparatus according to an embodiment of the present invention. The face collation device has an
撮像部1は、動画又は静止画を撮影可能な撮像装置(具体的にはデジタルビデオカメラやデジタルカメラ)を用いて構成される。撮像部1は、不特定の照合対象者を撮影し、その画像をコンピュータに入力する。
The
顔検出部2は、入力画像から照合対象者の顔を検出するとともに、その検出された顔の特徴量(顔情報)を抽出する機能(顔情報取得手段)である。顔検出部2による顔検出処理は、既存のどのような技術が適用されてもよい。一例を挙げると、(1)顔全体の輪郭に対応した基準テンプレートを用いたテンプレートマッチングによって顔を検出する手法、(2)顔の器官(目、鼻、耳など)に基づくテンプレートマッチングによって顔を検出する手法、(3)クロマキー処理によって頭部などの頂点を検出し、この頂点に基づいて顔を検出する手法、(4)肌の色に近い領域を検出し、その領域を顔として検出する手法、(5)ニューラルネットワークを使って教師信号による学習を行い、顔らしい領域を顔として検出する手法、などがある。なお、画像から複数の人の顔が検出された場合には、顔の大きさ、向き、位置などの所定の基準に基づいて処理対象とする顔を決定するとよい。顔情報として抽出する特徴量の種類についてはどのようなものを採用してもよい。例えば、特徴点近傍の濃淡値やその周期性・方向性、特徴点の位置関係などを特徴量として採用できる。特徴量の個数についても、期待する照合精度に応じて任意に設定できる。一般的には、数十〜数百の特徴量の組で顔情報が構成される。
The
顔照合部3は、顔検出部2で取得された照合対象者の顔情報を、登録顔記憶部4もしくは類似顔記憶部5に格納されている顔情報と比較することによって、顔照合を行う機能(顔照合手段)である。顔照合部3による顔照合処理についても、既存のどのような技術が適用されてもよい。例えば、比較対象の2つの顔の顔情報の類似度(スコア)を算出し、そのスコアの大小を相対的に評価したり(最もスコアが大きい顔を候補として選ぶ)、絶対的に評価したり(スコアが所定のしきい値以上の顔を候補として選ぶ)すればよい。本実施形態の顔照合部3は、照合対象者の顔情報を登録者の顔情報と照合する第1の顔照合
部30と、照合対象者の顔情報を類似者の顔情報と照合する第2の顔照合部31とから構成される。ただし、実装上は、第1の顔照合部30と第2の顔照合部31を別モジュールとしても同一モジュールとしても構わない。
The
登録顔記憶部4は、複数の登録者の顔情報を予め記憶している機能(登録顔記憶手段)である。ここで「登録者」とは、顔照合装置が識別すべき(人物を特定すべき)者のことである。例えば、不特定多数の通行人の中から社員を検出するためのゲートシステムにこの顔照合装置が適用される場合は、検出対象である社員だけが登録者となる。 The registered face storage unit 4 is a function (registered face storage means) that stores face information of a plurality of registrants in advance. Here, the “registrant” is a person who should be identified (a person should be specified) by the face matching device. For example, when this face matching device is applied to a gate system for detecting employees from an unspecified number of passers-by, only employees who are detection targets become registrants.
一方、類似顔記憶部5は、他人受入エラーを起こした者(類似者)の顔情報を類似顔情報として記憶する機能(類似顔記憶手段)である。図2は、類似顔記憶部5のデータ構造を概念的に表したものである。類似顔記憶部5は、登録者をインデックスとして、登録者別に類似顔情報を記憶している。図2の例では、登録者R1に2人分の類似顔情報R1−1、R1−2が、登録者R2には3人分の類似顔情報R2−1、R2−2、R2−3がそれぞれ対応付けられている。登録者R3には類似顔情報が無いが、これは、登録者R3と誤判定された顔が今まで存在しなかったことを意味している。
On the other hand, the similar
結果表示部6は、顔照合結果を表示する機能であり、表示装置(具体的にはLCDやPDPなど)を用いて構成される。入力部7は、ユーザからの情報入力を受け付ける機能であり、入力装置(具体的にはキーボード、マウス、タッチパネルなど)を用いて構成される。類似顔登録部8は、他人受入エラーを起こした照合対象者の顔情報を類似顔記憶部5に登録する機能である。他人受入エラーかどうかの判定はユーザが目視にて行う。その具体的な処理については後述する。なお、本実施形態では、結果表示部6、入力部7および類似顔登録部8が本発明の判定手段を構成している。
The result display unit 6 has a function of displaying the face collation result, and is configured using a display device (specifically, LCD, PDP, etc.). The
<顔照合処理>
次に、図3のフローチャートに沿って、顔照合装置の処理の流れを説明する。図3に示す処理は、一定の時間間隔で撮像部1から画像が入力されるたびに実行されるものである。
<Face matching process>
Next, the processing flow of the face collation apparatus will be described with reference to the flowchart of FIG. The process shown in FIG. 3 is executed each time an image is input from the
ステップS1では、顔検出部2が、入力画像から照合対象者の顔を検出し、さらにその顔情報を取得する。
In step S1, the
ステップS2では、第1の顔照合部30が、照合対象者の顔情報を登録顔記憶部4に登録されている登録者それぞれの顔情報と照合する。すなわち、登録者全員について、照合対象者の顔情報と登録者の顔情報との類似度(スコア)が算出される。
In step S <b> 2, the first
ステップS3では、第1の顔照合部30が、スコアが最も大きかった登録者を暫定候補者に決定する。
In step S3, the first
ステップS4では、第1の顔照合部30が、暫定候補者のスコアが予め設定されているしきい値を超えているか調べる。スコアがしきい値以下の場合は(ステップS4;NO)、照合対象者と暫定候補者とは同一人でないとみなし、顔照合部3は照合結果として「NG」を出力する(ステップS5)。一方、スコアがしきい値を超えていた場合には(ステップS4;YES)、ステップS6以降の第2の顔照合に進む。
In step S4, the first
ステップS6では、第2の顔照合部31が、類似顔記憶部5を参照して、暫定候補者に対応付けられている類似顔情報が存在するか調べる。類似顔情報が無い場合(ステップS6;NO)(図2の登録者R3参照)、第2の顔照合部31は暫定候補者を「候補者」として出力し、ステップS10に処理を進める。1つ以上の類似顔情報が有る場合(ステッ
プS6;YES)(図2の登録者R1参照)、第2の顔照合部31はステップS7に処理を進める。
In step S <b> 6, the second
ステップS7では、第2の顔照合部31が、照合対象者の顔情報を各類似顔情報(R1−1,R1−2)と照合する。すなわち、それぞれの類似顔情報について類似度(スコア)が算出される。
In step S7, the second
ステップS8では、第2の顔照合部31が、スコアが最も大きかった類似顔情報を間違い候補者に決定する。
In step S8, the second
ステップS9では、第2の顔照合部31が、暫定候補者のスコアと間違い候補者のスコアとを比較する。暫定候補者のスコアのほうが大きい場合(ステップS9;YES)、第2の顔照合部31は暫定候補者を「候補者」として出力し、ステップS10に処理を進める。逆に、間違い候補者のスコアのほうが大きいか、両者のスコアが同じ場合(ステップS9;NO)は、照合対象者は暫定候補者によく似た他人であるとみなし、顔照合部3は照合結果として「NG」を出力する(ステップS5)。
In step S <b> 9, the second
ステップS10では、結果表示部6が、顔照合結果確認画面を表示し、照合対象者と候補者が同一人であるか否かの判定をユーザに要求する。図4は、顔照合結果確認画面の一例である。この画面には、照合対象者の顔画像と候補者(登録者)の顔画像とが並べて表示され、併せて、候補者の名前や登録番号などの情報やスコアが表示される。ユーザは2つの画像を見比べ、照合結果が正しいか否かを入力する。 In step S <b> 10, the result display unit 6 displays a face matching result confirmation screen, and requests the user to determine whether or not the matching target person and the candidate are the same person. FIG. 4 is an example of a face matching result confirmation screen. On this screen, the face image of the person to be collated and the face image of the candidate (registrant) are displayed side by side, and information such as the name and registration number of the candidate and the score are also displayed. The user compares the two images and inputs whether or not the collation result is correct.
ユーザにより照合結果が正しい(つまり、照合対象者と候補者が同一人である)と判定された場合(ステップS11;YES)、照合結果として「OK」が出力される(ステップS12)。 When it is determined by the user that the collation result is correct (that is, the collation target person and the candidate are the same person) (step S11; YES), “OK” is output as the collation result (step S12).
一方、ユーザにより照合結果が正しくない(つまり、照合対象者と候補者が同一人でない)と判定された場合(ステップS11;NO)は、類似顔登録部8が、その照合対象者の顔情報を類似顔記憶部5に追加登録する(ステップS13)。このとき、類似顔登録部8は、照合対象者の顔情報を、上記候補者の類似顔情報に追加する。これにより登録者と類似者との対応付けが行われる。そして、照合結果としては「NG」が出力される(ステップS5)。
On the other hand, when it is determined by the user that the collation result is not correct (that is, the collation target person and the candidate are not the same person) (step S11; NO), the similar
NGが出力された場合は出力なし、OKが出力されたときは人物名を表示するとなおよい。 If NG is output, no output is output, and if OK is output, it is more preferable to display a person name.
なお、本実施形態では照合対象者と候補者が同一人であるか否かの最終判定をユーザに行わせているが、この最終判定を装置側の自動処理で代替することも可能である。顔照合部3の顔照合処理とは異なる手段を用いて照合対象者と候補者の同一性を判定すれば、他人受入エラーの発生率をかなり低く抑えることができる。例えば、顔情報以外の情報(照合対象者の所持するカードなどから読み取られる情報、画像から得られる身長・体型・服装・髪型・所持品などの情報、顔以外のバイオメトリクス情報など)を比較して同一性を判定する処理が考えられる。また、顔照合部3とは異なるアルゴリズムの顔照合処理を同一性の最終判定に用いることも好ましい。
In this embodiment, the user makes a final determination as to whether or not the verification target person and the candidate are the same person, but this final determination can be replaced by automatic processing on the apparatus side. If the identity of the person to be collated and the candidate is determined using means different from the face collation process of the
<利点>
以上述べた本実施形態の顔照合装置によれば、他人受入エラーを起こした(つまり、ユーザにより候補者と同一人でないと判定された)照合対象者の顔情報は、類似顔情報として、登録者の顔情報とは区別されて蓄積される。よって、他人受入エラーがいくら発生し
ても、登録人数が増えることはなく、第1の顔照合に要する時間は増大しない。
<Advantages>
According to the face collation apparatus of the present embodiment described above, face information of a collation target person who has caused another person acceptance error (that is, determined by the user as not being the same person as the candidate) is registered as similar face information. Is stored separately from the person's face information. Therefore, no matter how many other person acceptance errors occur, the number of registered persons does not increase, and the time required for the first face matching does not increase.
その一方で、第1の顔照合の後、照合対象者の顔情報を類似顔情報と照合することで、第1の顔照合の結果を検証しているので、他人受入エラーの低減を図ることができる。 On the other hand, after the first face collation, the face information of the person to be collated is collated with the similar face information to verify the result of the first face collation, so that it is possible to reduce other person acceptance errors. Can do.
しかも、類似顔情報が登録者別に管理されており、第2の顔照合における照合範囲は暫定候補者に対応付けられている類似顔情報(つまり、暫定候補者と間違えやすい他人の顔)に限定される。よって、第2の顔照合に要する時間を可及的に小さくでき、第1の顔照合の結果の検証を効率よく行うことができる。 Moreover, similar face information is managed for each registrant, and the collation range in the second face collation is limited to similar face information associated with the temporary candidate (that is, another person's face that is easily mistaken for the temporary candidate). Is done. Therefore, the time required for the second face matching can be reduced as much as possible, and the result of the first face matching can be verified efficiently.
さらに、ある登録者Aの顔情報が別の登録者Bの類似顔情報として記憶されたとしても、その類似顔情報は、第1の顔照合の照合範囲からも、第1の顔照合で登録者Aが選ばれた場合の第2の顔照合の照合範囲からも外れるので、登録者Aの認証率に悪影響を与えない。すなわち、従来問題とされていた同一人物の二重登録による認証率低下が生じない。 Further, even if face information of a registrant A is stored as similar face information of another registrant B, the similar face information is registered by the first face matching from the matching range of the first face matching. Since the user A is also out of the collation range of the second face collation when the user A is selected, the authentication rate of the registrant A is not adversely affected. That is, there is no decrease in authentication rate due to double registration of the same person, which has been regarded as a problem in the past.
<顔照合装置の適用例>
上述した顔照合装置は、不特定多数の者の中から特定の登録者(実際は、登録者である可能性の高い者)を自動的に検出する目的に利用される。例えば、照合対象者1000人の中に登録者がせいぜい数人しか存在しないような場合、1000人全員の顔をユーザが確認するのは現実的でない。もし、顔照合装置で1000人を10人に絞り込むことができれば、ユーザの負担は百分の一となり、その効果は絶大である。具体的な適用例としては、(1)大型販売店において多数のお客さんの中から上得意客(=登録者)を検出し、それを販売員に通知するシステムとか、(2)空港や駅などにおいて犯罪者(=登録者)を検出し、それを警備員に通知するシステムなど、いろいろなものを想定できる。
<Application example of face matching device>
The face matching device described above is used for the purpose of automatically detecting a specific registrant (in fact, a person who is highly likely to be a registrant) from an unspecified number of people. For example, when there are at most only a few registrants among the 1000 people to be verified, it is not realistic for the user to check the faces of all 1000 people. If the face collation apparatus can narrow down 1000 people to 10 people, the burden on the user will be one-hundred and the effect will be enormous. Specific applications include (1) a system that detects the top customers (= registrants) from a large number of customers at large dealers and notifies them to the sales staff, or (2) airports and stations, etc. Various systems such as a system for detecting a criminal (= registered person) and notifying the security guard can be assumed.
1 撮像部
2 顔検出部
3 顔照合部
30 第1の顔照合部
31 第2の顔照合部
4 登録顔記憶部
5 類似顔記憶部
6 結果表示部
7 入力部
8 類似顔登録部
DESCRIPTION OF
Claims (7)
照合対象者の画像から顔情報を取得する顔情報取得手段と、
顔照合によって、前記複数の登録者の中から前記照合対象者と同一人と推定される候補者を選ぶ顔照合手段と、
前記照合対象者と前記候補者が同一人であるか否かを判定する判定手段と、
前記判定手段により同一人でないと判定された照合対象者の顔情報を類似顔情報として記憶する類似顔記憶手段と、を備え、
前記類似顔記憶手段は、登録者別に前記類似顔情報を記憶するものであり、
前記顔照合手段は、前記照合対象者の顔情報を前記登録者それぞれの顔情報と照合する第1の顔照合と、前記照合対象者の顔情報を前記第1の顔照合の結果選ばれた登録者に対応付けられている類似顔情報と照合する第2の顔照合とを実行するものである
ことを特徴とする顔照合装置。 Registered face storage means for storing face information of a plurality of registrants in advance;
Face information acquisition means for acquiring face information from the image of the person to be verified;
Face matching means for selecting a candidate who is estimated to be the same person as the person to be verified from among the plurality of registrants by face matching;
Determination means for determining whether the verification target person and the candidate are the same person;
Similar face storage means for storing face information of the person to be collated determined by the determination means as not being the same person as similar face information,
The similar face storage means stores the similar face information for each registrant,
The face matching means is selected as a result of the first face matching for matching the face information of the person to be collated with the face information of each registrant and the face information of the person to be collated. A face collation apparatus that performs second face collation that collates with similar face information associated with a registrant.
前記第1の顔照合において、前記複数の登録者の中から、前記照合対象者の顔情報との類似度が最も大きい一の登録者を選び出す
ことを特徴とする請求項1に記載の顔照合装置。 The face matching means includes
The face collation according to claim 1, wherein in the first face collation, one registrant having the highest similarity with the face information of the collation target person is selected from the plurality of registrants. apparatus.
前記第2の顔照合において、前記照合対象者の顔情報と前記一の登録者の顔情報との類似度が、前記照合対象者の顔情報と前記一の登録者に対応付けられている類似顔情報との類似度よりも大きい場合に、前記一の登録者を前記候補者として出力する
ことを特徴とする請求項2に記載の顔照合装置。 The face matching means includes
In the second face collation, the similarity between the face information of the collation target person and the face information of the one registrant is related to the face information of the collation target person and the one registrant. 3. The face collation apparatus according to claim 2, wherein when the degree of similarity is greater than face information, the one registrant is output as the candidate.
前記照合対象者の顔画像と前記候補者の顔画像を表示し、同一人か否かをユーザに判定させる
ことを特徴とする請求項1〜3のいずれかに記載の顔照合装置。 The determination means includes
The face collation apparatus according to claim 1, wherein the face image of the person to be collated and the face image of the candidate are displayed, and the user is determined whether or not they are the same person.
照合対象者の画像から顔情報を取得する顔情報取得処理と、
顔照合によって、前記複数の登録者の中から前記照合対象者と同一人と推定される候補者を選ぶ顔照合処理と、
前記照合対象者と前記候補者が同一人であるか否かを判定する判定処理と、
同一人でないと判定された照合対象者の顔情報を類似顔情報として記憶する類似顔記憶処理と、を実行し、
前記類似顔記憶処理において、前記コンピュータは、登録者別に前記類似顔情報を記憶し、
前記顔照合処理において、前記コンピュータは、前記照合対象者の顔情報を前記登録者それぞれの顔情報と照合する第1の顔照合と、前記照合対象者の顔情報を前記第1の顔照合の結果選ばれた登録者に対応付けられている類似顔情報と照合する第2の顔照合とを実行する
ことを特徴とする顔照合方法。 A computer storing face information of a plurality of registrants in advance
Face information acquisition processing for acquiring face information from the image of the person to be verified;
A face matching process for selecting a candidate who is estimated to be the same person as the person to be matched from the plurality of registrants by face matching;
A determination process for determining whether or not the verification target person and the candidate are the same person;
Performing similar face storage processing for storing face information of a person to be collated determined not to be the same person as similar face information,
In the similar face storage process, the computer stores the similar face information for each registrant,
In the face matching process, the computer compares the face information of the person to be collated with the face information of each of the registrants, and the face information of the person to be collated in the first face matching. A face collation method comprising: performing a second face collation that collates with similar face information associated with a registrant selected as a result.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007096319A JP4992517B2 (en) | 2007-04-02 | 2007-04-02 | Face matching device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007096319A JP4992517B2 (en) | 2007-04-02 | 2007-04-02 | Face matching device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008257329A true JP2008257329A (en) | 2008-10-23 |
JP4992517B2 JP4992517B2 (en) | 2012-08-08 |
Family
ID=39980868
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007096319A Active JP4992517B2 (en) | 2007-04-02 | 2007-04-02 | Face matching device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4992517B2 (en) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010020572A (en) * | 2008-07-11 | 2010-01-28 | Hitachi Ltd | User identification system and method thereof |
JP2010026959A (en) * | 2008-07-24 | 2010-02-04 | Hitachi Ltd | Biometric authentication apparatus and biometric authentication server |
JP2010231402A (en) * | 2009-03-26 | 2010-10-14 | Sogo Keibi Hosho Co Ltd | Method and system for image display of monitoring device |
JP2014211786A (en) * | 2013-04-19 | 2014-11-13 | アズビル株式会社 | Collation device and collation method |
JP2015032137A (en) * | 2013-08-02 | 2015-02-16 | 株式会社ビジュアルジャパン | Document stock confirmation system |
CN105744112A (en) * | 2014-12-25 | 2016-07-06 | 富士施乐株式会社 | Information processing apparatus and information processing method |
JP2019175282A (en) * | 2018-03-29 | 2019-10-10 | セコム株式会社 | Collation apparatus and collation method |
JP7004128B1 (en) * | 2020-09-11 | 2022-01-21 | 日本電気株式会社 | Server equipment, system, control method of server equipment and computer program |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11175730A (en) * | 1997-12-05 | 1999-07-02 | Omron Corp | Human body detection and trace system |
JP2004046697A (en) * | 2002-07-15 | 2004-02-12 | Omron Corp | Personal identification device |
JP2005182184A (en) * | 2003-12-16 | 2005-07-07 | Toshiba Corp | Person recognition apparatus, person recognition method and access control apparatus |
JP2007047931A (en) * | 2005-08-08 | 2007-02-22 | Sharp Corp | Portable information terminal device |
-
2007
- 2007-04-02 JP JP2007096319A patent/JP4992517B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11175730A (en) * | 1997-12-05 | 1999-07-02 | Omron Corp | Human body detection and trace system |
JP2004046697A (en) * | 2002-07-15 | 2004-02-12 | Omron Corp | Personal identification device |
JP2005182184A (en) * | 2003-12-16 | 2005-07-07 | Toshiba Corp | Person recognition apparatus, person recognition method and access control apparatus |
JP2007047931A (en) * | 2005-08-08 | 2007-02-22 | Sharp Corp | Portable information terminal device |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010020572A (en) * | 2008-07-11 | 2010-01-28 | Hitachi Ltd | User identification system and method thereof |
JP2010026959A (en) * | 2008-07-24 | 2010-02-04 | Hitachi Ltd | Biometric authentication apparatus and biometric authentication server |
JP2010231402A (en) * | 2009-03-26 | 2010-10-14 | Sogo Keibi Hosho Co Ltd | Method and system for image display of monitoring device |
JP2014211786A (en) * | 2013-04-19 | 2014-11-13 | アズビル株式会社 | Collation device and collation method |
JP2015032137A (en) * | 2013-08-02 | 2015-02-16 | 株式会社ビジュアルジャパン | Document stock confirmation system |
CN105744112A (en) * | 2014-12-25 | 2016-07-06 | 富士施乐株式会社 | Information processing apparatus and information processing method |
JP2016122327A (en) * | 2014-12-25 | 2016-07-07 | 富士ゼロックス株式会社 | Information processing device and program |
CN105744112B (en) * | 2014-12-25 | 2019-03-08 | 富士施乐株式会社 | Information processing unit and information processing method |
JP2019175282A (en) * | 2018-03-29 | 2019-10-10 | セコム株式会社 | Collation apparatus and collation method |
JP7004128B1 (en) * | 2020-09-11 | 2022-01-21 | 日本電気株式会社 | Server equipment, system, control method of server equipment and computer program |
WO2022054238A1 (en) * | 2020-09-11 | 2022-03-17 | 日本電気株式会社 | Server device, system, method for controlling server device, and recording medium |
Also Published As
Publication number | Publication date |
---|---|
JP4992517B2 (en) | 2012-08-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4992517B2 (en) | Face matching device | |
US10509985B2 (en) | Method and apparatus for security inspection | |
KR101714350B1 (en) | Image Recognition Apparatus and Data Registration Method for Image Recognition Apparatus | |
US7330570B2 (en) | Face collation apparatus and biometrics data collation apparatus | |
US7006671B2 (en) | Personal identification apparatus and method | |
JP4862447B2 (en) | Face recognition system | |
JP5228872B2 (en) | Biometric authentication apparatus, biometric authentication method, biometric authentication computer program, and computer system | |
JP4156430B2 (en) | Face verification method and system using automatic database update method | |
JP4241763B2 (en) | Person recognition apparatus and method | |
US9740934B2 (en) | Image recognition device and method for registering feature data in image recognition device | |
JP4351982B2 (en) | Personal authentication method, apparatus and program | |
EP2887267A1 (en) | Biometric authentication device and reference data verification method | |
JP2014182480A (en) | Person recognition device and method | |
JP2008009753A (en) | Biometrics method and biometrics system | |
US20210406351A1 (en) | Non-face-to-face authentication system | |
JP4899552B2 (en) | Authentication device, authentication method, authentication program, and computer-readable recording medium recording the same | |
KR20100041562A (en) | Method and system for performing user authentication by face recognizing and fingerprint recognizing of user needing an authentication | |
JP2005182184A (en) | Person recognition apparatus, person recognition method and access control apparatus | |
JP2008065651A (en) | Face image authentication method, face image authentication apparatus and program | |
EP4167179A1 (en) | Authentication method, authentication program, and information processing device | |
JP2011086202A (en) | Collation device, collation method and collation program | |
Ilugbusi et al. | Development of a multi-intance fingerprint based authentication system | |
Isnanto et al. | Palmprint recognition system based on principle-lines feature using euclidean distance and neural network | |
JP2005242777A (en) | Face collation device and passage control device | |
TWI547882B (en) | Biometric recognition system, recognition method, storage medium and biometric recognition processing chip |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100208 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120131 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120321 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120410 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120423 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150518 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4992517 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |