JP2007004536A - Object-discriminating method and face-discriminating apparatus - Google Patents

Object-discriminating method and face-discriminating apparatus Download PDF

Info

Publication number
JP2007004536A
JP2007004536A JP2005184730A JP2005184730A JP2007004536A JP 2007004536 A JP2007004536 A JP 2007004536A JP 2005184730 A JP2005184730 A JP 2005184730A JP 2005184730 A JP2005184730 A JP 2005184730A JP 2007004536 A JP2007004536 A JP 2007004536A
Authority
JP
Japan
Prior art keywords
image
face
subject
registered
degree
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005184730A
Other languages
Japanese (ja)
Inventor
Daisaku Horie
大作 保理江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2005184730A priority Critical patent/JP2007004536A/en
Publication of JP2007004536A publication Critical patent/JP2007004536A/en
Pending legal-status Critical Current

Links

Abstract

<P>PROBLEM TO BE SOLVED: To provide a face-discriminating method for robustly discriminating whether an object and a registered image coincide with each other, even if the object is not photographed in the same direction as that of the registered image, and for processing at a high speed. <P>SOLUTION: A face-discriminating apparatus 1 for discriminating whether the face of a person that is the object coincides with a registered face image TJK comprises a plurality of cameras 11a to 11d, of which the mutual position relation has been known and which are aimed at capturing images GDKs of the head of the object; an attribute value calculating unit 22 for calculating the matching degrees ZSs with the image TJK for each captured image; a maximum attribute value calculating unit 23 for calculating the maximum matching degree ZM that is matching degree, when the face of the person faces the direction closest to the direction of the image TJK, on the basis of the calculated plurality of matching degrees ZSs; and a discriminating means 24 for comparing the calculated matching degree ZM to a threshold Th, to discriminate whether the face of the person matches the image TJK. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、被写体が登録画像と一致するか否かを判別するための被写体判別装置に関し、特に人物の顔が登録顔画像と一致するか否かを判別するための顔判別装置に関する。   The present invention relates to a subject discriminating device for discriminating whether or not a subject matches a registered image, and more particularly to a face discriminating device for discriminating whether or not a person's face matches a registered face image.

近年、セキュリティなどの分野において、認証への要求が高まっている。種々の認証方式のなかで、人物の顔による認証方式が、照合対象人物に対する束縛が少ないという点で、数多いアプリケーションにおいて支持されている。   In recent years, there has been an increasing demand for authentication in fields such as security. Among various authentication methods, the authentication method based on a person's face is supported by many applications in that there are few constraints on the person to be verified.

顔認証では、被写体である人物の顔を撮影して得られた画像と、予め登録した顔画像との間で照合を行ってそれらが一致するか否かを判断し、人物の同定や本人判定を行っている。顔認証による場合には、顔の向きや照明条件などが登録時と照合時とで異なり、また人物自体が経時変化によって異なることがあるので、認証精度が低下するという問題がある。   In face authentication, an image obtained by photographing the face of a person who is a subject and a face image registered in advance are checked to determine whether or not they match, thereby identifying the person and determining the identity of the person. It is carried out. In the case of face authentication, there is a problem that the authentication accuracy is lowered because the face orientation, lighting conditions, and the like are different at the time of registration and at the time of collation, and the person itself may vary depending on changes over time.

さて、顔の向きに関しては、一般的に正面顔が登録画像として使用される。これは、正面顔である方が登録時と照合時とで合わせることが容易であり、また、目、鼻、口といった顔の各部位の画像を比較的良好な状態で取得できるからである。また、カード類を用いた認証の場合には、登録画像をそのままカードに印刷することが多いため、人が見易い正面から撮影することが多いためである。   Now, regarding the face orientation, the front face is generally used as a registered image. This is because the front face is easier to match at the time of registration and collation, and images of each part of the face such as the eyes, nose and mouth can be acquired in a relatively good state. Further, in the case of authentication using cards, the registered image is often printed on the card as it is, so that it is often taken from the front that is easy for humans to see.

したがって、照合時においても、カメラを被写体に対して正面と思われる位置姿勢で設置しておき、その状態で撮影した画像と登録顔画像との間で照合が行われる。   Therefore, even at the time of collation, the camera is installed at a position and orientation that seems to be in front of the subject, and collation is performed between the image captured in that state and the registered face image.

ところが、アプリケーションによっては、被写体に対して顔を正確に正面に向けるように要求できない場合がある。仮にそれができた場合であっても、顔の向きと視線方向とは必ずしも一致しないため、登録時と照合時とで顔の向きが一致するという保証はない。したがって、顔の向きがある程度ばらつくことを前提として顔判別を行うことが必要であるといえる。   However, depending on the application, it may not be possible to request the subject to face the front accurately. Even if it can be done, the face direction and the line-of-sight direction do not necessarily match, so there is no guarantee that the face direction will match at the time of registration and at the time of matching. Therefore, it can be said that it is necessary to perform face discrimination on the assumption that the orientation of the face varies to some extent.

従来において、複数条件で撮影した各画像で本人認証と他人認証とを行い、その結果を比較することで本人判定する技術が開示されている(特許文献1)。また、複数台のカメラで撮影した画像からユーザの顔領域を抽出し、計算した特徴量と予め登録した顔特徴量とを比較するようにした顔認証技術が開示されている(特許文献2)。
特開2003ー178274 特開2004ー192378
2. Description of the Related Art Conventionally, a technique for performing identity authentication and identity authentication for each image photographed under a plurality of conditions and comparing the results is disclosed (Patent Document 1). Further, a face authentication technique is disclosed in which a user's face area is extracted from images captured by a plurality of cameras, and the calculated feature quantity is compared with a pre-registered face feature quantity (Patent Document 2). .
JP 2003-178274 A JP2004-192378

しかし、特許文献1による場合には、複数条件で撮影するごとにそれを登録画像とする必要があり、登録画像の数が増えることによってデータ量が増大し、その処理に時間を要することとなる。   However, in the case of Patent Document 1, it is necessary to use a registered image every time shooting is performed under a plurality of conditions. As the number of registered images increases, the amount of data increases, and the processing takes time. .

また、特許文献2による場合には、各カメラで検出した顔特徴量を空間的に対応付け、複数の画像に対するKL展開等で特徴空間において照合を行っており、登録画像自体に複数方向からの撮影情報が含まれる必要がある。そのため、登録されるデータ量が増大しそのため処理に時間を要する。   Further, in the case of Patent Document 2, the facial feature amounts detected by the respective cameras are spatially associated and collated in the feature space by KL expansion or the like for a plurality of images. Shooting information needs to be included. For this reason, the amount of data to be registered increases, and therefore processing takes time.

本発明は、上述の問題に鑑みてなされたもので、被写体が登録画像と同じ向きで撮影されなかった場合においても、それらが一致するか否かの判別をロバストに行うことが可能であり、しかも登録画像などのデータ量が少なく処理を高速に行うことのできる被写体判別方法および顔判別装置を提供することを目的とする。   The present invention has been made in view of the above problems, and even when the subject is not photographed in the same direction as the registered image, it is possible to robustly determine whether or not they match, In addition, it is an object to provide a subject discrimination method and a face discrimination device that can perform processing at high speed with a small amount of data such as a registered image.

本発明に係る方法は、被写体が登録情報と一致するか否かを判別するための被写体判別方法であって、互いの位置関係が既知である複数のカメラによって、前記被写体の特定の部位についての複数の画像を取得するステップと、取得されたそれぞれの画像について前記登録情報と比較することによって属性値を算出するステップと、算出された複数の前記属性値に基づいて、前記被写体が前記登録情報に最も近い場合の属性値の最大値である最大属性値を算出するステップと、算出された前記最大属性値としきい値とを比較して前記被写体が登録情報と一致するか否かの判別を行うステップとを有する。   The method according to the present invention is a subject determination method for determining whether or not a subject matches registered information, and a plurality of cameras whose positional relationships are known to each other for a specific part of the subject. Acquiring a plurality of images, calculating an attribute value by comparing the acquired images with the registration information, and determining whether the subject is the registration information based on the plurality of calculated attribute values. A maximum attribute value that is the maximum value of the attribute value in the case of being closest to the image, and comparing the calculated maximum attribute value with a threshold value to determine whether or not the subject matches the registered information Performing steps.

また、互いの位置関係が既知である複数のカメラによって、前記被写体の特定の部位についての複数の画像を取得するステップと、取得されたそれぞれの画像について前記登録画像との一致度合いを算出するステップと、算出された複数の前記一致度合いに基づいて、前記被写体が前記登録画像の向きに最も近い向きを向いていた場合の一致度合いである最大一致度合いを算出するステップと、算出最大一致度合いとしきい値とを比較して前記被写体が登録画像と一致するか否かの判別を行うステップとを有する。   Also, a step of acquiring a plurality of images of a specific part of the subject by a plurality of cameras whose positional relationships are known, and a step of calculating a degree of coincidence between the acquired images and the registered image And a step of calculating a maximum matching degree that is a matching degree when the subject is oriented in the direction closest to the orientation of the registered image based on the plurality of calculated matching degrees, and a calculated maximum matching degree Comparing with a threshold value and determining whether or not the subject matches the registered image.

本発明に係る装置は、前記被写体の特定の部位についての画像を取得するための、互いの位置関係が既知である複数のカメラと、取得されたそれぞれの画像についての属性値を算出する属性値算出手段と、算出された複数の前記属性値に基づいて、前記被写体が前記登録画像の向きに最も近い向きを向いていた場合の属性値の最大値である最大属性値を算出する最大属性値算出手段と、算出された前記最大属性値としきい値とを比較して前記被写体が登録画像と一致するか否かの判別を行う判別手段とを有する。   The apparatus according to the present invention includes a plurality of cameras whose positional relationships are known for acquiring an image of a specific part of the subject and an attribute value for calculating an attribute value for each acquired image. A maximum attribute value that calculates a maximum attribute value that is a maximum value of the attribute value when the subject is facing the direction closest to the direction of the registered image, based on the calculated plurality of attribute values A calculating unit; and a determining unit that compares the calculated maximum attribute value with a threshold value to determine whether or not the subject matches the registered image.

また、取得されたそれぞれの画像について、前記登録顔画像との一致度合いを算出する一致度合い算出手段と、前記一致度合い算出手段によって算出された複数の前記一致度合いに基づいて、前記人物の顔が前記登録顔画像の向きに最も近い向きを向いていた場合の一致度合いである最大一致度合いを算出する最大一致度合い算出手段と、算出された前記最大一致度合いとしきい値とを比較して前記人物の顔が前記登録顔画像と一致するか否かの判別を行う判別手段とを有する。   In addition, for each acquired image, a matching degree calculating unit that calculates a matching degree with the registered face image, and the face of the person is based on the plurality of matching degrees calculated by the matching degree calculating unit. Maximum matching degree calculating means for calculating a maximum matching degree that is a matching degree when facing the direction closest to the direction of the registered face image, and comparing the calculated maximum matching degree with a threshold value to compare the person Determining means for determining whether or not the face matches the registered face image.

好ましくは、前記登録顔画像は、人物についての正面平均顔の画像である。   Preferably, the registered face image is a front average face image of a person.

また、前記最大一致度合い算出手段は、複数の前記一致度合いを示す点により近似される曲線の極大点を前記最大一致度合いとして算出する。   The maximum matching degree calculating means calculates a maximum point of a curve approximated by a plurality of points indicating the matching degree as the maximum matching degree.

また、前記一致度合い算出手段によって算出された複数の前記一致度合いを示す点により近似される曲線について、前記被写体が前記登録顔画像の本人であった場合とそうでなかった場合とを比較することにより、前記人物の顔が前記登録顔画像と一致するか否かの判別を行う判別手段有する。   In addition, with respect to a curve approximated by a plurality of points indicating the degree of coincidence calculated by the degree-of-matching calculating means, the case where the subject is the person of the registered face image and the case where it is not the case are compared. Accordingly, there is provided a determination unit that determines whether or not the face of the person matches the registered face image.

本発明によると、被写体が登録画像と同じ向きで撮影されなかった場合においても、それらが一致するか否かの判別をロバストに行うことが可能であり、しかも登録画像などのデータ量が少なく処理を高速に行うことができる。   According to the present invention, even when the subject is not photographed in the same direction as the registered image, it is possible to robustly determine whether or not they match, and the processing is performed with a small amount of data such as the registered image. Can be performed at high speed.

〔第1の実施形態〕
図1は本発明に係る第1の実施形態の被写体判別装置1の機能的な構成を示すブロック図である。
[First Embodiment]
FIG. 1 is a block diagram showing a functional configuration of a subject discrimination device 1 according to the first embodiment of the present invention.

図1において、被写体判別装置1は、複数台のカメラ11a〜d、処理装置12、表示装置13、入力装置14、および記憶装置15などから構成される。   In FIG. 1, the subject discrimination device 1 includes a plurality of cameras 11a to 11d, a processing device 12, a display device 13, an input device 14, a storage device 15, and the like.

カメラ11a〜dは、被写体Qの特定の部位についての画像(画像データ)GDを取得するためのものであり、それぞれの互いの位置関係が既知である。1つの被写体Qに対して、カメラ11a〜dは同時に撮影を行い、同じタイミングにおける複数の画像GDを得る。なお、カメラ11a〜dの位置関係を示すデータは、例えば処理装置12のメモリに格納されまたはプログラムに組み込まれている。   The cameras 11a to 11d are for obtaining an image (image data) GD for a specific part of the subject Q, and their positional relationships are known. For one subject Q, the cameras 11a to 11d photograph simultaneously to obtain a plurality of images GD at the same timing. Note that data indicating the positional relationship of the cameras 11a to 11d is stored, for example, in a memory of the processing device 12 or incorporated in a program.

処理装置12は、カメラ11a〜dで撮影して取得されたそれぞれの画像GDについて、属性値を求め、求めた複数の属性値に基づいて、被写体Qが登録情報に最も近い場合の属性値の最大値である最大属性値を算出し、算出された最大属性値としきい値とを比較して被写体Qが登録情報と一致するか否かの判別を行う。処理装置12は、その他の種々の処理をも行う。処理装置12は、CPU(中央処理装置)、ROM、RAM、その他の周辺回路、記憶デバイス、およびインタフェース回路などを含んで構成される。   The processing device 12 obtains an attribute value for each of the images GD captured and acquired by the cameras 11a to 11d, and based on the obtained plural attribute values, the attribute value when the subject Q is closest to the registration information. A maximum attribute value that is the maximum value is calculated, and the calculated maximum attribute value is compared with a threshold value to determine whether or not the subject Q matches the registered information. The processing device 12 also performs other various processes. The processing device 12 includes a CPU (Central Processing Unit), ROM, RAM, other peripheral circuits, storage devices, interface circuits, and the like.

処理装置12には、属性値算出用情報格納部21、属性値算出部22、最大属性値算出部23、判別部24、およびしきい値格納部25などが設けられる。   The processing device 12 includes an attribute value calculation information storage unit 21, an attribute value calculation unit 22, a maximum attribute value calculation unit 23, a determination unit 24, a threshold value storage unit 25, and the like.

属性値算出用情報格納部21は、カメラ11a〜dによって取得されるそれぞれの画像GDの属性値ZSを算出するための情報(登録情報TJ)を格納する。そのような登録情報TJとして、例えば、属性値ZSを「画像の向きの照合度(一致度合い)」であると定義した場合に、カメラ11a〜dによって撮影される被写体Qの特定の部位(例えば顔)についての標準的な画像が用いられる。また、属性値ZSをどのような値とするかによって、被写体Qの特定の部位についての表面状態、色、形状などに関する情報が登録情報TJとなり得る。   The attribute value calculation information storage unit 21 stores information (registration information TJ) for calculating the attribute value ZS of each image GD acquired by the cameras 11a to 11d. As such registration information TJ, for example, when the attribute value ZS is defined as “image direction collation degree (matching degree)”, a specific part (for example, subject Q) photographed by the cameras 11a to 11d (for example, A standard image for (face) is used. Also, depending on what value the attribute value ZS is, information on the surface state, color, shape, etc. of a specific part of the subject Q can be registered information TJ.

属性値算出部22は、カメラ11a〜dにより取得されたそれぞれの画像GDについての属性値ZSを算出する。属性値ZSは、例えば、上に述べたように顔の向きの照合度(一致度合い)である。なお、属性値算出部22には、画像GDを格納するためのメモリ領域、カメラ11a〜dの位置関係を示すデータを格納するメモリ領域なども設けられている。   The attribute value calculation unit 22 calculates an attribute value ZS for each image GD acquired by the cameras 11a to 11d. The attribute value ZS is, for example, the degree of matching of face orientation (degree of matching) as described above. The attribute value calculation unit 22 is also provided with a memory area for storing the image GD, a memory area for storing data indicating the positional relationship of the cameras 11a to 11d, and the like.

最大属性値算出部23は、算出された複数の属性値ZSに基づいて、被写体Qが登録情報TJに最も近い場合の属性値ZSの最大値である最大属性値ZMを算出する。   The maximum attribute value calculation unit 23 calculates a maximum attribute value ZM that is the maximum value of the attribute value ZS when the subject Q is closest to the registration information TJ based on the calculated plurality of attribute values ZS.

判別部24は、算出された最大属性値ZMと、しきい値格納部25に格納されたしきい値Thとを比較して、被写体Qが登録情報TJと一致するか否かの判別を行う。   The determination unit 24 compares the calculated maximum attribute value ZM with the threshold value Th stored in the threshold value storage unit 25 to determine whether or not the subject Q matches the registration information TJ. .

表示装置13は、処理装置12で判別された結果を表示し、その他のデータ、画像、メッセージなどを表示する。   The display device 13 displays the result determined by the processing device 12, and displays other data, images, messages, and the like.

入力装置14は、処理装置12での処理に必要な変数やパラメータなどを入力しまたは設定し、またそれ以外の種々のデータや指令を入力する。   The input device 14 inputs or sets variables and parameters necessary for processing in the processing device 12 and inputs various other data and commands.

記憶装置15は、処理装置12での処理に必要な画像、変数、パラメータなどを記憶する。   The storage device 15 stores images, variables, parameters, and the like necessary for processing in the processing device 12.

このような被写体判別装置1は、適当なプログラムが格納されたパーソナルコンピュータによって実現することが可能である。そして、専用回線、LAN、WAN、またはインターネットを介して外部のネットワークやサーバなどに接続することが可能である。   Such a subject discrimination device 1 can be realized by a personal computer in which an appropriate program is stored. Then, it is possible to connect to an external network or server via a dedicated line, LAN, WAN, or the Internet.

次に、上に述べた被写体判別装置1を人物の顔による認証のために用いた例について具体的に説明する。   Next, an example in which the above-described subject determination device 1 is used for authentication with a human face will be described in detail.

本実施形態では、登録情報TJとして、被写体Qについて、正面などの固定の顔の向きで予め撮影された登録顔画像TJKを用いる。複数の人物についての登録顔画像TJKを属性値算出用情報格納部21に格納しておき、カメラ11a〜dで撮影した人物と特定の登録顔画像TJKとを照合し、その照合度を判別する。一致すると判別されると、そのことが表示装置13の表示面に表示される。また、一致すると判別されたことによって、当該人物が認証される。つまり顔認証が行われる。カメラ11a〜dによる被写体Qの撮影の際に、被写体Qの顔の向きを正確に調整または制御できない場合でも、判別精度または認証精度をロバストに維持することが可能である。   In the present embodiment, as the registration information TJ, a registered face image TJK previously captured with a fixed face orientation such as the front is used for the subject Q. Registered face images TJK for a plurality of persons are stored in the attribute value calculation information storage unit 21, and the person photographed by the cameras 11a to 11d is compared with a specific registered face image TJK to determine the degree of matching. . When it is determined that they match, this is displayed on the display surface of the display device 13. Further, when it is determined that they match, the person is authenticated. That is, face authentication is performed. Even when the orientation of the face of the subject Q cannot be accurately adjusted or controlled when the subject Q is captured by the cameras 11a to 11d, the discrimination accuracy or the authentication accuracy can be maintained robustly.

図2は被写体Qに対するカメラ11a〜dの配置状態の例を示す図、図3は各カメラ11a〜dで撮影された被写体Qの頭部の画像GDKa〜dの例を示す図、図4は登録顔画像TJKの例を示す図、図5は画像GDKa〜dと登録顔画像TJKとの照合度を各カメラの位置と対応付けて示す図、図6は画像GDKa〜dと登録顔画像TJKとの照合度を各カメラの位置と対応付けて示す他の例の図である。   2 is a diagram illustrating an example of the arrangement state of the cameras 11a to 11d with respect to the subject Q, FIG. 3 is a diagram illustrating an example of a head image GDKa to d of the subject Q photographed by the cameras 11a to 11d, and FIG. FIG. 5 is a diagram showing an example of the registered face image TJK, FIG. 5 is a diagram showing the matching degree between the images GDKa to d and the registered face image TJK in association with the position of each camera, and FIG. 6 is an image GDKa to d and the registered face image TJK. It is a figure of the other example which matches and shows the matching degree with the position of each camera.

図2において、被写体Qに対して互いに異なる顔の向きの画像GDKa〜dが得られるように、カメラ11a〜dが設置されている。各カメラ11a〜dの撮影方向を表すために、ある基準方向KHに対するそれぞれの光軸方向の角度差をそれぞれθa〜θdとする。図2に示すように、基準方向KHは任意の撮影方向に設定することが可能である。しかし、後でのデータ処理を容易にするためには、複数のカメラ11a〜dのいずれかの光軸方向と一致させるか、またはその中間の方向と一致させるなど、適宜選択するのが好ましい。   In FIG. 2, cameras 11 a to 11 d are installed so that images GDKa to d with different face orientations with respect to the subject Q can be obtained. In order to represent the shooting directions of the cameras 11a to 11d, the angle differences in the respective optical axis directions with respect to a certain reference direction KH are set to θa to θd, respectively. As shown in FIG. 2, the reference direction KH can be set to an arbitrary shooting direction. However, in order to facilitate later data processing, it is preferable to select appropriately such as matching with the optical axis direction of any of the plurality of cameras 11a to 11d or matching with the intermediate direction.

なお、説明の簡単化のため、各カメラ11a〜dの光軸は外に一点で交わり、被写体Qの頭部のサイズは各画像GDKa〜d中でほぼ同一となるように光軸方向や画角などが設定されているとする。しかし、画像GDKa〜d間の関係、および各カメラ11a〜dで検出される属性値ZSの関係などが予め分かっている場合には、これらに限ることはない。なお、図2において、カメラ11xは、被写体Qである人物の正面顔を撮影する位置に配置した架空のカメラである。つまり、理想的にはこの位置にカメラ11xがあって欲しいのであるが、実際にはこのカメラ11xは存在しない。   For simplicity of explanation, the optical axes of the cameras 11a to 11d intersect at one point outside, and the size of the head of the subject Q is almost the same in each of the images GDKa to d. Assume that corners are set. However, when the relationship between the images GDKa to d and the relationship between the attribute values ZS detected by the cameras 11 a to 11 d are known in advance, the present invention is not limited to these. In FIG. 2, a camera 11x is an imaginary camera arranged at a position where the front face of the person who is the subject Q is photographed. In other words, the camera 11x is ideally located at this position, but actually this camera 11x does not exist.

図3(A)〜(D)において、各画像GDKa〜dは、それぞれ、カメラ11a〜dによって同時に撮影された画像である。   3A to 3D, the images GDKa to d are images taken simultaneously by the cameras 11a to 11d, respectively.

図4に示すように、属性値算出用情報格納部21には、登録情報TJとして登録顔画像TJK1が格納されている。本実施形態においては、登録顔画像TJK1は、ある人物について多数の顔画像を元に作成した平均正面顔である。このような平均正面顔の作成方法は、例えば特開平2003ー271958などで公知である。しかし、登録情報TJまたは登録顔画像TJKはこれに限られることはない。また、属性値ZSの内容もここでの記載に限定されない。   As shown in FIG. 4, in the attribute value calculation information storage unit 21, a registered face image TJK1 is stored as registration information TJ. In the present embodiment, the registered face image TJK1 is an average front face created based on a number of face images for a certain person. Such a method of creating an average front face is known, for example, from Japanese Patent Application Laid-Open No. 2003-271958. However, the registration information TJ or the registered face image TJK is not limited to this. Further, the content of the attribute value ZS is not limited to the description here.

図5には、横軸を各カメラ11a〜dの角度位置として、縦軸上に登録顔画像TJKとの照合度Vが示されている。つまり、ここでは、属性値ZSとして照合度Vが用いられる。それぞれの画像GDKa〜dの照合度はVa〜Vdであり、この中での最大値はVbである。しかし、本来的には、図2に示す架空のカメラ11xの位置から撮影した画像GDKxを用いて照合を行うことが好ましいので、このときに照合度Vとの比較に用いるしきい値Thは、架空のカメラ11xによる架空の画像GDKxに対する照合度Vよりも低くなるように設定される。   In FIG. 5, the collation degree V with the registered face image TJK is shown on the vertical axis with the horizontal axis as the angular position of each of the cameras 11 a to 11 d. That is, here, the matching degree V is used as the attribute value ZS. The collation degrees of the respective images GDKa to d are Va to Vd, and the maximum value among them is Vb. However, since it is preferable to perform collation using the image GDKx photographed from the position of the imaginary camera 11x shown in FIG. 2, the threshold value Th used for comparison with the collation degree V at this time is It is set to be lower than the collation degree V with respect to the imaginary image GDKx by the imaginary camera 11x.

すなわち、照合度Vがしきい値Thよりも高い場合には、正面顔が検出されたものとし、低い場合には正面顔が検出されなかったものとする。しかし、図5においては、最大の照合度Vbよりもしきい値Thの方が高いため、このままでは顔が存在しないものと判別されてしまうこととなる。   That is, when the matching degree V is higher than the threshold value Th, it is assumed that the front face is detected, and when it is low, the front face is not detected. However, in FIG. 5, since the threshold value Th is higher than the maximum matching degree Vb, it is determined that there is no face as it is.

そこで、画像GDKa〜dの照合度を示す4つの点(θa,Va)(θb,Vb)(θc,Vc)(θd,Vd)を全て通るような曲線LKを求め、その曲線LKの極大値を求めて最大値MaxVとする。最大値MaxVを、カメラ11xによる画像GDKxであるとして、つまり当該人物の正面の顔画像によるものであるとして、これとしきい値Thとの比較を行う。   Therefore, a curve LK passing through all four points (θa, Va) (θb, Vb) (θc, Vc) (θd, Vd) indicating the matching degree of the images GDKa to d is obtained, and the maximum value of the curve LK is obtained. To obtain the maximum value MaxV. Assuming that the maximum value MaxV is an image GDKx obtained by the camera 11x, that is, that it is a face image in front of the person, this is compared with the threshold value Th.

したがって、結局、最大値MaxVとしきい値Thとが比較され、最大値MaxVがしきい値Thよりも大きいので、被写体Qである人物の顔は登録顔画像TJKと一致すると判別される。つまり、当該人物についての顔認証が行われ、認証結果は「YES」または「OK」となる。   Accordingly, the maximum value MaxV is compared with the threshold value Th after all, and the maximum value MaxV is larger than the threshold value Th, so that it is determined that the face of the person who is the subject Q matches the registered face image TJK. That is, face authentication for the person is performed, and the authentication result is “YES” or “OK”.

なお、ここでの最大値MaxVは、最大照合度であり、本発明における最大属性値ZMに相当する。また、最大値MaxVに対応する仮想の画像GDKxが、当該人物の正面顔であると推定されている。   Note that the maximum value MaxV here is the maximum matching degree, and corresponds to the maximum attribute value ZM in the present invention. Further, it is estimated that the virtual image GDKx corresponding to the maximum value MaxV is the front face of the person.

なお、図5においては、4つの点が全て1つの曲線(放物線)LK上にのっている場合を示すが、常に1つの曲線上に4点がのるとは限らないため、照合度に対する二乗誤差平均を最小にするような放物線を算出したり、他の種類の曲線を算出したり、キュービックコンボリューションやスプライン関数といった既存の補間手法を用いて算出することも可能である。   Note that FIG. 5 shows a case where all four points are on one curve (parabola) LK, but four points are not always on one curve. It is also possible to calculate a parabola that minimizes the mean square error, calculate other types of curves, and use existing interpolation methods such as cubic convolution and spline functions.

これらの最大値MaxVを求めるアルゴリズムは、顔の向きと属性値ZSの変化度合いの性質や、装置構成に対する制約、例えば処理速度、メモリ容量、演算器の種類などに応じて決定すればよい。また、属性値ZSの変化度合いの性質が理論的に定まらない場合には、複数の登録顔画像TJKに対する結果から統計的に求めてもよい。   The algorithm for obtaining these maximum values MaxV may be determined according to the nature of the face orientation and the degree of change of the attribute value ZS, restrictions on the device configuration, such as processing speed, memory capacity, and type of computing unit. In addition, when the nature of the change degree of the attribute value ZS is not theoretically determined, the attribute value ZS may be statistically obtained from the results for a plurality of registered face images TJK.

また、図6においては、4つの点から最大値MaxVを求めるために、2つの点(θa,Va)(θb,Vb)、(θc,Vc)(θd,Vd)をそれぞれ結ぶ2つの直線LT1、LT2の交点が採用されている。つまり、2つの直線LT1、LT2の交点の照合度Vを最大値MaxVとする。   Further, in FIG. 6, in order to obtain the maximum value MaxV from four points, two straight lines LT1 respectively connecting two points (θa, Va) (θb, Vb), (θc, Vc) (θd, Vd). The intersection of LT2 is adopted. That is, the collation degree V at the intersection of the two straight lines LT1 and LT2 is set to the maximum value MaxV.

なお、設置されたカメラ11a〜dから得られる4つの画像GDKa〜dの全てに対して処理を行うことなく、照合度Vつまり属性値ZSの確からしさが高い部分、例えば、人物の頭部全体を撮影する複数のカメラのうち正面方向の近辺に配置されていると考えられるカメラのみを利用してもよい。そうすることによって、精度向上を図ったり、処理速度を向上することが可能である。また、カメラ11a〜dの数や位置を限定し、または全体の中から選択して用いてもよい。   It should be noted that a portion having a high probability of the matching degree V, that is, the attribute value ZS, for example, the entire head of a person, without performing processing on all four images GDKa to d obtained from the installed cameras 11a to 11d. Only a camera that is considered to be disposed in the vicinity of the front direction among a plurality of cameras that capture the image may be used. By doing so, it is possible to improve accuracy and improve processing speed. Further, the number and position of the cameras 11a to 11d may be limited, or may be selected from the whole and used.

次に、被写体判別装置1による処理動作の例をフローチャートによって説明する。   Next, an example of a processing operation by the subject discrimination device 1 will be described with reference to a flowchart.

図7は被写体判別装置1における顔判別処理のフローチャートである。   FIG. 7 is a flowchart of face discrimination processing in the subject discrimination device 1.

図7において、カメラ11a〜dから処理装置12に画像GDKa〜dが順次入力されてくるが、まず最初に入力された画像GDKについて(#11)、その画像GDKと登録顔画像TJKとの照合度Vを算出する(#12)。次の画像GDKを入力し(#13)、全ての画像GDKが入力されるまでステップ#11〜13を繰り返す(#14)。そして、得られた全ての照合度Vに基づいて、最大照合度を推定して求める(#15)。最大照合度としきい値Thとを比較し(#16)、比較によって一致するか否かを判別し(#17)、その結果を出力する(#18)。   In FIG. 7, images GDKa to d are sequentially input from the cameras 11 a to d to the processing device 12. First, for the first input image GDK (# 11), the image GDK is compared with the registered face image TJK. The degree V is calculated (# 12). The next image GDK is input (# 13), and steps # 11 to 13 are repeated until all the images GDK are input (# 14). Then, based on all the obtained matching degrees V, the maximum matching degree is estimated and obtained (# 15). The maximum matching degree is compared with the threshold value Th (# 16), it is determined whether or not they match by comparison (# 17), and the result is output (# 18).

上の実施形態では、カメラ11a〜dを水平方向のみに配置したが、垂直方向や斜め方向にも配置してもよい。また、図8に示すように、カメラ11a,b,c,d,e…を3次元空間的に配置してもよい。各カメラ間の位置や角度の関係が既知である場合には、カメラを配置する間隔は、同一でなくてもよく、カメラごとに異なっていてもよい。   In the above embodiment, the cameras 11a to 11d are arranged only in the horizontal direction, but they may also be arranged in the vertical direction and the oblique direction. Further, as shown in FIG. 8, the cameras 11a, b, c, d, e... May be arranged in a three-dimensional space. When the relationship between the positions and angles between the cameras is known, the intervals at which the cameras are arranged may not be the same and may differ from camera to camera.

また、上に述べた実施形態では、登録情報TJとして平均正面顔による登録顔画像TJKを使用した。登録情報TJは、特徴量に変換した状態で保持しておいてもよく、また、別の登録画像や顔画像に関連する画像以外の情報を登録しておくことで、様々な被写体判別処理または顔認識処理に適用することができる。登録情報TJとして個人の顔画像を使用する場合には、得られる属性値ZSは顔の照合度Vまたは認証度となる。また、例えば、登録情報TJとして、登録顔画像TJKではなく、肌色面積率のしきい値Th2といった情報を登録しておき、カメラ11a〜dから得られる各画像GDから検出した肌色面積率と登録した肌色面積率のしきい値Th2とを比較してもよい。この場合には、顔の正面方向から撮影した画像GDでは正面顔であるので肌色面積比率が高く、斜めから撮影した画像GDになるほど髪の毛の影響によって肌色面積率が低下するので、このような性質を用いて正面顔検出を行うことが可能である。   In the embodiment described above, the registered face image TJK with the average front face is used as the registration information TJ. The registration information TJ may be stored in a state of being converted into a feature amount, and by registering information other than an image related to another registered image or a face image, various subject determination processes or It can be applied to face recognition processing. When a personal face image is used as the registration information TJ, the attribute value ZS obtained is the face matching level V or the authentication level. Further, for example, as the registration information TJ, information such as the threshold value Th2 of the skin color area ratio is registered instead of the registered face image TJK, and the skin color area ratio detected from each image GD obtained from the cameras 11a to 11d is registered. The skin color area ratio threshold Th2 may be compared. In this case, since the image GD photographed from the front direction of the face is a front face, the skin color area ratio is high, and the skin color area ratio decreases due to the influence of the hair as the image GD is photographed from an oblique direction. It is possible to perform front face detection using.

また、登録顔画像TJKの顔の向きは正面顔に限られない。例えば、横顔であってもよい。登録顔画像TJKが横顔である場合には、入力された画像GDが横顔の場合に照合度Vが高くなり、正面顔の場合には低くなる。その他、入力される画像GDと登録顔画像TJKとの間の顔の向きの差と高い相関をもって変化する属性値であれば、上に述べたと同様な効果が得られる。例えば、丸顔であるか否か、口の形状から何の言葉を発話しているか、ということに関しても、人物の横から観察するよりも正面から観察する方が判断が容易である。これは、横顔の場合には、顔の輪郭や口の形状についての水平方向の情報が得難いためである。すなわち、被写体Qの向きに依存する属性値ZS、例えば、発話内容、顔の輪郭などに対しては、本実施形態の被写体判別装置1による効果が大きい。
〔第2の実施形態〕
セキュリティ目的のアプリケーションにおいて、被写体Qが本人自身ではなく写真などを用いた成り済ましといった不正アクセスへの対応も必要である。次のそのような不正アクセスへの対応を行った被写体判別装置1Bについて説明する。
Further, the face orientation of the registered face image TJK is not limited to the front face. For example, a profile may be used. When the registered face image TJK is a side face, the matching degree V is high when the input image GD is a side face, and is low when the input face GD is a front face. In addition, the same effect as described above can be obtained if the attribute value changes with a high correlation with the difference in face orientation between the input image GD and the registered face image TJK. For example, regarding whether or not a face is a round face and what words are spoken from the shape of the mouth, it is easier to judge from the front side than from the side of the person. This is because in the case of a profile, it is difficult to obtain horizontal information about the contour of the face and the shape of the mouth. That is, for the attribute value ZS depending on the direction of the subject Q, for example, the utterance content, the face outline, etc., the effect of the subject discrimination device 1 of this embodiment is great.
[Second Embodiment]
In an application for security purposes, it is also necessary to deal with unauthorized access such as impersonation in which the subject Q is impersonated using a photograph instead of the person himself / herself. The following describes the subject discrimination device 1B that has dealt with such unauthorized access.

第2の実施形態の被写体判別装置1Bは、基本的には上に述べた被写体判別装置1と同じであるので、相違点についてのみ説明する。   Since the subject discrimination device 1B of the second embodiment is basically the same as the subject discrimination device 1 described above, only the differences will be described.

図9は本発明に係る第2の実施形態の被写体判別装置1Bの機能的な構成を示すブロック図、図10は各カメラ11a〜dで撮影された成り済ましの被写体Qの画像GDSa〜dの例を示す図、図11は本人の画像GDと成り済ましの画像GDSa〜dとのそれぞれの照合度Vに基づく曲線LK2,3を示す図、図12は登録顔画像TJK2の例を示す図、図13は本人の画像GDと成り済ましの画像GDSa〜dとのそれぞれの照合度Vに基づく曲線LK4,5の他の例を示す図である。   FIG. 9 is a block diagram showing a functional configuration of the subject discrimination device 1B according to the second embodiment of the present invention, and FIG. 10 shows an example of pre-constructed subject Q images GDSa-d taken by the cameras 11a-d. FIG. 11 is a diagram showing curves LK2 and LK3 based on the respective matching degrees V of the person's image GD and the impersonated images GDSa to d, FIG. 12 is a diagram showing an example of the registered face image TJK2, and FIG. These are figures which show the other example of curve LK4, 5 based on each collation degree V with the image GD of the principal person, and the image GDSa-d impersonated.

図9において、被写体判別装置1Bの処理装置12Bには、顔画像格納部21B、照合度算出部22B、判別部24B、およびしきい値格納部25Bなどが設けられる。   In FIG. 9, the processing device 12B of the subject discrimination device 1B includes a face image storage unit 21B, a matching degree calculation unit 22B, a discrimination unit 24B, a threshold value storage unit 25B, and the like.

顔画像格納部21Bには、顔画像が登録顔画像TJKとして格納される。照合度算出部22Bは、カメラ11a〜dから得られるそれぞれの画像GDについての照合度Vを算出する。   In the face image storage unit 21B, a face image is stored as a registered face image TJK. The matching level calculation unit 22B calculates the matching level V for each image GD obtained from the cameras 11a to 11d.

判別部24Bは、照合度算出部22Bによって算出された複数の照合度Vを示す点により近似される曲線について、被写体Qが登録顔画像TJKの本人であった場合とそうでなかった場合とを比較することにより、当該人物の顔が登録顔画像TJKと一致するか否かの判別を行う。   The discriminating unit 24B determines whether or not the subject Q is the person of the registered face image TJK with respect to the curve approximated by the points indicating the plurality of collation degrees V calculated by the collation degree calculation unit 22B. By comparing, it is determined whether or not the face of the person matches the registered face image TJK.

すなわち、図10には、被写体Qとして写真が用いられた場合の成り済ましの画像GDSa〜dが示されている。写真のような平面情報では、図10に示されるように、各カメラ11a〜dに対して、得られる画像GDSa〜dは部位の配置が大きく変化することなく、上下左右の縮尺のみが大きく変化したような画像となる。したがって、図11に示すように、本人の画像GDの照合度Vに基づく曲線LK2と、成り済ましの画像GDSa〜dの照合度Vに基づく曲線LK3とで、有為な差が生じることとなる。   That is, FIG. 10 shows imperfect images GDSa to d when a photograph is used as the subject Q. In plane information such as a photograph, as shown in FIG. 10, the obtained images GDSa to d do not change greatly in the arrangement of the parts, and only the scales of the top, bottom, left and right change greatly as shown in FIG. 10. The image looks like this. Therefore, as shown in FIG. 11, a significant difference is generated between the curve LK2 based on the matching degree V of the person's image GD and the curve LK3 based on the matching degree V of the spoofed images GDSa to d.

図11においては、照合度Vが部位の配置に大きく左右されるような照合アルゴリズムの場合の曲線LK3が示されており、本物の人物についての曲線LK2よりも急激な変化が現れている。この場合に、最大照合度となる位置における曲線LKの曲率を算出し、経験的に得られる正常な曲率推定値と比較することにより、成り済ましであるか否かを判別することができる。経験的な曲率推定値は、多数のサンプル人物に対する正面顔付近での照合度から平均的な値を算出してもよいし、種々の角度から撮影することを本人が了解する場合には、予め撮影した種々の角度からの画像に対して曲率を算出して用いてもよい。また、曲率でなくても、変化の違いを検出できるものであればよい。例えば、隣合うカメラによる画像GDの照合度との差分などを用いることも可能である。   FIG. 11 shows a curve LK3 in the case of a matching algorithm in which the matching degree V is greatly influenced by the arrangement of the parts, and a more rapid change appears than the curve LK2 for a real person. In this case, by calculating the curvature of the curve LK at the position where the maximum matching degree is obtained and comparing it with a normal curvature estimated value obtained empirically, it is possible to determine whether or not it is impersonated. The empirical curvature estimation value may be an average value calculated from the degree of matching near the front face for a large number of sample persons, or if the person himself understands that shooting from various angles, The curvature may be calculated and used for images taken from various angles. Moreover, what is necessary is just a thing which can detect the difference of a change even if it is not a curvature. For example, it is also possible to use a difference with the matching degree of the image GD by an adjacent camera.

また、部位の配置よりも頭部輪郭などに依存するような照合アルゴリズムの場合には、図11の場合の逆となり、最大照合度の位置では本来の曲率よりも異常に小さい曲率が得られることとなる。   Further, in the case of a collation algorithm that relies on the head contour or the like rather than the arrangement of the parts, it is the reverse of the case of FIG. 11, and a curvature that is abnormally smaller than the original curvature can be obtained at the position of the maximum collation degree. It becomes.

図12に示す登録顔画像TJK2は、人物の正面顔の画像を左右方向において縮尺を縮めた画像である。このような登録顔画像TJK2を用いて顔判別を行うと、成り済ましの場合には、カメラAおよびカメラDのように端に寄った位置のカメラ11a,dで撮影された画像GDに対して照合度Vが高くなる。   A registered face image TJK2 illustrated in FIG. 12 is an image obtained by reducing the scale of the front face image of a person in the left-right direction. When face discrimination is performed using such a registered face image TJK2, in the case of impersonation, it is checked against images GD photographed by the cameras 11a and d at positions close to the ends like the cameras A and D. The degree V increases.

すなわち、図13に示すように、本人の画像GDの照合度Vに基づく曲線LK4と、成り済ましの画像GDSa〜dの照合度Vに基づく曲線LK5とで、有為な差が生じる。曲線LK5による場合には、端部において照合度がかなり高くなり、曲線LK4による場合との差が大きくなる。このように、これら2つの曲線LK4,5の差分量などを用いることにより、成り済ましであるか否かの判別を行うことが可能である。これにより、人物の顔認証において不正な成り済ましを防止することができる。   That is, as shown in FIG. 13, a significant difference occurs between the curve LK4 based on the matching degree V of the person's image GD and the curve LK5 based on the matching degree V of the spoofed images GDSa to d. In the case of the curve LK5, the matching degree is considerably high at the end, and the difference from the case of the curve LK4 becomes large. As described above, by using the difference between the two curves LK4 and LK5, it is possible to determine whether or not it is impersonated. Thereby, impersonation impersonation in person face authentication can be prevented.

上に述べた各実施形態における特徴点は次のように整理することができる。
(1) 複数のカメラと単一の登録顔画像とによる顔認識を行う。
(2) 画像に対する顔判別または顔認識は、個々のカメラ単独に対してのみ行われる。複数のカメラで得られる顔画像間の関係は、これらの顔判別または顔認識の結果に対して関連付けを行う。
(3) 登録顔画像TJKとの照合度Vを属性値ZSとした場合に、登録顔画像TJKの顔の向きに近い向きで撮影された顔に対する属性値ZSと、遠い向きで撮影された顔の属性値ZSとでは、近い向きとの場合の方が値が大きくなるという性質を利用し、登録顔画像TJKの顔の向きと全く同じ向きから撮影された場合の画像に対して算出される属性値ZSを限られた数の画像から推定し、この推定された属性値ZS(最大属性値ZM)を用いて認識を行う。顔認識の種類としては、顔の向きとの間に相関のある情報の認識であれば適用可能である。例えば、顔認証、年齢推定、表情判別などに適用可能である。
The feature points in each embodiment described above can be organized as follows.
(1) Face recognition is performed using a plurality of cameras and a single registered face image.
(2) Face discrimination or face recognition for an image is performed only for each individual camera. Relationships between face images obtained by a plurality of cameras are associated with the results of face discrimination or face recognition.
(3) When the matching level V with the registered face image TJK is the attribute value ZS, the attribute value ZS for the face photographed in the direction close to the face direction of the registered face image TJK and the face photographed in the far direction The attribute value ZS is calculated for an image taken in the same direction as the face direction of the registered face image TJK, using the property that the value is larger in the case of the close direction. The attribute value ZS is estimated from a limited number of images, and recognition is performed using the estimated attribute value ZS (maximum attribute value ZM). Any type of face recognition can be used as long as it recognizes information correlated with the direction of the face. For example, it can be applied to face authentication, age estimation, facial expression discrimination, and the like.

したがって、上に述べた各実施形態では次のような利点がある。
(1) 被写体Qに対するカメラの向きが登録顔画像TJKと必ずしも同一の向きでなくでも判別および認識が可能となり、判別および認識のロバスト性が向上する。
(2) 1人の人物に対して、登録顔画像TJKは2次元画像一枚で済む。
(3) 被写体判別装置において統合的に扱う情報は、被写体判別結果(顔判別結果または顔認識結果)であって、画像ではない。そのため、データ量が少なく、処理速度が速く、被写体判別装置の構成が簡単となる。
(4) 被写体判別装置は、顔判別、顔認識、顔認証など以外にも適用可能であり、汎用的な構成をとることが可能である。
Therefore, each embodiment described above has the following advantages.
(1) Discrimination and recognition are possible even if the orientation of the camera relative to the subject Q is not necessarily the same as that of the registered face image TJK, and the robustness of discrimination and recognition is improved.
(2) Only one two-dimensional image is required for the registered face image TJK for one person.
(3) The information handled in an integrated manner in the subject discrimination device is a subject discrimination result (a face discrimination result or a face recognition result), not an image. Therefore, the data amount is small, the processing speed is fast, and the configuration of the subject discrimination device is simplified.
(4) The subject discrimination device can be applied to applications other than face discrimination, face recognition, face authentication, etc., and can have a general-purpose configuration.

このように、上に述べた実施形態によると、被写体Qが登録画像と同じ向きで撮影されなかった場合においても、それらが一致するか否かの判別をロバストに行うことが可能である。しかも、登録画像などのデータ量が少なく、処理を高速に行うことができる。   Thus, according to the embodiment described above, even when the subject Q is not photographed in the same direction as the registered image, it is possible to robustly determine whether or not they match. In addition, the amount of data such as registered images is small, and processing can be performed at high speed.

上に述べた実施形態において、カメラ11a〜d、処理装置12、被写体判別装置1などの全体または各部の構造、構成、形状、寸法、個数、画像の内容、処理の内容および順序、タイミングなどは、本発明の趣旨に沿って適宜変更することができる。   In the above-described embodiment, the structure, configuration, shape, dimensions, number, contents of image, contents and order of processing, timing, etc. of the whole or each part of the cameras 11a to 11d, the processing device 12, the subject discrimination device 1, etc. These can be appropriately changed in accordance with the spirit of the present invention.

本発明は、セキュリティなどのための人物の顔による認証に利用可能である。   The present invention can be used for authentication by a human face for security or the like.

本発明の第1の実施形態の被写体判別装置の機能を示すブロック図である。It is a block diagram which shows the function of the to-be-photographed object determination apparatus of the 1st Embodiment of this invention. 被写体に対するカメラの配置状態の例を示す図である。It is a figure which shows the example of the arrangement | positioning state of the camera with respect to a to-be-photographed object. 各カメラで撮影された被写体の頭部の画像の例を示す図である。It is a figure which shows the example of the image of the head of the to-be-photographed object image | photographed with each camera. 登録顔画像の例を示す図である。It is a figure which shows the example of a registration face image. 画像と登録顔画像との照合度を各カメラの位置と対応付けて示す図である。It is a figure which shows the collation degree with an image and a registration face image in association with the position of each camera. 図5と同様な他の例を示す図である。It is a figure which shows the other example similar to FIG. 被写体判別装置における顔判別処理のフローチャートである。5 is a flowchart of face discrimination processing in the subject discrimination device. カメラを3次元空間的に配置した例を示す図である。It is a figure which shows the example which has arrange | positioned the camera in three-dimensional space. 本発明の第2の実施形態の被写体判別装置の機能を示すブロック図である。It is a block diagram which shows the function of the to-be-photographed object identification apparatus of the 2nd Embodiment of this invention. 各カメラで撮影された成り済ましの被写体の画像の例を示す図である。It is a figure which shows the example of the image of the impersonated subject image | photographed with each camera. 本人の画像と成り済ましの画像とに基づく曲線を示す図である。It is a figure which shows the curve based on the person's image and the impersonated image. 登録顔画像の例を示す図である。It is a figure which shows the example of a registration face image. 本人の画像と成り済ましの画像とに基づく曲線の他の例を示す図である。It is a figure which shows the other example of the curve based on the person's image and the impersonated image.

符号の説明Explanation of symbols

1,1B 被写体判別装置(顔判別装置)
11 カメラ
12,12B 処理装置
21,21B 属性値算出用情報格納部()
22,22B 属性値算出部(属性値算出手段、一致度合い算出手段)
23 最大属性値算出部(最大属性値算出手段、最大一致度合い算出手段)
24,24B 判別部(判別手段)
25 しきい値格納部
Q 被写体
ZS 属性値
V 照合度(属性値)
ZM 最大属性値(最大一致度合い)
Th しきい値
GD 画像
TJ 登録情報(登録画像、登録顔画像)
TJK 登録顔画像
LK 曲線
1,1B Subject discrimination device (face discrimination device)
11 Camera 12, 12B Processing device 21, 21B Attribute value calculation information storage unit ()
22, 22B Attribute value calculation unit (attribute value calculation means, coincidence degree calculation means)
23 Maximum attribute value calculation unit (maximum attribute value calculation means, maximum matching degree calculation means)
24, 24B Discriminator (discriminating means)
25 Threshold value storage section Q Subject ZS Attribute value V Verification degree (attribute value)
ZM Maximum attribute value (maximum degree of matching)
Th threshold GD image TJ registration information (registered image, registered face image)
TJK registered face image LK curve

Claims (7)

被写体が登録情報と一致するか否かを判別するための被写体判別方法であって、
互いの位置関係が既知である複数のカメラによって、前記被写体の特定の部位についての複数の画像を取得するステップと、
取得されたそれぞれの画像について前記登録情報と比較することによって属性値を算出するステップと、
算出された複数の前記属性値に基づいて、前記被写体が前記登録情報に最も近い場合の属性値の最大値である最大属性値を算出するステップと、
算出された前記最大属性値としきい値とを比較して前記被写体が登録情報と一致するか否かの判別を行うステップと、
を有することを特徴とする被写体判別方法。
A subject determination method for determining whether or not a subject matches registration information,
Acquiring a plurality of images of a specific part of the subject by a plurality of cameras whose positional relationships are known; and
Calculating an attribute value by comparing with the registration information for each acquired image;
Calculating a maximum attribute value that is a maximum value of the attribute value when the subject is closest to the registration information based on the plurality of calculated attribute values;
Comparing the calculated maximum attribute value with a threshold value to determine whether or not the subject matches registration information;
A method for discriminating a subject characterized by comprising:
被写体が登録画像と一致するか否かを判別するための被写体判別方法であって、
互いの位置関係が既知である複数のカメラによって、前記被写体の特定の部位についての複数の画像を取得するステップと、
取得されたそれぞれの画像について前記登録画像との一致度合いを算出するステップと、
算出された複数の前記一致度合いに基づいて、前記被写体が前記登録画像の向きに最も近い向きを向いていた場合の一致度合いである最大一致度合いを算出するステップと、
算出最大一致度合いとしきい値とを比較して前記被写体が登録画像と一致するか否かの判別を行うステップと、
を有することを特徴とする被写体判別方法。
A subject determination method for determining whether or not a subject matches a registered image,
Acquiring a plurality of images of a specific part of the subject by a plurality of cameras whose positional relationships are known; and
Calculating a degree of coincidence with the registered image for each acquired image;
Calculating a maximum degree of coincidence, which is a degree of coincidence when the subject is facing the direction closest to the direction of the registered image, based on the plurality of calculated degree of coincidence;
Comparing the calculated maximum matching degree with a threshold value to determine whether or not the subject matches the registered image;
A method for discriminating a subject characterized by comprising:
被写体が登録画像と一致するか否かを判別するための被写体判別装置であって、
前記被写体の特定の部位についての画像を取得するための、互いの位置関係が既知である複数のカメラと、
取得されたそれぞれの画像についての属性値を算出する属性値算出手段と、
算出された複数の前記属性値に基づいて、前記被写体が前記登録画像の向きに最も近い向きを向いていた場合の属性値の最大値である最大属性値を算出する最大属性値算出手段と、
算出された前記最大属性値としきい値とを比較して前記被写体が登録画像と一致するか否かの判別を行う判別手段と、
を有することを特徴とする被写体判別装置。
A subject determination device for determining whether a subject matches a registered image,
A plurality of cameras whose positional relationships are known to acquire an image of a specific part of the subject;
Attribute value calculating means for calculating an attribute value for each acquired image;
A maximum attribute value calculating means for calculating a maximum attribute value that is a maximum value of the attribute value when the subject is oriented in the direction closest to the orientation of the registered image, based on the plurality of calculated attribute values;
A determining means for comparing the calculated maximum attribute value with a threshold value to determine whether or not the subject matches a registered image;
A subject discrimination device characterized by comprising:
被写体である人物の顔が登録顔画像と一致するか否かを判別するための顔判別装置であって、
前記被写体の頭部についての画像を得るための、互いの位置関係が既知である複数のカメラと、
取得されたそれぞれの画像について、前記登録顔画像との一致度合いを算出する一致度合い算出手段と、
前記一致度合い算出手段によって算出された複数の前記一致度合いに基づいて、前記人物の顔が前記登録顔画像の向きに最も近い向きを向いていた場合の一致度合いである最大一致度合いを算出する最大一致度合い算出手段と、
算出された前記最大一致度合いとしきい値とを比較して前記人物の顔が前記登録顔画像と一致するか否かの判別を行う判別手段と、
を有することを特徴とする顔判別装置。
A face discriminating device for discriminating whether or not a face of a person as a subject matches a registered face image,
A plurality of cameras whose positional relationships are known to obtain an image of the head of the subject;
A degree of coincidence calculating means for calculating a degree of coincidence with the registered face image for each acquired image;
Based on the plurality of coincidence degrees calculated by the coincidence degree calculating unit, a maximum coincidence degree that is a coincidence degree when the person's face is oriented in the direction closest to the orientation of the registered face image is calculated. A matching degree calculation means;
A determining unit that compares the calculated maximum matching degree with a threshold value to determine whether the face of the person matches the registered face image;
A face discriminating apparatus characterized by comprising:
前記登録顔画像は、人物についての正面平均顔の画像である、
請求項4記載の顔判別装置。
The registered face image is a front average face image of a person.
The face discrimination device according to claim 4.
前記最大一致度合い算出手段は、複数の前記一致度合いを示す点により近似される曲線の極大点を前記最大一致度合いとして算出する、
請求項4または5記載の顔判別装置。
The maximum matching degree calculating means calculates a maximum point of a curve approximated by a plurality of points indicating the matching degree as the maximum matching degree;
The face discrimination device according to claim 4 or 5.
被写体である人物の顔が登録顔画像と一致するか否かを判別するための顔判別装置であって、
前記被写体の頭部についての画像を得るための、互いの位置関係が既知である複数のカメラと、
取得されたそれぞれの画像について、前記登録顔画像との一致度合いを算出する一致度合い算出手段と、
前記一致度合い算出手段によって算出された複数の前記一致度合いを示す点により近似される曲線について、前記被写体が前記登録顔画像の本人であった場合とそうでなかった場合とを比較することにより、前記人物の顔が前記登録顔画像と一致するか否かの判別を行う判別手段と、
を有することを特徴とする顔判別装置。
A face discriminating device for discriminating whether or not a face of a person as a subject matches a registered face image,
A plurality of cameras whose positional relationships are known to obtain an image of the head of the subject;
A degree of coincidence calculating means for calculating a degree of coincidence with the registered face image for each acquired image;
For a curve approximated by a plurality of points indicating the degree of coincidence calculated by the coincidence degree calculating means, by comparing the case where the subject is the person of the registered face image with the case where it is not, Determining means for determining whether the face of the person matches the registered face image;
A face discriminating apparatus characterized by comprising:
JP2005184730A 2005-06-24 2005-06-24 Object-discriminating method and face-discriminating apparatus Pending JP2007004536A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005184730A JP2007004536A (en) 2005-06-24 2005-06-24 Object-discriminating method and face-discriminating apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005184730A JP2007004536A (en) 2005-06-24 2005-06-24 Object-discriminating method and face-discriminating apparatus

Publications (1)

Publication Number Publication Date
JP2007004536A true JP2007004536A (en) 2007-01-11

Family

ID=37690100

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005184730A Pending JP2007004536A (en) 2005-06-24 2005-06-24 Object-discriminating method and face-discriminating apparatus

Country Status (1)

Country Link
JP (1) JP2007004536A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008305192A (en) * 2007-06-07 2008-12-18 Aruze Corp Face authentication device
WO2009004916A1 (en) * 2007-06-29 2009-01-08 Nec Corporation Masquerade detection system, masquerade detection method and masquerade detection program

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008305192A (en) * 2007-06-07 2008-12-18 Aruze Corp Face authentication device
WO2009004916A1 (en) * 2007-06-29 2009-01-08 Nec Corporation Masquerade detection system, masquerade detection method and masquerade detection program

Similar Documents

Publication Publication Date Title
US11023757B2 (en) Method and apparatus with liveness verification
Lagorio et al. Liveness detection based on 3D face shape analysis
CN105740778B (en) Improved three-dimensional human face in-vivo detection method and device
US20100158319A1 (en) Method and apparatus for fake-face detection using range information
WO2018042996A1 (en) Lifeform sensing device
KR20110080327A (en) Face recognition apparatus and method thereof
US11238271B2 (en) Detecting artificial facial images using facial landmarks
JP5170094B2 (en) Spoofing detection system, spoofing detection method, and spoofing detection program
CN106937532B (en) System and method for detecting actual user
JP6822482B2 (en) Line-of-sight estimation device, line-of-sight estimation method, and program recording medium
KR20210062381A (en) Liveness test method and liveness test apparatus, biometrics authentication method and biometrics authentication apparatus
KR20210069404A (en) Liveness test method and liveness test apparatus
US20220189212A1 (en) Authentication device, authentication method, and recording medium
CN110889355A (en) Face recognition verification method, system and storage medium
JP6396357B2 (en) Face image authentication device
KR101795264B1 (en) Face landmark detection apparatus and verification method of the same
KR20150069799A (en) Method for certifying face and apparatus thereof
KR20020022295A (en) Device And Method For Face Recognition Using 3 Dimensional Shape Information
CN111652018B (en) Face registration method and authentication method
KR101053253B1 (en) Apparatus and method for face recognition using 3D information
KR101815697B1 (en) Apparatus and method for discriminating fake face
US11354940B2 (en) Method and apparatus for foreground geometry and topology based face anti-spoofing
US20160283705A1 (en) Device for checking the authenticity of a fingerprint
JP2007004536A (en) Object-discriminating method and face-discriminating apparatus
JP2008059108A (en) Image processing apparatus, image processing method, its program, and flow of people monitoring system