JP2009199223A - Simultaneous face authentication device for a plurality of persons and entrance control system - Google Patents

Simultaneous face authentication device for a plurality of persons and entrance control system Download PDF

Info

Publication number
JP2009199223A
JP2009199223A JP2008038661A JP2008038661A JP2009199223A JP 2009199223 A JP2009199223 A JP 2009199223A JP 2008038661 A JP2008038661 A JP 2008038661A JP 2008038661 A JP2008038661 A JP 2008038661A JP 2009199223 A JP2009199223 A JP 2009199223A
Authority
JP
Japan
Prior art keywords
face image
face
image
room
authentication
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008038661A
Other languages
Japanese (ja)
Other versions
JP5001195B2 (en
Inventor
Hiroshi Nakajima
寛 中島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Azbil Corp
Original Assignee
Azbil Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Azbil Corp filed Critical Azbil Corp
Priority to JP2008038661A priority Critical patent/JP5001195B2/en
Publication of JP2009199223A publication Critical patent/JP2009199223A/en
Application granted granted Critical
Publication of JP5001195B2 publication Critical patent/JP5001195B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)
  • Image Processing (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To check whether to permit entrance of a plurality of persons at a time or not, to restrict the entrance without very strict restriction even if a person not registered as an entrance permittee is mixed, and to store specific information of an entered person not registered as the entrance permittee. <P>SOLUTION: A face image of a plurality of entrance applicants is simultaneously picked up by a CCD camera 1E. Face images of all the applicants included in the picked up image are extracted from the image, and each extracted face image (extraction face image) is collated with a previously registered face image (a registration face image) of an entrance permittee. By the collation, it is determined that authentication succeeds when accordance of all the extraction face images with the registration face images is confirmed. When it is confirmed that the face image according with the face image of the entrance permittee and the face image discording therewith are mixed, at least the discording face image is recorded, and it is determined that the authentication succeeds. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

この発明は、複数人の入室希望者を同時に認証する複数人同時顔認証装置およびこの複数人同時顔認証装置を用いた入室管理システムに関するものである。   The present invention relates to a multiple-person simultaneous face authentication apparatus that simultaneously authenticates a plurality of persons who want to enter a room and a room-entry management system using the multiple-person simultaneous face authentication apparatus.

従来より、ビルなどに設けられた入室管理システムでは、個人の身体的特徴、例えば顔や目の虹彩を読み取って本人確認を行い、予め登録されている入室許可者である場合にのみ、その人の入室を許可するようにしている。この入室管理システムでは、複数人が一度に入室するような場合、1人ずつ身体的特徴を読み取って本人確認を行うために、その人数が多いと、後方に位置する人の待ち時間が長くなるという問題がある。   Conventionally, in an entrance management system provided in a building or the like, an individual's physical characteristics, for example, the iris of the face or eyes are read to confirm the identity of the person, and only when the person is a pre-registered admitted person Is allowed to enter. In this room management system, when a plurality of people enter the room at a time, the physical characteristics are read one by one to confirm the identity of the person. There is a problem.

これに対し、1人の本人確認を行うだけで、複数人の入室を一度に許可するということが考えられる。しかしながら、1人の本人確認を行うだけで、複数人の入室を一度に許可すると、その複数人の中に不審者が紛れ込む虞れがある。そこで、例えば特許文献1に示された入室管理システムでは、入室する人数を入力する入力手段と、実際に入室する人数を計数する計数手段とを設け、1人の本人確認が得られた後に入室扉を解錠し、その後、計数手段によって計数された人数が入力手段から入力された人数に達した時に入室扉を施錠するようにしている。   On the other hand, it is conceivable to allow a plurality of people to enter the room at the same time only by confirming one person. However, if multiple persons are allowed to enter the room at the same time only by confirming one person's identity, there is a possibility that a suspicious person will be mixed into the plurality of persons. Therefore, for example, in the entrance management system disclosed in Patent Document 1, an input means for inputting the number of people entering the room and a counting means for counting the number of people actually entering the room are provided, and after the identity of one person is confirmed, the room is entered. The door is unlocked, and then the entrance door is locked when the number of persons counted by the counting means reaches the number of persons input from the input means.

特開2001−40963号公報JP 2001-40963 A 特開平10−134188号公報Japanese Patent Laid-Open No. 10-134188 特開2007−164668号公報JP 2007-164668 A

しかしながら、上述した特許文献1に示された入室管理システムでは、1人の本人確認は行うが、他の人は本人確認を行わず、入室する人の数をチェックしているだけで、本人確認を行わなかった人が入室許可者として登録されているかどうかはチェックしていないので、セキュリティ上問題がある。更に、入室許可者として登録されていない人が入室した場合にその人を特定する証拠が何も残らないので、その人を以後監視したり、特定したりすることができないという不都合が生じる。   However, in the entrance management system disclosed in Patent Document 1 described above, one person is verified, but the other person is not verifying the identity, but only checking the number of persons entering the room. There is a security problem because it is not checked whether the person who did not perform registration is registered as an entry permitter. Further, when a person who is not registered as a person who enters the room enters the room, there is no evidence for identifying the person, so that there is a disadvantage that the person cannot be monitored or identified thereafter.

本発明は、このような課題を解決するためになされたもので、その目的とするところは、複数人の入室を一度に許可するか否かチェックする際、入室許可者として登録されていない人が混在していても入室をそれほど厳しくすることなく制限することができるとともに、入室許可者として登録されていない入室者の特定情報を記憶することができる複数人同時顔認証装置および入室管理システムを提供することにある。   The present invention has been made in order to solve such problems, and the object of the present invention is a person who is not registered as an entry permitter when checking whether or not to permit entry of a plurality of persons at once. Multi-person simultaneous face authentication device and entrance management system capable of restricting entry without making it so strict even if there is a mixture of people, and storing specific information of occupants who are not registered as admitted persons It is to provide.

このような目的を達成するために、本発明の複数人同時顔認証装置は、複数人の入室希望者の顔画像を同時に撮像する撮像手段と、この撮像手段によって撮像された画像からその画像に含まれる全員の顔画像を抽出する顔画像抽出手段と、この顔画像抽出手段によって抽出された各顔画像を予め登録されている入室許可者の顔画像と照合する顔画像照合手段と、顔画像抽出手段によって抽出された全ての顔画像について顔画像照合手段によって入室許可者の顔画像との一致が確認された場合に認証成功と判断する第1の認証手段と、顔画像照合手段によって入室許可者の顔画像と一致する顔画像と一致しない顔画像とが混在することが確認された場合、少なくとも一致しない顔画像を記録したうえ、認証成功と判断する第2の認証手段とを設けたものである。   In order to achieve such an object, the multiple-person simultaneous face authentication device of the present invention includes an image pickup unit that simultaneously picks up face images of a plurality of people who want to enter a room, and an image captured by the image pickup unit. Face image extracting means for extracting the face images of all included members, face image comparing means for comparing each face image extracted by the face image extracting means with a face image of a person permitted to enter the room, and a face image A first authentication unit that determines that the authentication is successful when the face image collation unit confirms a match with the face image of the person permitted to enter the room for all the face images extracted by the extraction unit, and a room image permission unit that allows the room image collation unit to enter the room. When it is confirmed that a face image that matches the face image of the person and a face image that does not match are mixed, at least a face image that does not match is recorded, and a second authentication unit that determines that authentication is successful is provided. Those were.

この発明によれば、複数人の入室希望者の顔画像が同時に撮像され、この撮像された画像からその画像に含まれる全員の顔画像が抽出され、この抽出された各顔画像が予め登録されている入室許可者の顔画像と照合される。この照合によって、抽出された全ての顔画像について入室許可者の顔画像との一致が確認されると、認証成功と判断される。また、抽出された全ての顔画像について入室許可者の顔画像との一致が確認されず、入室許可者の顔画像と一致する顔画像と一致しない顔画像とが混在している場合には、少なくとも一致しない顔画像が記録されたうえ、認証成功と判断される。これにより、抽出された全員の顔画像が入室許可者の顔画像と一致した場合だけではなく、一致する顔画像と一致しない顔画像とが混在している場合にも条件付きで認証成功と判断し、抽出された全員の顔画像が入室許可者の顔画像と一致しない場合にのみ認証不成功と判断するようにして、複数人の入室を一度に許可するか否かチェックする際、入室許可者として登録されていない人が混在しても入室をそれほど厳しくすることなく制限することができるとともに、入室許可者として登録されていない入室者の特定情報を記憶することができる。  According to the present invention, the face images of a plurality of people who want to enter the room are simultaneously captured, the face images of all members included in the image are extracted from the captured images, and the extracted face images are registered in advance. It is compared with the face image of the person who is allowed to enter the room. If it is confirmed by this collation that all the extracted face images match the face image of the person permitted to enter the room, it is determined that the authentication is successful. In addition, when all of the extracted face images are not confirmed to match the face image of the person permitted to enter the room and the face image that matches the face image of the person permitted to enter the room is mixed, At least a face image that does not match is recorded, and it is determined that the authentication is successful. As a result, not only when the extracted face images of all persons match the face image of the person permitted to enter the room, but also when there are mixed face images that do not match and face images that do not match, it is determined that authentication is successful. However, when checking whether or not to allow multiple people to enter the room at the same time, it is judged that the authentication is unsuccessful only when the extracted face images of all the members do not match the face image of the person permitted to enter the room. Even if people who are not registered as persons are mixed, it is possible to restrict entry without making it so severe, and it is possible to store specific information of persons who are not registered as persons who are permitted to enter.

本発明の複数人同時顔認証装置において、第2の認証手段として、顔画像照合手段によって入室許可者の顔画像と一致する顔画像と一致しない顔画像とが混在することが確認された場合、その一致する顔画像が予め登録されている特定の人の顔画像であった場合に、少なくとも一致しない顔画像を記録したうえ、認証成功と判断する手段を設けるようにしてもよい。このようにすると、例えば特定の人として管理者の顔画像が確認された場合にのみ、認証成功と判断させるようにすることが可能となるとともに、入室許可者として登録されていない入室者の特定情報を記憶することができる。   In the multiple face authentication device of the present invention, when it is confirmed by the face image matching means that a face image that matches the face image of the person permitted to enter and a face image that does not match are mixed as the second authentication means, In the case where the matching face image is a face image of a specific person registered in advance, a means for determining that authentication has succeeded after recording at least the face image that does not match may be provided. In this way, for example, only when the administrator's face image is confirmed as a specific person, it can be determined that the authentication is successful, and identification of a room resident who is not registered as a room admitted person Information can be stored.

本発明の複数人同時顔認証装置では、撮像された画像からその画像に含まれる全員の顔画像を抽出するが、この顔画像は2次元の顔画像であってもよく、3次元の顔画像であってもよい。2次元の顔画像の場合、例えば壁に貼ってあるポスタの中の人物像の顔を誤って顔画像として抽出してしまう虞れがある。これに対して、3次元の顔画像とすると、凹凸のある実際の人間の顔しか抽出されず、ポスタの中の人物像の顔を誤って顔画像として抽出してしまう虞れがなくなる。   In the multiple-person simultaneous face authentication device of the present invention, the face images of all persons included in the image are extracted from the captured image. This face image may be a two-dimensional face image, or a three-dimensional face image. It may be. In the case of a two-dimensional face image, for example, there is a possibility that the face of a person image in a poster pasted on a wall is erroneously extracted as a face image. On the other hand, when a three-dimensional face image is used, only an actual human face having irregularities is extracted, and there is no possibility that the face of the person image in the poster is erroneously extracted as a face image.

抽出する画像を3次元の顔画像とする場合、撮像手段として、複数人の入室希望者の顔画像を一方向から同時に撮像する第1撮像手段と、この第1撮像手段とは別の方向から複数人の入室希望者の顔画像を同時に撮像する第2撮像手段とを設け、顔画像抽出手段として、第1撮像手段が撮像した画像と第2撮像手段が撮像した画像とから3次元の画像を作成する3次元画像作成手段と、この3次元画像作成手段によって作成された3次元の画像からその画像に含まれる全ての3次元の顔画像を全員の顔画像として抽出する3次元顔画像抽出手段とを設けるようにするとよい。   When the image to be extracted is a three-dimensional face image, as imaging means, a first imaging means for simultaneously imaging face images of a plurality of people who want to enter the room from one direction, and a direction different from the first imaging means. A second imaging unit that simultaneously captures face images of a plurality of people who want to enter the room, and as a face image extracting unit, a three-dimensional image from an image captured by the first imaging unit and an image captured by the second imaging unit; 3D image creation means for creating the image, and 3D face image extraction for extracting all 3D face images included in the image from the 3D image created by the 3D image creation means as the face images of all members Means may be provided.

本発明の入室管理システムは、上述した複数人同時顔認証装置と、この複数人同時顔認証装置によって認証成功と判断された場合にのみ入室扉を解錠する制御装置とを設けたものである。この発明によれば、複数人同時顔認証装置によって認証成功と判断されると、すなわち撮像された画像から抽出された全員の顔画像が入室許可者の顔画像と一致すると、入室扉が解錠される。また、撮像された画像から抽出された全ての顔画像について入室許可者の顔画像との一致が確認されず、入室許可者の顔画像と一致する顔画像と一致しない顔画像とが混在していることが確認されると、あるいはその一致する顔画像が予め登録されている特定の人の顔画像であった場合、入室扉が解錠される。   The room entrance management system according to the present invention includes the above-described multiple-person simultaneous face authentication device and a control device that unlocks the entrance door only when the multiple-person simultaneous face authentication device determines that the authentication is successful. . According to the present invention, when it is determined that the authentication is successful by the multiple face authentication device, that is, when the face images of all the members extracted from the captured image coincide with the face image of the person permitted to enter, the entrance door is unlocked. Is done. In addition, it is not confirmed that all face images extracted from the captured images match the face image of the person permitted to enter the room, and a face image that matches the face image of the person permitted to enter the room is mixed with a face image that does not match. If it is confirmed that the face image is a face image of a specific person registered in advance, the entrance door is unlocked.

本発明の入室管理システムにおいて、入室扉の前の所定のエリアに位置している入室希望者の実人数を検知する実人数検知手段を設け、複数人同時顔認証装置において、撮像された顔画像から抽出された全員の顔画像の数と実人数検知手段によって検知された入室希望者の実人数とが一致していない場合、認証不成功と判断するようにしてもよい。このようにすると、複数人の入室希望者の顔画像を同時に撮像する際に、例えば、人の影に隠れたり、しゃがみ込んでわざと写らないようにした人がいたような場合、抽出された全員の顔画像の数と入室希望者の実人数とが一致しないので、撮像された画像から抽出された全員の顔画像が入室許可者の顔画像と一致したとしても、また入室許可者の顔画像と一致する顔画像と一致しない顔画像とが混在していたとしても、あるいはその一致する顔画像が予め登録されている特定の人の顔画像であったとしても、認証成功と判断されることがない。   In the room entrance management system of the present invention, an actual number detection means for detecting the actual number of persons who want to enter the room located in a predetermined area in front of the entrance door is provided. If the number of face images of all the members extracted from the number does not match the actual number of people who want to enter the room detected by the actual number detection means, it may be determined that the authentication is unsuccessful. In this way, when taking multiple facial images of people who want to enter the room at the same time, for example, if there is a person who hides in the shadow of a person or crouches so that it does not appear on purpose, The number of face images and the actual number of people who want to enter the room do not match, so even if the face images of all the images extracted from the captured images match the face image of the person who has permitted entry, Even if a face image that matches and a face image that does not match are mixed, or even if the matching face image is a face image of a specific person registered in advance, it is determined that authentication is successful. There is no.

本発明によれば、複数人の入室希望者の顔画像を同時に撮像し、この撮像した画像からその画像に含まれる全員の顔画像を抽出し、この抽出した各顔画像を予め登録されている入室許可者の顔画像と照合し、抽出した全ての顔画像について入室許可者の顔画像との一致が確認されると認証成功と判断し、また、抽出した全ての顔画像について入室許可者の顔画像との一致が確認されず、入室許可者の顔画像と一致する顔画像と一致しない顔画像とが混在している場合には、少なくとも一致しない顔画像が記録されたうえ、認証成功と判断するようにしたので、抽出された全員の顔画像が入室許可者の顔画像と一致した場合だけではなく、一致する顔画像と一致しない顔画像とが混在している場合にも条件付きで認証成功と判断し、抽出された全員の顔画像が入室許可者の顔画像と一致しない場合にのみ認証不成功と判断するようにして、複数人の入室を一度に許可するか否かチェックする際、入室許可者として登録されていない人が混在していても入室をそれほど厳しくすることなく制限することができるとともに、入室許可者として登録されていない入室者の特定情報を記憶することができる。   According to the present invention, face images of a plurality of people who want to enter a room are simultaneously picked up, face images of all members included in the picked-up image are extracted, and the extracted face images are registered in advance. Matching with the face image of the person permitted to enter the room, and if all the extracted face images match the face image of the person permitted to enter the room, it is determined that the authentication is successful. If a match with the face image is not confirmed, and a face image that matches the face image of the person permitted to enter the room is mixed with a face image that does not match, at least the face image that does not match is recorded and the authentication is successful. As a result of the judgment, not only when the extracted face images of all members match the face images of the person permitted to enter the room, but also when there are mixed face images that do not match and face images that do not match. Judged that authentication was successful and extracted It is determined that the authentication is unsuccessful only when the face image of the member does not match the face image of the person permitted to enter the room. Even if there are not many people, it is possible to limit the room entry without making it so severe, and it is possible to store the specific information of the room person who is not registered as the person who is allowed to enter the room.

以下、本発明を図面に基づいて詳細に説明する。   Hereinafter, the present invention will be described in detail with reference to the drawings.

〔実施の形態1〕
図1はこの発明に係る複数人同時顔認証装置を用いた入室管理システムの一実施の形態(実施の形態1)の要部を示す図である。同図において、1は複数人同時顔認証装置、2は制御装置、3は入室扉、4は入室扉に対して設けられた電気錠である。複数人同時顔認証装置1と電気錠3とは制御装置2を介して接続されている。
[Embodiment 1]
FIG. 1 is a diagram showing a main part of an embodiment (embodiment 1) of an entrance management system using a simultaneous face authentication apparatus for plural persons according to the present invention. In the figure, 1 is a multiple face recognition device, 2 is a control device, 3 is an entrance door, and 4 is an electric lock provided for the entrance door. The multi-person simultaneous face authentication device 1 and the electric lock 3 are connected via the control device 2.

この入室管理システムにおいて、複数人同時顔認証装置1は、CPU1Aと、RAM1Bと、ROM1Cと、記憶装置1Dと、CCDカメラ1Eと、表示装置1Fと、インタフェース1G〜1Iとを備えている。   In this room entry management system, the multiple-person simultaneous face authentication device 1 includes a CPU 1A, a RAM 1B, a ROM 1C, a storage device 1D, a CCD camera 1E, a display device 1F, and interfaces 1G to 1I.

CPU1Aは、RAM1Bにアクセスしながら、ROM1Cに格納されているプログラムに従って動作する。ROM1Cには、本実施の形態特有のプログラムとして、複数人同時顔認証プログラムが格納されている。また、記憶装置1Dには、予め登録された入室許可者の顔画像が保存されている。この例では、登録された入室許可者の数をN人とし、このN人の入室許可者のそれぞれについて2次元の顔画像が1つずつ格納されている。   The CPU 1A operates according to a program stored in the ROM 1C while accessing the RAM 1B. The ROM 1C stores a multiple face authentication program as a program unique to the present embodiment. In addition, a face image of a person who is permitted to enter the room is stored in the storage device 1D. In this example, the number of registered entry permitters is N, and one two-dimensional face image is stored for each of the N entry permitters.

図8にこの実施の形態1の入室管理システムにおける複数人同時顔認証装置1の要部の機能ブロック図を示す。この入室管理システムにおいて、複数人同時顔認証装置1は、複数人の入室希望者の顔画像を同時に撮像するカメラからなる撮像部1−1と、この撮像部1によって撮像された画像からその画像に含まれる全員の顔画像を抽出する顔画像抽出部1−2と、予め登録されている入室許可者の2次元の顔画像を記憶する記憶部1−3と、顔画像抽出部1−2によって抽出された各顔画像(抽出顔画像)を記憶部1−3に記憶されている入室許可者の顔画像(登録顔画像)と照合する顔画像照合部1−4と、全ての抽出顔画像について登録顔画像との一致が確認された場合に認証成功と判断する第1の認証部1−5と、登録顔画像と一致する抽出顔画像と一致しない抽出顔画像とが混在することが確認された場合、少なくとも一致しない抽出顔画像をメモリ1−7に記録したうえ、認証成功と判断する第2の認証部1−6とを備えている。この複数人同時顔認証装置1において、顔画像抽出部1−2,顔画像照合部1−4、第1の認証部1−5および第2の認証部1−6はCPU1Aの処理機能として実現される。   FIG. 8 shows a functional block diagram of a main part of the multiple-person simultaneous face authentication device 1 in the room entrance management system according to the first embodiment. In this entrance management system, the multiple-person simultaneous face authentication device 1 includes an imaging unit 1-1 including a camera that simultaneously captures face images of a plurality of people who want to enter a room, and an image captured from the image captured by the imaging unit 1. A face image extraction unit 1-2 for extracting the face images of all members included in the image, a storage unit 1-3 for storing a two-dimensional face image of a person permitted to enter the room, and a face image extraction unit 1-2. A face image collation unit 1-4 that collates each face image (extracted face image) extracted by the above with a face image (registered face image) of the person permitted to enter the room stored in the storage unit 1-3, and all the extracted faces The first authentication unit 1-5 that determines that the authentication is successful when it is confirmed that the image matches the registered face image, and the extracted face image that does not match the extracted face image that matches the registered face image may coexist. If confirmed, at least the extracted face image does not match After it recorded in the memory 1-7, and a second authentication unit that determines the authentication success 1-6. In the multiple face authentication device 1, the face image extraction unit 1-2, the face image collation unit 1-4, the first authentication unit 1-5, and the second authentication unit 1-6 are realized as processing functions of the CPU 1A. Is done.

以下、図2に示すフローチャートを参照して、複数人同時顔認証プログラムに従ってCPU1Aが実行する処理動作について説明する。   Hereinafter, with reference to the flowchart shown in FIG. 2, the processing operation executed by the CPU 1A in accordance with the multiple face authentication program will be described.

今、複数人の入室希望者がCCDカメラ1Eの前に立って、複数人同時顔認証装置1に対して入室したい旨の操作を行ったとする。これを受けて、CPU1Aは、CCDカメラ1Eに撮像指令を送り、CCDカメラ1Eの前に立っている複数人の入室希望者の顔画像を同時に撮像する(ステップS101)。   Now, it is assumed that a plurality of people who wish to enter the room stand in front of the CCD camera 1E and perform an operation to the effect that they want to enter the multiple-face simultaneous face authentication device 1. In response to this, the CPU 1A sends an imaging command to the CCD camera 1E, and simultaneously captures the face images of a plurality of people who want to enter the room standing in front of the CCD camera 1E (step S101).

CPU1Aは、このCCDカメラ1Eによって撮像された画像を取り込み、この取り込んだ画像からその画像に含まれる全員の顔画像を抽出する(ステップS102)。この例では、例えば特許文献2に示された技術を用いて、その画像に含まれる2次元の顔画像を抽出する。この時の抽出された2次元の顔画像(以下、抽出顔画像と呼ぶ)の数をt個とする。   The CPU 1A captures an image captured by the CCD camera 1E, and extracts the face images of all members included in the image from the captured image (step S102). In this example, for example, using the technique disclosed in Patent Document 2, a two-dimensional face image included in the image is extracted. At this time, the number of extracted two-dimensional face images (hereinafter referred to as extracted face images) is t.

次に、CPU1Aは、n=1とし(ステップS103)、記憶装置1Dに保存されているN個の入室許可者の顔画像(2次元の顔画像(以下、登録顔画像と呼ぶ))を読み出す(ステップS104)。そして、n>tでないことを確認のうえ(ステップS105のNO)、n=1番目の抽出顔画像とN個の登録顔画像との照合(1:N照合)を行う(ステップS106)。   Next, the CPU 1A sets n = 1 (step S103), and reads the face images (two-dimensional face images (hereinafter referred to as registered face images)) of N room-permitted persons stored in the storage device 1D. (Step S104). Then, after confirming that n> t is not satisfied (NO in step S105), the collation (1: N collation) between the n = 1 extracted face image and the N registered face images is performed (step S106).

このn=1番目の抽出顔画像とN個の登録顔画像との照合において、その照合スコアが閾値thを超えるものがあれば(ステップS107のYES)、N個の登録顔画像の中にn=1番目の抽出顔画像と一致する顔画像が確認されたものとみなし、そのn=1番目の抽出顔画像のNO.をOK画像のNO.として記憶したうえ(ステップS108)、n=n+1=2とし(ステップS109)、ステップS105へ戻り、n=2番目の抽出顔画像とN個の登録顔画像との照合を行う(ステップS106)。   In the collation between the n = 1 extracted face image and the N registered face images, if the collation score exceeds the threshold th (YES in step S107), n of the N registered face images = It is considered that a face image matching the first extracted face image has been confirmed, and the NO. OK image NO. (Step S108), n = n + 1 = 2 (step S109), the process returns to step S105, and the n = 2nd extracted face image is compared with the N registered face images (step S106).

このn=2番目の抽出顔画像とN個の登録顔画像との照合において、その照合スコアが閾値thを超えるものがあれば(ステップS107のYES)、N個の登録顔画像の中にn=2番目の抽出顔画像と一致する顔画像が確認されたものとみなし、そのn=2番目の抽出顔画像のNO.をOK画像のNO.として記憶したうえ(ステップS108)、n=n+1=3とし(ステップS109)、ステップS105へ戻る。   In the collation between the n = 2nd extracted face image and the N registered face images, if the collation score exceeds the threshold th (YES in step S107), n of the N registered face images = It is considered that a face image matching the second extracted face image is confirmed, and the NO. OK image NO. (Step S108), n = n + 1 = 3 (step S109), and the process returns to step S105.

このn=2番目の抽出顔画像とN個の登録顔画像との照合において、その照合スコアが閾値thを超えるものがなければ(ステップS107のNO)、N個の登録顔画像の中にn=2番目の抽出顔画像と一致する顔画像が確認されなかったものとみなし、n=2番目の抽出顔画像のNO.をNG画像のNO.として記憶したうえ(ステップS110)、n=n+1=3とし(ステップS109)、ステップS105へ戻る。   In the collation between the n = 2nd extracted face image and the N registered face images, if the collation score does not exceed the threshold th (NO in step S107), n of the N registered face images = It is considered that a face image matching the second extracted face image has not been confirmed, and n = NO of the second extracted face image. No. of NG image. (Step S110), n = n + 1 = 3 (step S109), and the process returns to step S105.

ここで、例えば、抽出顔画像の数tを2個とすると、n>tとなるので(ステップS105のYES)、CPU1AはステップS111の処理へと進む。   Here, for example, if the number t of extracted face images is 2, n> t (YES in step S105), the CPU 1A proceeds to the process in step S111.

ステップS111において、CPU1Aは、全ての抽出顔画像について登録顔画像との一致が確認されれば(ステップS111のYES)、認証が成功したと判断し、「認証OK」を表示装置1Fの画面に表示する(ステップS112)。また、所定の信号を制御装置2へ送信し、認証が成功したことを知らせる(ステップS113)。この認証成功の知らせを受けて、制御装置2は、電気錠4へ解錠指令を送り、入室扉3を解錠する。また、CPU1Aは、ステップS108で記憶したOK画像のNO.を読み出し、この読み出したOK画像のNO.に対応する抽出顔画像に撮影日時などの情報を付し、入室を許可した人の顔画像の履歴としてファイル化する(ステップS114)。   In step S111, if the match of all the extracted face images with the registered face image is confirmed (YES in step S111), the CPU 1A determines that the authentication is successful and displays “authentication OK” on the screen of the display device 1F. It is displayed (step S112). Further, a predetermined signal is transmitted to the control device 2 to notify that the authentication is successful (step S113). Upon receiving the notification of successful authentication, the control device 2 sends an unlocking command to the electric lock 4 and unlocks the entrance door 3. Further, the CPU 1A determines NO. Of the OK image stored in step S108. No. of the read OK image is read out. Information such as the shooting date and time is attached to the extracted face image corresponding to, and the extracted face image is filed as a history of face images of persons permitted to enter the room (step S114).

ステップS111において、CPU1Aは、全ての抽出顔画像について登録顔画像との一致が確認されなければ(ステップS111のNO)、その抽出顔画像の中に入室許可者の顔画像と一致する顔画像と一致しない顔画像とが混在するか否かをチェックする(ステップS115)。   In step S111, if the match with the registered face image is not confirmed for all the extracted face images (NO in step S111), the CPU 1A includes a face image that matches the face image of the person permitted to enter in the extracted face image. It is checked whether or not face images that do not match are mixed (step S115).

ここで、入室許可者の顔画像と一致する顔画像と一致しない顔画像とが混在していることが確認されれば(ステップS115のYES)、認証が成功したと判断し、「認証OK」を表示装置1Fの画面に表示する(ステップS116)。また、所定の信号を制御装置2へ送信し、認証が成功したことを知らせる(ステップS117)。この認証成功の知らせを受けて、制御装置2は、電気錠4へ解錠指令を送り、入室扉3を解錠する。   Here, if it is confirmed that a face image that matches the face image of the person permitted to enter the room and a face image that does not match are mixed (YES in step S115), it is determined that the authentication is successful, and “authentication OK”. Is displayed on the screen of the display device 1F (step S116). Further, a predetermined signal is transmitted to the control device 2 to notify that the authentication has been successful (step S117). Upon receiving the notification of successful authentication, the control device 2 sends an unlocking command to the electric lock 4 and unlocks the entrance door 3.

また、CPU1Aは、ステップS108で記憶したOK画像のNO.およびステップS110で記憶したNG画像のNO.を読み出し、この読み出したOK画像のNO.に対応する抽出顔画像とNG画像のNO.に対応する抽出顔画像とを対として撮影日時やOK画像/NG画像を区別する情報などを付し、入室を許可した人の顔画像の履歴としてファイル化する(ステップS118)。また、警報を発し、入室許可者と入室許可者として登録されていない人が混在することを知らせる(ステップS119)。   Further, the CPU 1A determines NO. Of the OK image stored in step S108. And NO. Of the NG image stored in step S110. No. of the read OK image is read out. NO. Of the extracted face image and NG image corresponding to. The extracted face image corresponding to is paired with the shooting date and time, information for distinguishing the OK image / NG image, and the like are attached, and the face image of the person permitted to enter the room is filed (step S118). In addition, an alarm is issued to inform that there are a mixture of persons who are not permitted to enter the room and those who are not registered as a room-permitted person (step S119).

これに対し、入室許可者の顔画像と一致する顔画像と一致しない顔画像とが混在せず、全ての抽出顔画像が入室許可者の顔画像と一致しなかったことが確認された場合には(ステップS115のNO)、CPU1Aは、認証不成功と判断し、「認証NG」を表示装置1Fの画面に表示する(ステップS120)。また、ステップS110で記憶したNG画像のNO.を読み出し、この読み出したNG画像のNO.に対応する抽出顔画像を撮影日時などの情報を付し、入室を拒否した人の顔画像の履歴としてファイル化する(ステップS121)。また、警報を発し、入室許可者が誰もいないことを知らせる(ステップS122)。   On the other hand, when it is confirmed that the face image that matches the face image of the person permitted to enter the room is not mixed with the face image that does not match, and that all the extracted face images do not match the face image of the person permitted to enter the room. (NO in step S115), the CPU 1A determines that the authentication is unsuccessful, and displays “authentication NG” on the screen of the display device 1F (step S120). In addition, the NG image NO. No. of the read NG image is read out. The extracted face image corresponding to is attached with information such as the shooting date and time and is filed as a face image history of the person who refused to enter the room (step S121). Further, an alarm is issued to inform that there is no person who is allowed to enter the room (step S122).

この例では、抽出顔画像の数tを2個としたが、t≧3の場合にも同様にして、全ての抽出顔画像について登録顔画像との一致が確認された場合および登録顔画像と一致する顔画像と一致しない顔画像とが混在する場合に認証成功と判断され、全ての抽出顔画像が登録顔画像と一致しなかった場合に認証不成功と判断される。   In this example, the number t of the extracted face images is two. Similarly, when t ≧ 3, all the extracted face images are confirmed to match the registered face images, and the registered face images It is determined that the authentication is successful when a matching face image and a non-matching face image are mixed, and when all the extracted face images do not match the registered face image, it is determined that the authentication is unsuccessful.

また、この認証成功/不成功の判断において、登録顔画像と一致する顔画像と一致しない顔画像とが混在する場合には、一致しないと判断された顔画像がNG画像として残される。この場合、認証成功と判断されるが、NG画像として記憶された顔画像を守衛所等に設けられた監視装置に送って、正当な来訪者か否か判断できるようにしたり、後で問題が起きた場合には、その残されたNG画像を参照することによって、その人物を特定する手がかりとなる。また、このNG画像にはOK画像が対として記憶されているので、一緒に入室した入室許可者を割り出すこともできる。   Further, in this authentication success / failure determination, when a face image that matches the registered face image and a face image that does not match are mixed, the face image determined not to match is left as an NG image. In this case, it is determined that the authentication is successful, but the face image stored as an NG image is sent to a monitoring device provided in a guardhouse or the like so that it can be determined whether or not it is a legitimate visitor. When it happens, it becomes a clue to identify the person by referring to the remaining NG image. In addition, since the OK image is stored as a pair in this NG image, it is possible to determine the person who has entered the room together.

このようにして、本実施の形態では、抽出された全員の顔画像が入室許可者の顔画像と一致した場合だけではなく、一致する顔画像と一致しない顔画像とが混在している場合にも条件付きで認証成功と判断し、抽出された全員の顔画像が入室許可者の顔画像と一致しない場合にのみ認証不成功と判断するようにして、複数人の入室を一度に許可するか否かチェックする際、入室許可者として登録されていない人が混在する場合でも入室をそれほど厳しくすることなく制限するとともに、入室許可者として登録されていない入室者の特定情報を記憶することができる。   In this way, in the present embodiment, not only when the extracted face images of all persons match the face image of the person permitted to enter the room, but also when the matching face images and the non-matching face images are mixed. Whether or not to allow multiple people to enter the room at once, if it is judged that the authentication has succeeded under certain conditions and the extracted face images of all the members do not match the face image of the person permitted to enter When checking whether or not there are people who are not registered as admitted persons, it is possible to limit entry without making it so severe, and to store the specific information of admitted persons who are not registered as permitted persons .

なお、図2に示したフローチャートでは、ステップS111において、入室許可者の顔画像と一致する顔画像と一致しない顔画像とが混在していることが確認された場合、すぐに認証成功と判断するようにした。これに対し、図3に示すフローチャートのように、ステップS115とステップS116との間にステップS123を設け、入室許可者の顔画像と一致する顔画像が管理者であるか否かを確認するようにし、管理者であった場合に認証成功と判断するようにしてもよい。   In the flowchart shown in FIG. 2, if it is confirmed in step S111 that a face image that matches the face image of the person permitted to enter the room and a face image that does not match are mixed, it is immediately determined that the authentication is successful. I did it. On the other hand, as in the flowchart shown in FIG. 3, step S123 is provided between step S115 and step S116, and it is confirmed whether or not the face image that matches the face image of the person permitted to enter the room is an administrator. If the user is an administrator, it may be determined that the authentication is successful.

また、図2に示したフローチャートでは、ステップS114やステップS118でOK画像を残すようにしたが、必ずしもOK画像を残すようにしなくてもよい。すなわち、ステップS118やステップS121で、NG画像を残すのみとするようにしてもよい。   In the flowchart shown in FIG. 2, the OK image is left in step S114 or step S118. However, the OK image is not necessarily left. In other words, only the NG image may be left in step S118 or step S121.

また、図2に示したフローチャートでは、ステップS102において、CCDカメラ1Eによって撮像された画像から2次元の顔画像を抽出するようにしたが、2次元の顔画像ではなく、3次元の顔画像を抽出するようにしてもよい。2次元の顔画像の場合、例えば壁に貼ってあるポスタの中の人物像の顔を誤って顔画像として抽出してしまう虞れがある。これに対して、抽出する顔画像を3次元の顔画像とすると、凹凸のある実際の人間の顔しか抽出されず、ポスタの中の人物像の顔を誤って顔画像として抽出してしまう虞れがなくなる。   In the flowchart shown in FIG. 2, a two-dimensional face image is extracted from the image captured by the CCD camera 1E in step S102, but a three-dimensional face image is used instead of a two-dimensional face image. You may make it extract. In the case of a two-dimensional face image, for example, there is a possibility that the face of a person image in a poster pasted on a wall is erroneously extracted as a face image. On the other hand, if the face image to be extracted is a three-dimensional face image, only the actual human face with unevenness is extracted, and the face of the person image in the poster may be erroneously extracted as a face image. This disappears.

〔実施の形態2〕
図4に、実施の形態2として、3次元の顔画像を抽出するようにした場合の入室管理システムの要部を示す。3次元の顔画像を抽出する場合、2台のCCDカメラ1E1,1E2を設け、CCDカメラ1E1によって複数人の入室希望者の顔画像を一方向から同時に撮像し、CCDカメラ1E2によってCCDカメラ1E1とは別の方向から複数人の入室希望者の顔画像を同時に撮像するようにする。
[Embodiment 2]
FIG. 4 shows a main part of the entrance management system when a three-dimensional face image is extracted as a second embodiment. In the case of extracting a three-dimensional face image, two CCD cameras 1E1 and 1E2 are provided. The CCD camera 1E1 simultaneously captures face images of a plurality of people who want to enter the room from one direction, and the CCD camera 1E2 and the CCD camera 1E1. Takes images of the faces of a plurality of applicants from different directions at the same time.

また、CPU1Aの複数人同時顔認証プログラムに従う処理において、例えば特許文献3に示された技術を用いて、CCDカメラ1E1が撮像した画像とCCDカメラ1E2が撮像した画像とから3次元の画像を作成し、この作成された3次元の画像からその画像に含まれる全ての3次元の顔画像を全員の顔画像として抽出するようにする。また、記憶装置1Dには、登録顔画像として3次元の顔画像を保存する。この実施の形態2でも、実施の形態1と同様にして、図2や図3に示したフローチャートに従って、認証成功/不成功の判断を行う。   Further, in the process according to the simultaneous face authentication program of the CPU 1A, a three-dimensional image is created from an image captured by the CCD camera 1E1 and an image captured by the CCD camera 1E2, for example, using the technique disclosed in Patent Document 3. Then, all the three-dimensional face images included in the created three-dimensional image are extracted as the face images of all members. Further, the storage device 1D stores a three-dimensional face image as a registered face image. Also in the second embodiment, the authentication success / failure is determined according to the flowcharts shown in FIGS. 2 and 3 as in the first embodiment.

図9にこの実施の形態2の入室管理システム(図4)における複数人同時顔認証装置1の要部の機能ブロック図を示す。この入室管理システムおいて、複数人同時顔認証装置1は、複数人の入室希望者の顔画像を一方向から同時に撮像するカメラからなる第1撮像部1−9と、この第1撮像部1−9とは別の方向から複数人の入室希望者の顔画像を同時に撮像するカメラからなる第2撮像部1−10と、第1撮像部1−9が撮像した画像と第2撮像部1−10が撮像した画像とから3次元の画像を作成する3次元画像作成部1−11と、3次元画像作成部1−11によって作成された3次元の画像からその画像に含まれる全ての3次元の顔画像を全員の顔画像として抽出する3次元顔画像抽出部1−12と、予め登録されている入室許可者の3次元の顔画像を記憶する記憶部1−13と、3次元顔画像抽出部1−9によって抽出された各顔画像(抽出顔画像)を記憶部1−10に記憶されている入室許可者の顔画像(登録顔画像)と照合する顔画像照合部1−14と、全ての抽出顔画像について登録顔画像との一致が確認された場合に認証成功と判断する第1の認証部1−15と、登録顔画像と一致する抽出顔画像と一致しない抽出顔画像とが混在することが確認された場合、少なくとも一致しない抽出顔画像をメモリ1−17に記録したうえ、認証成功と判断する第2の認証部1−16とを備えている。この複数人同時顔認証装置1において、3次元画像作成部1−11,3次元顔画像抽出部1−12,顔画像照合部1−14、第1の認証部1−15および第2の認証部1−16はCPU1Aの処理機能として実現される。また、3次元画像作成部1−11と3次元顔画像抽出部1−12とによって本発明でいう顔画像抽出手段が構成される。   FIG. 9 shows a functional block diagram of a main part of the multiple-person simultaneous face authentication apparatus 1 in the room entrance management system (FIG. 4) according to the second embodiment. In this entrance management system, the multiple-person simultaneous face authentication device 1 includes a first imaging unit 1-9 including a camera that simultaneously captures face images of a plurality of people who want to enter the room from one direction, and the first imaging unit 1 The second imaging unit 1-10 including a camera that simultaneously captures face images of a plurality of people who want to enter the room from a direction different from -9, the image captured by the first imaging unit 1-9, and the second imaging unit 1 The 3D image creating unit 1-11 that creates a 3D image from the image captured by the image -10, and all three included in the image from the 3D image created by the 3D image creating unit 1-11 A three-dimensional face image extracting unit 1-12 for extracting a three-dimensional face image as a face image of all members, a storage unit 1-13 for storing a three-dimensional face image of a person who has been registered in advance, and a three-dimensional face Each face image (extracted face image) extracted by the image extracting unit 1-9 is When the face image collating unit 1-14 that collates with the face image (registered face image) of the person permitted to enter the room stored in the memory unit 1-10, and a match with the registered face image for all the extracted face images is confirmed If it is confirmed that the first authentication unit 1-15 that determines that the authentication is successful and the extracted face image that does not match the extracted face image that matches the registered face image are mixed, the extracted face image that does not match at least the memory And a second authentication unit 1-16 that determines that the authentication is successful. In this multiple-person simultaneous face authentication device 1, a 3D image creation unit 1-11, a 3D face image extraction unit 1-12, a face image collation unit 1-14, a first authentication unit 1-15, and a second authentication The unit 1-16 is realized as a processing function of the CPU 1A. Further, the three-dimensional image creation unit 1-11 and the three-dimensional face image extraction unit 1-12 constitute a face image extraction unit in the present invention.

上述した実施の形態1,2では、複数人の入室希望者の顔画像を同時に撮像する際に、例えば、人の影に隠れたり、しゃがみ込んでわざと写らないようにした人がいたような場合、認証成功と判断されてしまうことがある。これに対し、図5に示すように、入室扉3の前の所定のエリアAR1に位置している入室希望者の実人数tRを検知する実人数検知手段5を設け、複数人同時顔認証装置1において、撮像された顔画像から抽出された全員の顔画像の数tと実人数検知手段5によって検知された入室希望者の実人数tRとを比較し、両者が一致していない場合に認証不成功と判断するようにすれば、認証成功と判断されてしまうことがないようにすることができる。   In the first and second embodiments described above, when simultaneously capturing the face images of a plurality of people who want to enter the room, for example, there is a person who is hidden in the shadow of a person or crouched so as not to be intentionally captured , It may be determined that the authentication is successful. On the other hand, as shown in FIG. 5, the real number detection means 5 for detecting the real number tR of the person who wants to enter the room located in the predetermined area AR1 in front of the entrance door 3 is provided, and a multi-face simultaneous face authentication device is provided. 1, the number t of all face images extracted from the captured face image is compared with the actual number tR of the person who wants to enter the room detected by the real number detection means 5, and authentication is performed when the two do not match. If it is determined as unsuccessful, it is possible to prevent the authentication from being determined as successful.

例えば、実人数検知手段5として、エリアAR1の上面にCCDカメラを設ける。このCCDカメラの撮像画像から入室希望者の頭部の画像を抽出し、その抽出した頭部の画像からエリアAR1に位置している入室希望者の実人数tRをカウントする。複数人同時顔認証装置1では、CPU1Aの複数人同時顔認証プログラムに従う処理(図2)において、例えば図6に示すように、ステップS105とステップS111との間にステップS124を設け、抽出顔画像の数tと入室希望者の実人数tRとを比較し、抽出顔画像の数tと入室希望者の実人数tRとが一致していない場合(ステップS124のNO)、認証不成功と判断する(ステップS120,S121,S122)。これにより、全員の抽出顔画像が登録顔画像と一致したとしても、また入室許可者の顔画像と一致する顔画像と一致しない顔画像とが混在していたとしても、認証成功と判断されてしまうことがなく、不審者の入室を防ぐことができる。   For example, as the real number detection means 5, a CCD camera is provided on the upper surface of the area AR1. An image of the head of the person who wants to enter the room is extracted from the image captured by the CCD camera, and the actual number tR of persons who wish to enter the room located in the area AR1 is counted from the extracted image of the head. In the multiple-person simultaneous face authentication device 1, in the process according to the multiple-person simultaneous face authentication program (FIG. 2) of the CPU 1 </ b> A, as shown in FIG. 6, for example, step S <b> 124 is provided between step S <b> 105 and step S <b> 111. The number t of the person who wants to enter the room is compared with the actual number tR of the person who wants to enter the room. If the number t of the extracted face images does not match the actual number tR of the person who wants to enter the room (NO in step S124), it is determined that the authentication is unsuccessful. (Steps S120, S121, S122). As a result, even if the extracted face image of everyone matches the registered face image, or even if a face image that matches the face image of the person permitted to enter the room and a face image that does not match are mixed, it is determined that the authentication is successful. It is possible to prevent the suspicious person from entering the room.

なお、図6では、ステップS105とステップS111との間にステップS124を設けるようにしたが、図7に示すように、ステップS102とステップS103との間にステップS124設けるようにしてもよい。このようにすると、CCDカメラ1Eによって撮像された画像から顔画像を抽出した後に、抽出した顔画像の数tと入室希望者の実人数tRとが一致しなければ、直ちに認証不成功と判断されるものとなる。   In FIG. 6, step S124 is provided between step S105 and step S111. However, as shown in FIG. 7, step S124 may be provided between step S102 and step S103. In this way, after the face image is extracted from the image captured by the CCD camera 1E, if the number t of the extracted face images does not match the actual number tR of people who want to enter the room, it is immediately determined that the authentication has failed. Will be.

本発明に係る複数人同時顔認証装置を用いた入室管理システムの第1の実施の形態(実施の形態1)の要部を示す図である。It is a figure which shows the principal part of 1st Embodiment (Embodiment 1) of the room entrance management system using the simultaneous authentication apparatus for multiple persons according to the present invention. この入室管理システムにおける複数人同時顔認証装置のCPUが実行する複数人同時顔認証プログラムに従う処理動作を示すフローチャートである。It is a flowchart which shows the processing operation according to the multiple person simultaneous face authentication program which CPU of the multiple person simultaneous face authentication apparatus in this room entrance management system performs. 一致・不一致が混在する場合に入室許可者の顔画像と一致する顔画像が管理者であるか否かを確認するようにした場合のフローチャートである。It is a flowchart in the case where it is confirmed whether or not the face image that matches the face image of the person permitted to enter the room is an administrator when matching / mismatching are mixed. 3次元の顔画像を抽出するようにした場合の入室管理システム(実施の形態2)の要部を示す図である。It is a figure which shows the principal part of the entrance management system (Embodiment 2) at the time of making it extract a three-dimensional face image. 入室扉の前の所定のエリアに位置している入室希望者の実人数を検知する実人数検知手段を設けた例を示す図である。It is a figure which shows the example which provided the real number detection means which detects the real number of persons who wish to enter the room located in the predetermined area in front of the entrance door. 実人数検知手段を設けるようにした場合の複数人同時顔認証装置のCPUが実行する複数人同時顔認証プログラムに従う処理動作の一例を示すフローチャートである。It is a flowchart which shows an example of the processing operation according to the multiple person simultaneous face authentication program which CPU of a multiple person simultaneous face authentication apparatus at the time of providing a real number detection means. 実人数検知手段を設けるようにした場合の複数人同時顔認証装置のCPUが実行する複数人同時顔認証プログラムに従う処理動作の別の例を示すフローチャートである。It is a flowchart which shows another example of the processing operation according to the multiple person simultaneous face authentication program which CPU of a multiple person simultaneous face authentication apparatus at the time of providing a real number detection means. 実施の形態1の入室管理システムにおける複数人同時顔認証装置の要部の機能ブロック図である。FIG. 3 is a functional block diagram of a main part of the multiple-person simultaneous face authentication device in the room entrance management system according to the first embodiment. 実施の形態2の入室管理システムにおける複数人同時顔認証装置の要部の機能ブロック図である。FIG. 10 is a functional block diagram of a main part of a multiple-person simultaneous face authentication device in an entrance management system according to a second embodiment.

符号の説明Explanation of symbols

1…複数人同時顔認証装置、1A…CPU、1B…ROM、1C…RAM、1D…記憶装置、1E,1E1,1E2…CCDカメラ、1F…表示装置、1G〜1J…インタフェース、2…制御装置、3…入室扉、4…電気錠、5…実人数検知部、AR1…所定のエリア、1−1…撮像部、1−2…顔画像抽出部、1−3…記憶部、1−4…顔画像照合部、1−5…第1の認証部、1−6…第2の認証部、1−7…メモリ、1−9…第1撮像部、1−10…第2撮像部、1−11…3次元画像作成部、1−12…3次元顔画像抽出部、1−13…記憶部、1−14…顔画像照合部、1−15…第1の認証部、1−16…第2の認証部、1−17…メモリ。   DESCRIPTION OF SYMBOLS 1 ... Multiple-person simultaneous face authentication apparatus, 1A ... CPU, 1B ... ROM, 1C ... RAM, 1D ... Storage device, 1E, 1E1,1E2 ... CCD camera, 1F ... Display device, 1G-1J ... Interface, 2 ... Control device 3 ... Entrance door, 4 ... Electric lock, 5 ... Real number detection unit, AR1 ... Predetermined area, 1-1 ... Imaging unit, 1-2 ... Face image extraction unit, 1-3 ... Storage unit, 1-4 ... face image matching unit, 1-5 ... first authentication unit, 1-6 ... second authentication unit, 1-7 ... memory, 1-9 ... first imaging unit, 1-10 ... second imaging unit, DESCRIPTION OF SYMBOLS 1-11 ... 3D image preparation part, 1-12 ... 3D face image extraction part, 1-13 ... Memory | storage part, 1-14 ... Face image collation part, 1-15 ... 1st authentication part, 1-16 ... 2nd authentication part, 1-17 ... Memory.

Claims (5)

複数人の入室希望者の顔画像を同時に撮像する撮像手段と、
この撮像手段によって撮像された画像からその画像に含まれる全員の顔画像を抽出する顔画像抽出手段と、
この顔画像抽出手段によって抽出された各顔画像を予め登録されている入室許可者の顔画像と照合する顔画像照合手段と、
前記顔画像抽出手段によって抽出された全ての顔画像について前記顔画像照合手段によって前記入室許可者の顔画像との一致が確認された場合に認証成功と判断する第1の認証手段と、
前記顔画像照合手段によって前記入室許可者の顔画像と一致する顔画像と一致しない顔画像とが混在することが確認された場合、少なくとも一致しない顔画像を記録したうえ、認証成功と判断する第2の認証手段と
を備えることを特徴とする複数人同時顔認証装置。
Imaging means for simultaneously capturing facial images of a plurality of people entering the room;
A face image extracting means for extracting all face images included in the image captured by the image capturing means;
Face image collating means for collating each face image extracted by the face image extracting means with a face image of a person allowed to enter the room,
First authentication means for determining that the authentication is successful when all face images extracted by the face image extracting means are confirmed by the face image matching means to match the face image of the person permitted to enter the room;
When it is confirmed by the face image matching means that a face image that matches the face image of the person permitted to enter the room and a face image that does not match are mixed, at least a face image that does not match is recorded and it is determined that authentication is successful. A multiple-person simultaneous face authentication device comprising: a second authentication unit.
複数人の入室希望者の顔画像を同時に撮像する撮像手段と、
この撮像手段によって撮像された画像からその画像に含まれる全員の顔画像を抽出する顔画像抽出手段と、
この顔画像抽出手段によって抽出された各顔画像を予め登録されている入室許可者の顔画像と照合する顔画像照合手段と、
前記顔画像抽出手段によって抽出された全ての顔画像について前記顔画像照合手段によって前記入室許可者の顔画像との一致が確認された場合に認証成功と判断する第1の認証手段と、
前記顔画像照合手段によって前記入室許可者の顔画像と一致する顔画像と一致しない顔画像とが混在することが確認され、その一致する顔画像が予め登録されている特定の人の顔画像であった場合、少なくとも一致しない顔画像を記録したうえ、認証成功と判断する第2の認証手段と
を備えることを特徴とする複数人同時顔認証装置。
Imaging means for simultaneously capturing facial images of a plurality of people entering the room;
A face image extracting means for extracting all face images included in the image captured by the image capturing means;
Face image collating means for collating each face image extracted by the face image extracting means with a face image of a person allowed to enter the room,
First authentication means for determining that the authentication is successful when all face images extracted by the face image extracting means are confirmed by the face image matching means to match the face image of the person permitted to enter the room;
The face image matching means confirms that a face image that matches the face image of the person permitted to enter the room is mixed with a face image that does not match, and the face image of a specific person in which the matching face image is registered in advance. And a second authentication unit that records at least a face image that does not match and then determines that the authentication is successful.
請求項1又は2に記載された複数人同時顔認証装置において、
前記撮像手段は、
前記複数人の入室希望者の顔画像を一方向から同時に撮像する第1撮像手段と、
この第1撮像手段とは別の方向から前記複数人の入室希望者の顔画像を同時に撮像する第2撮像手段とを備え、
前記顔画像抽出手段は、
前記第1撮像手段が撮像した画像と前記第2撮像手段が撮像した画像とから3次元の画像を作成する3次元画像作成手段と、
この3次元画像作成手段によって作成された3次元の画像からその画像に含まれる全ての3次元の顔画像を前記全員の顔画像として抽出する3次元顔画像抽出手段とを備える
ことを特徴とする複数人同時顔認証装置。
In the multiple-person simultaneous face authentication device according to claim 1 or 2,
The imaging means includes
First imaging means for simultaneously imaging the face images of the plurality of people who want to enter the room from one direction;
A second imaging unit that simultaneously captures the face images of the plurality of people who want to enter the room from a direction different from the first imaging unit;
The face image extraction means includes
3D image creation means for creating a 3D image from the image captured by the first imaging means and the image captured by the second imaging means;
3D face image extracting means for extracting all 3D face images included in the 3D image created by the 3D image creating means as the face images of all the members. Multiple person face recognition device.
請求項1〜3の何れか1項に記載された複数人同時顔認証装置と、
この複数人同時顔認証装置によって認証成功と判断された場合にのみ入室扉を解錠する制御装置と
を備えることを特徴とする入室管理システム。
The multiple-person simultaneous face authentication device according to any one of claims 1 to 3,
A room entrance management system comprising: a control device that unlocks the entrance door only when it is determined that the authentication is successful by the multiple face authentication device.
請求項4に記載された入室管理システムにおいて、
前記入室扉の前の所定のエリアに位置している入室希望者の実人数を検知する実人数検知手段を備え、
前記複数人同時顔認証装置は、
前記顔画像抽出手段によって抽出された全員の顔画像の数と前記実人数検知手段によって検知された入室希望者の実人数とが一致していない場合、認証不成功と判断する手段を備える
ことを特徴とする入室管理システム。
In the entrance management system according to claim 4,
Real number detection means for detecting the actual number of people who want to enter the room located in a predetermined area in front of the entrance door,
The multiple-person simultaneous face authentication device
A means for determining that the authentication is unsuccessful if the number of face images of all persons extracted by the face image extraction means and the actual number of people who want to enter the room detected by the real number detection means do not match; A special entrance management system.
JP2008038661A 2008-02-20 2008-02-20 Entrance management system Expired - Fee Related JP5001195B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008038661A JP5001195B2 (en) 2008-02-20 2008-02-20 Entrance management system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008038661A JP5001195B2 (en) 2008-02-20 2008-02-20 Entrance management system

Publications (2)

Publication Number Publication Date
JP2009199223A true JP2009199223A (en) 2009-09-03
JP5001195B2 JP5001195B2 (en) 2012-08-15

Family

ID=41142671

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008038661A Expired - Fee Related JP5001195B2 (en) 2008-02-20 2008-02-20 Entrance management system

Country Status (1)

Country Link
JP (1) JP5001195B2 (en)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009199217A (en) * 2008-02-20 2009-09-03 Yamatake Corp Simultaneous face authentication device for a plurality of persons and entrance control system
JP2013069155A (en) * 2011-09-22 2013-04-18 Sogo Keibi Hosho Co Ltd Face authentication database construction method, face authentication device, and face authentication program
JP2016018406A (en) * 2014-07-09 2016-02-01 ワム・システム・デザイン株式会社 Authentication apparatus, authentication method, and program
JP2018076767A (en) * 2017-11-09 2018-05-17 キヤノンマーケティングジャパン株式会社 Information processing unit, information processing method, and program
JPWO2017146161A1 (en) * 2016-02-26 2018-12-27 日本電気株式会社 Face matching system, face matching device, face matching method, and recording medium
CN109118616A (en) * 2018-07-09 2019-01-01 深圳市商汤科技有限公司 access control method and access control device
WO2021206014A1 (en) * 2020-04-07 2021-10-14 Nec Corporation Information processing apparatus, information processing method, and storage medium
JP2022123142A (en) * 2017-08-03 2022-08-23 日本電気株式会社 Information processing device, information processing method, and program
CN116563982A (en) * 2023-06-26 2023-08-08 武汉科益未来医学检验实验室有限公司 Laboratory access right control method and device based on electronic door lock

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006188853A (en) * 2005-01-05 2006-07-20 Omron Corp Security device
JP2007164670A (en) * 2005-12-16 2007-06-28 Yamatake Corp Three-dimensional pattern collation device
JP2009199217A (en) * 2008-02-20 2009-09-03 Yamatake Corp Simultaneous face authentication device for a plurality of persons and entrance control system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006188853A (en) * 2005-01-05 2006-07-20 Omron Corp Security device
JP2007164670A (en) * 2005-12-16 2007-06-28 Yamatake Corp Three-dimensional pattern collation device
JP2009199217A (en) * 2008-02-20 2009-09-03 Yamatake Corp Simultaneous face authentication device for a plurality of persons and entrance control system

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009199217A (en) * 2008-02-20 2009-09-03 Yamatake Corp Simultaneous face authentication device for a plurality of persons and entrance control system
JP2013069155A (en) * 2011-09-22 2013-04-18 Sogo Keibi Hosho Co Ltd Face authentication database construction method, face authentication device, and face authentication program
JP2016018406A (en) * 2014-07-09 2016-02-01 ワム・システム・デザイン株式会社 Authentication apparatus, authentication method, and program
JP2020119615A (en) * 2016-02-26 2020-08-06 日本電気株式会社 Face collation system, face collation device, face collation method, and recording medium
JPWO2017146161A1 (en) * 2016-02-26 2018-12-27 日本電気株式会社 Face matching system, face matching device, face matching method, and recording medium
US11960586B2 (en) 2016-02-26 2024-04-16 Nec Corporation Face recognition system, face matching apparatus, face recognition method, and storage medium
JP7359230B2 (en) 2016-02-26 2023-10-11 日本電気株式会社 Face matching system, face matching device, face matching method, and recording medium
JP2022040245A (en) * 2016-02-26 2022-03-10 日本電気株式会社 Face collation system, face collation device, face collation method, and recording medium
JP7409437B2 (en) 2017-08-03 2024-01-09 日本電気株式会社 Information processing device, information processing method, and program
JP2022123142A (en) * 2017-08-03 2022-08-23 日本電気株式会社 Information processing device, information processing method, and program
JP2018076767A (en) * 2017-11-09 2018-05-17 キヤノンマーケティングジャパン株式会社 Information processing unit, information processing method, and program
US11151819B2 (en) 2018-07-09 2021-10-19 Shenzhen Sensetime Technology Co., Ltd. Access control method, access control apparatus, system, and storage medium
KR102350507B1 (en) * 2018-07-09 2022-01-17 선전 센스타임 테크놀로지 컴퍼니 리미티드 Access control method, access control device, system and storage medium
JP2020530144A (en) * 2018-07-09 2020-10-15 シェンチェン センスタイム テクノロジー カンパニー リミテッドShenzhen Sensetime Technology Co.,Ltd Door access control method, door access control device, system and storage medium
KR20200006987A (en) * 2018-07-09 2020-01-21 선전 센스타임 테크놀로지 컴퍼니 리미티드 Access control method, access control device, system and storage medium
WO2020010776A1 (en) * 2018-07-09 2020-01-16 深圳市商汤科技有限公司 Access control method, access control device, system and storage medium
CN109118616A (en) * 2018-07-09 2019-01-01 深圳市商汤科技有限公司 access control method and access control device
WO2021206014A1 (en) * 2020-04-07 2021-10-14 Nec Corporation Information processing apparatus, information processing method, and storage medium
JP7338801B2 (en) 2020-04-07 2023-09-05 日本電気株式会社 Information processing device, information processing method, and storage medium
JP2023520575A (en) * 2020-04-07 2023-05-17 日本電気株式会社 Information processing device, information processing method, and storage medium
CN116563982A (en) * 2023-06-26 2023-08-08 武汉科益未来医学检验实验室有限公司 Laboratory access right control method and device based on electronic door lock

Also Published As

Publication number Publication date
JP5001195B2 (en) 2012-08-15

Similar Documents

Publication Publication Date Title
JP5001195B2 (en) Entrance management system
JP4751442B2 (en) Video surveillance system
JP4357521B2 (en) Unauthorized passing person detection device and unauthorized passing person recording system using the same
KR101079891B1 (en) Elevator security system
JP2005242775A (en) Gate system
CN105630277B (en) Unlocking screen method and tripper for terminal
EP2131321B1 (en) Imaging device, imaging method, and imaging program
KR100965428B1 (en) The system and operating method using two different positioned intelligent cameras for automatic verification of authenticated person&#39;s entrance
JP7054331B2 (en) Room occupancy monitoring system
JP2009265769A (en) Biometrics device and access control system
JP5314294B2 (en) Face recognition device
JP2006309491A (en) Biometrics system
JP5349080B2 (en) Admission management system, admission management device, and admission management method
KR102153880B1 (en) Entering and Leaving Management System by Face Certification at office and Method thereof
JP5001194B2 (en) Entrance management system
JP6381391B2 (en) Key management device
JP2007026205A (en) Device for managing room entry and exit
JP5955056B2 (en) Face image authentication device
JP5777310B2 (en) Image security system and authentication method
US20220101651A1 (en) System, device and method for authentication with use of information code
JP2006209585A (en) Crime prevention system
WO2021176593A1 (en) Stay management device, stay management method, non-transitory computer-readable medium in which program is stored, and stay management system
JP4812400B2 (en) Authentication apparatus and authentication method
JP5955057B2 (en) Face image authentication device
JP5584495B2 (en) Authority judgment system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100826

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120410

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120515

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120517

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150525

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees