JP2009258990A - Face authentication device and face authentication method - Google Patents
Face authentication device and face authentication method Download PDFInfo
- Publication number
- JP2009258990A JP2009258990A JP2008107200A JP2008107200A JP2009258990A JP 2009258990 A JP2009258990 A JP 2009258990A JP 2008107200 A JP2008107200 A JP 2008107200A JP 2008107200 A JP2008107200 A JP 2008107200A JP 2009258990 A JP2009258990 A JP 2009258990A
- Authority
- JP
- Japan
- Prior art keywords
- image
- target
- images
- registrant
- additional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/50—Maintenance of biometric data or enrolment thereof
Landscapes
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Collating Specific Patterns (AREA)
Abstract
Description
本発明は、顔認証装置及び顔認証方法に関するものである。 The present invention relates to a face authentication device and a face authentication method.
従来から、認証の対象者を撮像した画像から対象者の顔部分を抽出し、抽出された顔部分の画像（以下、「顔画像」と呼ぶ。）を、予め登録された登録者の顔画像（以下、「登録画像」と呼ぶ。）と比較することにより、認証を行う顔認証装置が提供されている（例えば、特許文献１参照）。 2. Description of the Related Art Conventionally, a face part of a target person is extracted from an image obtained by capturing the person to be authenticated, and the extracted face part image (hereinafter referred to as “face image”) is a face image of a registrant registered in advance. Compared with (hereinafter referred to as “registered image”), a face authentication device that performs authentication is provided (see, for example, Patent Document 1).
この種の顔認証装置は、例えば電気錠やパソコンと組み合わせて、対象者が登録者であると認証されたときのみ電気錠を開錠したりログインを許可するといったようなセキュリティー用途に使用される。 This type of face authentication device is used for security purposes such as unlocking an electric lock or permitting login only when the subject is authenticated as a registrant in combination with an electric lock or a personal computer. .
ここで、上記の顔認証装置が、上記の電気錠によって施錠される扉の前で顔認証を行うことを考えた場合、上記の扉の前の通路を右から来たとき、左から来たとき、正面から来たによって顔認証装置のカメラを見る顔の向きが変わる場合がある。また、登録画像を撮像する登録時に、顔認証装置のカメラの前で静止した状態の顔の向きは正対した、かしこまった顔になっている場合が多い。特に登録時は、顔認証装置に対して初めて触れる機会であり、装置に対する不慣れによって、顔がこわばっていることも十分に考えられる。しかし、顔認証装置に慣れてくると、顔の向きに関してルーズになって正対しなくなったりする。また、通路を歩いてくる方向によって上記のように顔向きが変わったり、さらに顔認証装置に慣れてくると、顔認証装置の反応時間（顔を検出してから扉が自動で開くまで、あるいは電気錠が開錠されるまで）に合わせて、顔認証装置のカメラの前で静止せずに歩く速度を緩めるだけで認証されることを望むようになり、顔の向きが登録時の正対とは大きく異なるようになる。 Here, when considering the face authentication in front of the door locked by the electric lock, the face authentication device came from the left when the passage in front of the door came from the right Sometimes, the direction of the face when looking at the camera of the face authentication device may change depending on whether it comes from the front. Further, at the time of registration for capturing a registered image, the orientation of the face that is stationary in front of the camera of the face authentication device is often a confronted face. Especially when registering, it is the first opportunity to touch the face authentication device, and it is quite possible that the face is stiff due to inexperience with the device. However, when getting used to the face authentication device, the face orientation becomes sloppy and may not face up. Also, if the face changes as described above depending on the direction of walking along the passage, or if you become more familiar with the face authentication device, the reaction time of the face authentication device (until the door automatically opens after detecting the face, or (Until the electric lock is unlocked), the user will want to be authenticated just by slowing the walking speed without standing still in front of the camera of the face authentication device. And will be very different.
上記のように、認証時の顔の向きや表情が登録画像とは異なってしまうと、本人拒否率が高くなってしまう。 As described above, if the face orientation and facial expression at the time of authentication differ from the registered image, the person rejection rate will increase.
そこで、登録時に得られた登録画像以外に、実際の運用中に認証が成功したとき（つまり、認証の対象者が登録者であると判定されたとき）、認証中に撮像された顔画像を、次回以降の認証に用いる登録画像として追加登録する更新動作を行うことが提案されている。この構成を採用すれば、上記のような顔の向きや表情の変化に対応した登録画像が追加登録されることにより、当初の登録画像に一致しなくとも上記追加登録された登録画像に一致すれば登録者と判断されることになるから、本人拒否率（すなわち、対象者が登録者であるにも関わらず誤って登録者ではないと判断されてしまう確率）が低下する。
しかし、更新動作で得られた登録画像で認証に成功した後、さらに更新動作を行うといったことが繰り返されると、別人の顔画像が登録画像として誤って保持されてしまうリスクが徐々に高くなってしまう。 However, if authentication is successful with the registered image obtained by the update operation and then the update operation is repeated, the risk that another person's face image will be erroneously held as a registered image will gradually increase. End up.
本発明は、上記事由に鑑みて為されたものであり、その目的は、認証中に撮像された顔画像を以後の認証で登録者の顔画像として使用することで本人拒否率を低下させながらも、別人の顔画像が登録者の顔画像として保持されるリスクが低減される顔認証装置及び顔認証方法を提供することにある。 The present invention has been made in view of the above reasons, and its purpose is to use a face image captured during authentication as a registrant's face image in subsequent authentication while reducing the rejection rate of the person. Another object of the present invention is to provide a face authentication device and a face authentication method in which the risk of holding another person's face image as a registrant's face image is reduced.
請求項１の発明は、対象者を撮像する撮像部と、登録者毎に、それぞれ顔を撮像した少なくとも１枚ずつの登録画像が、登録者に一対一に対応する識別情報に対応付けて格納された記憶部と、対象者により識別情報が入力される入力部と、入力部に識別情報が入力されたとき、撮像部によって撮像された対象者が登録者であるか否かを判定する認証動作を開始する制御部とを備え、制御部は、認証動作において、対象者を撮像した画像から顔部分を抽出した対象画像を１枚ずつ撮像部から得て、該認証動作の開始時に入力部に入力された識別情報に対応付けられた登録画像のうち少なくとも一部である各対象登録画像のそれぞれと比較して一致するか否かを判定し、いずれかの登録画像が対象画像に一致すると判定されたときに対象者が登録者であると判定する一方、所定の制限枚数の対象画像を用いても対象者が登録者であるとの判定が得られなかったときに対象者を登録者ではないと判定するものであって、登録画像は、識別情報毎に、登録者の登録時に撮像された１枚の基準画像と、認証動作の終了時に追加されることがある追加画像とからなり、追加画像はさらに複数の分類枠に分類されていて、制御部は、認証動作中、各対象画像についてそれぞれ属する分類枠を判定し、対象登録画像としては、該認証動作の開始時に入力部に入力された識別情報に対応付けられた登録画像のうち、少なくとも対象画像と同じ分類枠に属する各追加画像と基準画像とを用い、認証動作中に用いられた対象画像のうち所定の条件を満たしたものを候補画像として認証動作の終了時まで記憶部に保持させるとともに、認証動作の終了時、対象画像に一致すると判定された登録画像が基準画像のみであったときには候補画像のうち少なくとも１枚をそれぞれ上記識別情報に対応付けられ且つ上記分類枠に分類された追加画像として追加するように追加画像を更新する更新動作を行い、いずれかの追加画像が対象画像に一致すると判定されていたとき及び対象者が登録者であると判定されなかったときには更新動作を行なわずに各候補画像をそれぞれ破棄することを特徴とする。 According to the first aspect of the present invention, an image pickup unit that picks up the target person and at least one registered image obtained by picking up a face for each registrant are stored in association with identification information corresponding to the registrant on a one-to-one basis. Authentication unit for determining whether or not the subject imaged by the imaging unit is a registrant when the identification information is input to the input unit. A control unit that starts an operation, and the control unit obtains a target image obtained by extracting a face part from an image obtained by capturing a target person one by one from the imaging unit in the authentication operation, and inputs the input unit at the start of the authentication operation It is determined whether or not it matches with each of the target registered images that are at least a part of the registered images associated with the identification information inputted in the identification information, and if any registered image matches the target image Target person registered when judged On the other hand, when it is determined that the target person is not a registrant even if a predetermined limited number of target images are used, the target person is determined not to be a registrant. The registered image includes, for each identification information, one reference image captured at the time of registration of the registrant and an additional image that may be added at the end of the authentication operation. The additional image is further divided into a plurality of classification frames. In the authentication operation, the control unit determines the classification frame to which each target image belongs, and the target registration image is associated with the identification information input to the input unit at the start of the authentication operation. Of the registered images, at least each additional image belonging to the same classification frame as the target image and the reference image are used, and the target image used during the authentication operation satisfies the predetermined condition, and the authentication operation ends. Remember until time And at the end of the authentication operation, if the registered image determined to match the target image is only the reference image, at least one of the candidate images is associated with the identification information and is included in the classification frame. When an update operation is performed to update an additional image so as to be added as a classified additional image, and when it is determined that any additional image matches the target image, or when the target person is not determined to be a registrant Each candidate image is discarded without performing an update operation.
この発明によれば、認証中に撮像された顔画像であって登録者の顔の向きや表情の変化を反映した顔画像である顔画像を、追加画像として登録画像に加えて以後の認証で使用することで、登録者の顔の向きや表情の変化に対応し、本人拒否率を低下させることができる。また、確実に登録者本人の顔画像である基準画像によって対象者が登録者であるとの判定が得られないときには追加画像が更新されないことになるから、対象者が登録者であるとの判定が追加画像でしか得られないときにも追加画像が更新される場合に比べ、別人の顔画像が登録画像（追加画像）とされてしまうリスクが低減される。 According to the present invention, a face image captured during authentication, which is a face image reflecting a change in the orientation and expression of the registrant's face, is added to the registered image as an additional image for subsequent authentication. By using it, it is possible to cope with changes in the orientation and facial expression of the registrant, and to reduce the rejection rate. In addition, when the reference image, which is the face image of the registrant himself, cannot be determined that the subject is a registrant, the additional image will not be updated, so the judgment that the subject is a registrant Even when the additional image is obtained only when the additional image is obtained, the risk that another person's face image is set as a registered image (additional image) is reduced as compared with the case where the additional image is updated.
請求項２の発明は、請求項１の発明において、制御部は、互いに共通の識別情報に対応付けられ且つ互いに共通の分類枠に分類される追加画像間に優先順位を設定するものであって、追加された更新動作、又は、対象画像に一致すると判定された認証動作として、より新しいものを有する追加画像ほど優先順位は高くされ、更新動作においては、制御部は、分類枠毎に、既に保持されている追加画像との枚数と追加されるべき候補画像の枚数との合計を所定の上限数と比較し、上記合計が上限数以下であれば追加されるべき各候補画像をそれぞれ追加画像として追加し、上記合計が上限数を上回る場合、既に保持されている追加画像を、優先順位が低い追加画像から順に、上記合計が上限数以下となるまで削除した後に、追加されるべき各候補画像をそれぞれ追加画像として追加することを特徴とする。 According to a second aspect of the present invention, in the first aspect of the invention, the control unit sets a priority order between the additional images that are associated with the common identification information and classified into the common classification frame. As an added update operation or an authentication operation determined to match the target image, an additional image having a newer one has a higher priority, and in the update operation, the control unit has already set for each classification frame. The total of the number of held additional images and the number of candidate images to be added is compared with a predetermined upper limit number. If the total is equal to or less than the upper limit number, each candidate image to be added is an additional image. If the above total exceeds the upper limit number, the additional images already held are deleted in order from the lower priority priority additional images until the total is equal to or lower than the upper limit number. Characterized by adding images as respective additional images.
この発明によれば、古い追加画像や、認証に寄与していない追加画像から削除され、新しく追加された追加画像や最近に認証に寄与した追加画像が残ることになるから、認証にかかる時間が比較的に短くなる。 According to the present invention, the old additional image or the additional image that has not contributed to the authentication is deleted, and the newly added additional image or the additional image that has recently contributed to the authentication remains. Relatively short.
請求項３の発明は、請求項１又は請求項２の発明において、制御部は、互いに共通の識別情報に対応付けられ且つ互いに共通の分類枠に分類される追加画像間に優先順位を設定するものであって、追加画像として追加された更新動作、又は、対象画像に一致すると判定された認証動作として、より新しいものを有する追加画像ほど優先順位は高くされ、認証動作においては、制御部は、優先順位が高い追加画像ほど先に対象画像と比較することを特徴とする。 According to a third aspect of the present invention, in the first or second aspect of the present invention, the control unit sets priority between additional images that are associated with common identification information and classified into a common classification frame. As an update operation added as an additional image or an authentication operation determined to match the target image, an additional image having a newer one has a higher priority, and in the authentication operation, the control unit The additional image having a higher priority is compared with the target image first.
この発明によれば、新しく追加された追加画像や最近に認証に寄与した追加画像ほど先に認証に用いられることになるから、認証にかかる時間が比較的に短くなる。 According to the present invention, since a newly added additional image or an additional image that has recently contributed to authentication is used for authentication earlier, the time required for authentication becomes relatively short.
請求項４の発明は、請求項１〜３のいずれかの発明において、分類枠は顔の向きによって分類されることを特徴とする。 According to a fourth aspect of the invention, in any one of the first to third aspects of the invention, the classification frame is classified according to the orientation of the face.
この発明によれば、顔の正面を撮像部の方に向けなくとも認証が可能となる。 According to the present invention, authentication can be performed without facing the front of the face toward the imaging unit.
請求項５の発明は、請求項１〜４のいずれかの発明において、分類枠は眼鏡の有無と前髪の有無との少なくとも一方によって分類されることを特徴とする。 The invention of claim 5 is characterized in that, in the invention of any one of claims 1 to 4, the classification frame is classified by at least one of presence / absence of glasses and presence / absence of bangs.
この発明によれば、眼鏡の有無や前髪の有無の状態が異なっていても認証が可能となる。 According to the present invention, authentication is possible even if the presence or absence of glasses or the presence or absence of bangs is different.
請求項６の発明は、対象者を撮像する撮像部と、登録者毎に、それぞれ顔を撮像した少なくとも１枚ずつの登録画像が、登録者に一対一に対応する識別情報に対応付けて格納された記憶部と、対象者により識別情報が入力される入力部とを用い、入力部に識別情報を入力して撮像部によって撮像された対象者が登録者であるか否かを判定する顔認証方法であって、対象者を撮像した画像から顔部分を抽出した対象画像を１枚ずつ撮像部から得て、該認証動作の開始時に入力部に入力された識別情報に対応付けられた登録画像のうち少なくとも一部である各対象登録画像のそれぞれと比較して一致するか否かを判定し、いずれかの登録画像が対象画像に一致すると判定されたときに対象者が登録者であると判定する一方、所定の制限枚数の対象画像を用いても対象者が登録者であるとの判定が得られなかったときに対象者を登録者ではないと判定する認証動作を含み、登録画像は、識別情報毎に、登録者の登録時に撮像された１枚の基準画像と、認証動作の終了時に追加される可能性がある追加画像とからなり、追加画像はさらに複数の分類枠に分類されていて、認証動作中、各対象画像についてそれぞれ属する分類枠を判定し、対象登録画像としては、該認証動作の開始時に入力部に入力された識別情報に対応付けられた登録画像のうち、少なくとも対象画像と同じ分類枠に属する各追加画像と基準画像とを用い、認証動作中に用いられた対象画像のうち所定の条件を満たしたものを候補画像として認証動作の終了時まで記憶部に保持させるとともに、認証動作の終了時、対象画像に一致すると判定された登録画像が基準画像のみであったときには候補画像のうち少なくとも１枚をそれぞれ上記識別情報に対応付けられ且つ上記分類枠に分類された追加画像として追加するように追加画像を更新する更新動作を行い、いずれかの追加画像が対象画像に一致すると判定されていたとき及び対象者が登録者であると判定されなかったときには更新動作を行なわずに各候補画像をそれぞれ破棄することを特徴とする。 The invention according to claim 6 stores an image pickup unit for picking up the target person and at least one registered image picked up for each registrant in association with identification information corresponding to the registrant on a one-to-one basis. Using the stored storage unit and an input unit to which identification information is input by the subject, and determining whether the target person imaged by the imaging unit by inputting the identification information to the input unit is a registrant An authentication method, in which a target image obtained by extracting a face part from an image of a target person is obtained from an imaging unit one by one and registered in correspondence with identification information input to an input unit at the start of the authentication operation It is determined whether or not they match each of the target registered images that are at least a part of the image, and the target person is a registrant when it is determined that any registered image matches the target image On the other hand, the target of the predetermined limit number Including an authentication operation that determines that the subject is not a registrant when it is not possible to determine that the subject is a registrant even if the image is used. It consists of a single reference image that is sometimes captured and an additional image that may be added at the end of the authentication operation, and the additional images are further classified into a plurality of classification frames. The classification frame belonging to each of the images is determined, and as the target registration image, each additional image belonging to at least the same classification frame as the target image is registered among the registration images associated with the identification information input to the input unit at the start of the authentication operation. Using the image and the reference image, the target image used during the authentication operation that satisfies the predetermined condition is stored as a candidate image in the storage unit until the end of the authentication operation, and at the end of the authentication operation, the target image image When the registered image determined to match is only the reference image, the additional image is updated so that at least one of the candidate images is added as an additional image associated with the identification information and classified in the classification frame. If any additional image is determined to match the target image or if the target person is not determined to be a registrant, each candidate image is discarded without performing the update operation. It is characterized by.
この発明によれば、対象者が登録者であるとの判定が基準画像によって得られないときには追加画像が更新されないことになるから、対象者が登録者であるとの判定が追加画像でしか得られないときにも追加画像が更新される場合に比べ、別人の顔画像が登録画像（追加画像）とされてしまうリスクが低減される。 According to the present invention, since the additional image is not updated when the determination that the subject is a registrant cannot be obtained from the reference image, the determination that the subject is a registrant can be obtained only with the additional image. Even when the additional image is not updated, the risk that another person's face image is set as a registered image (additional image) is reduced.
請求項１及び請求項６の発明によれば、それぞれ、認証中に撮像された顔画像であって登録者の顔の向きや表情の変化を反映した顔画像である顔画像を、追加画像として登録画像に加えて以後の認証で使用することで、登録者の顔の向きや表情の変化に対応し、本人拒否率を低下させることができる。また、確実に登録者本人の顔画像である基準画像によって対象者が登録者であるとの判定が得られないときには追加画像が更新されないことになるから、対象者が登録者であるとの判定が追加画像でしか得られないときにも追加画像が更新される場合に比べ、別人の顔画像が登録画像（追加画像）とされてしまうリスクが低減される。 According to the first and sixth aspects of the present invention, each of the face images captured during the authentication and reflecting the change in the orientation and expression of the registrant's face is used as the additional image. By using it in subsequent authentication in addition to the registered image, it is possible to cope with changes in the face direction and facial expression of the registrant and to reduce the rejection rate. In addition, when the reference image, which is the face image of the registrant himself, cannot be determined that the subject is a registrant, the additional image will not be updated, so the judgment that the subject is a registrant Even when the additional image is obtained only when the additional image is obtained, the risk that another person's face image is set as a registered image (additional image) is reduced as compared with the case where the additional image is updated.
請求項２の発明によれば、古い追加画像や、認証に寄与していない追加画像から削除され、新しく追加された追加画像や最近に認証に寄与した追加画像が残ることになるから、認証にかかる時間が比較的に短くなる。 According to the second aspect of the present invention, an old additional image or an additional image that has not contributed to the authentication is deleted, and a newly added additional image or an additional image that has recently contributed to the authentication remains. This time is relatively short.
請求項３の発明によれば、新しく追加された追加画像や最近に認証に寄与した追加画像ほど先に認証に用いられることになるから、認証にかかる時間が比較的に短くなる。 According to the third aspect of the present invention, a newly added additional image or an additional image that has recently contributed to authentication is used earlier for authentication, and therefore the time required for authentication becomes relatively short.
請求項４の発明によれば、分類枠は顔の向きによって分類されるので、顔の正面を撮像部の方に向けなくとも認証が可能となる。 According to the invention of claim 4, since the classification frame is classified according to the orientation of the face, authentication can be performed without directing the front of the face toward the imaging unit.
請求項５の発明によれば、分類枠は眼鏡の有無と前髪の有無との少なくとも一方によって分類されるので、眼鏡の有無や前髪の有無の状態が異なっていても認証が可能となる。 According to the invention of claim 5, since the classification frame is classified by at least one of the presence / absence of spectacles and the presence / absence of bangs, authentication is possible even if the presence / absence of spectacles or the presence / absence of bangs is different.
以下、本発明を実施するための最良の形態について、図面を参照しながら説明する。 The best mode for carrying out the present invention will be described below with reference to the drawings.
本実施形態の顔認証装置Ａは、例えば図２に示すような集合住宅用セキュリティシステムで用いられる。この集合住宅用セキュリティシステムは、マンションなどの集合住宅に設置されるものであって、顔認証装置Ａの他に、ロビーインターホンＢ、警報監視盤Ｃ、電気錠制御装置Ｄ、エレベータ制御盤Ｅ、宅配ボックス制御盤Ｆ、システム制御盤Ｇ、各住戸に設置される住宅情報盤（図示せず）などで構成されている。 The face authentication apparatus A of the present embodiment is used in an apartment housing security system as shown in FIG. 2, for example. This apartment house security system is installed in an apartment house such as a condominium. In addition to the face authentication device A, the lobby intercom B, the alarm monitoring panel C, the electric lock control device D, the elevator control panel E, It includes a delivery box control panel F, a system control panel G, and a housing information panel (not shown) installed in each dwelling unit.
ロビーインターホンＢは、来訪者を撮像するカメラ、警報監視盤Ｃや住宅情報盤との間で通話するための通話装置、来訪者が訪問先の住戸の住戸番号などを入力するためのテンキーなどを備え、集合住宅の共同玄関Ｊの外に設置されている。来訪者がロビーインターホンＢのテンキーを操作して訪問先の住戸の住戸番号を入力すると、当該住戸番号の住戸に設置されている住宅情報盤に対し、ロビーインターホンＢから警報監視盤Ｃを経由して、呼出信号並びにロビーインターホンＢのカメラで撮像された訪問者の映像が伝送される。そして、呼出信号を受け取った住宅情報盤においては、ロビーインターホンＢから受け取る映像をディスプレイに表示するとともにスピーカから呼出音を鳴動させる。当該住戸の住人が住宅情報盤の応答釦を押操作すれば、住宅情報盤とロビーインターホンＢとの間に通話路が形成され、来訪者と住人とがそれぞれロビーインターホンＢ及び住宅情報盤を用いて通話することができる。尚、この種のロビーインターホンＢ、警報監視盤Ｃ、住宅情報盤については従来周知であるから詳細な構成についての図示並びに説明は省略する。 The lobby intercom B is equipped with a camera for imaging visitors, a telephone device for making calls with the alarm monitoring panel C and the housing information panel, and a numeric keypad for the visitors to enter the dwelling unit number of the visited unit. It is installed outside the common entrance J of the apartment house. When a visitor operates the numeric keypad of the lobby intercom B and inputs the dwelling unit number of the visited residence unit, the lobby intercom B passes through the alarm monitoring panel C to the housing information panel installed in the dwelling unit of that dwelling unit number. Thus, a call signal and a visitor image captured by the camera of the lobby intercom B are transmitted. And in the house information board which received the calling signal, the image received from the lobby intercom B is displayed on the display and the calling sound is emitted from the speaker. When the resident of the dwelling unit presses the response button on the housing information board, a communication path is formed between the housing information board and the lobby intercom B, and the visitor and the resident use the lobby intercom B and the housing information board, respectively. You can make a call. Since this type of lobby interphone B, alarm monitoring panel C, and house information panel are well known in the art, detailed illustration and description thereof will be omitted.
電気錠制御盤Ｄは、共同玄関Ｊに設けられた電気錠（図示せず）の施錠・解錠を制御する。エレベータ制御盤Ｅは、集合住宅に設置されているエレベータ（図示せず）の運転を制御する。宅配ボックス制御盤Ｆは、集合住宅に設置されている宅配ボックスの施錠・解錠などを制御する。システム制御盤Ｇは、住宅情報盤から伝送される制御指令や顔認証装置Ａの認証結果に応じて、電気錠制御盤Ｄに電気錠を解錠させたり、エレベータ制御盤Ｅにエレベータを運転させたり、宅配ボックス制御盤Ｆに宅配ボックスを解錠させるといったことを行わせるものである。すなわち、顔認証装置Ａでは、各登録者（すなわち各住戸の住人）にそれぞれ割り当てられている識別情報が入力されると、識別情報を入力した者Ｍ（図３参照。以下、「対象者」と呼ぶ。）に対し、入力された識別情報に対応する顔画像を用いた顔認証を行い、認証できれば（つまり対象者Ｍが登録者であると判定すれば）システム制御盤Ｇに認証可の情報を伝送する。そしてシステム制御盤Ｇは、顔認証装置Ａから認証可の情報を受け取ると電気錠制御盤Ｄに電気錠を解錠させたり、エレベータ制御盤Ｅにエレベータを運転させたり、宅配ボックス制御盤Ｆに宅配ボックスを解錠させる。一方、顔認証装置Ａによる認証が不可であった場合（つまり対象者Ｍが登録者ではないと顔認証装置Ａによって判定された場合）、システム制御盤Ｇでは、顔認証装置Ａから認証不可の情報を受け取ると電気錠制御盤Ｄに電気錠を解錠させず、エレベータ制御盤Ｅにエレベータの運転を行わせず、且つ宅配ボックス制御盤Ｆに宅配ボックスを解錠させない。尚、電気錠制御装置Ｄ、エレベータ制御盤Ｅ、宅配ボックス制御盤Ｆは従来周知のものであるから、詳細な構成の図示並びに説明は省略する。 The electric lock control panel D controls locking / unlocking of an electric lock (not shown) provided at the common entrance J. The elevator control panel E controls the operation of an elevator (not shown) installed in the apartment house. The delivery box control panel F controls locking / unlocking of delivery boxes installed in the apartment house. The system control panel G causes the electric lock control panel D to unlock the electric lock or causes the elevator control panel E to operate the elevator according to the control command transmitted from the house information panel and the authentication result of the face authentication device A. Or let the delivery box control panel F unlock the delivery box. That is, in the face authentication apparatus A, when the identification information assigned to each registrant (that is, the resident of each dwelling unit) is input, the person M who input the identification information (see FIG. 3, “subject” hereinafter). If the face authentication is performed using the face image corresponding to the input identification information and authentication is possible (that is, if the target person M is determined to be a registrant), the system control panel G can be authenticated. Transmit information. When the system control panel G receives the authentication enable information from the face authentication device A, the system control panel G causes the electric lock control panel D to unlock the electric lock, causes the elevator control panel E to operate the elevator, or causes the delivery box control panel F to Unlock the delivery box. On the other hand, when authentication by the face authentication apparatus A is impossible (that is, when the face authentication apparatus A determines that the subject M is not a registrant), the system control panel G cannot authenticate the face authentication apparatus A. When the information is received, the electric lock control panel D is not unlocked, the elevator control panel E is not operated, and the delivery box control panel F is not unlocked. Since the electric lock control device D, the elevator control panel E, and the delivery box control panel F are well known in the art, detailed illustration and description thereof are omitted.
本実施形態の顔認証装置Ａは、図１に示すように、認証の対象者Ｍを撮像する撮像部１と、登録者毎に、それぞれ顔を撮像した少なくとも１枚ずつの登録画像が、登録者に一対一に対応する識別情報に対応付けて格納された記憶部２と、撮像部１に撮像された画像と記憶部２に格納された画像とを比較することにより対象者が登録者か否かを判定する認証動作を行う制御部３とを備える。 As shown in FIG. 1, the face authentication apparatus A according to this embodiment includes an imaging unit 1 that captures an authentication target person M, and at least one registered image that captures a face for each registrant. Whether the target person is a registrant by comparing the storage unit 2 stored in association with identification information corresponding one-to-one with the person and the image captured by the imaging unit 1 and the image stored in the storage unit 2 And a control unit 3 that performs an authentication operation for determining whether or not.
撮像部１は、例えばＣＣＤ（Charge Coupled Device）のような周知の撮像素子を用い、デジタルデータで表現された画像を生成するカメラである。顔認証装置Ａの上記構成のうち少なくとも撮像部１は、図３に示すように、認証による制御の対象である電気錠が設けられた共同玄関Ｊに近接配置される。 The imaging unit 1 is a camera that uses a known imaging device such as a CCD (Charge Coupled Device) to generate an image expressed by digital data. As shown in FIG. 3, at least the imaging unit 1 in the above configuration of the face authentication apparatus A is disposed in proximity to the common entrance J provided with an electric lock that is an object of control by authentication.
また、本実施形態は、登録者に一対一に対応付けられる識別情報（ＩＤ）が入力される入力部としてのＩＤ入力部４を備え、制御部３は、登録された識別情報（すなわち、対応付けられた登録画像が記憶部２に格納されている識別情報）がＩＤ入力部４に入力されたときに認証動作を開始する。ＩＤ入力部４は、例えば識別情報が記録された磁気帯やＩＣチップを有するカードから識別情報を読み取るカードリーダーや、識別情報としてのＩＤ番号を入力する操作入力を受け付けるテンキー装置やタッチパネル等で構成することができる。ＩＤ入力部４は、ＩＤ入力部４に識別情報を入力する対象者Ｍが撮像部１によって撮像されるような位置に配置される。 In addition, the present embodiment includes an ID input unit 4 as an input unit for inputting identification information (ID) associated with a registrant on a one-to-one basis, and the control unit 3 includes registered identification information (that is, corresponding information). The authentication operation is started when the ID input unit 4 (identification information in which the attached registered image is stored in the storage unit 2) is input. The ID input unit 4 is composed of, for example, a card reader that reads identification information from a card having a magnetic band in which identification information is recorded or an IC chip, a numeric keypad device that accepts an operation input for inputting an ID number as identification information, a touch panel, and the like. can do. The ID input unit 4 is arranged at a position such that the subject M who inputs identification information to the ID input unit 4 is imaged by the imaging unit 1.
さらに、本実施形態は、制御部３によって制御されて各種の報知を行う報知部５を備える。報知部５には、例えばスピーカを有して音声により報知を行うものや、液晶パネルを有してテキストにより報知を行うものを用いることができる。さらに報知部は、登録者と判断したか否かの判断結果を信号として外部に出力する部分を兼ねることがあり、出力信号が最終的には電気錠などに伝わって電気錠の制御を行う。 Furthermore, this embodiment is provided with the alerting | reporting part 5 which is controlled by the control part 3 and performs various alerting | reporting. As the notification unit 5, for example, a unit that has a speaker and performs notification by voice, or a unit that has a liquid crystal panel and performs notification by text can be used. Further, the notification unit may also serve as a part that outputs a determination result of whether or not it is determined to be a registrant to the outside as a signal, and the output signal is finally transmitted to the electric lock or the like to control the electric lock.
記憶部２において、登録画像は識別情報毎に、登録者の登録時に撮像された１枚の基準画像と、後述する認証動作の終了時に追加されることがある追加画像とから構成される。つまり、登録された後に認証動作が行なわれていない登録者に関しては登録画像は基準画像１枚だけとなる。基準画像を撮影する時は、被験者にとって顔認証装置に触れる最初の時であり、不慣れなために顔向き・立ち位置や表情が特異になるから、基準画像による認証は、実運用中に得られた自然な顔画像である追加画像による認証に比べ、時間がかかったり失敗したりする可能性が高くなる。一方、追加画像は確率は極めて小さいものの他人が登録されてしまう可能性があるのに対し、基準画像は確実に登録者本人が撮像されたものとなる。 In the storage unit 2, the registered image includes, for each identification information, one reference image captured at the time of registration of the registrant and an additional image that may be added at the end of the authentication operation described later. In other words, for a registrant who has not been authenticated after registration, only one reference image is registered. When the reference image is taken, it is the first time for the subject to touch the face authentication device, and because it is unfamiliar, the face orientation, standing position, and facial expression are unique, so authentication using the reference image can be obtained during actual operation. Compared with the authentication using an additional image that is a natural face image, there is a higher possibility of taking time or failure. On the other hand, while the additional image has a very low probability and other people may be registered, the reference image is surely captured by the registrant himself.
また、追加画像はさらに図４に示すように複数の分類枠に分類されている。具体的には例えば、各追加画像は、それぞれ所属する分類枠を示す情報に関連付けて記憶部２に格納され、又は、所属する分類枠毎に記憶部２の異なる領域に格納される。分類枠は、顔の向き、眼鏡の有無、前髪の有無、あるいはそれらのうち複数の組み合わせによって分類されている。例えば、顔の向きで分類する場合、図５に示すように正面ＧＦ、左向きＧＬ、右向きＧＲの３通りに分類する。さらに眼鏡の有無と前髪の有無とによっても分類した場合、分類枠の総数は３×２×２の１２個となる。分類枠を顔の向きによって分類した場合には、顔の向きが異なる追加画像がそれぞれ異なる分類枠で保持されることになるから、顔の正面を撮像部の方に向けなくとも認証が可能となる。また、分類枠を眼鏡の有無や前髪の有無によって分類した場合には、眼鏡の有無や前髪の有無の状態が異なる追加画像がそれぞれ異なる分類枠で保持されることになるから、眼鏡の有無や前髪の有無の状態が異なっていても認証が可能となる。 Further, the additional image is further classified into a plurality of classification frames as shown in FIG. Specifically, for example, each additional image is stored in the storage unit 2 in association with information indicating the classification frame to which it belongs, or is stored in a different area of the storage unit 2 for each classification frame to which it belongs. The classification frames are classified according to the orientation of the face, the presence / absence of glasses, the presence / absence of bangs, or a plurality of combinations thereof. For example, when classifying according to the orientation of the face, as shown in FIG. 5, the classification is made into three types: front GF, leftward GL, and rightward GR. Further, when classification is performed based on the presence or absence of glasses and the presence or absence of bangs, the total number of classification frames is 12 (3 × 2 × 2). If the classification frame is classified according to the orientation of the face, additional images with different face orientations are held in different classification frames, so that authentication can be performed without facing the front of the face toward the imaging unit. Become. In addition, when the classification frame is classified according to the presence or absence of glasses or the presence or absence of bangs, additional images with different states of presence or absence of glasses or presence or absence of bangs are held in different classification frames. Authentication is possible even if the presence or absence of bangs is different.
次に、制御部３の認証動作について、図６〜図８を用いて詳しく説明する。 Next, the authentication operation of the control unit 3 will be described in detail with reference to FIGS.
制御部３は、ＩＤ入力部４に識別情報が入力されて認証動作を開始すると（ステップＳ１）、まず認証動作に用いられるパラメータである比較回数Ｎｃと周回数Ｎｒとをそれぞれ初期値である０に戻す（ステップＳ２）。次に、制御部３は、撮像部１によって撮像された画像から、対象者Ｍの顔の領域を含み認証動作に用いられる対象画像を抽出するとともに、該対象画像がいずれの分類枠に属するかを判定する（ステップＳ３）。ここで、記憶部２には、対象者Ｍの顔の領域を含み判定動作に用いられる対象画像の領域の決定に用いられる平均顔画像が格納されており、ステップＳ３において、制御部３は、撮像部１が出力した画像から、平均顔画像との相関値が所定の顔判定閾値以上となるような領域（すなわち頭部を含むと判断される領域）を対象画像として抽出する。対象画像の抽出（切出し）時には、登録画像に合わせて角度変換（回転）や倍率変換（拡大又は縮小）といった周知の変換が適宜施されるようにしてもよい。 When the identification information is input to the ID input unit 4 and the authentication operation is started (step S1), the control unit 3 first sets the comparison number Nc and the lap number Nr, which are parameters used for the authentication operation, to initial values 0. (Step S2). Next, the control unit 3 extracts the target image used for the authentication operation including the face area of the target person M from the image captured by the imaging unit 1, and to which classification frame the target image belongs. Is determined (step S3). Here, the storage unit 2 stores an average face image used for determining a region of the target image that includes the region of the face of the subject M and is used for the determination operation. In step S3, the control unit 3 A region in which the correlation value with the average face image is equal to or greater than a predetermined face determination threshold (that is, a region that is determined to include the head) is extracted from the image output by the imaging unit 1 as a target image. When extracting (cutting out) the target image, known conversion such as angle conversion (rotation) or magnification conversion (enlargement or reduction) may be appropriately performed in accordance with the registered image.
なお、ステップＳ３において対象画像が属する分類枠を選択する方法としては、例えば周知技術により分類枠としての顔の向きや顔への装着物への有無や前髪の有無を対象画像において検出し検出結果に応じた分類枠を選択するという方法が考えられる。顔の向きを検出する方法としては、例えば、対象画像の対象性に基いて図７に示すように顔の中心線ＣＬを検出し、顔の中心線の位置に基いて顔の向きを検出するという方法がある。また、顔への装着物としての眼鏡の有無を検出する方法としては、例えば、眼鏡の反射による輝点を検出するという方法がある。さらに、前髪の有無を検出する方法としては、本発明者が特願２００７−０１７０８７で提案したように、前髪が存在しうる所定の上下位置（例えば目の上）での左右方向での画素値の分布に近似した２次曲線を、前髪が存在しない顔画像から同様にして得られた２次曲線と比較し、これらの２次曲線間のずれ量が一定以上であったときに前髪が有ると判定し、前記ずれ量が一定未満であったときに前髪が無いと判定するという方法がある。 In addition, as a method for selecting the classification frame to which the target image belongs in step S3, for example, by using a well-known technique, the orientation of the face as a classification frame, the presence / absence of an attachment on the face, and the presence / absence of bangs are detected in the target image and detected A method of selecting a classification frame according to the above can be considered. As a method for detecting the orientation of the face, for example, the face center line CL is detected based on the target property of the target image as shown in FIG. 7, and the face orientation is detected based on the position of the face center line. There is a method. In addition, as a method for detecting the presence or absence of glasses as an attachment to the face, for example, there is a method of detecting a bright spot due to reflection of glasses. Further, as a method for detecting the presence or absence of bangs, as proposed by the present inventor in Japanese Patent Application No. 2007-017087, pixel values in the left-right direction at a predetermined vertical position (for example, above the eyes) where the bangs can exist. A quadratic curve that approximates the distribution of the curve is compared with a quadratic curve obtained in the same manner from a face image in which no bangs exist, and there is bangs when the amount of deviation between these quadratic curves is greater than or equal to a certain value. There is a method of determining that there is no bangs when the deviation amount is less than a certain value.
また、ステップＳ３において、上記識別情報に対応付けられた追加画像が存在する場合、制御部３は、いずれの分類枠の追加画像を対象画像と比較するかを決定する。使用する追加画像の分類枠（以下、「対象分類枠」と呼ぶ。）としては、対象画像が属すると判定された１個の分類枠をそのまま対象分類枠としてもよいし、例えば分類枠が顔の向きに応じたものであって対象画像の顔の向きが２個の分類枠の中間付近であった場合、それらの２個の分類枠の両方を対象分類枠としてもよい。また対象画像と比較する追加画像は、分類類枠の中に存在する全ての追加画像である必要はなく、分類枠の中から、別途定めた所定の枚数の追加画像を後述する優先順位に従って選択してもよい。また、２個の分類枠にまたがる時は、両方の対象分類枠の中に存在する追加画像から、所定の枚数の追加画像を後述する優先順位に従って選択、あるいは、両方の対象分類枠の中に存在する追加画像から、個々の追加画像に附属している情報、例えば顔の向きを回転角度数値、にしたがって、対象画像中の顔の向きの回転角度に近いものから順に所定枚数の追加画像を選択する。次に、制御部３は、ＩＤ入力部４に入力された識別情報に対応付けられた登録画像の少なくとも一部を記憶部２から読み出し（ステップＳ４）、ステップＳ３において抽出された対象画像とステップＳ４において読み出された登録画像のうち１枚と比較して一致するか否かを判定する比較動作を行う（ステップＳ５）。具体的には、登録画像と対象画像との相関値を演算し、得られた相関値を所定の認証閾値と比較して、相関値が認証閾値以上であったときに一致すると判定し、相関値が認証閾値未満であったときに一致しないと判定する。ステップＳ５において、登録画像のうち基準画像と追加画像とでは、どちらが先に使用されるようにしてもよい。また、ステップＳ４において登録画像として追加画像が読み出される場合、対象分類枠に属する追加画像が読み出される。ここで、登録画像を構成する各追加画像には、予め優先順位が設定されており、ステップＳ５において登録画像として追加画像が使用される際には、優先順位の高い追加画像から順に使用される。優先順位は、記憶部２において、追加画像に関連付けて格納された数値で表現されていてもよいし、例えば優先順位が高い追加画像ほど番号の若いアドレスに格納されるといったように、追加画像が格納された領域（アドレス）によって表現されていてもよい。 In step S3, when there is an additional image associated with the identification information, the control unit 3 determines which classification frame additional image is to be compared with the target image. As a classification frame for additional images to be used (hereinafter referred to as “target classification frame”), one classification frame determined to belong to the target image may be used as the target classification frame as it is. If the orientation of the face of the target image is near the middle of the two classification frames, both of these two classification frames may be used as the target classification frame. Further, the additional images to be compared with the target image need not be all the additional images existing in the classification category frame, and a predetermined number of additional images determined separately are selected from the classification frame according to the priority order described later. May be. In addition, when straddling two classification frames, a predetermined number of additional images are selected from the additional images existing in both target classification frames according to the priority order described later, or in both target classification frames. From the existing additional image, a predetermined number of additional images in order from the closest to the rotation angle of the face direction in the target image according to the information attached to each additional image, for example, the rotation direction value of the face direction. select. Next, the control unit 3 reads at least a part of the registered image associated with the identification information input to the ID input unit 4 from the storage unit 2 (step S4), and the target image extracted in step S3 and the step A comparison operation is performed to determine whether or not they match with one of the registered images read in S4 (step S5). Specifically, the correlation value between the registered image and the target image is calculated, and the obtained correlation value is compared with a predetermined authentication threshold value. When the value is less than the authentication threshold, it is determined that they do not match. In step S5, either the reference image or the additional image among the registered images may be used first. When an additional image is read as a registered image in step S4, the additional image belonging to the target classification frame is read. Here, priorities are set in advance for each additional image constituting the registered image, and when the additional image is used as the registered image in step S5, the additional images are used in order from the higher priority image. . The priority order may be expressed by a numerical value stored in the storage unit 2 in association with the additional image. For example, the additional image is stored at a lower address as the additional image having a higher priority order is stored. It may be expressed by a stored area (address).
ステップＳ５において対象画像と登録画像とが一致すると判定された場合には、制御部３は、対象者Ｍが登録者であると判定（認証）した上で（ステップＳ６）次のステップＳ７に進む。ここで、認証動作中で１回目のステップＳ６でのみ、制御部３は、対象者Ｍが登録者である場合に行うべき所定の承認動作を行う。承認動作は、本実施形態の場合にはシステム制御盤Ｇへの認証可の情報の伝送である。また、承認動作において、制御部３が報知部５を制御して認証成功を対象者に対して報知させてもよい。一方、ステップＳ５において対象画像と登録画像とが一致しないと判定された場合、すなわち対象者Ｍが登録者であるとは認証されなかった場合には、制御部３は上記判定を行うことなくそのまま次のステップＳ７に進む。次のステップＳ７では、制御部３は、比較回数Ｎｃに１を加算する。次に、制御部３は、ステップＳ４で読み出された登録画像（以下、「対象登録画像」と呼ぶ。）の枚数である登録画像数Ｎｐ（図８では基準画像１枚と追加画像３枚とでＮｐ＝１＋３＝４）と比較回数Ｎｃとを比較する（ステップＳ８）。そして、比較回数Ｎｃが登録画像数Ｎｐに達していなければ、ステップＳ５に戻り、比較に使用する登録画像を変更して、比較動作を繰り返す。 If it is determined in step S5 that the target image matches the registered image, the control unit 3 determines (authenticates) that the target person M is a registrant (step S6), and proceeds to the next step S7. . Here, only in the first step S6 during the authentication operation, the control unit 3 performs a predetermined approval operation to be performed when the target person M is a registrant. The approval operation is transmission of authenticable information to the system control board G in this embodiment. Further, in the approval operation, the control unit 3 may control the notification unit 5 to notify the subject of successful authentication. On the other hand, if it is determined in step S5 that the target image does not match the registered image, that is, if it is not authenticated that the target person M is a registrant, the control unit 3 does not make the above determination and continues as it is. Proceed to the next Step S7. In the next step S7, the control unit 3 adds 1 to the comparison number Nc. Next, the control unit 3 registers the number of registered images Np (1 reference image and 3 additional images in FIG. 8), which is the number of registered images (hereinafter referred to as “target registered images”) read in step S4. Np = 1 + 3 = 4) and the number of comparisons Nc are compared (step S8). If the number Nc of comparisons has not reached the number Np of registered images, the process returns to step S5, the registered image used for comparison is changed, and the comparison operation is repeated.
一方、比較回数Ｎｃが登録画像数Ｎｐに達していれば、つまり対象画像が全ての対象登録画像と既に比較されていれば、制御部３は、認証開始からそれまでに対象者Ｍが登録者と判定されたことがあるか否か（すなわちステップＳ６を一度でも通過しているか否か）を判断する（ステップＳ９）。ステップＳ９において、対象者Ｍが登録者と判定されたことがなければ、比較回数Ｎｃを初期値である０に戻すとともに、周回数Ｎｒに１を加算し（ステップＳ１０）、所定の制限回数Ｎｌと周回数Ｎｒとを比較する（ステップＳ１１）。そして、周回数Ｎｒが制限回数Ｎ１未満であれば、制御部３は、ステップＳ３に戻って撮像部１から新たな対象画像を得て、この新たな対象画像を用いて再度、ステップＳ４〜ステップＳ８の連続比較動作を行う。また、ステップＳ１１において周回数が制限回数Ｎｌに達していれば、制御部３は、対象者Ｍが登録者ではないと判定し（ステップＳ１２）、認証動作を終了し、ＩＤ入力部４への識別情報の入力を受け付ける状態に戻る（ステップＳ１３）。つまり、制限回数Ｎｌが請求項における制限枚数である。ステップＳ１２では、制御部３が報知部５を制御し、認証が失敗したことを対象者に報知させてもよい。 On the other hand, if the number of comparisons Nc has reached the number of registered images Np, that is, if the target image has already been compared with all target registered images, the control unit 3 determines that the target person M has been a registered person from the start of authentication. (That is, whether or not it has passed through step S6 even once) is determined (step S9). If the target person M has not been determined to be a registrant in step S9, the comparison number Nc is reset to 0, which is the initial value, and 1 is added to the lap number Nr (step S10), and a predetermined limit number Nl. Is compared with the number of revolutions Nr (step S11). If the number of laps Nr is less than the limit number N1, the control unit 3 returns to step S3 to obtain a new target image from the imaging unit 1, and again uses the new target image to perform steps S4 to S4. The continuous comparison operation of S8 is performed. If the number of laps has reached the limit number Nl in step S11, the control unit 3 determines that the subject M is not a registrant (step S12), ends the authentication operation, and sends the ID input unit 4 to the ID input unit 4. It returns to the state which receives the input of identification information (step S13). That is, the limit number Nl is the limit number in the claims. In step S12, the control unit 3 may control the notification unit 5 to notify the subject that authentication has failed.
また、制御部３は、ステップＳ９において、対象者Ｍが登録者と判定されたことがあるならば、すなわちステップＳ６を通過済みであるならば、登録画像として追加画像を用いた比較動作で登録者であるとの判定が得られたことがあるか否かを判定する（ステップＳ１４）。ステップＳ１４において、登録画像として追加画像を用いた比較動作で登録者であるとの判定が得られたことがあるならば、追加画像の中に今回の認証に役に立ったものがあるので、更新する必要がない。ここで追加画像の更新を行なってしまうと、同じ顔向き表情をした追加画像が加わってしまうことになる。そこで、制御部３は追加画像の更新は行わずに次のステップＳ１６に進む。一方、ステップＳ１４において、登録画像として追加画像を用いた比較動作で登録者であるとの判定が得られたことがないならば、言い換えると基準画像でしか上記判定が得られていないならば、追加画像の中に今回の認証に役に立つものがなかったことになり、追加画像が不足しており追加画像の更新が有意であることになるので、制御部３は追加画像を更新する更新動作を開始し（ステップＳ１５）、更新動作の終了後に次のステップＳ１６に進む。本実施形態では、上記のように更新動作の要否の判定を行うために、連続比較動作の途中で対象者が登録者であると判定された場合にも、連続比較動作を最後まで行い、全ての対象登録画像について一致を判定するようにしている。 In addition, if the target person M has been determined to be a registrant in step S9, that is, if the process has already passed through step S6, the control unit 3 registers by a comparison operation using an additional image as a registered image. It is determined whether or not it has been determined that the user is a person (step S14). If it is determined in step S14 that the user is a registrant in the comparison operation using the additional image as the registered image, the additional image is useful because it is useful for the current authentication. There is no need. If the additional image is updated here, an additional image having the same facial expression is added. Therefore, the control unit 3 proceeds to the next step S16 without updating the additional image. On the other hand, in step S14, if the determination that the user is a registrant has not been obtained in the comparison operation using the additional image as the registered image, in other words, if the above determination is obtained only for the reference image, Since there is no additional image that is useful for this authentication, the additional image is insufficient, and the update of the additional image is significant. Therefore, the control unit 3 performs an update operation for updating the additional image. Start (step S15), and proceed to the next step S16 after the end of the update operation. In this embodiment, in order to determine whether or not the update operation is necessary as described above, even if it is determined that the subject is a registrant during the continuous comparison operation, the continuous comparison operation is performed to the end, A match is determined for all target registration images.
ステップＳ１５の更新動作について詳しく説明する。制御部３は、認証動作中、図７に示すように、使用された対象画像から所定の条件で選択された候補画像を記憶部２に随時格納し、認証動作が終了するまで保持させている。候補画像としては、例えばいずれかの登録画像との相関値が所定の候補閾値以上である対象画像が選択される。この候補閾値は、認証閾値よりも小さく顔判定閾値よりも大きい値とされる。ステップＳ３において候補画像（対象画像）が属すると判定された分類枠は、候補画像が追加されるべき分類枠として候補画像に関連付けて記憶部２に格納される。対象分類枠として複数個の分類枠が選択されている場合、更新動作は分類枠毎に行われる。 The update operation in step S15 will be described in detail. During the authentication operation, as shown in FIG. 7, the control unit 3 stores candidate images selected from the used target images under predetermined conditions in the storage unit 2 as needed, and holds them until the authentication operation ends. . As a candidate image, for example, a target image whose correlation value with any registered image is equal to or greater than a predetermined candidate threshold is selected. The candidate threshold is a value smaller than the authentication threshold and larger than the face determination threshold. The classification frame determined to belong to the candidate image (target image) in step S3 is stored in the storage unit 2 in association with the candidate image as a classification frame to which the candidate image is to be added. When a plurality of classification frames are selected as the target classification frame, the update operation is performed for each classification frame.
更新動作においては、候補画像を全て追加画像として追加してもよいが、候補画像のうち１枚だけが追加画像として追加されるようにしてもよい。候補画像から追加される１枚を選択する方法としては、例えば、候補画像の全ての組み合わせでそれぞれ相関値を演算するとともに相関値が最も大きくなる組み合わせの２枚の候補画像からより早いタイミングで撮像された一方の候補画像を選択してもよいし、他の候補画像との相関値の平均値を各候補画像についてそれぞれ演算するとともに得られた平均値が最も大きい候補画像を選択してもよいし、基準画像との相関値が最も小さかった候補画像を選択してもよい。また、上記のように１枚の候補画像を選択する動作を、既に選択された候補画像を対象から除外しつつ複数回繰り返すことにより、複数枚の候補画像が追加画像として追加されるようにしてもよい。上記１個目の方法や上記２個目の方法のように候補画像間の相関値を用いる場合には、候補画像の中で代表的なものが選択されることになる。また、上記３個目の方法のように基準画像との相関値が最も小さかった候補画像を選択する場合には、基準画像と大きく異なる候補画像が選択されることになる。 In the update operation, all candidate images may be added as additional images, but only one of the candidate images may be added as an additional image. As a method for selecting one image to be added from the candidate images, for example, correlation values are calculated for all combinations of candidate images, and images are picked up at an earlier timing from two candidate images having the largest correlation value. One candidate image may be selected, or an average value of correlation values with other candidate images may be calculated for each candidate image, and a candidate image having the largest average value may be selected. The candidate image having the smallest correlation value with the reference image may be selected. In addition, by repeating the operation of selecting one candidate image as described above a plurality of times while excluding the already selected candidate image from the target, a plurality of candidate images are added as additional images. Also good. When the correlation value between candidate images is used as in the first method and the second method, a representative image is selected from the candidate images. Further, when a candidate image having the smallest correlation value with the reference image is selected as in the third method, a candidate image greatly different from the reference image is selected.
更新動作において、制御部３は、対象となる分類枠に追加画像として追加されるべき候補画像の枚数と、対象となる分類枠に既に存在する追加画像（つまり、対応付けられた識別情報と属する分類枠とが共に上記の候補画像と共通している追加画像）の枚数との合計を、所定の上限数と比較し、上記合計が上限数を上回る場合、その差の枚数だけ、上記追加画像を、優先順位の低いものから順に削除する。その後、対象となる分類枠に追加画像として追加されるべき上記の各候補画像を、対象となる分類枠にそれぞれ追加する。つまり、追加画像の枚数は、分類枠毎に上限数以下に維持される。なお、更新動作が行われることなく認証動作が終了した場合、全ての候補画像は破棄される。 In the updating operation, the control unit 3 belongs to the number of candidate images to be added as additional images to the target classification frame and the additional images already existing in the target classification frame (that is, associated identification information). The sum of the number of additional images that are both in the classification frame and the candidate image) is compared with a predetermined upper limit number. If the total exceeds the upper limit number, the additional image is the same as the difference number. Are deleted in descending order of priority. Thereafter, each candidate image to be added as an additional image to the target classification frame is added to the target classification frame. That is, the number of additional images is maintained below the upper limit for each classification frame. When the authentication operation is completed without performing the update operation, all candidate images are discarded.
次のステップＳ１６では、制御部３は、上記識別情報に対応付けられ且つ対象分類枠に分類された各追加画像において、新たに追加された追加画像や、対象画像に一致すると判定された（つまり、対象者Ｍが登録者であるとの判定が出た比較動作に用いられた）追加画像の優先順位が、その他の追加画像の優先順位よりも高くなるように、優先順位を変更する。対象分類枠として複数個の分類枠が選択されている場合、優先順位の変更は、分類枠毎に行われる。例えば、１個の分類枠で１枚の追加画像でのみ対象者Ｍが登録者であると判定された場合にはその追加画像の優先順位が最も高くされ、１個の分類枠で追加された追加画像が１枚だけであればその追加画像の優先順位が最も高くされ、その他の各追加画像の優先順位は１ずつ下げられる。対象画像に一致すると判定された追加画像が複数枚存在する場合、その他の各追加画像はそれぞれ上記複数枚の追加画像の枚数分だけ優先順位を下げられ、上記複数枚の追加画像の中での優先順位は、例えば認証動作の開始時での優先順位が高かったものほど優先順位を高くされる。また、追加される追加画像が複数枚存在する場合、その他の各追加画像はそれぞれ追加される追加画像の枚数分だけ優先順位を下げられ、追加される追加画像の中での優先順位は、例えば認証動作の早いタイミングで得られたものほど優先順位を高くされる。つまり、各追加画像は、それぞれ追加された時点から、制御部３によって優先順位が設定されているのであり、追加画像として追加された更新動作、又は、対象画像に一致すると判定された（つまり認証に寄与した）認証動作として、より新しいものを有する追加画像ほど、優先順位は高くされている。このステップＳ１６の終了後、制御部３はステップＳ１３に進んで認証動作を終了する。 In the next step S16, the control unit 3 determines that each additional image associated with the identification information and classified in the target classification frame matches the newly added additional image or the target image (that is, The priority is changed so that the priority of the additional image (used for the comparison operation in which it is determined that the subject M is a registered person) is higher than the priority of the other additional images. When a plurality of classification frames are selected as the target classification frame, the priority order is changed for each classification frame. For example, when it is determined that the target person M is a registrant with only one additional image in one classification frame, the priority order of the additional image is the highest and added in one classification frame. If there is only one additional image, the priority of the additional image is the highest, and the priority of each other additional image is lowered by one. When there are a plurality of additional images determined to match the target image, the priority of each of the other additional images is lowered by the number of the plurality of additional images. For example, the higher the priority order, the higher the priority order at the start of the authentication operation. Further, when there are a plurality of additional images to be added, the priority of each of the other additional images is lowered by the number of additional images to be added, and the priority among the added additional images is, for example, The higher the priority obtained in the authentication operation, the higher the priority. In other words, the priority order is set by the control unit 3 from the time when each additional image is added, and it is determined that it matches the update operation added as the additional image or the target image (that is, authentication). As an authentication operation (which contributed to the above), an additional image having a newer one has a higher priority. After the end of step S16, the control unit 3 proceeds to step S13 and ends the authentication operation.
上記構成によれば、認証中に撮像された顔画像であって登録者の顔の向きや表情の変化を反映した顔画像である顔画像を、追加画像として登録画像に加えて以後の認証で使用することで、従来技術の項で述べたような登録者の顔の向きや表情の変化に対応し、本人拒否率を低下させることができる。また、確実に登録者本人の顔画像である基準画像によって対象者Ｍが登録者であるとの判定が得られないときには追加画像が更新されないことになるから、対象者Ｍが登録者であるとの判定が追加画像でしか得られないときにも追加画像が更新される場合に比べ、別人の顔画像が登録画像（追加画像）とされてしまうリスクが低減される。 According to the above configuration, a face image that is captured during authentication and that reflects a change in the orientation and expression of the registrant's face is added to the registered image as an additional image, and subsequent authentication is performed. By using it, it is possible to cope with changes in the face direction and facial expression of the registrant as described in the section of the prior art, and to reduce the person rejection rate. In addition, when the determination that the subject M is a registrant cannot be reliably obtained by the reference image that is the face image of the registrant himself, the additional image is not updated, so that the subject M is a registrant. Compared with the case where the additional image is updated even when this determination can be obtained only with the additional image, the risk that the face image of another person will be the registered image (additional image) is reduced.
ここで、対象者が登録者であることの判定が基準画像によってのみ得られたときに更新する理由だが、基準画像は、該当ＩＤを保有する人の顔画像であることが、別の手段、管理人の立会い等によって、明らかに判っている画像であり、その顔画像で対象者が登録者であると判断したのだから、正しく登録者である。したがって、基準画像によって対象者が登録者であると判断されたときに更新することは、対象者が登録者であることの判定が追加画像によって得られたときに更新する場合と比較して、誤って別人を登録することが起きにくい。 Here, the reason for updating when the determination that the target person is a registrant is obtained only by the reference image, the reference image is a face image of a person holding the corresponding ID, another means, It is an image that is clearly understood by the attendance of the manager, etc., and it is determined that the subject person is a registrant based on the face image. Therefore, updating when the target person is determined to be a registrant based on the reference image is compared to updating when the determination that the target person is a registrant is obtained by an additional image, It is difficult to accidentally register another person.
また、ステップＳ１６の動作によって各追加画像にそれぞれ優先順位が設定され、更新動作では優先順位の低い追加画像から削除され、比較動作には優先順位の高い追加画像から用いられることにより、追加され又は認証成功（対象者Ｍが登録者であるとの判定）に関与したタイミングが最も後である追加画像が優先的に残され、且つ順番に比較動作に用いられることになるから、認証にかかる時間が比較的に短くなりやすい。 In addition, the priority order is set for each additional image by the operation in step S16, the update operation deletes the additional image from the lower priority order, and the comparison operation adds from the additional image having the higher priority order. The additional image with the latest timing related to the authentication success (determination that the target person M is a registrant) is preferentially left and used for the comparison operation in order, so the time required for authentication Tends to be relatively short.
ここで、追加画像が分類枠に分けられていない場合、ある特徴（顔の向きなど）を有する追加画像が追加され続けた結果、例えば顔の向きが異なるといったように別の特徴を有する追加画像が全て削除されてしまう可能性がある。例えば、カメラの視野範囲内でカメラを見る場合に、右から来た場合と、左から来た場合とでは、顔の傾きが、反対になる傾向が実験で確かめられ、右から来た場合は右回転、左から来た場合は左回転している。そして、左から来る場合が連続して行なわれ、右から来た場合に対応する追加画像が更新動作に伴って全て失われた場合、右から来た登録者は向きを変えるまで認証できないから、認証に時間がかかるか、認証に失敗してしまうことになる。これに対し、本実施形態では、追加画像は特徴毎に分類枠に分けられ、更新動作は分類枠毎に行われるので、上記のように特定の特徴を有する追加画像が更新動作によって失われてしまうといったことがない。 Here, when the additional image is not divided into the classification frames, the additional image having a certain feature (face orientation, etc.) continues to be added, and as a result, for example, the additional image having another feature such as a different face orientation. May be deleted. For example, when looking at the camera within the field of view of the camera, it has been confirmed by experiments that the inclination of the face is opposite between the case of coming from the right and the case of coming from the left. Rotate to the right and turn to the left when coming from the left. And when the case of coming from the left is performed continuously, and all the additional images corresponding to the case of coming from the right are lost due to the update operation, the registrant who came from the right cannot authenticate until the direction is changed. Authentication takes time or authentication fails. On the other hand, in the present embodiment, the additional image is divided into classification frames for each feature, and the update operation is performed for each classification frame. Therefore, the additional image having a specific feature is lost by the update operation as described above. There is no such a thing.
１ 撮像部
２ 記憶部
３ 制御部
４ ＩＤ入力部（請求項における入力部）
DESCRIPTION OF SYMBOLS 1 Imaging part 2 Memory | storage part 3 Control part 4 ID input part (input part in a claim)
Claims (6)
登録者毎に、それぞれ顔を撮像した少なくとも１枚ずつの登録画像が、登録者に一対一に対応する識別情報に対応付けて格納された記憶部と、
対象者により識別情報が入力される入力部と、
入力部に識別情報が入力されたとき、撮像部によって撮像された対象者が登録者であるか否かを判定する認証動作を開始する制御部とを備え、
制御部は、認証動作において、対象者を撮像した画像から顔部分を抽出した対象画像を１枚ずつ撮像部から得て、該認証動作の開始時に入力部に入力された識別情報に対応付けられた登録画像のうち少なくとも一部である各対象登録画像のそれぞれと比較して一致するか否かを判定し、いずれかの登録画像が対象画像に一致すると判定されたときに対象者が登録者であると判定する一方、所定の制限枚数の対象画像を用いても対象者が登録者であるとの判定が得られなかったときに対象者を登録者ではないと判定するものであって、
登録画像は、識別情報毎に、登録者の登録時に撮像された１枚の基準画像と、認証動作の終了時に追加されることがある追加画像とからなり、追加画像はさらに複数の分類枠に分類されていて、
制御部は、認証動作中、各対象画像についてそれぞれ属する分類枠を判定し、対象登録画像としては、該認証動作の開始時に入力部に入力された識別情報に対応付けられた登録画像のうち、少なくとも対象画像と同じ分類枠に属する各追加画像と基準画像とを用い、認証動作中に用いられた対象画像のうち所定の条件を満たしたものを候補画像として認証動作の終了時まで記憶部に保持させるとともに、認証動作の終了時、対象画像に一致すると判定された登録画像が基準画像のみであったときには候補画像のうち少なくとも１枚をそれぞれ上記識別情報に対応付けられ且つ上記分類枠に分類された追加画像として追加するように追加画像を更新する更新動作を行い、いずれかの追加画像が対象画像に一致すると判定されていたとき及び対象者が登録者であると判定されなかったときには更新動作を行なわずに各候補画像をそれぞれ破棄することを特徴とする顔認証装置。 An imaging unit for imaging the target person;
For each registrant, a storage unit in which at least one registered image obtained by imaging a face is stored in association with identification information corresponding to the registrant on a one-to-one basis;
An input unit in which identification information is input by the target person,
A control unit that starts an authentication operation to determine whether or not the subject imaged by the imaging unit is a registrant when identification information is input to the input unit;
In the authentication operation, the control unit obtains target images obtained by extracting the face portion from the image captured of the target person one by one from the imaging unit, and is associated with the identification information input to the input unit at the start of the authentication operation. It is determined whether or not each of the registered images matches at least a part of the registered images, and when any of the registered images matches the target image, On the other hand, when it is determined that the target person is not a registrant even if a predetermined limited number of target images are used, the target person is determined not to be a registrant.
The registered image includes, for each identification information, one reference image captured at the time of registration of the registrant and an additional image that may be added at the end of the authentication operation. The additional image is further divided into a plurality of classification frames. Are classified,
The control unit determines a classification frame to which each target image belongs during the authentication operation, and the target registration image is a registered image associated with the identification information input to the input unit at the start of the authentication operation. Using at least each additional image and reference image that belong to the same classification frame as the target image, and satisfying a predetermined condition among target images used during the authentication operation as candidate images in the storage unit until the end of the authentication operation At the end of the authentication operation, if the registered image determined to match the target image is only the reference image, at least one of the candidate images is associated with the identification information and classified into the classification frame When the update operation is performed to update the additional image so as to be added as the added additional image, and it is determined that any additional image matches the target image and the target There face authentication apparatus characterized by discarding each respective candidate image without updating operation when it is not determined to be a registrant.
追加された更新動作、又は、対象画像に一致すると判定された認証動作として、より新しいものを有する追加画像ほど優先順位は高くされ、
更新動作においては、制御部は、分類枠毎に、既に保持されている追加画像との枚数と追加されるべき候補画像の枚数との合計を所定の上限数と比較し、
上記合計が上限数以下であれば追加されるべき各候補画像をそれぞれ追加画像として追加し、
上記合計が上限数を上回る場合、既に保持されている追加画像を、優先順位が低い追加画像から順に、上記合計が上限数以下となるまで削除した後に、追加されるべき各候補画像をそれぞれ追加画像として追加することを特徴とする請求項１記載の顔認証装置。 The control unit sets priority between additional images that are associated with common identification information and classified into a common classification frame,
As an added update operation or an authentication operation determined to match the target image, an additional image having a newer one has a higher priority,
In the update operation, for each classification frame, the control unit compares the total of the number of additional images already held and the number of candidate images to be added with a predetermined upper limit number,
If the above total is less than the upper limit, add each candidate image to be added as an additional image,
If the total exceeds the upper limit, delete each additional image that should be added after deleting the already stored additional images in order from the lower priority, until the total falls below the upper limit. The face authentication apparatus according to claim 1, wherein the face authentication apparatus is added as an image.
追加画像として追加された更新動作、又は、対象画像に一致すると判定された認証動作として、より新しいものを有する追加画像ほど優先順位は高くされ、
認証動作においては、制御部は、優先順位が高い追加画像ほど先に対象画像と比較することを特徴とする請求項１又は請求項２記載の顔認証装置。 The control unit sets priority between additional images that are associated with common identification information and classified into a common classification frame,
As an update operation added as an additional image or an authentication operation determined to match the target image, an additional image having a newer one has a higher priority,
3. The face authentication apparatus according to claim 1, wherein, in the authentication operation, the control unit compares an additional image with a higher priority with a target image first.
登録者毎に、それぞれ顔を撮像した少なくとも１枚ずつの登録画像が、登録者に一対一に対応する識別情報に対応付けて格納された記憶部と、
対象者により識別情報が入力される入力部とを用い、
入力部に識別情報を入力して撮像部によって撮像された対象者が登録者であるか否かを判定する顔認証方法であって、
対象者を撮像した画像から顔部分を抽出した対象画像を１枚ずつ撮像部から得て、該認証動作の開始時に入力部に入力された識別情報に対応付けられた登録画像のうち少なくとも一部である各対象登録画像のそれぞれと比較して一致するか否かを判定し、いずれかの登録画像が対象画像に一致すると判定されたときに対象者が登録者であると判定する一方、所定の制限枚数の対象画像を用いても対象者が登録者であるとの判定が得られなかったときに対象者を登録者ではないと判定する認証動作を含み、
登録画像は、識別情報毎に、登録者の登録時に撮像された１枚の基準画像と、認証動作の終了時に追加される可能性がある追加画像とからなり、追加画像はさらに複数の分類枠に分類されていて、
認証動作中、各対象画像についてそれぞれ属する分類枠を判定し、対象登録画像としては、該認証動作の開始時に入力部に入力された識別情報に対応付けられた登録画像のうち、少なくとも対象画像と同じ分類枠に属する各追加画像と基準画像とを用い、認証動作中に用いられた対象画像のうち所定の条件を満たしたものを候補画像として認証動作の終了時まで記憶部に保持させるとともに、認証動作の終了時、対象画像に一致すると判定された登録画像が基準画像のみであったときには候補画像のうち少なくとも１枚をそれぞれ上記識別情報に対応付けられ且つ上記分類枠に分類された追加画像として追加するように追加画像を更新する更新動作を行い、いずれかの追加画像が対象画像に一致すると判定されていたとき及び対象者が登録者であると判定されなかったときには更新動作を行なわずに各候補画像をそれぞれ破棄することを特徴とする顔認証方法。 An imaging unit for imaging the target person;
For each registrant, a storage unit in which at least one registered image obtained by imaging a face is stored in association with identification information corresponding to the registrant on a one-to-one basis;
Using an input unit in which identification information is input by the target person,
A face authentication method in which identification information is input to an input unit and whether or not the subject imaged by the imaging unit is a registrant,
At least a part of the registered images associated with the identification information input to the input unit when the target image obtained by extracting the face part from the image obtained by capturing the target person is obtained one by one from the imaging unit and the authentication operation is started Is compared with each of the target registered images, and when it is determined that any of the registered images matches the target image, the target person is determined to be a registrant. Including an authentication operation for determining that the subject is not a registrant when it is not possible to determine that the subject is a registrant even using the limited number of target images.
The registered image includes, for each identification information, one reference image captured at the time of registration of the registrant and an additional image that may be added at the end of the authentication operation. The additional image further includes a plurality of classification frames. Are classified into
During the authentication operation, the classification frame to which each target image belongs is determined, and the target registration image includes at least the target image among the registration images associated with the identification information input to the input unit at the start of the authentication operation. Using each additional image belonging to the same classification frame and the reference image, the target image used during the authentication operation that satisfies a predetermined condition is held as a candidate image in the storage unit until the end of the authentication operation, At the end of the authentication operation, when the registered image determined to match the target image is only the reference image, at least one of the candidate images is associated with the identification information and is an additional image classified in the classification frame The update operation is performed to update the additional image so that it is added as a target, and when it is determined that any of the additional images matches the target image and the target person is the registrant Face authentication method characterized by discarding each respective candidate image without updating operation when it is not determined that there is.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008107200A JP5123037B2 (en) | 2008-04-16 | 2008-04-16 | Face authentication apparatus and face authentication method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008107200A JP5123037B2 (en) | 2008-04-16 | 2008-04-16 | Face authentication apparatus and face authentication method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2009258990A true JP2009258990A (en) | 2009-11-05 |
| JP5123037B2 JP5123037B2 (en) | 2013-01-16 |
Family
ID=41386329
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008107200A Expired - Fee Related JP5123037B2 (en) | 2008-04-16 | 2008-04-16 | Face authentication apparatus and face authentication method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5123037B2 (en) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012014568A (en) * | 2010-07-02 | 2012-01-19 | Omron Corp | Monitoring apparatus and method, and program |
| JP2014526755A (en) * | 2011-09-27 | 2014-10-06 | インテル・コーポレーション | Method, apparatus, and computer-readable recording medium for managing a reference face database to improve face recognition performance in a memory limited environment |
| JP2015069574A (en) * | 2013-09-30 | 2015-04-13 | 株式会社東芝 | Authentication device, authentication system, and authentication method |
| EP2879072A1 (en) * | 2013-12-02 | 2015-06-03 | Fujitsu Limited | Biometric information registration device and method |
| JP2018536513A (en) * | 2015-10-15 | 2018-12-13 | ドセントアールエックス エルティーディーＤｏｓｅｎｔｒｘ Ｌｔｄ | Formulation dispenser based on image recognition |
| KR20200027392A (en) * | 2018-08-30 | 2020-03-12 | 한국전자통신연구원 | Smart glass and method for tracking visual cognition selectively |
| JP2020052822A (en) * | 2018-09-27 | 2020-04-02 | キヤノン株式会社 | Information processing apparatus, authentication system, control method thereof, and program |
| US10769256B2 (en) | 2015-11-11 | 2020-09-08 | Samsung Electronics Co., Ltd. | Methods and apparatuses for adaptively updating enrollment database for user authentication |
| JP2020154945A (en) * | 2019-03-22 | 2020-09-24 | 西日本電信電話株式会社 | Cooperation system, cooperation server, and adapter |
| CN113763620A (en) * | 2021-09-14 | 2021-12-07 | 孟琦 | Combined access control, method and device for controlling combined access control, and storage medium |
| JP2022133407A (en) * | 2017-06-30 | 2022-09-13 | キヤノンマーケティングジャパン株式会社 | Information processing system, information processing method, and program |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000137812A (en) * | 1998-10-30 | 2000-05-16 | Oki Electric Ind Co Ltd | Individual identifier |
| JP2000306095A (en) * | 1999-04-16 | 2000-11-02 | Fujitsu Ltd | Image collation/retrieval system |
| JP2007094637A (en) * | 2005-09-28 | 2007-04-12 | Denso Corp | Face image authentication device |
-
2008
- 2008-04-16 JP JP2008107200A patent/JP5123037B2/en not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000137812A (en) * | 1998-10-30 | 2000-05-16 | Oki Electric Ind Co Ltd | Individual identifier |
| JP2000306095A (en) * | 1999-04-16 | 2000-11-02 | Fujitsu Ltd | Image collation/retrieval system |
| JP2007094637A (en) * | 2005-09-28 | 2007-04-12 | Denso Corp | Face image authentication device |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012014568A (en) * | 2010-07-02 | 2012-01-19 | Omron Corp | Monitoring apparatus and method, and program |
| US9298976B2 (en) | 2011-09-27 | 2016-03-29 | Intel Corporation | Method, apparatus and computer readable recording medium for managing a reference face database to improve face recognition performance under a restricted memory environment |
| JP2014526755A (en) * | 2011-09-27 | 2014-10-06 | インテル・コーポレーション | Method, apparatus, and computer-readable recording medium for managing a reference face database to improve face recognition performance in a memory limited environment |
| JP2015069574A (en) * | 2013-09-30 | 2015-04-13 | 株式会社東芝 | Authentication device, authentication system, and authentication method |
| US9798958B2 (en) | 2013-12-02 | 2017-10-24 | Fujitsu Limited | Biometric information registration device and method |
| JP2015106386A (en) * | 2013-12-02 | 2015-06-08 | 富士通株式会社 | Biological information extraction device, biological information extraction method, and biological information extraction program |
| EP2879072A1 (en) * | 2013-12-02 | 2015-06-03 | Fujitsu Limited | Biometric information registration device and method |
| JP2018536513A (en) * | 2015-10-15 | 2018-12-13 | ドセントアールエックス エルティーディーＤｏｓｅｎｔｒｘ Ｌｔｄ | Formulation dispenser based on image recognition |
| US10769256B2 (en) | 2015-11-11 | 2020-09-08 | Samsung Electronics Co., Ltd. | Methods and apparatuses for adaptively updating enrollment database for user authentication |
| US10769255B2 (en) | 2015-11-11 | 2020-09-08 | Samsung Electronics Co., Ltd. | Methods and apparatuses for adaptively updating enrollment database for user authentication |
| US11537698B2 (en) | 2015-11-11 | 2022-12-27 | Samsung Electronics Co., Ltd. | Methods and apparatuses for adaptively updating enrollment database for user authentication |
| JP2022133407A (en) * | 2017-06-30 | 2022-09-13 | キヤノンマーケティングジャパン株式会社 | Information processing system, information processing method, and program |
| JP7299543B2 (en) | 2017-06-30 | 2023-06-28 | キヤノンマーケティングジャパン株式会社 | Information processing system, information processing method, program |
| KR20200027392A (en) * | 2018-08-30 | 2020-03-12 | 한국전자통신연구원 | Smart glass and method for tracking visual cognition selectively |
| KR102166359B1 (en) * | 2018-08-30 | 2020-10-15 | 한국전자통신연구원 | Smart glass and method for tracking visual cognition selectively |
| JP7257765B2 (en) | 2018-09-27 | 2023-04-14 | キヤノン株式会社 | Information processing device, authentication system, control method thereof, and program |
| JP2020052822A (en) * | 2018-09-27 | 2020-04-02 | キヤノン株式会社 | Information processing apparatus, authentication system, control method thereof, and program |
| JP2020154945A (en) * | 2019-03-22 | 2020-09-24 | 西日本電信電話株式会社 | Cooperation system, cooperation server, and adapter |
| CN113763620A (en) * | 2021-09-14 | 2021-12-07 | 孟琦 | Combined access control, method and device for controlling combined access control, and storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5123037B2 (en) | 2013-01-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5123037B2 (en) | Face authentication apparatus and face authentication method | |
| JP5261009B2 (en) | Face image registration device | |
| EP3739551A1 (en) | Facial recognition device | |
| JP6155857B2 (en) | Entrance / exit management device and entrance / exit management system | |
| JP5443110B2 (en) | Intercom system | |
| JP2002183734A (en) | Face authentication device and face authentication method | |
| WO2019138688A1 (en) | Facial recognition device | |
| JP2006309491A (en) | Biometrics system | |
| JP2009265769A (en) | Biometrics device and access control system | |
| JP2006309490A (en) | Biological authentication system | |
| JP5314294B2 (en) | Face recognition device | |
| JP2008266988A (en) | Entry-exit control system | |
| JP2024056872A (en) | Stay management apparatus, stay management method, and program | |
| JP2009100334A (en) | Apparatus and mobile terminal for dealing with visitor, and system therefor | |
| JP5529593B2 (en) | Image monitoring device | |
| JP6920647B2 (en) | Intercom system for apartments, control method and program of intercom system for apartments | |
| JP2007102570A (en) | Entry/exit management system | |
| JP2019159974A (en) | Authentication device, authentication method and authentication program | |
| JP2010176304A (en) | Personal authentication apparatus | |
| JP4819632B2 (en) | Apartment house intercom system | |
| JP6751317B2 (en) | Notification system | |
| JP5468859B2 (en) | Intercom system | |
| JP2011186975A (en) | Image monitoring apparatus | |
| JP5399751B2 (en) | Delivery custody device and system | |
| JP6767685B2 (en) | Face recognition device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20100811 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110124 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20120112 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121002 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121025 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151102 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |