JP2013061875A - Authentication system and reliability determination method - Google Patents
Authentication system and reliability determination method Download PDFInfo
- Publication number
- JP2013061875A JP2013061875A JP2011200869A JP2011200869A JP2013061875A JP 2013061875 A JP2013061875 A JP 2013061875A JP 2011200869 A JP2011200869 A JP 2011200869A JP 2011200869 A JP2011200869 A JP 2011200869A JP 2013061875 A JP2013061875 A JP 2013061875A
- Authority
- JP
- Japan
- Prior art keywords
- determination process
- authentication
- face image
- reliability
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Time Recorders, Dirve Recorders, Access Control (AREA)
- Collating Specific Patterns (AREA)
Abstract
Description
本発明は、認証システムに関し、特に入退室時のなりすましを検出するシステムに関する。 The present invention relates to an authentication system, and more particularly to a system for detecting impersonation when entering or leaving a room.
近年、犯罪率の増加などのセキュリティ問題への関心の高まりによって、セキュリティ区域への入退室時のセキュリティ管理の必要性が高まっている。このため、セキュリティ製品の高信頼化が望まれている。入退室管理システムでは、主に、被験者が所持する非接触型又は接触型のカードをカードリーダで読み取る方法が用いられている。また、被験者の顔画像によって認証する入退室管理システムもある。 In recent years, the need for security management at the time of entering and leaving a security area has increased due to an increase in interest in security problems such as an increase in crime rate. For this reason, high reliability of security products is desired. In the entrance / exit management system, a method of reading a non-contact type or contact type card possessed by a subject with a card reader is mainly used. There is also an entrance / exit management system that authenticates with the face image of the subject.
一方、画像を高信頼で検索するために、画像の撮影時間を用いて検索する顔画像検索システムが提案されている。例えば、特許文献１には、顔が登録されてから顔が撮影されるまでの時間に対応する予測係数を記憶し、顔が登録された時点から顔が撮影された時点までの時間を予測する特徴量を演算し、顔を認識する方式が開示されている。 On the other hand, in order to search for an image with high reliability, a face image search system for searching using an image shooting time has been proposed. For example, Patent Document 1 stores a prediction coefficient corresponding to the time from when a face is registered until the face is photographed, and predicts the time from when the face is registered to when the face is photographed. A method for calculating a feature amount and recognizing a face is disclosed.
しかし、前述した特許文献１に開示されている方式では、予め登録された顔画像データと照合するため、最近の顔画像データと照合されておらず、照合の精度を高めることができないという問題や、顔画像データが増加すると照合の処理時間が増加する問題がある。 However, in the method disclosed in Patent Document 1 described above, since it is collated with face image data registered in advance, it is not collated with recent face image data, and the accuracy of collation cannot be increased. When face image data increases, there is a problem that the processing time for collation increases.
本発明の目的は、ユーザがカードを用いて入退室する場合、顔画像データベースを検索した結果によって、管理者に警報を高速かつ精度良く発報することにある。 An object of the present invention is to issue an alarm to a manager at high speed and with high accuracy based on a result of searching a face image database when a user enters and leaves a room using a card.
本願において開示される発明の代表的な一例を示せば以下の通りである。すなわち、被験者を認証する認証システムであって、被験者を識別するための識別情報又は生体情報を取得する読取装置と、前記読取装置によって取得された情報を認証する認証装置と、被験者の顔画像を撮影するカメラと、警報を発報する端末に接続され、前記カメラによって撮影された画像を蓄積する画像データベースを有する管理装置と、を備え、前記管理装置は、前記カメラが顔画像を取得したことを契機に、当該顔画像と前記画像データベースに蓄積された画像との類似度を判定する第１の判定処理と、前記読取装置が情報を取得したことを契機に、当該読取装置が取得した情報を用いて、前記画像データベースを検索し、前記カメラが取得した顔画像と前記検索された画像との類似度を判定する第２の判定処理と、前記第１の判定処理の判定結果及び第２の判定処理の判定結果に基づいて、前記認証の信頼度が低いと判定された場合、警報を発するためのデータを前記端末に送信する処理と、を実行することを特徴とする。 A typical example of the invention disclosed in the present application is as follows. That is, an authentication system for authenticating a subject, a reader that acquires identification information or biometric information for identifying the subject, an authentication device that authenticates information acquired by the reader, and a face image of the subject A camera that captures images and a management device that is connected to a terminal that issues an alarm and has an image database that stores images captured by the camera, wherein the management device has acquired a face image Triggered by the first determination process for determining the degree of similarity between the face image and the image stored in the image database, and the information acquired by the reader when the reader acquires information And a second determination process for searching the image database and determining a similarity between the face image acquired by the camera and the searched image, and the first determination. A process of transmitting data for issuing an alarm to the terminal when it is determined that the reliability of the authentication is low based on a determination result of the process and a determination result of the second determination process. Features.
本発明の代表的な実施の形態によれば、被験者の成りすましを高速かつ精度よく判定することができる。 According to a typical embodiment of the present invention, impersonation of a subject can be determined with high speed and accuracy.
＜実施形態１＞
図１は、本発明の第１の実施の形態の認証システムの構成を示すブロック図である。
<Embodiment 1>
FIG. 1 is a block diagram showing the configuration of the authentication system according to the first embodiment of this invention.
第１の実施の形態の認証システムは、カメラ１０２、読取装置１０３、コントローラ１０４、管理サーバ１０５及び顔画像検索システム１０６を備える。図１には、複数の読取装置１０３、複数のコントローラ１０４及び複数の管理サーバ１０５が備わるが、各々一つずつ備わってもよい。 The authentication system according to the first embodiment includes a camera 102, a reading device 103, a controller 104, a management server 105, and a face image search system 106. Although FIG. 1 includes a plurality of reading devices 103, a plurality of controllers 104, and a plurality of management servers 105, one each may be provided.
カメラ１０２は、被験者の顔画像を撮影する撮像装置であり、読取装置１０３を操作する人の顔位置を、その撮影範囲に含む。読取装置１０３は、被験者が所持する記憶媒体（例えば、磁気カード、ＩＣカード、無線タグ等）に付与され、記憶されている識別情報（カードＩＤ）を読み出す装置であり、例えばカードリーダである。 The camera 102 is an imaging device that captures the face image of the subject, and includes the face position of the person who operates the reading device 103 in the imaging range. The reading device 103 is a device that reads identification information (card ID) stored in a storage medium (for example, a magnetic card, an IC card, a wireless tag, etc.) possessed by the subject, and is, for example, a card reader.
コントローラ１０４は、読取装置１０３を制御し、読取装置１０３が取得した情報の認証が成功した場合、認証に基づく処理（例えば、ドアの解錠、コンピュータのロックの解錠など）を行う。図１には、１台のコントローラ１０４に複数の読取装置１０３が接続される例を示したが、コントローラ１０４と読取装置１０３が１対１で接続されてもよい。 The controller 104 controls the reading device 103, and when authentication of the information acquired by the reading device 103 is successful, performs processing based on the authentication (for example, unlocking the door, unlocking the computer lock, etc.). Although FIG. 1 shows an example in which a plurality of reading devices 103 are connected to one controller 104, the controller 104 and the reading devices 103 may be connected on a one-to-one basis.
管理サーバ１０５は、プログラムを実行するプロセッサ、プロセッサによって実行されるプログラムを記憶するメモリ、他の装置との通信を制御する通信インターフェース、及び認証結果データベース３００を格納する不揮発性記憶装置を有するコンピュータである。認証結果データベース３００は、図５に示す、被験者の過去の認証結果が蓄積されるデータベースである。 The management server 105 is a computer having a processor for executing a program, a memory for storing a program executed by the processor, a communication interface for controlling communication with other devices, and a nonvolatile storage device for storing the authentication result database 300. is there. The authentication result database 300 is a database in which past authentication results of the subject shown in FIG. 5 are accumulated.
管理サーバ１０５は、コントローラ１０４を制御し、読取装置１０３が取得した情報を認証し、認証の成否をコントローラ１０４に送る。図１には、１台の管理サーバ１０５に複数のコントローラ１０４が接続される例を示したが、管理サーバ１０５とコントローラ１０４が１対１で接続されてもよい。 The management server 105 controls the controller 104, authenticates the information acquired by the reading device 103, and sends success or failure of the authentication to the controller 104. Although FIG. 1 shows an example in which a plurality of controllers 104 are connected to one management server 105, the management server 105 and the controllers 104 may be connected on a one-to-one basis.
顔画像検索システム１０６は、プログラムを実行するプロセッサ、プロセッサによって実行されるプログラムを記憶するメモリ、他の装置との通信を制御する通信インターフェース、及び顔画像データベース３１０を格納する不揮発性記憶装置を有するコンピュータである。顔画像データベース３１０は、図６に示す、被験者の顔画像が蓄積されるデータベースである。また、顔画像検索システム１０６は、カメラ１０２が撮影した顔画像と蓄積された顔画像との類否を判定し、被験者の成りすましの有無を端末１０７に通知する。図１には、１台の顔画像検索システム１０６に複数の管理サーバ１０５が接続される例を示したが、管理サーバ１０５は１台でもよい。 The face image search system 106 includes a processor that executes a program, a memory that stores a program executed by the processor, a communication interface that controls communication with other devices, and a nonvolatile storage device that stores a face image database 310. It is a computer. The face image database 310 is a database in which the test subject's face images shown in FIG. 6 are accumulated. Further, the face image search system 106 determines the similarity between the face image captured by the camera 102 and the accumulated face image, and notifies the terminal 107 of the presence / absence of impersonation of the subject. Although FIG. 1 shows an example in which a plurality of management servers 105 are connected to one face image search system 106, the number of management servers 105 may be one.
端末１０７は、プログラムを実行するプロセッサ、プロセッサによって実行されるプログラムを記憶するメモリ、他の装置との通信を制御する通信インターフェース、及びキーボード、表示装置などの入出力インターフェースを有するコンピュータである。 The terminal 107 is a computer having a processor for executing a program, a memory for storing a program executed by the processor, a communication interface for controlling communication with other devices, and an input / output interface such as a keyboard and a display device.
図１には、各装置及びコンピュータが１対１で接続されるように図示したが、これらの装置及びコンピュータはネットワークを介して接続されてもよい。 Although FIG. 1 illustrates that each device and computer are connected one-to-one, these devices and computers may be connected via a network.
なお、各コンピュータのプロセッサによって実行されるプログラムは、不揮発性の記憶媒体又はネットワークを介して、各コンピュータに提供される。このため、各コンピュータは、記憶媒体（ＣＤ−ＲＯＭ、フラッシュメモリ等）を読み込むインターフェースを備えるとよい。 The program executed by the processor of each computer is provided to each computer via a nonvolatile storage medium or a network. Therefore, each computer may be provided with an interface for reading a storage medium (CD-ROM, flash memory, etc.).
読取装置１０３は、被験者が所持するカードに格納されたカードＩＤを取得し、取得したカードＩＤをコントローラ１０４に送る。コントローラ１０４は、読取装置１０３が取得したカードＩＤを管理サーバ１０５に送り、管理サーバ１０５は、読取装置１０３が取得したカードＩＤを顔画像検索システム１０６に送る。 The reading device 103 acquires a card ID stored in a card possessed by the subject, and sends the acquired card ID to the controller 104. The controller 104 sends the card ID acquired by the reading device 103 to the management server 105, and the management server 105 sends the card ID acquired by the reading device 103 to the face image search system 106.
なお、読取装置１０３とカメラ１０２とを一つの装置に構成してもよい。この場合、カメラ１０２と顔画像検索システム１０６とは直接接続されずに、コントローラ１０４及び管理サーバ１０５を介して接続されてもよい。 Note that the reading device 103 and the camera 102 may be configured as one device. In this case, the camera 102 and the face image search system 106 may not be directly connected but may be connected via the controller 104 and the management server 105.
また、管理サーバ１０５は、読取装置１０３が取得したカードＩＤとを認証データベースに格納された情報とを比較して、カードＩＤを認証する。管理サーバ１０５は、認証が成功した場合、コントローラ１０４に認証成功を通知する。コントローラ１０４は、認証成功の通知を受けると、読取装置１０３が設置されているドアを解錠し、被験者の入退室を許可する。なお、この認証時に暗証番号の入力を求め、被験者が読取装置１０３に入力した暗証番号とカードＩＤとを併用して認証してもよい。 Further, the management server 105 compares the card ID acquired by the reading device 103 with information stored in the authentication database to authenticate the card ID. When the authentication is successful, the management server 105 notifies the controller 104 of the authentication success. When the controller 104 receives a notification of successful authentication, the controller 104 unlocks the door where the reading device 103 is installed, and allows the subject to enter and leave the room. Note that an input of a personal identification number may be required at the time of authentication, and the personal identification number input to the reading device 103 by the subject and the card ID may be used for authentication.
カメラ１０２は、顔画像検索システム１０６に接続されており、撮影した被験者の顔画像を顔画像検索システム１０６に送る。 The camera 102 is connected to the face image search system 106 and sends the photographed face image of the subject to the face image search system 106.
顔画像検索システム１０６は、カメラ１０２が撮影した顔画像及び管理サーバ１０５から出力されたカードＩＤを取得し、顔画像の撮影時刻及びカードＩＤの取得時刻に基づいて、顔画像とカードＩＤとを対応付ける。さらに、顔画像検索システム１０６は、撮影された顔画像と蓄積された顔画像との類似度を計算し、両画像の類否を判定する。画像の類似度は、公知の画像マッチング技術を用いて計算することができる。なお、本発明の実施の形態では、画像が似ている程、大きな値となる類似度を用いる。 The face image search system 106 acquires the face image captured by the camera 102 and the card ID output from the management server 105, and based on the face image shooting time and the card ID acquisition time, the face image and card ID are obtained. Associate. Furthermore, the face image search system 106 calculates the similarity between the photographed face image and the accumulated face image, and determines the similarity of both images. Image similarity can be calculated using known image matching techniques. Note that, in the embodiment of the present invention, the degree of similarity is used as the images are more similar.
この判定は、後述するように、読取装置１０３が取得したカードＩＤによる絞り込みを併用してもよいし、カードＩＤによる絞り込みを併用しなくてもよい。さらに、顔画像検索システム１０６は、該判定結果に基づいて被験者の成りすましの有無を判定し、なりすましの判定結果を端末１０７に通知する。 As will be described later, this determination may be performed together with narrowing by the card ID acquired by the reading device 103, or may not be performed together with narrowing by the card ID. Further, the face image search system 106 determines whether the subject is impersonating based on the determination result, and notifies the terminal 107 of the impersonation determination result.
端末１０７では、表示プログラム（例えば、ウェブブラウザ）が実行されており、顔画像検索システム１０６から出力される成りすましの判定結果を、表示画面に表示する。なお、顔画像検索システム１０６が顔画像の類否判定の結果を出力し、端末１０７が、この類否判定結果に基づいて、成りすましの有無を判定してもよい。 In the terminal 107, a display program (for example, a web browser) is executed, and the impersonation determination result output from the face image search system 106 is displayed on the display screen. Note that the face image search system 106 may output the result of the similarity determination of the face image, and the terminal 107 may determine the presence / absence of impersonation based on the similarity determination result.
図２及び図３は、第１の実施の形態の成りすまし判定結果を通知するために端末１０７に表示される判定結果表示画面の一例を説明する図であり、図２は成りすましが検出されていない場合に表示される画面２００を、図３は成りすましが検出された場合に表示される画面２３０を示す。 2 and 3 are diagrams for explaining an example of a determination result display screen displayed on the terminal 107 to notify the impersonation determination result of the first embodiment, and FIG. 2 shows that impersonation is not detected. FIG. 3 shows a screen 200 displayed when impersonation is detected. FIG.
判定結果表示画面２００、２３０には、図２、図３に示すように、入室者欄２０１、氏名欄２０２及び顔検索結果欄２０３が含まれ、これらの情報が被験者毎に表示される。入室者欄２０１には、読取装置１０３が被験者のカードからカードＩＤを取得した時刻に対応する顔画像、及び当該顔画像を撮影した時刻が表示される。氏名欄２０２には、被験者が所持するカードから読み取ったカードＩＤに対応する氏名が表示される。なお、カードＩＤをキーとして、顔画像検索システム１０６に格納された被験者データベース（図示省略）を検索することによって、氏名は取得することができる。顔検索結果欄２０３には、顔画像データベース３１０に登録された顔画像のうち、読取装置１０３が取得したカードＩＤに対応する顔画像及び当該顔画像を撮影した時刻が表示される。 As shown in FIGS. 2 and 3, the determination result display screens 200 and 230 include a room entry column 201, a name column 202, and a face search result column 203, and these pieces of information are displayed for each subject. In the room entry field 201, a face image corresponding to the time when the reading device 103 acquires the card ID from the subject's card and the time when the face image is captured are displayed. In the name column 202, the name corresponding to the card ID read from the card possessed by the subject is displayed. The name can be acquired by searching a subject database (not shown) stored in the face image search system 106 using the card ID as a key. The face search result field 203 displays a face image corresponding to the card ID acquired by the reading device 103 among the face images registered in the face image database 310 and the time when the face image was captured.
顔画像検索システム１０６が成りすましを検出していない場合、図２に示すように、判定結果表示画面２００の各入室者毎に設けられた表示領域２１０、２２０に、入室者の顔画像、氏名及び検索された顔画像検索結果が表示される。 When the face image search system 106 has not detected impersonation, as shown in FIG. 2, in the display areas 210 and 220 provided for each person entering the determination result display screen 200, the face image, name and The searched face image search result is displayed.
一方、顔画像検索システム１０６が成りすましを検出した場合、図３に示すように、判定結果表示画面２３０の成りすましが検出された入室者の表示領域２５０は、成りすましが検出されていない入室者の表示領域２４０と異なる態様で表示される。例えば、この成りすましが検出された場合の表示態様は、図３に示すように、通常と異なる色で表示領域の背景を表示したり、通常と異なる枠で表示領域を表示したり、さらに、音による警報を発してもよい。 On the other hand, when the face image search system 106 detects impersonation, as shown in FIG. 3, the display area 250 of the resident who has detected impersonation on the determination result display screen 230 displays the resident who has not been impersonated. The area 240 is displayed in a different manner. For example, when this impersonation is detected, as shown in FIG. 3, the background of the display area is displayed in a color different from the normal, the display area is displayed in a frame different from the normal, and a sound is displayed. An alarm may be issued.
この成りすましを検出した警報は、管理者が確認するまで継続され、連続的に発報しても、図４に示すように断続的に発報してもよい。断続的に発報する場合、前記の背景、枠が点滅するように表示される。また、警報音も断続的に発せられる。 The alarm that detects this impersonation is continued until the administrator confirms it, and may be issued continuously or intermittently as shown in FIG. In the case of intermittent notification, the background and frame are displayed so as to blink. Also, an alarm sound is emitted intermittently.
図５は、第１の実施の形態の管理サーバ１０５に格納される認証結果データベース３００を説明する図である。 FIG. 5 is a diagram illustrating the authentication result database 300 stored in the management server 105 according to the first embodiment.
認証結果データベース３００は、過去に試みられた認証に関する情報を格納し、時刻３０１、カードリーダＩＤ３０２、カードＩＤ３０３、判定結果３０４及び類似度３０５を含む。 The authentication result database 300 stores information related to authentications attempted in the past, and includes a time 301, a card reader ID 302, a card ID 303, a determination result 304, and a similarity 305.
時刻３０１は、この認証の元となるカードＩＤが取得された時刻である。なお、管理サーバ１０５がこの認証を判定した時刻でもよい。カードリーダＩＤ３０２は、この認証の元となるカードＩＤを取得した読取装置１０３を一意に識別するための識別情報である。カードＩＤ３０３は、この認証の元となるカードＩＤが記憶された記憶媒体の識別情報であり、当該記憶媒体を所持する被験者を一意に特定するために用いられる。 Time 301 is the time when the card ID that is the basis of this authentication is acquired. The time when the management server 105 determines this authentication may be used. The card reader ID 302 is identification information for uniquely identifying the reading device 103 that has acquired the card ID that is the basis of this authentication. The card ID 303 is identification information of the storage medium in which the card ID that is the basis of this authentication is stored, and is used to uniquely identify the subject who owns the storage medium.
判定結果３０４には、この認証が成功したか、失敗したかを示すフラグが格納される。類似度３０５は、この認証時に撮影された顔画像と、この認証に伴い検索された顔画像との類似度である。 The determination result 304 stores a flag indicating whether the authentication has succeeded or failed. The similarity 305 is a similarity between the face image taken at the time of authentication and the face image searched for with the authentication.
管理サーバ１０５は、被験者の認証を試みる毎に、認証結果データベース３００にデータを追加する。さらに、管理サーバ１０５は、認証結果データベース３００に追加されたデータを顔画像検索システム１０６に送る。顔画像検索システム１０６は、受信したデータを顔画像データベース３１０に追加する。 The management server 105 adds data to the authentication result database 300 every time it tries to authenticate the subject. Further, the management server 105 sends the data added to the authentication result database 300 to the face image search system 106. The face image search system 106 adds the received data to the face image database 310.
図６は、第１の実施の形態の顔画像検索システム１０６に格納される顔画像データベース３１０を説明する図である。 FIG. 6 is a diagram illustrating the face image database 310 stored in the face image search system 106 according to the first embodiment.
顔画像データベース３１０は、被験者の顔画像及び当該画像に関する情報（例えば、入退室履歴）を格納し、時刻３１１、カードリーダＩＤ３１２、カードＩＤ３１３、サーバＩＤ３１４、判定結果３１５、類似度３１６及び顔画像３１７を含む。 The face image database 310 stores the face image of the subject and information related to the image (for example, entry / exit history), time 311, card reader ID 312, card ID 313, server ID 314, determination result 315, similarity 316, and face image 317. including.
時刻３１１、カードリーダＩＤ３１２、カードＩＤ３１３、判定結果３１５及び類似度３１６には、それぞれ、認証結果データベース３００に含まれる時刻３０１、カードリーダＩＤ３０２、カードＩＤ３０３、判定結果３０４及び類似度３０５と同じ情報が格納される。すなわち、顔画像検索システム１０６は、各管理サーバ１０５から送られた上記データを、認証の際に撮影された画像とリンクさせて、顔画像データベース３１０に登録する。 The time 311, card reader ID 312, card ID 313, determination result 315, and similarity 316 include the same information as the time 301, card reader ID 302, card ID 303, determination result 304, and similarity 305 included in the authentication result database 300, respectively. Stored. That is, the face image search system 106 registers the data sent from each management server 105 in the face image database 310 by linking with the image taken at the time of authentication.
サーバＩＤ３１４は、上記データを顔画像検索システム１０６に送信した（すなわち、この認証を処理した）管理サーバ１０５を一意に識別するための識別情報である。顔画像３１７は、この認証時に撮影された被験者の顔画像のデータである。なお、顔画像３１７に、顔画像のバイナリデータではなく、画像ファイルへのリンクを格納してもよい。 The server ID 314 is identification information for uniquely identifying the management server 105 that has transmitted the data to the face image search system 106 (that is, processed this authentication). The face image 317 is data of the face image of the subject photographed at the time of authentication. The face image 317 may store a link to an image file instead of binary data of the face image.
なお、顔画像データベース３１０には、カメラ１０２が撮影した顔画像の他に、予め登録された被験者の顔画像を登録してもよい。また、撮影（カードＩＤの取得時刻）から所定期間を経過したデータを顔画像データベース３１０から削除してもよい。 In addition to the face image taken by the camera 102, a face image of the subject registered in advance may be registered in the face image database 310. In addition, data that has passed a predetermined period from shooting (card ID acquisition time) may be deleted from the face image database 310.
図７は、第１の実施の形態の成りすまし検出処理の全体を示すフローチャートである。図７に示す成りすまし検出処理は、顔画像検索システム１０６のプロセッサが、メモリに格納されたプログラムを実行することによって実行される。 FIG. 7 is a flowchart illustrating the entire spoofing detection process according to the first embodiment. The impersonation detection process shown in FIG. 7 is executed by the processor of the face image search system 106 executing a program stored in the memory.
第１の実施の形態では、被験者がカメラ１０２の撮影範囲に入ったタイミングで、カメラ１０２が被験者の顔画像を撮影する。すなわち、カメラ１０２は、常時、動画像を撮影し、フレームに変化があれば、当該フレームをキャプチャして静止画像を取得する。カメラ１０２は、撮影範囲に入った被験者の顔を撮影すると、撮影された顔画像を顔画像検索システム１０６に送る。顔画像検索システム１０６は、カメラ１０２が撮影した顔画像を受信することによって、成りすまし検出処理を開始する（Ｓ１０１）。 In the first embodiment, the camera 102 captures the face image of the subject when the subject enters the capturing range of the camera 102. That is, the camera 102 always captures a moving image, and captures the still image by capturing the frame if there is a change in the frame. When the camera 102 captures the face of the subject within the capturing range, the camera 102 sends the captured face image to the face image search system 106. The face image search system 106 receives the face image taken by the camera 102 and starts impersonation detection processing (S101).
次に、顔画像検索システム１０６は、認証の信頼度を判定する（Ｓ１０２）。この信頼度判定処理１の具体的な内容は図９から図１１を用いて後述する。認証の信頼度が低いと判定された場合、読取装置１０３からカードＩＤを取得するまでの間、カメラ１０２が取得した他の顔画像を用いて、認証の信頼度を判定する処理（Ｓ１０２）を繰り返す。一方、被験者が保持するカードを読取装置１０３に読み取らせると、読取装置１０３は、当該カードに格納されたカードＩＤを読み取り、読み取ったカードＩＤを管理サーバ１０５を経由して顔画像検索システム１０６に送る（Ｓ１０５）。 Next, the face image search system 106 determines the reliability of authentication (S102). Specific contents of the reliability determination processing 1 will be described later with reference to FIGS. If it is determined that the authentication reliability is low, a process of determining the authentication reliability using other face images acquired by the camera 102 until the card ID is acquired from the reading device 103 (S102). repeat. On the other hand, when the reading device 103 reads the card held by the subject, the reading device 103 reads the card ID stored in the card and sends the read card ID to the face image search system 106 via the management server 105. Send (S105).
読取装置１０３が読み取ったカードＩＤを取得すると（Ｓ１０３）、顔画像検索システム１０６は、信頼度判定処理１を停止して、信頼度の判定結果を出力する（Ｓ１０４）。 When the card ID read by the reader 103 is acquired (S103), the face image search system 106 stops the reliability determination process 1 and outputs a reliability determination result (S104).
また、顔画像検索システム１０６は、信頼度判定処理１を停止した後、読取装置１０３が読み取ったカードＩＤを用いて、さらに、認証の信頼度を判定する（Ｓ１０６）。この信頼度判定処理２の具体的な内容は図１２から図１４を用いて後述する。 Further, after stopping the reliability determination process 1, the face image search system 106 further determines the authentication reliability using the card ID read by the reading device 103 (S <b> 106). The specific contents of the reliability determination process 2 will be described later with reference to FIGS.
信頼度判定処理２では、読取装置１０３が読み取ったカードＩＤ及びカメラ１０２が取得した顔画像を用いて、認証の信頼度を判定し、信頼度を出力する（Ｓ１０７）。 In the reliability determination process 2, the authentication reliability is determined using the card ID read by the reading device 103 and the face image acquired by the camera 102, and the reliability is output (S107).
そして、信頼度判定処理１及び２の判定結果を用いて、成りすましを判定する（Ｓ１０８）。判定の結果、認証の信頼度が高いと判定された場合、この被験者は他人に成りすましている可能性が低いので、成りすまし検出「無」の表示画面（図２）を端末１０７に出力する（Ｓ１０９）。一方、認証の信頼度が低いと判定された場合、この被験者は他人に成りすましている可能性が高いので、成りすまし検出「有」の表示画面（図３）を端末１０７に出力する（Ｓ１１０）。 Then, impersonation is determined using the determination results of the reliability determination processes 1 and 2 (S108). As a result of the determination, if it is determined that the authentication reliability is high, the subject is unlikely to impersonate another person, and therefore, a display screen (FIG. 2) for impersonation detection “none” is output to the terminal 107 (S109). ). On the other hand, if it is determined that the authentication reliability is low, the subject is likely to impersonate another person, and therefore, a display screen (FIG. 3) of impersonation detection “present” is output to the terminal 107 (S110).
このステップＳ１１０における警報の発報の例を図８に示す。判定結果表示画面２６０には、入室者欄２０１、氏名欄２０２及び顔検索結果欄２０３が含まれ、これらの情報が被験者毎に表示される。判定結果表示画面２６０には、認証の信頼度が低い入室者の表示領域２７０は、認証の信頼度が高い入室者の表示領域２８０と異なる態様で表示される。この認証の信頼度が低い場合の表示態様は、通常と異なる色で表示領域の背景を表示したり、通常と異なる枠で表示領域を表示したりする。さらに、音による警報を発してもよい、連続的又は断続的に警報を発報してもよい。 An example of the alarm issuance in step S110 is shown in FIG. The determination result display screen 260 includes a room entry field 201, a name field 202, and a face search result field 203, and these pieces of information are displayed for each subject. On the determination result display screen 260, the display area 270 for the occupants with low authentication reliability is displayed in a different manner from the display area 280 for the occupants with high authentication reliability. As the display mode when the authentication reliability is low, the background of the display area is displayed in a color different from the normal, or the display area is displayed in a frame different from the normal. Furthermore, a warning by sound may be issued, or a warning may be issued continuously or intermittently.
その後、終了命令を待って処理を終了するが、終了命令が無ければステップＳ１０１に戻って、カメラ１０２より被験者の顔画像を取得する。 Thereafter, the process is terminated after waiting for an end command. If there is no end command, the process returns to step S101, and the face image of the subject is acquired from the camera 102.
次に、信頼度判定処理１（Ｓ１０２）の詳細について三つの例を説明する。 Next, three examples of details of the reliability determination process 1 (S102) will be described.
図９は、信頼度判定処理１（Ｓ１０２）の第１の例のフローチャートである。第１の例では、顔画像の類似度によって認証の信頼性を判定する。 FIG. 9 is a flowchart of a first example of reliability determination processing 1 (S102). In the first example, authentication reliability is determined based on the similarity of face images.
まず、顔画像検索システム１０６は、ステップＳ１０１において取得した１枚以上の被験者の顔画像をキーとして顔画像データベース３１０を検索し、所定の類似度以上の顔画像を抽出する（Ｓ１３２）。 First, the face image search system 106 searches the face image database 310 using the face image of one or more subjects acquired in step S101 as a key, and extracts face images having a predetermined similarity or higher (S132).
そして、顔画像データベース３１０から抽出された顔画像とステップＳ１０１で取得した顔画像との類似度の平均値を計算する（Ｓ１１３）。 Then, the average value of the similarity between the face image extracted from the face image database 310 and the face image acquired in step S101 is calculated (S113).
そして、計算された類似度の平均値と所定の閾値とを比較することによって、信頼度を判定する（Ｓ１１４）。具体的には、類似度の平均値が所定の閾値より高い場合、認証の信頼度が高いと判定する（Ｓ１１５）。一方、類似度の平均値が所定の閾値より低い場合、認証の信頼度が低いと判定する（Ｓ１１６）。この判定に用いられる閾値の数は、一つでも複数でもよい。複数の閾値を用いた場合、信頼度を高・中・低の多段階に区分けでき、Ｓ１０８からＳ１１０において「平常」「注意」「警戒」などの複数段階の警告を発報することができる。 Then, the reliability is determined by comparing the average value of the calculated similarities with a predetermined threshold (S114). Specifically, when the average value of the similarity is higher than a predetermined threshold, it is determined that the authentication reliability is high (S115). On the other hand, when the average value of the similarity is lower than the predetermined threshold, it is determined that the authentication reliability is low (S116). One or more thresholds may be used for this determination. When a plurality of threshold values are used, the reliability can be classified into multiple stages of high, medium, and low, and warnings of multiple stages such as “normal”, “caution”, and “warning” can be issued in S108 to S110.
なお、計算された類似度の合計値を用いて信頼度を判定してもよい。この合計値は、ヒット画像の類似度の合計値でも、類似度の高い順に所定数のヒット画像の類似度の合計値でもよい。また、計算された類似度の最小値や最大値を用いて信頼度を判定してもよい。全てのヒット画像の類似度の合計値を用いて信頼度を判定することによって、過去の認証実績を考慮して、認証の信頼度を判定することができる。 The reliability may be determined using the calculated total value of the similarities. This total value may be the total value of the similarity of hit images or the total value of the similarities of a predetermined number of hit images in descending order of similarity. Alternatively, the reliability may be determined using the calculated minimum or maximum similarity. By determining the reliability using the total value of the similarities of all hit images, the authentication reliability can be determined in consideration of past authentication results.
図１０は、信頼度判定処理１（Ｓ１０２）の第２の例のフローチャートである。第２の例では、当該カメラによる過去の認証実績によって認証の信頼度を判定する。 FIG. 10 is a flowchart of a second example of the reliability determination process 1 (S102). In the second example, authentication reliability is determined based on past authentication results by the camera.
まず、ステップＳ１０１において取得した１枚以上の被験者の顔画像と、顔画像データベース３１０に格納された顔画像とを比較し、顔画像データベース３１０に格納された顔画像の類似度を計算する（Ｓ１２９）。 First, the face image of one or more subjects acquired in step S101 is compared with the face image stored in the face image database 310, and the similarity between the face images stored in the face image database 310 is calculated (S129). ).
そして、計算された類似度と所定の閾値とを比較することによって、類似度が高い顔画像を選択する（Ｓ１２３）。 Then, a face image having a high similarity is selected by comparing the calculated similarity with a predetermined threshold (S123).
その後、当該顔画像を撮影したカメラ毎に、選択された顔画像を分類する（Ｓ１２４）。なお、カメラ毎に顔画像を分類することなく、ステップＳ１０１で取得した顔画像を撮影したカメラと同一のカメラによって撮影された画像を選択することによって、当該カメラによって撮影された顔画像と、他のカメラによって撮影された顔画像とを分類してもよい。 Thereafter, the selected face image is classified for each camera that has captured the face image (S124). It should be noted that the face image captured by the camera can be selected by selecting an image captured by the same camera as the camera that captured the face image acquired in step S101 without classifying the face image for each camera. You may classify | categorize with the face image image | photographed with this camera.
その後、分類された画像の信頼度を計算し（Ｓ１２５）、計算された信頼度を所定の閾値と比較することによって、認証の信頼度を判定する（Ｓ１２６）。この信頼度の判定は、例えば、分類された画像の認証成功時の類似度の和を計算し、計算された類似度を所定の閾値と比較することによって、認証の信頼度を判定する。 Thereafter, the reliability of the classified image is calculated (S125), and the reliability of authentication is determined by comparing the calculated reliability with a predetermined threshold (S126). In this determination of the reliability, for example, the authentication reliability is determined by calculating the sum of the similarities of the classified images when the authentication is successful and comparing the calculated similarity with a predetermined threshold.
また、分類された画像の数を計数し、計数された画像数を所定の閾値と比較し、画像数が大きい場合に認証の信頼度が高いと判定してもよい。分類された画像のうち認証に成功した画像の数を計数し、計数された画像数を所定の閾値と比較し、画像数が大きい場合に認証の信頼度が高いと判定してもよい。 Alternatively, the number of classified images may be counted, and the counted number of images may be compared with a predetermined threshold, and it may be determined that the authentication reliability is high when the number of images is large. The number of images that have been successfully authenticated out of the classified images may be counted, and the counted number of images may be compared with a predetermined threshold value. If the number of images is large, it may be determined that the authentication reliability is high.
また、分類された画像が撮影された際に計算された類似度と、今回の認証時に計算された類似度とを乗じた値の合計を求め、この合計値を所定の閾値と比較し、合計値が大きい場合に認証の信頼度が高いと判定してもよい。 In addition, the sum of values obtained by multiplying the similarity calculated when the classified image is taken and the similarity calculated at the time of this authentication is obtained, and the total value is compared with a predetermined threshold value. When the value is large, it may be determined that the reliability of authentication is high.
さらに、類似度や画像数を所定の閾値と比較するのではなく、画像を撮影したカメラ毎にこれらの値（類似度、画像数）を比較し、全部の中で当該カメラの占める割合が大きい場合に認証の信頼度が高いと判定してもよい。また、画像を撮影したカメラ毎にこれらの値（類似度、画像数）を比較し、１位となる当該カメラの占める割合と、２位となるカメラの占める割合との比が大きい場合に認証の信頼度が高いと判定してもよい。 Furthermore, instead of comparing the degree of similarity and the number of images with a predetermined threshold, these values (similarity and the number of images) are compared for each camera that has taken an image, and the ratio of the camera in the whole is large. In this case, it may be determined that the authentication reliability is high. In addition, these values (similarity and number of images) are compared for each camera that has taken an image, and authentication is performed when the ratio of the first camera to the second camera is large. It may be determined that the reliability of is high.
そして、信頼度が所定の閾値より大きければ、信頼度が高いと判断し（Ｓ１２７）、信頼度が所定の閾値より小さければ、信頼度が低いと判断する（Ｓ１２８）。 If the reliability is greater than a predetermined threshold, it is determined that the reliability is high (S127), and if the reliability is lower than the predetermined threshold, it is determined that the reliability is low (S128).
以上説明したように、第２の例では、顔画像データベース３１０から取得した顔画像の数によって認証の信頼度を判定することによって、過去の認証実績を考慮した警報を発報することができる。また、顔画像の類似度を計算しないので、少ない計算量で認証の信頼度を判定することができる。 As described above, in the second example, by determining the authentication reliability based on the number of face images acquired from the face image database 310, it is possible to issue an alarm in consideration of past authentication results. Further, since the similarity of face images is not calculated, the reliability of authentication can be determined with a small amount of calculation.
図１１は、信頼度判定処理１（Ｓ１０２）の第３の例のフローチャートである。 FIG. 11 is a flowchart of a third example of the reliability determination process 1 (S102).
まず、顔画像検索システム１０６は、ステップＳ１０１において取得した１枚以上の被験者の顔画像をキーとして顔画像データベース３１０を検索し、ステップＳ１０１で取得した顔画像と顔画像データベース３１０に格納された顔画像との類似度を計算し、所定の類似度以上の顔画像を抽出する（Ｓ１３７）。 First, the face image search system 106 searches the face image database 310 using the face image of one or more subjects acquired in step S101 as a key, and the face image acquired in step S101 and the face stored in the face image database 310. The similarity with the image is calculated, and a face image having a predetermined similarity or higher is extracted (S137).
その後、顔画像データベース３１０から抽出された顔画像の撮影日時によって、計算された類似度に重み付けをする（Ｓ１３３）。具体的には、顔画像データベース３１０から取得した顔画像の撮影日時と現在日時とを比較し、現在日時から撮影日時を減じた値（経過時間）を所定の基準で区分けして、各顔画像の重みを決定し、決定された係数を計算された類似度に乗じる。例えば、下記のように係数を決定することができる。
現在日時から３０月以内 １．５
３０日から６０日 １．０
６０日以上 ０．５
また、前述のように表を用いずに、所定の計算式によって重み（係数）を決定してもよい。例えば、最近の画像の重みと古い画像の重みとの差が大きくなるように、経過時間の対数値を用いた式によって重みを計算することができる。
Thereafter, the calculated similarity is weighted according to the shooting date and time of the face image extracted from the face image database 310 (S133). Specifically, the shooting date and time of the face image acquired from the face image database 310 are compared with the current date and time, and a value (elapsed time) obtained by subtracting the shooting date and time from the current date and time is divided according to a predetermined criterion, and each face image is , And multiply the calculated similarity by the determined coefficient. For example, the coefficient can be determined as follows.
Within 30 months from the current date and time 1.5
30 to 60 days 1.0
60 days or more 0.5
Further, as described above, the weight (coefficient) may be determined by a predetermined calculation formula without using a table. For example, the weight can be calculated by an expression using the logarithm of elapsed time so that the difference between the weight of the recent image and the weight of the old image becomes large.
その後、重み付けされた類似度の平均値と所定の閾値とを比較する（Ｓ１３４）。その結果、類似度の平均値が所定の閾値より小さければ、認証の信頼度が高いと判定する（Ｓ１３５）。一方、類似度の平均値が所定の閾値より大きければ、認証の信頼度が低いと判定する（Ｓ１３６）。 Thereafter, the average value of the weighted similarity is compared with a predetermined threshold (S134). As a result, if the average value of the similarities is smaller than a predetermined threshold, it is determined that the authentication reliability is high (S135). On the other hand, if the average value of the similarities is larger than a predetermined threshold, it is determined that the authentication reliability is low (S136).
第３の例においても、前述した第１の例と同様に、類似度の平均値ではなく、様々な統計値を用いて信頼度を判定することができる。 Also in the third example, as in the first example described above, the reliability can be determined using various statistical values instead of the average value of the similarities.
ここまで、前述した第１の例に重み付けを適用した処理について説明したが、前述した第２の例に第３の例の重み付けを適用することもできる。この場合、重み付けの係数の合計値が画像数となり、重み付けの係数の合計値を認証の信頼度の判定に用いることができる。 Up to this point, the processing in which weighting is applied to the above-described first example has been described. However, the weighting of the third example can also be applied to the above-described second example. In this case, the total value of the weighting coefficients becomes the number of images, and the total value of the weighting coefficients can be used for determination of the reliability of authentication.
以上説明したように、第３の例では、新しい画像は信頼度への貢献が高く、古い画像は信頼度への貢献が低くなることから、信頼度の判定精度を向上させることができる。 As described above, in the third example, the new image has a high contribution to the reliability, and the old image has a low contribution to the reliability. Therefore, it is possible to improve the determination accuracy of the reliability.
以上説明したように、第１の実施の形態によると、ユーザの顔画像およびカード情報に基づいて、成りすましを検出することによって、被験者の成りすましを精度よく発報することができる。また、予め登録された顔画像だけでなく、認証時に撮影された顔画像も用いてなりすましを判定することができる。 As described above, according to the first embodiment, impersonation of a subject can be accurately reported by detecting impersonation based on a user's face image and card information. In addition, not only pre-registered face images but also face images taken at the time of authentication can be used to determine impersonation.
次に、信頼度判定処理２（Ｓ１０６）の詳細について四つの例を説明する。 Next, four examples of details of the reliability determination process 2 (S106) will be described.
信頼度判定処理２（Ｓ１０６）の第１の例のフローチャートである。第１の例では、取得したカードＩＤを用いることなく、顔画像の類似度によって認証の信頼性を判定する。 It is a flowchart of the 1st example of the reliability determination process 2 (S106). In the first example, authentication reliability is determined based on the similarity of face images without using the acquired card ID.
信頼度判定処理２（Ｓ１０６）の第１の例は、前述した信頼度判定処理１の第１の例と同じであるため、詳細な説明は省略する。 Since the first example of the reliability determination process 2 (S106) is the same as the first example of the reliability determination process 1, the detailed description thereof is omitted.
図１２は、信頼度判定処理２（Ｓ１０６）の第２の例のフローチャートである。第２の例では、当該カメラによる過去の認証実績によって認証の信頼度を判定する。 FIG. 12 is a flowchart of a second example of the reliability determination process 2 (S106). In the second example, authentication reliability is determined based on past authentication results by the camera.
まず、顔画像検索システム１０６は、ステップＳ１０１において取得したカードＩＤをキーとして顔画像データベース３１０を検索し、当該カードＩＤに関連付けられた顔画像を取得する（Ｓ１２１）。 First, the face image search system 106 searches the face image database 310 using the card ID acquired in step S101 as a key, and acquires a face image associated with the card ID (S121).
そして、顔画像データベース３１０から抽出された顔画像と、ステップＳ１０１で取得した顔画像との類似度を計算する（Ｓ１２２）。 Then, the similarity between the face image extracted from the face image database 310 and the face image acquired in step S101 is calculated (S122).
その後、ステップＳ１２３〜Ｓ１２８の処理を実行する。このステップＳ１２３〜Ｓ１２８の処理は、前述した信頼度判定処理１の第２の例の処理と同じである。 Thereafter, the processes of steps S123 to S128 are executed. The processes in steps S123 to S128 are the same as those in the second example of the reliability determination process 1 described above.
図１３は、信頼度判定処理２（Ｓ１０６）の第３の例のフローチャートである。第３の例は、前述した第１及び第２の例に付加される変形例で、顔画像データベース３１０から取得した顔画像を撮影した日時に従って画像毎に重み付けをする。 FIG. 13 is a flowchart of a third example of the reliability determination process 2 (S106). The third example is a modification added to the first and second examples described above, and weights each image according to the date and time when the face image acquired from the face image database 310 is captured.
まず、顔画像検索システム１０６は、ステップＳ１０３において取得したカードＩＤをキーとして顔画像データベース３１０を検索し、当該カードＩＤに関連付けられた顔画像を取得する（Ｓ１３１）。 First, the face image search system 106 searches the face image database 310 using the card ID acquired in step S103 as a key, and acquires a face image associated with the card ID (S131).
そして、顔画像データベース３１０から抽出された顔画像と、ステップＳ１０１で取得した（すなわち、この認証において撮影された）顔画像との類似度を計算する（Ｓ１３２）。 Then, the degree of similarity between the face image extracted from the face image database 310 and the face image acquired in step S101 (that is, taken in this authentication) is calculated (S132).
その後、ステップＳ１３３〜Ｓ１３６の処理を実行する。このステップＳ１３３〜Ｓ１３６の処理は、前述した信頼度判定処理１の第３の例の処理と同じである。 Then, the process of step S133-S136 is performed. The processes in steps S133 to S136 are the same as those in the third example of the reliability determination process 1 described above.
図１４は、信頼度判定処理２（Ｓ１０６）の第４の例のフローチャートである。第４の例では、顔画像のヒット数によって認証の信頼性を判定する。 FIG. 14 is a flowchart of a fourth example of the reliability determination process 2 (S106). In the fourth example, authentication reliability is determined based on the number of hits in the face image.
まず、顔画像検索システム１０６は、ステップＳ１０３において取得したカードＩＤをキーとして顔画像データベース３１０を検索し、当該カードＩＤに関連付けられた顔画像を抽出する（Ｓ１４１）。 First, the face image search system 106 searches the face image database 310 using the card ID acquired in step S103 as a key, and extracts a face image associated with the card ID (S141).
そして、顔画像データベース３１０から抽出された顔画像の数を計数し（Ｓ１４２）、計数された顔画像数と所定の閾値とを比較する（Ｓ１４３）。その結果、顔画像数が大ければ、認証の信頼度が高いと判定する（Ｓ１４４）。一方、顔画像数が小さければ、認証の信頼度が低いと判定する（Ｓ１４５）。この判定に用いられる閾値の数は、一つでも複数でもよい。複数の閾値を用いた場合、信頼度を高・中・低の多段階に区分けでき、「平常」「注意」「警戒」などの複数段階の警告を発報することができる。 Then, the number of face images extracted from the face image database 310 is counted (S142), and the counted number of face images is compared with a predetermined threshold value (S143). As a result, if the number of face images is large, it is determined that the reliability of authentication is high (S144). On the other hand, if the number of face images is small, it is determined that the authentication reliability is low (S145). One or more thresholds may be used for this determination. When a plurality of thresholds are used, the reliability can be classified into multiple levels of high, medium, and low, and warnings of multiple levels such as “normal”, “caution”, and “warning” can be issued.
これは、抽出された顔画像の数が多い場合、当該被験者は頻繁に認証を試みているので、この認証が適切である可能性が高く、信頼度が高いと判定することができる。一方、抽出された顔画像の数が少ない場合、当該被験者はたまにしか認証を試みていないので、この認証が適切でない可能性があり、認証の信頼度が低いと判定することができる。 This is because when the number of extracted face images is large, the subject frequently attempts authentication, and thus it is highly possible that this authentication is appropriate, and it can be determined that the reliability is high. On the other hand, when the number of extracted face images is small, since the subject only attempts to authenticate occasionally, this authentication may not be appropriate, and it can be determined that the reliability of authentication is low.
なお、抽出された全ての画像の数ではなく、抽出された画像のうち認証に成功した場合の画像数を用いてもよい。認証に成功した際に撮影された顔画像のみを用いる（認証に失敗した際に撮影された顔画像を除外する）ことによって、信頼度の判定精度を向上させることができる。 In addition, you may use the number of images at the time of authentication succeeding among the extracted images instead of the number of all the extracted images. By using only the face image taken when the authentication is successful (excluding the face image taken when the authentication is unsuccessful), the reliability determination accuracy can be improved.
また、特定の管理サーバ１０５又は特定の読取装置１０３を用いた認証の結果（認証試行回数、認証成功回数）に基づいて信頼度を判定してもよい。特定の場所における認証回数を用いることによって、通常と異なる行動を検出することができ、信頼度の判定精度を向上させることができる。 Further, the reliability may be determined based on the result of authentication using the specific management server 105 or the specific reading device 103 (number of authentication attempts, number of successful authentications). By using the number of times of authentication at a specific place, an action different from normal can be detected, and the determination accuracy of the reliability can be improved.
さらに、過去の認証結果のうち、認証失敗回数を所定の閾値と比較し、認証失敗回数が多い場合に警報を発報してもよい。 Further, among the past authentication results, the number of authentication failures may be compared with a predetermined threshold, and an alarm may be issued when the number of authentication failures is large.
信頼度判定処理２において、前述した第１から第４の例を併用してもよい。すなわち、いずれかの判定で信頼度が低いと判定された場合、成りすまし「有」と判定することができる。また、複数の判定で信頼度が低いと判定された場合のみ、成りすまし「有」と判定することもできる。 In the reliability determination process 2, the first to fourth examples described above may be used in combination. That is, when it is determined that the reliability is low in any of the determinations, it is possible to determine impersonation “present”. Further, only when it is determined that the reliability is low in a plurality of determinations, it is possible to determine impersonation “present”.
次に、信頼度判定処理１と信頼度判定処理２との関係について説明する。 Next, the relationship between the reliability determination process 1 and the reliability determination process 2 will be described.
（１）第１のパターンでは、信頼度判定処理１と信頼度判定処理２とは同じ処理で、信頼度判定処理２では、顔画像データベース３１０のうち、信頼度判定処理１による処理が終わっていない部分についてカードＩＤを用いて絞り込んだ後、画像間の類似度を計算する。 (1) In the first pattern, the reliability determination process 1 and the reliability determination process 2 are the same process. In the reliability determination process 2, the process by the reliability determination process 1 in the face image database 310 is finished. After narrowing down the non-existing portion using the card ID, the similarity between images is calculated.
例えば、信頼度判定処理１（Ｓ１０２）及び信頼度判定処理２（Ｓ１０６）の両方が第２の例である場合、被験者がカメラ１０２の撮影範囲に入ったタイミングで、カメラ１０２が被験者の顔画像を撮影し（Ｓ１０１）、取得した被験者の顔画像と、顔画像データベース３１０に格納された顔画像とを比較し、顔画像データベース３１０に格納された顔画像の類似度を計算し（Ｓ１２９）、選択された顔画像をカメラ毎に分類し（Ｓ１２４）、分類された画像の信頼度を計算する（Ｓ１２５）。信頼度判定処理１の実行中に、読取装置１０３がカードＩＤを読み取ると（Ｓ１０５）、信頼度判定処理１が終了し（Ｓ１０４）、信頼度判定処理２が開始する（Ｓ１０６）。信頼度判定処理２では、顔画像データベース３１０に含まれる顔画像のうち、信頼度判定処理１で処理が終わっていない部分の画像について処理を実行する。 For example, when both of the reliability determination process 1 (S102) and the reliability determination process 2 (S106) are the second example, the camera 102 detects the face image of the subject at the timing when the subject enters the imaging range of the camera 102. (S101), the acquired face image of the subject is compared with the face image stored in the face image database 310, and the similarity of the face image stored in the face image database 310 is calculated (S129), The selected face image is classified for each camera (S124), and the reliability of the classified image is calculated (S125). If the reading device 103 reads the card ID during the execution of the reliability determination process 1 (S105), the reliability determination process 1 ends (S104), and the reliability determination process 2 starts (S106). In the reliability determination process 2, the process is executed on the portion of the face image included in the face image database 310 that has not been processed in the reliability determination process 1.
そして、信頼度判定処理１によって出力された中間的な信頼度（Ｓ１０４）及び信頼度判定処理２によって出力された信頼度（Ｓ１０７）に基づいて、成りすましを判定する（Ｓ１０８）。 Then, impersonation is determined based on the intermediate reliability (S104) output by the reliability determination processing 1 and the reliability (S107) output by the reliability determination processing 2 (S108).
第１のパターンによると、読取装置１０３がカードＩＤを読み取る前から、取得した被験者の顔画像を用いて顔画像データベース３１０と照合又は検索を開始するので、読取装置１０３がカードＩＤを取得してから成りすましの判定結果が得られるまでの時間を短くすることができる。 According to the first pattern, before the reading device 103 reads the card ID, the collation or search with the face image database 310 is started using the acquired face image of the subject, so that the reading device 103 acquires the card ID. It is possible to shorten the time until the determination result of impersonation is obtained.
なお、読取装置１０３がカードＩＤを読み取る前に、顔画像データベース３１０に格納された全ての顔画像について信頼度判定処理１が完了している場合、信頼度判定処理２を実行しなくてもよい。また、信頼度判定処理２を実行して、信頼度判定処理１によって判定された信頼度及び信頼度判定処理２によって判定された信頼度に基づいて、成りすましを判定し、判定の信頼性の確度を向上させてもよい。 Note that if the reliability determination process 1 has been completed for all face images stored in the face image database 310 before the reading device 103 reads the card ID, the reliability determination process 2 may not be executed. . Further, the reliability determination process 2 is executed, impersonation is determined based on the reliability determined by the reliability determination process 1 and the reliability determined by the reliability determination process 2, and the reliability of the determination reliability May be improved.
（２）第２のパターンでは、信頼度判定処理１（Ｓ１０２）と信頼度判定処理２（Ｓ１０６）とは異なる処理で、信頼度判定処理２は信頼度判定処理１より厳しく判定される。 (2) In the second pattern, the reliability determination process 1 (S102) and the reliability determination process 2 (S106) are different processes, and the reliability determination process 2 is determined more strictly than the reliability determination process 1.
例えば、同じ画像の集合を処理した場合、信頼度判定処理１で類似と判定される画像の数が、信頼度判定処理２で類似と判定される画像の数より多くなったり、信頼度判定処理１による類似度の判定閾値が信頼度判定処理２による類似度の判定閾値より低くなったり、信頼度判定処理１による類似度が信頼度判定処理２による類似度より高くなったりする。 For example, when the same set of images is processed, the number of images determined to be similar in the reliability determination process 1 is greater than the number of images determined to be similar in the reliability determination process 2, or the reliability determination process The similarity determination threshold by 1 is lower than the similarity determination threshold by the reliability determination process 2, or the similarity by the reliability determination process 1 is higher than the similarity by the reliability determination process 2.
より具体的には、信頼度判定処理１（Ｓ１０２）及び信頼度判定処理２（Ｓ１０６）の両方が第３の例であるが、判定閾値が違う場合、ステップＳ１３２において顔画像データベース３１０から顔画像を抽出する際の閾値を、信頼度判定処理１では緩く設定し、信頼度判定処理２では厳しく設定する。そして、信頼度判定処理１で顔画像データベース３１０から抽出された顔画像について、信頼度判定処理２で処理をする。すなわち、信頼度判定処理１で顔画像データベース３１０から抽出された顔画像について、信頼度判定処理２のステップＳ１３１においてカードＩＤをキーにして検索する。 More specifically, both the reliability determination process 1 (S102) and the reliability determination process 2 (S106) are the third example. However, when the determination thresholds are different, the face image is extracted from the face image database 310 in step S132. In the reliability determination process 1, the threshold value for extracting is set loosely, and in the reliability determination process 2 is set strictly. Then, the face image extracted from the face image database 310 in the reliability determination process 1 is processed in the reliability determination process 2. That is, the face image extracted from the face image database 310 in the reliability determination process 1 is searched using the card ID as a key in step S131 of the reliability determination process 2.
（３）第３のパターンでは、信頼度判定処理１（Ｓ１０２）と信頼度判定処理２（Ｓ１０６）とは異なる処理で、信頼度判定処理１は信頼度判定処理２より高速であり、信頼度判定処理２は信頼度判定処理１より高精度で処理される。 (3) In the third pattern, the reliability determination process 1 (S102) and the reliability determination process 2 (S106) are different processes. The reliability determination process 1 is faster than the reliability determination process 2, and the reliability The determination process 2 is processed with higher accuracy than the reliability determination process 1.
例えば、顔画像データベース３１０に、ピクセル数が少ない粗い顔画像と、ピクセル数が多い詳細な顔画像とが含まれている場合、信頼度判定処理１（Ｓ１０２）では、粗い顔画像を用いて高速かつ低精度で画像の類否を判定し、信頼度判定処理２（Ｓ１０６）では、信頼度判定処理１によって絞り込まれた画像について、詳細な顔画像を用いて高精度かつ低速に画像の類否を判定する。 For example, when the face image database 310 includes a rough face image with a small number of pixels and a detailed face image with a large number of pixels, the reliability determination process 1 (S102) uses the rough face image to perform high-speed processing. In addition, in the reliability determination process 2 (S106), the image similarity is determined with high accuracy and low speed using a detailed face image in the reliability determination process 2 (S106). Determine.
第２及び第３のパターンによると、取得した被験者の顔画像を用いて、読取装置１０３がカードＩＤを読み取る前から顔画像データベース３１０と概略の照合又は検索をし、読取装置１０３がカードＩＤを読み取った後に、概略の照合又は検索がされた顔画像と詳細な照合又は検索をするので、読取装置１０３がカードＩＤを取得してから成りすましの判定結果が得られるまでの時間を短くすることができる。 According to the second and third patterns, using the acquired face image of the subject, the reader 103 roughly checks or searches the face image database 310 before reading the card ID, and the reader 103 determines the card ID. After the reading, detailed matching or searching is performed with the face image that has been roughly checked or searched, so that it is possible to shorten the time from when the reading device 103 acquires the card ID until the impersonation determination result is obtained. it can.
（４）第４のパターンでは、前述した第１から第３のパターンにおいて、信頼度判定処理２（Ｓ１０６）の実行を制御する。 (4) In the fourth pattern, the execution of the reliability determination process 2 (S106) is controlled in the first to third patterns described above.
例えば、読取装置１０３がカードＩＤを読み取る前に、顔画像データベース３１０に格納された全ての顔画像について信頼度判定処理１が完了している場合、信頼度判定処理１によって判定された信頼度を使用し、信頼度判定処理２を実行しない。 For example, when the reliability determination process 1 is completed for all the face images stored in the face image database 310 before the reading device 103 reads the card ID, the reliability determined by the reliability determination process 1 is determined. Used and the reliability determination process 2 is not executed.
また、読取装置１０３がカードＩＤを読み取る前に、顔画像データベース３１０に格納された一部の顔画像について信頼度判定処理１が完了していないくても、信頼度判定処理１によって信頼度が高いと判定された場合、信頼度判定処理２を実行しない。すなわち、信頼度判定処理１によって信頼度が高いと判定されなかった場合に、信頼度判定処理２を実行する。 Even if the reliability determination process 1 is not completed for some of the face images stored in the face image database 310 before the reading device 103 reads the card ID, the reliability determination process 1 increases the reliability. If it is determined to be high, the reliability determination process 2 is not executed. That is, when the reliability determination process 1 does not determine that the reliability is high, the reliability determination process 2 is executed.
第４のパターンによると、取得した被験者の顔画像を用いて、読取装置１０３がカードＩＤを読み取る前から顔画像データベース３１０と概略の照合又は検索をし、読取装置１０３がカードＩＤを読み取った際に、認証の信頼度が高いと判定された場合、読取装置１０３がカードＩＤを取得した後の照合又は検索を行わないので、読取装置１０３がカードＩＤを取得してから成りすましの判定結果が得られるまでの時間を短くすることができる。 According to the fourth pattern, when the reader 103 reads the card ID before the reader 103 reads the card ID, the face image database 310 is roughly checked or searched before the card ID is read. In addition, if it is determined that the authentication reliability is high, the reader 103 does not perform collation or search after acquiring the card ID, and thus the impersonation determination result is obtained after the reader 103 acquires the card ID. The time until it can be shortened.
以上説明したように、本発明の第１の実施形態によると、読取装置１０３がカードＩＤを読み取る前から、取得した被験者の顔画像を用いて顔画像データベース３１０との照合又は検索を開始するので、読取装置１０３がカードＩＤを取得してから成りすましの判定結果が得られるまでの時間を短くすることができる。 As described above, according to the first embodiment of the present invention, before the reading device 103 reads the card ID, the collation or search with the face image database 310 is started using the acquired face image of the subject. The time from when the reading device 103 acquires the card ID until the impersonation determination result is obtained can be shortened.
＜実施形態２＞
前述した第１の実施の形態では、カメラ１０２の撮影範囲内の状態、すなわち、カメラ１０２が連続的に撮影する動画像のフレームに変化があれば、当該フレームをキャプチャして静止画像を撮影し、撮影された画像に含まれる被験者の顔画像を顔画像データベース３１０に蓄積している。しかし、顔画像データベース３１０には、様々な方向から見た、様々な大きさの顔画像が保存されているので、蓄積されている顔画像には、同一人でも類似度が高い画像と、類似度が低い画像とが混在している。このように、カメラに正対した場合の顔画像との類似度が高い顔画像と、類似度が低い顔画像とが混在することによって、信頼度の判定精度が低下する。
<Embodiment 2>
In the first embodiment described above, if there is a change in the state within the shooting range of the camera 102, that is, if there is a change in the frame of the moving image that the camera 102 continuously shoots, the frame is captured and a still image is shot. The face image of the subject included in the photographed image is stored in the face image database 310. However, since face images of various sizes viewed from various directions are stored in the face image database 310, the stored face images are similar to images that have a high degree of similarity even for the same person. Low-quality images are mixed. As described above, the face image having a high degree of similarity with the face image when facing the camera and the face image having a low degree of similarity coexist, thereby lowering the reliability determination accuracy.
そこで、本発明の第２の実施の形態では、被験者がカメラ１０２の撮影範囲に入って、適切な顔画像が撮影可能なタイミングで、カメラ１０２が被験者の顔画像を撮影する。すなわち、読取装置１０３に人感センサ１０８を設け、読取装置１０３の前に被験者が立った（すなわち、カメラ１０２の撮影範囲に被験者が入って、カメラに正対した）ことを、人感センサ１０８が検出した場合、カメラ１０２が被験者の顔画像を撮影する。人感センサ１０８には、例えば、赤外線センサや、超音波センサを用いることができる。 Therefore, in the second embodiment of the present invention, the camera 102 captures the face image of the subject at a timing when the subject enters the capturing range of the camera 102 and an appropriate face image can be captured. That is, the human sensor 108 is provided in the reading device 103, and the human sensor 108 indicates that the subject stands in front of the reading device 103 (that is, the subject enters the shooting range of the camera 102 and faces the camera). Is detected, the camera 102 captures a face image of the subject. As the human sensor 108, for example, an infrared sensor or an ultrasonic sensor can be used.
人感センサ１０８を、読取装置１０３ではなくカメラ１０２に設け、カメラ１０２の撮影範囲に被験者が入ったことを人感センサ１０８が検出した場合、カメラ１０２が被験者の顔画像を撮影してもよい。 The human sensor 108 may be provided in the camera 102 instead of the reading device 103, and when the human sensor 108 detects that the subject has entered the imaging range of the camera 102, the camera 102 may capture a face image of the subject. .
カメラ１０２は、撮影範囲に入った被験者の顔を撮影すると、撮影された顔画像を顔画像検索システム１０６に送る。顔画像検索システム１０６は、カメラ１０２が撮影した顔画像を受信することによって、成りすまし検出処理を開始する（Ｓ１０１）。以後の処理は、前述した第１の実施形態と同じである。 When the camera 102 captures the face of the subject within the capturing range, the camera 102 sends the captured face image to the face image search system 106. The face image search system 106 receives the face image taken by the camera 102 and starts impersonation detection processing (S101). The subsequent processing is the same as in the first embodiment described above.
なお、第２の実施の形態は、前述した第１の実施の形態だけでなく、後述する第３の実施の形態にも適用することができる。 Note that the second embodiment can be applied not only to the first embodiment described above but also to a third embodiment described later.
以上説明したように、第２の実施の形態では、被験者の顔がカメラ１０２の撮影範囲に入ったタイミングで顔画像を撮影するので、照合に不適な顔画像の蓄積が抑制され、このシステムを長期間運用しても、顔画像データベース３１０の容量の増加を抑制することができる。よって、ストレージ装置（磁気ディスク等）の記憶容量が小さい場合でも、顔画像データベース３１０をストレージ装置に格納することができる。また、顔画像データを削除するためのバッチ処理を実行する必要がない。 As described above, in the second embodiment, since the face image is taken when the subject's face enters the shooting range of the camera 102, accumulation of face images unsuitable for collation is suppressed, and this system is Even when operated for a long period of time, an increase in the capacity of the face image database 310 can be suppressed. Therefore, even when the storage capacity of the storage device (such as a magnetic disk) is small, the face image database 310 can be stored in the storage device. Further, there is no need to execute batch processing for deleting face image data.
＜実施形態３＞
前述した第１の実施の形態では、例えば被験者が保持するカードを読取装置１０３に読み取らせると、読取装置１０３は、当該カードに格納されたカードＩＤを読み取り、読み取ったカードＩＤを管理サーバ１０５を経由して顔画像検索システム１０６に送信する（Ｓ１０３）。読取装置１０３がカードＩＤを読み出す（すなわち、被験者が所持する）記憶媒体は、第１の実施形態で例示した磁気カード、ＩＣカード、無線タグに限らず、車両用鍵、ドア用鍵、無線タグ等に付与され、これらに記憶されている識別情報を利用することができる。また、記憶媒体に格納されたカードＩＤだけではなく、指紋、指静脈パターン、掌静脈パターン、虹彩等の、被験者に固有の生体情報を用いてもよい。
<Embodiment 3>
In the first embodiment described above, for example, when the reading device 103 reads a card held by the subject, the reading device 103 reads the card ID stored in the card and stores the read card ID in the management server 105. Then, it is transmitted to the face image search system 106 (S103). The storage medium from which the reading device 103 reads the card ID (that is, possessed by the subject) is not limited to the magnetic card, IC card, and wireless tag exemplified in the first embodiment, but a vehicle key, door key, and wireless tag. Etc., and the identification information stored in these can be used. Further, not only the card ID stored in the storage medium but also biological information unique to the subject such as a fingerprint, a finger vein pattern, a palm vein pattern, and an iris may be used.
１０２ カメラ
１０３ 読取装置
１０４ コントローラ
１０５ 管理サーバ
１０６ 顔画像検索システム
１０７ 端末
１０８ 人感センサ
102 Camera 103 Reading Device 104 Controller 105 Management Server 106 Face Image Search System 107 Terminal 108 Human Sensor
Claims (14)
被験者を識別するための識別情報又は生体情報を取得する読取装置と、
前記読取装置によって取得された情報を認証する認証装置と、
被験者の顔画像を撮影するカメラと、
警報を発報する端末に接続され、前記カメラによって撮影された画像を蓄積する画像データベースを有する管理装置と、を備え、
前記管理装置は、
前記カメラが顔画像を取得したことを契機に、当該顔画像と前記画像データベースに蓄積された画像との類似度を判定する第１の判定処理と、
前記読取装置が情報を取得したことを契機に、当該読取装置が取得した情報を用いて、前記画像データベースを検索し、前記カメラが取得した顔画像と前記検索された画像との類似度を判定する第２の判定処理と、
前記第１の判定処理の判定結果及び第２の判定処理の判定結果に基づいて、前記認証の信頼度が低いと判定された場合、警報を発するためのデータを前記端末に送信する処理と、を実行することを特徴とする認証システム。 An authentication system for authenticating a subject,
A reader for acquiring identification information or biological information for identifying a subject; and
An authentication device for authenticating information acquired by the reading device;
A camera that captures the subject's face image;
A management device connected to a terminal that issues an alarm and having an image database for storing images taken by the camera;
The management device
A first determination process for determining a similarity between the face image and an image stored in the image database, when the camera acquires a face image;
When the reading device acquires information, the information acquired by the reading device is used to search the image database, and the similarity between the face image acquired by the camera and the searched image is determined. A second determination process to
Based on the determination result of the first determination process and the determination result of the second determination process, when it is determined that the reliability of the authentication is low, a process of transmitting data for issuing an alarm to the terminal; The authentication system characterized by performing.
前記第１の判定処理は、前記カメラが顔画像を取得した後に開始し、前記読取装置が情報を取得した場合に停止し、
前記第２の判定処理は、前記読取装置が情報を取得した後に開始し、前記画像データベースのうち、前記第１の判定処理によって処理がされていない部分について処理をすることを特徴とする請求項１に記載の認証システム。 The first determination process and the second determination process are the same process,
The first determination process starts after the camera acquires a face image and stops when the reader acquires information,
The second determination process starts after the reading apparatus acquires information, and processes a portion of the image database that has not been processed by the first determination process. The authentication system according to 1.
前記第２の判定処理は、前記第１の判定処理によって類似と判定された画像のみについて処理をすることを特徴とする請求項１に記載の認証システム。 The first determination process is a process in which the number of images determined to be similar is greater than that of the second determination process,
2. The authentication system according to claim 1, wherein the second determination process is performed only on images determined to be similar by the first determination process.
前記第２の判定処理は、前記第１の判定処理によって類似と判定された画像のみについて処理をすることを特徴とする請求項１に記載の認証システム。 The first determination process is a faster process than the second determination process,
2. The authentication system according to claim 1, wherein the second determination process is performed only on images determined to be similar by the first determination process.
前記カメラが取得した顔画像を用いて前記画像データベースを検索し、
前記画像データベースに蓄積された画像と前記顔画像との類似度を計算し、
前記計算された類似度と所定の閾値とを比較することによって、類似度が高い顔画像を前記画像データベースから抽出し、
前記抽出された画像を、該画像を撮影したカメラ毎に分類し、
前記分類された画像を解析した結果、当該カメラの位置で当該被験者が多数回の認証をしていると判定された場合、当該認証の信頼度が高いと判定することを特徴とする請求項１から４のいずれか一つ記載の認証システム。 The management device, as at least one of the first determination process and the second determination process,
Search the image database using the face image acquired by the camera,
Calculating the similarity between the image stored in the image database and the face image;
Extracting a face image having a high similarity from the image database by comparing the calculated similarity with a predetermined threshold;
The extracted images are classified for each camera that captured the images,
2. The analysis according to claim 1, wherein, as a result of analyzing the classified image, if it is determined that the subject has been authenticated a number of times at the position of the camera, the reliability of the authentication is determined to be high. 5. The authentication system according to any one of 4 to 4.
前記計算された画像の類似度に、前記画像の撮影日時が新しければ大きな値となる重み付けをし、
前記重み付けされた類似度の平均と所定の閾値とを比較し、
前記比較の結果、前記類似度が低いと判定された場合、前記認証の信頼度が低いと判定することを特徴とする請求項１から４のいずれか一つに記載の認証システム。 The management device, as at least one of the first determination process and the second determination process,
The calculated image similarity is weighted to a large value if the image capturing date / time of the image is new,
Comparing the weighted similarity average with a predetermined threshold;
The authentication system according to any one of claims 1 to 4, wherein if the similarity is determined to be low as a result of the comparison, the authentication reliability is determined to be low.
前記読取装置によって取得された情報を認証する認証装置と、を備える認証システムにおける認証の信頼度を判定する方法であって、
前記認証システムは、被験者の顔画像を撮影するカメラと、警報を発報する端末に接続され、前記カメラによって撮影された画像を蓄積する画像データベースを有する管理装置と、を含み、
前記方法は、
前記管理装置が、前記カメラが顔画像を取得したことを契機に、当該顔画像と前記画像データベースに蓄積された画像との類似度を判定する第１の判定処理ステップと、
前記管理装置が、前記読取装置が情報を取得したことを契機に、当該読取装置が取得した情報を用いて、前記画像データベースを検索し、前記カメラが取得した顔画像と前記検索された画像との類似度を判定する第２の判定処理ステップと、
前記管理装置が、前記第１の判定処理の判定結果及び第２の判定処理の判定結果に基づいて、前記認証の信頼度が低いと判定された場合、警報を発するためのデータを前記端末に送信する第３のステップとを含む認証の信頼度の判定方法。 A reader for acquiring identification information or biological information for identifying a subject; and
An authentication device that authenticates information acquired by the reading device, and a method for determining the reliability of authentication in an authentication system comprising:
The authentication system includes a camera that captures a face image of a subject, and a management device that has an image database that is connected to a terminal that issues an alarm and stores images captured by the camera.
The method
A first determination processing step in which the management device determines a similarity between the face image and the image stored in the image database when the camera acquires the face image;
The management device searches the image database using the information acquired by the reading device when the reading device acquires information, and the face image acquired by the camera and the searched image A second determination processing step for determining the similarity of
When the management device determines that the reliability of the authentication is low based on the determination result of the first determination process and the determination result of the second determination process, data for issuing an alarm to the terminal And a third step of transmitting the authentication reliability determination method.
前記第１の判定処理ステップは、前記カメラが顔画像を取得した後に開始し、前記読取装置が情報を取得した場合に停止し、
前記第２の判定処理ステップは、前記読取装置が情報を取得した後に開始し、前記画像データベースのうち、前記第１の判定処理によって処理がされていない部分について処理をすることを特徴とする請求項８に記載の認証の信頼度の判定方法。 The first determination process and the second determination process are the same process,
The first determination processing step starts after the camera acquires a face image and stops when the reading apparatus acquires information;
The second determination processing step starts after the reading device acquires information, and processes a portion of the image database that has not been processed by the first determination processing. Item 9. A method of determining the reliability of authentication according to Item 8.
前記第２の判定処理ステップは、前記第１の判定処理によって類似と判定された画像のみについて処理をすることを特徴とする請求項８に記載の認証の信頼度の判定方法。 The first determination process is a process in which the number of images determined to be similar is greater than that of the second determination process,
9. The authentication reliability determination method according to claim 8, wherein the second determination processing step performs processing only on an image determined to be similar by the first determination processing.
前記第２の判定処理ステップは、前記第１の判定処理によって類似と判定された画像のみについて処理をすることを特徴とする請求項８に記載の認証の信頼度の判定方法。 The first determination process is a faster process than the second determination process,
9. The authentication reliability determination method according to claim 8, wherein the second determination processing step performs processing only on an image determined to be similar by the first determination processing.
前記カメラが取得した顔画像を用いて前記画像データベースを検索し、
前記画像データベースに蓄積された画像と前記顔画像との類似度を計算し、
前記計算された類似度と所定の閾値とを比較することによって、類似度が高い顔画像を前記画像データベースから抽出し、
前記抽出された画像を、該画像を撮影したカメラ毎に分類し、
前記分類された画像を解析した結果、当該カメラの位置で当該被験者が多数回の認証をしていると判定された場合、当該認証の信頼度が高いと判定することを特徴とする請求項８から１１のいずれか一つ記載の認証の信頼度の判定方法。 The management device, in at least one of the first determination processing step and the second determination processing step,
Search the image database using the face image acquired by the camera,
Calculating the similarity between the image stored in the image database and the face image;
Extracting a face image having a high similarity from the image database by comparing the calculated similarity with a predetermined threshold;
The extracted images are classified for each camera that captured the images,
The analysis of the classified image results in a determination that the reliability of the authentication is high when it is determined that the subject has been authenticated a number of times at the position of the camera. 11. A method for determining the reliability of authentication according to any one of items 1 to 11.
前記計算された画像の類似度に、前記画像の撮影日時が新しければ大きな値となる重み付けをし、
前記重み付けされた類似度の平均と所定の閾値とを比較し、
前記比較の結果、前記類似度が低いと判定された場合、前記認証の信頼度が低いと判定することを特徴とする請求項８から１１のいずれか一つに記載の認証の信頼度の判定方法。 The management device, in at least one of the first determination processing step and the second determination processing step,
The calculated image similarity is weighted to a large value if the image capturing date / time of the image is new,
Comparing the weighted similarity average with a predetermined threshold;
The authentication reliability determination according to any one of claims 8 to 11, wherein if the similarity is determined to be low as a result of the comparison, the authentication reliability is determined to be low. Method.
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011200869A JP5791148B2 (en) | 2011-09-14 | 2011-09-14 | Authentication system and reliability determination method |
| DE102012216191A DE102012216191A1 (en) | 2011-09-14 | 2012-09-12 | authentication system |
| US13/613,772 US9189680B2 (en) | 2011-09-14 | 2012-09-13 | Authentication system |
| CN201210339487.7A CN103093187B (en) | 2011-09-14 | 2012-09-13 | Verification System |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011200869A JP5791148B2 (en) | 2011-09-14 | 2011-09-14 | Authentication system and reliability determination method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013061875A true JP2013061875A (en) | 2013-04-04 |
| JP5791148B2 JP5791148B2 (en) | 2015-10-07 |
Family
ID=48186477
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011200869A Active JP5791148B2 (en) | 2011-09-14 | 2011-09-14 | Authentication system and reliability determination method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5791148B2 (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015016262A1 (en) * | 2013-07-30 | 2015-02-05 | 日本電気株式会社 | Information processing device, authentication system, authentication method, and program |
| WO2018181968A1 (en) | 2017-03-31 | 2018-10-04 | 日本電気株式会社 | Facial recognition system, device, method and program |
| JP2018173991A (en) * | 2018-07-09 | 2018-11-08 | 日本電気株式会社 | Detection device |
| US10509955B2 (en) | 2015-03-13 | 2019-12-17 | Nec Corporation | Living body detection device, living body detection method, and recording medium |
| JP2020154765A (en) * | 2019-03-20 | 2020-09-24 | 株式会社デンソーウェーブ | Authentication system |
| JP2021009609A (en) * | 2019-07-02 | 2021-01-28 | パナソニックＩｐマネジメント株式会社 | Passage propriety determination device, passage management system, passage propriety determination method and computer program |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002279466A (en) * | 2001-03-15 | 2002-09-27 | Toshiba Corp | Device and method for admission control |
| JP2003346149A (en) * | 2002-05-24 | 2003-12-05 | Omron Corp | Face collating device and bioinformation collating device |
| US20040151352A1 (en) * | 2002-11-25 | 2004-08-05 | Hiroshi Nakajima | Pattern collation apparatus |
| JP2004258963A (en) * | 2003-02-26 | 2004-09-16 | Fujitsu Ltd | High speed id-less collation method and system by multi-stage collation |
| US20060153432A1 (en) * | 2005-01-07 | 2006-07-13 | Lo Peter Z | Adaptive fingerprint matching method and apparatus |
| US20070260887A1 (en) * | 2006-04-28 | 2007-11-08 | Fujitsu Limited | Biometric authentication device and computer product |
| JP2008071366A (en) * | 2007-10-22 | 2008-03-27 | Toshiba Corp | Face image collating device, face image collating system, and face image collating method |
| JP2009259269A (en) * | 2009-07-27 | 2009-11-05 | Toshiba Corp | Face image recording system and face image recording method |
| JP2011034133A (en) * | 2009-07-29 | 2011-02-17 | Fujifilm Corp | Person identification device and person identification method |
-
2011
- 2011-09-14 JP JP2011200869A patent/JP5791148B2/en active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002279466A (en) * | 2001-03-15 | 2002-09-27 | Toshiba Corp | Device and method for admission control |
| JP2003346149A (en) * | 2002-05-24 | 2003-12-05 | Omron Corp | Face collating device and bioinformation collating device |
| US20040151352A1 (en) * | 2002-11-25 | 2004-08-05 | Hiroshi Nakajima | Pattern collation apparatus |
| JP2004258963A (en) * | 2003-02-26 | 2004-09-16 | Fujitsu Ltd | High speed id-less collation method and system by multi-stage collation |
| US20060153432A1 (en) * | 2005-01-07 | 2006-07-13 | Lo Peter Z | Adaptive fingerprint matching method and apparatus |
| US20070260887A1 (en) * | 2006-04-28 | 2007-11-08 | Fujitsu Limited | Biometric authentication device and computer product |
| JP2008071366A (en) * | 2007-10-22 | 2008-03-27 | Toshiba Corp | Face image collating device, face image collating system, and face image collating method |
| JP2009259269A (en) * | 2009-07-27 | 2009-11-05 | Toshiba Corp | Face image recording system and face image recording method |
| JP2011034133A (en) * | 2009-07-29 | 2011-02-17 | Fujifilm Corp | Person identification device and person identification method |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10114936B2 (en) | 2013-07-30 | 2018-10-30 | Nec Corporation | Information processing device, authentication system, authentication method, and program |
| JPWO2015016262A1 (en) * | 2013-07-30 | 2017-03-02 | 日本電気株式会社 | Information processing apparatus, authentication system, authentication method, and program |
| WO2015016262A1 (en) * | 2013-07-30 | 2015-02-05 | 日本電気株式会社 | Information processing device, authentication system, authentication method, and program |
| US10528803B2 (en) | 2015-03-13 | 2020-01-07 | Nec Corporation | Living body detection device, living body detection method, and recording medium |
| US10509955B2 (en) | 2015-03-13 | 2019-12-17 | Nec Corporation | Living body detection device, living body detection method, and recording medium |
| US10546190B2 (en) | 2015-03-13 | 2020-01-28 | Nec Corporation | Living body detection device, living body detection method, and recording medium |
| US10546189B2 (en) | 2015-03-13 | 2020-01-28 | Nec Corporation | Living body detection device, living body detection method, and recording medium |
| WO2018181968A1 (en) | 2017-03-31 | 2018-10-04 | 日本電気株式会社 | Facial recognition system, device, method and program |
| US11315375B2 (en) | 2017-03-31 | 2022-04-26 | Nec Corporation | Facial authentication system, apparatus, method and program |
| JP2018173991A (en) * | 2018-07-09 | 2018-11-08 | 日本電気株式会社 | Detection device |
| JP2020154765A (en) * | 2019-03-20 | 2020-09-24 | 株式会社デンソーウェーブ | Authentication system |
| JP7167790B2 (en) | 2019-03-20 | 2022-11-09 | 株式会社デンソーウェーブ | Authentication system |
| JP2021009609A (en) * | 2019-07-02 | 2021-01-28 | パナソニックＩｐマネジメント株式会社 | Passage propriety determination device, passage management system, passage propriety determination method and computer program |
| JP7253735B2 (en) | 2019-07-02 | 2023-04-07 | パナソニックＩｐマネジメント株式会社 | Passage decision device, passage management system, passability decision method, and computer program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5791148B2 (en) | 2015-10-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9189680B2 (en) | Authentication system | |
| US8079061B2 (en) | Authentication system managing method | |
| JP6268960B2 (en) | Image recognition apparatus and data registration method for image recognition apparatus | |
| JP5791148B2 (en) | Authentication system and reliability determination method | |
| US9430693B2 (en) | Biometric authentication apparatus and biometric authentication method | |
| US7885433B2 (en) | Biometrics authentication method and biometrics authentication system | |
| US9336456B2 (en) | Systems, methods and computer program products for identifying objects in video data | |
| JP6013241B2 (en) | Person recognition apparatus and method | |
| JP5618295B2 (en) | Authentication system and authentication reliability determination method | |
| US20230410582A1 (en) | Information processing apparatus, information processing system, and information processing method | |
| US20070183634A1 (en) | Auto Individualization process based on a facial biometric anonymous ID Assignment | |
| JP6572537B2 (en) | Authentication apparatus, method, and program | |
| JP2009289253A (en) | Biometric authentication system, authentication client terminal, and biometric authentication method | |
| CN108734092B (en) | Person authentication device | |
| JP6035059B2 (en) | Authentication system, authentication method | |
| JP2013077068A (en) | Face authentication database management method, face authentication database management device, and face authentication database management program | |
| JPWO2012144105A1 (en) | Biometric authentication system | |
| JP4862518B2 (en) | Face registration device, face authentication device, and face registration method | |
| WO2020070821A1 (en) | Biometric identification device, biometric identification method, and biometric identification program | |
| JP2011150497A (en) | Person identification device, person identification method, and software program thereof | |
| WO2021095869A1 (en) | Information processing device, information processing method, program, recording medium, and camera system | |
| KR101106450B1 (en) | Method and system for performing security on multiple unresolved objects in a self checkout | |
| JP2014071684A (en) | Face image authentication device | |
| WO2021060256A1 (en) | Facial authentication device, facial authentication method, and computer-readable recording medium | |
| JP2006072429A (en) | Biological information registration apparatus and individual authentication apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140411 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141121 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141216 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150213 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150707 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150731 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5791148 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |