JP7065413B2 - Face recognition machine and face recognition method - Google Patents
Face recognition machine and face recognition method Download PDFInfo
- Publication number
- JP7065413B2 JP7065413B2 JP2019017273A JP2019017273A JP7065413B2 JP 7065413 B2 JP7065413 B2 JP 7065413B2 JP 2019017273 A JP2019017273 A JP 2019017273A JP 2019017273 A JP2019017273 A JP 2019017273A JP 7065413 B2 JP7065413 B2 JP 7065413B2
- Authority
- JP
- Japan
- Prior art keywords
- face
- matching
- group
- collation
- server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Collating Specific Patterns (AREA)
Description
本発明は、顔認証の対象者を撮影して、その対象者の認証結果を出力する顔認証機および顔認証方法に関するものである。 The present invention relates to a face recognition machine and a face recognition method that photographs a subject of face recognition and outputs the authentication result of the subject.
従来より、顔照合に関する技術として、少なくとも特徴量抽出手段、登録者特徴量記憶手段、および照合手段を第１の装置で構成し、登録者顔画像記憶手段を、第１の装置よりもセキュリティレベルの高い場所に保管される第２の装置で構成し、第１の装置が、登録者の顔画像を利用する必要が生じた場合に、第２の装置との間にデータ通信路を構築し、該データ通信路を通じて第２の装置から登録者の顔画像を取得し、登録者の顔画像のデータを不揮発性の記録媒体には保存せずにワークメモリ上で利用し、顔照合システムが盗難や攻撃にあったとしても、登録者の顔画像を可及的に保護することを可能にしたものが知られている（特許文献１参照）。 Conventionally, as a technique related to face matching, at least a feature amount extracting means, a registrant feature amount storage means, and a matching means are configured by a first device, and the registrant face image storage means has a security level higher than that of the first device. It consists of a second device that is stored in a high place, and when the first device needs to use the face image of the registrant, a data communication path is constructed with the second device. , The registrant's face image is acquired from the second device through the data communication path, and the registrant's face image data is used on the work memory without being stored in the non-volatile recording medium, and the face matching system can be used. It is known that the registrant's face image can be protected as much as possible even if it is stolen or attacked (see Patent Document 1).
さて、従来の技術は、撮像手段と登録者顔画像の特徴量データを有し、顔照合処理を担う認証機がフィジカル空間に設置され、登録者顔画像のデータが画像サーバなどのサイバー空間で管理されるものである。そのため特徴量データの生成や顔照合処理のためのソフトウェアなどのアップデートがなされると、認証機ごとにアップデートのための作業が発生し、顔認証サービスの中断を余儀なくされるものであった。特に、多数の店舗などで顔認証サービスを導入している場合には、認証機のアップデートで膨大な作業が発生するため、認証機側での作業負担を軽減することが望まれるが、従来の技術では、何ら配慮されていない。 By the way, in the conventional technique, the image pickup means and the feature amount data of the registrant face image are provided, the authentication machine responsible for the face matching process is installed in the physical space, and the registrant face image data is stored in the cyber space such as an image server. It is managed. Therefore, when the software for generating feature data and face matching processing is updated, the work for updating is required for each authentication machine, and the face recognition service has to be interrupted. In particular, when face recognition services are introduced in many stores, a huge amount of work is required to update the authentication machine, so it is desirable to reduce the work load on the authentication machine side. No consideration is given to the technology.
そこで、本発明は、顔特徴量データの生成や顔照合処理のためのアップデート等が発生した場合に、顔認証機側での作業負担を軽減することができる顔認証機および顔認証方法を提供することを主な目的とする。 Therefore, the present invention provides a face recognition machine and a face recognition method that can reduce the work load on the face recognition machine side when an update for generating face feature amount data or face matching processing occurs. The main purpose is to do.
本発明の顔認証機は、顔認証の対象者を撮影して、その対象者の認証結果を順次出力する顔認証機であって、対象者を撮影するカメラと、外部の顔照合装置および外部の管理装置とネットワークを介して通信を行う通信部と、自装置に付与されたグループ識別情報と同じグループ識別情報が付与された前記顔照合装置を特定する照合グループ情報を記憶する記憶部と、対象者の認証結果を出力する出力部と、これら各部の動作を制御する制御部と、を備え、前記制御部は、自装置の起動時に前記照合グループ情報を前記管理装置から取得して前記記憶部に記憶させる起動処理を実行し、前記照合グループ情報に基づいて特定した前記顔照合装置に対して、前記カメラにより取得した対象者の顔画像データを付加して顔照合の問合せを行い、その顔照合装置において、前記対象者の顔画像データから対象者の顔特徴量データを生成する処理と、前記対象者の顔特徴量データと登録者の顔特徴量データとを照合する処理とを行わせて、その顔照合装置から対象者の照合結果を取得する構成とする。 The face authentication machine of the present invention is a face authentication machine that photographs a target person for face authentication and sequentially outputs the authentication result of the target person, and is a camera that photographs the target person, an external face matching device, and an external device. A communication unit that communicates with the management device of the above via a network, a storage unit that stores collation group information that identifies the face collation device to which the same group identification information as the group identification information assigned to the own device is assigned, and a storage unit. The control unit includes an output unit that outputs the authentication result of the target person and a control unit that controls the operation of each unit. The control unit acquires the collation group information from the management device when the own device is started and stores the data. The activation process to be stored in the unit is executed, and the face collation inquiry is made by adding the face image data of the target person acquired by the camera to the face collation device specified based on the collation group information. In the face matching device, a process of generating the target person's face feature amount data from the target person's face image data and a process of collating the target person's face feature amount data with the registrant's face feature amount data are performed. At the same time, the collation result of the target person is acquired from the face collation device.
また、本発明の顔認証方法は、顔認証の対象者を撮影して、その対象者の認証結果を順次出力する処理を顔認証機のプロセッサが実行する顔認証方法であって、前記顔認証機が、顔照合装置および管理装置とネットワークを介して接続され、自装置の起動時に、自装置に付与されたグループ識別情報と同じグループ識別情報が付与された前記顔照合装置を特定する照合グループ情報を前記管理装置から取得して記憶部に記憶させる起動処理を実行し、 カメラにより対象者を撮影し、前記照合グループ情報に基づいて特定した顔照合装置に対して、カメラにより取得した対象者の顔画像データを付加して顔照合の問合せを行い、その顔照合装置において、前記対象者の顔画像データから対象者の顔特徴量データを生成する処理と、前記対象者の顔特徴量データと登録者の顔特徴量データとを照合する処理とを行わせて、その顔照合装置から対象者の照合結果を取得して、その対象者の照合結果を出力部から出力する構成とする。 Further, the face recognition method of the present invention is a face recognition method in which a processor of a face recognition machine executes a process of photographing a target person of face recognition and sequentially outputting the authentication result of the target person, and the face recognition is described above . The machine is connected to the face matching device and the management device via a network, and when the own device is started, the matching group that identifies the face matching device to which the same group identification information as the group identification information given to the own device is given. The target person acquired by the camera for the face matching device specified based on the matching group information after executing the activation process of acquiring the information from the management device and storing it in the storage unit, taking a picture of the target person with the camera. Face matching inquiry is performed by adding the face image data of the target person, and the face matching device generates the face feature amount data of the target person from the face image data of the target person, and the face feature amount data of the target person. The process of collating with the registrant's facial feature amount data is performed, the collation result of the target person is acquired from the face collation device, and the collation result of the target person is output from the output unit.
本発明によれば、顔特徴量生成や顔特徴量照合処理に関するプログラムの更新が発生した場合には、管理装置のもとで顔照合装置に対してプログラムの更新に関する保守作業を行えばよく、顔認証機は、照合グループ情報を管理装置から取得して記憶部に記憶させる起動処理を実行するだけで、保守作業を行う必要がない。これにより、顔認証機ごとの顔照合の問合せ先を管理装置が管理し、顔認証機自身が自装置に関する顔照合の問合せ先を管理する必要がないため、顔認証機の負荷を軽減することができる。 According to the present invention, when a program related to face feature amount generation or face feature amount matching process is updated, maintenance work related to program update may be performed on the face matching device under the management device . The face recognition machine only executes an activation process of acquiring collation group information from the management device and storing it in the storage unit, and does not require maintenance work. As a result, the management device manages the inquiries for face matching for each face recognition machine, and the face recognition machine itself does not need to manage the inquiries for face matching regarding its own device, thus reducing the load on the face recognition machine. Can be done.
前記課題を解決するためになされた第１の発明は、顔認証の対象者を撮影して、その対象者の認証結果を順次出力する顔認証機であって、対象者を撮影するカメラと、外部の顔照合装置および外部の管理装置とネットワークを介して通信を行う通信部と、自装置に付与されたグループ識別情報と同じグループ識別情報が付与された前記顔照合装置を特定する照合グループ情報を記憶する記憶部と、対象者の認証結果を出力する出力部と、これら各部の動作を制御する制御部と、を備え、前記制御部は、自装置の起動時に前記照合グループ情報を前記管理装置から取得して前記記憶部に記憶させる起動処理を実行し、前記照合グループ情報に基づいて特定した前記顔照合装置に対して、前記カメラにより取得した対象者の顔画像データを付加して顔照合の問合せを行い、その顔照合装置において、前記対象者の顔画像データから対象者の顔特徴量データを生成する処理と、前記対象者の顔特徴量データと登録者の顔特徴量データとを照合する処理とを行わせて、その顔照合装置から対象者の照合結果を取得する構成とする。 The first invention made to solve the above-mentioned problems is a face recognition machine that photographs a target person for face recognition and sequentially outputs the authentication result of the target person, and comprises a camera that photographs the target person. Matching group information that identifies the communication unit that communicates with an external face matching device and an external management device via a network, and the face matching device to which the same group identification information as the group identification information given to the own device is given. The control unit includes a storage unit that stores data, an output unit that outputs the authentication result of the target person, and a control unit that controls the operation of each unit. The control unit manages the collation group information when the own device is started. An activation process of acquiring data from the device and storing it in the storage unit is executed, and the face image data of the target person acquired by the camera is added to the face matching device specified based on the matching group information to add a face. A process of making a matching inquiry and generating the target person's face feature amount data from the target person's face image data in the face matching device, and the target person's face feature amount data and the registrant's face feature amount data. It is configured to acquire the collation result of the target person from the face collation device by performing the collation process.
これによると、顔特徴量生成や顔特徴量照合処理に関するプログラムの更新が発生した場合には、管理装置のもとで顔照合装置に対してプログラムの更新に関する保守作業を行えばよく、顔認証機は、照合グループ情報を管理装置から取得して記憶部に記憶させる起動処理を実行するだけで、保守作業を行う必要がない。これにより、顔認証機ごとの顔照合の問合せ先を管理装置が管理し、顔認証機自身が自装置に関する顔照合の問合せ先を管理する必要がないため、顔認証機の負荷を軽減することができる。 According to this, when the program related to the face feature amount generation and the face feature amount matching process is updated, the maintenance work related to the program update may be performed for the face matching device under the management device, and the face recognition is performed. The machine only executes an activation process of acquiring collation group information from the management device and storing it in the storage unit, and does not require maintenance work. As a result, the management device manages the inquiries for face matching for each face recognition machine, and the face recognition machine itself does not need to manage the inquiries for face matching regarding its own device, thus reducing the load on the face recognition machine. Can be done.
また、第２の発明は、前記照合グループ情報は、顔照合の問合せ先となる前記顔照合装置に関するグループ識別情報とネットワークアドレスとを含む構成とする。 Further, in the second invention, the collation group information is configured to include group identification information and a network address regarding the face collation device which is a contact for face collation.
これによると、適切な顔照合装置に対して顔照合処理の実行を要求することができる。 According to this, it is possible to request an appropriate face matching device to execute the face matching process.
また、第３の発明は、前記照合グループ情報では、
前記グループ識別情報が同一で、かつ、前記ネットワークアドレスが互いに異なる複数の前記ネットワークアドレスを含む構成とする。
Further, the third invention is based on the collation group information.
The configuration includes a plurality of network addresses having the same group identification information and different network addresses from each other.
これによると、同じグループに属する複数の顔照合装置に対して顔認証の問合せを行うことができる。これにより、死活対応や負荷分散を図ることができる。 According to this, face authentication can be inquired to a plurality of face matching devices belonging to the same group. This makes it possible to deal with life and death and distribute the load.
また、第４の発明は、顔認証の対象者を撮影して、その対象者の認証結果を順次出力する処理を顔認証機のプロセッサが実行する顔認証方法であって、前記顔認証機が、顔照合装置および管理装置とネットワークを介して接続され、自装置の起動時に、自装置に付与されたグループ識別情報と同じグループ識別情報が付与された前記顔照合装置を特定する照合グループ情報を前記管理装置から取得して記憶部に記憶させる起動処理を実行し、 カメラにより対象者を撮影し、前記照合グループ情報に基づいて特定した顔照合装置に対して、カメラにより取得した対象者の顔画像データを付加して顔照合の問合せを行い、その顔照合装置において、前記対象者の顔画像データから対象者の顔特徴量データを生成する処理と、前記対象者の顔特徴量データと登録者の顔特徴量データとを照合する処理とを行わせて、その顔照合装置から対象者の照合結果を取得して、その対象者の照合結果を出力部から出力する構成とする。 Further, the fourth invention is a face authentication method in which a processor of a face authentication machine executes a process of photographing a target person of face authentication and sequentially outputting the authentication result of the target person, and the face authentication machine is used. , The face matching device and the management device are connected to each other via a network, and when the own device is started, the matching group information that identifies the face matching device to which the same group identification information as the group identification information given to the own device is given. The start process of acquiring from the management device and storing it in the storage unit is executed, the subject is photographed by the camera, and the face of the subject acquired by the camera is obtained with respect to the face matching device specified based on the matching group information. A process of adding image data to make a face matching inquiry and generating face feature amount data of the target person from the face image data of the target person in the face matching device, and registration with the face feature amount data of the target person. It is configured to perform a process of collating with the face feature amount data of the person, acquire the collation result of the target person from the face collation device, and output the collation result of the target person from the output unit.
これによると、第１の発明と同様に、顔認証機ごとの顔照合の問合せ先を管理装置が管理し、顔認証機自身が自装置に関する顔照合の問合せ先を管理する必要がないため、顔認証機の負荷を軽減することができる。 According to this, as in the first invention, the management device manages the face matching inquiry destination for each face recognition machine, and the face recognition machine itself does not need to manage the face matching inquiry destination for the own device. The load on the face recognition machine can be reduced.
以下、本発明の実施の形態を、図面を参照しながら説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
図１は、本実施形態に係る顔認証システムの全体構成図である。 FIG. 1 is an overall configuration diagram of a face recognition system according to the present embodiment.
この顔認証システムは、顔認証機１と、管理端末２（端末装置、顔認証管理装置）と、顔認証サーバ３（クラウドサーバ）と、を備えている。顔認証サーバ３は、顔管理サーバ５（顔画像管理部）と、顔照合サーバ６（顔画像照合部）と、を備えている。
This face recognition system includes a
顔認証機１と管理端末２と顔管理サーバ５と顔照合サーバ６とは、インターネットなどのネットワークを介して接続されている。顔認証システムは、顔認証サービスの提供者（事業者）ごとに構築される。顔認証機１は、建物の出入口や部屋の出入口など、顔認証が必要とされる場所ごとに複数設置される。顔照合サーバ６は、顔認証機１の台数などに応じて所要の数が設けられる。
The
顔認証機１は、カメラ１１を備えており、このカメラ１１により、利用者が写る撮影画像を取得する。また、顔認証機１は、ディスプレイ１２を有しており、このディスプレイ１２により、顔照合サーバ６から取得した顔認証結果を表示して、顔認証結果を利用者に通知する。
The
管理端末２は、管理者が操作するものであり、ＰＣで構成され、顔認証機１、顔管理サーバ５および顔照合サーバ６の動作を管理する管理アプリケーションがインストールされている。この管理アプリケーションにより、管理者が種々の管理業務を行うことができる。なお、管理アプリケーションはＷｅｂアプリケーションとして実装される。
The
顔管理サーバ５は、利用者の情報を一元管理する。具体的には、登録された利用者の姓名や顔画像データなどの情報を蓄積して管理する。
The
顔照合サーバ６は、顔認証時に、顔認証の対象者の顔画像データを顔認証機１から取得して、その顔画像データから対象者の顔特徴量データを生成して、その対象者の顔特徴量データと、自装置に保管された登録者（登録済みの利用者）の顔特徴量データとを比較することによる顔照合を行って、対象者が登録者か否かを判定する顔認証を行う。
At the time of face authentication, the
また、顔照合サーバ６は、顔認証に先だって、利用者の登録時に、利用者の顔画像データを管理端末２から取得して、その顔画像データから利用者の顔特徴量データを生成して、自装置に保管する。なお、利用者の撮影画像を管理端末２から取得して、顔照合サーバ６で撮影画像から顔画像データを取得することもできる。
Further, the
なお、本実施形態では、顔管理サーバ５（顔画像管理部）と顔照合サーバ６（顔画像照合部）とを、それぞれ物理的に異なる情報処理装置内に存在するものとしたが、単一の情報処理装置内に存在するものとしてもよい。 In the present embodiment, the face management server 5 (face image management unit) and the face matching server 6 (face image matching unit) are assumed to exist in physically different information processing devices, but a single one. It may exist in the information processing apparatus of.
また、本実施形態では、管理端末２と顔管理サーバ５とを設けるようにしたが、管理端末２と顔管理サーバ５とを単一の情報処理装置で構成することができる。例えば顔管理サーバ５に管理アプリケーションをインストールすることで、顔管理サーバ５が管理端末２を兼用することができる。
Further, in the present embodiment, the
また、本実施形態では、顔特徴量照合を行うようにしたが、顔照合は、顔特徴量照合に限定されず、機械学習などを適用した照合方法を採用してもよい。さらに、本実施形態は、顔認証以外の生体認証にも適用することができる。 Further, in the present embodiment, the face feature amount matching is performed, but the face matching is not limited to the face feature amount matching, and a matching method to which machine learning or the like is applied may be adopted. Further, the present embodiment can be applied to biometric authentication other than face authentication.
次に、照合グループについて説明する。図２は、照合グループの概要を示す説明図である。 Next, the collation group will be described. FIG. 2 is an explanatory diagram showing an outline of a collation group.
本実施形態では、利用者が顔認証を受ける顔認証機１の設置場所などに応じて、利用者をグループ分けして各利用者に照合グループを設定する。また、利用者と同様に、顔認証機１の設置場所などに応じて、顔認証機１をグループ分けして、各顔認証機１に照合グループを設定する。さらに、顔認証機１に対応する顔照合サーバ６、すなわち、顔認証機１から顔照合の問合せ（リクエスト）を受け付ける顔照合サーバ６を、顔認証機１と同様にグループ分けして、各顔照合サーバ６に照合グループを設定する。
In the present embodiment, the users are grouped according to the installation location of the
例えば、複数の会社が入居しているマルチテナントの建物の玄関に設置された顔認証機１では、複数の会社に所属する利用者が顔認証を受ける。一方、所属する組織が異なる利用者の情報を、同一のデータベースで管理することができない。そこで、このような場合には、複数の会社ごとの照合グループを形成して、照合グループ単位で利用者の登録情報を保管し、顔認証機１では、会社ごとの照合グループの顔照合サーバ６に対して顔照合の問合せを行う。
For example, in the
利用者が属する照合グループに対応する顔認証機１でのみ、認証を受けることができる。したがって、登録済みの利用者でも、自分の照合グループに属さない顔認証機１、例えば自分の入館が許可されていない建物の顔認証機１では、認証を受けることができない。
例えば、ある事業所に勤務している利用者が、別の事業所に出向いた場合、その事業所の顔認証機１では認証を受けることができない。
Only the
For example, if a user working at one business office goes to another business office, the
次に、顔認証機１から顔照合サーバ６に対する顔照合の問合せについて説明する。図３は、顔認証機１で行われる顔照合の問合せの概要を示す説明図である。
Next, an inquiry for face matching from the
顔認証機１では、自装置と同じ照合グループに属する顔照合サーバ６に対して顔照合の問合せを行い、問合せ先（要求先）となる顔照合サーバ６に顔照合のリクエストを送る。また、顔認証機１には、照合グループ情報として、顔照合サーバ６のネットワークアドレス（ＩＰアドレス）を保持しており、このネットワークアドレスに基づいて、自装置に対応する顔照合サーバ６に顔照合の問合せを行う。
The
この顔認証の問合せ方法には、図３（Ａ）に示す一斉問合せと、図３（Ｂ）に示すランダム問合せと、図３（Ｃ）に示す順次問合せ（問合せ先切り替え）とがある。 The inquiry method for face recognition includes a simultaneous inquiry shown in FIG. 3A, a random inquiry shown in FIG. 3B, and a sequential inquiry (inquiry destination switching) shown in FIG. 3C.
図３（Ａ）に示すように、一斉問合せの場合、複数の照合グループの各々に対応した顔照合サーバ６に対して一斉に顔照合の問合せを行う。例えば、顔認証機１が、マルチテナントの建物の玄関に設置され、複数の照合グループの利用者が顔認証を受ける場合、各グループの顔照合サーバ６に対して一斉に顔照合のリクエストを送る。
As shown in FIG. 3A, in the case of a simultaneous inquiry, a face matching inquiry is made to the
なお、１つの顔照合サーバ６の負荷を軽減するため、１つの照合グループに属する利用者の顔特徴量データを複数の顔照合サーバ６に分割して保管することも可能であり、この場合にも、顔認証機１と同じ照合グループ内で互いに登録内容が異なる全ての顔照合サーバ６に対して一斉に顔照合の問合せを行う。
In addition, in order to reduce the load of one
図３（Ｂ）に示すように、ランダム問合せの場合、顔認証機１と同じ照合グループ内の複数の顔照合サーバ６の中から、顔照合の問合せ先となる顔照合サーバ６をランダムに選択する。複数の顔照合サーバ６は登録内容が同一である。すなわち、同一の利用者を照合対象とし、同一の利用者の顔特徴量データを保管している。このような問合せ方法では、顔認証機１からの問合せが各顔照合サーバ６に振り分けられるため、各顔照合サーバ６の負荷を軽減することができ、負荷分散を図ることができる。
As shown in FIG. 3B, in the case of a random query, the
図３（Ｃ）に示すように、順次問合せの場合、顔認証機１と同じ照合グループ内の複数の顔照合サーバ６の中から、顔照合の問合せ先を順次選択する。具体的には、顔照合サーバ６に順番（優先順位）を付与して、その順番にしたがって顔照合サーバ６を選択し、順位の高い顔照合サーバ６から応答がない場合には、送信先を顔照合サーバ６に切り替える。すなわち、照合グループ内の第１順位の顔照合サーバ６を選択して、その顔照合サーバ６に対して顔認証を要求する。そして、顔照合サーバ６から応答がない場合には、同じ照合グループ内の次順位の別の顔照合サーバ６を選択して、その顔照合サーバ６に対して顔認証を要求する。このような制御により冗長化（バックアップ）を図ることができる。
As shown in FIG. 3C, in the case of sequential inquiry, a face matching inquiry destination is sequentially selected from a plurality of
次に、顔照合ユニットについて説明する。図４は、顔照合ユニットの概要を示す説明図である。 Next, the face matching unit will be described. FIG. 4 is an explanatory diagram showing an outline of the face matching unit.
顔照合サーバ６には、顔照合を行う顔照合ユニットを複数設けることができる。この顔照合ユニットは、顔照合プログラムを実行する顔照合プロセスと、顔照合の比較対象となる利用者の情報（顔特徴量データ）が登録された顔照合データベースとを有している。
The
この顔照合ユニットは、照合グループごとに設けられており、照合グループに属する顔認証機１からの顔照合のリクエストに応じて顔照合を行う。したがって、１つの顔照合サーバ６で、複数の照合グループに対応することができる。
This face matching unit is provided for each matching group, and performs face matching in response to a face matching request from the
ここで、顔認証機１には、照合グループ情報として、顔照合サーバ６のネットワークアドレス（ＩＰアドレス）を保持しており、このネットワークアドレスに基づいて、自装置に対応する顔照合サーバ６に顔照合の問合せを行うことができるが、本実施形態では、さらに、顔照合ユニット単位のネットワークアドレス（ＩＰアドレス）を保持しており、このネットワークアドレスに基づいて、自装置に対応する顔照合ユニットに顔照合の問合せを行うことができる。
Here, the
また、顔照合データベースは、照合グループごとに設けられるため、利用者の顔特徴量データを照合グループ単位で保管することができる。顔照合プロセスは、グループ単位で保管されている顔特徴量データと、同一のグループの顔認証機１から取得した顔画像データから生成した顔特徴量データとの照合処理を実行する。
Further, since the face collation database is provided for each collation group, the face feature amount data of the user can be stored in the collation group unit. The face matching process executes a matching process between the face feature amount data stored in the group unit and the face feature amount data generated from the face image data acquired from the
ここで、顔認証機１と顔照合ユニットとの対応関係には種々の態様がある。
Here, there are various aspects of the correspondence between the
図４（Ａ）に示す例は、顔照合サーバ６に、顔認証機１が属する照合グループの顔照合ユニットが１つ設けられており、顔認証機１と顔照合サーバ６とが１対１で対応している。
In the example shown in FIG. 4A, the
図４（Ｂ）に示す例は、顔認証機１と顔照合サーバ６とが１対１で対応するが、顔照合サーバ６に、顔認証機１が属する照合グループの顔照合ユニットが２つ設けられている。
この場合、マルチテナントの建物の玄関に設置された顔認証機１の場合に、所属する組織が異なる利用者の情報（例えば、利用者Ａ、利用者Ｂ）を、異なる照合データベースで管理することができる。
In the example shown in FIG. 4B, the
In this case, in the case of the
図４（Ｃ）に示す例は、顔認証機１と顔照合サーバ６とが１対２で対応し、顔認証機１が、２つの顔照合サーバ６に対して顔照合の問合せ（利用者Ｘの照合リクエスト）を行う。この場合、異なる顔照合サーバ６に、同一の顔照合ユニット、すなわち、同一の利用者の顔特徴量データで顔照合を行う顔照合ユニットを２つ以上設けることで、顔照合サーバ６の負荷分散や死活対応を図ることができる。
In the example shown in FIG. 4C, the
次に、顔認証機１の概略構成について説明する。図５は、顔認証機１の概略構成を示すブロック図である。
Next, the schematic configuration of the
顔認証機１は、カメラ１１（撮像部）と、ディスプレイ１２（出力部）と、通信部１３と、記憶部１４と、制御部１５と、を備えている。
The
カメラ１１は、所定の撮影エリアを常時撮影し、撮影エリアに人物が入るとその人物が撮影され、顔認証の対象者の撮影画像を取得することができる。なお、省電力化のため、人感センサ（図示せず）を設けて、人の到来を検知してカメラ１１が起動するようにしてもよい。
The
ディスプレイ１２は、顔認証結果を表示し、顔認証を受ける人物が顔認証結果を確認することができる。なお、対象者の認証結果を出力する出力部としてスピーカーを設けて、顔認証結果を音声で通知するようにしてもよい。
The
通信部１３（顔画像送信部、認証結果受信部）は、ネットワークを介して顔照合サーバ６と通信を行う。本実施形態では、顔画像データを顔照合サーバ６に送信する。また、顔照合サーバ６から利用者の認証結果を受信する。また、通信部１３は、ネットワークを介して顔管理サーバ５と通信を行う。本実施形態では、顔管理サーバ５から照合グループ情報などを受信する。
The communication unit 13 (face image transmission unit, authentication result reception unit) communicates with the
記憶部１４は、照合グループ情報、制御部１５を構成するプロセッサで実行される制御プログラムなどを記憶する。
The
制御部１５は、起動処理部２１と、顔画像抽出部２２と、顔照合要求部２３と、認証結果通知部２４と、認証結果調整部２５と、稼働状況監視部２６と、を備えている。この制御部１５は、プロセッサで構成され、制御部１５の各部は、記憶部１４に記憶されたプログラムをプロセッサで実行することで実現される。
The
起動処理部２１は、顔認証機１の起動時に、顔管理サーバ５から照合グループ情報を取得して、記憶部１４に記憶する。なお、照合グループ情報の取得は、これに限らず、照合グループ情報の更新などに伴って、顔管理サーバ５から照合グループ情報を対象の顔認証機１へ配信するようにしても良い。
When the
顔画像抽出部２２は、カメラ１１から顔認証の対象者の撮影画像を取得して（カメラ画像キャプチャ）、その撮影画像から人物の顔を検知して（顔検知）、検知した顔のサイズが適正であるかを判定し（顔サイズチェック）、撮影画像から顔領域を切り出して（顔切出し）、対象者の顔画像データを取得する。なお、顔画像データは、顔領域の画像のみのデータでもよいが、撮影画像データと、その撮影画像データ上の顔領域の位置情報（顔枠情報）との組み合わせとしてもよい。
The face
顔照合要求部２３は、自装置と照合グループが一致する顔照合サーバ６に顔照合のリクエストを送信する。
The face
認証結果通知部２４は、顔照合サーバ６から取得した顔認証結果をディスプレイ１２に表示して、顔認証結果を利用者に通知する。
The authentication
認証結果調整部２５は、顔照合サーバ６から取得した利用者の顔照合結果を外部システムの後述の図５７に記載の管理サーバ８（外部装置）と連携するための制御を行う。この認証結果調整部２５は、接続アプリケーションで構成され、利用者の顔照合結果を外部システムの管理サーバ８に通知する。
The authentication
稼働状況監視部２６は、自装置の稼働状況を監視し、自装置の稼働状況を顔管理サーバ５に通知する。
The operation
次に、管理端末２について説明する。図６は、管理端末２の概略構成を示すブロック図である。
Next, the
管理端末２は、通信部３１と、ディスプレイ３２（表示部）と、入力デバイス３３（操作部）と、記憶部３４と、制御部３５と、を備えている。
The
通信部３１は、ネットワークを介して顔管理サーバ５と通信を行う。本実施形態では、顔管理サーバ５から画面情報などを受信し、これに応じた管理者の操作情報などを顔管理サーバ５に送信する。
The
ディスプレイ３２は、各種の画面を表示する。入力デバイス３３は、マウスやキーボードなどであり、ディスプレイ３２に表示された画面の操作を行う。
The
記憶部３４は、制御部３５を構成するプロセッサで実行されるプログラム（管理アプリケーション）などを記憶する。
The
制御部３５は、ＧＵＩ制御部４１を備えている。この制御部３５は、プロセッサで構成され、制御部３５の各部は、記憶部３４に記憶されたプログラム（管理アプリケーション）をプロセッサで実行することで実現される。
The
ＧＵＩ制御部４１は、顔管理サーバ５から配信される各種の操作画面をディスプレイ３２に表示する。また、入力デバイス３３を用いた管理者の入力操作に応じて、入力情報を取得するとともに画面制御を行う。本実施形態では、ログインに関連する画面、具体的にはログイン画面に関する表示入力制御を行う。また、利用者管理に関連する画面、具体的には、利用者に関する登録（個別登録、一括登録）、参照、更新および削除に関連する画面に関する表示入力制御を行う。また、照合グループ管理に関連する画面、具体的には、照合グループに関する登録（個別登録、一括登録）、参照、更新および削除に関連する画面に関する表示入力制御を行う。また、認証機管理に関連する画面、具体的には、認証機と照合グループとの間の関連付けに関する登録、参照、更新および削除に関連する画面に関する表示入力制御を行う。また、認証ログの参照画面に関する表示入力制御を行う。
The
次に、顔管理サーバ５の概略構成について説明する。図７は、顔管理サーバ５の概略構成を示すブロック図である。
Next, the schematic configuration of the
顔管理サーバ５は、通信部５１と、記憶部５２と、制御部５３と、を備えている。
The
通信部５１は、ネットワークを介して管理端末２と通信を行う。また、通信部５１は、ネットワークを介して顔認証機１と通信を行う。また、通信部５１は、顔照合サーバ６と通信を行う。
The
記憶部５２は、顔情報データベース、顔認証機１と照合グループとの間の関連付け情報に関するデータベース、顔照合サーバ６と照合グループとの間の関連付け情報に関するデータベース、管理者アクセスログ、制御部５３を構成するプロセッサで実行される制御プログラムなどを記憶する。
The
顔情報データベースは、登録された利用者に関する情報として、利用者の姓名、顔画像、照合グループなどが登録される。なお、利用者の顔画像はプライバシー保護のために暗号化された状態で記憶してもよい。 In the face information database, the user's first and last name, face image, collation group, etc. are registered as information about the registered user. The user's face image may be stored in an encrypted state for privacy protection.
制御部５３は、管理者アクセス管理部６１と、利用者管理部６２と、照合グループ管理部６３と、顔認証機管理部６４と、顔照合サーバ管理部６５と、顔情報管理部６６と、データベース管理部６７と、稼働状況監視部６８と、認証ログ提示部６９と、を備えている。この制御部５３は、プロセッサで構成され、制御部５３の各部は、記憶部５２に記憶されたプログラムをプロセッサで実行することで実現される。制御部５３の各部は、ＷｅｂＡＰＩ（Web Application Programming Interface）として構成される。
The
管理者アクセス管理部６１は、管理端末２から自装置にアクセスする管理者のアクセス許可グループに応じて、管理者のアクセス（ログイン）を許可または拒否する。
The administrator
また、管理者アクセス管理部６１は、自装置に対する管理端末２からのアクセスを管理し、管理者が管理端末２を操作して自装置にアクセスすると、そのときの情報を管理者アクセスログ（履歴情報）として記憶部５２に蓄積する。また、管理端末２からの参照要求に応じて、管理者アクセスログを管理端末２に提示する。
Further, the administrator
利用者管理部６２は、利用者に関する情報を管理し、管理端末２からの要求に応じて、利用者に関する必要な処理を行う。本実施形態では、管理端末２から、利用者に関する登録、参照、更新および削除の要求が行われ、その要求に応じて必要な処理を行う。
The
照合グループ管理部６３は、照合グループに関する情報を管理し、管理端末２からの要求に応じて、照合グループに関する必要な処理を行う。本実施形態では、管理端末２から、照合グループに関する登録、参照、更新および削除の要求が行われ、その要求に応じて必要な処理を行う。また、照合グループ情報、すなわち、顔認証機１が自分の照合グループと一致した顔照合サーバ６に顔認証を要求するために必要となる情報を顔認証機１ごとに生成して、その照合グループ情報を顔認証機１に提供する。
The collation
顔認証機管理部６４は、顔認証機１に関する情報を管理し、管理端末２からの要求に応じて、顔認証機１に関する必要な処理を行う。本実施形態では、管理端末２から、顔認証機１と照合グループとの間の関連付けに関する登録、参照、更新および削除の要求が行われ、その要求に応じて必要な処理を行う。
The face recognition
顔照合サーバ管理部６５は、顔照合サーバ６に関する情報を管理し、管理端末２からの要求に応じて、顔照合サーバ６に関する必要な処理を行う。本実施形態では、管理端末２から、顔照合サーバ６と照合グループとの間の関連付けに関する登録、参照および削除の要求が行われ、その要求に応じて必要な処理を行う。
The face matching
顔情報管理部６６は、自装置および顔照合サーバ６にそれぞれ保管された利用者の顔情報を管理する。本実施形態では、自装置に保管された利用者の顔情報（利用者の姓名、顔画像など）と、顔照合サーバ６に保管された利用者の顔情報（利用者の顔特徴量データ）とが整合した状態に維持されるように、顔情報の同期を行う。また、顔情報管理部６６は、顔情報（利用者の顔特徴量データ）のコピーを行う。
The face
データベース管理部６７は、自装置に設けられたデータベースを管理し、データベースのバックアップおよびレストアを行う。
The
稼働状況監視部６８は、自装置の稼働状況を監視し、また、顔認証機１および顔照合サーバ６からの稼働状況の通知を受け取り、管理端末２での管理者の操作に応じて、顔認証機１、自装置（顔管理サーバ５）、および顔照合サーバ６の稼働状況を管理端末２に画面表示する。
The operation
認証ログ提示部６９は、管理端末２からの参照要求に応じて、顔照合サーバ６から認証ログを取得して、認証ログを管理端末２に提示する。
The authentication
次に、顔照合サーバ６の概略構成について説明する。図８は、顔照合サーバ６の概略構成を示すブロック図である。
Next, the schematic configuration of the
顔照合サーバ６は、通信部７１と、記憶部７２と、制御部７３と、を備えている。
The
通信部７１（顔画像受信部、認証結果送信部）は、ネットワークを介して顔認証機１と通信を行う。本実施形態では、顔認証機１から顔画像データなどを受信する。また、利用者の認証結果などを顔認証機１に送信する。また、通信部７１は、ネットワークを介して顔管理サーバ５と通信を行う。本実施形態では、各種の処理のリクエストなどを顔管理サーバ５から受信し、それに応じたレスポンスなどを顔管理サーバ５に送信する。
The communication unit 71 (face image receiving unit, authentication result transmitting unit) communicates with the
記憶部７２は、顔照合データベース、利用者と特徴量との間の関連付け情報、自装置の照合グループに関する情報、認証ログ、制御部７３を構成するプロセッサで実行される制御プログラムなどを記憶する。
The
顔照合データベースには、登録された利用者に関する情報として、利用者の顔特徴量データなどが登録される。また、顔照合データベースは、照合グループごとに設けられ、利用者の顔特徴量データをグループ単位で保管する。ここで、登録された利用者の顔特徴量データは、予期しない顔照合データベースからの消失に備えて、顔照合サーバ６内に設けられたＨＤＤやＳＳＤ等の不揮発性メモリへバックアップ保存してもよい。
In the face matching database, the facial feature amount data of the user and the like are registered as the information about the registered user. Further, the face collation database is provided for each collation group, and the face feature amount data of the user is stored in each group. Here, even if the registered user's face feature amount data is backed up and saved in a non-volatile memory such as an HDD or SSD provided in the
制御部７３は、照合グループ管理部８１と、画像品質チェック部８２と、顔画像抽出部８３と、顔特徴量生成部８４と、顔特徴量管理部８５と、顔特徴量照合部８６と、認証ログ管理部８７と、データベース管理部８８と、稼働状況監視部８９と、を備えている。この制御部７３は、プロセッサで構成され、制御部７３の各部は、記憶部７２に記憶されたプログラムをプロセッサで実行することで実現される。制御部７３の各部は、ＷｅｂＡＰＩとして構成される。
The
照合グループ管理部８１は、自装置が属する照合グループを管理し、顔管理サーバ５からの要求に応じて、照合グループに関する登録や削除の処理を行う。
The collation
画像品質チェック部８２は、撮影画像内の顔領域の画像が所定の品質を満足しているか否かを判定する。具体的には、対象となる画像から、マスクの着用の有無およびサングラスの着用の有無を検知し、また、顔認証適合度（顔の向きや表情による評価値）を算出する。
The image
顔画像抽出部８３は、利用者登録時に、管理端末２から取得した利用者の撮影画像から顔画像を抽出する。このとき、撮影画像から人物の顔を検知し（顔検知）、検知した顔のサイズが適正であるかを判定し（顔サイズチェック）、撮影画像から顔領域を切り出して（顔切出し）、人物の顔画像を取得する。なお、顔認証時に、顔認証機１から取得した対象者の撮影画像から顔画像を抽出するようにしてもよい。
The face
顔特徴量生成部８４は、利用者登録時および顔認証時に、顔画像データから顔特徴点を検出して顔特徴量データを生成する。
The face feature
顔特徴量管理部８５は、利用者登録時に、顔特徴量生成部８４で生成した利用者の顔特徴量データを、利用者の照合グループに対応した顔照合データベースに登録する。また、更新や削除の際に、顔管理サーバ５からの要求に応じて、顔照合データベースに登録された顔特徴量データを削除する。また、顔特徴量生成や顔照合のアルゴリズムに関係するプログラムのバージョンアップが行われた場合に、顔管理サーバ５からの要求に応じて、顔照合データベースに登録された顔特徴量データを、新しいプログラムに対応するように更新する。
At the time of user registration, the face feature
顔特徴量照合部８６は、顔認証時に、顔認証機１から取得した顔画像データから生成した対象者の顔特徴量データと、自装置に保管された登録者（登録済みの利用者）の顔特徴量データとを比較して、対象者が登録者か否かを判定する。この顔特徴量照合部８６は、自装置に関連付けされた照合グループに対応したものであり、自装置に複数の照合グループが関連付けられている場合には、照合グループごとの複数の顔特徴量照合部８６を有する。この顔特徴量照合部８６（顔照合プロセス）は、顔照合データベースと組み合わせて顔照合ユニットを構成する。
The face feature
なお、顔特徴量照合部８６では、対象者と登録者との類似度（照合スコア）を算出する。この類似度を所定のしきい値と比較することで、顔認証の成否を判定することができる。この成否の判定結果を照合結果として顔認証機１に通知する他に、類似度の高い登録者に関する人物ＩＤや類似度を照合結果として顔認証機１に通知するようにしてもよい。
The face feature
認証ログ管理部８７は、顔認証機１から自装置に顔認証の要求が行われると、そのときの情報、すなわち、顔認証の要求元の顔認証機１の機器ＩＤ、顔照合結果などの情報を、認証ログとして記憶部７２に蓄積する。また、顔管理サーバ５からの要求に応じて、認証ログを顔管理サーバ５に提供する。
When the
データベース管理部８８は、自装置に設けられたデータベースを管理し、データベースのバックアップおよびレストアを行う。
The
稼働状況監視部８９は、自装置の稼働状況を監視し、自装置の稼働状況を顔管理サーバ５に通知する。
The operation
なお、本実施形態では、顔照合サーバ６の主たる機能として、顔画像抽出、顔特徴量生成、および顔特徴量照合の各機能を備えているが、これらの機能を互いに独立した別の情報処理装置で構成することができる。例えば、顔画像抽出の機能を、他の顔特徴量生成および顔特徴量照合などの機能とは独立した別の情報処理装置で構成するようにしてもよい。
In the present embodiment, the main functions of the
次に、顔認証時に顔認証機１の顔画像抽出部２２で行われる処理について説明する。図９は、顔認証機１の顔画像抽出部２２で行われる処理の概要を示す説明図である。
Next, the process performed by the face
顔認証機１では、複数のカメラ１１を設けることができる。この場合、カメラ１１から撮影画像を取得するカメラ画像キャプチャプロセスが、カメラ１１ごとに設けられる。このカメラ画像キャプチャプロセスは、顔認証機１を起動した際に開始され、カメラ１１から取得した撮影画像を制御プロセスに渡す。制御プロセスは、各カメラ１１の撮影画像に対して、顔検知、顔サイズチェック、顔切出しの各処理を行う。
In the
なお、顔認証機１では、制御プロセスが、設定ファイルを読み込んで、設定ファイルに記載されたカメラ１１ごとの設定情報に基づいて、カメラ画像キャプチャプロセスを実行する。このとき、カメラ画像キャプチャプロセスは、実行時に、パラメータとして、カメラ種別、カメラ接続情報、画像取得レート、取得画像サイズの各情報を、制御プロセスから受け取る。
In the
顔検知では、カメラ１１の撮影画像に含まれる顔領域を検知する。検知結果に基づいて、顔枠（顔領域を取り囲む矩形の枠）を設定する。
In the face detection, the face area included in the captured image of the
ここで、カメラ１１の撮影画像に複数の顔領域が含まれる場合がある。この場合、検知した複数の顔領域の中から、顔認証の対象となる顔領域を選択する（検知顔選別処理）。このとき、顔認証の対象となる顔領域を１つだけ選択するようにしてもよいが、顔認証の対象となる顔領域を複数選択するようにしてもよい。この場合、選択する顔領域の数を管理者が指定できるようにしてもよい。
Here, the image captured by the
この検知顔選別処理では、顔枠の面積に基づいて顔認証の対象となる顔領域を選択すればよい。すなわち、顔枠の幅および高さから顔枠の面積を算出して、各顔枠の面積を比較して、面積が大きい順に所定数の顔領域を選択する。なお、顔領域を１つだけ選択する場合には、面積が最大の顔領域を選択すればよい。また、顔枠の面積が同じ場合には、検知された順に顔領域を選択すればよい。 In this detected face selection process, the face area to be the target of face recognition may be selected based on the area of the face frame. That is, the area of the face frame is calculated from the width and height of the face frame, the areas of each face frame are compared, and a predetermined number of face areas are selected in descending order of area. When selecting only one face area, the face area having the largest area may be selected. Further, when the area of the face frame is the same, the face area may be selected in the order of detection.
また、顔枠の幅に基づいて顔認証の対象となる顔領域を選択するようにしてもよい。すなわち、各顔枠の幅を比較して、幅が大きい順に所定数の顔領域を選択する。なお、顔領域を１つだけ選択する場合には、幅が最大の顔領域を選択すればよい。また、顔枠の幅が同じ場合には、検知された順に顔領域を選択すればよい。 Further, the face area to be the target of face recognition may be selected based on the width of the face frame. That is, the widths of each face frame are compared, and a predetermined number of face areas are selected in descending order of width. When selecting only one face area, the face area having the maximum width may be selected. If the widths of the face frames are the same, the face areas may be selected in the order in which they are detected.
なお、顔検知の前処理として、例えばグレースケール変換が行われる。 As a preprocessing for face detection, for example, grayscale conversion is performed.
顔サイズチェックの処理では、撮影画像から検知した顔領域（顔枠）のサイズが所定の基準（適正範囲）を満たしているか否かを判定する。具体的には、顔検知で取得した顔枠の幅および高さが所定の範囲内にある場合に、顔領域のサイズが適正であると判定する。具体的には、顔枠の幅および高さの各々に関して閾値（最小値および最大値）を設定して、顔枠の幅および高さを各々の最小値および最大値と比較して、顔枠の幅がその最小値以上でかつ最大値以下となり、同時に、顔枠の高さがその最小値以上でかつ最大値以下となる場合に、顔領域のサイズが適正であると判定する。 In the face size check process, it is determined whether or not the size of the face area (face frame) detected from the captured image satisfies a predetermined standard (appropriate range). Specifically, when the width and height of the face frame acquired by face detection are within a predetermined range, it is determined that the size of the face region is appropriate. Specifically, threshold values (minimum value and maximum value) are set for each of the width and height of the face frame, and the width and height of the face frame are compared with the respective minimum and maximum values to compare the face frame. When the width of the face is equal to or greater than the minimum value and equal to or less than the maximum value, and at the same time, the height of the face frame is equal to or greater than the minimum value and equal to or less than the maximum value, it is determined that the size of the face region is appropriate.
図１０、図１１は、顔認証機１で行われる顔切出し処理の概要を示す説明図である。
10 and 11 are explanatory views showing an outline of the face cutting process performed by the
顔切出しの処理では、カメラの撮影画像に対して、顔検知で取得した顔領域（顔枠）を基準にして切り出し領域を設定して、その切出し領域（顔切出し枠）の画像を顔画像として切り出す処理を行う。切出し領域は、顔領域を中心にして、その顔領域を縦方向および横方向に拡張した状態で設定される In the face cutout process, a cutout area is set for the image taken by the camera based on the face area (face frame) acquired by face detection, and the image of the cutout area (face cutout frame) is used as a face image. Perform the cutting process. The cutout area is set with the face area as the center and the face area expanded in the vertical and horizontal directions.
図１０（Ａ）に示す例では、拡張係数ｋを３として、顔検知で検知した顔領域の３倍の領域を切り出し領域に設定している。図１０（Ｂ）に示す例では、拡張係数ｋを４として、顔領域の４倍の領域を切り出し領域に設定している。 In the example shown in FIG. 10A, the expansion coefficient k is set to 3, and a region three times as large as the face region detected by face detection is set as the cutout region. In the example shown in FIG. 10B, the expansion coefficient k is set to 4, and a region four times as large as the face region is set as the cutout region.
ここで、図１０（Ｂ）に示すように、顔枠の左上の頂点Ａの座標（ｘ，ｙ）と顔枠の幅ｗおよび高さｈとから、顔枠の中心Ｂの座標（ｘ'，ｙ'）が次式のように求められる。
（ｘ'，ｙ'）＝（（ｘ＋ｗ）／２，（ｙ＋ｈ）／２）
また、顔枠の幅ｗおよび高さｈと拡張係数ｋとから、切出し領域の幅Ｗおよび高さＨが次式のように求められる。
Ｗ＝ｗ×ｋ
Ｈ＝ｈ×ｋ
そして、顔枠の中心Ｂの座標（ｘ'，ｙ'）と切出し領域の幅Ｗとおよび高さＨとから、切出し領域の左上の頂点Ｃの座標（Ｘ，Ｙ）が次式のように求められる。
（Ｘ，Ｙ）＝（ｘ'－（Ｗ／２），ｙ'－（Ｈ／２））
この切出し領域の左上の頂点Ｃの座標（Ｘ，Ｙ）と切出し領域の幅Ｗとおよび高さＨとにより切出し領域が規定される。
Here, as shown in FIG. 10B, from the coordinates (x, y) of the upper left vertex A of the face frame and the width w and height h of the face frame, the coordinates (x') of the center B of the face frame. , Y') is calculated as follows.
(X', y') = ((x + w) / 2, (y + h) / 2)
Further, from the width w and height h of the face frame and the expansion coefficient k, the width W and height H of the cutout region can be obtained by the following equations.
W = w × k
H = h × k
Then, from the coordinates (x', y') of the center B of the face frame, the width W and the height H of the cutout area, the coordinates (X, Y) of the upper left vertex C of the cutout area are as shown in the following equation. Desired.
(X, Y) = (x'-(W / 2), y'-(H / 2))
The cutout area is defined by the coordinates (X, Y) of the upper left vertex C of the cutout area, the width W and the height H of the cutout area.
また、撮影画像に切り出し領域の全体が含まれる場合は問題ないが、図１１（Ａ）に示すように、撮影画像に切り出し領域の全体が含まれない場合、すなわち、切り出し領域の一部が撮影画像からはみ出している場合がある。 Further, there is no problem when the captured image includes the entire cutout area, but as shown in FIG. 11A, when the captured image does not include the entire cutout area, that is, a part of the cutout area is photographed. It may be out of the image.
この場合、図１１（Ｂ）に示すように、切り出し領域と同じのサイズの背景画像を生成する。この背景画像は、撮影画像からはみ出した余白部を埋めるものであり、所定色（例えば黒色）で塗り潰されている。また、図１１（Ｃ）に示すように、撮影画像から切り出し領域の画像を切り出して、切出し画像を取得する。そして、図１１（Ｄ）に示すように、背景画像上に切出し画像を重ね合わせて、顔画像を生成する。 In this case, as shown in FIG. 11B, a background image having the same size as the cutout area is generated. This background image fills the margin portion protruding from the captured image, and is filled with a predetermined color (for example, black). Further, as shown in FIG. 11C, an image in the cutout region is cut out from the captured image, and the cutout image is acquired. Then, as shown in FIG. 11D, the cutout image is superimposed on the background image to generate a face image.
次に、顔画像抽出処理について説明する。図１２は、顔画像抽出処理の概要を示す説明図である。 Next, the face image extraction process will be described. FIG. 12 is an explanatory diagram showing an outline of the face image extraction process.
前記のように、顔認証機１の顔画像抽出部２２において、顔画像抽出処理、すなわち、顔検知、顔サイズチェック、顔切出しの各処理により、利用者の撮影画像データから顔画像データを生成する処理が行われるが、この顔画像抽出処理は、顔照合サーバ６の顔画像抽出部８３でも同様に行われる。
As described above, the face
利用者登録時には、管理端末２から顔管理サーバ５を介して顔照合サーバ６に利用者の撮影画像データを送ることで、顔照合サーバ６の顔画像抽出部８３で顔画像抽出処理を行う。
At the time of user registration, the face
一方、顔認証時には、顔認証機１でのみ顔画像抽出処理を行い、顔照合サーバ６では顔画像抽出処理を行わない。この場合、顔認証機１に高精度な顔検知の機能を与える。また、顔認証機１ではカメラ１１で撮影エリアを常時撮影し、顔が検知されたタイミングで顔画像情報（撮影画像データと顔枠情報）を顔照合サーバ６に送るようにする。これにより、顔画像抽出処理の負荷が複数の顔認証機１に分散され、顔照合サーバ６の負荷を軽減することができる。また、通信量の削減を図ることができるため、ネットワークの負荷を軽減することができる。そして、顔認証の応答を高速に行うことができるため、次々に現れる対象者の顔認証を効率よく行うことができる。
On the other hand, at the time of face authentication, the face image extraction process is performed only by the
すなわち、利用者の顔認証処理を顔認証機１と顔照合サーバ６とで分担する構成としたので、従来のように利用者の顔認証処理の全てを顔認証機１へ集中させた高価な認証機を多数設ける必要がない。また、顔特徴量データの更新などが発生しても、大規模な認証機のメンテナンス作業を必要とせず、顔照合サーバ６での作業で済む。したがって、本実施形態によれば、安価な構成、かつ、作業性に優れた顔認証システムを構築することができる。
That is, since the user's face authentication process is shared between the
なお、管理端末２が顔画像抽出の機能を備えない構成、すなわち、管理端末２に顔画像抽出部２２を設けないようにしてもよい。
The
図１３は、照合グループ情報による顔認証の問合せの概要を示す説明図である。 FIG. 13 is an explanatory diagram showing an outline of an inquiry for face recognition using collation group information.
顔管理サーバ５は、利用者が属する照合グループに関する情報と、顔認証機１と照合グループとの間の関連付け情報と、顔照合サーバ６と照合グループとの間の関連付け情報と、を保持する。また、顔管理サーバ５の照合グループ管理部６３では、顔認証機１と照合グループとの間の関連付け情報と、顔照合サーバ６と照合グループとの間の関連付け情報とに基づいて、顔認証機１ごとの照合グループ情報を生成する。
The
この照合グループ情報は、顔認証機１が自分の照合グループと一致した顔照合サーバ６に顔認証を要求するために必要となる情報である。この照合グループ情報には、顔認証機１が属する照合グループの識別情報（グループ番号）と、その顔認証機１から顔認証を要求する顔照合サーバ６、すなわち、顔認証機１との照合グループに対応する顔照合サーバ６の宛先情報とが含まれる。ここで、宛先情報は、具体的には、顔照合サーバ６のネットワークアドレス（例えばＩＰアドレス）であり、この宛先情報により、顔認証の要求先となる顔照合サーバ６が特定され、顔認証機１と、その顔認証の要求先となる顔照合サーバ６とが関連付けられる。なお、顔認証機１が複数の照合グループに所属する場合には、対応する複数の顔照合サーバ６ごとのアドレス（ＩＰアドレス）が照合グループ情報に含まれる。
This matching group information is information required for the
顔認証機１では、起動時などに、起動処理部２１が動作設定情報として顔管理サーバ５から照合グループ情報を取得して自装置に記憶する。顔認証機１では、人物の顔を検知すると、自装置が属する照合グループと一致する顔照合サーバ６に対して顔照合のリクエストを送る。この顔照合のリクエストには、自装置が属する照合グループの情報などを含む。
In the
なお、顔認証機１において、照合グループ情報などに関する設定情報を顔管理サーバ５から取得するタイミングは、起動時の他、所定のタイミングでまたは所定間隔で定期的に行うようにしてもよく、または、顔管理サーバ５から照合グループ情報を配信する構成を採用することもできる。
In the
顔照合サーバ６では、自装置の顔照合プロセスと照合グループとの間の関連付け情報を保持する。顔照合サーバ６では、顔認証機１からの顔認証のリクエストを受け取ると、照合グループと顔認証プロセスとの間の関連付け情報と、顔認証機１から取得した照合グループとに基づいて、顔認証機１に対応する顔認証プロセスを特定して、その顔認証プロセスに顔照合を行わせる。これにより、指定された照合グループに対応した顔認証プロセスで顔照合処理が行われる。
The
ところで、本実施形態では、顔照合サーバ６において、照合グループごとに顔照合データベースを設けて、照合グループ単位で顔特徴量データを保管する。このため、顔照合時には、顔認証機１の照合グループに対応する顔照合データベースに登録された顔特徴量データを対象にして顔照合を行えばよい。一方、顔照合サーバ６において、顔認証機１の照合グループに関係なく照合を行った上で、照合結果に対してフィルタをかけるようにしてもよい。すなわち、顔照合サーバ６に保管された全ての利用者の顔特徴量データを対象にして顔照合を行った上で、顔認証機１の照合グループに属する利用者との照合結果のみを抽出するようにしてもよい。この場合、照合グループごとに顔照合データベースを分けて設けないようにしてもよい。
By the way, in the present embodiment, in the
次に、管理者アクセス管理について説明する。 Next, administrator access management will be described.
本システムでは、管理端末２から顔管理サーバ５および顔照合サーバ６へのアクセスを管理する。顔管理サーバ５は、管理者アクセス管理部６１を備えている。このアクセス管理部は、顔管理サーバ５および顔照合サーバ６に対する管理端末２からのアクセス（ログイン）の状況を監視し、管理端末２からのアクセスを検知すると、そのアクセスに関する情報（アクセスした管理者や日時など）を管理者アクセスログ（履歴情報）として記録する。また、顔管理サーバ５は、管理端末２からの管理者アクセスログの参照の要求に応じて、管理端末２に管理者アクセスログを提供し、管理者が管理者アクセスログを閲覧することができる。
This system manages access from the
本実施形態では、利用者の情報に対するアクセス権を管理者に設定して、利用者の情報に対するアクセス（利用者情報の登録、参照、更新および削除など）を制限する。管理者に与えられるアクセス権の違いに応じて、管理者を複数の管理者グループにグループ分けする。ここでは、管理者が、システム運用管理者、サービス運用管理者、および一般管理者にグループ分けされる。 In the present embodiment, the access right to the user's information is set to the administrator, and the access to the user's information (registration, reference, update, deletion, etc. of the user information) is restricted. Group administrators into multiple administrator groups according to the differences in access rights given to them. Here, the managers are grouped into system operation managers, service operation managers, and general managers.
また、本実施形態では、利用者の情報にアクセスできる管理者グループに応じて、利用者を複数のアクセス許可グループにグループ分けする。アクセス許可グループは、当該利用者のデータにアクセスすることができる管理者グループである。ここでは、利用者が、システム運用管理者、サービス運用管理者、および一般管理者にグループ分けされる。 Further, in the present embodiment, the users are grouped into a plurality of access permission groups according to the administrator group that can access the user's information. The access permission group is an administrator group that can access the user's data. Here, users are grouped into system operation managers, service operation managers, and general managers.
顔管理サーバ５では、管理者のログインを受け付けた際に、ログインした管理者の管理者グループ（管理者種別）を取得して、その管理者グループと、対象となる利用者が属するアクセス許可グループとに基づいて、利用者の情報に対するアクセス（参照、更新および削除）の可否を判定して、利用者の情報に対するアクセスを許可する。すなわち、管理者が属する管理者グループで許可されている利用者の情報に対してのみ、参照、更新および削除の処理を行わせることができる。
When the
システム運用管理者は、本システムの運用（保守など）を管理する人物であり、すべての利用者、すなわち、アクセス許可グループがシステムユーザ、管理ユーザ、一般ユーザのいずれかとなる利用者の情報にアクセスすることができる。また、サービス運用管理者は、本システムによる顔認証サービスの運用（利用者の登録・削除など）を管理する人物であり、アクセス許可グループが管理ユーザまたは一般ユーザとなる利用者の情報にアクセスすることができる。また、一般管理者は、サービス運用管理者から権限を付与された人物であり、アクセス許可グループが一般ユーザとなる利用者の情報にのみアクセスすることができる。 The system operation administrator is a person who manages the operation (maintenance, etc.) of this system, and accesses the information of all users, that is, users whose access permission group is either a system user, an administrative user, or a general user. can do. In addition, the service operation manager is a person who manages the operation of the face recognition service (user registration / deletion, etc.) by this system, and the access permission group accesses the information of the user who is the management user or the general user. be able to. Further, the general administrator is a person who has been granted authority by the service operation administrator, and can access only the information of the user whose access permission group is a general user.
図１４は、管理端末２に表示されるログイン画面を示す説明図である。
FIG. 14 is an explanatory diagram showing a login screen displayed on the
管理端末２では、管理アプリケーションを起動して顔管理サーバ５にアクセスすると、ログイン画面が表示される。このログイン画面では、管理者が自分のユーザＩＤとパスワードとを入力することができる。このログイン画面で管理者がユーザＩＤおよびパスワードを入力してログインボタンを操作すると、顔管理サーバ５において、ユーザ認証が行われる。ログインに成功した場合、トップ画面を表示する。ログインに失敗した場合、エラーを表示する。
On the
次に、照合グループに関する登録、参照、更新および削除について説明する。図１５、図１６は、照合グループに関する登録、参照、更新および削除の際に管理端末２に表示される画面を示す説明図である。
Next, registration, reference, update, and deletion related to the collation group will be described. 15 and 16 are explanatory views showing a screen displayed on the
管理端末２では、照合グループに関する登録、参照、更新および削除の際に、図１５（Ａ）に示す参照画面、図１５（Ｂ）に示す登録画面、図１５（Ｃ）に示す更新画面、および図１６に示す削除画面が表示される。
In the
図１５（Ａ）に示す参照画面は、登録済みの照合グループを一覧表示するものである。この参照画面を閲覧することで、照合グループの登録内容を管理者が確認することができる。 The reference screen shown in FIG. 15A displays a list of registered collation groups. By viewing this reference screen, the administrator can confirm the registered contents of the collation group.
この参照画面には、一覧表示部１０１と更新ボタン１０２とが設けられている。一覧表示部１０１では、登録済みの照合グループごとに、照合グループＩＤ（番号）と、照合グループに関する説明（設置場所）とが並べて表示される。これにより、登録済みの照合グループを管理者が確認することができる。この参照画面では、更新ボタン１０２を操作すると、一覧表示部１０１が最新の登録内容に更新される。また、照合グループを選択する、具体的には、照合グループＩＤを操作することで、更新画面（図１５（Ｃ）参照）に遷移する。
The reference screen is provided with a
また、この参照画面では、項目（照合グループ、説明）を指定してソートを実行することができる。なお、一覧表示部１０１の表示件数（顔照合サーバ６の台数）や、顔照合サーバ６や照合グループの表示範囲を指定できるようにしてもよい。また、各項目（機器ＩＤ、顔照合サーバ６、説明）に関する検索条件を指定して検索できるようにしてもよい。
In addition, on this reference screen, items (collation group, description) can be specified and sorting can be executed. The number of items displayed by the list display unit 101 (the number of face matching servers 6) and the display range of the
図１５（Ｂ）に示す登録画面（第１の画面）は、管理者に照合グループの登録を行わせるものである。 The registration screen (first screen) shown in FIG. 15B allows the administrator to register the collation group.
この登録画面には、説明入力部１０３と登録ボタン１０４とが設けられている。説明入力部１０３では、照合グループに関する説明を入力することができる。説明を入力した上で登録ボタン１０４を操作すると、入力内容で照合グループ情報をデータベースに登録する処理が顔管理サーバ５で行われる。
The registration screen is provided with an
図１５（Ｃ）に示す更新画面は、管理者に照合グループの登録内容の更新を行わせるものである。 The update screen shown in FIG. 15C allows the administrator to update the registered contents of the collation group.
この更新画面には、説明入力部１０５と更新ボタン１０６とが設けられている。説明入力部１０５では、照合グループに関する説明を入力することができる。説明を入力した上で更新ボタン１０６を操作すると、データベースに登録された照合グループ情報を入力内容で更新する処理が顔管理サーバ５で行われる。
The update screen is provided with an
図１６に示す削除画面は、管理者に照合グループの削除を行わせるものである。 The deletion screen shown in FIG. 16 causes the administrator to delete the collation group.
この削除画面には、一覧表示部１０７と削除ボタン１０８とが設けられている。一覧表示部１０７では、登録済みの照合グループ（番号）と、照合グループに関する説明とが一覧表示される。また、この一覧表示部１０７には、照合グループごとにチェックボックスが設けられている。チェックボックスにより照合グループを選択することができる。チェックボックスにより削除する照合グループを選択して削除ボタン１０８を操作すると、選択した照合グループを削除する処理が顔管理サーバ５で行われる。
The delete screen is provided with a
ここで、メニュー画面（図示せず）において参照を選択することで、図１５（Ａ）に示す参照画面に遷移する。また、メニュー画面において登録を選択することで、図１５（Ｂ）に示す登録画面に遷移する。また、メニュー画面において更新を選択することで、図１５（Ｃ）に示す更新画面に遷移する。また、メニュー画面において削除を選択することで、図１６に示す削除画面に遷移する。 Here, by selecting a reference on the menu screen (not shown), the transition to the reference screen shown in FIG. 15A is performed. Further, by selecting registration on the menu screen, the screen transitions to the registration screen shown in FIG. 15 (B). Further, by selecting update on the menu screen, the screen transitions to the update screen shown in FIG. 15 (C). Further, by selecting deletion on the menu screen, the screen transitions to the deletion screen shown in FIG.
次に、照合グループに関する登録、参照、更新および削除の処理について説明する。図１７は、照合グループに関する登録、参照、および更新の処理の手順を示すシーケンス図である。図１８は、照合グループに関する登録、参照、更新の処理の概要を示す説明図である。 Next, the process of registering, referencing, updating, and deleting the collation group will be described. FIG. 17 is a sequence diagram showing a procedure for registering, referencing, and updating a collation group. FIG. 18 is an explanatory diagram showing an outline of the process of registration, reference, and update regarding the collation group.
まず、本システムにおける照合グループに関する登録処理について説明する。 First, the registration process related to the collation group in this system will be described.
図１７（Ａ）に示すように、管理端末２では、管理者が、照合グループに関する登録を指示する操作を行う。本実施形態では、照合グループに関する登録画面（図１５（Ｂ）参照）において、管理者が、照合グループを登録する操作を行う。
As shown in FIG. 17A, in the
図１８に示すように、顔管理サーバ５では、管理端末２において照合グループの登録を指示する操作が行われると、照合グループ管理部６３において照合グループに関する登録処理を行う。この登録処理では、管理者が入力した照合グループの情報を、照合グループのデータベースに登録する。
As shown in FIG. 18, in the
そして、顔管理サーバ５では、照合グループに関する登録処理が終了すると、登録処理が正常に終了したか否かを表す処理結果を管理端末２に画面表示する。また、顔管理サーバ５では、管理者アクセス管理部６１において管理者アクセスログを記録する。
Then, when the registration process related to the collation group is completed, the
次に、照合グループに関する参照処理について説明する。 Next, the reference process related to the collation group will be described.
図１７（Ｂ）に示すように、管理端末２では、管理者が、照合グループに関する参照を指示する操作を行う。本実施形態では、メニュー画面などで、照合グループに関する参照画面（図１５（Ａ）参照）を開く操作を行う。
As shown in FIG. 17B, in the
顔管理サーバ５では、管理端末２において照合グループの参照を指示する操作が行われると、照合グループに関する参照処理を行う。この参照処理では、照合グループに関するデータベースを参照して、全ての照合グループを対象にした照合グループのリスト情報を生成して、そのリスト情報に基づいて、全ての照合グループを対象にした参照画面を管理端末２に表示させる。また、管理者が、管理端末２に表示された参照画面（図１５（Ａ）参照）において、項目を選択してソートを指示する操作を行うと、ソートした状態のリスト情報を生成して、ソートが反映された参照画面を管理端末２に表示させる。
When the operation for instructing the reference of the collation group is performed on the
次に、照合グループに関する更新処理について説明する。 Next, the update process related to the collation group will be described.
図１７（Ｃ）に示すように、管理端末２では、管理者が照合グループの更新を指示する操作を行う。本実施形態では、照合グループに関する更新画面（図１５（Ｃ）参照）において、更新内容を入力して更新ボタン１０６を操作する。
As shown in FIG. 17C, in the
顔管理サーバ５では、管理端末２において照合グループの更新を指示する操作が行われると、照合グループに関する更新処理を行う。この更新処理では、照合グループに関するデータベースを、管理者が指定した内容で更新する。そして、顔管理サーバ５では、更新処理が終了すると、更新処理が正常に終了したか否かを表す結果を管理端末２に画面表示する。
When the operation for instructing the update of the collation group is performed on the
次に、照合グループに関する削除処理について説明する。図１９は、照合グループに関する削除処理の手順を示すシーケンス図である。図２０は、照合グループに関する削除処理の概要を示す説明図である。 Next, the deletion process related to the collation group will be described. FIG. 19 is a sequence diagram showing a procedure of deletion processing related to a collation group. FIG. 20 is an explanatory diagram showing an outline of a deletion process relating to a collation group.
図１９に示すように、管理端末２では、管理者が照合グループの削除を指示する操作を行う。本実施形態では、照合グループに関する削除画面（図１６参照）において、削除対象となる照合グループを選択して削除ボタン１０８を操作する。
As shown in FIG. 19, in the
図２０に示すように、顔管理サーバ５では、管理端末２において照合グループの削除を指示する操作が行われると、照合グループに関する削除処理を行う。この削除処理では、管理者が指定した照合グループの登録情報を、照合グループに関するデータベースから削除する。また、対象となる照合グループと顔照合サーバ６との間の関連付け情報を削除する。このとき、対象となる照合グループと顔照合サーバ６との間の関連付け情報を削除してから、照合グループの登録情報を削除する。また、照合グループと利用者との間の関連付けのデータベースから、対象となる照合グループに関する情報を削除する。また、対象となる照合グループに属する利用者の顔情報（顔特徴量データ）を顔情報データベースから削除する。また、対象となる照合グループと顔認証機１との間の関連付け情報を削除する。また、顔管理サーバ５では、管理者アクセス管理部６１において管理者アクセスログを記録する。
As shown in FIG. 20, when the operation for instructing the deletion of the collation group is performed on the
また、顔管理サーバ５では、照合グループ削除のリクエストを顔照合サーバ６に送る。この照合グループ削除のリクエストには、削除の対象となる照合グループの情報が含まれる。
Further, the
顔照合サーバ６では、顔管理サーバ５からの照合グループ削除のリクエストを受け取ると、照合グループに関する削除処理を行う。この削除処理では、指定された照合グループと顔照合部（顔照合プロセス）との間の関連付け情報を削除する。このとき、削除対象となる照合グループに関する顔照合部を停止するとともに、照合グループに対応した顔照合データベースを削除する。
When the
そして、顔照合サーバ６では、削除処理が終了すると、照合グループ削除のレスポンスを顔管理サーバ５に送る。このレスポンスには、削除処理が正常に終了したか否かを表す処理結果が含まれる。
Then, when the deletion process is completed, the
顔管理サーバ５では、顔照合サーバ６からの照合グループ削除のレスポンスを受け取り、自装置の削除処理も終了すると、削除処理が正常に終了したか否かを表す処理結果を管理端末２に画面表示する。
The
なお、顔認証機１では、再起動することで、この処理が反映され、照合グループの情報が削除される。
By restarting the
次に、照合グループに関する一括登録処理について説明する。図２１は、照合グループに関する一括登録処理の手順を示すシーケンス図である。 Next, the batch registration process related to the collation group will be described. FIG. 21 is a sequence diagram showing a procedure of batch registration processing for a collation group.
本システムでは、対象となる照合グループに関する情報を格納したリスト情報のファイルを用いて、顔管理サーバ５に照合グループを一括登録することができる。
In this system, the collation group can be collectively registered in the
具体的には、まず、管理端末２では、照合グループに関する一括登録を指示する操作を行う。本実施形態では、登録画面（図示せず）において、管理者が、対象となる照合グループに関するリスト情報が格納されたファイルを選択して登録ボタンを操作する。
Specifically, first, the
このとき、選択したリスト情報のファイルを読み込み、そのリスト情報を管理端末２の確認画面に表示する。管理者は、確認画面で登録内容を確認した上で照合グループの一括登録を指示する操作を行う。また、確認画面上では、必要に応じて登録内容を修正することができる。
At this time, the file of the selected list information is read, and the list information is displayed on the confirmation screen of the
顔管理サーバ５では、管理端末２において照合グループの一括登録を指示する操作が行われると、照合グループに関する一括登録処理を行う。この一括登録処理では、管理端末２から取得した照合グループのリスト情報に基づいて、対象となる各照合グループに関する登録処理を繰り返す。
When the operation for instructing the batch registration of the collation group is performed on the
そして、顔管理サーバ５では、一括登録処理が終了すると、一括登録処理が正常に終了したか否かを表す登録結果を管理端末２に画面表示する。このとき、登録に失敗した照合グループを管理者に報告し、その照合グループに関する再登録を催促する。登録結果をログファイルで出力する。
Then, when the batch registration process is completed, the
なお、ここでは、照合グループに関する一括登録処理について説明したが、照合グループに関する一括更新や一括削除の処理も可能である。 Although the batch registration process for the collation group has been described here, the batch update and batch deletion processes for the collation group are also possible.
次に、本システムにおける顔認証機１と照合グループとの間の関連付けに関する登録、参照、更新および削除について説明する。図２２、図２３は、顔認証機１と照合グループとの間の関連付けに関する登録、参照、更新および削除の際に管理端末２に表示される画面を示す説明図である。
Next, registration, reference, update, and deletion regarding the association between the
管理端末２では、顔認証機１と照合グループとの間の関連付けに関する登録、参照、更新および削除の際に、図２２（Ａ）に示す参照画面、図２２（Ｂ）に示す登録画面、および図２３に示す削除画面が表示される。
In the
図２２（Ａ）に示す参照画面は、登録済みの顔認証機１と照合グループとの関連付け設定を一覧表示するものである。この参照画面を閲覧することで、照合グループの登録内容を管理者が確認することができる。
The reference screen shown in FIG. 22A displays a list of association settings between the registered
この参照画面には、一覧表示部１１１と顔認証機指定部１１２とが設けられている。一覧表示部１１１では、各認証機の機器ＩＤと、各認証機に関連付けられた照合グループ（番号）と、照合グループに関する説明とが表示される。顔認証機指定部１１２では、プルダウンメニューにより、対象となる顔認証機１（機器ＩＤ）を選択することができる。これにより、一覧表示部１１１の表示内容を特定の顔認証機１に絞り込むことができ、一覧表示部１１１に、特定の顔認証機１に関連付けられた照合グループのみが表示される。なお、顔認証機指定部１１２で顔認証機１を指定しない場合には、一覧表示部１１１に、全ての顔認証機１に関する情報が表示される。
The reference screen is provided with a
また、この参照画面では、項目（機器ＩＤ、顔認証機１、説明）を指定してソートを実行することができる。なお、一覧表示部１１１の表示件数（顔認証機１の台数）や、顔照合サーバ６や照合グループの表示範囲を指定できるようにしてもよい。また、各項目（機器ＩＤ、顔認証機１、説明）に関する検索条件を指定して検索できるようにしてもよい。
Further, on this reference screen, items (device ID, face
なお、図２２（Ａ）に示した例では、顔認証機１が設置された場所（例えば事業所の所在地）で顔認証機１がグループ分けされている。
In the example shown in FIG. 22A, the
図２２（Ｂ）に示す登録画面（第２の画面）は、顔認証機１と照合グループとの関連付け設定を行わせるものである。認証機に照合グループを関連付ける情報を登録することができる。
The registration screen (second screen) shown in FIG. 22B is for setting the association between the
この登録画面には、認証機指定部１１３と照合グループ指定部１１４と登録ボタン１１５とが設けられている。認証機指定部１１３では、プルダウンメニューにより、対象となる顔認証機１（機器ＩＤ）を選択することができる。照合グループ指定部１１４では、プルダウンメニューにより、対象となる顔認証機１の照合グループを選択することができる。このプルダウンメニューには、照合グループに関する登録画面（図１５（Ｂ）参照）により登録された照合グループが表示される。この登録画面で顔認証機１および照合グループを入力した上で登録ボタン１１５を操作すると、入力内容で照合グループ情報を登録する処理が顔管理サーバ５で行われる。
The registration screen is provided with an authentication
なお、１つの顔認証機１に複数の照合グループを関連付ける場合があるが、この場合には、登録画面で１つの顔認証機１に１つの照合グループを関連付ける登録操作を繰り返せばよい。また、登録画面に照合グループ指定部１１４を複数設けるようにしてもよい。
In some cases, a plurality of collation groups are associated with one
図２３に示す削除画面は、顔認証機１と照合グループとの関連付け設定を削除するものである。
The deletion screen shown in FIG. 23 deletes the association setting between the
この削除画面には、一覧表示部１１６と顔認証機指定部１１７と削除ボタン１１８とが設けられている。一覧表示部１１６では、各認証機の機器ＩＤと、各顔認証機１に関連付けられた照合グループ（番号）と、照合グループに関する説明とが表示される。また、この一覧表示部１１６には、関連付け設定ごとにチェックボックスが設けられている。チェックボックスにより関連付け設定を選択することができる。チェックボックスにより削除する登録事項を選択して削除ボタン１１８を操作すると、選択した登録事項を削除する処理が顔管理サーバ５で行われる。顔認証機指定部１１７では、プルダウンメニューにより顔認証機１を選択することができる。これにより、特定の顔認証機１に絞り込んだ状態で一覧表示部１１６の表示内容が更新される。
The deletion screen is provided with a
ここで、メニュー画面（図示せず）において参照を選択することで、図２２（Ａ）に示す参照画面に遷移する。また、メニュー画面において登録を選択することで、図２２（Ｂ）に示す登録画面に遷移する。また、メニュー画面において削除を選択することで、図２３に示す削除画面に遷移する。また、メニュー画面において更新を選択することで、更新画面（図示せず）に遷移する。また、参照画面において、管理者が、顔認証機１と照合グループとの関連付けを選択すると、更新画面（図示せず）に遷移する。
Here, by selecting a reference on the menu screen (not shown), the transition to the reference screen shown in FIG. 22 (A) is performed. Further, by selecting registration on the menu screen, the screen transitions to the registration screen shown in FIG. 22 (B). Further, by selecting deletion on the menu screen, the transition to the deletion screen shown in FIG. 23 is performed. Also, by selecting update on the menu screen, the screen transitions to the update screen (not shown). Further, when the administrator selects the association between the
なお、図２３に示す例では、削除画面に、登録済みの関連付けを一覧表示するようにしたが、個別編集画面で削除ができるようにしてもよい。また、更新画面（図示せず）は、登録画面（図２２（Ｂ））と同様である。 In the example shown in FIG. 23, the registered associations are displayed in a list on the deletion screen, but the deletion may be possible on the individual edit screen. The update screen (not shown) is the same as the registration screen (FIG. 22B).
次に、顔認証機１と照合グループとの間の関連付けに関する登録処理について説明する。図２４は、顔認証機１と照合グループとの間の関連付けに関する登録処理の手順を示すシーケンス図である。図２５は、顔認証機１と照合グループとの間の関連付けに関する登録処理の概要を示す説明図である。
Next, the registration process relating to the association between the
管理端末２では、管理者が、登録画面（図参照）を開く操作を行う。本実施形態では、メニュー画面（図示せず）において登録を選択する操作を行う。
On the
図２５に示すように、顔管理サーバ５では、管理端末２において登録画面を開く操作が行われると、登録機器（顔認証機１および顔照合サーバ６）に関するデータベースを参照して、顔認証機１のリスト情報を生成する。また、照合グループに関するデータベースを参照して、照合グループのリスト情報を生成する。そして、顔認証機１のリスト情報と照合グループのリスト情報とに基づいて、登録画面の画面情報を生成して、登録画面を管理端末２に表示する。
As shown in FIG. 25, in the
次に、管理端末２では、管理者が、登録画面において、顔認証機１と照合グループとの間の関連付けの登録を指示する操作を行う。本実施形態では、登録画面（図２２（Ｂ）参照）において、顔認証機１と照合グループとの組み合わせを入力して登録ボタンを操作する。
Next, on the
顔管理サーバ５では、管理端末２において顔認証機１と照合グループとの間の関連付けの登録を指示する操作が行われると、顔認証機１と照合グループとの間の関連付けに関する登録処理を行う。この登録処理では、管理者が指定した顔認証機１と照合グループとの組み合わせで関連付け情報をデータベースに登録する。なお、顔認証機１と照合グループとの間の関連付けは、顔認証機１を再起動させることで反映される。
In the
そして、顔管理サーバ５では、登録処理が終了すると、登録処理が正常に終了したか否かを表す登録結果を管理端末２に画面表示する。
Then, when the registration process is completed, the
次に、顔認証機１と照合グループとの間の関連付けに関する参照処理について説明する。図２６は、顔認証機１と照合グループとの間の関連付けに関する参照処理の手順を示すシーケンス図である。
Next, a reference process relating to the association between the
管理端末２では、管理者が、顔照合サーバ６と照合グループとの間の関連付けの参照を指示する操作を行う。本実施形態では、メニュー画面などで参照画面（図２２（Ａ）参照）を開く操作を行う。
In the
顔管理サーバ５では、管理端末２において顔認証機１と照合グループとの間の関連付けの参照を指示する操作が行われると、照合グループに関する参照処理を行う。この参照処理では、顔認証機１と照合グループとの間の関連付けに関するデータベースを参照して、全ての顔照合サーバ６を対象にした関連付け情報のリストを生成して、参照画面を管理端末２に表示させる。また、管理者が、参照画面において、対象となる顔認証機１を絞り込む操作を行うと、選択した顔認証機１を対象にした関連付けのリストを生成して、絞り込みが反映された参照画面を管理端末２に表示させる。また、管理者が、参照画面において、項目を選択してソートを指示する操作を行うと、ソートした状態のリスト情報を生成して、ソートが反映された参照画面を管理端末２に表示させる。
When the
また、顔管理サーバ５では、管理者アクセスログを記録する。
Further, the
次に、顔認証機１と照合グループとの間の関連付けに関する更新処理について説明する。図２７は、顔認証機１と照合グループとの間の関連付けに関する更新処理の手順を示すシーケンス図である。
Next, the update process relating to the association between the
管理端末２では、管理者が、更新画面（図示せず）を開く操作を行う。本実施形態では、メニュー画面（図示せず）において更新を選択する操作を行う。
On the
顔管理サーバ５では、管理端末２において更新画面を開く操作が行われると、登録機器に関するデータベースを参照して、顔認証機１のリスト情報を生成する。また、照合グループに関するデータベースを参照して、照合グループのリスト情報を生成する。そして、顔認証機１のリスト情報と照合グループのリスト情報とに基づいて、登録画面の画面情報を生成して、更新画面を管理端末２に表示する。この更新画面では、顔認証機１と照合グループとの間の関連付けに関する登録情報に基づいて、初期状態で、現在登録されている組み合わせが表示される。
When the operation to open the update screen is performed on the
次に、管理端末２では、管理者が、更新画面において、顔認証機１と照合グループとの間の関連付けの更新を指示する操作を行う。本実施形態では、更新画面（図示せず）において、更新内容を入力して更新ボタンを操作する。なお、更新内容とは、認証機と照合グループとの組み合わせを変更するものである。
Next, on the
顔管理サーバ５では、管理端末２において顔認証機１と照合グループとの間の関連付けの更新を指示する操作が行われると、顔認証機１と照合グループとの間の関連付けに関する更新処理を行う。この更新処理では、顔認証機１と照合グループとの間の関連付けに関するデータベースを、管理者が指定した内容で更新する。管理者が入力した認証機と照合グループとの組み合わせでデータベースの関連付け情報を更新する処理を行う。そして、顔管理サーバ５では、更新処理が終了すると、更新処理が正常に終了したか否かを表す結果を管理端末２に画面表示する。
When the
次に、顔認証機１と照合グループとの間の関連付けに関する削除処理について説明する。図２８は、顔認証機１と照合グループとの間の関連付けに関する削除処理の手順を示すシーケンス図である。
Next, the deletion process relating to the association between the
管理端末２では、管理者が、認証機と照合グループとの関連付けの削除を指示する操作を行う。本実施形態では、削除画面（図２３参照）において、登録事項（関連付け）を選択して削除ボタンを操作する。
On the
顔管理サーバ５では、管理端末２において顔認証機１と照合グループとの間の関連付けの削除を指示する操作が行われると、顔認証機１と照合グループとの間の関連付けに関する削除処理を行う。この削除処理では、管理者が指定した顔認証機１と照合グループとの間の関連付け情報を削除する。
When the
そして、顔管理サーバ５では、削除処理が終了すると、その削除処理が正常に終了したか否かを表す結果を管理端末２に画面表示する。また、顔管理サーバ５では、管理者アクセスログを記録する。
Then, when the deletion process is completed, the
次に、本システムにおける顔照合サーバ６と照合グループとの間の関連付けに関する登録、参照および削除について説明する。図２９、図３０は、顔照合サーバ６と照合グループとの間の関連付けに関する登録、参照および削除の際に管理端末２に表示される画面を示す説明図である。
Next, registration, reference, and deletion regarding the association between the
管理端末２では、顔照合サーバ６と照合グループとの間の関連付けに関する登録、参照、更新および削除の際に、図２９（Ａ）に示す参照画面、図２９（Ｂ）に示す登録画面、および図３０に示す削除画面が表示される。
In the
図２９（Ａ）に示す参照画面は、登録済みの顔照合サーバ６と照合グループとの関連付け設定を一覧表示するものである。この参照画面を閲覧することで、照合グループの登録内容を管理者が確認することができる。
The reference screen shown in FIG. 29A displays a list of association settings between the registered
この参照画面には、一覧表示部１２１と顔照合サーバ指定部１２２とが設けられている。一覧表示部１２１では、各顔照合サーバ６の機器ＩＤと、各認証機に関連付けられた照合グループ（番号）と、照合グループに関する説明とが表示される。顔照合サーバ指定部１２２では、プルダウンメニューにより、対象となる顔照合サーバ６（機器ＩＤ）を選択することができる。これにより、一覧表示部１２１の表示内容を特定の顔照合サーバ６に絞り込むことができ、一覧表示部１２１に、特定の顔照合サーバ６に関連付けられた照合グループのみが表示される。なお、顔照合サーバ６指定部で顔照合サーバ６を指定しない場合には、一覧表示部１２１に、全ての顔照合サーバ６に関する情報が表示される。
The reference screen is provided with a
また、この参照画面では、項目（機器ＩＤ、顔照合サーバ６、説明）を指定してソートを実行することができる。なお、一覧表示部１２１の表示件数（顔照合サーバ６の台数）や、顔照合サーバ６や照合グループの表示範囲を指定できるようにしてもよい。また、各項目（機器ＩＤ、顔照合サーバ６、説明）に関する検索条件を指定して検索できるようにしてもよい。
Further, on this reference screen, items (device ID, face matching
図２９（Ｂ）に示す登録画面（第２の画面）は、照合グループと顔照合サーバ６との間の関連付けを指定するものである。
The registration screen (second screen) shown in FIG. 29B specifies the association between the collation group and the
この登録画面には、顔照合サーバ指定部１２３と照合グループ指定部１２４と登録ボタン１２５とが設けられている。顔照合サーバ６指定部では、プルダウンメニューにより顔照合サーバ６の機器ＩＤを選択することができる。照合グループ指定部１２４では、プルダウンメニューにより照合グループを選択することができる。プルダウンメニューには、照合グループに関する登録画面（図１５（Ｂ）参照）により登録された照合グループが表示される。
The registration screen is provided with a face collation
顔照合サーバ６および照合グループを指定して登録ボタン１２５を操作すると、指定した顔照合サーバ６と照合グループとの組み合わせで照合グループと顔照合サーバ６との間の関連付け情報が登録される。
When the
なお、１つの顔照合サーバ６に複数の照合グループを割り当てる場合があり、この場合には、登録画面で１つの顔照合サーバ６に１つの照合グループを関連付ける登録操作を繰り返せばよい。また、登録画面に照合グループ指定部１２４を複数設けるようにしてもよい。
In addition, a plurality of matching groups may be assigned to one
図３０に示す削除画面は、顔照合サーバ６と照合グループとの関連付け設定を削除するものである。
The deletion screen shown in FIG. 30 deletes the association setting between the
この削除画面には、一覧表示部１２６と顔照合サーバ指定部１２７と削除ボタン１２８とが設けられている。一覧表示部１２６では、各顔照合サーバ６の機器ＩＤと、各顔照合サーバ６に関連付けられた照合グループ（番号）と、照合グループに関する説明とが表示される。また、この一覧表示部１２６には、関連付け設定ごとにチェックボックスが設けられている。チェックボックスにより関連付け設定を選択することができる。チェックボックスにより削除する登録事項を選択して削除ボタン１２８を操作すると、選択した登録事項を削除する処理が顔管理サーバ５で行われる。顔照合サーバ指定部１２７では、プルダウンメニューにより顔照合サーバ６を選択することができる。これにより、特定の顔照合サーバ６に絞り込んだ状態で一覧表示部１２６の表示内容が更新される。
The deletion screen is provided with a
ここで、図２９（Ａ）に示す参照画面は、メニュー画面（図示せず）で参照を選択することで表示される。図２９（Ｂ）に示す登録画面は、メニュー画面（図示せず）で登録を選択することで表示される。図３０に示す削除画面は、メニュー画面（図示せず）で削除を選択することで表示される。また、図２９（Ａ）に示す参照画面の一覧表示部１２１で顔照合サーバ６を選択すると、図２９（Ｂ）に示す登録画面に遷移し、ここで、顔照合サーバ６と照合グループとの関連付けを変更することができる。
Here, the reference screen shown in FIG. 29 (A) is displayed by selecting a reference on the menu screen (not shown). The registration screen shown in FIG. 29B is displayed by selecting registration on the menu screen (not shown). The deletion screen shown in FIG. 30 is displayed by selecting deletion on the menu screen (not shown). Further, when the
なお、図３０に示す例では、削除画面に、登録済みの関連付けを一覧表示するようにしたが、個別編集画面（図示せず）で削除ができるようにしてもよい。 In the example shown in FIG. 30, the registered associations are displayed in a list on the deletion screen, but the deletion may be possible on the individual editing screen (not shown).
次に、顔照合サーバ６と照合グループとの間の関連付けに関する登録処理について説明する。図３１は、顔照合サーバ６と照合グループとの間の関連付けに関する登録処理の手順を示すシーケンス図である。
Next, the registration process relating to the association between the
管理端末２では、管理者が、登録画面（図２９（Ｂ）参照）を開く操作を行う。本実施形態では、メニュー画面（図示せず）において登録を選択する操作を行う。
On the
顔管理サーバ５では、管理端末２において登録画面を開く操作が行われると、登録機器に関するデータベースを参照して、顔照合サーバ６のリスト情報を生成する。また、照合グループに関するデータベースを参照して、照合グループのリスト情報を生成する。そして、顔照合サーバ６のリスト情報と照合グループのリスト情報とに基づいて、登録画面の画面情報を生成して、登録画面を管理端末２に表示する。
When the operation to open the registration screen is performed on the
次に、管理端末２では、管理者が、登録画面において、顔照合サーバ６と照合グループとの間の関連付けの登録を指示する操作を行う。本実施形態では、登録画面（図２９（Ｂ）参照）において、顔照合サーバ６と照合グループとの組み合わせを入力して登録ボタン１２５を操作する。
Next, on the
顔管理サーバ５では、管理端末２において顔照合サーバ６と照合グループとの間の関連付けの登録を指示する操作が行われると、顔照合サーバ６と照合グループとの間の関連付けに関する登録処理を行う。この登録処理では、管理者が指定した顔照合サーバ６と照合グループとの組み合わせで関連付け情報をデータベースに登録する。
In the
また、顔管理サーバ５では、照合グループ登録のリクエストを、対象となる顔照合サーバ６に送る。
Further, the
顔照合サーバ６では、顔管理サーバ５からの照合グループ登録のリクエストを受け取ると、照合グループに関する登録処理を行う。この登録処理では、照合グループを自装置の設定情報として登録する。そして、顔照合サーバ６では、登録処理が終了すると、登録のレスポンスを顔管理サーバ５に送る。
When the
顔管理サーバ５では、登録処理が終了すると、その登録処理が正常に終了したか否かを表す結果を管理端末２に画面表示する。また、顔管理サーバ５では、管理者アクセスログを記録する。
When the registration process is completed, the
,
次に、顔照合サーバ６と照合グループとの間の関連付けに関する参照処理について説明する。図３２は、顔照合サーバ６と照合グループとの間の関連付けに関する参照処理の手順を示すシーケンス図である。
,,
Next, the reference process relating to the association between the
管理端末２では、管理者が、顔照合サーバ６と照合グループとの間の関連付けの参照を指示する操作を行う。本実施形態では、メニュー画面などで参照画面（図２９（Ａ）参照）を開く操作を行う。
In the
顔管理サーバ５では、管理端末２において顔照合サーバ６と照合グループとの間の関連付けの参照を指示する操作が行われると、顔照合サーバ６と照合グループとの間の関連付けに関する参照処理を行う。この参照処理では、顔照合サーバ６と照合グループとの間の関連付けに関するデータベースを参照して、全ての顔照合サーバ６を対象にした関連付け情報のリストを生成して、参照画面を管理端末２に表示させる。また、管理者が、参照画面において、対象となる顔照合サーバ６を絞り込む操作を行うと、選択した顔照合サーバ６を対象にした関連付けのリストを生成して、絞り込みが反映された参照画面を管理端末２に表示させる。また、管理者が、参照画面において、項目を選択してソートを実行する操作を行うと、ソートした状態のリストを生成して、ソートが反映された参照画面を管理端末２に表示させる。
In the
また、顔管理サーバ５では、管理者アクセスログを記録する。
Further, the
次に、顔照合サーバ６と照合グループとの間の関連付けに関する削除処理について説明する。図３３は、顔照合サーバ６と照合グループとの間の関連付けに関する削除処理の手順を示すシーケンス図である。図３４は、顔照合サーバ６と照合グループとの間の関連付けに関する削除処理の概要を示す説明図である。
Next, the deletion process relating to the association between the
管理端末２では、管理者が、顔照合サーバ６と照合グループとの間の関連付けの削除を指示する操作を行う。本実施形態では、削除画面（図３０参照）において、対象となる関連付けを選択して削除ボタンを操作する。
In the
図３４に示すように、顔管理サーバ５では、管理端末２において顔照合サーバ６と照合グループとの間の関連付けの削除を指示する操作が行われると、顔照合サーバ６と照合グループとの間の関連付けに関する削除処理を行う。この削除処理では、対象となる顔照合サーバ６と照合グループとの間の関連付け情報を削除する。また、対象となる顔照合サーバ６に関連する顔登録ＩＤを顔情報データベースから削除する。
As shown in FIG. 34, in the
また、顔管理サーバ５では、照合グループ削除のリクエストを、対象となる顔照合サーバ６に送る。
Further, the
顔照合サーバ６では、顔管理サーバ５からの照合グループ削除のリクエストを受け取ると、照合グループに関する削除処理を行う。この削除処理では、自装置の照合グループに関する設定情報を削除する。そして、顔照合サーバ６では、削除処理が終了すると、レスポンスを顔管理サーバ５に送る。
When the
顔管理サーバ５では、削除処理が終了すると、その削除処理が正常に終了したか否かを表す結果を管理端末２に画面表示する。また、顔管理サーバ５では、管理者アクセスログを記録する。
When the deletion process is completed, the
次に、利用者に関する登録、参照、更新および削除について説明する。図３５、図３６は、利用者に関する登録、参照、更新および削除の際に管理端末２に表示される画面を示す説明図である。
Next, registration, reference, update and deletion regarding the user will be described. 35 and 36 are explanatory views showing a screen displayed on the
管理端末２では、利用者に関する登録、参照、更新および削除の際に、図３５（Ａ）に示す個別編集画面、図３５（Ｂ）に示す検索画面、図３６に示す一覧表示画面が表示される。
On the
図３５（Ａ）に示す個別編集画面（第２の画面、第３の画面）は、利用者に関する登録、参照、更新および削除の操作を行うものである。 The individual editing screens (second screen, third screen) shown in FIG. 35A are for performing registration, reference, update, and deletion operations related to the user.
この登録画面には、姓名入力部１３１、利用者コード入力部１３２、照合グループ入力部１３３、アクセス許可グループ入力部１３４、有効化日入力部１３５、無効化日入力部１３６、および付加情報入力部１３７と、顔画像入力部１３８と、実行ボタン１３９とが設けられている。
On this registration screen, the first and last
姓名入力部１３１では、利用者の姓名を入力することができる。利用者コード入力部１３２では、利用者コード、コード番号（例えば社員番号など）を入力することができる。照合グループ入力部１３３では、照合グループを入力することができる。照合グループ入力部１３３には、照合グループに関する登録画面（図１５（Ｂ）参照）により登録された照合グループが表示される。チェックボックスにより照合グループを選択することができる。アクセス許可グループ入力部１３４では、アクセス許可グループを入力することができる。プルダウンメニューによりアクセス許可グループを選択することができる。有効化日入力部１３５では、有効化日、すなわち、当該人物の顔照合を有効にすることができる日付を入力することができる。無効化日入力部１３６では、無効化日、すなわち、顔照合を無効にすることができる日付を入力することができる。この有効化日および無効化日の設定により、複数の利用者に対するサービスを一斉に開始したり終了したりすることができる。付加情報入力部１３７では、付加情報を入力することができる。
In the first and last
顔画像入力部１３８には、顔画像指定部１４１と選択ボタン１４２と顔画像表示部１４３とが設けられている。この顔画像指定部１４１では、利用者の撮影画像のファイルを指定することができる。管理端末２に予め格納された利用者の撮影画像のファイルを指定して選択ボタン１４２を操作すると、利用者の撮影画像が顔管理サーバ５を介して顔照合サーバ６に送られて、利用者の撮影画像から顔画像を生成する処理（顔検知、顔切り出しなど）が顔照合サーバ６で行われ、利用者の顔画像が顔画像表示部１４３に表示される。
The face
この登録画面において各項目の情報を入力して実行ボタン１３９を操作すると、入力内容に基づいて利用者の情報を登録する処理が行われる。
When the information of each item is input on this registration screen and the
このように登録画面では、利用者に照合グループを割り振ることができ、これにより、利用者と照合グループとの間の関連付け情報がデータベースに登録される。また、この登録画面では、有効化日および無効化日を登録することができる。この有効化日および無効化日は、顔照合サーバ６に利用者の顔情報（顔特徴量データ）を保管している期間を規定するものであり、有効化日になると、利用者の顔画像データが顔照合サーバ６のデータベースに登録され、無効化日になると、利用者の顔画像データが顔照合サーバ６のデータベースから削除される。
In this way, on the registration screen, a collation group can be assigned to the user, whereby the association information between the user and the collation group is registered in the database. In addition, the activation date and the invalidation date can be registered on this registration screen. The activation date and the invalidation date specify the period during which the user's face information (face feature amount data) is stored in the
また、この登録画面では、利用者の撮影画像を指定することで、利用者の顔画像データが顔照合サーバ６のデータベースに登録される。
Further, on this registration screen, by designating the photographed image of the user, the face image data of the user is registered in the database of the
図３５（Ｂ）に示す検索画面は、登録済みの利用者情報に関する検索条件を入力するものである。検索条件に該当する利用者に絞り込んで一覧表示画面に表示させることができる。この検索画面には、姓名入力部１３１、利用者コード入力部１３２、照合グループ入力部１３３、アクセス許可グループ入力部１３４、有効化日入力部１３５、無効化日入力部１３６、および更新日時入力部１４４と、取得件数入力部１４５と、検索ボタン１４６とが設けられている。
The search screen shown in FIG. 35B is for inputting search conditions related to registered user information. It is possible to narrow down to the users who meet the search conditions and display them on the list display screen. On this search screen, the first and last
姓名入力部１３１、利用者コード入力部１３２、照合グループ入力部１３３、アクセス許可グループ入力部１３４、有効化日入力部１３５、無効化日入力部１３６は、登録画面と同様である。更新日時入力部１４４では、更新日時（期間）を指定することができる。取得件数入力部１４５では、取得件数を指定することができる。
The first and last
この検索画面において、必要な項目で検索条件を入力して検索ボタン１４６を操作すると、検索結果が反映された一覧表示画面（図３６参照）に遷移する。
When the search condition is input in the necessary items and the
図３６に示す一覧表示画面は、登録済みの利用者に関する一覧表示、一括更新および一括削除を行うものである。 The list display screen shown in FIG. 36 performs list display, batch update, and batch deletion of registered users.
この参照画面を閲覧することで、利用者の登録内容を管理者が確認することができる。この一覧表示画面には、一覧表示部１４７と実行ボタン１４８とが設けられている。一覧表示部１４７では、利用者コード、姓名、照合グループなどが表示される。また、一覧表示部１４７には、利用者ごとにチェックボックスが設けられている。チェックボックスにより利用者を選択することができる。チェックボックスにより削除する利用者を選択して実行ボタン１４８（削除ボタン）を操作すると、選択した利用者を削除する処理が顔管理サーバ５で行われる。
By viewing this reference screen, the administrator can confirm the registered contents of the user. The list display screen is provided with a
また、一覧表示画面では、項目（利用者コード、姓名、照合グループなど）を指定してソート（並び替え）を行うことができる。なお、一覧表示部１４７の表示件数（利用者の人数）や、利用者コードや照合グループの表示範囲を指定できるようにしてもよい。また、各項目に関する検索条件を指定して検索できるようにしてもよい。
In addition, on the list display screen, items (user code, first and last name, collation group, etc.) can be specified for sorting (sorting). It should be noted that the number of display items (number of users) of the
ここで、個別編集画面（図３５（Ａ）参照）は、利用者に関する登録、参照、更新および削除の操作を行うものである。具体的には、メニュー画面（図示せず）で登録を選択すると、未入力の個別編集画面が表示され、ここで利用者に関する情報を入力することで、利用者を新規登録することができる。また、一覧表示画面（図３６参照）で利用者を選択する操作を行うと、個別編集画面に遷移し、ここで登録済みの利用者に関する情報を個別に確認することができ（個別参照）、また、所要の項目の登録内容を入力しなおすことができ（個別更新）、また、所要の項目の登録内容を削除することができる（個別削除）。 Here, the individual editing screen (see FIG. 35A) is used to perform registration, reference, update, and deletion operations related to the user. Specifically, when registration is selected on the menu screen (not shown), an uninput individual edit screen is displayed, and a user can be newly registered by inputting information about the user here. In addition, if you perform an operation to select a user on the list display screen (see FIG. 36), you will be taken to the individual edit screen, where you can individually check information about registered users (see individual reference). In addition, the registered contents of the required items can be re-entered (individual update), and the registered contents of the required items can be deleted (individual deletion).
また、個別更新の際に、個別編集画面（図３５（Ａ）参照）の顔画像指定部１４１で、利用者の撮影画像を別に指定すると、その撮影画像から利用者の顔画像が新たに生成され、利用者の登録時の顔画像を新たな顔画像に差し替えることができる。
Further, when the user's photographed image is separately specified in the face
また、一覧表示画面（図３６参照）は、登録済みの利用者に関する一括参照、一括更新および一括削除を行うものである。具体的には、メニュー画面（図示せず）で一覧表示を選択すると、一覧表示画面（図３６参照）が表示され、ここで登録済みの利用者に関する情報をまとめて確認することができる（一括参照）。また、チェックボックスの選択により、所要の利用者をまとめて削除することができる（一括削除）。また、一覧表のページ単位で情報の選択を可能にするチェックボックスを別途設けてもよい。 In addition, the list display screen (see FIG. 36) performs batch reference, batch update, and batch deletion of registered users. Specifically, if you select the list display on the menu screen (not shown), the list display screen (see FIG. 36) is displayed, and you can check all the information about registered users here (collectively). reference). Also, by selecting a check box, you can delete all required users at once (collective deletion). In addition, a check box may be separately provided to enable selection of information on a page-by-page basis of the list.
また、複数の利用者の情報をまとめて更新することができる（一括更新）。この場合、検索画面（図３５（Ｂ）参照）において、対象となる利用者や照合グループなどの条件を指定して検索ボタン１４６を操作し、これに応じて表示された一覧表示画面（図３６参照）において、実行ボタン１４８（一括更新ボタン）を操作する。なお、一括更新では、利用者の氏名や利用者コードなどの利用者固有の情報以外の項目が更新対象となる。
In addition, the information of multiple users can be updated at once (batch update). In this case, on the search screen (see FIG. 35 (B)), the
また、メニュー画面（図示せず）で検索を選択すると、検索画面（図３５（Ｂ）参照）が表示され、この検索画面で検索条件を入力して検索ボタン１４６を操作すると、検索結果が反映された一覧表示画面（図３６参照）に遷移する。
If you select search on the menu screen (not shown), the search screen (see FIG. 35 (B)) is displayed. If you enter search conditions on this search screen and operate the
次に、利用者に関する登録処理について説明する。図３７は、利用者に関する登録処理の手順を示すシーケンス図である。図３８は、利用者に関する登録処理の概要を示す説明図である。 Next, the registration process for the user will be described. FIG. 37 is a sequence diagram showing a procedure of registration processing for a user. FIG. 38 is an explanatory diagram showing an outline of the registration process regarding the user.
管理端末２では、管理者が、利用者に関する登録を指示する操作を行う。本実施形態では、登録モードの個別編集画面（図３５（Ａ）参照）において、管理者が、利用者の情報を入力し、また、利用者の撮影画像のファイルを指定した上で、登録ボタンを操作する。
In the
図３８に示すように、顔管理サーバ５では、管理端末２において利用者に関する登録を指示する操作が行われると、利用者に関する登録処理を開始する。この登録処理では、まず、対象となる利用者と照合グループが一致する顔照合サーバ６に、顔画像抽出のリクエストを送る。このリクエストには、管理端末２から取得した利用者の撮影画像が含まれる。このとき、対象となる利用者と照合グループが一致する顔照合サーバ６が複数存在する場合には、１つの顔照合サーバ６を選択して、その１つの顔照合サーバ６に顔画像抽出のリクエストを送る。
As shown in FIG. 38, the
顔照合サーバ６では、顔管理サーバ５からの顔画像抽出のリクエストを受け取ると、顔画像抽出処理を行う。この顔画像抽出処理では、顔管理サーバ５から取得した利用者の撮影画像に対して顔検知、および顔切出しなどの処理を行い、利用者の顔画像を抽出する。そして、顔画像抽出のレスポンスを顔管理サーバ５に送る。このレスポンスには、利用者の顔画像が含まれる。
When the
顔管理サーバ５では、顔画像抽出のレスポンスを顔照合サーバ６から受け取ると、対象となる利用者と照合グループが一致する顔照合サーバ６に、顔登録のリクエストを送る。このリクエストには、特定の顔照合サーバ６から取得した利用者の顔画像を含めることができる。このとき、対象となる利用者と照合グループが一致する顔照合サーバ６が複数存在する場合には、特定の顔照合サーバ６から取得した利用者の顔画像が含めて、全ての顔照合サーバ６に顔登録のリクエストを送る。
When the
顔照合サーバ６では、顔管理サーバ５からの顔登録のリクエストを受け取ると、顔登録処理を行う。この顔登録処理では、先に抽出した利用者の顔画像から顔特徴量を生成して、その顔特徴量をデータベースに登録する。このとき、利用者の顔特徴量に関連付けて顔登録ＩＤを付与する。そして、顔登録のレスポンスを顔管理サーバ５に送る。このレスポンスには、顔登録が正常に終了したか否かを表す結果と顔登録ＩＤとが含まれる。なお、顔特徴量のデータベースへの登録の完了に伴い、抽出した利用者の顔画像は削除される。また、顔特徴量のデータは、顔照合サーバ６の顔照合ＤＢとは別管理のＨＤＤやＳＳＤ等の不揮発性メモリへバックアップ保存してもよい。
When the
顔管理サーバ５では、顔登録のレスポンスを顔照合サーバ６から受け取り、処理が正常に終了している場合には、利用者に関する登録処理を行う。この登録処理では、管理端末２から取得した利用者の情報を顔情報データベースに登録する。また、顔管理サーバ５では、顔照合サーバ６から取得した利用者の顔画像を顔情報データベースに登録する。また、顔管理サーバ５では、顔照合サーバ６で発行された顔登録ＩＤを利用者の情報として顔情報データベースに登録する。
The
次に、顔管理サーバ５では、利用者に関する更新が正常に終了したか否かを表す結果を管理端末２に画面表示する。また、顔管理サーバ５では、管理者アクセスログにログを記録する。
Next, the
次に、利用者に関する一括登録処理について説明する。図３９は、利用者に関する一括登録処理の手順を示すシーケンス図である。 Next, the batch registration process for users will be described. FIG. 39 is a sequence diagram showing a procedure of batch registration processing for users.
本実施形態では、対象となる複数の利用者に関するリスト情報が格納されたファイルを用いて、利用者の情報を一括して登録することができる。 In the present embodiment, user information can be collectively registered by using a file in which list information about a plurality of target users is stored.
具体的には、まず、管理端末２では、管理者が、利用者に関する一括登録を指示する操作を行う。本実施形態では、登録画面（図示せず）において、管理者が、対象となる利用者に関するリスト情報が格納されたファイルを選択して登録ボタンを操作する。
Specifically, first, in the
このとき、選択したリスト情報のファイルを読み込み、そのリスト情報を管理端末２の確認画面に表示する。管理者は、確認画面で登録内容を確認した上で利用者の一括登録を指示する操作を行う。また、確認画面上では、必要に応じて登録内容を修正することができる。
At this time, the file of the selected list information is read, and the list information is displayed on the confirmation screen of the
顔管理サーバ５では、管理端末２において利用者に関する一括登録を指示する操作が行われると、利用者に関する一括登録処理を開始する。この一括登録処理では、対象となる全ての利用者ごとに登録処理を繰り返す。各利用者に関する登録処理は、図３７に示した利用者に関する登録処理（個別登録処理）と同様である。
In the
そして、顔管理サーバ５では、対象となる全ての利用者について顔登録のレスポンスを顔照合サーバ６から受け取り、一括登録処理が終了すると、一括登録処理が正常に終了したか否かを表す登録結果を管理端末２に画面表示する。このとき、登録に失敗した利用者を管理者に報告し、その利用者に関する再登録を催促する。また、登録結果をログファイルで出力する。
Then, the
次に、利用者に関する参照処理について説明する。図４０は、利用者に関する参照処理の手順を示すシーケンス図である。 Next, the reference process related to the user will be described. FIG. 40 is a sequence diagram showing a procedure of reference processing for a user.
管理端末２では、管理者が、利用者に関する一覧表示を指示する操作を行う。本実施形態では、メニュー画面などで、照合グループに関する一覧表示画面（図３６参照）を開く操作を行う。
In the
顔管理サーバ５では、管理端末２において利用者に関する一覧表示を指示する操作が行われると、データベースを参照して、全ての利用者を含むリスト情報を生成して、そのリスト情報に基づいて、管理端末２に一覧表示画面（図３６参照）を表示する。
In the
また、管理端末２では、管理者が、利用者に関する検索を指示する操作を行う。具体的には、管理者が、検索画面（図３５（Ｂ）参照）を表示して、その検索画面において、検索条件を入力して検索ボタンを操作する。
Further, in the
顔管理サーバ５では、管理端末２において利用者に関する検索を指示する操作が行われると、データベースを参照して、検索条件に該当する利用者を対象にしてリスト情報を生成して、そのリスト情報に基づいて、検索結果としての一覧表示画面（図３６参照）を管理端末２に表示する。
In the
また、管理端末２では、管理者が、利用者の一覧表示に関するソートを指示する操作を行う。具体的には、管理者が、一覧表示画面において、項目を指定してソートを指示する操作を行う。
Further, on the
顔管理サーバ５では、管理端末２においてソートを指示する操作が行われると、指定した項目でソートされた利用者リスト情報を生成して、その利用者リスト情報に基づいて、ソートが反映された一覧表示画面を管理端末２に表示する。
In the
なお、管理者が、一覧表示画面（図３６参照）において、利用者を選択して個別表示を指示する操作を行うと、顔管理サーバ５では、データベースを参照して、選択した利用者の情報を取得して、その利用者の情報に基づいて、管理端末２に個別編集画面（図３５（Ａ）参照）を表示する。
When the administrator performs an operation of selecting a user and instructing individual display on the list display screen (see FIG. 36), the
次に、利用者に関する更新処理について説明する。図４１は、利用者に関する更新処理の手順を示すシーケンス図である。図４２は、利用者に関する更新処理の概要を示す説明図である。 Next, the update process related to the user will be described. FIG. 41 is a sequence diagram showing a procedure of update processing for a user. FIG. 42 is an explanatory diagram showing an outline of the update process regarding the user.
まず、利用者の撮影画像に変更がある場合について説明する。この場合、管理端末２では、管理者が、利用者に関する更新を指示する操作を行う。本実施形態では、更新の対象となる利用者を指定して表示させた更新モードで個別編集画面（図示せず）において、管理者が、利用者の情報を入力しなおし、また、利用者の撮影画像のファイルを差し替えた上で、更新ボタンを操作する。
First, a case where there is a change in the photographed image of the user will be described. In this case, in the
図４２に示すように、顔管理サーバ５では、管理端末２において利用者に関する更新を指示する操作が行われると、利用者に関する更新処理を開始する。この更新処理では、まず、対象となる利用者と照合グループが一致する顔照合サーバ６に、顔画像抽出のリクエストを送る。このリクエストには、管理端末２から取得した利用者の撮影画像が含まれる。このとき、対象となる利用者と照合グループが一致する顔照合サーバ６が複数存在する場合には、１つの顔照合サーバ６を選択して、その１つの顔照合サーバ６に顔画像抽出のリクエストを送る。
As shown in FIG. 42, the
顔照合サーバ６では、顔管理サーバ５からの顔画像抽出のリクエストを受け取ると、顔画像抽出部８３において顔画像抽出処理を行う。この顔画像抽出処理では、顔管理サーバ５から取得した利用者の撮影画像に対して顔検知、顔切出しなどの処理を行い、利用者の顔画像を生成する。そして、顔画像抽出のレスポンスを顔管理サーバ５に送る。このレスポンスには、利用者の顔画像が含まれる。
When the
顔管理サーバ５では、顔画像抽出のレスポンスを顔照合サーバ６から受け取ると、対象となる利用者と照合グループが一致する顔照合サーバ６に、顔登録のリクエストを送る。このリクエストには、特定の顔照合サーバ６から取得した利用者の顔画像を含めることができる。このとき、対象となる利用者と照合グループが一致する顔照合サーバ６が複数存在する場合には、特定の顔照合サーバ６から取得した利用者の顔画像が含めて、全ての顔照合サーバ６に顔登録のリクエストを送る。
When the
顔照合サーバ６では、顔管理サーバ５からの顔登録のリクエストを受け取ると、顔登録処理を行う。この顔登録処理では、先に抽出した利用者の顔画像から顔特徴量を生成して、その顔特徴量をデータベースに登録する。このとき、利用者の顔特徴量に関連付けて顔登録ＩＤを付与する。そして、顔登録のレスポンスを顔管理サーバ５に送る。このレスポンスには、顔登録が正常に終了したか否かを表す結果と顔登録ＩＤとが含まれる。
When the
顔管理サーバ５では、顔登録のレスポンスを顔照合サーバ６から受け取ると、顔登録に成功した場合、顔登録のリクエストと同一の顔照合サーバ６に、顔特徴量削除のリクエストを送る。なお、顔登録に失敗した場合には、顔特徴量削除のリクエストは行わず、古い顔特徴量のままで顔照合が行われるようにする。
When the
顔照合サーバ６では、顔管理サーバ５からの顔特徴量削除のリクエストを受け取ると、顔特徴量削除処理を行う。この顔特徴量削除処理では、データベースに登録された対象者の古い顔特徴量を削除する。そして、顔特徴量削除のレスポンスを顔管理サーバ５に送る。このレスポンスには、顔特徴量削除が正常に終了したか否かを表す結果が含まれる。
When the
顔管理サーバ５では、顔特徴量削除のレスポンスを顔照合サーバ６から受け取り、処理が正常に終了している場合には、利用者に関する更新処理を行う。この更新処理では、管理端末２から取得した利用者の情報で顔情報データベースの登録内容を更新する。また、顔照合サーバ６から取得した利用者の顔画像を顔情報データベースに登録する。また、顔照合サーバ６で発行された新しい顔登録ＩＤで顔情報データベースの登録内容を更新する。すなわち、古い顔登録ＩＤを削除して、その代わりに新しい顔登録ＩＤを登録する。
The
次に、顔管理サーバ５では、利用者に関する更新が正常に終了したか否かを表す処理結果を管理端末２に画面表示する。また、顔管理サーバ５では、管理者アクセスログを記録する。
Next, the
次に、利用者の撮影画像に変更がない場合、すなわち、撮影画像以外の項目に変更がある場合について説明する。この場合、管理端末２では、管理者が、利用者に関する更新を指示する操作を行うが、このとき、更新モードの個別編集画面（図示せず）において、管理者が、利用者の情報を入力しなおした上で、更新ボタンを操作する。
Next, a case where there is no change in the photographed image of the user, that is, a case where there is a change in items other than the photographed image will be described. In this case, in the
顔管理サーバ５では、管理端末２において利用者に関する更新を指示する操作が行われると、利用者に関する更新処理を行う。この更新処理では、管理者が入力した利用者の情報で顔情報データベースの登録内容を更新する。そして、利用者に関する更新が正常に終了したか否かを表す結果を管理端末２に画面表示する。また、顔管理サーバ５では、管理者アクセスログを記録する。
When the operation for instructing the update regarding the user is performed on the
次に、利用者に関する削除処理について説明する。図４３は、利用者に関する削除処理の手順を示すシーケンス図である。図４４は、利用者に関する削除処理の概要を示す説明図である。 Next, the deletion process related to the user will be described. FIG. 43 is a sequence diagram showing the procedure of the deletion process regarding the user. FIG. 44 is an explanatory diagram showing an outline of the deletion process regarding the user.
管理端末２では、管理者が、利用者に関する削除を指示する操作を行う。本実施形態では、削除の対象となる利用者を指定して表示させた削除モードで個別編集画面（図示せず）において、管理者が、削除ボタンを操作する。また、削除モードの一覧表示画面（図示せず）において、管理者が、対象となる利用者を選択して一括削除ボタンを操作する。
In the
図４４に示すように、顔管理サーバ５では、管理端末２において利用者に関する削除を指示する操作が行われると、利用者に関する削除処理を開始する。この削除処理では、まず、対象となる利用者と照合グループが一致する顔照合サーバ６に、顔削除のリクエストを送る。このとき、利用者と照合グループが一致する顔照合サーバ６が複数存在する場合には、全ての顔照合サーバ６に顔削除のリクエストを送る。
As shown in FIG. 44, when the operation for instructing the deletion of the user is performed on the
顔照合サーバ６では、顔管理サーバ５からの顔削除のリクエストを受け取ると、対象となる利用者の顔情報に関する削除処理を行う。この削除処理では、該当する利用者の情報（顔特徴量データ）をデータベースから削除する。
When the
また、顔照合サーバ６では、削除処理が終了すると、顔削除のレスポンスを顔管理サーバ５に送る。このレスポンスには、削除処理が正常に終了したか否かを表す結果が含まれる。
Further, when the deletion process is completed, the
また、顔管理サーバ５では、顔照合サーバ６からの顔削除のレスポンスを受け取り、処理が正常に終了している場合には、利用者に関する削除処理を行う。この削除処理では、対象となる利用者の情報を顔情報データベースから削除する。そして、削除処理が終了すると、その削除処理が正常に終了したか否かを表す処理結果を管理端末２に画面表示する。また、顔管理サーバ５では、管理者アクセスログを記録する。
Further, the
次に、顔照合サーバ６で行われる顔画像抽出処理について説明する。図４５は、顔画像抽出処理の概要を示す説明図である。
Next, the face image extraction process performed by the
顔管理サーバ５では、顔画像抽出のリクエストを顔照合サーバ６に送る。このリクエストには、利用者の撮影画像データと顔切出し条件（顔画像抽出条件）とが含まれる。なお、顔切出し条件とは、顔画像抽出処理（顔検知、顔サイズチェック、顔切出し）で使用されるパラメータである。具体的には、顔を複数検知した場合に採用する顔の数（顔検知数）、顔を検知する際に顔枠の面積および高さのいずれを基準とするかの顔採用方式、顔として採用する基準となる顔枠の幅および高さに関する最小値および最大値（顔サイズチェック閾値）などである。
The
顔照合サーバ６では、顔管理サーバ５から顔画像抽出のリクエストを受け取ると、顔画像抽出部８３において顔画像抽出処理を行う。この顔画像抽出処理では、顔検知、顔サイズチェック、顔切り出しの各処理を行う。そして、顔画像抽出のレスポンスを顔管理サーバ５に送る。このレスポンスには、顔画像データ（複数の場合もある）と、顔枠の位置情報（顔枠の左上の頂点の座標、顔枠の幅および高さ）とが含まれる。
When the
この顔照合サーバ６の顔画像抽出部８３で行われる処理は、顔認証機１の顔画像抽出部２２と同様である。すなわち、まず、顔認証機１から取得した撮影画像に含まれる顔領域を検知する（顔検知）。ここで、撮影画像に複数の顔領域が含まれる場合には、顔領域の面積や横幅に基づいて、顔領域を選別する。次に、撮影画像から検知した顔領域（顔枠）のサイズが所定の基準（適正範囲）を満たしているか否かを判定する（顔サイズチェック）。次に、カメラ１１の撮影画像に対して、顔検知で取得した顔領域（顔枠）を基準にして切り出し領域を設定して、その切出し領域の画像を顔画像として切り出して（顔切り出し）、顔画像を取得する。
The processing performed by the face
次に、顔照合サーバ６で行われる画像品質チェックについて説明する。図４６は、画像品質チェック処理の概要を示す説明図である。
Next, the image quality check performed by the
顔照合サーバ６の画像品質チェック部８２では、撮影画像データから検知された顔領域（顔枠）の画像が所定の品質を満足しているか否かを判定する。具体的には、画像からマスクの着用の有無およびサングラスの着用の有無を検知する。また、画像から顔認証適合度を算出する。顔認証適合度は、顔の向きや表情に応じた評価値である。
The image
この画像品質チェックの際には、まず、顔管理サーバ５では、画像品質チェックのリクエストを顔照合サーバ６に送る。このリクエストには、撮影画像データと顔枠情報とが含まれる。
At the time of this image quality check, first, the
顔照合サーバ６では、顔管理サーバ５から画像品質チェックのリクエストを受け取ると、画像品質チェック部８２において、撮影画像内の顔領域（顔枠）の画像が所定の品質を満足しているか否かを判定して、品質評価値を算出する。そして、画像品質チェックのレスポンスを顔管理サーバ５に送る。このレスポンスには、品質評価値が含まれる。
When the
次に、顔登録の際に行われる顔特徴量生成処理について説明する。図４７は、顔特徴量生成処理の概要を示す説明図である。 Next, the face feature amount generation process performed at the time of face registration will be described. FIG. 47 is an explanatory diagram showing an outline of the facial feature amount generation process.
顔照合サーバ６の顔特徴量生成部８４では、先に抽出した利用者の顔画像データから顔特徴量データを生成して、その顔特徴量データを顔照合ＤＢに保存する。
The face feature
この顔特徴量生成の際には、まず、顔管理サーバ５または顔認証機１では、顔特徴量生成のリクエストを顔照合サーバ６に送る。
At the time of this face feature amount generation, first, the
顔照合サーバ６では、顔管理サーバ５から顔特徴量生成のリクエストを受け取ると、顔特徴量生成部８４において、先に抽出した顔領域の画像から顔特徴量データを生成する。そして、顔特徴量生成のレスポンスを顔管理サーバ５に送信する。
When the
次に、顔登録の際に行われる顔特徴量登録処理について説明する。図４８は、顔特徴量登録処理（特徴量指定）の概要を示す説明図である。図４９は、顔特徴量登録処理（画像指定）の概要を示す説明図である。 Next, the face feature amount registration process performed at the time of face registration will be described. FIG. 48 is an explanatory diagram showing an outline of the face feature amount registration process (feature amount designation). FIG. 49 is an explanatory diagram showing an outline of the face feature amount registration process (image designation).
顔照合サーバ６は、顔画像抽出の機能と顔特徴量生成の機能とを有しており、顔管理サーバ５からの要求に応じて、顔画像抽出および顔特徴量生成の各処理を行う。一方、同じ照合グループに複数の顔照合サーバ６が存在する場合には、各顔照合サーバ６の顔照合データベースに利用者の顔特徴量を重複して登録する必要がある。
The
このとき、１つの顔照合サーバ６で、顔画像抽出および顔特徴量生成の各処理を行い、ここで取得した顔特徴量を、残りの顔照合サーバ６に提供することで、全ての顔照合サーバ６で顔特徴量の登録が可能になる。この場合、顔管理サーバ５は、顔特徴量生成のレスポンスにおいて、ある１つの顔照合サーバ６で生成した顔特徴量データを受信しておき、残りの顔照合サーバ６への顔特徴量登録のリクエストに顔特徴量データを付加して顔特徴量登録の指示を行う（特徴量指定）。
At this time, one
また、１つの顔照合サーバ６で、顔画像抽出処理を行い、ここで取得した顔画像データを、残りの顔照合サーバ６に提供して、その残りの顔照合サーバ６で、顔特徴量生成処理を行うことで、全ての顔照合サーバ６で顔特徴量データの登録が可能になる。この場合、顔管理サーバ５は、顔画像抽出のレスポンスにおいて、ある１つの顔照合サーバ６から取得した顔画像データなどを受信しておき、残りの顔照合サーバ６への顔特徴量登録のリクエストに顔画像データなどを付加して顔特徴量登録の指示を行う（画像指定）。
Further, one
図４８に示すように、特徴量指定の場合には、まず、顔管理サーバ５では、顔特徴量登録のリクエストを顔照合サーバ６に送る。このリクエストには、利用者の照合グループ、顔特徴量データ、利用者コードが含まれる。
As shown in FIG. 48, in the case of specifying the feature amount, first, the
顔照合サーバ６では、顔特徴量登録のリクエストを顔照合サーバ６から受け取ると、顔特徴量管理部８５において、リクエストに付加された利用者の顔特徴量データを顔照合データベースに登録する。このとき、利用者が属する照合グループに対応する顔認証ユニットの顔照合データベースに登録する。また、顔照合サーバ６では、顔登録が完了した利用者に登録者コードを付与する。顔特徴量に対応付けて登録者コードを顔照合データベースに登録する。
When the
そして、顔照合サーバ６では、顔特徴量登録処理が終了すると、レスポンスを顔管理サーバ５に送る。このレスポンスには、処理が正常に終了したか否かを表す処理結果と、顔登録ＩＤ（登録者コード）が含まれる。
Then, when the face feature amount registration process is completed, the
図４９に示すように、画像指定の場合には、まず、顔管理サーバ５では、顔特徴量登録のリクエストを顔照合サーバ６に送る。このリクエストには、利用者の照合グループと、利用者の撮影画像データと、顔枠情報と、利用者コードとが含まれる。
As shown in FIG. 49, in the case of image designation, first, the
顔照合サーバ６では、顔特徴量登録のリクエストを顔照合サーバ６から受け取ると、顔特徴量生成部８４において、リクエストに付加された利用者の顔画像データ（撮影画像データおよび顔枠情報）から顔特徴量データを生成して、顔特徴量管理部８５において、利用者の顔特徴量データを顔照合データベースに登録する。このとき、利用者が属する照合グループに対応する顔認証プロセスの顔照合データベースに登録する。また、顔照合サーバ６では、顔登録が完了した利用者に登録者コードを付与する。また、顔特徴量に対応付けて登録者コードを顔照合データベースに登録する。
When the
そして、顔照合サーバ６では、顔特徴量登録のレスポンスを顔管理サーバ５に送信する。このレスポンスには、処理が正常に終了したか否かを表す処理結果と、顔登録ＩＤとが含まれる。
Then, the
次に、更新および削除の際に行われる顔特徴量削除処理について説明する。図５０は、顔特徴量削除処理の概要を示す説明図である。 Next, the facial feature amount deletion process performed at the time of updating and deleting will be described. FIG. 50 is an explanatory diagram showing an outline of the facial feature amount deletion process.
利用者に関する削除の際には、対象となる利用者の顔特徴量データを、顔照合サーバ６の顔照合データベースから削除する。また、利用者に関する更新の際には、対象となる利用者の古い顔特徴量データを、顔照合サーバ６の顔照合データベースから削除する。なお、顔特徴量を削除した際には、対象となる利用者のその他の情報も削除され、顔特徴量と利用者との対応関係に関する情報も削除される。
When deleting a user, the face feature amount data of the target user is deleted from the face matching database of the
具体的には、まず、顔管理サーバ５では、顔特徴量削除のリクエストを顔照合サーバ６に送る。このリクエストには、照合グループと、顔登録ＩＤとが含まれる。
Specifically, first, the
顔照合サーバ６では、顔管理サーバ５から削除のリクエストを受け取ると、顔特徴量管理部８５において、リクエストに付加された顔登録ＩＤに基づいて利用者を特定して、対象となる利用者の顔特徴量を顔照合データベースから削除する。このとき、対象となる利用者が複数の照合グループに属する場合には、照合グループごとに削除処理を行う。すなわち、照合グループごとの顔照合データベースから対象となる利用者の顔特徴量を削除する。
When the
また、顔照合サーバ６では、削除処理が終了すると、顔特徴量削除のレスポンスを顔管理サーバ５に送る。この削除のレスポンスには、削除処理が正常に終了したか否かを表す処理結果が含まれる。
Further, when the deletion process is completed, the
次に、利用者に関する登録処理の際に行われる顔登録について説明する。図５１は、顔登録の概要を示す説明図である。 Next, the face registration performed during the registration process for the user will be described. FIG. 51 is an explanatory diagram showing an outline of face registration.
顔管理サーバ５では、利用者に関する登録処理の際に、まず、顔画像抽出の処理を顔照合サーバ６に行わせて、顔照合サーバ６から取得した顔画像データを顔情報データベースに登録した後に、顔画像データを顔照合サーバ６に提供して、顔登録の処理を顔照合サーバ６に行わせる。この顔登録の処理では、顔管理サーバ５から取得した顔画像から顔特徴量を生成して、その顔特徴量を顔照合データベースに登録する。
In the
具体的には、まず、顔管理サーバ５では、顔登録のリクエストを顔照合サーバ６に送る。この顔登録のリクエストには、利用者コード、照合グループ、利用者登録ＩＤ、顔画像データが含まれる。
Specifically, first, the
顔照合サーバ６では、顔登録のリクエストを顔管理サーバ５から受け取ると、画像品質チェック部８２において、そのリクエストに付加された利用者の顔画像に対して画像品質チェックを行う。次に、顔特徴量生成部８４において、利用者の顔画像データから顔特徴量データを生成して、顔特徴量管理部８５において、利用者の顔特徴量データを、利用者の照合グループに対応する顔照合データベースに登録する。このとき、顔管理サーバ５の顔情報データベースで用いられる利用者登録ＩＤと、顔照合サーバ６の顔照合データベースで用いられる顔特徴量登録時の登録ＩＤとの間の関連付け情報を保存する。また、利用者登録ＩＤが既に登録されている場合、元の顔特徴量を削除して差し替える。また、顔照合データベースに利用者の情報として利用者コードを登録する。
When the
顔照合サーバ６では、利用者が属する全ての照合グループに対応する顔照合データベースへの登録処理が行うと、顔登録のレスポンスを顔管理サーバ５に送る。このレスポンスには、登録処理が正常に終了したか否かを表す処理結果が含まれる。
When the
次に、顔管理サーバ５で行われる顔情報同期処理について説明する。図５２は、顔情報同期処理の概要を示す説明図である。
Next, the face information synchronization process performed by the
顔管理サーバ５の顔情報管理部６６は、顔照合サーバ６との間の同期処理を実行する。この同期処理では、顔管理サーバ５における顔情報データベースの登録内容と、顔照合サーバ６における顔照合データベースの登録内容とが一致したものとする。具体的には、顔管理サーバ５の顔情報データベースに登録された利用者情報（顔画像）と、顔照合サーバ６の顔照合データベースに登録された利用者の顔特徴量データとが互いに整合するものにする。また、顔照合サーバ６の照合グループに関する登録内容が顔管理サーバ５と顔照合サーバ６とで一致したものとする。
The face
ここで、同期処理のタイミングに関して、所定の周期で定期的に同期処理を実行する。また、利用者情報の登録、更新および削除が行われた際に、同期処理を実行する。また、照合グループが削除された際や、顔照合サーバ６を起動した際に、同期処理を実行する。
Here, regarding the timing of the synchronization processing, the synchronization processing is periodically executed at a predetermined cycle. In addition, when the user information is registered, updated and deleted, the synchronization process is executed. Further, when the collation group is deleted or when the
また、同期処理の対象となる利用者に関して、すべての利用者を対象にして同期を行う。また、指定された利用者を対象にして同期を行う。また、指定された期間に更新された利用者を対象にして同期を行う。 In addition, synchronization is performed for all users who are the targets of synchronization processing. In addition, synchronization is performed for the specified user. In addition, synchronization is performed for users who have been updated during the specified period.
また、本実施形態では、利用者情報として、利用者ごとの有効化日および無効化日を登録する。有効化日は、対象となる利用者の顔照合を有効にすることができる日付であり、この有効化日以降の有効化状態となる期間では、利用者の顔認証が実施され、顔認証を受けることができる。無効化日は、顔照合を無効にすることができる日付であり、この無効化日以降の無効化状態となる期間では、利用者の顔認証が実施されず、顔認証を受けることができない。 Further, in the present embodiment, the activation date and the invalidation date for each user are registered as the user information. The activation date is the date on which the face matching of the target user can be enabled, and during the period of activation after this activation date, the user's face authentication is performed and the face authentication is performed. Can receive. The invalidation date is a date on which face matching can be invalidated, and during the period of invalidation after this invalidation date, the user's face authentication is not performed and face recognition cannot be received.
また、顔管理サーバ５の顔情報管理部６６では、同期のタイミング判定として、全ての利用者を対象にして有効化および無効化の判定を行う。利用者の顔照合が有効化されて有効化期間に入った際に、顔登録処理、すなわち、対象となる利用者の顔特徴量データを登録する処理を行うように顔照合サーバ６に指示する。また、利用者の顔照合が無効化されて無効化期間に入った際に、顔削除処理、すなわち、対象となる利用者の顔特徴量データを削除する処理を行うように顔照合サーバ６に指示する。したがって、有効化日以前の期間や、無効化日以降の期間では、顔照合サーバ６に利用者の顔情報（顔特徴量データ）は保管されていない。
Further, the face
また、顔管理サーバ５は、顔照合サーバ６において所定の処理が正常に終了したか否かを判定し、処理が失敗して再実行が必要と判定すると、顔照合サーバ６に処理の再実行を指示する。ここで、対象となる処理は、顔登録、顔削除、照合グループの登録、照合グループの削除の各処理である。
Further, the
なお、顔管理サーバ５では、同期ログ（同期処理の履歴情報）を記録する。
The
次に、顔特徴量データのコピー処理について説明する。図５３は、顔特徴量データのコピー処理の概要を示す説明図である。 Next, the copy processing of the facial feature amount data will be described. FIG. 53 is an explanatory diagram showing an outline of a copy process of facial feature amount data.
本実施形態では、顔照合サーバ６において照合グループごとに顔照合データベースを設けて、照合グループ単位で利用者の顔特徴量データを管理するようにしており、また、負荷分散や死活対応などのために、同じ照合グループの顔照合データベースを複数設けるようにしている。このため、同じ利用者の顔特徴量データが複数の顔照合データベースに登録する必要がある。一方、利用者の顔画像データから顔特徴量データを生成する処理は、負荷が大きく、この処理を複数の顔照合サーバ６で繰り返し行うことは効率的でない。
In the present embodiment, the
そこで、本実施形態では、利用者の顔特徴量データを既に生成して顔照合データベースに登録している場合、２つの顔照合データベース間で顔特徴量データのコピーを行う。すなわち、元の顔照合データベースに登録された顔特徴量データを利用して別の顔照合データベースの登録を行うことができる。 Therefore, in the present embodiment, when the user's face feature amount data has already been generated and registered in the face matching database, the face feature amount data is copied between the two face matching databases. That is, another face matching database can be registered by using the face feature amount data registered in the original face matching database.
顔管理サーバ５の顔情報管理部６６は、顔情報データベースに基づいて、顔照合データベースにおける利用者ごとの顔特徴量データの登録状況を管理しており、利用者の顔画像データに関する何らかの変更があった場合、２つの顔照合データベース間で顔特徴量データのコピーを指示する（転送指示）。
The face
このとき、個人単位の変更があった場合には、図５３（Ａ）に示すように、個人単位の顔特徴量データのコピーを行う（個人コピー）。例えば、利用者を新規に登録した場合や更新した場合、個人単位の顔特徴量データのコピーを行う。また、特定の利用者に関する顔照合の精度を高めるため、異なる顔画像データを用いて顔特徴量データを追加して生成して、同一の利用者に対して顔特徴量データを複数登録する場合がある。この場合も、特定の利用者のみを対象にして、個人単位の顔特徴量データのコピーを行う。 At this time, if there is a change in the individual unit, as shown in FIG. 53 (A), the facial feature amount data in the individual unit is copied (individual copy). For example, when a user is newly registered or updated, the facial feature amount data of each individual is copied. In addition, in order to improve the accuracy of face matching for a specific user, when adding and generating face feature amount data using different face image data and registering a plurality of face feature amount data for the same user. There is. In this case as well, the facial feature amount data of each individual is copied only for a specific user.
また、照合グループ単位の変更があった場合には、図５３（Ｂ）に示すように、照合グループ単位で顔特徴量データのコピーを行う（クループコピー）。例えば、照合グループを新規に登録した場合、最初に顔特徴量データを登録した顔照合データベースの顔特徴量データを一括して、同一の登録内容となる２番目以降の顔照合データベースにコピーする。また、負荷分散や冗長化のために、同一の登録内容の顔照合データベースを複数設ける場合も、利用者の顔特徴量データを照合グループ単位でコピーする。 Further, when there is a change in the collation group unit, as shown in FIG. 53 (B), the face feature amount data is copied in the collation group unit (croup copy). For example, when a collation group is newly registered, the face feature amount data of the face collation database in which the face feature amount data is first registered is collectively copied to the second and subsequent face collation databases having the same registered contents. Further, even when a plurality of face matching databases having the same registered contents are provided for load balancing and redundancy, the face feature amount data of the user is copied for each matching group.
次に、本システムにおける顔認証時の処理について説明する。図５４は、顔認証時の処理の概要を示す説明図である。 Next, the processing at the time of face recognition in this system will be described. FIG. 54 is an explanatory diagram showing an outline of processing at the time of face recognition.
顔認証機１では、カメラ１１の撮影画像から人物の顔を検知して顔画像を取得すると、顔照合のリクエストを顔照合サーバ６に送信する。この顔照合のリクエストには、要求元の顔認証機１の機器ＩＤと、顔認証機１の照合グループと、顔認証の対象者の撮影画像データと、顔枠情報と、照合条件とが含まれる。
When the
顔照合サーバ６では、まず、顔特徴量生成部８４において、顔認証機１から取得した対象者の顔画像から対象者の顔特徴量を生成する。次に、顔認証機１の照合グループに対応する顔認証ユニットの顔特徴量照合部８６において、対象者の顔特徴量と、顔認証データベースに登録された利用者の顔特徴量とを照合する。このとき、要求元の顔認証機１と照合グループが一致する顔認証プロセスで顔照合が行われる。顔照合が終了すると、顔照合のレスポンスを要求元の認証機に送信する。この顔照合のレスポンスには、照合結果（成功、失敗）と、照合スコアと、利用者コードとが含まれる。
In the
顔特徴量照合部８６では、顔認証の対象者と登録された利用者との間の類似度を表す照合スコアを算出し、この照合スコアが所定の基準値以上となる場合に、顔認証の対象者を登録された利用者本人とみなし、顔照合が成功したことを表す照合結果を生成する。一方、全ての利用者について照合スコアが基準値以上とならない場合には、顔認証の対象者が登録された利用者ではないと判定して、顔照合が失敗したことを表す照合結果を生成する。
The face feature
なお、顔照合サーバ６で行われる顔照合の処理条件（顔照合のパラメータ）を照合のリクエストに付加するようにしてもよい。これにより、顔照合サーバ６で行われる顔照合の処理内容を顔認証機１から指示することができる。例えば、顔照合の処理条件として、照合スコアに関する閾値を指定して、照合スコアが所定の閾値以上となる照合結果をレスポンスに含めるようにする。また、顔照合の処理条件として、照合結果数を指定して、照合スコアが高い方から所定数の照合結果をレスポンスに含めるようにする。
The face matching processing conditions (face matching parameters) performed by the
また、顔照合サーバ６では、顔照合が終了すると、認証ログ管理部８７において、顔照合で取得した照合結果などの情報を認証ログ（顔認証の履歴情報）としてデータベースに保存する。このとき、顔認証の結果（成功、失敗）のみを認証ログとして保存する他、照合スコアを認証ログに含めるようにしてもよい。また、顔認証機１から取得した対象者の顔画像を認証ログに含めるようにしてもよい。この場合、対象者の顔画像を暗号化して保存するとよい。
Further, in the
なお、照合スコアが閾値を超えた有効な照合結果が多数得られた場合には、照合スコアの高い方から所定数の照合結果に絞り込んで認証ログとして保存するようにしてもよい。また、顔照合が正常に終了しなかった場合や、照合スコアが閾値を超えた有効な照合結果が得られなかった場合には、顔認証機１からのリクエストに含まれる情報のみを認証ログとして保存するようにしてもよい。
When a large number of valid collation results whose collation score exceeds the threshold value are obtained, the collation score may be narrowed down to a predetermined number from the one with the highest collation score and saved as an authentication log. In addition, when face matching is not completed normally or when a valid matching result whose matching score exceeds the threshold value cannot be obtained, only the information included in the request from the
図５５は、認証ログに関する参照処理の概要を示す説明図である。 FIG. 55 is an explanatory diagram showing an outline of the reference process regarding the authentication log.
顔照合サーバ６では、顔管理サーバ５を介した管理端末２からの要求に応じて、自装置に蓄積された認証ログ（顔認識履歴情報）を管理端末２に送り、管理端末２において、認証ログ情報を管理者が閲覧することができる。このとき、管理者が条件を指定することができ、指定した条件に該当する認証ログを管理者が閲覧することができる。
The
具体的には、管理端末２では、認証ログを検索するための検索条件を入力する画面が表示され、この画面において、管理者が、検索条件として、顔認証の要求元の顔認証機１、利用者、抽出件数、顔照合が実行された照合日時（抽出期間）、および照合結果（成功、失敗）などを指定することができる。
Specifically, on the
顔管理サーバ５の認証ログ提示部６９では、管理端末２において管理者が検索条件を入力して検索を指示する操作が行われると、認証ログ参照のリクエストを顔照合サーバ６に送る。この認証ログ参照のリクエストには、管理者が指定した検索条件が含まれる。このとき、認証ログ提示部６９では、顔認証機１と照合グループの関連付けに関する情報と、顔照合サーバ６と照合グループの関連付けに関する情報と、利用者に関する情報とに基づいて、対象となる顔認証機１または利用者と照合グループが一致する顔照合サーバ６を特定して、その顔照合サーバ６に認証ログ参照のリクエストを送る。また、顔管理サーバ５では、管理者アクセスログを記録する。
The authentication
顔照合サーバ６では、認証ログ参照のリクエストを顔管理サーバ５から受け取ると、そのリクエストに含まれる検索条件にしたがって認証ログを検索し、検索結果として、検索条件に該当する認証ログをまとめたリストを生成して、その認証ログのリストを、認証ログ参照のレスポンスに付加して顔管理サーバ５に送る。なお、対象者の顔画像を認証ログとして顔管理サーバ５に送信することができるが、この場合、対象者の顔画像は暗号化されているため、復号した上でレスポンスに付加する。
When the
顔管理サーバ５では、認証ログ参照のレスポンスを顔照合サーバ６から受け取ると、そのレスポンスに含まれる認証ログのリストに基づいて、管理者が指定した検索条件に該当する認証ログが一覧表示された検索結果の画面を管理端末２に表示させる。このとき、顔照合サーバ６で絞り込みができない検索条件に関して、認証ログのリストの中から検索条件に該当する認証ログを抽出して、絞り込みができた認証ログのリストを生成する。
When the
なお、管理端末２では、項目を指定してソートを指示することができ、この操作が行われると、顔管理サーバ５では、認証ログのリストに対して、指定された項目でソートを実行して、ソート済みの認証ログのリストを生成する。また、管理端末２では、認証ログの取得件数を指定することができ、この操作が行われると、顔照合サーバ６では、取得件数分だけ認証ログを抽出して認証ログのリストを生成する。また、管理端末２では、期間を指定することができ、この操作が行われると、顔照合サーバ６では、期間に含まれる認証ログを抽出して認証ログのリストを生成する。
In addition, in the
図５６は、管理端末２に表示される認証ログ参照画面を示す説明図である。
FIG. 56 is an explanatory diagram showing an authentication log reference screen displayed on the
管理端末２では、認証ログ参照画面が表示される。この認証ログ参照画面には、検索条件指定部１５１と検索結果表示部１５２とが設けられている。
On the
検索条件指定部１５１では、検索条件として、対象となる顔認証機１の機器ＩＤ、利用者コード、取得件数、照合日時、および照合結果の各項目を入力することができる。なお、照合日時の項目では、期間（始点および終点）を指定することができる。また、照合結果の項目では、プルダウンメニューにより、成功、失敗、成功および失敗の両方を選択することができる。この検索条件指定部１５１において各項目の検索条件を入力した上で、検索ボタン１５３を操作すると、検索条件に該当する認証ログを検索する検索が実行されて、検索結果表示部１５２に検索結果が表示される。
In the search
検索結果表示部１５２では、検索結果として、照合日時、照合結果（成功、失敗）、および顔画像の各項目のデータが一覧表示される。顔画像の項目では、照合結果が成功である場合には、顔認証機１から取得した顔認証の対象者の顔画像と、登録された利用者の顔画像とが表示される。照合結果が失敗である場合には、顔認証の対象者の顔画像のみが表示される。これにより、指定した顔認証機１や利用者に関する認証ログを管理者が確認することができ、また、照合日時や照合結果で認証ログを絞り込んで確認することができる。
The search
この検索結果表示部１５２では、項目を指定してソート（並び替え）を行うことができる。また、保存ボタン１５４を操作すると、検索結果表示部１５２に表示された認証ログ情報が所定のフォーマットで保存される。これにより、指定した顔認証機１や利用者に関する認証ログを、管理者が時系列で確認することができる。
In the search
次に、顔認証機１の外部アプリケーション連携の機能について説明する。図５７は、顔認証機１の外部アプリケーション連携の概要を示す説明図である。
Next, the function of linking the
顔認証機１は、外部アプリケーション連携の機能を備えており、顔照合サーバ６から取得した認証結果を、外部アプリケーション、すなわち、外部システムの管理サーバ８（管理装置）に通知する。外部システムは、本システムの認証結果を利用して利用者に各種のサービスを提供するものである。例えば、外部システムは入退管理システムであり、認証結果が成功である場合にはドアを開錠する制御を行う。また、外部システムは決済システムであり、認証結果が成功である場合には決済を実行する制御を行う。
The
また、顔認証機１は、認証結果調整部２５（接続アプリケーション）を備えており、この認証結果調整部２５を介して認証結果を外部システムの管理サーバ８に通知する。顔認証機１は、名前付きパイプ（プロセス間通信）を介して認証結果調整部２５に認証結果（成功、失敗）を通知する。認証結果調整部２５は、所定のプロトコル（ＷｅｂＳｏｃｋｅｔ）によりネットワークを介して認証結果を外部システムの管理サーバ８に通知する。なお、認証結果調整部２５では、外部システムにおける認証結果の利用方法に応じて、情報の加工や付加などの必要な処理を行うようにしてもよい。
Further, the
顔認証機１の顔照合要求部２３は、顔照合のリクエストを顔照合サーバ６に送り、これに応じて、顔照合のレスポンスを顔照合サーバ６から受け取ると、そのレスポンスに含まれる認証結果（認証成功、認証失敗）を名前付きパイプに書き込んで接続アプリケーションに通知する。このとき、顔認証機１は、認証結果として、認証者とカメラ１１の識別情報を更に取得して、認証結果の通知に付加する。具体的には、認証結果が成功である場合には、利用者コードと顔認証機１（カメラ１１）の機器ＩＤとを名前付きパイプに書き込む。一方、認証結果が失敗である場合には、認証結果（認証失敗）のみを名前付きパイプに書き込む。
When the face
また、顔認証機１の認証結果調整部２５では、外部システムに対して、同一内容の認証結果の通知を繰り返さないように、認証結果の通知を抑制する。本実施形態では、認証結果の通知を接続アプリケーションに対して行うと、通知抑制時間を設定し、その通知抑制時間内では、同一内容の認証結果の通知を一時的に停止する。
Further, the authentication
ある人物に関する認証成功の通知を行うと、その認証成功の通知から所定時間（認証成功の通知抑制時間）内は、その人物に関する認証成功の通知を抑制する。また、ある人物に関する認証失敗の通知を行うと、その認証失敗の通知から所定時間（認証失敗の通知抑制時間）内は、その人物に関する認証失敗の通知を抑制する。 When the authentication success notification for a certain person is given, the authentication success notification for that person is suppressed within a predetermined time (authentication success notification suppression time) from the authentication success notification. Further, when the authentication failure notification regarding a certain person is performed, the authentication failure notification regarding the person is suppressed within a predetermined time (authentication failure notification suppression time) from the authentication failure notification.
この通知抑制時間は、認証結果（認証成功、認証失敗）および人物ごとに設定され、認証結果が異なると同一人物でも通知抑制時間が別々に設定され、認証結果が同一でも人物が異なると通知抑制時間が別々に設定される。したがって、ある人物に関する認証失敗の通知抑制時間内では、その人物に関する認証成功の通知を行うことができ、ある人物に関する認証成功の通知抑制時間内では、その人物に関する認証失敗の通知を行うことができる。また、ある人物に関する認証失敗の通知抑制時間内では、別の人物に関する認証失敗の通知を行うことができ、ある人物に関する認証成功の通知抑制時間内では、別の人物に関する認証成功の通知を行うことができる。 This notification suppression time is set for each authentication result (authentication success, authentication failure) and person, and if the authentication result is different, the notification suppression time is set separately even for the same person, and if the authentication result is the same but the person is different, notification suppression is performed. The time is set separately. Therefore, within the authentication failure notification suppression time for a certain person, the authentication success notification for that person can be given, and within the authentication success notification suppression time for a certain person, the authentication failure notification for that person can be given. can. In addition, within the authentication failure notification suppression time for one person, it is possible to notify the authentication failure for another person, and within the authentication success notification suppression time for one person, the authentication success notification for another person is performed. be able to.
次に、本システムにおける稼働状況監視機能について説明する。図５８は、本システムにおける稼働状況監視機能の概要を示す説明図である。 Next, the operation status monitoring function in this system will be described. FIG. 58 is an explanatory diagram showing an outline of the operation status monitoring function in this system.
顔認証機１は、稼働状況監視部２６を備えている。この稼働状況監視部２６は、自装置の稼働状況を監視し、自装置の稼動状況（死活状況）を所定の周期で定期的に顔管理サーバ５（監視サーバ）に通知する。また、顔照合サーバ６は、稼働状況監視部８９を備えている。この稼働状況監視部８９は、自装置の稼働状況を監視し、自装置の稼動状況（死活状況）を所定の周期で定期的に顔管理サーバ５（監視サーバ）に通知する。
The
顔管理サーバ５は、稼働状況監視部６８を備えている。この稼働状況監視部６８は、自装置の稼働状況を監視し、自装置の稼動状況（死活状況）を所定の周期で定期的に自装置に記録する。また、顔管理サーバ５は、顔認証機１および顔照合サーバ６から通知される稼動状況を自装置に記録する。
The
ここで、通知される稼働状況に関する情報は、機器ＩＤ、取得時刻、死活状況、プログラムのバージョン情報などが含まれる。 Here, the information regarding the operation status to be notified includes the device ID, the acquisition time, the life-and-death status, the version information of the program, and the like.
また、管理端末２では、顔管理サーバ５に対して稼働状況の参照を要求することで、管理者が稼働状況を確認することができる。
Further, in the
次に、顔照合サーバ６におけるプログラムのバージョンアップに伴う顔照合データベースの更新について説明する。
Next, the update of the face matching database accompanying the version upgrade of the program in the
顔照合サーバ６では、顔照合の精度を高めるため、顔特徴量生成プログラムや顔照合プログラムのバーのジョンアップ（更新）が適宜に行われる。一方、顔特徴量データは顔特徴量生成や顔照合のアルゴリズムに依存し、そのアルゴリズムを変更すると、顔特徴量データも変化するため、顔特徴量データの生成をやり直す必要がある。
In the
そこで、本実施形態では、顔特徴量生成や顔照合のアルゴリズムに関係するプログラムのバージョンアップが行われると、顔照合データベースに登録された顔特徴量データを、新しいプログラムに対応するように更新する。すなわち、既に保管されている顔特徴量データを削除し、利用者の登録時の顔画像データに基づいて顔特徴量データを再生成して、その新たな顔特徴量データを保管する。 Therefore, in the present embodiment, when the version of the program related to the face feature amount generation and the face matching algorithm is upgraded, the face feature amount data registered in the face matching database is updated so as to correspond to the new program. .. That is, the face feature amount data already stored is deleted, the face feature amount data is regenerated based on the face image data at the time of user registration, and the new face feature amount data is stored.
具体的には、顔管理サーバ５において、稼働状況通知機能により、顔照合プログラムのバージョンアップを検知すると、顔照合サーバ６に顔特徴量データの更新のリクエストを送る。このリクエストには利用者の顔画像が含まれる。顔照合サーバ６での顔特徴量管理部８５は、顔特徴量データの更新のリクエストを受け取ると、利用者の顔画像から顔特徴量データを生成する処理を顔特徴量生成部８４に行わせて、新しい顔特徴量データを顔照合データベースに登録する。
Specifically, when the
このとき、複数の顔照合サーバ６において、顔照合プロセスおよび顔照合データベースが同一である場合、すなわち、複数の顔照合サーバ６同士で、顔照合データベースに登録されている顔特徴量データが同一であり、また、顔照合プロセスで、同一の照合グループの顔認証機１を対象にした顔照合処理を行われる場合には、１つの顔照合サーバ６において、顔特徴量データを再生成して、その新たな顔特徴量データを顔照合データベースに登録すると、その顔照合データベースに登録された顔特徴量データを別の顔照合サーバ６にコピーして、顔照合データベースの登録内容を同一のものにする。
At this time, when the face matching process and the face matching database are the same in the plurality of
このとき、顔管理サーバ５から複製先の顔照合サーバ６に複製を指示し、顔管理サーバ５を介して、複製元の顔照合サーバ６に保管された顔特徴量データを複製先の顔照合サーバ６に転送すればよい。
At this time, the
次に、バックアップおよびレストアについて説明する。 Next, backup and restore will be described.
本実施形態では、顔管理サーバ５および顔照合サーバ６に保管されたデータベースやファイルのバックアップおよびレストアを行うことができる。
In the present embodiment, databases and files stored in the
顔管理サーバ５に保管されている情報でバックアップ対象となるものは、利用者情報（顔情報）のデータベース、顔画像のファイル、照合グループ情報のデータベース、認証機と照合グループ関連付け情報のデータベース、照合サーバと照合グループ関連付け情報のデータベース、および管理者アクセスログのファイルなどである。
The information stored in the
顔照合サーバ６に保管されている情報でバックアップ対象となるものは、認証ログのデータベース、および顔画像のファイルなどである。
The information stored in the
図５９は、管理端末２に表示されるバックアップ画面およびレストア画面を示す説明図である。なお、バックアップ画面およびレストア画面は、画面内のタブで切り替えることができる。
FIG. 59 is an explanatory diagram showing a backup screen and a restore screen displayed on the
図５９（Ａ）に示すように、バックアップ画面には、バックアップ先指定部１６１とバックアップ対象指定部１６２と進捗状況表示部１６３と実行ボタン１６４とが設けられている。バックアップ先指定部１６１では、バックアップ先を指定することができる。バックアップ対象指定部１６２では、バックアップの対象となる機器として顔管理サーバ５および顔照合サーバ６を選択することができる。実行ボタン１６４を操作するとバックアップが実行される。進捗状況表示部１６３では、バックアップの対象となるデータ項目が一覧表示される。このデータ項目では、バックアップの終了に応じてチェックマークが表示され、バックアップの進捗状況を管理者が認識することができる。
As shown in FIG. 59 (A), the backup screen is provided with a backup
ここで、バックアップの対象となるデータは、利用者情報（顔情報）のデータベース、登録した利用者の顔画像のファイル、照合グループ情報のデータベース、顔認証機１と照合グループとの間の関連付け情報のデータベース、顔照合サーバ６と照合グループとの間の関連付け情報のデータベース、管理者アクセスログのファイル、認証ログのデータベース、および顔認証の対象者の顔画像のファイルなどである。
Here, the data to be backed up are a database of user information (face information), a file of a registered user's face image, a database of collation group information, and association information between the
図５９（Ｂ）に示すように、レストア画面には、バックアップ画面と同様に、バックアップ先指定部１６５とバックアップ対象指定部１６６と進捗状況表示部１６７と実行ボタン１６８とが設けられている。バックアップ先指定部１６５では、レストア先を指定することができる。バックアップ対象指定部１６６では、レストアの対象となる機器として顔管理サーバ５および顔照合サーバ６を選択することができる。実行ボタン１６８を操作するとレストアが実行される。進捗状況表示部１６７では、レストアの対象となるデータ項目が一覧表示される。このデータ項目では、レストアの終了に応じてチェックマークが表示され、レストアの進捗状況を管理者が認識することができる。
As shown in FIG. 59B, the restore screen is provided with a backup
次に、本実施形態の変形例について説明する。図６０は、本実施形態の変形例に係る顔画像抽出処理の概要を示す説明図である。 Next, a modification of the present embodiment will be described. FIG. 60 is an explanatory diagram showing an outline of the face image extraction process according to the modified example of the present embodiment.
前記の実施形態（図１２参照）では、利用者の撮影画像データから顔画像データを生成する顔画像抽出処理を顔認証機１および顔照合サーバ６で行うようにしたが、本変形例では、顔画像抽出処理を顔認証機１および顔管理サーバ５で行い、顔画像抽出処理を顔照合サーバ６で行わないようにする。具体的には、前記の実施形態で顔照合サーバ６に設けた顔画像抽出部８３を省略し、顔管理サーバ５に顔画像抽出部２０１が設けられている。
In the above embodiment (see FIG. 12), the face image extraction process for generating face image data from the photographed image data of the user is performed by the
利用者登録時には、管理端末２から顔管理サーバ５に利用者の撮影画像データを送ることで、顔管理サーバ５の顔画像抽出部２０１で顔画像抽出処理が行われる。一方、顔認証時には、顔認証機１の顔画像抽出部２２で顔画像抽出処理が行われ、これは前記の実施形態と同様である。
At the time of user registration, the face
以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。また、上記の実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。 As described above, embodiments have been described as an example of the techniques disclosed in this application. However, the technique in the present disclosure is not limited to this, and can be applied to embodiments in which changes, replacements, additions, omissions, etc. have been made. It is also possible to combine the components described in the above embodiments to form a new embodiment.
なお、近年、IoT(Internet of Things)の世界では、フィジカル空間とサイバー空間の情報連携により新たな付加価値を作りだすという新しいコンセプトであるCPS(Cyber Physical Systems)が注目されている。こうした中、本実施形態においても、CPSコンセプトを採用することができる。すなわち、CPSの基本構成として、例えば、フィジカル空間に配置されるエッジデバイスと、サイバー空間に配置されるクラウドサーバとをネットワークを介して接続し、エッジデバイスとクラウドサーバに搭載されたプロセッサにより、顔認証処理を分散して処理することが可能である。この顔認証処理においては、エッジデバイスとして、認証機のカメラにより撮影された利用者の顔画像データを取得する。次に、クラウドサーバは、ネットワークを介してエッジデバイスより受信した顔画像データから特徴量データを生成する処理を実行し、予め登録された利用者の特徴量データと照合して、利用者の認証処理を実行し、その認証処理にかかる認証結果を顔認証アプリケーションソフトウェアで引き継ぎ、アプリケーション上で定義された出力フォーマットでディスプレイ等に表示する。ここで、エッジデバイスまたはクラウドサーバにおいて生成される各データは、標準化されたプラットフォームに搭載されたＷｅｂアプリケーション等で生成されることが好ましく、このような標準化プラットフォームを用いることで、各種多様なセンサ群やIoTアプリケーションソフトウェアを含むシステムを構築する際の効率化を図ることができる。 In recent years, in the world of IoT (Internet of Things), CPS (Cyber Physical Systems), which is a new concept of creating new added value by linking information between physical space and cyber space, is drawing attention. Under these circumstances, the CPS concept can be adopted in this embodiment as well. That is, as a basic configuration of CPS, for example, an edge device arranged in a physical space and a cloud server arranged in a cyber space are connected via a network, and the edge device and the processor mounted on the cloud server make a face. It is possible to distribute the authentication process. In this face recognition process, as an edge device, the face image data of the user taken by the camera of the authentication machine is acquired. Next, the cloud server executes a process of generating feature amount data from the face image data received from the edge device via the network, collates it with the feature amount data of the user registered in advance, and authenticates the user. The process is executed, the authentication result related to the authentication process is taken over by the face authentication application software, and displayed on the display etc. in the output format defined on the application. Here, each data generated in the edge device or the cloud server is preferably generated by a Web application or the like mounted on a standardized platform, and by using such a standardized platform, various various sensor groups are used. It is possible to improve efficiency when building a system including IoT application software.
本発明に係る顔認証機および顔認証方法は、顔特徴量データの生成や顔照合処理のためのアップデート等が発生した場合に、顔認証機側での作業負担を軽減することができる効果を有し、顔認証の対象者を撮影して、その対象者の認証結果を出力する顔認証機および顔認証方法などとして有用である。 The face recognition machine and the face recognition method according to the present invention have an effect that the work load on the face recognition machine side can be reduced when an update for generating face feature amount data or face matching processing occurs. It is useful as a face recognition machine and a face recognition method that captures a subject of face recognition and outputs the authentication result of the subject.
１ 顔認証機
２ 管理端末（端末装置、顔認証管理装置）
３ 顔認証サーバ（サーバ装置）
５ 顔管理サーバ（顔画像管理部）
６ 顔照合サーバ（顔画像照合部）
1 Face
3 Face recognition server (server device)
5 Face management server (face image management department)
6 Face matching server (face image matching section)
Claims (4)
対象者を撮影するカメラと、
外部の顔照合装置および外部の管理装置とネットワークを介して通信を行う通信部と、
自装置に付与されたグループ識別情報と同じグループ識別情報が付与された前記顔照合装置を特定する照合グループ情報を記憶する記憶部と、
対象者の認証結果を出力する出力部と、
これら各部の動作を制御する制御部と、
を備え、
前記制御部は、
自装置の起動時に前記照合グループ情報を前記管理装置から取得して前記記憶部に記憶させる起動処理を実行し、
前記照合グループ情報に基づいて特定した前記顔照合装置に対して、前記カメラにより取得した対象者の顔画像データを付加して顔照合の問合せを行い、その顔照合装置において、前記対象者の顔画像データから対象者の顔特徴量データを生成する処理と、前記対象者の顔特徴量データと登録者の顔特徴量データとを照合する処理とを行わせて、その顔照合装置から対象者の照合結果を取得することを特徴とする顔認証機。 It is a face recognition machine that shoots the target person of face recognition and outputs the authentication result of the target person in sequence .
A camera that shoots the subject and
A communication unit that communicates with an external face matching device and an external management device via a network,
A storage unit that stores collation group information that identifies the face collation device to which the same group identification information as the group identification information assigned to the own device is assigned .
An output unit that outputs the authentication result of the target person,
A control unit that controls the operation of each of these parts,
Equipped with
The control unit
When the own device is started, the start process of acquiring the collation group information from the management device and storing it in the storage unit is executed.
A face matching inquiry is made by adding the face image data of the target person acquired by the camera to the face matching device specified based on the matching group information, and the face matching device performs the face matching device. The process of generating the face feature amount data of the target person from the image data and the process of collating the face feature amount data of the target person with the face feature amount data of the registrant are performed, and the target person is subjected to the process of collating the face feature amount data of the target person. A face recognition machine characterized by acquiring the collation result of.
顔照合の問合せ先となる前記顔照合装置に関するグループ識別情報とネットワークアドレスとを含むことを特徴とする請求項１に記載の顔認証機。 The collation group information is
The face recognition machine according to claim 1, wherein the face recognition device includes group identification information and a network address related to the face matching device as a contact for face matching.
前記グループ識別情報が同一で、かつ、前記ネットワークアドレスが互いに異なる複数の前記ネットワークアドレスを含むことを特徴とする請求項２に記載の顔認証機。 In the collation group information,
The face recognition machine according to claim 2, wherein the group identification information includes a plurality of network addresses having the same and different network addresses from each other.
前記顔認証機が、顔照合装置および管理装置とネットワークを介して接続され、
自装置の起動時に、自装置に付与されたグループ識別情報と同じグループ識別情報が付与された前記顔照合装置を特定する照合グループ情報を前記管理装置から取得して記憶部に記憶させる起動処理を実行し、
カメラにより対象者を撮影し、
前記照合グループ情報に基づいて特定した顔照合装置に対して、カメラにより取得した対象者の顔画像データを付加して顔照合の問合せを行い、その顔照合装置において、前記対象者の顔画像データから対象者の顔特徴量データを生成する処理と、前記対象者の顔特徴量データと登録者の顔特徴量データとを照合する処理とを行わせて、その顔照合装置から対象者の照合結果を取得して、その対象者の照合結果を出力部から出力することを特徴とする顔認証方法。 It is a face recognition method in which the processor of the face recognition machine executes the process of taking a picture of the target person of face recognition and sequentially outputting the authentication result of the target person.
The face recognition machine is connected to the face matching device and the management device via a network.
At the time of starting the own device, an activation process of acquiring the matching group information for identifying the face matching device to which the same group identification information as the group identification information given to the own device is given from the management device and storing it in the storage unit is performed. Run and
Take a picture of the subject with a camera
A face matching inquiry is made by adding the face image data of the target person acquired by the camera to the face matching device specified based on the matching group information, and the face matching device performs the face image data of the target person. The process of generating the face feature amount data of the target person from the above and the process of collating the face feature amount data of the target person with the face feature amount data of the registrant are performed, and the face matching device collates the target person. A face authentication method characterized in that a result is acquired and the collation result of the target person is output from an output unit.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019017273A JP7065413B2 (en) | 2019-02-01 | 2019-02-01 | Face recognition machine and face recognition method |
| JP2022059218A JP7289068B2 (en) | 2019-02-01 | 2022-03-31 | Face recognition machine and face recognition method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019017273A JP7065413B2 (en) | 2019-02-01 | 2019-02-01 | Face recognition machine and face recognition method |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022059218A Division JP7289068B2 (en) | 2019-02-01 | 2022-03-31 | Face recognition machine and face recognition method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020126336A JP2020126336A (en) | 2020-08-20 |
| JP7065413B2 true JP7065413B2 (en) | 2022-05-12 |
Family
ID=72083960
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019017273A Active JP7065413B2 (en) | 2019-02-01 | 2019-02-01 | Face recognition machine and face recognition method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7065413B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023042299A1 (en) * | 2021-09-15 | 2023-03-23 | 富士通株式会社 | Control method, control program, and information processing device |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002132732A (en) | 2000-10-23 | 2002-05-10 | Omron Corp | Device, terminal, method and system for collating biological information |
| JP2002190026A (en) | 2000-12-22 | 2002-07-05 | Nec Soft Ltd | Fingerprint authentication system |
| JP2006146559A (en) | 2004-11-19 | 2006-06-08 | Nec Corp | System, method, apparatus and program for managing dynamic organization |
| JP2006309491A (en) | 2005-04-28 | 2006-11-09 | Fuji Photo Film Co Ltd | Biometrics system |
| JP2007052720A (en) | 2005-08-19 | 2007-03-01 | Fujitsu Ltd | Information access method by biometrics authentication and information processing system by biometrics authentication |
| JP2008129798A (en) | 2006-11-20 | 2008-06-05 | Sony Corp | Collation device, collation method, and collation program |
| JP2009003805A (en) | 2007-06-22 | 2009-01-08 | Glory Ltd | Validity authentication system and validity authentication method |
| US20100058449A1 (en) | 2008-09-02 | 2010-03-04 | Fujitsu Limited | Authentication system and authentication method |
| JP2010287124A (en) | 2009-06-12 | 2010-12-24 | Glory Ltd | Biometric matching system and biometric matching method |
-
2019
- 2019-02-01 JP JP2019017273A patent/JP7065413B2/en active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002132732A (en) | 2000-10-23 | 2002-05-10 | Omron Corp | Device, terminal, method and system for collating biological information |
| JP2002190026A (en) | 2000-12-22 | 2002-07-05 | Nec Soft Ltd | Fingerprint authentication system |
| JP2006146559A (en) | 2004-11-19 | 2006-06-08 | Nec Corp | System, method, apparatus and program for managing dynamic organization |
| JP2006309491A (en) | 2005-04-28 | 2006-11-09 | Fuji Photo Film Co Ltd | Biometrics system |
| JP2007052720A (en) | 2005-08-19 | 2007-03-01 | Fujitsu Ltd | Information access method by biometrics authentication and information processing system by biometrics authentication |
| JP2008129798A (en) | 2006-11-20 | 2008-06-05 | Sony Corp | Collation device, collation method, and collation program |
| US20080183707A1 (en) | 2006-11-20 | 2008-07-31 | Tomoyuki Asano | Verification Apparatus, Verification Method and Verification Program |
| JP2009003805A (en) | 2007-06-22 | 2009-01-08 | Glory Ltd | Validity authentication system and validity authentication method |
| US20100058449A1 (en) | 2008-09-02 | 2010-03-04 | Fujitsu Limited | Authentication system and authentication method |
| JP2010061261A (en) | 2008-09-02 | 2010-03-18 | Fujitsu Ltd | Authentication system and authentication method |
| JP2010287124A (en) | 2009-06-12 | 2010-12-24 | Glory Ltd | Biometric matching system and biometric matching method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2020126336A (en) | 2020-08-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7122693B2 (en) | Face authentication system and face authentication method | |
| JP2022176383A (en) | Face authentication system, face authentication management device, face authentication management method, and face authentication management program | |
| JP7065413B2 (en) | Face recognition machine and face recognition method | |
| JP7108884B2 (en) | Face authentication server device, registration processing method and registration processing program | |
| JP7038351B2 (en) | Face recognition server device, registration processing method and registration processing program | |
| JP7336681B2 (en) | Face authentication system and face authentication method | |
| JP7289068B2 (en) | Face recognition machine and face recognition method | |
| JP7108883B2 (en) | Face authentication system, face authentication management device, face authentication management method, and face authentication management program | |
| JP7113339B2 (en) | Face authentication system, face authentication management device, face authentication management method, and face authentication management program | |
| JP7108881B2 (en) | Face authentication system, face authentication management device, face authentication management method, and face authentication management program | |
| JP7108882B2 (en) | Face authentication system, face authentication management device, face authentication management method, and face authentication management program | |
| JP7142222B2 (en) | Face authentication server device, face authentication method, and face authentication program | |
| JP7113338B2 (en) | Face authentication system and face authentication method | |
| JP7113340B2 (en) | Face recognition machine and face recognition method | |
| JP7429885B2 (en) | Facial recognition system and method | |
| JP7398759B2 (en) | Facial recognition system and method | |
| JP7378034B2 (en) | Face recognition system, face recognition machine, face recognition method and face recognition program | |
| JP2022176382A (en) | Face authentication system, face authentication management device, face authentication management method, and face authentication management program | |
| JP2020126335A (en) | Face authentication system and face authentication method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201112 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210831 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210831 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211026 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220308 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220331 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7065413 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |