JP2020190781A - Visitor verification system by face recognition and visitor verification program by face recognition - Google Patents
Visitor verification system by face recognition and visitor verification program by face recognition Download PDFInfo
- Publication number
- JP2020190781A JP2020190781A JP2019094127A JP2019094127A JP2020190781A JP 2020190781 A JP2020190781 A JP 2020190781A JP 2019094127 A JP2019094127 A JP 2019094127A JP 2019094127 A JP2019094127 A JP 2019094127A JP 2020190781 A JP2020190781 A JP 2020190781A
- Authority
- JP
- Japan
- Prior art keywords
- store
- person
- ineligible
- face image
- individual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012795 verification Methods 0.000 title claims abstract description 54
- 238000000034 method Methods 0.000 claims description 23
- 230000001815 facial effect Effects 0.000 claims description 20
- 239000000284 extract Substances 0.000 claims description 7
- 230000005540 biological transmission Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000008520 organization Effects 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
- G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/18—Status alarms
- G08B21/24—Reminder alarms, e.g. anti-loss alarms
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
- G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
- G08B25/10—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using wireless transmission systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M11/00—Telephonic communication systems specially adapted for combination with other electrical systems
- H04M11/04—Telephonic communication systems specially adapted for combination with other electrical systems with alarm systems, e.g. fire, police or burglar alarm systems
Abstract
Description
本発明は、撮影された来店者の顔画像に基づいて来店者の検証（来店不適格者の検出）を行う顔認識による来店者検証システム、及びコンピュータを該顔認識による来店者検証システムとして機能させる顔認識による来店者検証プログラムに関する。 The present invention functions as a visitor verification system by face recognition that verifies the visitor (detection of a person who is not qualified to visit the store) based on the photographed face image of the visitor, and a computer as a visitor verification system by the face recognition. Regarding the visitor verification program by face recognition.
従業員が顧客と１対１で対応を行う店舗や、数多くの顧客が来店する店舗において、従業員との間でトラブルが発生した来店者や、万引き等を行った来店者の来店を拒否したいことがある。専任の担当者を常勤させて対応することも考えられるが、その方法ではコストがかかり、また店舗間で情報を共有することができない。可能であれば、カメラで撮影した顔画像を認識し、省力化と店舗間での情報共有を実現したい。 I want to refuse a visitor who has trouble with an employee or a shoplifter at a store where employees have a one-to-one correspondence with customers or a store where many customers visit. Sometimes. It is conceivable to have a full-time person in charge work full-time, but this method is costly and information cannot be shared between stores. If possible, we would like to recognize the face image taken by the camera to save labor and share information between stores.
この点、特許文献１には、顔画像を認識するシステムであって、予め許可された者以外のデータを外部に配信する顔画像照合システムが開示されている。 In this regard, Patent Document 1 discloses a face image matching system that recognizes a face image and distributes data other than those authorized in advance to the outside.
また、特許文献２には、顔画像が本人のものであることを確認し、プライバシーに配慮した人物画像検索方法が開示されている。 Further, Patent Document 2 discloses a person image search method in consideration of privacy by confirming that the face image belongs to the person himself / herself.
特許文献１、２はともに、顔画像を保持される個人の意向を配慮するが、画像に基づいて来店者を検証し、実際に入店を認める又は拒否する場合にいかなる問題が発生するかに特化したものではない。 Both Patent Documents 1 and 2 consider the intention of the individual who holds the facial image, but what kind of problem will occur when the visitor is verified based on the image and the store is actually admitted or refused? It is not specialized.
来店者の多くは、自らの顔画像が保持され、それを第三者に見られてしまうことを好まないと考えられる。 It is believed that many visitors do not like to keep their facial images and see them by third parties.
本発明は、撮影された来店者の顔画像に基づいて来店者の検証（来店不適格者の検出）を行う顔認識による来店者検証システムであって、顔画像を表示するか否かを制御するものを提供することを課題とする。合わせて、コンピュータを該顔認識による来店者検証システムとして機能させる顔認識による来店者検証プログラムを提供することを課題とする。 The present invention is a visitor verification system based on face recognition that verifies a visitor (detection of a person who is not qualified to visit the store) based on a photographed face image of the visitor, and controls whether or not to display the face image. The challenge is to provide what you do. At the same time, it is an object of the present invention to provide a visitor verification program by face recognition that causes the computer to function as the visitor verification system by face recognition.
本発明の顔認識による来店者検証システムは、
１もしくは２以上の店舗で運用され、
店舗に来店した来店者の撮影された顔画像から、来店不適格者かどうかを判定する顔認識による来店者検証システムであって、
個人に関する情報と一部もしくは全ての個人について個人の顔画像、前記顔画像の特徴を記号化した特徴量の一方又は両方を含む個人別データを保持し、
撮影された顔画像から前記特徴量を抽出し、抽出された特徴量を前記個人別データの特徴量と照合して、各々の個人との類似度を計算する類似度計算部と、
前記類似度に基づいて前記撮影された顔画像に係る個人が前記個人別データに含まれる個人と同一人である可能性を検出する判定部とを備え、
前記来店不適格者は、店舗ごとに第１の来店不適格者と第２の来店不適格者に分別され、
１の店舗において前記判定部が同一人である可能性を前記第１の来店不適格者について検出した際には、当該第１の来店不適格者に係る前記個人別データの顔画像を画面に表示せず、第２の来店不適格者について検出した際には、当該第２の来店不適格者に係る前記個人別データの顔画像を画面に表示することを特徴とする。
The visitor verification system based on face recognition of the present invention
Operated in one or more stores,
It is a visitor verification system based on face recognition that determines whether or not a person is ineligible to visit the store from the face image taken by the visitor who came to the store.
Holds personal data including information about an individual and an individual's facial image for some or all of the individual, and one or both of the features symbolizing the features of the facial image.
A similarity calculation unit that extracts the feature amount from the captured face image, collates the extracted feature amount with the feature amount of the individual data, and calculates the similarity with each individual.
A determination unit for detecting the possibility that the individual related to the photographed face image is the same as the individual included in the individual data based on the similarity is provided.
The non-qualified person for visiting the store is classified into a first non-qualified person for visiting the store and a second non-qualified person for visiting the store for each store.
When the possibility that the determination unit is the same person is detected for the first store ineligible person in one store, the face image of the personal data related to the first store ineligible person is displayed on the screen. When a second store ineligible person is detected without being displayed, the face image of the personal data related to the second store visit ineligible person is displayed on the screen.
本発明の顔認識による来店者検証システムは、
１もしくは２以上の店舗で運用され、
店舗に来店した来店者の撮影された顔画像から、来店不適格者かどうかを判定する顔認識による来店者検証システムであって、
個人に関する情報と一部もしくは全ての個人について個人の顔画像を組み合わせた個人別データを保持し、
前記顔認識による来店者検証システム外に設けられ個人の顔画像を登録する機能と撮影された顔画像に類似する登録済の顔画像を検索し類似度とともに出力する機能とを提供する外部機器を利用することを特徴とし、
前記外部機器の出力結果に基づいて、前記撮影された顔画像に係る個人が前記個人別データに含まれる個人と同一人である可能性を検出する判定部を備え、
前記来店不適格者は、店舗ごとに第１の来店不適格者と第２の来店不適格者に分別され、
１の店舗において前記判定部が同一人である可能性を前記第１の来店不適格者について検出した際には、当該第１の来店不適格者に係る前記個人別データの顔画像を画面に表示せず、第２の来店不適格者について検出した際には、当該第２の来店不適格者に係る前記個人別データの顔画像を画面に表示する顔画像表示部を備えることを特徴とする。
The visitor verification system based on face recognition of the present invention
Operated in one or more stores,
It is a visitor verification system based on face recognition that determines whether or not a person is ineligible to visit the store from the face image taken by the visitor who came to the store.
Retains personalized data that combines personal information with personal facial images of some or all individuals
An external device provided outside the store visitor verification system by face recognition that provides a function of registering an individual's face image and a function of searching for a registered face image similar to the photographed face image and outputting it together with the degree of similarity. Characterized by using
Based on the output result of the external device, the determination unit for detecting the possibility that the individual related to the captured face image is the same as the individual included in the individual data is provided.
The non-qualified person for visiting the store is classified into a first non-qualified person for visiting the store and a second non-qualified person for visiting the store for each store.
When the possibility that the determination unit is the same person is detected for the first store ineligible person in one store, the face image of the personal data related to the first store ineligible person is displayed on the screen. It is characterized by providing a face image display unit that displays the face image of the personal data related to the second store visit ineligible person on the screen when the second store visit ineligible person is detected without displaying. To do.
この特徴によれば、第１の来店不適格者に係る顔画像を表示せず、第２の来店不適格者に係る顔画像を表示する来店者検証システムが提供される。第２の来店不適格者は、不適格性の高い者（例えば反社会的団体に属する者）である。不適格性の低い第１の来店不適格者については、顔画像を表示しない。同一人である可能性を検出するためには特徴量のみを使用する。通常、特徴量から顔画像を復元できないので、第１の来店不適格者については個人別データに特徴量を含み顔画像を含まないものとして、顔画像が保持されていない形態とすることもできる。 According to this feature, a store visitor verification system is provided that does not display the face image of the first ineligible person to visit the store but displays the face image of the second ineligible person to visit the store. The second person who is ineligible to visit the store is a person who is highly ineligible (for example, a person who belongs to an antisocial group). The face image is not displayed for the first ineligible person who has low ineligibility. Only features are used to detect the possibility of being the same person. Normally, the face image cannot be restored from the feature amount, so for the first ineligible person to visit the store, it is possible to assume that the feature amount is included in the personal data and the face image is not included, and the face image is not retained. ..
本発明の顔認識による来店者検証システムは、
前記判定部は、前記第１の来店不適格者と同一人である可能性を検出するための前記類似度の閾値（第１の閾値）と、前記第２の来店不適格者と同一人である可能性を検出するための前記類似度の閾値（第２の閾値）とを備え、前記第１の閾値は前記第２の閾値よりも大きな値であることを特徴とする。
The visitor verification system based on face recognition of the present invention
The determination unit is the same person as the second store visit ineligible person and the similarity threshold value (first threshold value) for detecting the possibility of being the same person as the first store visit ineligible person. It is characterized in that it includes the threshold value of the similarity (second threshold value) for detecting a certain possibility, and the first threshold value is a value larger than the second threshold value.
この特徴によれば、第１の来店不適格者については同一人である可能性が極めて高い場合にのみ検出し、第２の来店不適格者については同一人である可能性が極めて高くなくとも一定以上高い場合に検出することができる。第２の来店不適格者を入店させないことを確実にするため、顔画像を表示して店舗（受付職員、警備担当者）が確認することができる。 According to this feature, the first ineligible person is detected only when it is extremely likely that they are the same person, and the second ineligible person is not very likely to be the same person. It can be detected when it is higher than a certain level. In order to ensure that the second person who is not qualified to visit the store is not allowed to enter the store, the face image can be displayed and confirmed by the store (reception staff, security staff).
本発明の顔認識による来店者検証システムは、
１の店舗において前記個人別データに前記第２の来店不適格者を登録する際に、該１の店舗のみで第２の来店不適格者として登録するか、他の店舗についても第２の来店不適格者として登録するかを選択できる来店不適格者共有部を備えることを特徴とする。
The visitor verification system based on face recognition of the present invention
When registering the second store ineligible person in the personal data in one store, register as the second store ineligible person only in the one store, or register the other store as the second store visit ineligible person. It is characterized by having a store visit ineligible person sharing section where it is possible to select whether to register as a ineligible person.
この特徴によれば、特定の店舗に固有の来店不適格者（例えば特定の従業員へのストーカー）と、店舗間で共通の来店不適格者（例えば反社会的団体に属する者）とを区分して処理することができる。 According to this feature, it is possible to distinguish between those who are not eligible to visit a store (for example, a stalker for a specific employee) and those who are not eligible to visit a store (for example, those who belong to an antisocial organization). Can be processed.
本発明の顔認識による来店者検証プログラムは、
１もしくは２以上の店舗で運用され、
店舗に来店した来店者の撮影された顔画像から、来店不適格者かどうかを判定する顔認識による来店者検証プログラムであって、
個人に関する情報と一部もしくは全ての個人について個人の顔画像、前記顔画像の特徴を記号化した特徴量の一方又は両方を含む個人別データを保持し、
撮影された顔画像から前記特徴量を抽出し、抽出された特徴量を前記個人別データの特徴量と照合して、各々の個人との類似度を計算する類似度計算処理と、
前記類似度に基づいて前記撮影された顔画像に係る個人が前記個人別データに含まれる個人と同一人である可能性を検出する判定処理とを備え、
前記来店不適格者は、店舗ごとに第１の来店不適格者と第２の来店不適格者に分別され、
１の店舗において前記判定部が同一人である可能性を前記第１の来店不適格者について検出した際には、当該第１の来店不適格者に係る前記個人別データの顔画像を画面に表示せず、第２の来店不適格者について検出した際には、当該第２の来店不適格者に係る前記個人別データの顔画像を画面に表示することを特徴とする。
The visitor verification program based on face recognition of the present invention
Operated in one or more stores,
It is a visitor verification program by face recognition that determines whether or not a person is ineligible to visit the store from the face image taken by the visitor who came to the store.
Holds personal data including information about an individual and an individual's facial image for some or all of the individual, and one or both of the features symbolizing the features of the facial image.
Similarity calculation processing that extracts the feature amount from the captured face image, collates the extracted feature amount with the feature amount of the individual data, and calculates the similarity with each individual.
It is provided with a determination process for detecting the possibility that the individual related to the photographed face image is the same person as the individual included in the individual data based on the similarity.
The non-qualified person for visiting the store is classified into a first non-qualified person for visiting the store and a second non-qualified person for visiting the store for each store.
When the possibility that the determination unit is the same person is detected for the first store ineligible person in one store, the face image of the personal data related to the first store ineligible person is displayed on the screen. When a second store ineligible person is detected without being displayed, the face image of the personal data related to the second store visit ineligible person is displayed on the screen.
本発明の顔認識による来店者検証プログラムは、
１もしくは２以上の店舗で運用され、
店舗に来店した来店者の撮影された顔画像から、来店不適格者かどうかを判定する顔認識による来店者検証プログラムであって、
個人に関する情報と一部もしくは全ての個人について個人の顔画像を組み合わせた個人別データを保持し、
前記顔認識による来店者検証プログラム外に設けられ個人の顔画像を登録する機能と撮影された顔画像に類似する登録済の顔画像を検索し類似度とともに出力する機能とを提供する外部機器を利用することを特徴とし、
前記外部機器の出力結果に基づいて、前記撮影された顔画像に係る個人が前記個人別データに含まれる個人と同一人である可能性を検出する判定処理を備え、
前記来店不適格者は、店舗ごとに第１の来店不適格者と第２の来店不適格者に分別され、
１の店舗において前記判定部が同一人である可能性を前記第１の来店不適格者について検出した際には、当該第１の来店不適格者に係る前記個人別データの顔画像を画面に表示せず、第２の来店不適格者について検出した際には、当該第２の来店不適格者に係る前記個人別データの顔画像を画面に表示する顔画像表示処理を備える
ことを特徴とする。
The visitor verification program based on face recognition of the present invention
Operated in one or more stores,
It is a visitor verification program by face recognition that determines whether or not a person is ineligible to visit the store from the face image taken by the visitor who came to the store.
Retains personalized data that combines personal information with personal facial images of some or all individuals
An external device provided outside the store visitor verification program by face recognition that provides a function of registering an individual's face image and a function of searching for a registered face image similar to the photographed face image and outputting it together with the degree of similarity. Characterized by using
Based on the output result of the external device, the determination process for detecting the possibility that the individual related to the captured face image is the same as the individual included in the individual data is provided.
The non-qualified person for visiting the store is classified into a first non-qualified person for visiting the store and a second non-qualified person for visiting the store for each store.
When the possibility that the determination unit is the same person is detected for the first store ineligible person in one store, the face image of the personal data related to the first store ineligible person is displayed on the screen. It is characterized by providing a face image display process for displaying the face image of the personal data related to the second store visit ineligible person on the screen when the second store visit ineligible person is detected without displaying. To do.
本発明の顔認識による来店者検証プログラムは、
前記判定処理は、前記第１の来店不適格者と同一人である可能性を検出するための前記類似度の閾値（第１の閾値）と、前記第２の来店不適格者と同一人である可能性を検出するための前記類似度の閾値（第２の閾値）とを備え、前記第１の閾値は前記第２の閾値よりも大きな値であることを特徴とする。
The visitor verification program based on face recognition of the present invention
The determination process is performed by the same person as the second store visit ineligible person and the similarity threshold value (first threshold value) for detecting the possibility of being the same person as the first store visit ineligible person. It is characterized in that it includes the threshold value of the similarity (second threshold value) for detecting a certain possibility, and the first threshold value is a value larger than the second threshold value.
本発明の顔認識による来店者検証プログラムは、
１の店舗において前記個人別データに前記第２の来店不適格者を登録する際に、該１の店舗のみで第２の来店不適格者として登録するか、他の店舗についても第２の来店不適格者として登録するかを選択する来店不適格者共有処理を備えることを特徴とする。
The visitor verification program based on face recognition of the present invention
When registering the second store ineligible person in the personal data in one store, register as the second store ineligible person only in the one store, or register the other store as the second store visit ineligible person. It is characterized by providing a store visit ineligible person sharing process for selecting whether to register as a ineligible person.
これらの特徴によれば、コンピュータを本発明の来店者検証システムとして機能させる来店者検証プログラムが提供される。 According to these features, a visitor verification program for making a computer function as a visitor verification system of the present invention is provided.
本発明によれば、顔画像を表示するか否かを制御する顔認識による来店者検証システム及び顔認識による来店者検証プログラムが提供される。 According to the present invention, there is provided a visitor verification system by face recognition that controls whether or not to display a face image, and a visitor verification program by face recognition.
以下、第１実施形態における本発明の実施例を説明する。 Hereinafter, examples of the present invention in the first embodiment will be described.
（実施例：第１実施形態）
図１は、第１実施形態における顔認識による来店者検証システムの構成を示す図である。顔認識による来店者検証システムは、顔認識による来店者検証システム（サーバ）１に、顔認識による来店者検証システム（各店舗機器）２がネットワークを介して接続されている。顔認識による来店者検証システム（各店舗機器）２は、１台のみでなく、２台以上を接続することができる。各々の顔認識による来店者検証システム（各店舗機器）２が、各店舗に設置されて運用される。
(Example: First embodiment)
FIG. 1 is a diagram showing a configuration of a visitor verification system by face recognition in the first embodiment. In the store visitor verification system by face recognition, the visitor verification system (server) 1 by face recognition and the store visitor verification system (each store device) 2 by face recognition are connected via a network. The store visitor verification system (each store device) 2 by face recognition can connect not only one unit but also two or more units. A visitor verification system (each store device) 2 based on each face recognition is installed and operated in each store.
顔認識による来店者検証システム（サーバ）１は、顔画像受信部１１、特徴量抽出部１２、類似度計算部１３、判定部１４、結果送信部１５及び来店不適格者受信部１７を備え、個人別データ１６を保持している。 The store visitor verification system (server) 1 by face recognition includes a face image receiving unit 11, a feature amount extracting unit 12, a similarity calculation unit 13, a determination unit 14, a result transmitting unit 15, and a store visitor ineligible person receiving unit 17. It holds personal data 16.
顔認識による来店者検証システム（各店舗機器）２は、顔画像送信部２１、結果表示部２２、顔画像表示部２３及び来店不適格者登録部２４を備え、カメラ２５及びユーザ端末２６が接続されている。 The store visitor verification system (each store device) 2 by face recognition includes a face image transmission unit 21, a result display unit 22, a face image display unit 23, and a store visit ineligible person registration unit 24, and a camera 25 and a user terminal 26 are connected to each other. Has been done.
顔画像受信部１１は、各店舗機器２から顔画像を受信する。 The face image receiving unit 11 receives the face image from each store device 2.
特徴量抽出部１２は、受信した顔画像を分析し、特徴量を抽出する。 The feature amount extraction unit 12 analyzes the received face image and extracts the feature amount.
類似度計算部１３は、特徴量を抽出された顔画像と、個人別データ１６内の顔画像との類似度を計算する。類似度の計算は、抽出された特徴量と特徴量データ１６ｄとを対照して行われる。 The similarity calculation unit 13 calculates the similarity between the face image from which the feature amount has been extracted and the face image in the individual data 16. The calculation of the similarity is performed by comparing the extracted feature amount with the feature amount data 16d.
判定部１４は、類似度に基づき、受信した顔画像に係る個人が個人別データに含まれる個人のいずれかと同一人である可能性を検出する。 Based on the degree of similarity, the determination unit 14 detects the possibility that the individual related to the received facial image is the same as any of the individuals included in the individual data.
結果送信部１５は、判定部１４が同一人である可能性を検出した個人に係るデータを、各店舗機器２に送信する。 The result transmission unit 15 transmits data relating to an individual who has detected the possibility that the determination unit 14 is the same person to each store device 2.
個人別データ１６は、個人データ１６ａ、店舗データ１６ｂ、顔画像データ１６ｃ及び特徴量データ１６ｄの集合体である。 The individual data 16 is an aggregate of personal data 16a, store data 16b, face image data 16c, and feature amount data 16d.
個人データ１６ａは、個人を表すデータの集合体である。各々の個人を表すデータには、個人のＩＤ（図２において、「個人Ａ」「個人Ｂ」．．．で示す）と当該個人に関する情報（例えば、氏名等の同定情報、過去のトラブルの記録）を含む。 The personal data 16a is a collection of data representing an individual. The data representing each individual includes an individual ID (indicated by "individual A" and "individual B" ... in FIG. 2) and information about the individual (for example, identification information such as a name, a record of past troubles). )including.
店舗データ１６ｂは、各々の店舗がいずれの個人を来店不適格者とするかを表すデータである。店舗データ１６ｂは、各々の店舗が来店不適格者とする個人のＩＤを保持する。また、店舗が属するグループの情報を含む。 The store data 16b is data indicating which individual is ineligible for each store to visit the store. The store data 16b holds the ID of an individual who is not qualified to visit each store. It also includes information about the group to which the store belongs.
顔画像データ１６ｃは、顔画像のイメージデータを個人のＩＤとともに保持する。ここで、１の個人について２以上の顔画像データを有する場合もある。 The face image data 16c holds the image data of the face image together with the personal ID. Here, there are cases where one individual has two or more face image data.
特徴量データ１６ｄは、顔画像から抽出された特徴量の数値もしくは記号データを個人のＩＤとともに保持する。ここで、１の個人について２以上の特徴量データを有する場合もある。例えば目の吊り上がり具合（目を楕円近似した場合の長径の傾斜角）、目・鼻・口の位置（顔の周縁を円形に規格化した場合の目・鼻・口の座標）が、特徴量データとして使用し得る。 The feature amount data 16d holds the numerical value or symbol data of the feature amount extracted from the face image together with the personal ID. Here, there are cases where one individual has two or more feature amount data. For example, the degree of lifting of the eyes (the angle of inclination of the major axis when the eyes are approximated to an ellipse) and the positions of the eyes, nose, and mouth (the coordinates of the eyes, nose, and mouth when the periphery of the face is standardized to a circle) are the characteristics. Can be used as quantitative data.
図２は、第１実施形態における個人別データの構成例を示す図である。個人データ１６ａ、店舗データ１６ｂ、顔画像データ１６ｃ及び特徴量データ１６ｄの相互の関係を示すものである。 FIG. 2 is a diagram showing a configuration example of individual data in the first embodiment. It shows the mutual relationship between the personal data 16a, the store data 16b, the face image data 16c, and the feature amount data 16d.
店舗データ１６ｂには、来店不適格者とする全ての個人について、第１の来店不適格者／第２の来店不適格者の別を含み保持されている。また、店舗が属するグループの情報が保持されている。図においては、店舗ＸとＹとが同一のグループＧに属し、店舗Ｚはいずれのグループにも属していない。 The store data 16b holds all the individuals who are ineligible for visiting the store, including the distinction between the first ineligible visitor and the second ineligible visitor. In addition, information on the group to which the store belongs is retained. In the figure, stores X and Y belong to the same group G, and store Z does not belong to any group.
ここで、来店不適格者（個人）が第１の来店不適格者であるか第２の来店不適格者であるかは、個人データ１６ａでなく店舗データ１６ｂに保持されている。個人Ａが店舗Ｘでは第１の来店不適格者であり店舗Ｙでは第２の来店不適格者であるということがあり得る。このように、同一個人について店舗に依存して来店不適格の度合いが相違することに対応するものである。 Here, whether the person who is ineligible to visit the store (individual) is the first ineligible person to visit the store or the second ineligible person to visit the store is held in the store data 16b instead of the personal data 16a. It is possible that the individual A is the first ineligible person to visit the store X and the second ineligible person to visit the store Y. In this way, it corresponds to the fact that the degree of disqualification for visiting a store differs depending on the store for the same individual.
以上の個人別データ１６の構成は一例である。各々の店舗について、その店舗が第１の来店不適格者とする個人及び第２の来店不適格者とする個人が判り、それらの個人についての顔画像データの一覧もしくは顔画像データが存在しないこと、特徴量データの一覧もしくは特徴量データが存在しないことが判ればよい。かかる構成は、多種考えられるが、いずれでもよい。 The configuration of the above personal data 16 is an example. For each store, the individual who is ineligible for the first visit and the individual who is ineligible for the second visit are known, and there is no list of facial image data or facial image data for those individuals. , It suffices to know that there is no list of feature data or feature data. Various types of such configurations can be considered, but any of them may be used.
個人別データ１６を物理的にどのように実現するかについては様々な実現方法が考えられる。個人別データ１６はサーバ１が動作する装置に備わるＨＤＤやＳＳＤなどのストレージ上に保存されることが多いが、それに限定するものではない。例えば、個人別データ１６の一部を、外部のクラウドストレージサービス上に保存する構成をとってもよい。 Various realization methods can be considered for how to physically realize the personal data 16. The personal data 16 is often stored on a storage such as an HDD or SSD provided in the device on which the server 1 operates, but the data 16 is not limited thereto. For example, a part of the personal data 16 may be stored on an external cloud storage service.
来店不適格者受信部１７は、各店舗機器２から、新たに来店不適格者とする個人のデータを受信し、個人別データ１６を更新する。 The store visit ineligible person receiving unit 17 receives data of an individual who is newly regarded as a store visit ineligible person from each store equipment 2, and updates the individual data 16.
その際、データを送信した各店舗機器２を用いる店舗（各店舗機器２のＩＤ等で決定できる）に係る店舗データ１６ｂを更新するが、来店不適格者共有部１７ａにより、他の店舗の店舗データ１６ｂを更新してもよい。 At that time, the store data 16b relating to the store using each store device 2 to which the data is transmitted (which can be determined by the ID of each store device 2) is updated, but the stores of other stores are updated by the store ineligible person sharing unit 17a. Data 16b may be updated.
顔画像送信部２１は、カメラ２５によって撮影された顔画像を、サーバ１に送信する。 The face image transmission unit 21 transmits the face image taken by the camera 25 to the server 1.
結果表示部２２は、サーバ１（結果送信部１５）によって送信された結果を、ユーザ端末２６に表示する。 The result display unit 22 displays the result transmitted by the server 1 (result transmission unit 15) on the user terminal 26.
顔画像表示部２３は、結果表示部２２の指示により、顔画像をユーザ端末２６に表示する。 The face image display unit 23 displays the face image on the user terminal 26 according to the instruction of the result display unit 22.
結果送信部１５によって送信される結果には、第１の来店不適格者については顔画像が含まれず、第２の来店不適格者については顔画像が含まれる。したがって、顔画像表示部２３は、第１の来店不適格者については顔画像を表示せず、第２の来店不適格者についてのみ顔画像を表示する。 The result transmitted by the result transmission unit 15 does not include a face image for the first ineligible person to visit the store, and includes a face image for the second ineligible person to visit the store. Therefore, the face image display unit 23 does not display the face image for the first ineligible person to visit the store, and displays the face image only for the second ineligible person to visit the store.
来店不適格者登録部２４は、新たに来店不適格者とする個人のデータをサーバ１に送信する。 The store visit ineligible person registration unit 24 transmits the data of the newly ineligible person to visit the store to the server 1.
以上、顔認識による来店者検証システムの構成について説明した。以下、本発明の第１実施形態に係る実際の処理について具体的に説明する。 The configuration of the visitor verification system based on face recognition has been described above. Hereinafter, the actual processing according to the first embodiment of the present invention will be specifically described.
（第１実施形態：来店者の検証）
来店者が来店不適格者であることを検証する処理の一例を示す。
(First Embodiment: Verification of visitors)
An example of a process for verifying that a visitor is not eligible to visit the store is shown.
来店者が店内に入った時、カメラ２５によって顔画像を撮影する。カメラ２５は、例えば量販店の天井に設けられた防犯カメラであってもよく、クラブ等の受付を有する店舗では受付に設けられたカメラであってもよい。 When a visitor enters the store, the camera 25 takes a face image. The camera 25 may be, for example, a security camera provided on the ceiling of a mass retailer, or may be a camera provided at the reception in a store having a reception such as a club.
次に、顔画像送信部２１が撮影された顔画像をサーバ１に送信し、顔画像受信部１１がその顔画像を受信し、特徴量抽出部１２がその顔画像から特徴量を抽出する。 Next, the face image transmitting unit 21 transmits the captured face image to the server 1, the face image receiving unit 11 receives the face image, and the feature amount extracting unit 12 extracts the feature amount from the face image.
次に、類似度計算部１３が、抽出された特徴量を特徴量データ１６ｄのデータと照合し、特徴量データを有する個人ｊと抽出された特徴量との類似度Ｓｊを計算する。 Next, the similarity calculating unit 13, the extracted feature quantity against the data of the feature amount data 16d, calculates the similarity S j with individuals j and extracted feature with the feature amount data.
次に、判定部１４が、各々の個人について結果を各店舗機器２に送信するか否かを決定する。図３は、第１実施形態における判定部の処理を示すフローチャートである。判定部１４は、類似度Ｓｊの計算された個人ｊのそれぞれについて、以下の処理を行う。 Next, the determination unit 14 determines whether or not to transmit the result to each store device 2 for each individual. FIG. 3 is a flowchart showing the processing of the determination unit in the first embodiment. The determination unit 14 performs the following processing for each of the calculated individuals j having a similarity Sj .
処理を行う個人を個人ｉとする。判定部１４は、まず、店舗データ１６ｂを参照して、個人ｉが店舗機器２が所属する店舗において、第１の来店不適格者であるか第２の来店不適格者であるかを求める。 The individual who performs the processing is defined as the individual i. First, the determination unit 14 refers to the store data 16b to determine whether the individual i is a first store ineligible person or a second store visit ineligible person in the store to which the store equipment 2 belongs.
個人ｉが当該店舗において、第１の来店不適格者、第２の来店不適格者のどちらにも登録されていない場合においても、ある店舗において第１の来店不適格者もしくは第２の来店不適格者として登録されている場合は、当該店舗において第１の来店不適格者に登録されているとみなして後続の処理をするとしてよい。こうすることにより、ある店舗で登録された来店不適格者の情報を、他の店舗で共有することができる。また、個人ｉがある店舗において第２の来店不適格者に登録されている場合のみ、当該店舗において第１の来店不適格者に登録されているとみなして後続の処理をするとしてもよい。 Even if the individual i is not registered as either a first ineligible person or a second ineligible person at the store, the first ineligible person or the second ineligible person at a certain store is not registered. If the person is registered as a qualified person, it may be considered that the person is registered as the first non-qualified person to visit the store and the subsequent processing may be performed. By doing so, the information of the person who is not qualified to visit the store registered in one store can be shared with other stores. Further, only when the individual i is registered as a second ineligible person for visiting a store in a certain store, it may be considered that the individual i is registered as a ineligible person for first visiting the store and the subsequent processing may be performed.
第１の来店不適格者であればＳｉ≧Ｔ１、第２の来店不適格者であればＳｉ≧Ｔ２の場合に個人ｉを結果報告対象者として選択する。ここで、Ｔ１＞Ｔ２である。 If the first ineligible person to visit the store is S i ≧ T 1 , and if the second ineligible person to visit the store is S i ≧ T 2 , the individual i is selected as the result reporting target person. Here, T 1 > T 2 .
Ｓｉの値の意味は、類似度計算部１３（顔画像認識）の処理によって異なるが、認識対象の顔画像（特徴量）が個人ｉの顔画像（特徴量）に近似するほど大きな値となる。以下、Ｓｉの値は、認識対象の顔画像の個人が個人ｉである可能性（確率）であるとして説明するが、Ｓｉの値が他の意味であってもＳｉの値の大小関係は個人ｉである可能性の大小関係と同じであり、同様の結果となる。 The meaning of the value of S i differs depending on the processing of the similarity calculation unit 13 (face image recognition), but the value is so large that the face image (feature amount) to be recognized is close to the face image (feature amount) of the individual i. Become. Hereinafter, the value of S i is personal recognition target face image is described as a potentially personally i (probability), even mean value of S i is other values of S i magnitude The relationship is the same as the magnitude relationship of the possibility of being an individual i, and the same result is obtained.
例えば、Ｔ１＝８０％、Ｔ２＝５０％とする。第１の来店不適格者については可能性が大きい場合にのみ報告し、第２の来店不適格者については可能性がやや小さくても報告するものである。第２の来店不適格者については入店を確実に阻止したいので、可能性がやや小さくても各店舗機器２に顔画像を送信して、店舗スタッフの判断とする。 For example, T 1 = 80% and T 2 = 50%. The first ineligible person to visit the store is reported only when the possibility is high, and the second ineligible person to visit the store is reported even if the possibility is slightly small. Since we want to prevent the second person who is not qualified to visit the store from entering the store, we will send a face image to each store device 2 even if the possibility is a little small, and it will be decided by the store staff.
マスクを装着する、眼鏡を変更する等によってＳｉの値が小さくなるので、第２の来店不適格者についてはかかる場合にも報告対象とすることが好ましい。 Mounting the mask, since the value of S i is reduced, such as by changing the eyeglasses, it is preferable that a reporting If such is the second visit ineligible.
判定部１４は、結果送信部１５を起動する。 The determination unit 14 activates the result transmission unit 15.
次に、結果送信部１５が選択された個人ｉのそれぞれについて、個人ｉに係るデータと類似度Ｓｉを各店舗機器２に送信する。個人ｉに係るデータには、個人データ１６ａの当該個人に関する情報（例えば、氏名等の同定情報、過去のトラブルの記録）及び個人ｉが第２の来店不適格者の場合には顔画像データ１６ｃの顔画像が含まれる。ただし、個人ｉが第１の来店不適格者の場合には顔画像は含まれない。 Next, the result transmission unit 15 transmits the data related to the individual i and the similarity Si to each store device 2 for each of the selected individuals i. The data related to the individual i includes information about the individual in the personal data 16a (for example, identification information such as a name, a record of past troubles), and face image data 16c when the individual i is a second ineligible person to visit the store. Face image is included. However, if the individual i is a person who is not eligible for the first visit, the face image is not included.
最後に、結果表示部２２が結果をユーザ端末２６に表示する。その際、結果に顔画像が含まれる場合には、顔画像表示部２３が顔画像をユーザ端末２６に表示する。 Finally, the result display unit 22 displays the result on the user terminal 26. At that time, if the result includes a face image, the face image display unit 23 displays the face image on the user terminal 26.
結果表示部２２は、結果送信部１５から送信された結果の一部のみを表示するとしてもよい。その際に様々な選別方法が考えられる。例えば、類似度が最も大きい個人データと、それ以外の個人データでかつ第２の来店不適格者の個人データを類似度とともに表示するとしてもよい。 The result display unit 22 may display only a part of the result transmitted from the result transmission unit 15. At that time, various sorting methods can be considered. For example, the personal data having the highest degree of similarity and the personal data of other personal data and the second ineligible person for visiting the store may be displayed together with the degree of similarity.
（第１実施形態：来店不適格者の登録）
新たに来店不適格者をシステムに登録する処理の一例を示す。
(First embodiment: Registration of persons who are not eligible to visit the store)
An example of the process of newly registering a person who is not eligible to visit the store in the system is shown.
店舗が個人を来店不適格者として登録したい場合、来店不適格者登録部２４を起動し、その個人に関する情報（例えば、氏名等の同定情報、トラブルの記録）、第１の来店不適格者か第２の来店不適格者かの別、及び顔画像をサーバ１に送信する。なお、個人に関する情報が具体的に取得できていない場合には「〇月〇日登録」という情報でもよい。 When a store wants to register an individual as a person who is not eligible to visit the store, the store visits ineligible person registration unit 24 is activated, and information about the individual (for example, identification information such as name, trouble record), whether the person is the first person who is not eligible to visit The second person who is not qualified to visit the store and the face image are transmitted to the server 1. If the information about the individual has not been obtained specifically, the information "Registration on XX days" may be used.
来店不適格者登録部２４は、第２の来店不適格者である場合には、自店舗のみの登録とするか他店舗でも登録するかを合わせて送信する。他店舗でも登録する場合、全ての他店舗とするか、自分の属するグループの店舗のみとするかを選択する。かかる情報は、例えば「自店舗」「全店舗」を表すフラグ、「グループ名」によることができる。例えば、第２の来店不適格者が反社会的組織の者であれば全ての他店舗とする。また、第２の来店不適格者が地域内の競合する店舗の関係者（いわゆる産業スパイ）であれば自分の属するグループの店舗（例えば、同一の地域の店舗群）とする。 If the second person is ineligible to visit the store, the registration unit 24 for ineligible person to visit the store also transmits whether to register only the own store or the other store. When registering at other stores, select whether to register all other stores or only the stores of the group to which you belong. Such information can be, for example, a flag representing "own store" or "all stores", or a "group name". For example, if the second person who is not eligible to visit the store is a person of an antisocial organization, all other stores are used. If the second person who is not eligible to visit the store is a person related to a competing store in the area (so-called industrial spy), the store belongs to the group to which he / she belongs (for example, a group of stores in the same area).
なお、第１の来店不適格者についても、自店舗のみの登録とするか他店舗でも登録するかを合わせて送信することとしてもよい。上述したように、ある店舗で来店不適格者として登録されている場合、来店不適格者の情報共有の観点から自店舗において来店不適格者の登録がなくても第１の来店不適格者として扱うことが望まれるが、そうでない場合もあるためである。 It should be noted that the first person who is not eligible to visit the store may also be sent together with whether to register only at his / her own store or at another store. As mentioned above, if a person is registered as a non-qualified person to visit a store, he / she will be regarded as the first non-qualified person to visit the store even if he / she is not registered as a non-qualified person to visit the store from the viewpoint of sharing information of the non-qualified person. This is because it is desirable to handle it, but it may not be.
図４は、第１実施形態における来店不適格者受信部の処理を示すフローチャートである。来店不適格者受信部１７は、各店舗機器２から上記情報を受信して動作する。来店不適格者受信部１７は、まず、個人データ１６ａを参照して受信した個人のデータが存在するか否かを確認し、存在しない場合には、個人データを追加する。 FIG. 4 is a flowchart showing the processing of the store visit ineligible person receiving unit in the first embodiment. The store visit ineligible person receiving unit 17 receives the above information from each store device 2 and operates. The store visit ineligible person receiving unit 17 first checks whether or not the received personal data exists by referring to the personal data 16a, and if it does not exist, adds the personal data.
来店不適格者受信部１７は、次に、個人データ１６ａを更新し、個人データに、各店舗機器２から受信した情報（例えば、氏名等の同定情報、トラブルの記録）と、登録された時刻や登録した店舗の名称等を追記する。 Next, the store visit ineligible person receiving unit 17 updates the personal data 16a, and the information received from each store device 2 (for example, identification information such as a name, trouble record) and the registered time are added to the personal data. And add the name of the registered store.
来店不適格者受信部１７は、次に、新たな登録が第２の来店不適格者である場合には、顔画像データ１６ｃを追加する。 The store visit ineligible person receiving unit 17 then adds face image data 16c when the new registration is a second store visit ineligible person.
来店不適格者受信部１７は、次に、顔画像データから特徴量を抽出して特徴量データ１６ｄを追加する。 Next, the store visit ineligible person receiving unit 17 extracts the feature amount from the face image data and adds the feature amount data 16d.
来店不適格者受信部１７は、次に、新たな登録を送信した各店舗機器２に係る店舗の店舗データを更新（個人を追加）する。 Next, the store visit ineligible person receiving unit 17 updates (adds an individual) the store data of the store related to each store device 2 that has transmitted the new registration.
来店不適格者受信部１７は、次に、他店舗の指定の有無を確認し、指定がない場合には処理を終了する。 Next, the store-ineligible person receiving unit 17 confirms whether or not another store has been designated, and if not specified, ends the process.
他店舗の指定がある場合には、来店不適格者共有部１７ａの処理を行う。来店不適格者共有部１７ａは、グループが指定された場合にはグループに属する店舗の店舗データを更新（個人を追加）し、全店舗が指定された場合には全店舗の店舗データを更新（個人を追加）する。 If another store is designated, the store unqualified person sharing unit 17a is processed. The store visit ineligible person sharing unit 17a updates the store data of the stores belonging to the group (adding an individual) when the group is specified, and updates the store data of all the stores when all the stores are specified (the store data of all the stores is updated). Add an individual).
以上、本発明の第１実施形態に係る顔認識による来店者検証システムの構成及び処理について説明した。同等の処理を他の構成でも実現可能であり、かかる構成も本発明の技術的範囲に含まれる。処理は、サーバ１、店舗機器２のいずれでも行うことができる。データは、サーバ１、店舗機器２のいずれにも保持することができる。 The configuration and processing of the visitor verification system by face recognition according to the first embodiment of the present invention have been described above. Equivalent processing can be achieved with other configurations, which are also within the technical scope of the present invention. The processing can be performed by either the server 1 or the store equipment 2. The data can be stored in either the server 1 or the store device 2.
例えば、来店者の検証を行う処理において、特徴量抽出部１２を各店舗機器２に設け、顔画像に替えて特徴量を送信することとしてもよい。送信データ量が小さくなる。 For example, in the process of verifying the visitor, the feature amount extraction unit 12 may be provided in each store device 2 and the feature amount may be transmitted instead of the face image. The amount of transmitted data becomes smaller.
以下、第２実施形態における本発明の実施例を説明する。 Hereinafter, examples of the present invention in the second embodiment will be described.
（実施例：第２実施形態）
図５は、第２実施形態における顔認識による来店者検証システムの構成を示す図である。顔認識による来店者検証システムは、顔認識による来店者検証システム（サーバ）３と、登録済みの顔画像から類似している顔画像を検索する機能を備える外部機器４と、顔認識による来店者検証システム（各店舗機器）２がネットワークを介して接続されている。顔認識による来店者検証システム（各店舗機器）２は、１台のみでなく、２台以上を接続することができる。各々の顔認識による来店者検証システム（各店舗機器）２が、各店舗に設置されて運用される。ここで、外部機器４は、来店者検証システム３の外に設けられる機器であるが、登録済みの顔画像から類似している顔画像を検索する機能は多数の者に向けたサービスとして提供されており、かかるサービスを外部機器４として利用することができる。
(Example: Second embodiment)
FIG. 5 is a diagram showing a configuration of a visitor verification system by face recognition in the second embodiment. The visitor verification system by face recognition includes a visitor verification system (server) 3 by face recognition, an external device 4 having a function of searching a similar face image from registered face images, and a visitor by face recognition. The verification system (each store device) 2 is connected via a network. The store visitor verification system (each store device) 2 by face recognition can connect not only one unit but also two or more units. A visitor verification system (each store device) 2 based on each face recognition is installed and operated in each store. Here, the external device 4 is a device provided outside the store visitor verification system 3, but the function of searching for a similar face image from the registered face images is provided as a service for a large number of people. Therefore, such a service can be used as an external device 4.
顔認識による来店者検証システム（サーバ）３は、顔画像受信部３１、検索要求部３２、検索結果受信部３３、判定部３４、結果送信部３５、来店不適格者受信部３７、来店不適格者共有部３７ａ、及び検索対象登録部３８を備え、個人別データ３６を保持している。 The store visitor verification system (server) 3 by face recognition includes a face image receiving unit 31, a search requesting unit 32, a search result receiving unit 33, a judgment unit 34, a result transmitting unit 35, a store visit ineligible person receiving unit 37, and a store visit ineligible unit. It includes a person sharing unit 37a and a search target registration unit 38, and holds individual data 36.
顔認識による来店者検証システム（各店舗機器）２は、第１実施形態における顔認識による来店者検証システム（各店舗機器）２と同等のものである。 The store visitor verification system (each store device) 2 by face recognition is equivalent to the store visitor verification system (each store device) 2 by face recognition in the first embodiment.
顔画像受信部３１は、各店舗機器２から顔画像を受信する。 The face image receiving unit 31 receives the face image from each store device 2.
検索要求部３２は、顔画像受信部３１が受信した顔画像と類似した顔画像を検索するために、外部機器４に顔画像を送信する。 The search requesting unit 32 transmits a face image to the external device 4 in order to search for a face image similar to the face image received by the face image receiving unit 31.
検索結果受信部３３は、外部機器４から、類似している顔画像に係る個人のＩＤの一覧と、個人のＩＤごとの類似度を受信する。 The search result receiving unit 33 receives from the external device 4 a list of individual IDs related to similar facial images and the degree of similarity for each individual ID.
判定部３４は、 検索結果受信部３３が受信した検索結果に基づき、受信した顔画像に係る個人が個人別データに含まれる個人のいずれかと同一人である可能性を検出する。 Based on the search result received by the search result receiving unit 33, the determination unit 34 detects the possibility that the individual related to the received face image is the same person as any of the individuals included in the individual data.
結果送信部３５は、判定部３４が同一人である可能性を検出した個人に係るデータを、各店舗機器２に送信する。 The result transmission unit 35 transmits data relating to an individual who has detected the possibility that the determination unit 34 is the same person to each store device 2.
個人別データ３６は、個人データ３６ａ、店舗データ３６ｂ、顔画像データ３６ｃの集合体である。 The individual data 36 is an aggregate of personal data 36a, store data 36b, and face image data 36c.
個人データ３６ａは、個人を表すデータの集合体である。各々の個人を表すデータには、個人のＩＤと当該個人に関する情報（例えば、氏名等の同定情報、過去のトラブルの記録）を含む。 The personal data 36a is a collection of data representing an individual. The data representing each individual includes an individual's ID and information about the individual (for example, identification information such as a name, a record of past troubles).
店舗データ３６ｂは、各々の店舗がいずれの個人を来店不適格者とするかを表すデータである。店舗データ３６ｂは、各々の店舗が来店不適格者とする個人のＩＤを保持する。また、店舗が属するグループの情報を含む。 The store data 36b is data indicating which individual is ineligible for each store to visit the store. The store data 36b holds the ID of an individual who is not qualified to visit each store. It also includes information about the group to which the store belongs.
顔画像データ１６ｃは、顔画像のイメージデータを個人のＩＤとともに保持する。 The face image data 16c holds the image data of the face image together with the personal ID.
以上の個人別データ３６の構成は一例である。各々の店舗について、その店舗が第１の来店不適格者とする個人及び第２の来店不適格者とする個人が判り、それらの個人についての顔画像データの一覧もしくは顔画像データが存在しないことが判ればよい。かかる構成は多種考えられるが、いずれでもよい。 The configuration of the above personal data 36 is an example. For each store, the individual who is ineligible for the first visit and the individual who is ineligible for the second visit are known, and there is no list of facial image data or facial image data for those individuals. I just need to know. Various such configurations can be considered, but any of them may be used.
個人別データ３６を物理的にどのように実現するかについては様々な実現方法が考えられる。個人別データ３６はサーバ３が動作する装置に備わるＨＤＤやＳＳＤなどのストレージ上に保存されることが多いが、それに限定するものではない。例えば、個人別データ３６の一部を、外部のクラウドストレージサービス上に保存する構成をとってもよい。 Various realization methods can be considered for how to physically realize the personal data 36. The personal data 36 is often stored on a storage such as an HDD or SSD provided in the device on which the server 3 operates, but the data 36 is not limited thereto. For example, a part of the personal data 36 may be stored on an external cloud storage service.
来店不適格者受信部３７は、各店舗機器２から、新たに来店不適格者とする個人のデータを受信し、個人別データ３６を更新する。 The store visit ineligible person receiving unit 37 receives data of an individual who is newly regarded as a store visit ineligible person from each store equipment 2, and updates the individual data 36.
その際、データを送信した各店舗機器２を用いる店舗（各店舗機器２のＩＤ等で決定できる）に係る店舗データ３６ｂを更新するが、来店不適格者共有部３７ａにより、他の店舗の店舗データ３６ｂを更新してもよい。 At that time, the store data 36b relating to the store using each store device 2 to which the data is transmitted (which can be determined by the ID of each store device 2) is updated, but the store of another store is updated by the store ineligible person sharing unit 37a. Data 36b may be updated.
以上、本発明の第２実施形態に係る顔認識による来店者検証システムの構成について説明した。以下、本発明の第２実施形態に係る実際の処理について具体的に説明する。 The configuration of the store visitor verification system by face recognition according to the second embodiment of the present invention has been described above. Hereinafter, the actual processing according to the second embodiment of the present invention will be specifically described.
（第２実施形態：来店者の検証）
来店者が来店不適格者であることを検証する処理の一例を示す。
(Second embodiment: verification of visitors)
An example of a process for verifying that a visitor is not eligible to visit the store is shown.
来店者が店内に入った時、カメラ２５によって顔画像を撮影する。カメラ２５は、例えば量販店の天井に設けられた防犯カメラであってもよく、クラブ等の受付を有する店舗では受付に設けられたカメラであってもよい。 When a visitor enters the store, the camera 25 takes a face image. The camera 25 may be, for example, a security camera provided on the ceiling of a mass retailer, or may be a camera provided at the reception in a store having a reception such as a club.
次に、顔画像送信部２１が撮影された顔画像をサーバ３に送信し、顔画像受信部３１がその顔画像を受信する。 Next, the face image transmitting unit 21 transmits the captured face image to the server 3, and the face image receiving unit 31 receives the face image.
検索要求部３２は、顔画像受信部３１が受信した顔画像を、外部機器４に送信する。外部機器４が検索のパラメータとして類似度の閾値を受け入れる場合は、顔画像とともに類似度の閾値を送信するとしてもよい。 The search request unit 32 transmits the face image received by the face image receiving unit 31 to the external device 4. When the external device 4 accepts the similarity threshold as a search parameter, the similarity threshold may be transmitted together with the face image.
検索結果受信部３３は、外部機器４から、顔画像受信部３１が受信した顔画像と類似している個人のＩＤと類似度の一覧を受信する。 The search result receiving unit 33 receives from the external device 4 a list of personal IDs and similarities that are similar to the face image received by the face image receiving unit 31.
次に、判定部３４が、各々の個人について結果を各店舗機器２に送信するか否かを決定する。判定部３４は、類似度Ｓｊの個人ｊのそれぞれについて、以下の処理を行う。 Next, the determination unit 34 determines whether or not to transmit the result to each store device 2 for each individual. The determination unit 34 performs the following processing for each of the individuals j having a similarity Sj .
処理を行う個人を個人ｉとする。判定部３４は、まず、店舗データ３６ｂを参照して、個人ｉが店舗機器２が所属する店舗において、第１の来店不適格者であるか第２の来店不適格者であるかを求める。 The individual who performs the processing is defined as the individual i. First, the determination unit 34 refers to the store data 36b to determine whether the individual i is a first store ineligible person or a second store visit ineligible person in the store to which the store equipment 2 belongs.
個人ｉが当該店舗において、第１の来店不適格者、第２の来店不適格者のどちらにも登録されていない場合においても、ある店舗において第１の来店不適格者もしくは第２の来店不適格者として登録されている場合は、当該店舗において第１の来店不適格者に登録されているとみなして後続の処理をするとしてよい。こうすることにより、ある店舗で登録された来店不適格者の情報を、他の店舗で共有することができる。また、個人ｉがある店舗において第２の来店不適格者に登録されている場合のみ、当該店舗において第１の来店不適格者に登録されているとみなして後続の処理をするとしてもよい。 Even if the individual i is not registered as either a first ineligible person or a second ineligible person at the store, the first ineligible person or the second ineligible person at a certain store is not registered. If the person is registered as a qualified person, it may be considered that the person is registered as the first non-qualified person to visit the store and the subsequent processing may be performed. By doing so, the information of the person who is not qualified to visit the store registered in one store can be shared with other stores. Further, only when the individual i is registered as a second ineligible person for visiting a store in a certain store, it may be considered that the individual i is registered as a ineligible person for first visiting the store and the subsequent processing may be performed.
第１の来店不適格者であればＳｉ≧Ｔ１、第２の来店不適格者であればＳｉ≧Ｔ２の場合に個人ｉを結果報告対象者として選択する。ここで、Ｔ１＞Ｔ２である。 If the first ineligible person to visit the store is S i ≧ T 1 , and if the second ineligible person to visit the store is S i ≧ T 2 , the individual i is selected as the result reporting target person. Here, T 1 > T 2 .
Ｓｉの値の意味は、外部機器４の処理によって異なるが、一般的には認識対象の顔画像が個人ｉの顔画像に近似するほど大きな値となる。 The meaning of the value of S i differs depending on the processing of the external device 4, but in general, the value becomes so large that the face image to be recognized is close to the face image of the individual i.
判定部３４は、結果送信部３５を起動する。 The determination unit 34 activates the result transmission unit 35.
次に、結果送信部３５が選択された個人ｉのそれぞれについて、個人ｉに係るデータと類似度Ｓｉを各店舗機器２に送信する。個人ｉに係るデータには、個人データ３６ａの当該個人に関する情報（例えば、氏名等の同定情報、過去のトラブルの記録）、及び個人ｉが第２の来店不適格者の場合には顔画像データ３６ｃの顔画像が含まれる。 Next, the result transmission unit 35 transmits the data related to the individual i and the similarity S i to each store device 2 for each of the selected individuals i. The data related to the individual i includes information about the individual in the personal data 36a (for example, identification information such as a name, a record of past troubles), and face image data when the individual i is a second ineligible person to visit the store. A 36c face image is included.
最後に、結果表示部２２が結果をユーザ端末２６に表示する。その際、結果に顔画像が含まれる場合には、顔画像表示部２３が顔画像をユーザ端末２６に表示する。 Finally, the result display unit 22 displays the result on the user terminal 26. At that time, if the result includes a face image, the face image display unit 23 displays the face image on the user terminal 26.
結果表示部２２は、結果送信部３５から送信された結果の一部のみを表示するとしてもよい。その際に様々な選別方法が考えられる。例えば、類似度が最も大きい個人データと、それ以外の個人データでかつ第２の来店不適格者の個人データのみを、類似度とともに表示するとしてもよい。 The result display unit 22 may display only a part of the result transmitted from the result transmission unit 35. At that time, various sorting methods can be considered. For example, only the personal data having the highest degree of similarity and the personal data of other personal data and the second ineligible person to visit the store may be displayed together with the degree of similarity.
（第２実施形態：来店不適格者の登録）
新たに来店不適格者をシステムに登録する処理の一例を示す。
(Second embodiment: Registration of persons who are not eligible to visit the store)
An example of the process of newly registering a person who is not eligible to visit the store in the system is shown.
店舗が個人を来店不適格者として登録したい場合、来店不適格者登録部２４を起動し、その個人に関する情報（例えば、氏名等の同定情報、トラブルの記録）、第１の来店不適格者か第２の来店不適格者かの別、及び顔画像をサーバ３に送信する。なお、個人に関する情報が具体的に取得できていない場合には「〇月〇日登録」という情報でもよい。 When a store wants to register an individual as a person who is not eligible to visit the store, the store visits ineligible person registration unit 24 is activated, and information about the individual (for example, identification information such as name, trouble record), whether the person is the first person who is not eligible to visit the store. The second person who is not qualified to visit the store and the face image are transmitted to the server 3. If the information about the individual has not been obtained specifically, the information "Registration on XX days" may be used.
来店不適格者登録部２４は、第２の来店不適格者である場合には、自店舗のみの登録とするか他店舗でも登録するかを合わせて送信する。他店舗でも登録する場合、全ての他店舗とするか、自分の属するグループの店舗のみとするかを選択する。かかる情報は、例えば「自店舗」「全店舗」を表すフラグ、「グループ名」によることができる。例えば、第２の来店不適格者が反社会的組織の者であれば全ての他店舗とする。また、第２の来店不適格者が地域内の競合する店舗の関係者（いわゆる産業スパイ）であれば自分の属するグループの店舗（例えば、同一の地域の店舗群）とする。 If the second person is ineligible to visit the store, the registration unit 24 for ineligible person to visit the store also transmits whether to register only the own store or the other store. When registering at other stores, select whether to register all other stores or only the stores of the group to which you belong. Such information can be, for example, a flag representing "own store" or "all stores", or a "group name". For example, if the second person who is not eligible to visit the store is a person of an antisocial organization, all other stores are used. If the second person who is not eligible to visit the store is a person related to a competing store in the area (so-called industrial spy), the store belongs to the group to which he / she belongs (for example, a group of stores in the same area).
なお、第１の来店不適格者についても、自店舗のみの登録とするか他店舗でも登録するかを合わせて送信することとしてもよい。上述したように、ある店舗で来店不適格者として登録されている場合、来店不適格者の情報共有の観点から自店舗において来店不適格者の登録がなくても第１の来店不適格者として扱うことが望まれるが、そうでない場合もあるためである。 It should be noted that the first person who is not eligible to visit the store may also be sent together with whether to register only at his / her own store or at another store. As mentioned above, if a person is registered as a non-qualified person to visit a store, he / she will be regarded as the first non-qualified person to visit the store even if he / she is not registered as a non-qualified person to visit the store from the viewpoint of sharing information of the non-qualified person. This is because it is desirable to handle it, but it may not be.
来店不適格者受信部３７は、各店舗機器２から上記情報を受信して動作する。来店不適格者受信部３７は、まず、個人データ３６ａを参照して受信した個人のデータが存在するか否かを確認し、存在しない場合には、個人データを追加する。 The store visit ineligible person receiving unit 37 receives the above information from each store device 2 and operates. The store visit ineligible person receiving unit 37 first confirms whether or not the received personal data exists by referring to the personal data 36a, and if it does not exist, adds the personal data.
来店不適格者受信部３７は、次に、個人データ３６ａを更新し、個人データに、各店舗機器２から受信した情報（例えば、氏名等の同定情報、トラブルの記録）と、登録された時刻や登録した店舗の名称等を追記する。 Next, the store visit ineligible person receiving unit 37 updates the personal data 36a, and the information received from each store device 2 (for example, identification information such as a name, trouble record) and the registered time are added to the personal data. And add the name of the registered store.
来店不適格者受信部３７は、次に、新たな登録が第２の来店不適格者である場合には、顔画像データ３６ｃを追加する。 The store visit ineligible person receiving unit 37 then adds the face image data 36c when the new registration is a second store visit ineligible person.
来店不適格者受信部３７は、次に、検索対象登録部３８を通して、外部機器４に顔画像データと個人のＩＤを登録する。 Next, the store visit ineligible person receiving unit 37 registers the face image data and the personal ID in the external device 4 through the search target registration unit 38.
来店不適格者受信部３７は、次に、新たな登録を送信した各店舗機器２に係る店舗の店舗データを更新（個人を追加）する。 Next, the store visit ineligible person receiving unit 37 updates (adds an individual) the store data of the store related to each store device 2 that has transmitted the new registration.
来店不適格者受信部３７は、次に、他店舗の指定の有無を確認し、指定がない場合には処理を終了する。 Next, the store non-qualified person receiving unit 37 confirms whether or not another store has been designated, and if not specified, ends the process.
他店舗の指定がある場合には、来店不適格者共有部３７ａの処理を行う。来店不適格者共有部３７ａは、グループが指定された場合にはグループに属する店舗の店舗データを更新（個人を追加）し、全店舗が指定された場合には全店舗の店舗データを更新（個人を追加）する。 If another store is designated, the processing of the store-ineligible person sharing unit 37a is performed. The store visit ineligible person sharing unit 37a updates the store data of the stores belonging to the group when the group is specified (adds an individual), and updates the store data of all the stores when all the stores are specified (the store data of all the stores is updated). Add an individual).
以上、本発明の第２実施形態に係る顔認識による来店者検証システムの構成及び処理について説明した。同等の処理を他の構成でも実現可能であり、かかる構成も本発明の技術的範囲に含まれる。処理は、サーバ３、店舗機器２のいずれでも行うことができる。データは、サーバ３、店舗機器２のいずれにも保持することができる。 The configuration and processing of the visitor verification system by face recognition according to the second embodiment of the present invention have been described above. Equivalent processing can be achieved with other configurations, which are also within the technical scope of the present invention. The processing can be performed by either the server 3 or the store device 2. The data can be stored in either the server 3 or the store device 2.
例えば、検索要求部３２、検索結果受信部３３を店舗機器２に設け、外部機器４を利用した類似顔画像の検索を各店舗機器２で行うという構成をとってもよい。来店者が来店したときに店舗機器２がサーバ３に顔画像を送信する必要がなくなるため、サーバ３が受信するデータ量が小さくなる。 For example, the search request unit 32 and the search result receiving unit 33 may be provided in the store device 2, and each store device 2 may search for a similar face image using the external device 4. Since it is not necessary for the store device 2 to transmit the face image to the server 3 when the visitor comes to the store, the amount of data received by the server 3 is reduced.
撮影された来店者の顔画像に基づいて来店者の検証（来店不適格者の検出）を行う顔認識による来店者検証システム（顔認識による来店者検証プログラム）であって、顔画像を表示するか否かを制御するものである。多くの店舗における利用が考えられる。 It is a visitor verification system (store visitor verification program by face recognition) that verifies the visitor (detection of ineligible visitors) based on the photographed face image of the visitor, and displays the face image. It controls whether or not. It can be used in many stores.
１ 顔認識による来店者検証システム（サーバ）
１１ 顔画像受信部
１２ 特徴量抽出部
１３ 類似度計算部
１４ 判定部
１５ 結果送信部
１６ 個人別データ
１６ａ 個人データ
１６ｂ 店舗データ
１６ｃ 顔画像データ
１６ｄ 特徴量データ
１７ 来店不適格者受信部
１７ａ 来店不適格者共有部
２ 顔認識による来店者検証システム（各店舗機器）
２１ 顔画像送信部
２２ 結果表示部
２３ 顔画像表示部
２４ 来店不適格者登録部
２５ カメラ
２６ ユーザ端末
３ 顔認識による来店者検証システム（サーバ）
３１ 顔画像受信部
３２ 検索要求部
３３ 検索結果受信部
３４ 判定部
３５ 結果送信部
３６ 個人別データ
３６ａ 個人データ
３６ｂ 店舗データ
３６ｃ 顔画像データ
３７ 来店不適格者受信部
３７ａ 来店不適格者共有部
３８ 検索対象登録部
４ 外部機器
1 Visitor verification system (server) by face recognition
11 Face image receiving unit 12 Feature amount extraction unit 13 Similarity calculation unit 14 Judgment unit 15 Result transmission unit 16 Individual data 16a Personal data 16b Store data 16c Face image data 16d Feature amount data 17 Store visit ineligible person reception unit 17a Store visit failure Eligible person sharing department 2 Visitor verification system by face recognition (each store equipment)
21 Face image transmission unit 22 Result display unit 23 Face image display unit 24 Store visitor ineligible person registration unit 25 Camera 26 User terminal 3 Face recognition visitor verification system (server)
31 Face image receiving unit 32 Search request unit 33 Search result receiving unit 34 Judgment unit 35 Result transmitting unit 36 Individual data 36a Personal data 36b Store data 36c Face image data 37 Store visit ineligible person receiving unit 37a Store visit ineligible person sharing unit 38 Search target registration unit 4 External device
Claims (8)
店舗に来店した来店者の撮影された顔画像から、来店不適格者かどうかを判定する顔認識による来店者検証システムであって、
個人に関する情報と一部もしくは全ての個人について個人の顔画像、前記顔画像の特徴を記号化した特徴量の一方又は両方を含む個人別データを保持し、
撮影された顔画像から前記特徴量を抽出し、抽出された特徴量を前記個人別データの特徴量と照合して、各々の個人との類似度を計算する類似度計算部と、
前記類似度に基づいて前記撮影された顔画像に係る個人が前記個人別データに含まれる個人と同一人である可能性を検出する判定部とを備え、
前記来店不適格者は、店舗ごとに第１の来店不適格者と第２の来店不適格者に分別され、
１の店舗において前記判定部が同一人である可能性を前記第１の来店不適格者について検出した際には、当該第１の来店不適格者に係る前記個人別データの顔画像を画面に表示せず、第２の来店不適格者について検出した際には、当該第２の来店不適格者に係る前記個人別データの顔画像を画面に表示することを特徴とする、顔認識による来店者検証システム。 Operated in one or more stores,
It is a visitor verification system based on face recognition that determines whether or not a person is ineligible to visit the store from the face image taken by the visitor who came to the store.
Holds personal data including information about an individual and an individual's facial image for some or all of the individual, and one or both of the features symbolizing the features of the facial image.
A similarity calculation unit that extracts the feature amount from the captured face image, collates the extracted feature amount with the feature amount of the individual data, and calculates the similarity with each individual.
A determination unit for detecting the possibility that the individual related to the photographed face image is the same as the individual included in the individual data based on the similarity is provided.
The non-qualified person for visiting the store is classified into a first non-qualified person for visiting the store and a second non-qualified person for visiting the store for each store.
When the possibility that the determination unit is the same person is detected for the first store ineligible person in one store, the face image of the personal data related to the first store ineligible person is displayed on the screen. When a second store ineligible person is detected without being displayed, a face image of the personal data related to the second store visit ineligible person is displayed on the screen, which is characterized by a face recognition visit. Person verification system.
店舗に来店した来店者の撮影された顔画像から、来店不適格者かどうかを判定する顔認識による来店者検証システムであって、
個人に関する情報と一部もしくは全ての個人について個人の顔画像を組み合わせた個人別データを保持し、
前記顔認識による来店者検証システム外に設けられ個人の顔画像を登録する機能と撮影された顔画像に類似する登録済の顔画像を検索し類似度とともに出力する機能とを提供する外部機器を利用することを特徴とし、
前記外部機器の出力結果に基づいて、前記撮影された顔画像に係る個人が前記個人別データに含まれる個人と同一人である可能性を検出する判定部を備え、
前記来店不適格者は、店舗ごとに第１の来店不適格者と第２の来店不適格者に分別され、
１の店舗において前記判定部が同一人である可能性を前記第１の来店不適格者について検出した際には、当該第１の来店不適格者に係る前記個人別データの顔画像を画面に表示せず、第２の来店不適格者について検出した際には、当該第２の来店不適格者に係る前記個人別データの顔画像を画面に表示する顔画像表示部を備えることを特徴とする、顔認識による来店者検証システム。 Operated in one or more stores,
It is a visitor verification system based on face recognition that determines whether or not a person is ineligible to visit the store from the face image taken by the visitor who came to the store.
Retains personalized data that combines personal information with personal facial images of some or all individuals
An external device provided outside the store visitor verification system by face recognition that provides a function of registering an individual's face image and a function of searching for a registered face image similar to the photographed face image and outputting it together with the degree of similarity. Characterized by using
Based on the output result of the external device, the determination unit for detecting the possibility that the individual related to the captured face image is the same as the individual included in the individual data is provided.
The non-qualified person for visiting the store is classified into a first non-qualified person for visiting the store and a second non-qualified person for visiting the store for each store.
When the possibility that the determination unit is the same person is detected for the first store ineligible person in one store, the face image of the personal data related to the first store ineligible person is displayed on the screen. It is characterized by including a face image display unit that displays the face image of the personal data related to the second store visit ineligible person on the screen when the second store visit ineligible person is detected without displaying. A visitor verification system based on face recognition.
店舗に来店した来店者の撮影された顔画像から、来店不適格者かどうかを判定する顔認識による来店者検証プログラムであって、
個人に関する情報と一部もしくは全ての個人について個人の顔画像、前記顔画像の特徴を記号化した特徴量の一方又は両方を含む個人別データを保持し、
撮影された顔画像から前記特徴量を抽出し、抽出された特徴量を前記個人別データの特徴量と照合して、各々の個人との類似度を計算する類似度計算処理と、
前記類似度に基づいて前記撮影された顔画像に係る個人が前記個人別データに含まれる個人と同一人である可能性を検出する判定処理とを備え、
前記来店不適格者は、店舗ごとに第１の来店不適格者と第２の来店不適格者に分別され、
１の店舗において前記判定部が同一人である可能性を前記第１の来店不適格者について検出した際には、当該第１の来店不適格者に係る前記個人別データの顔画像を画面に表示せず、第２の来店不適格者について検出した際には、当該第２の来店不適格者に係る前記個人別データの顔画像を画面に表示することを特徴とする、顔認識による来店者検証プログラム。 Operated in one or more stores,
It is a visitor verification program by face recognition that determines whether or not a person is ineligible to visit the store from the face image taken by the visitor who came to the store.
Holds personal data including information about an individual and an individual's facial image for some or all of the individual, and one or both of the features symbolizing the features of the facial image.
Similarity calculation processing that extracts the feature amount from the captured face image, collates the extracted feature amount with the feature amount of the individual data, and calculates the similarity with each individual.
It is provided with a determination process for detecting the possibility that the individual related to the photographed face image is the same person as the individual included in the individual data based on the similarity.
The non-qualified person for visiting the store is classified into a first non-qualified person for visiting the store and a second non-qualified person for visiting the store for each store.
When the possibility that the determination unit is the same person is detected for the first store ineligible person in one store, the face image of the individual data relating to the first store ineligible person is displayed on the screen. When a second store ineligible person is detected without being displayed, a face image of the personal data related to the second store visit ineligible person is displayed on the screen, which is characterized by a face recognition visit. Person verification program.
店舗に来店した来店者の撮影された顔画像から、来店不適格者かどうかを判定する顔認識による来店者検証プログラムであって、
個人に関する情報と一部もしくは全ての個人について個人の顔画像を組み合わせた個人別データを保持し、
前記顔認識による来店者検証プログラム外に設けられ個人の顔画像を登録する機能と撮影された顔画像に類似する登録済の顔画像を検索し類似度とともに出力する機能とを提供する外部機器を利用することを特徴とし、
前記外部機器の出力結果に基づいて、前記撮影された顔画像に係る個人が前記個人別データに含まれる個人と同一人である可能性を検出する判定処理を備え、
前記来店不適格者は、店舗ごとに第１の来店不適格者と第２の来店不適格者に分別され、
１の店舗において前記判定部が同一人である可能性を前記第１の来店不適格者について検出した際には、当該第１の来店不適格者に係る前記個人別データの顔画像を画面に表示せず、第２の来店不適格者について検出した際には、当該第２の来店不適格者に係る前記個人別データの顔画像を画面に表示する顔画像表示処理を備えることを特徴とする、顔認識による来店者検証プログラム。 Operated in one or more stores,
It is a visitor verification program by face recognition that determines whether or not a person is ineligible to visit the store from the face image taken by the visitor who came to the store.
Retains personalized data that combines personal information with personal facial images of some or all individuals
An external device provided outside the store visitor verification program by face recognition that provides a function of registering an individual's face image and a function of searching for a registered face image similar to the photographed face image and outputting it together with the degree of similarity. Characterized by using
Based on the output result of the external device, the determination process for detecting the possibility that the individual related to the captured face image is the same as the individual included in the individual data is provided.
The non-qualified person for visiting the store is classified into a first non-qualified person for visiting the store and a second non-qualified person for visiting the store for each store.
When the possibility that the determination unit is the same person is detected for the first store ineligible person in one store, the face image of the individual data relating to the first store ineligible person is displayed on the screen. It is characterized by providing a face image display process for displaying the face image of the personal data related to the second store visit ineligible person on the screen when the second store visit ineligible person is detected without displaying. A visitor verification program based on face recognition.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019094127A JP6613502B1 (en) | 2019-05-17 | 2019-05-17 | Store visitor verification system using face recognition and store visitor verification program using face recognition |
| PCT/JP2020/000543 WO2020235128A1 (en) | 2019-05-17 | 2020-01-10 | Facial recognition based system for patron verification and facial recognition based program for patron verification |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019094127A JP6613502B1 (en) | 2019-05-17 | 2019-05-17 | Store visitor verification system using face recognition and store visitor verification program using face recognition |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP6613502B1 JP6613502B1 (en) | 2019-12-04 |
| JP2020190781A true JP2020190781A (en) | 2020-11-26 |
Family
ID=68763469
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019094127A Active JP6613502B1 (en) | 2019-05-17 | 2019-05-17 | Store visitor verification system using face recognition and store visitor verification program using face recognition |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP6613502B1 (en) |
| WO (1) | WO2020235128A1 (en) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003087771A (en) * | 2001-09-07 | 2003-03-20 | Oki Electric Ind Co Ltd | Monitoring system and monitoring method |
| JP2005128701A (en) * | 2003-10-22 | 2005-05-19 | Takachiho Koeki Kk | Electronic article surveillance system and its method |
| JP2008257487A (en) * | 2007-04-05 | 2008-10-23 | Multi Solution:Kk | Face-authentication-based shoplifting detection system |
| JP2010061465A (en) * | 2008-09-04 | 2010-03-18 | Sony Corp | Image processing apparatus, image pickup apparatus, image processing method and program |
| WO2015140953A1 (en) * | 2014-03-19 | 2015-09-24 | 株式会社 テクノミライ | Digital loss-defense security system, method, and program |
| US20170085839A1 (en) * | 2015-09-17 | 2017-03-23 | Dan Valdhorn | Method and system for privacy preserving lavatory monitoring |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9195883B2 (en) * | 2012-04-09 | 2015-11-24 | Avigilon Fortress Corporation | Object tracking and best shot detection system |
| WO2018198250A1 (en) * | 2017-04-26 | 2018-11-01 | 株式会社 テクノミライ | Digital smart earnings/security system, method, and program |
-
2019
- 2019-05-17 JP JP2019094127A patent/JP6613502B1/en active Active
-
2020
- 2020-01-10 WO PCT/JP2020/000543 patent/WO2020235128A1/en active Application Filing
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003087771A (en) * | 2001-09-07 | 2003-03-20 | Oki Electric Ind Co Ltd | Monitoring system and monitoring method |
| JP2005128701A (en) * | 2003-10-22 | 2005-05-19 | Takachiho Koeki Kk | Electronic article surveillance system and its method |
| JP2008257487A (en) * | 2007-04-05 | 2008-10-23 | Multi Solution:Kk | Face-authentication-based shoplifting detection system |
| JP2010061465A (en) * | 2008-09-04 | 2010-03-18 | Sony Corp | Image processing apparatus, image pickup apparatus, image processing method and program |
| WO2015140953A1 (en) * | 2014-03-19 | 2015-09-24 | 株式会社 テクノミライ | Digital loss-defense security system, method, and program |
| US20170085839A1 (en) * | 2015-09-17 | 2017-03-23 | Dan Valdhorn | Method and system for privacy preserving lavatory monitoring |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020235128A1 (en) | 2020-11-26 |
| JP6613502B1 (en) | 2019-12-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9418078B2 (en) | Dynamic identity matching in response to threat levels | |
| JPWO2017146160A1 (en) | Face matching system, face matching method, and program | |
| JP5785667B1 (en) | Person identification system | |
| WO2014050281A1 (en) | Method for updating personal authentication dictionary, device for updating personal authentication dictionary, recording medium, and personal authentication system | |
| JP7196932B2 (en) | Information processing device, information processing method, and program | |
| JPWO2017146161A1 (en) | Face matching system, face matching device, face matching method, and recording medium | |
| CN113519014A (en) | Gate opening/closing control device and gate opening/closing control method | |
| JP5813829B1 (en) | Crime prevention system | |
| CN113490935A (en) | Face authentication management server and face authentication management method | |
| CN113490936A (en) | Face authentication device and face authentication method | |
| JP2006309491A (en) | Biometrics system | |
| CN112767586A (en) | Passage detection method and device, electronic equipment and computer readable storage medium | |
| CN113519013A (en) | Face authentication system and face authentication method | |
| WO2019200737A1 (en) | Real estate data uploading method and apparatus, computer device, and storage medium | |
| US20190147251A1 (en) | Information processing apparatus, monitoring system, method, and non-transitory computer-readable storage medium | |
| CN112767585A (en) | Passage detection method and device, electronic equipment and computer readable storage medium | |
| JP2004126829A (en) | Visitor management system and its program | |
| JP2006243798A (en) | Apparatus, method and program for providing safety information | |
| CN107209562B (en) | Information processing system, information processing apparatus, control method, and storage medium | |
| WO2020235128A1 (en) | Facial recognition based system for patron verification and facial recognition based program for patron verification | |
| WO2023005662A1 (en) | Image processing method and apparatus, electronic device, program product and computer-readable storage medium | |
| CN112385180A (en) | System and method for matching identity and readily available personal identifier information based on transaction time stamp | |
| JP2020166590A (en) | Monitoring system, monitoring device, monitoring method, and monitoring program | |
| JP5847634B2 (en) | Reception management system and reception management method | |
| JP2019175122A (en) | Information processing system, information processing method and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190521 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20190521 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190809 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20190813 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190816 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190928 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191016 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191016 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6613502 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |