JP2023039033A - Program, system and information processing method - Google Patents

Program, system and information processing method Download PDF

Info

Publication number
JP2023039033A
JP2023039033A JP2021145974A JP2021145974A JP2023039033A JP 2023039033 A JP2023039033 A JP 2023039033A JP 2021145974 A JP2021145974 A JP 2021145974A JP 2021145974 A JP2021145974 A JP 2021145974A JP 2023039033 A JP2023039033 A JP 2023039033A
Authority
JP
Japan
Prior art keywords
authentication
user
information
attribute
face image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021145974A
Other languages
Japanese (ja)
Other versions
JP7355790B2 (en
Inventor
聖 中西
Sei Nakanishi
由久 新宮
Yoshihisa Shingu
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DXYZ Co Ltd
Property Agent Inc
Original Assignee
DXYZ Co Ltd
Property Agent Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DXYZ Co Ltd, Property Agent Inc filed Critical DXYZ Co Ltd
Priority to JP2021145974A priority Critical patent/JP7355790B2/en
Priority to JP2022160738A priority patent/JP2023039447A/en
Publication of JP2023039033A publication Critical patent/JP2023039033A/en
Application granted granted Critical
Publication of JP7355790B2 publication Critical patent/JP7355790B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Collating Specific Patterns (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

To provide a program, system and information processing method capable of improving security by using attributes extracted from face images of users.SOLUTION: A program causes a computer to be functioned as attribute detection means 33, calculation means 20 and output means 22. The attribute detection means 33 detects attributes including at least any of gender and age from a face image captured by an authentication terminal 40, the calculation means 20 calculates user useful information based on the attributes detected by the attribute detection means 33, service information in use for every user and user use history data, and output means 22 outputs the user useful information calculated by the calculation means 20.SELECTED DRAWING: Figure 1

Description

本発明は、プログラム、システムおよび情報処理方法に関する。 The present invention relates to a program, system and information processing method.

従来、顔データに基づいて認証を行う顔認証システムとして、入力された入力顔データと、予め登録された登録顔データとを照合して本人認証を行う顔認証システムが知られている（例えば、特許文献１、２参照）。 Conventionally, as a face authentication system that performs authentication based on face data, there has been known a face authentication system that performs personal authentication by matching input face data with pre-registered registered face data (for example, See Patent Documents 1 and 2).

特許文献１に記載された顔認証システムでは、カメラにより撮像された撮像画像中の顔部分の画像を用いて対象人物を認証する。また、特許文献２に記載された顔認証システムでは、例えば登録される顔画像が４つの場合、２つを精度保証用の顔パターンとし、１つを外乱成分吸収用の顔パターンとし、１つを更新対象用の顔パターンとしている。そして、新たに顔パターンを登録するときには、事前に登録されている４つの顔パターンのうち、新たに登録される顔パターンとの類似度が２番目に低い更新対象用の顔パターンを削除する。すなわち、新たに登録される顔パターンとの類似度が一番低い外乱成分吸収用の顔パターンを残すことにより、環境のばらつきに順応して顔認証を行う。 The face authentication system described in Patent Literature 1 authenticates a target person using an image of a face portion in an image captured by a camera. Further, in the face authentication system described in Patent Document 2, for example, when there are four face images to be registered, two face patterns are used for accuracy assurance, one face pattern is used for disturbance component absorption, and one face pattern is used for disturbance component absorption. is the face pattern to be updated. Then, when a new face pattern is registered, the update target face pattern having the second lowest degree of similarity with the newly registered face pattern is deleted from among the four pre-registered face patterns. That is, by leaving the face pattern for disturbance component absorption that has the lowest degree of similarity with the face pattern to be newly registered, face authentication is performed while adapting to variations in the environment.

特開２０１９－１９７４２６号公報JP 2019-197426 A 特開２００６－７２５４０号公報Japanese Patent Application Laid-Open No. 2006-72540

顔認証で用いたユーザの顔画像を他の用途で使用したりサービスの利用履歴と紐付けて記憶させたりすると顔画像の情報が外部に流出したときに大きな問題となる。 If the user's face image used in face authentication is used for other purposes or is stored in association with the service usage history, a serious problem will arise if the information on the face image leaks to the outside.

本発明は、このような点を考慮してなされたものであり、ユーザの顔画像から抽出された属性を用いることによりセキュリティ性を向上させることができるプログラム、システムおよび情報処理方法を提供することを目的とする。 The present invention has been made in consideration of such points, and provides a program, system, and information processing method that can improve security by using attributes extracted from a user's face image. With the goal.

本発明のプログラムは、
コンピュータを、属性検出手段と、演算手段と、出力手段として機能させるプログラムであって、
前記属性検出手段は、認証端末により撮像された顔画像から性別および年代のうち少なくとも何れかを含む属性を検出し、
前記演算手段は、前記属性検出手段により検出された属性、ユーザ毎の利用中サービス情報および利用履歴データに基づいてユーザ有用情報を演算し、
前記出力手段は、前記演算手段により演算されたユーザ有用情報を出力することを特徴とする。 The program of the present invention is
A program that causes a computer to function as attribute detection means, calculation means, and output means,
The attribute detection means detects an attribute including at least one of gender and age from the face image captured by the authentication terminal;
The computing means computes user-useful information based on the attribute detected by the attribute detecting means, service information in use for each user, and usage history data;
The output means is characterized by outputting the user-useful information calculated by the calculation means.

本発明のプログラムは、
コンピュータを、属性検出手段と、履歴データ保存手段として機能させるプログラムであって、
前記属性検出手段は、認証端末により撮像された顔画像から性別および年代のうち少なくとも何れかを含む属性を検出し、
前記履歴データ保存手段は、前記認証端末による顔画像の撮像に関する認証関連情報および前記属性検出手段により検出された属性を紐付けて顔認証利用履歴データストアに記憶させることを特徴とする。 The program of the present invention is
A program that causes a computer to function as attribute detection means and history data storage means,
The attribute detection means detects an attribute including at least one of gender and age from the face image captured by the authentication terminal;
The history data storage means associates authentication-related information relating to the imaging of the face image by the authentication terminal with the attributes detected by the attribute detection means and stores them in a face authentication use history data store.

本発明のシステムは、
認証端末により撮像された顔画像から性別および年代のうち少なくとも何れかを含む属性を検出する属性検出手段と、
前記属性検出手段により検出された属性、ユーザ毎の利用中サービス情報および利用履歴データに基づいてユーザ有用情報を演算する演算手段と、
前記演算手段により演算されたユーザ有用情報を出力する出力手段と、
を備えたことを特徴とする。 The system of the present invention is
an attribute detection means for detecting an attribute including at least one of gender and age from a face image captured by an authentication terminal;
computing means for computing user-useful information based on the attribute detected by the attribute detecting means, service information in use for each user, and usage history data;
output means for outputting user-useful information calculated by the calculation means;
characterized by comprising

本発明のシステムは、
認証端末により撮像された顔画像から性別および年代のうち少なくとも何れかを含む属性を検出する属性検出手段と、
前記認証端末による顔画像の撮像に関する認証関連情報および前記属性検出手段により検出された属性を紐付けて顔認証利用履歴データストアに記憶させる履歴データ保存手段と、
を備えたことを特徴とする。 The system of the present invention is
an attribute detection means for detecting an attribute including at least one of gender and age from a face image captured by an authentication terminal;
history data storage means for storing in a face authentication usage history data store in association with authentication-related information relating to the imaging of the face image by the authentication terminal and the attributes detected by the attribute detection means;
characterized by comprising

本発明の情報処理方法は、
コンピュータにより行われる情報処理方法であって、
認証端末により撮像された顔画像から性別および年代のうち少なくとも何れかを含む属性を検出する工程と、
検出された属性、ユーザ毎の利用中サービス情報および利用履歴データに基づいてユーザ有用情報を演算する工程と、
演算されたユーザ有用情報を出力する工程と、
を備えたことを特徴とする。 The information processing method of the present invention comprises:
An information processing method performed by a computer, comprising:
a step of detecting an attribute including at least one of gender and age from a face image captured by an authentication terminal;
a step of calculating user useful information based on the detected attributes, service information in use for each user, and usage history data;
outputting the calculated user useful information;
characterized by comprising

本発明の情報処理方法は、
コンピュータにより行われる情報処理方法であって、
認証端末により撮像された顔画像から性別および年代のうち少なくとも何れかを含む属性を検出する工程と、
前記認証端末による顔画像の撮像に関する認証関連情報および検出された属性を紐付けて顔認証利用履歴データストアに記憶させる工程と、
を備えたことを特徴とする。 The information processing method of the present invention comprises:
An information processing method performed by a computer, comprising:
a step of detecting an attribute including at least one of gender and age from a face image captured by an authentication terminal;
a step of linking authentication-related information and detected attributes related to capturing of a face image by the authentication terminal and storing them in a face authentication usage history data store;
characterized by comprising

本発明のプログラム、システムおよび情報処理方法によれば、ユーザの顔画像から抽出された属性を用いることによりセキュリティ性を向上させることができる。 According to the program, system, and information processing method of the present invention, it is possible to improve security by using the attribute extracted from the user's face image.

本発明の実施の形態による顔認証システムを概略的に示す図である。1 is a diagram schematically showing a face authentication system according to an embodiment of the invention; FIG. 図１に示す顔認証システムの各構成要素間での情報のやりとりを示す図である。2 is a diagram showing exchange of information between each component of the face authentication system shown in FIG. 1; FIG. 図１に示す顔認証システムにより行われる動作を示すフローチャートである。2 is a flow chart showing operations performed by the face authentication system shown in FIG. 1; 図１に示す顔認証システムにより行われる学習済モデルの生成およびユーザ有用情報の演算の動作を示すブロック図である。FIG. 2 is a block diagram showing the operation of generating a trained model and calculating user useful information performed by the face authentication system shown in FIG. 1;

以下、図面を参照して本発明の実施の形態について説明する。図１乃至図４は、本実施の形態に係る顔認証システムを示す図である。 BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, embodiments of the present invention will be described with reference to the drawings. 1 to 4 are diagrams showing a face authentication system according to this embodiment.

本実施の形態による顔認証システム１は、顔認証プラットフォーム１０と、個人データストア３０と、属性検出サーバ３２と、顔認証利用履歴データストア３４と、複数の認証端末４０とを備えている。個人データストア３０、属性検出サーバ３２、顔認証利用履歴データストア３４および複数の認証端末４０は、それぞれ、インターネット回線等のネットワークを介して顔認証プラットフォーム１０と通信可能なように接続されている。また、顔認証プラットフォーム１０は、インターネット回線等のネットワークを介して、ユーザが所持するユーザ端末８０と通信可能に接続されている。このような顔認証システム１の各構成要素について以下に説明する。 A face authentication system 1 according to this embodiment includes a face authentication platform 10 , a personal data store 30 , an attribute detection server 32 , a face authentication usage history data store 34 , and a plurality of authentication terminals 40 . The personal data store 30, the attribute detection server 32, the face authentication usage history data store 34, and the plurality of authentication terminals 40 are each connected so as to be able to communicate with the face authentication platform 10 via a network such as the Internet line. Also, the face authentication platform 10 is communicably connected to a user terminal 80 owned by the user via a network such as the Internet line. Each component of such a face authentication system 1 will be described below.

顔認証プラットフォーム１０は、システム会社に設置されているコンピュータ等である。具体的には、顔認証プラットフォーム１０は、制御部１２と、記憶部２６と、通信インターフェース２８とを有している。記憶部２６および通信インターフェース２８はそれぞれバスにより制御部１２に接続されている。制御部１２は、ＣＰＵ（中央演算処理装置）等であり、記憶部２６に記憶されているプログラムを実行することにより受付手段１４、送信手段１６、学習済モデル生成手段１８、演算手段２０、出力手段２２、認証手段２４および履歴データ保存手段２５として機能する。記憶部２６は、ユーザの登録情報およびユーザの顔画像に関する情報をユーザの識別情報に紐付けて記憶するようになっている。ユーザの登録情報は、ユーザの氏名、生年月日、ユーザ名、メールアドレス、ユーザ端末８０の電話番号、クレジットカードの情報、パスワード等を含む。ユーザの顔画像に関する情報は、ユーザの顔画像データまたはユーザの顔画像データから所定のハッシュ関数により抽出されるハッシュ値である。通信インターフェース２８は、インターネット回線等のネットワークを介して、無線または有線により他の装置に対して信号の送受信を行う。 The face authentication platform 10 is a computer or the like installed at a system company. Specifically, the face authentication platform 10 has a control section 12 , a storage section 26 and a communication interface 28 . Storage unit 26 and communication interface 28 are each connected to control unit 12 via a bus. The control unit 12 is a CPU (Central Processing Unit) or the like. It functions as means 22 , authentication means 24 and history data storage means 25 . The storage unit 26 stores the registration information of the user and the information on the face image of the user in association with the identification information of the user. The user's registration information includes the user's name, date of birth, user name, e-mail address, telephone number of the user terminal 80, credit card information, password, and the like. The information about the user's facial image is the user's facial image data or a hash value extracted from the user's facial image data using a predetermined hash function. The communication interface 28 transmits and receives signals to and from other devices wirelessly or by wire through a network such as the Internet line.

また、記憶部２６には、認証端末４０の識別情報と、認証端末４０が設置されるサービス機関の情報（例えば、店舗コード、サービスカテゴリー等）や認証端末４０の位置情報とが紐付けられて記憶されている。 Further, in the storage unit 26, the identification information of the authentication terminal 40, the information of the service organization where the authentication terminal 40 is installed (for example, store code, service category, etc.) and the location information of the authentication terminal 40 are linked. remembered.

なお、制御部１２により実行されるプログラムは記憶部２６に記憶されているものに限定されない。顔認証プラットフォーム１０に取り付けられた記録媒体に記憶されているプログラムや、外部装置から顔認証プラットフォーム１０に送信されたプログラム等を制御部１２が実行することによって受付手段１４、送信手段１６、学習済モデル生成手段１８、演算手段２０、出力手段２２、認証手段２４および履歴データ保存手段２５として機能するようになっていてもよい。 Note that the programs executed by the control unit 12 are not limited to those stored in the storage unit 26 . The control unit 12 executes a program stored in a recording medium attached to the face authentication platform 10 or a program transmitted from an external device to the face authentication platform 10, so that the reception unit 14, the transmission unit 16, and the learned It may function as model generation means 18 , calculation means 20 , output means 22 , authentication means 24 and history data storage means 25 .

受付手段１４は、個人データストア３０、属性検出サーバ３２、顔認証利用履歴データストア３４、各認証端末４０、ユーザ端末８０等の様々な外部装置から情報を受け付ける。送信手段１６は、通信インターフェース２８を介して、個人データストア３０、属性検出サーバ３２、顔認証利用履歴データストア３４、ユーザ端末８０等の様々な外部装置に情報を送信する。学習済モデル生成手段１８は、複数の教師データ５０を用い、後述する属性検出サーバ３２の属性検出手段３３により検出された属性および認証端末４０による顔画像の撮像に関する認証関連情報（具体的には、認証端末４０が設置されるサービス機関の情報や認証端末４０の位置、ユーザの顔画像の撮像日時等）を入力、ユーザ有用情報５６を出力とする学習済モデル５２を深層学習により生成する。このような学習済モデル５２の生成方法の詳細については後述する。演算手段２０は、学習済モデル生成手段１８により生成された学習済モデル５２を参照して、入力データ５４（具体的には、認証端末４０により撮像された顔画像から属性検出手段３３により検出された属性およびこの認証端末４０による顔画像の撮像に関する認証関連情報）に基づいてユーザ有用情報５６を演算する。このようなユーザ有用情報５６の演算方法の詳細については後述する。出力手段２２は、演算手段２０により演算されたユーザ有用情報５６を出力する。認証手段２４は、認証端末４０により撮像された顔画像と、記憶部２６に記憶されているユーザの顔画像に関する情報とを比較することによりユーザの認証を行う。履歴データ保存手段２５は、認証端末４０による顔画像の撮像に関する認証関連情報および属性検出手段３３により検出された属性を紐付けて顔認証利用履歴データストア３４の記憶部３５に記憶させる。 The reception unit 14 receives information from various external devices such as the personal data store 30, the attribute detection server 32, the face authentication usage history data store 34, each authentication terminal 40, the user terminal 80, and the like. The transmission means 16 transmits information to various external devices such as the personal data store 30 , the attribute detection server 32 , the face authentication usage history data store 34 , the user terminal 80 and the like via the communication interface 28 . The trained model generating means 18 uses a plurality of teacher data 50 to generate attributes detected by the attribute detecting means 33 of the attribute detecting server 32 described later and authentication-related information (specifically, , the location of the authentication terminal 40, the date and time when the user's face image was captured, etc.), and generates a trained model 52 that outputs user-useful information 56 by deep learning. Details of a method for generating such a trained model 52 will be described later. The calculation means 20 refers to the learned model 52 generated by the learned model generation means 18, and extracts the input data 54 (specifically, the face image detected by the attribute detection means 33 from the face image captured by the authentication terminal 40). User-useful information 56 is calculated based on the attribute obtained by the authentication terminal 40 and the authentication-related information relating to the imaging of the face image by the authentication terminal 40 . The details of the calculation method of such useful user information 56 will be described later. The output means 22 outputs the user useful information 56 calculated by the calculation means 20 . The authentication means 24 authenticates the user by comparing the face image captured by the authentication terminal 40 with information on the user's face image stored in the storage unit 26 . The history data storage unit 25 associates the authentication-related information regarding the imaging of the face image by the authentication terminal 40 with the attributes detected by the attribute detection unit 33 and stores them in the storage unit 35 of the face authentication usage history data store 34 .

個人データストア３０は、ユーザ毎の利用中サービス情報を個人データとして記憶する記憶部３１を有するコンピュータ等である。具体的には、ユーザはユーザ端末８０により複数のサービスのうちどのサービスを利用するかを選択することができるようになっているが、ユーザがユーザ端末８０により利用することを登録したサービスが利用中サービス情報として記憶部３１に記憶されるようになっている。また、利用サービス毎にカテゴリ化し、そのカテゴリコードおよびサービスコードを後述する顔認証利用履歴データストア３４に記憶させる。このことにより、利用サービス種別単位での利用頻度の集約を行うことができる。 The personal data store 30 is a computer or the like having a storage unit 31 that stores service information in use for each user as personal data. Specifically, the user can use the user terminal 80 to select which of a plurality of services to use. It is stored in the storage unit 31 as medium service information. Also, each service is categorized, and the category code and service code are stored in the face authentication usage history data store 34, which will be described later. As a result, it is possible to aggregate the frequency of use for each type of service used.

属性検出サーバ３２は、各認証端末４０により撮像された顔画像から性別および年代のうち少なくとも何れかを含む属性を検出する属性検出手段３３を有するコンピュータ等である。ここで、属性検出サーバ３２の制御部（図示せず）がプログラムを実行することにより当該制御部が属性検出手段３３として機能する。具体的には、属性検出サーバ３２において、顔認証プラットフォーム１０から顔画像が送信されると、この受け付けた顔画像からユーザの性別および年代（例えば、２０代、３０代、等）のうち少なくとも何れかを含む属性を属性検出手段３３が検出する。このような属性の検出方法として、公知の様々なプログラムを用いることができる。 The attribute detection server 32 is a computer or the like having an attribute detection means 33 that detects attributes including at least one of gender and age from the face image captured by each authentication terminal 40 . Here, the control unit (not shown) of the attribute detection server 32 functions as the attribute detection means 33 by executing a program. Specifically, when the face image is transmitted from the face authentication platform 10 to the attribute detection server 32, at least one of the user's gender and age (for example, twenties, thirties, etc.) is detected from the received face image. The attribute detecting means 33 detects an attribute including Various known programs can be used as such an attribute detection method.

顔認証利用履歴データストア３４は、認証関連情報および属性検出手段３３により検出された属性を紐付けて記憶する記憶部３５を有するコンピュータ等である。具体的には、記憶部３５に記憶される顔認証利用履歴データは、ユーザの性別情報、年代情報、サービスカテゴリー、認証端末４０の識別情報から導き出される店舗コード、認証端末４０の識別情報から導き出される認証端末４０の位置情報のうち少なくとも一部または全部を含むものであり、記憶部３５は、この顔認証利用履歴データをユーザの識別情報および利用日時（すなわち、認証端末４０によるユーザの顔画像の撮像日時）に紐付けて記憶する。顔認証利用履歴データは、具体的には暗号化された文字列である。顔認証利用履歴データストア３４の記憶部３５には、ユーザの登録情報やユーザの顔画像に関する情報は記憶されない。 The face authentication usage history data store 34 is a computer or the like having a storage unit 35 that associates and stores authentication-related information and attributes detected by the attribute detection unit 33 . Specifically, the face authentication usage history data stored in the storage unit 35 is derived from the user's gender information, age information, service category, store code derived from the identification information of the authentication terminal 40, and the identification information of the authentication terminal 40. The storage unit 35 stores this face authentication usage history data as user identification information and date and time of use (i.e., the user's face image from the authentication terminal 40). date and time of shooting). The face authentication usage history data is specifically an encrypted character string. The storage unit 35 of the face authentication usage history data store 34 does not store user registration information or information about the user's face image.

認証端末４０は、様々なサービス機関に設けられたものであり、ユーザの顔画像の撮像を行うカメラ等の撮像部を有している。撮像部により撮像されたユーザの顔画像の情報は認証端末４０から顔認証プラットフォーム１０に送信されるようになっている。また、顔認証プラットフォーム１０でユーザの認証がおこなわれると、認証端末４０が設けられているサービス機関において、認証が行われたユーザに対して様々な処理が行われるようになっている。例えば、認証端末４０がオフィスビルや集合住宅施設等の出入り口に配置されている場合には、顔認証プラットフォーム１０によりユーザの認証が行われたときに、これらのオフィスビルや集合住宅施設の出入り口等に配置される扉の施錠が解除されるようになる。また、認証端末４０がタクシーの車内、飲食店、ホテル、交通機関、コンビニエンスストア等に配置されている場合には、これらのサービス機関で料金の支払いを行う際に、顔認証プラットフォーム１０によりユーザの認証が行われたときにキャッシュレスによる決済を可能とする。この場合には、顔認証プラットフォーム１０から金融機関やクレジットカード会社のサーバに支払い情報が送信されることにより、ユーザの銀行口座から支払い金額が自動的に引き落とされたりクレジットカードの利用明細に追加されたりするようになる。また、顔認証プラットフォーム１０により決済が行われるのではなく、認証端末４０が設けられているサービス機関によりキャッシュレスによる決済が行われてもよい。具体的には、顔認証プラットフォーム１０の認証手段２４によりユーザの認証が行われると、認証端末４０が設けられているサービス機関に対して顔認証プラットフォーム１０からユーザの認証が行われたという情報が送信され、このことにより当該サービス機関においてキャッシュレスによる決済が行われる。例えば、タクシーの車内に認証端末４０が設けられており、顔認証プラットフォーム１０にユーザの顔画像が登録されている場合は、認証端末４０の撮像部によりユーザの顔画像が撮像されて顔認証プラットフォーム１０の認証手段２４によりユーザの認証が行われると、タクシーアプリで登録しているクレジットカード等による決済が可能になる。なお、上記の説明では顔認証プラットフォーム１０にユーザの顔画像が登録されているサービス運用が前提となっているが、本実施の形態はこの限りではない。 The authentication terminal 40 is provided in various service organizations, and has an imaging unit such as a camera that takes an image of the user's face. Information on the user's face image captured by the imaging unit is transmitted from the authentication terminal 40 to the face authentication platform 10 . Further, when the user is authenticated by the face authentication platform 10, various processes are performed on the authenticated user at the service facility where the authentication terminal 40 is provided. For example, if the authentication terminal 40 is placed at the entrance of an office building, an apartment complex, or the like, when the user is authenticated by the face authentication platform 10, the entrance of the office building, the apartment complex, etc. The door will be unlocked. If the authentication terminal 40 is installed in a taxi, restaurant, hotel, transportation facility, convenience store, or the like, the face authentication platform 10 can be used to verify the user's identity when paying the fee at these service facilities. To enable cashless settlement when authentication is performed. In this case, the payment information is sent from the face authentication platform 10 to the server of the financial institution or credit card company, so that the payment amount is automatically deducted from the user's bank account or added to the credit card statement. You will be able to In addition, instead of using the face authentication platform 10 for payment, cashless payment may be performed by a service institution provided with the authentication terminal 40 . Specifically, when the user is authenticated by the authentication means 24 of the face authentication platform 10, information that the user has been authenticated is sent from the face authentication platform 10 to the service organization provided with the authentication terminal 40. This allows cashless payment to be made at the service institution. For example, if the authentication terminal 40 is installed in a taxi and the user's face image is registered in the face authentication platform 10, the user's face image is captured by the imaging unit of the authentication terminal 40, and the face authentication platform When the user is authenticated by the authentication means 24 of 10, it becomes possible to make a payment using a credit card or the like registered in the taxi application. Note that the above description assumes that the service is operated in which the user's face image is registered in the face authentication platform 10, but the present embodiment is not limited to this.

ユーザ端末８０はユーザが所持するものである。ユーザ端末８０は例えばパーソナルコンピュータ、ＰＣタブレット端末、スマートフォン等を含む。ユーザ端末８０は、インターネット回線等のネットワークを介して、無線または有線により他の装置（具体的には、例えば顔認証プラットフォーム１０）に対して信号の送受信を行う。また、ユーザ端末８０ではオンラインストアや顔認証プラットフォーム１０の管理会社のウエブサイト等から顔認証アプリをインストールすることができるようになっている。このような顔認証アプリをインストールすると、ユーザはユーザ端末８０により顔画像データの登録や様々な登録情報（例えば、氏名、生年月日、ユーザ名、メールアドレス、ユーザ端末８０の電話番号、クレジットカードの情報、パスワード等）の入力等を行うことができるようになる。 A user terminal 80 is owned by a user. The user terminal 80 includes, for example, a personal computer, a PC tablet terminal, a smart phone, and the like. The user terminal 80 transmits and receives signals to and from another device (specifically, the face authentication platform 10, for example) wirelessly or by wire via a network such as the Internet line. Also, in the user terminal 80, a face authentication application can be installed from an online store, the website of the management company of the face authentication platform 10, or the like. When such a face authentication application is installed, the user registers face image data and various registration information (for example, name, date of birth, user name, e-mail address, phone number of user terminal 80, credit card, etc.) using user terminal 80. information, password, etc.).

次に、本実施の形態の顔認証システム１による処理の流れについて説明する。図２は、図１に示す顔認証システム１の各構成要素間での情報のやりとりを示す図であり、図３は、図１に示す顔認証システム１により行われる動作を示すフローチャートである。また、図４は、図１に示す顔認証システム１により行われる学習済モデル５２の生成およびユーザ有用情報５６の演算の動作を示すブロック図である。 Next, the flow of processing by the face authentication system 1 of this embodiment will be described. FIG. 2 is a diagram showing exchange of information between each component of the face authentication system 1 shown in FIG. 1, and FIG. 3 is a flow chart showing operations performed by the face authentication system 1 shown in FIG. FIG. 4 is a block diagram showing the operation of generating the trained model 52 and calculating the user useful information 56 performed by the face authentication system 1 shown in FIG.

まず、顔認証システム１のサービスを利用しようとするユーザは、ユーザ端末８０により顔画像を登録する。具体的には、ユーザは最初に顔認証アプリをユーザ端末８０にインストールする。そして、ユーザがユーザ端末８０において顔認証アプリを起動すると、ユーザ登録画面がタッチパネルに表示される。このようなユーザ登録画面においてユーザが氏名（漢字）、氏名（カナ）、生年月日、ユーザ名、ユーザ端末８０の電話番号、ユーザ端末８０のメールアドレス、パスワード等の登録情報を入力し、利用規約に同意する欄にチェックを入れた後に登録ボタンを押下すると、タッチパネルには顔画像の撮像画面が表示される。このような撮像画面でユーザがユーザ端末８０のカメラにより顔画像を撮像すると、ユーザ登録画面で入力された様々な登録情報およびユーザの顔画像の情報がユーザ端末８０から顔認証プラットフォーム１０に送信される。このようにして、顔認証プラットフォーム１０の受付手段１４はユーザ端末８０から登録情報および顔画像の情報を受け付ける。また、ユーザ端末８０の識別情報も、顔認証プラットフォーム１０の受付手段１４が受け付ける。顔認証プラットフォーム１０の制御部１２は、ユーザ端末８０から登録情報および顔画像の情報を受付手段１４が受け付けるとユーザの識別情報を発行する。また、記憶部２６には、ユーザの登録情報および顔画像の情報がユーザの識別情報に紐付けられて記憶される。また、ユーザはユーザ端末８０において顔認証アプリにより複数のサービスの中から利用するサービスを選択する。選択されたサービスに関する情報はユーザの識別情報に紐付けられて個人データストア３０の記憶部３１に記憶される。 First, a user who intends to use the service of the face authentication system 1 registers a face image using the user terminal 80 . Specifically, the user first installs the face authentication application on the user terminal 80 . Then, when the user activates the face authentication application on the user terminal 80, a user registration screen is displayed on the touch panel. On such a user registration screen, the user inputs registration information such as name (Kanji), name (Kana), date of birth, user name, telephone number of the user terminal 80, e-mail address of the user terminal 80, password, etc. When the register button is pressed after checking the box in which the user agrees to the terms, a face image pickup screen is displayed on the touch panel. When the user captures a facial image with the camera of the user terminal 80 on such an imaging screen, various registration information input on the user registration screen and information on the user's facial image are transmitted from the user terminal 80 to the face authentication platform 10. be. In this manner, the reception means 14 of the face authentication platform 10 receives registration information and face image information from the user terminal 80 . The identification information of the user terminal 80 is also received by the receiving means 14 of the face authentication platform 10 . The control unit 12 of the face authentication platform 10 issues user identification information when the reception means 14 receives registration information and face image information from the user terminal 80 . The storage unit 26 also stores user registration information and face image information in association with user identification information. Also, the user selects a service to be used from a plurality of services using a face authentication application on the user terminal 80 . Information about the selected service is linked to the user's identification information and stored in the storage unit 31 of the personal data store 30 .

次に、サービス機関に設けられる認証端末４０の撮像部によりユーザの顔画像が撮像されたときの動作について説明する。認証端末４０の撮像部によりユーザの顔画像が撮像されると（ＳＴＥＰ１の「ＹＥＳ」）、認証情報が認証端末４０から顔認証プラットフォーム１０に送信される（ＳＴＥＰ２）。認証情報は、ユーザの顔画像データ、撮像日時および認証端末４０の識別情報を含む。顔認証プラットフォーム１０の認証手段２４は、認証端末４０により撮像された顔画像と、記憶部２６に記憶されているユーザの顔画像に関する情報とを比較することによりユーザの認証を行う（ＳＴＥＰ３）。ユーザの認証が行われると、顔認証プラットフォーム１０から、認証されたユーザの識別情報が、認証端末４０が設けられているサービス機関に返信される。このことにより、認証端末４０が設けられているサービス機関では、認証されたユーザに対して様々な処理を行うことができる。 Next, the operation when the user's face image is captured by the imaging unit of the authentication terminal 40 provided in the service institution will be described. When the imaging unit of the authentication terminal 40 captures the face image of the user (“YES” in STEP 1), authentication information is transmitted from the authentication terminal 40 to the face authentication platform 10 (STEP 2). The authentication information includes user's face image data, imaging date and time, and identification information of the authentication terminal 40 . The authentication means 24 of the face authentication platform 10 authenticates the user by comparing the face image captured by the authentication terminal 40 with information on the user's face image stored in the storage unit 26 (STEP 3). When the user is authenticated, the identification information of the authenticated user is sent back from the face authentication platform 10 to the service organization where the authentication terminal 40 is provided. As a result, the service facility provided with the authentication terminal 40 can perform various processes for the authenticated user.

また、ユーザの顔画像データが顔認証プラットフォーム１０から属性検出サーバ３２に送信される（ＳＴＥＰ４）。そして、属性検出サーバ３２では、属性検出手段３３により顔画像データから属性情報が検出される（ＳＴＥＰ５）。上述したように、属性情報は性別情報および年代情報のうち少なくとも何れかを含む。そして、属性検出サーバ３２により検出された属性情報が属性検出サーバ３２から顔認証プラットフォーム１０に送信される（ＳＴＥＰ６）。その後、履歴データ保存手段２５は、通信インターフェース２８を介して顔認証利用履歴データを顔認証利用履歴データストア３４に送信し、記憶部３５に顔認証利用履歴データを記憶させる（ＳＴＥＰ７）。上述したように、顔認証利用履歴データは、属性検出サーバ３２により検出された属性情報に含まれるユーザの性別情報、年代情報、サービスカテゴリー、認証端末４０による顔画像の撮像に関する認証関連情報（具体的には、認証端末４０が設置されるサービス機関の情報や認証端末４０の位置、ユーザの顔画像の撮像日時等）のうち少なくとも一部または全部を含むものである。また、ユーザの識別情報および認証端末４０によるユーザの顔画像の撮像日時（すなわち、サービス機関の利用日時）も顔認証プラットフォーム１０から顔認証利用履歴データストア３４に送信される。そして、記憶部３５には、顔認証利用履歴データがユーザの識別情報およびサービス機関の利用日時に紐付けられた状態で記憶される。 Also, the face image data of the user is transmitted from the face authentication platform 10 to the attribute detection server 32 (STEP 4). Then, in the attribute detection server 32, attribute information is detected from the face image data by the attribute detection means 33 (STEP 5). As described above, the attribute information includes at least one of gender information and age information. Then, the attribute information detected by the attribute detection server 32 is transmitted from the attribute detection server 32 to the face authentication platform 10 (STEP 6). Thereafter, the history data storage unit 25 transmits the face authentication use history data to the face authentication use history data store 34 via the communication interface 28, and causes the storage unit 35 to store the face authentication use history data (STEP 7). As described above, the face authentication usage history data includes the user's gender information, age information, and service category included in the attribute information detected by the attribute detection server 32, authentication-related information (specifically Specifically, it includes at least a part or all of the information of the service organization where the authentication terminal 40 is installed, the position of the authentication terminal 40, the date and time when the user's face image was taken, etc.). In addition, the user's identification information and the date and time when the user's face image was taken by the authentication terminal 40 (that is, the date and time of use of the service institution) are also transmitted from the face authentication platform 10 to the face authentication usage history data store 34 . Then, the storage unit 35 stores the face authentication usage history data in a state of being associated with the identification information of the user and the usage date and time of the service institution.

また、属性検出サーバ３２の属性検出手段３３により検出された属性情報、個人データストア３０の記憶部３１に記憶されているユーザ毎の利用中サービス情報および顔認証利用履歴データストア３４の記憶部３５に記憶されている顔認証利用履歴データに基づいて、演算手段２０によりユーザ有用情報５６が演算され（ＳＴＥＰ８）、演算されたユーザ有用情報５６が出力手段２２により出力される。ユーザ有用情報５６は、サービスのキャンペーン情報（例えば、割引クーポンや無料クーポンの情報）、サービスの利用可能日時情報、特別なサービスの提供情報等の、ユーザにとって有用な情報を含む。出力手段２２により出力されたユーザ有用情報５６は送信手段１６により顔認証プラットフォーム１０からユーザ端末８０に送信される（ＳＴＥＰ９）。ユーザ端末８０のタッチパネルには、顔認証プラットフォーム１０から送信されたユーザ有用情報５６が表示される。このことにより、ユーザはユーザ有用情報５６を活用することができる。このような動作の詳細について図４を用いて説明する。 Also, the attribute information detected by the attribute detection means 33 of the attribute detection server 32, the service information in use for each user stored in the storage unit 31 of the personal data store 30, and the storage unit 35 of the face authentication usage history data store 34 User-useful information 56 is calculated by the calculation means 20 based on the face authentication usage history data stored in (STEP 8 ), and the calculated user-useful information 56 is output by the output means 22 . The user-useful information 56 includes information useful to the user, such as service campaign information (for example, information on discount coupons and free coupons), service availability date and time information, and special service provision information. The user-useful information 56 output by the output means 22 is transmitted from the face authentication platform 10 to the user terminal 80 by the transmission means 16 (STEP 9). The user useful information 56 transmitted from the face authentication platform 10 is displayed on the touch panel of the user terminal 80 . This allows the user to utilize the user useful information 56 . Details of such an operation will be described with reference to FIG.

まず、顔認証プラットフォーム１０において、学習済モデル生成手段１８により学習済モデル５２を予め生成しておく。このような学習済モデル生成手段１８による学習済モデル５２の生成方法の詳細について以下に説明する。学習済モデル生成手段１８は、ニューラルネットワーク（ＮＮ）、好ましくは畳み込みニューラルネットワーク（ＣＮＮ）等から構成されている。教師データ５０は、属性検出手段３３により検出された属性情報、個人データストア３０の記憶部３１に記憶されているユーザ毎の利用中サービス情報（サービスコード）および顔認証利用履歴データストア３４の記憶部３５に記憶されている顔認証利用履歴データを含む。そして、このようなニューラルネットワークでは、属性検出手段３３により検出された属性および認証端末４０による顔画像の撮像に関する認証関連情報（具体的には、認証端末４０が設置されるサービス機関の情報や認証端末４０の位置、ユーザの顔画像の撮像日時等）を入力すると、ユーザ有用情報５６を出力するようになる。このようなニューラルネットワークとして既知のものを用いることができる。 First, in the face authentication platform 10, the trained model 52 is generated in advance by the trained model generating means 18. FIG. The details of the method of generating the learned model 52 by the learned model generating means 18 will be described below. The trained model generating means 18 is composed of a neural network (NN), preferably a convolutional neural network (CNN) or the like. The teacher data 50 includes the attribute information detected by the attribute detection means 33, the service information (service code) in use for each user stored in the storage unit 31 of the personal data store 30, and the face authentication usage history data store 34. Includes face authentication usage history data stored in unit 35 . In such a neural network, the attribute detected by the attribute detection means 33 and the authentication-related information regarding the imaging of the face image by the authentication terminal 40 (specifically, the information of the service institution where the authentication terminal 40 is installed and the authentication When the position of the terminal 40, the date and time when the user's face image was taken, etc.) are input, user-useful information 56 is output. A known neural network can be used as such a neural network.

次に、演算手段２０による演算方法の詳細について説明する。認証端末４０の撮像部により撮像されたユーザの顔画像から属性検出サーバ３２の属性検出手段３３によりユーザの属性が検出されると、演算手段２０は、学習済モデル生成手段１８により生成された学習済モデル５２に基づいて、属性検出手段３３により検出された属性および認証端末４０による顔画像の撮像に関する認証関連情報を入力したときのユーザ有用情報５６の演算を行う。例えば、属性検出手段３３により検出されたユーザの属性が４０代男性であり、個人データストア３０の記憶部３１に記憶されている利用中サービス情報においてカフェおよびコンビニエンスストアを登録している４０代男性のユーザが、カフェに行った後にコンビニエンスストアに行く場合が多いときには、カフェに設けられた認証端末４０により認証が行われることによりこのユーザの属性が４０代男性であることが属性検出手段３３により検出されたときには、このカフェに近い、撮像日時に営業しているコンビニエンスストアの店舗の情報や、この店舗で利用可能なキャンペーン情報（例えば、割引クーポンや無料クーポンの情報）等がユーザ有用情報５６として演算される。演算手段２０により演算されたユーザ有用情報５６は出力手段２２により出力される。出力手段２２により出力されたユーザ有用情報５６は、送信手段１６により、認証手段２４により認証されたユーザのユーザ端末８０に送信される。そして、認証手段２４により認証されたユーザのユーザ端末８０のタッチパネルには、顔認証プラットフォーム１０から送信されたユーザ有用情報５６が表示される。このことにより、認証が行われたユーザは、様々なサービスを享受することができるようになる。 Next, the details of the calculation method by the calculation means 20 will be described. When the attribute detection means 33 of the attribute detection server 32 detects the user's attribute from the user's face image captured by the imaging unit of the authentication terminal 40, the calculation means 20 detects the learned model generated by the trained model generation means 18. User-useful information 56 is calculated based on the completed model 52 when the attributes detected by the attribute detection means 33 and the authentication-related information regarding the photographing of the face image by the authentication terminal 40 are input. For example, the attribute of the user detected by the attribute detection means 33 is a man in his 40s, and the service information in use stored in the storage unit 31 of the personal data store 30 is a man in his 40s who has registered a cafe and a convenience store. often go to a convenience store after going to a cafe, the attribute detection means 33 detects that the user's attribute is a man in his 40s by performing authentication with an authentication terminal 40 provided in the cafe. When detected, user useful information 56 includes information on convenience stores that are close to this cafe and that are open at the time of shooting, information on campaigns that can be used at this store (for example, information on discount coupons and free coupons), and the like. is calculated as The user-useful information 56 calculated by the calculation means 20 is output by the output means 22 . The user-useful information 56 output by the output means 22 is transmitted by the transmission means 16 to the user terminal 80 of the user authenticated by the authentication means 24 . The user useful information 56 transmitted from the face authentication platform 10 is displayed on the touch panel of the user terminal 80 of the user authenticated by the authentication means 24 . This allows authenticated users to enjoy various services.

以上のような構成からなる本実施の形態のプログラム、顔認証システム１および情報処理方法によれば、属性検出手段３３は、認証端末４０により撮像された顔画像から性別および年代のうち少なくとも何れかを含む属性を検出し、演算手段２０は、属性検出手段３３により検出された属性、ユーザ毎の利用中サービス情報およびユーザの利用履歴データに基づいてユーザ有用情報５６を演算し、出力手段２２は、演算手段２０により演算されたユーザ有用情報５６を出力する。このことにより、ユーザの顔画像を保存しなくてもユーザ有用情報５６を出力することができるため、セキュリティ性を保ちながらユーザの利便性を向上させることができる。 According to the program, the face authentication system 1, and the information processing method of the present embodiment configured as described above, the attribute detection means 33 detects at least one of gender and age from the face image captured by the authentication terminal 40. The computing means 20 computes user useful information 56 based on the attributes detected by the attribute detecting means 33, the service information in use for each user, and the usage history data of the user, and the output means 22 computes , and outputs user-useful information 56 calculated by the calculation means 20 . As a result, the user-useful information 56 can be output without storing the user's face image, so that the convenience for the user can be improved while maintaining the security.

また、以上のような構成からなる本実施の形態のプログラム、顔認証システム１および情報処理方法によれば、属性検出手段３３は、認証端末４０により撮像された顔画像から性別および年代のうち少なくとも何れかを含む属性を検出し、履歴データ保存手段２５は、認証端末４０による顔画像の撮像に関する認証関連情報および属性検出手段３３により検出された属性を紐付けて顔認証利用履歴データストア３４に記憶させる。このことにより、ユーザの顔画像を保存しなくても認証端末４０による顔画像の撮像に関する認証関連情報および属性検出手段３３により検出された属性を紐付けて記憶することができるため、セキュリティ性を保ちながらユーザの利便性を向上させることができる。 Further, according to the program, the face authentication system 1 and the information processing method of the present embodiment configured as described above, the attribute detection means 33 detects at least gender and age from the face image captured by the authentication terminal 40. The history data storage means 25 associates the attribute detected by the attribute detection means 33 with the authentication-related information regarding the imaging of the face image by the authentication terminal 40, and stores the attribute detected by the attribute detection means 33 in the face authentication usage history data store 34. Memorize. As a result, even if the user's face image is not stored, authentication-related information relating to the imaging of the face image by the authentication terminal 40 and the attributes detected by the attribute detection means 33 can be linked and stored, thereby improving security. User convenience can be improved while maintaining

なお、本実施の形態によるプログラム、顔認証システム１および情報処理方法は、上述したような態様に限定されることはなく、様々な変更を加えることができる。 Note that the program, face authentication system 1, and information processing method according to the present embodiment are not limited to the aspects described above, and various modifications can be made.

例えば、上記の説明では顔認証プラットフォーム１０、個人データストア３０、属性検出サーバ３２および顔認証利用履歴データストア３４が別々に設けられている態様について述べたが、顔認証プラットフォーム１０、個人データストア３０、属性検出サーバ３２および顔認証利用履歴データストア３４のうち何れか２つ以上のものが一体化されていてもよい。この場合、どの手段をどの装置にて機能させるかも、適宜変更が可能である。また、顔認証プラットフォーム１０において、ユーザの認証を行う認証手段２４が顔認証プラットフォーム１０とは別個の装置として設けられていてもよい。例えば、認証手段２４が認証端末４０に設けられており、ユーザがユーザ端末８０により顔画像を登録したときにユーザの顔画像に関する情報が顔認証プラットフォーム１０から各認証端末４０に送信されてこれらの認証端末４０でユーザの顔画像に関する情報が記憶されることにより、認証端末４０において認証手段２４によりユーザの認証が行われてもよい。 For example, in the above description, the aspect in which the face authentication platform 10, the personal data store 30, the attribute detection server 32, and the face authentication usage history data store 34 are provided separately was described. , the attribute detection server 32 and the face authentication usage history data store 34 may be integrated. In this case, it is also possible to appropriately change which means functions in which device. Further, in the face authentication platform 10, the authentication means 24 for authenticating the user may be provided as a separate device from the face authentication platform 10. FIG. For example, the authentication means 24 is provided in the authentication terminal 40, and when the user registers the facial image with the user terminal 80, the information on the user's facial image is transmitted from the facial authentication platform 10 to each authentication terminal 40, and these User authentication may be performed by the authentication device 24 in the authentication terminal 40 by storing information on the face image of the user in the authentication terminal 40 .

また、上記の説明では、主に顔認証プラットフォーム１０および属性検出サーバ３２がプログラムを機能させる場合を例示したが、これに限定されない。顔認証プラットフォーム１０、個人データストア３０、属性検出サーバ３２および顔認証利用履歴データストア３４が一体となってプログラムの各手段（例えば、受付手段１４、送信手段１６、学習済モデル生成手段１８、演算手段２０、出力手段２２、認証手段２４、履歴データ保存手段２５、属性検出手段３３）の機能を実行してもよい。また、受付手段１４、送信手段１６、学習済モデル生成手段１８、演算手段２０、出力手段２２、認証手段２４、履歴データ保存手段２５、属性検出手段３３のうち何れかまたは全てが、顔認証プラットフォーム１０単体、あるいは顔認証プラットフォーム１０とは別の装置に備えられていてもよい。 Also, in the above description, the case where the program is mainly operated by the face authentication platform 10 and the attribute detection server 32 has been exemplified, but the present invention is not limited to this. The face authentication platform 10, the personal data store 30, the attribute detection server 32, and the face authentication usage history data store 34 are integrated into each means of the program (for example, the reception means 14, the transmission means 16, the trained model generation means 18, the calculation The functions of means 20, output means 22, authentication means 24, history data storage means 25, attribute detection means 33) may be executed. Any or all of the accepting means 14, the transmitting means 16, the trained model generating means 18, the calculating means 20, the output means 22, the authenticating means 24, the history data storing means 25, and the attribute detecting means 33 are the face authentication platform. 10 alone, or may be provided in a device separate from the face authentication platform 10 .

１ 顔認証システム
１０ 顔認証プラットフォーム
１２ 制御部
１４ 受付手段
１６ 送信手段
１８ 学習済モデル生成手段
２０ 演算手段
２２ 出力手段
２４ 認証手段
２５ 履歴データ保存手段
２６ 記憶部
２８ 通信インターフェース
３０ 個人データストア
３１ 記憶部
３２ 属性検出サーバ
３３ 属性検出手段
３４ 顔認証利用履歴データストア
３５ 記憶部
４０ 認証端末
５０ 教師データ
５２ 学習済モデル
５４ 入力データ
５６ ユーザ有用情報
８０ ユーザ端末
1 face authentication system 10 face authentication platform 12 control unit 14 reception unit 16 transmission unit 18 trained model generation unit 20 calculation unit 22 output unit 24 authentication unit 25 history data storage unit 26 storage unit 28 communication interface 30 personal data store 31 storage unit 32 Attribute detection server 33 Attribute detection means 34 Face authentication usage history data store 35 Storage unit 40 Authentication terminal 50 Teacher data 52 Trained model 54 Input data 56 User useful information 80 User terminal

Claims (12)

コンピュータを、属性検出手段と、演算手段と、出力手段として機能させるプログラムであって、
前記属性検出手段は、認証端末により撮像された顔画像から性別および年代のうち少なくとも何れかを含む属性を検出し、
前記演算手段は、前記属性検出手段により検出された属性、ユーザ毎の利用中サービス情報および利用履歴データに基づいてユーザ有用情報を演算し、
前記出力手段は、前記演算手段により演算されたユーザ有用情報を出力する、プログラム。 A program that causes a computer to function as attribute detection means, calculation means, and output means,
The attribute detection means detects an attribute including at least one of gender and age from the face image captured by the authentication terminal;
The computing means computes user-useful information based on the attribute detected by the attribute detecting means, service information in use for each user, and usage history data;
The program, wherein the output means outputs user-useful information calculated by the calculation means. コンピュータを、更に送信手段として機能させ、
前記送信手段は、前記出力手段により出力されたユーザ有用情報をユーザ端末に送信する、請求項１記載のプログラム。 causing the computer to further function as a transmission means;
2. The program according to claim 1, wherein said transmission means transmits the user-useful information output by said output means to a user terminal. コンピュータを、更に認証手段として機能させ、
前記認証手段は、前記認証端末により撮像された顔画像に基づいてユーザの認証を行い、
前記送信手段は、前記出力手段により出力されたユーザ有用情報を前記認証手段により認証されたユーザのユーザ端末に送信する、請求項２記載のプログラム。 causing the computer to further act as an authentication means;
The authentication means authenticates a user based on a face image captured by the authentication terminal,
3. The program according to claim 2, wherein said transmission means transmits the user-useful information output by said output means to a user terminal of a user authenticated by said authentication means. コンピュータを、更に履歴データ保存手段として機能させ、
前記履歴データ保存手段は、前記認証端末による顔画像の撮像に関する認証関連情報および前記属性検出手段により検出された属性を紐付けて顔認証利用履歴データストアに記憶させる、請求項１乃至３のいずれか一項に記載のプログラム。 causing the computer to further function as historical data storage means;
4. The history data storage unit according to any one of claims 1 to 3, wherein the authentication-related information regarding the imaging of the face image by the authentication terminal and the attributes detected by the attribute detection unit are linked and stored in a face authentication usage history data store. or the program described in paragraph 1. コンピュータを、更に学習済モデル生成手段として機能させ、
前記学習済モデル生成手段は、前記属性検出手段により検出された属性、ユーザ毎の利用中サービス情報および利用履歴データを含む教師データを用い、前記属性検出手段により検出された属性および前記認証端末による顔画像の撮像に関する認証関連情報を入力、ユーザ有用情報を出力とする学習済モデルを深層学習により生成し、
前記演算手段は、前記学習済モデル生成手段により生成された前記学習済モデルに基づいて、前記認証端末により撮像された顔画像から前記属性検出手段により検出された属性および当該認証端末による顔画像の撮像に関する認証関連情報を入力したときのユーザ有用情報に関する演算を行う、請求項１記載のプログラム。 causing the computer to further function as a trained model generating means;
The learned model generation means uses teacher data including the attributes detected by the attribute detection means, service information in use for each user, and usage history data, and uses the attributes detected by the attribute detection means and the authentication terminal Generate a trained model by deep learning that inputs authentication-related information related to facial image capture and outputs useful information for the user,
The calculating means calculates attributes detected by the attribute detecting means from the face image captured by the authentication terminal and the face image obtained by the authentication terminal based on the learned model generated by the learned model generating means. 2. The program according to claim 1, which performs calculations related to user-useful information when authentication-related information related to imaging is input. コンピュータを、更に認証手段および送信手段として機能させ、
前記認証手段は、前記認証端末により撮像された顔画像に基づいてユーザの認証を行い、
前記送信手段は、前記出力手段により出力されたユーザ有用情報を前記認証手段により認証されたユーザのユーザ端末に送信する、請求項１乃至５のいずれか一項に記載のプログラム。 causing the computer to further act as an authentication means and a transmission means;
The authentication means authenticates a user based on a face image captured by the authentication terminal,
6. The program according to any one of claims 1 to 5, wherein said transmission means transmits the useful user information output by said output means to a user terminal of a user authenticated by said authentication means. コンピュータを、属性検出手段と、履歴データ保存手段として機能させるプログラムであって、
前記属性検出手段は、認証端末により撮像された顔画像から性別および年代のうち少なくとも何れかを含む属性を検出し、
前記履歴データ保存手段は、前記認証端末による顔画像の撮像に関する認証関連情報および前記属性検出手段により検出された属性を紐付けて顔認証利用履歴データストアに記憶させる、プログラム。 A program that causes a computer to function as attribute detection means and history data storage means,
The attribute detection means detects an attribute including at least one of gender and age from the face image captured by the authentication terminal;
The history data storage means associates authentication-related information relating to the imaging of the face image by the authentication terminal with the attributes detected by the attribute detection means and stores them in a face authentication usage history data store. コンピュータを、更に認証手段として機能させ、
前記認証手段は、前記認証端末により撮像された顔画像に基づいてユーザの認証を行い、
前記履歴データ保存手段は、前記認証関連情報および前記属性検出手段により検出された属性を前記ユーザの識別情報に紐付けて顔認証利用履歴データストアに記憶させる、請求項７記載のプログラム。 causing the computer to further act as an authentication means;
The authentication means authenticates a user based on a face image captured by the authentication terminal,
8. The program according to claim 7, wherein said history data storage means associates said authentication related information and said attribute detected by said attribute detection means with said user's identification information and stores them in a face authentication use history data store. 認証端末により撮像された顔画像から性別および年代のうち少なくとも何れかを含む属性を検出する属性検出手段と、
前記属性検出手段により検出された属性、ユーザ毎の利用中サービス情報および利用履歴データに基づいてユーザ有用情報を演算する演算手段と、
前記演算手段により演算されたユーザ有用情報を出力する出力手段と、
を備えた、システム。 an attribute detection means for detecting an attribute including at least one of gender and age from a face image captured by an authentication terminal;
computing means for computing user-useful information based on the attribute detected by the attribute detecting means, service information in use for each user, and usage history data;
output means for outputting user-useful information calculated by the calculation means;
A system with 認証端末により撮像された顔画像から性別および年代のうち少なくとも何れかを含む属性を検出する属性検出手段と、
前記認証端末による顔画像の撮像に関する認証関連情報および前記属性検出手段により検出された属性を紐付けて顔認証利用履歴データストアに記憶させる履歴データ保存手段と、
を備えた、システム。 an attribute detection means for detecting an attribute including at least one of gender and age from a face image captured by an authentication terminal;
history data storage means for storing in a face authentication usage history data store in association with authentication-related information relating to the imaging of the face image by the authentication terminal and the attributes detected by the attribute detection means;
A system with コンピュータにより行われる情報処理方法であって、
認証端末により撮像された顔画像から性別および年代のうち少なくとも何れかを含む属性を検出する工程と、
検出された属性、ユーザ毎の利用中サービス情報および利用履歴データに基づいてユーザ有用情報を演算する工程と、
演算されたユーザ有用情報を出力する工程と、
を備えた、情報処理方法。 An information processing method performed by a computer, comprising:
a step of detecting an attribute including at least one of gender and age from a face image captured by an authentication terminal;
a step of calculating user useful information based on the detected attributes, service information in use for each user, and usage history data;
outputting the calculated user useful information;
A method of processing information, comprising: コンピュータにより行われる情報処理方法であって、
認証端末により撮像された顔画像から性別および年代のうち少なくとも何れかを含む属性を検出する工程と、
前記認証端末による顔画像の撮像に関する認証関連情報および検出された属性を紐付けて顔認証利用履歴データストアに記憶させる工程と、
を備えた、情報処理方法。 An information processing method performed by a computer, comprising:
a step of detecting an attribute including at least one of gender and age from a face image captured by an authentication terminal;
a step of linking authentication-related information and detected attributes related to capturing of a face image by the authentication terminal and storing them in a face authentication usage history data store;
A method of processing information, comprising:
JP2021145974A 2021-09-08 2021-09-08 Programs, systems and information processing methods Active JP7355790B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021145974A JP7355790B2 (en) 2021-09-08 2021-09-08 Programs, systems and information processing methods
JP2022160738A JP2023039447A (en) 2021-09-08 2022-10-05 Program, system and information processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021145974A JP7355790B2 (en) 2021-09-08 2021-09-08 Programs, systems and information processing methods

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022160738A Division JP2023039447A (en) 2021-09-08 2022-10-05 Program, system and information processing method

Publications (2)

Publication Number Publication Date
JP2023039033A true JP2023039033A (en) 2023-03-20
JP7355790B2 JP7355790B2 (en) 2023-10-03

Family

ID=85600550

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021145974A Active JP7355790B2 (en) 2021-09-08 2021-09-08 Programs, systems and information processing methods
JP2022160738A Pending JP2023039447A (en) 2021-09-08 2022-10-05 Program, system and information processing method

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022160738A Pending JP2023039447A (en) 2021-09-08 2022-10-05 Program, system and information processing method

Country Status (1)

Country Link
JP (2) JP7355790B2 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016057670A (en) * 2014-09-05 2016-04-21 日本マイクロシステムズ株式会社 Shared face authentication system and shared face authentication program
JP2018005691A (en) * 2016-07-05 2018-01-11 大日本印刷株式会社 Information processing system, information processing device and information processing method
JP2019125309A (en) * 2018-01-19 2019-07-25 ヤフー株式会社 Sales assist device, sales assist method and program
WO2019244365A1 (en) * 2018-06-21 2019-12-26 Ｔｒａｄｆｉｔ株式会社 Program and information processing method
JP2021043581A (en) * 2019-09-09 2021-03-18 パナソニックＩｐマネジメント株式会社 Store usage information distribution device, store usage information distribution system comprising the same, and store usage information distribution method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016057670A (en) * 2014-09-05 2016-04-21 日本マイクロシステムズ株式会社 Shared face authentication system and shared face authentication program
JP2018005691A (en) * 2016-07-05 2018-01-11 大日本印刷株式会社 Information processing system, information processing device and information processing method
JP2019125309A (en) * 2018-01-19 2019-07-25 ヤフー株式会社 Sales assist device, sales assist method and program
WO2019244365A1 (en) * 2018-06-21 2019-12-26 Ｔｒａｄｆｉｔ株式会社 Program and information processing method
JP2021043581A (en) * 2019-09-09 2021-03-18 パナソニックＩｐマネジメント株式会社 Store usage information distribution device, store usage information distribution system comprising the same, and store usage information distribution method

Also Published As

Publication number Publication date
JP7355790B2 (en) 2023-10-03
JP2023039447A (en) 2023-03-20

Similar Documents

Publication Publication Date Title
US11954670B1 (en) Systems and methods for digital account activation
AU2017316312B2 (en) Remote usage of locally stored biometric authentication data
US11157905B2 (en) Secure on device cardholder authentication using biometric data
US20160071110A1 (en) Payment system that reduces or eliminates the need to exchange personal information
US20160071099A1 (en) Payment system that reduces or eliminates the need to exchange personal information
CN112823368B (en) Tokenized contactless transactions through cloud biometric identification and authentication
US20160071097A1 (en) Payment system that reduces or eliminates the need to exchange personal information
CN112580019A (en) Authentication through multiple pathways based on device functionality and user requests
JP6192082B1 (en) Biometric data registration system and settlement system
US20160071109A1 (en) Payment system that reduces or eliminates the need to exchange personal information
US11663594B2 (en) Systems and methods for location based account integration and electronic authentication
TW202105207A (en) Authentication system, authentication device, authentication method, and program
KR20200024438A (en) System for automatic sales of product
JP2023119055A (en) Information processing apparatus, information processing method, and program
US11816668B2 (en) Dynamic contactless payment based on facial recognition
JP7355790B2 (en) Programs, systems and information processing methods
WO2022160039A1 (en) System and method for distributed management of consumer data
JP7521185B2 (en) Payment device, control method, program, and system
US11682017B2 (en) Systems and methods for electronic payments with fraud prevention
JP6863585B2 (en) Payment system
JP7336572B2 (en) Information processing system, program and information processing method
US20240177137A1 (en) Systems and methods for enhanced payment codes
US20220398595A1 (en) Method and system for biometric payments
JP2021144657A (en) Information collection support program, information collection support method and information processing device
JP2023159600A (en) Information processing system and information processing method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210908

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20210908

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220411

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220708

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221005

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20221005

C11 Written invitation by the commissioner to file amendments

Free format text: JAPANESE INTERMEDIATE CODE: C11

Effective date: 20221021

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221024

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20221025

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20221028

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20221228

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20230106

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20230203

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230921

R150 Certificate of patent or registration of utility model

Ref document number: 7355790

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350