JP2019200722A - Face image appropriateness determination device, face image appropriateness determination method, program, and recording medium - Google Patents

Face image appropriateness determination device, face image appropriateness determination method, program, and recording medium Download PDF

Info

Publication number
JP2019200722A
JP2019200722A JP2018096419A JP2018096419A JP2019200722A JP 2019200722 A JP2019200722 A JP 2019200722A JP 2018096419 A JP2018096419 A JP 2018096419A JP 2018096419 A JP2018096419 A JP 2018096419A JP 2019200722 A JP2019200722 A JP 2019200722A
Authority
JP
Japan
Prior art keywords
face image
image
straight line
authentication
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018096419A
Other languages
Japanese (ja)
Other versions
JP7168192B2 (en
Inventor
貴宏 矢口
Takahiro Yaguchi
貴宏 矢口
享 半田
Susumu Handa
享 半田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Solution Innovators Ltd
Original Assignee
NEC Solution Innovators Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Solution Innovators Ltd filed Critical NEC Solution Innovators Ltd
Priority to JP2018096419A priority Critical patent/JP7168192B2/en
Publication of JP2019200722A publication Critical patent/JP2019200722A/en
Application granted granted Critical
Publication of JP7168192B2 publication Critical patent/JP7168192B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

To provide a new system that determines a face image inappropriate for face image authentication.SOLUTION: A face image appropriateness determination device 1 comprises: a face image acquisition unit 10; a binarization processing unit 11 that creates a binarized image from an acquired face image; a portion detection unit 12; a detection line setting unit 13; a luminance change detection unit 14; and a determination unit 15. The portion detection unit 12 detects, for the face image, the face contour, a right eye area, a left eye area, a nose area, and a mouth area. The detection line setting unit 13 sets, respectively in the binarized image, a first straight line having any position on the boundary of the right eye area as a starting point and an intersection between the right eye area and the contour of a right face in a downward direction from the starting point as an end point, and a second straight line having any position on the boundary of the left eye area as a starting point and an intersection between the left eye area and the contour of a left face in a downward direction from the starting point as an end point. The luminance change detection unit 14 detects a change in luminance for the first and second straight lines excluding the right eye area, left eye area, nose area, and mouth area. When the change in luminance is detected in at least one of the first and second straight lines, the determination unit 15 determines that the face image is an image inappropriate for face image authentication.SELECTED DRAWING: Figure 1

Description

本発明は、顔画像の適正判定装置、顔画像の適正判定方法、プログラム、および記録媒体に関する。   The present invention relates to a face image suitability determination apparatus, a face image suitability determination method, a program, and a recording medium.

様々な分野において、顔画像を用いた顔画像認証による本人認証が一般的になっている。前記顔画像認証において、通常、マスター画像として、まず、本人の証明写真等の顔画像がデータベースに記憶され、その後、ライブで得られた対象者の顔画像をクエリー画像として照合することにより、認証が行われる。   In various fields, personal authentication based on face image authentication using a face image has become common. In the face image authentication, usually, as a master image, first, a face image such as an identification photo of the person is stored in a database, and then the face image of the subject obtained live is collated as a query image to authenticate the face image. Is done.

前記証明写真は、一般的に、大きさや背景等について、特定の様式を要求する。このため、顔画像中の背景、顔の数、向き、および大きさ等から、前記顔画像が、証明写真用として適しているかを判定する装置が知られている(特許文献1)。   The ID photo generally requires a specific format for size, background, and the like. For this reason, there is known an apparatus that determines whether the face image is suitable for use as an ID photo from the background, the number, orientation, size, and the like of the face image (Patent Document 1).

特開2007−034804号公報JP 2007-034804 A

しかし、前記マスター画像として記憶した顔画像が、照合に使用できない場合がある。例えば、前記マスター画像が手ぶれ写真であると、対象者が本人であっても認証が行えない場合がある。このため、手ぶれ写真は、マスター画像として使用しないのが現状である。しかし、理由は不明だが、手ぶれ写真でなくても、マスター画像として使用できない顔画像もあり、どのような顔画像であればマスター画像として使用できるかの判断が困難という問題がある。   However, the face image stored as the master image may not be used for collation. For example, if the master image is a camera shake photograph, authentication may not be performed even if the subject person is the person himself / herself. For this reason, the camera shake photograph is not currently used as a master image. However, although the reason is unknown, there is a face image that cannot be used as a master image even if it is not a camera shake photo, and there is a problem that it is difficult to determine which face image can be used as a master image.

そこで、本発明は、顔画像について、顔画像認証に不適切なものを判定する新たなシステムの提供を目的とする。   Accordingly, an object of the present invention is to provide a new system for determining a face image that is inappropriate for face image authentication.

前記目的を達成するために、本発明の顔画像の適正判定装置は、
顔画像を取得する顔画像取得部と、
既定の閾値に基づき、前記顔画像から二値化画像を生成する二値化処理部と、
前記顔画像について、顔の輪郭、右目を含む右目領域、左目を含む左目領域、鼻を含む鼻領域、および口を含む口領域を検出する部位検出部と、
前記二値化画像において、前記右目領域の境界のいずれかの位置を第1始点とし、前記第1始点よりも下方向の右顔面の輪郭との交点を第1終点とする第1直線、および前記左目領域の境界のいずれかの位置を第2始点とし、前記第2始点よりも下方向の左顔面の輪郭との交点を第2終点とする第2直線を設定する検出線設定部と、
前記第1直線および前記第2直線について、前記右目領域、前記左目領域、前記鼻領域および前記口領域を除き、輝度変化を検出する検出線設定部と、
前記第1直線および前記第2直線の少なくとも一方について、前記輝度変化が検出された場合、前記顔画像を、顔画像認証に不適切な画像であると判定する判定部とを含むことを特徴とする。
In order to achieve the above object, a face image suitability determination apparatus according to the present invention includes:
A face image acquisition unit for acquiring a face image;
A binarization processing unit that generates a binarized image from the face image based on a predetermined threshold;
About the face image, a part detection unit for detecting a face outline, a right eye region including a right eye, a left eye region including a left eye, a nose region including a nose, and a mouth region including a mouth;
In the binarized image, a first straight line having a first start point at any position of the boundary of the right eye region and a first end point at an intersection with the contour of the right face below the first start point; and A detection line setting unit that sets a second straight line having a second start point at any position of the boundary of the left eye region and a second end point at an intersection with the contour of the left face below the second start point;
About the first straight line and the second straight line, except for the right eye region, the left eye region, the nose region, and the mouth region, a detection line setting unit that detects a luminance change;
A determination unit that determines that the face image is an image inappropriate for face image authentication when the change in luminance is detected for at least one of the first line and the second line. To do.

本発明の顔画像の適正判定方法は、
既定の閾値に基づき、顔画像から二値化画像を生成する二値化処理工程と、
前記顔画像について、顔の輪郭、右目を含む右目領域、左目を含む左目領域、鼻を含む鼻領域、および口を含む口領域を検出する部位検出工程と、
前記二値化画像において、前記右目領域の境界のいずれかの位置を第1始点とし、前記第1始点よりも下方向の右顔面の輪郭との交点を第1終点とする第1直線、および前記左目領域の境界のいずれかの位置を第2始点とし、前記第2始点よりも下方向の左顔面の輪郭との交点を第2終点とする第2直線を設定する検出線決定工程と、
前記第1直線および前記第2直線について、前記右目領域、前記左目領域、前記鼻領域および前記口領域を除き、輝度変化を検出する輝度変化検出工程と、
前記第1直線および前記第2直線の少なくとも一方について、前記輝度変化が検出された場合、前記顔画像を、顔画像認証に不適切な画像であると判定する判定工程とを含むことを特徴とする。
The face image suitability determination method of the present invention includes:
A binarization process for generating a binarized image from the face image based on a predetermined threshold;
About the face image, a part detection step of detecting a face outline, a right eye region including a right eye, a left eye region including a left eye, a nose region including a nose, and a mouth region including a mouth;
In the binarized image, a first straight line having a first start point at any position of the boundary of the right eye region and a first end point at an intersection with the contour of the right face below the first start point; and A detection line determination step for setting a second straight line having a second start point at any position of the boundary of the left eye region and a second end point at an intersection with the contour of the left face below the second start point;
A luminance change detection step for detecting a luminance change for the first straight line and the second straight line, excluding the right eye region, the left eye region, the nose region, and the mouth region;
A determination step of determining that the face image is inappropriate for face image authentication when the change in luminance is detected for at least one of the first line and the second line. To do.

本発明の顔画像認証装置は、
マスター画像の候補顔画像について、前記輝度変化が検出された場合、前記候補顔画像を、前記顔画像認証に不適切な画像であると判定し、前記輝度変化が検出されなかった場合、前記候補顔画像を、顔画像認証に適切な画像であると判定する適正判定部と、
前記候補顔画像が適切な画像であると判定された場合、前記マスター画像の候補顔画像を、マスター画像として記憶する記憶部と、
クエリー画像と前記マスター画像とを照合し、一致する場合、認証する顔画像認証部とを含み、
前記適正判定部が、前記本発明の適正判定装置であることを特徴とする。
The face image authentication device of the present invention is
When the brightness change is detected for the candidate face image of the master image, the candidate face image is determined to be an image inappropriate for the face image authentication, and when the brightness change is not detected, the candidate A correctness determination unit that determines that the face image is an image suitable for face image authentication;
When it is determined that the candidate face image is an appropriate image, a storage unit that stores the candidate face image of the master image as a master image;
A query image and the master image are collated, and if they match, a face image authentication unit to be authenticated is included,
The appropriateness determination unit is the appropriateness determination device of the present invention.

本発明の顔画像認証方法は、
マスター画像の候補顔画像について、前記輝度変化が検出された場合、前記候補顔画像を、前記顔画像認証に不適切な画像であると判定し、前記輝度変化が検出されなかった場合、前記候補顔画像を、顔画像認証に適切な画像であると判定する適正判定工程と、
前記候補顔画像が適切な画像であると判定された場合、前記マスター画像の候補顔画像を、マスター画像として記憶する記憶工程と、
クエリー画像と前記マスター画像とを照合し、一致する場合、認証する顔画像認証工程とを含み、
前記適正判定工程が、前記本発明の適正判定方法であることを特徴とする。
The face image authentication method of the present invention includes:
When the brightness change is detected for the candidate face image of the master image, the candidate face image is determined to be an image inappropriate for the face image authentication, and when the brightness change is not detected, the candidate An appropriateness determining step for determining that the face image is an image suitable for face image authentication;
A storage step of storing the candidate face image of the master image as a master image when it is determined that the candidate face image is an appropriate image;
A query image and the master image are collated and, if they match, a face image authentication step for authenticating,
The appropriateness determining step is the appropriateness determining method of the present invention.

本発明のプログラムは、前記本発明の顔画像の適正判定方法をコンピュータに実行させることを特徴とする。   A program according to the present invention causes a computer to execute the face image suitability determination method according to the present invention.

本発明のプログラムは、前記本発明の顔画像認証方法をコンピュータに実行させることを特徴とする。   The program of the present invention causes a computer to execute the face image authentication method of the present invention.

本発明のコンピュータ読み取り可能な記録媒体は、前記本発明のプログラムを記録したことを特徴とする。   A computer-readable recording medium according to the present invention records the program according to the present invention.

本発明によれば、例えば、手ぶれ写真か否かにかかわらず、画像認証に不適切な顔画像を容易に判定できる。   According to the present invention, for example, a face image inappropriate for image authentication can be easily determined regardless of whether it is a camera shake photograph or not.

実施形態1の適正判定装置の一例を示すブロック図である。It is a block diagram which shows an example of the appropriateness determination apparatus of Embodiment 1. 実施形態1の適正判定装置のハードウェア構成の一例を示すブロック図である。2 is a block diagram illustrating an example of a hardware configuration of the suitability determination apparatus according to the first embodiment. FIG. 実施形態1の適正判定方法の一例を示すフローチャートである。5 is a flowchart illustrating an example of a suitability determination method according to the first embodiment. 実施形態1の適正判定装置による、画像処理の一例を示す概略図であり、(A)は二値化処理画像、(B)は二値化処理前の顔画像(グレースケール画像)について、口領域等を示したもの、(C)は前記二値化処理画像に、口領域等を示し、且つ、第1直線と第2直線を示したもの、(D)は(C)に、さらに第3直線を示したものを、それぞれ示す。FIG. 2 is a schematic diagram illustrating an example of image processing performed by the suitability determination apparatus according to the first embodiment, in which (A) illustrates a binarized image, and (B) illustrates a face image (grayscale image) before binarization. (C) shows the mouth area and the like, and shows the first straight line and the second straight line, and (D) shows the first and second straight lines. Each of the three straight lines is shown.

本発明者らは、鋭意研究の結果、顔画像認証において、顔画像の目から下の領域に影があると認証が困難になることを見出した。そして、この知見に基づき、このような領域における影の発生を判別し、顔画像が顔画像認証において使用しうる適正なものか否かを判定できる本発明を確立するに到った。   As a result of intensive studies, the present inventors have found that in face image authentication, it is difficult to authenticate if there is a shadow in the area below the eyes of the face image. And based on this knowledge, it came to establish this invention which can discriminate | determine generation | occurrence | production of the shadow in such an area | region, and can determine whether a face image is an appropriate thing which can be used in face image authentication.

本発明の実施形態について図を用いて説明する。本発明は、以下の実施形態には限定されない。以下の各図において、同一部分には、同一符号を付している。また、各実施形態の説明は、特に言及がない限り、互いの説明を援用でき、各実施形態の構成は、特に言及がない限り、組合せ可能である。本発明において、顔画像および二値化画像における方向は、頭側が上方向、首側が下方向、右目側が右方向、左目側が左方向を示す。本実施形態において、「顔画像」は、二値化処理前の画像であり、「二値化画像」は、前記顔画像を二値化処理した画像である。   Embodiments of the present invention will be described with reference to the drawings. The present invention is not limited to the following embodiments. In the following drawings, the same parts are denoted by the same reference numerals. Moreover, the description of each embodiment can use each other's description unless there is particular mention, and the structure of each embodiment can be combined unless there is particular mention. In the present invention, the directions in the face image and the binarized image indicate the head side upward, the neck side downward, the right eye side rightward, and the left eye side leftward. In the present embodiment, the “face image” is an image before binarization processing, and the “binarization image” is an image obtained by binarizing the face image.

[実施形態1]
本発明の適正判定装置および適正判定方法の一例について、図を用いて説明する。
[Embodiment 1]
An example of the appropriateness determination apparatus and the appropriateness determination method of the present invention will be described with reference to the drawings.

図1は、本発明の実施形態1による顔画像の適正判定装置1の一例の構成を示すブロック図である。図1を参照すると、適正判定装置1は、顔画像取得部10、二値化処理部11、部位検出部12、検出線設定部13、輝度変化検出部14、判定部15を有する。適正判定装置1は、例えば、顔画像の適正判定システムともいう。適正判定装置1は、前記構成に限定されず、例えば、記憶部、出力部等を有してもよい。   FIG. 1 is a block diagram showing the configuration of an example of a face image suitability determination apparatus 1 according to Embodiment 1 of the present invention. Referring to FIG. 1, the appropriateness determination device 1 includes a face image acquisition unit 10, a binarization processing unit 11, a part detection unit 12, a detection line setting unit 13, a luminance change detection unit 14, and a determination unit 15. The appropriateness determination apparatus 1 is also referred to as a face image appropriateness determination system, for example. The appropriateness determination apparatus 1 is not limited to the above configuration, and may include a storage unit, an output unit, and the like, for example.

適正判定装置1は、例えば、前記各部を含む1つの適正判定装置でもよいし、前記各部が、通信回線網を介して接続可能な適正判定装置でもよい。前記通信回線網は、特に制限されず、公知のネットワークを使用でき、例えば、有線でも無線でもよい。前記通信回線網は、例えば、インターネット回線、電話回線、LAN(Local Area Network)、WiFi(Wireless Fidelity)等があげられる。   The appropriateness determination device 1 may be, for example, one appropriateness determination device including the above-described units, or may be an appropriateness determination device that can be connected to each other via a communication line network. The communication line network is not particularly limited, and a known network can be used. For example, the communication line network may be wired or wireless. Examples of the communication line network include an Internet line, a telephone line, a LAN (Local Area Network), and WiFi (Wireless Fidelity).

図2に、図1の適正判定装置1のハードウェア構成のブロック図を例示する。図2を参照すると、適正判定装置1は、例えば、CPU(中央処理装置)101、メモリ102、インターフェイス(I/F)103、入力装置104、ディスプレイ105、通信デバイス106、記憶装置107等を有する。適正判定装置1の各部は、例えば、I/F103を介して、接続されている。前記ハードウェア構成において、内部での回路間の通信は、バスによって接続される。   FIG. 2 illustrates a block diagram of a hardware configuration of the suitability determination apparatus 1 of FIG. Referring to FIG. 2, the appropriateness determination apparatus 1 includes, for example, a CPU (Central Processing Unit) 101, a memory 102, an interface (I / F) 103, an input device 104, a display 105, a communication device 106, a storage device 107, and the like. . Each part of the appropriateness determination apparatus 1 is connected via, for example, the I / F 103. In the hardware configuration, communication between circuits inside is connected by a bus.

CPU101は、適正判定装置1の全体の制御を担う。適正判定装置1において、CPU101により、例えば、本発明のプログラム108やその他のプログラムが実行され、また、各種情報の読み込みや書き込みが行われる。具体的に、適正判定装置1は、例えば、CPU101が、顔画像取得部10、二値化処理部11、部位検出部12、検出線設定部13、輝度変化検出部14、判定部15として機能する。   The CPU 101 is responsible for overall control of the appropriateness determination device 1. In the appropriateness determination apparatus 1, the CPU 101 executes, for example, the program 108 of the present invention and other programs, and reads and writes various information. Specifically, in the appropriateness determination apparatus 1, for example, the CPU 101 functions as the face image acquisition unit 10, the binarization processing unit 11, the part detection unit 12, the detection line setting unit 13, the luminance change detection unit 14, and the determination unit 15. To do.

I/F103は、例えば、前述したCPU101、メモリ102等のそれぞれの機能部間を接続する。また、I/F103は、例えば、カメラ等の外部機器とも接続できる。適正判定装置1は、I/F103に接続された通信デバイス106により、前記通信回線網に接続でき、前記通信回線網を介して、前記外部機器と接続することもできる。適正判定装置1が前記出力部を有する場合、例えば、I/F103、またはI/F103に接続された通信デバイス106が、前記出力部として機能する。   The I / F 103 connects the functional units such as the CPU 101 and the memory 102 described above, for example. The I / F 103 can also be connected to an external device such as a camera, for example. The appropriateness determination apparatus 1 can be connected to the communication line network by the communication device 106 connected to the I / F 103, and can also be connected to the external device via the communication line network. When the appropriateness determination apparatus 1 includes the output unit, for example, the I / F 103 or the communication device 106 connected to the I / F 103 functions as the output unit.

メモリ102は、例えば、メインメモリを含み、前記メインメモリは、主記憶装置ともいう。CPU101が処理を行う際には、例えば、後述する補助記憶装置に記憶されている、本発明のプログラム等の種々の動作プログラム108を、メモリ102が読み込み、CPU101は、メモリ102からデータを受け取って、前記プログラムを実行する。前記メインメモリは、例えば、RAM(ランダムアクセスメモリ)である。メモリ102は、例えば、さらに、ROM(読み出し専用メモリ)を含む。   The memory 102 includes, for example, a main memory, and the main memory is also referred to as a main storage device. When the CPU 101 performs processing, for example, the memory 102 reads various operation programs 108 such as the program of the present invention stored in an auxiliary storage device described later, and the CPU 101 receives data from the memory 102. The program is executed. The main memory is, for example, a RAM (Random Access Memory). The memory 102 further includes, for example, a ROM (read only memory).

記憶装置107は、例えば、前記メインメモリ(主記憶装置)に対して、いわゆる補助記憶装置ともいう。記憶装置107は、例えば、記憶媒体と、前記記憶媒体に読み書きするドライブとを含む。前記記憶媒体は、特に制限されず、例えば、内蔵型でも外付け型でもよく、HD(ハードディスク)、FD(フロッピー(登録商標)ディスク)、CD−ROM、CD−R、CD−RW、MO、DVD、フラッシュメモリー、メモリーカード等があげられ、前記ドライブは、特に制限されない。記憶装置107は、例えば、記憶媒体とドライブとが一体化されたハードディスクドライブ(HDD)、ソリッドステートドライブ(SSD)等も例示できる。記憶装置107は、例えば、本発明のプログラム108等の動作プログラムが格納される。記憶装置107は、例えば、前記記憶部である。   The storage device 107 is also referred to as a so-called auxiliary storage device for the main memory (main storage device), for example. The storage device 107 includes, for example, a storage medium and a drive that reads from and writes to the storage medium. The storage medium is not particularly limited, and may be a built-in type or an external type, for example, HD (hard disk), FD (floppy (registered trademark) disk), CD-ROM, CD-R, CD-RW, MO, Examples of the drive include a DVD, a flash memory, and a memory card, and the drive is not particularly limited. Examples of the storage device 107 include a hard disk drive (HDD) in which a storage medium and a drive are integrated, and a solid state drive (SSD). The storage device 107 stores, for example, an operation program such as the program 108 of the present invention. The storage device 107 is, for example, the storage unit.

適正判定装置1は、例えば、さらに、入力装置104、ディスプレイ105を任意で有する。入力装置104は、例えば、タッチパネル、キーボード、マウス等である。ディスプレイ105は、例えば、LEDディスプレイ、液晶ディスプレイ等である。   For example, the appropriateness determination device 1 further includes an input device 104 and a display 105 as an option. The input device 104 is, for example, a touch panel, a keyboard, a mouse, or the like. The display 105 is, for example, an LED display or a liquid crystal display.

顔画像取得部10は、顔画像を取得する。前記顔画像は、例えば、顔画像認証において、マスター画像(予め登録しておく画像)として使用する顔画像でもよいし、クエリー画像(前記マスター画像に対して照合する画像)として使用する顔画像でもよい。顔画像取得部10は、例えば、それ自体が対象者の顔画像を撮像する撮像部でもよいし、撮像された顔画像を入力する入力部であってもよい。顔画像取得部10が前記撮像部の場合、例えば、前記カメラがあげられる。顔画像取得部10が前記入力部の場合、適正判定装置1は、例えば、前記カメラと電気的に接続され、前記カメラで撮像された顔画像情報が入力されてもよい。適正判定装置1と前記カメラとの接続は、特に制限されず、例えば、有線でも無線でもよい。適正判定装置1と前記カメラとは、例えば、通信回線網を介して接続可能であり、前記通信回線網は、特に制限されず、例えば、前述の通りである。   The face image acquisition unit 10 acquires a face image. The face image may be, for example, a face image used as a master image (an image registered in advance) or a face image used as a query image (an image to be checked against the master image) in face image authentication. Good. The face image acquisition unit 10 may be, for example, an image capturing unit that captures the face image of the subject or an input unit that inputs the captured face image. When the face image acquisition unit 10 is the imaging unit, for example, the camera is used. When the face image acquisition unit 10 is the input unit, the appropriateness determination apparatus 1 may be electrically connected to the camera, for example, and face image information captured by the camera may be input. The connection between the appropriateness determination apparatus 1 and the camera is not particularly limited, and may be wired or wireless, for example. The appropriateness determination apparatus 1 and the camera can be connected via, for example, a communication network, and the communication network is not particularly limited, and is as described above, for example.

二値化処理部11は、既定の閾値に基づき、二値化処理により、前記顔画像から二値化画像を生成する。前記二値化処理とは、画像を、画素値が2つの値のみである画像(二値化画像)に改変する処理である。前記閾値は、例えば、顔画像の適正判定を、相対的に厳しく行うか、相対的に緩く行うかによって適宜決定できる。前記閾値は、例えば、画像において明るさを示す画素値を、任意の基準値とすることで、設定できる。前記画素値は、例えば、輝度である。前記輝度は、通常、値が高い程、明るい色であることを示し、値が低い程、暗い色であることを示す。前記二値化処理では、例えば、画像における各画素について、前記画素値が閾値を超える場合(または閾値以上の場合)、1の画素(白色の画素)に変換し、前記画素値が閾値以下の場合(または閾値未満の場合)、0の画素(黒色の画素)に変換する。なお、前記二値化処理においては、例えば、白黒を反転させてもよい。   The binarization processing unit 11 generates a binarized image from the face image by binarization processing based on a predetermined threshold. The binarization processing is processing for modifying an image into an image (binarized image) having only two pixel values. The threshold value can be determined as appropriate depending on, for example, whether the appropriateness of the face image is determined relatively severely or relatively loosely. The threshold value can be set, for example, by using a pixel value indicating brightness in the image as an arbitrary reference value. The pixel value is, for example, luminance. In general, the higher the value, the brighter the brightness, and the lower the value, the darker the color. In the binarization process, for example, for each pixel in the image, when the pixel value exceeds a threshold value (or when the threshold value is equal to or greater than the threshold value), the pixel value is converted to one pixel (white pixel), and the pixel value is equal to or less than the threshold value. If it is (or less than the threshold value), it is converted to 0 pixel (black pixel). In the binarization process, for example, black and white may be reversed.

部位検出部12は、二値化処理をしていない前記顔画像について、顔の輪郭、右目を含む右目領域、左目を含む左目領域、鼻を含む鼻領域、および口を含む口領域を検出する。前記各領域は、右目、左目、鼻、または口の各部位を、それぞれ含んでいればよく、その形状は、特に制限されず、例えば、円形状でも、角形状でもよい。具体的に、例えば、前記各領域(右目領域、左目領域、鼻領域、および口領域)は、それぞれ、前記顔画像において、各部位について、上下方向の最長長さVを縦方向、前記Vに垂直な左右方向の最長長さHを横方向とする四角形、前記最長長さVおよびHの長い方を直径とする円形、または、前記最長長さVおよびHの長い方を長径、短い方を短径とする楕円形とすることができる。部位検出部12による前記顔の輪郭、および前記各部位の検出は、公知の部位検出手段が利用でき、例えば、OpenCV等が利用できる。   The part detection unit 12 detects a face outline, a right eye region including a right eye, a left eye region including a left eye, a nose region including a nose, and a mouth region including a mouth with respect to the face image that has not been binarized. . Each region only needs to include the right eye, the left eye, the nose, or the mouth, and the shape thereof is not particularly limited, and may be, for example, circular or angular. Specifically, for example, each of the regions (the right eye region, the left eye region, the nose region, and the mouth region) has a maximum vertical length V in the vertical direction and V in the face image. A quadrangle having the longest vertical length H in the horizontal direction as a horizontal direction, a circle having the longest longest lengths V and H as diameters, or the longest of the longest lengths V and H being long and short. It can be an ellipse with a minor axis. For detecting the contour of the face and each part by the part detection unit 12, a known part detection unit can be used, for example, OpenCV or the like.

検出線設定部13は、前記二値化画像において、前記右目領域の境界のいずれかの位置を第1始点とし、前記第1始点よりも下方向の右顔面の輪郭との交点を第1終点とする第1直線、および前記左目領域の境界のいずれかの位置を第2始点とし、前記第2始点よりも下方向の左顔面の輪郭との交点を第2終点とする第2直線を設定する。前記第1直線は、前述のような方向への直線であればよく、具体例として、前記前記第1始点からの垂線があげられる。前記第2直線は、前述のような方向への直線であればよく、具体例として、前記第2始点からの垂線があげられる。前記垂線は、例えば、右顔面および左顔面における頬の領域を通る線となる。前記頬の領域において、輝度変化がある場合、つまり影がある場合、前記顔画像を顔画像認証に使用できない可能性が高くなる。このため、前記垂線を、後述する輝度変化の検出線として設定することが好ましい。前記垂線は、例えば、右目と左目とを結ぶ線に対して垂直な線である。前記右目と左目とを結ぶ線とは、例えば、前記右目領域の中心と前記左目領域の中心とを結ぶ線である。   In the binarized image, the detection line setting unit 13 uses a position at one of the boundaries of the right eye region as a first start point, and an intersection with the contour of the right face below the first start point as a first end point. And a second straight line having a second start point at the position of the boundary of the left eye region and a second end point at the intersection with the contour of the left face below the second start point To do. The first straight line may be a straight line in the above-described direction, and a specific example thereof is a perpendicular from the first starting point. The second straight line may be a straight line in the above-described direction, and a specific example is a perpendicular line from the second starting point. The perpendicular is, for example, a line passing through cheek regions on the right face and the left face. If there is a change in luminance in the cheek area, that is, if there is a shadow, there is a high possibility that the face image cannot be used for face image authentication. For this reason, it is preferable to set the perpendicular line as a luminance change detection line described later. The perpendicular is, for example, a line perpendicular to a line connecting the right eye and the left eye. The line connecting the right eye and the left eye is, for example, a line connecting the center of the right eye region and the center of the left eye region.

輝度変化検出部14は、前記第1直線および前記第2直線について、前記右目領域、前記左目領域、前記鼻領域および前記口領域を除き、輝度変化を検出する。前記輝度変化とは、例えば、前記第1直線または前記第2直線上において、2つの値が存在することを意味し、具体的には、例えば、0の画素(黒色の画素)が存在することを意味する。   The luminance change detection unit 14 detects a luminance change in the first straight line and the second straight line except for the right eye region, the left eye region, the nose region, and the mouth region. The luminance change means, for example, that there are two values on the first straight line or the second straight line. Specifically, for example, there is a zero pixel (black pixel). Means.

判定部15は、前記第1直線および前記第2直線の少なくとも一方について、前記輝度変化が検出された場合、前記顔画像を、顔画像認証に不適切な画像であると判定する。   The determination unit 15 determines that the face image is inappropriate for face image authentication when the luminance change is detected for at least one of the first straight line and the second straight line.

検出線設定部13は、例えば、さらに、前記第1直線の中点と前記第2直線の中点とを結ぶ第3直線を設定してもよい。前記第3直線を設定した場合、輝度変化検出部14は、例えば、さらに、前記第3直線についても、前記右目領域、前記左目領域、前記鼻領域および前記口領域を除き、輝度変化を検出する。そして、判定部15は、例えば、さらに、前記第3直線について前記輝度変化が検出された場合にも、前記顔画像を、顔画像認証に不適切な画像であると判定する。つまり、判定部15は、前記第1直線、前記第2直線、および前記第3直線のいずれか一つでも、前記輝度変化が検出された場合に、前記顔画像を、顔画像認証に不適切な画像であると判定する。   For example, the detection line setting unit 13 may further set a third straight line connecting the midpoint of the first straight line and the midpoint of the second straight line. When the third straight line is set, for example, the luminance change detection unit 14 also detects a luminance change for the third straight line except for the right eye region, the left eye region, the nose region, and the mouth region. . And the determination part 15 determines with the said face image being an image unsuitable for face image authentication, for example, also when the said brightness change is detected about the said 3rd straight line. That is, the determination unit 15 makes the face image inappropriate for face image authentication when the luminance change is detected in any one of the first straight line, the second straight line, and the third straight line. It is determined that the image is correct.

つぎに、本実施形態の適正判定方法について説明する。本実施形態の適正判定方法は、例えば、図1および図2に示す顔画像の適正判定装置1を用いて実施できる。なお、本実施形態の適正判定方法は、適正判定装置1の使用には限定されない。また、本実施形態の適正判定方法における記載は、前述した適正判定装置1に援用できる。   Next, the suitability determination method of this embodiment will be described. The suitability determination method of the present embodiment can be implemented using, for example, the face image suitability determination apparatus 1 shown in FIGS. 1 and 2. Note that the suitability determination method of the present embodiment is not limited to the use of the suitability determination device 1. Moreover, the description in the suitability determination method of this embodiment can be used for the suitability determination apparatus 1 mentioned above.

前記二値化処理工程は、既定の閾値に基づき、取得した顔画像から二値化画像を生成する。前記二値化処理工程は、例えば、適正判定装置1の二値化処理部11により実行できる。前記顔画像の取得は、例えば、適正判定装置1の顔画像取得部10により実行できる。   The binarization processing step generates a binarized image from the acquired face image based on a predetermined threshold value. The binarization processing step can be executed by, for example, the binarization processing unit 11 of the appropriateness determination device 1. The acquisition of the face image can be executed by, for example, the face image acquisition unit 10 of the suitability determination device 1.

前記部位検出工程は、前記顔画像について、顔の輪郭、右目を含む右目領域、左目を含む左目領域、鼻を含む鼻領域、および口を含む口領域を検出する。前記部位検出工程は、例えば、適正判定装置1の部位検出部12により実行できる。   The part detecting step detects a face outline, a right eye region including a right eye, a left eye region including a left eye, a nose region including a nose, and a mouth region including a mouth from the face image. The part detection step can be executed by, for example, the part detection unit 12 of the suitability determination device 1.

前記二値化処理工程および前記部位検出工程の実行順序は、特に制限されず、例えば、それぞれ、後述する検出線設定工程より先に実行されていればよく、同時に実行してもよいし、別個に実行してもよい。後者の場合、実行する順序は、特に制限されず、任意である。   The execution order of the binarization processing step and the part detection step is not particularly limited. For example, the binarization processing step and the part detection step may be executed at the same time or separately from the detection line setting step described later. It may be executed. In the latter case, the order of execution is not particularly limited and is arbitrary.

前記検出線設定工程は、前記二値化画像において、前記右目領域の境界のいずれかの位置を第1始点とし、前記第1始点よりも下方向の右顔面の輪郭との交点を第1終点とする第1直線、および前記左目領域の境界のいずれかの位置を第2始点とし、前記第2始点よりも下方向の左顔面の輪郭との交点を第2終点とする第2直線を設定する。前記検出線設定工程は、例えば、適正判定装置1の検出線設定部13により実行できる。前記検出線設定工程は、例えば、さらに、前記第1直線の中点と前記第2直線の中点とを結ぶ第3直線を設定してもよい。前記第1直線および前記第2直線は、例えば、前述のような垂線があげられる。   In the detection line setting step, in the binarized image, any position of the boundary of the right eye region is set as a first start point, and an intersection point with the contour of the right face below the first start point is a first end point. And a second straight line having a second start point at the position of the boundary of the left eye region and a second end point at the intersection with the contour of the left face below the second start point To do. The detection line setting step can be executed by, for example, the detection line setting unit 13 of the appropriateness determination device 1. In the detection line setting step, for example, a third straight line connecting the midpoint of the first straight line and the midpoint of the second straight line may be set. Examples of the first straight line and the second straight line include perpendicular lines as described above.

前記輝度変化検出工程は、前記第1直線および前記第2直線について、前記右目領域、前記左目領域、前記鼻領域および前記口領域を除き、輝度変化を検出する。前記輝度変化検出工程は、例えば、適正判定装置1の輝度変化検出部14により実行できる。前記検出線設定工程において前記第3直線を設定した場合、前記輝度変化検出工程は、例えば、さらに、前記第3直線についても、前記右目領域、前記左目領域、前記鼻領域および前記口領域を除き、輝度変化を検出する。前記第1直線、前記第2直線、および任意で前記第3直線における、輝度変化の検出順序は、特に制限されず、例えば、同時に実行してもよいし、別個に実行してもよい。後者の場合、実行する順序は、特に制限されず、任意である。   The luminance change detection step detects a luminance change in the first straight line and the second straight line except for the right eye region, the left eye region, the nose region, and the mouth region. The luminance change detection step can be executed by, for example, the luminance change detection unit 14 of the appropriateness determination device 1. When the third straight line is set in the detection line setting step, the luminance change detection step further includes, for example, the right eye region, the left eye region, the nose region, and the mouth region for the third straight line. , Detecting luminance changes. The detection order of the luminance change in the first straight line, the second straight line, and optionally the third straight line is not particularly limited, and may be executed simultaneously or separately, for example. In the latter case, the order of execution is not particularly limited and is arbitrary.

前記判定工程は、前記第1直線および前記第2直線の少なくとも一方について、前記輝度変化が検出された場合、前記顔画像を、顔画像認証に不適切な画像であると判定する。前記判定工程は、例えば、適正判定装置1の判定部15により実行できる。前記第3直線を設定した場合、前記判定工程は、例えば、さらに、前記第3直線について前記輝度変化が検出された場合にも、前記顔画像を、顔画像認証に不適切な画像であると判定する。一方、前記判定工程は、例えば、前記第1直線、前記第2直線、および、任意で、前記第3直線のいずれにも輝度変化が検出されなかった場合、前記顔画像を、顔画像認証に適切な画像であると判定してもよい。   The determination step determines that the face image is inappropriate for face image authentication when the luminance change is detected for at least one of the first straight line and the second straight line. The said determination process can be performed by the determination part 15 of the appropriateness determination apparatus 1, for example. In the case where the third straight line is set, the determination step may be, for example, that the face image is an image inappropriate for face image authentication even when the luminance change is detected for the third straight line. judge. On the other hand, in the determination step, for example, when no luminance change is detected in any of the first straight line, the second straight line, and optionally the third straight line, the face image is used for face image authentication. It may be determined that the image is appropriate.

つぎに、本発明の実施形態1による適正判定方法について、図3のフローチャートおよび図4を用いて、より具体的に説明する。なお、本発明の適正判定方法は、これらの例に制限されない。図4は、本発明の実施形態1による適正判定装置および適正判定方法における、画像処理の一例を示す概略図である。   Next, the suitability determination method according to the first embodiment of the present invention will be described more specifically with reference to the flowchart of FIG. 3 and FIG. The suitability determination method of the present invention is not limited to these examples. FIG. 4 is a schematic diagram illustrating an example of image processing in the appropriateness determination apparatus and the appropriateness determination method according to the first embodiment of the present invention.

まず、顔画像を取得する(S100)。前記顔画像は、例えば、カラー画像またはグレースケール画像等である。   First, a face image is acquired (S100). The face image is, for example, a color image or a gray scale image.

そして、前記二値化処理工程として、図4(A)に示すように、二値化処理部11により、既定の閾値に基づき、前記取得した顔画像から、二値化画像20を生成する(S101)。   Then, as the binarization processing step, as shown in FIG. 4A, the binarization processing unit 11 generates a binarized image 20 from the acquired face image based on a predetermined threshold ( S101).

前記部位検出工程として、図4(B)に示すように、部位検出部12により、二値化処理前の顔画像30について、顔の輪郭121、右目を含む右目領域122a、左目を含む左目領域122b、鼻を含む鼻領域123、および口を含む口領域124を検出する(S102)。   As the part detection step, as shown in FIG. 4B, the part detection unit 12 performs a facial contour 121, a right eye region 122a including the right eye, and a left eye region including the left eye on the face image 30 before binarization processing. 122b, the nose region 123 including the nose, and the mouth region 124 including the mouth are detected (S102).

前記検出線設定工程として、図4(C)に示すように、検出線設定部13により、二値化画像20において、右目領域122aの境界下部を第1始点とし、前記第1始点よりも下方向の右顔面の輪郭との交点を第1終点とする第1直線131、および左目領域122bの境界下部を第2始点とし、前記第2始点よりも下方向の左顔面の輪郭との交点を第2終点とする第2直線132を設定する。第1直線131および第2直線132は、それぞれ、前記第1始点または第2始点から、前記第1終点または第2終点を結ぶ垂線である。さらに、図4(D)に示すように、第1直線131の中点と第2直線132の中点とを結ぶ、第3直線133を設定する(S103)。   As the detection line setting step, as shown in FIG. 4C, the detection line setting unit 13 causes the lower part of the boundary of the right eye region 122a to be a first start point in the binarized image 20, and below the first start point. A first straight line 131 whose first end point is an intersection with the right facial contour in the direction, and a lower boundary of the left eye region 122b is a second starting point, and an intersection with the left facial contour below the second starting point is A second straight line 132 is set as the second end point. The first straight line 131 and the second straight line 132 are perpendicular lines connecting the first end point or the second end point from the first start point or the second start point, respectively. Further, as shown in FIG. 4D, a third straight line 133 connecting the midpoint of the first straight line 131 and the midpoint of the second straight line 132 is set (S103).

前記検出線設定工程においては、例えば、二値化画像20と二値化処理前の顔画像30とを照合し、顔画像30において検出された輪郭121、右目領域122a、左目領域122b、鼻領域123、および口領域124を、二値化画像20において設定すればよい。これにより、前述のような第1直線131、第2直線132および任意で第3直線133を設定できる。   In the detection line setting step, for example, the binarized image 20 and the face image 30 before binarization processing are collated, and the contour 121, right eye region 122a, left eye region 122b, and nose region detected in the face image 30 are detected. 123 and the mouth area 124 may be set in the binarized image 20. As a result, the first straight line 131, the second straight line 132, and optionally the third straight line 133 as described above can be set.

前記輝度変化検出工程として、輝度変化検出部14により、第1直線131、第2直線132、および第3直線133について、右目領域122a、左目領域122b、鼻領域123および口領域124を除き、輝度変化を検出する(S104)。   As the brightness change detection step, the brightness change detection unit 14 determines the brightness of the first straight line 131, the second straight line 132, and the third straight line 133 except for the right eye region 122a, the left eye region 122b, the nose region 123, and the mouth region 124. A change is detected (S104).

そして、前記判定工程として、まず、第1直線131に輝度変化があるかを判定する(S105−1)。第1直線131に輝度変化がある場合(YES)、判定部15により、前記顔画像は、顔画像認証に不適切な画像として判定し(S106)、終了する(END)。一方、第1直線131に輝度変化がない場合(NO)、つぎに、第2直線132に輝度変化があるかを判定する(S105−2)。第2直線132に輝度変化がある場合(YES)、判定部15により、前記顔画像は、顔画像認証に不適切な画像として判定し(S106)、終了する(END)。一方、第2直線132に輝度変化がない場合(NO)、さらに、第3直線133に輝度変化があるかを判定する(S105−3)。第3直線133に輝度変化がある場合(YES)、判定部15により、前記顔画像は、顔画像認証に不適切な画像として判定し(S106)、終了する(END)。一方、第3直線133に輝度変化がない場合(NO)、すなわち、第1直線131、第2直線132、および第3直線133のいずれにも輝度変化がない場合、判定部15により、前記顔画像は、顔画像認証に適切な画像であると判定し(S107)、終了する(END)。   In the determination step, first, it is determined whether or not there is a luminance change on the first straight line 131 (S105-1). When there is a luminance change on the first straight line 131 (YES), the determination unit 15 determines that the face image is inappropriate for face image authentication (S106), and ends (END). On the other hand, when there is no luminance change on the first straight line 131 (NO), it is then determined whether there is a luminance change on the second straight line 132 (S105-2). When there is a luminance change on the second straight line 132 (YES), the determination unit 15 determines that the face image is inappropriate for face image authentication (S106), and ends (END). On the other hand, when there is no luminance change on the second straight line 132 (NO), it is further determined whether there is a luminance change on the third straight line 133 (S105-3). When there is a luminance change on the third straight line 133 (YES), the determination unit 15 determines that the face image is an image inappropriate for face image authentication (S106), and ends (END). On the other hand, when there is no luminance change in the third straight line 133 (NO), that is, when there is no luminance change in any of the first straight line 131, the second straight line 132, and the third straight line 133, the determination unit 15 The image is determined to be an image suitable for face image authentication (S107), and the process ends (END).

なお、図3に示す、前記判定工程(前記S105−1工程、前記S105−2工程、および前記S105―3工程)の実行の順序は、例示であり、特に制限されない。前記S105−1工程、前記S105−2工程、および前記S105―3工程は、例えば、同時に実行してもよいし、別個に実行してもよい。後者の場合、実行する順序は、特に制限されず、任意である。この場合、例えば、同時または任意の順序で実行した、前記S105−1工程、前記S105−2工程、および前記S105−3工程のいずれか一つにおいて輝度変化がある場合、前記顔画像は、顔画像認証に不適切な画像として判定し、前記S105−1工程、前記S105−2工程、および前記S105−3工程いずれにも輝度変化がない場合、前記顔画像は、顔画像認証に適切な画像として判定する。   In addition, the order of execution of the determination process (the S105-1 process, the S105-2 process, and the S105-3 process) illustrated in FIG. 3 is an example, and is not particularly limited. The step S105-1, the step S105-2, and the step S105-3 may be performed simultaneously or separately, for example. In the latter case, the order of execution is not particularly limited and is arbitrary. In this case, for example, when there is a luminance change in any one of the steps S105-1, S105-2, and S105-3, which are performed simultaneously or in any order, the face image is a face If it is determined that the image is inappropriate for image authentication and there is no change in luminance in any of the steps S105-1, S105-2, and S105-3, the face image is an image suitable for face image authentication. Judge as.

適正判定装置1は、前述のように二値化処理した顔画像の輝度変化を検出するため、例えば、顔画像における、顔の輪郭外、目、口および鼻の位置等を除く、目から下の領域に影が存在するかどうかを判定できる。これにより、例えば、顔画像認証に不適切な顔画像を容易に判定できる。   In order to detect the luminance change of the binarized face image as described above, the appropriateness determination device 1 excludes, for example, the face image out of the outline of the face, the positions of the eyes, mouth and nose, etc. It can be determined whether or not there is a shadow in the area. Thereby, for example, a face image inappropriate for face image authentication can be easily determined.

[実施形態2]
本発明の実施形態2によるプログラムは、前記本発明の適正判定方法を、コンピュータ上で実行可能なプログラムである。または、本発明の実施形態2によるプログラムは、例えば、コンピュータ読み取り可能な記録媒体に記録されてもよい。前記記録媒体としては、特に限定されず、例えば、前述のような記憶媒体等があげられる。
[Embodiment 2]
The program according to the second embodiment of the present invention is a program that can execute the suitability determination method of the present invention on a computer. Or the program by Embodiment 2 of this invention may be recorded on a computer-readable recording medium, for example. The recording medium is not particularly limited, and examples thereof include the storage medium as described above.

[実施形態3]
本発明の顔画像認証装置および顔画像認証方法について、説明する。
[Embodiment 3]
The face image authentication apparatus and the face image authentication method of the present invention will be described.

本発明の実施形態3による顔画像認証装置は、顔画像の適正判定部、記憶部、および顔画像認証部を有する。前記顔画像認証装置は、例えば、前記各部を含む1つの顔画像認証装置でもよいし、前記各部が、通信回線網を介して接続可能な顔画像認証装置でもよい。前記通信回線網は、特に制限されず、例えば、前述の通りである。前記顔画像認証装置は、例えば、顔画像認証システムともいう。前記顔画像認証装置は、前記構成に限定されず、例えば、出力部等を有してもよい。前記顔画像認証装置は、例えば、前記実施形態1の適正判定装置1が、さらに、前記記憶部および前記顔画像認証部を有する構成でもよい。   A face image authentication apparatus according to Embodiment 3 of the present invention includes a face image appropriateness determination unit, a storage unit, and a face image authentication unit. The face image authentication device may be, for example, one face image authentication device including the above-described units, or may be a face image authentication device that can be connected to each unit via a communication network. The communication network is not particularly limited, and is as described above, for example. The face image authentication device is also referred to as a face image authentication system, for example. The face image authentication device is not limited to the above configuration, and may include an output unit, for example. The face image authentication device may be configured such that, for example, the suitability determination device 1 of the first embodiment further includes the storage unit and the face image authentication unit.

前記適正判定部は、マスター画像(予め登録しておく画像)の候補顔画像について、前記輝度変化が検出された場合、前記候補顔画像を、前記顔画像認証に不適切な画像であると判定し、前記輝度変化が検出されなかった場合、前記候補顔画像を、顔画像認証に適切な画像であると判定する。前記適正判定部は、例えば、さらに、クエリー画像(前記マスター画像に対して照合する画像)の候補顔画像について、前記輝度変化が検出された場合、前記候補顔画像を、前記顔画像認証に不適切な画像であると判定し、前記輝度変化が検出されなかった場合、前記候補顔画像を、顔画像認証に適切な画像であると判定してもよい。前記クエリー画像の候補顔画像が適切な画像であると判定された場合、後述する顔画像認証部は、例えば、前記クエリー画像の候補顔画像を、クエリー画像とする。前記適正判定部は、例えば、前記実施形態1の適正判定装置1である。   When the brightness change is detected for a candidate face image of a master image (an image registered in advance), the appropriateness determination unit determines that the candidate face image is an image inappropriate for the face image authentication. If the change in luminance is not detected, the candidate face image is determined to be an image suitable for face image authentication. For example, when the change in luminance is detected for a candidate face image of a query image (an image to be checked against the master image), the appropriateness determination unit may not recognize the candidate face image for face image authentication. If it is determined that the image is an appropriate image and the brightness change is not detected, the candidate face image may be determined to be an image appropriate for face image authentication. When it is determined that the candidate face image of the query image is an appropriate image, for example, a face image authentication unit described later uses the candidate face image of the query image as a query image. The appropriateness determination unit is, for example, the appropriateness determination device 1 of the first embodiment.

前記記憶部は、前記マスター画像の候補顔画像が適切な画像であると判定された場合、前記マスター画像の候補顔画像を、マスター画像として記憶する。前記記憶部としては、例えば、前述のような記憶装置があげられる。   If it is determined that the candidate face image of the master image is an appropriate image, the storage unit stores the candidate face image of the master image as a master image. Examples of the storage unit include the storage device as described above.

前記顔画像認証部は、クエリー画像と前記マスター画像とを照合し、一致する場合、認証する。前記顔画像認証部は、例えば、前記クエリー画像と前記マスター画像とが一致するかを照合してもよいし、前記クエリー画像と前記マスター画像とが類似するかを照合してもよい。前記一致および類似は、例えば、前記クエリー画像と前記マスター画像とに対して、公知の類似度計算により得られる類似度に基づき判断することができる。前記顔画像認証部による照合方法は、特に制限されず、例えば、前記クエリー画像と前記マスター画像との類似度計算による方法、目、鼻、口等の特徴点の距離の比や、前記特徴点を結んだ線の向き等の特徴量を用いる方法等、従来公知の顔認証方法を使用できる。前記顔画像認証部は、例えば、CPUにより実行される。   The face image authentication unit collates the query image and the master image, and authenticates them if they match. For example, the face image authentication unit may collate whether the query image and the master image match, or may collate whether the query image and the master image are similar. The coincidence and similarity can be determined based on, for example, a similarity obtained by a known similarity calculation for the query image and the master image. The collation method by the face image authentication unit is not particularly limited, for example, a method based on similarity calculation between the query image and the master image, a ratio of distances of feature points such as eyes, nose, mouth, and the like. A conventionally known face authentication method such as a method using a feature amount such as a direction of a line connecting the lines can be used. The face image authentication unit is executed by a CPU, for example.

つぎに、本発明の実施形態3による顔画像認証方法について説明する。本発明の実施形態3による顔画像認証方法は、例えば、本発明の実施形態3による前記顔画像認証装置を用いて実施できる。なお、本発明の実施形態3による顔画像認証方法は、前記顔画像認証装置の使用には限定されない。また、本発明の実施形態3による顔画像認証方法における記載は、前述した顔画像認証装置に援用できる。   Next, a face image authentication method according to Embodiment 3 of the present invention will be described. The face image authentication method according to Embodiment 3 of the present invention can be implemented using, for example, the face image authentication apparatus according to Embodiment 3 of the present invention. Note that the face image authentication method according to the third embodiment of the present invention is not limited to the use of the face image authentication apparatus. Moreover, the description in the face image authentication method by Embodiment 3 of this invention can be used for the face image authentication apparatus mentioned above.

本発明の実施形態3による顔画像認証方法は、顔画像の適正判定工程、記憶工程、および顔画像認証工程を有する。   The face image authentication method according to the third embodiment of the present invention includes a face image suitability determination step, a storage step, and a face image authentication step.

前記適正判定工程は、マスター画像の候補顔画像について、前記輝度変化が検出された場合、前記候補顔画像を、前記顔画像認証に不適切な画像であると判定し、前記輝度変化が検出されなかった場合、前記候補顔画像を、顔画像認証に適切な画像であると判定する。前記適正判定工程は、例えば、さらに、クエリー画像の候補顔画像について、前記輝度変化が検出された場合、前記候補顔画像を、前記顔画像認証に不適切な画像であると判定し、前記輝度変化が検出されなかった場合、前記候補顔画像を、顔画像認証に適切な画像であると判定してもよい。前記クエリー画像の候補顔画像が適切な画像であると判定された場合、後述する顔画像認証工程において、例えば、前記クエリー画像の候補顔画像をクエリー画像とする。前記適正判定工程は、例えば、前記本発明の適正判定方法である。前記適正判定工程は、例えば、前記顔画像認証装置の前記適正判定部により実行できる。   The appropriateness determining step determines that the candidate face image is inappropriate for the face image authentication when the brightness change is detected for the candidate face image of the master image, and the brightness change is detected. If not, the candidate face image is determined to be an image suitable for face image authentication. The suitability determination step further determines, for example, that the candidate face image is an image inappropriate for the face image authentication when the brightness change is detected for the candidate face image of the query image, and the brightness If no change is detected, the candidate face image may be determined to be an image suitable for face image authentication. When it is determined that the candidate face image of the query image is an appropriate image, for example, the candidate face image of the query image is set as a query image in a face image authentication step described later. The appropriateness determination step is, for example, the appropriateness determination method of the present invention. The appropriateness determination step can be executed by, for example, the appropriateness determination unit of the face image authentication device.

前記記憶工程は、前記マスター画像の候補顔画像が適切な画像であると判定された場合、前記マスター画像の候補顔画像を、マスター画像として記憶する。前記記憶工程は、例えば、前記顔画像認証装置の前記記憶部により実行できる。   In the storing step, when it is determined that the candidate face image of the master image is an appropriate image, the candidate face image of the master image is stored as a master image. The storage step can be executed by the storage unit of the face image authentication device, for example.

前記顔画像認証工程は、クエリー画像と前記マスター画像とを照合し、一致する場合、認証する。前記顔画像認証工程は、例えば、前記顔画像認証装置の前記顔画像認証部により実行できる。   In the face image authentication step, the query image and the master image are collated, and if they match, authentication is performed. The face image authentication step can be executed by, for example, the face image authentication unit of the face image authentication device.

[実施形態4]
本発明の実施形態4によるプログラムは、前記本発明の顔画像認証方法を、コンピュータ上で実行可能なプログラムである。または、本発明の実施形態4によるプログラムは、例えば、コンピュータ読み取り可能な記録媒体に記録されてもよい。前記記録媒体としては、特に限定されず、例えば、前述のような記憶媒体等があげられる。
[Embodiment 4]
A program according to Embodiment 4 of the present invention is a program capable of executing the face image authentication method of the present invention on a computer. Or the program by Embodiment 4 of this invention may be recorded on the computer-readable recording medium, for example. The recording medium is not particularly limited, and examples thereof include the storage medium as described above.

以上、実施形態を参照して本願発明を説明したが、本願発明は、上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。   While the present invention has been described with reference to the embodiments, the present invention is not limited to the above embodiments. Various changes that can be understood by those skilled in the art can be made to the configuration and details of the present invention within the scope of the present invention.

<付記>
上記の実施形態および実施例の一部または全部は、以下の付記のように記載されうるが、以下には限られない。
(付記1)
顔画像を取得する顔画像取得部と、
既定の閾値に基づき、前記顔画像から二値化画像を生成する二値化処理部と、
前記顔画像について、顔の輪郭、右目を含む右目領域、左目を含む左目領域、鼻を含む鼻領域、および口を含む口領域を検出する部位検出部と、
前記二値化画像において、前記右目領域の境界のいずれかの位置を第1始点とし、前記第1始点よりも下方向の右顔面の輪郭との交点を第1終点とする第1直線、および前記左目領域の境界のいずれかの位置を第2始点とし、前記第2始点よりも下方向の左顔面の輪郭との交点を第2終点とする第2直線を設定する検出線設定部と、
前記第1直線および前記第2直線について、前記右目領域、前記左目領域、前記鼻領域および前記口領域を除き、輝度変化を検出する検出線設定部と、
前記第1直線および前記第2直線の少なくとも一方について、前記輝度変化が検出された場合、前記顔画像を、顔画像認証に不適切な画像であると判定する判定部とを含むことを特徴とする顔画像の適正判定装置。
(付記2)
前記第1直線が、前記第1始点からの垂線であり、前記第2直線が、前記第2始点からの垂線であることを特徴とする付記1記載の適正判定装置。
(付記3)
さらに、前記検出線設定部が、前記第1直線の中点と前記第2直線の中点とを結ぶ第3直線を設定し、
前記輝度変化検出部が、前記第3直線について、前記右目領域、前記左目領域、前記鼻領域および前記口領域を除き、輝度変化を検出し、
前記判定部は、前記第3直線について前記輝度変化が検出された場合にも、前記顔画像を、顔画像認証に不適切な画像であると判定することを特徴とする付記1または2記載の適正判定装置。
(付記4)
マスター画像の候補顔画像について、前記輝度変化が検出された場合、前記候補顔画像を、前記顔画像認証に不適切な画像であると判定し、前記輝度変化が検出されなかった場合、前記候補顔画像を、顔画像認証に適切な画像であると判定する適正判定部と、
前記候補顔画像が適切な画像であると判定された場合、前記マスター画像の候補顔画像を、マスター画像として記憶する記憶部と、
クエリー画像と前記マスター画像とを照合し、一致する場合、認証する顔画像認証部とを含み、
前記適正判定部が、付記1から3のいずれかに記載の適正判定装置であることを特徴とする顔画像認証装置。
(付記5)
前記適正判定部は、クエリー画像の候補顔画像について、前記輝度変化が検出された場合、前記候補顔画像を、前記顔画像認証に不適切な画像であると判定し、前記輝度変化が検出されなかった場合、前記候補顔画像を、顔画像認証に適切な画像であると判定し、
前記顔画像認証部は、前記候補顔画像が適切な画像であると判定された場合、前記クエリー画像の候補顔画像をクエリー画像とし、さらに、前記クエリー画像と前記マスター画像とを照合し、一致する場合、認証することを特徴とする付記4記載の顔画像認証装置。
(付記6)
既定の閾値に基づき、顔画像から二値化画像を生成する二値化処理工程と、
前記顔画像について、顔の輪郭、右目を含む右目領域、左目を含む左目領域、鼻を含む鼻領域、および口を含む口領域を検出する部位検出工程と、
前記二値化画像において、前記右目領域の境界のいずれかの位置を第1始点とし、前記第1始点よりも下方向の右顔面の輪郭との交点を第1終点とする第1直線、および前記左目領域の境界のいずれかの位置を第2始点とし、前記第2始点よりも下方向の左顔面の輪郭との交点を第2終点とする第2直線を設定する検出線決定工程と、
前記第1直線および前記第2直線について、前記右目領域、前記左目領域、前記鼻領域および前記口領域を除き、輝度変化を検出する輝度変化検出工程と、
前記第1直線および前記第2直線の少なくとも一方について、前記輝度変化が検出された場合、前記顔画像を、顔画像認証に不適切な画像であると判定する判定工程とを含むことを特徴とする顔画像の適正判定方法。
(付記7)
前記第1直線が、前記第1始点からの垂線であり、前記第2直線が、前記第2始点からの垂線であることを特徴とする付記6記載の適正判定方法。
(付記8)
さらに、前記検出線設定工程が、前記第1直線の中点と前記第2直線の中点とを結ぶ第3直線を設定し、
前記輝度変化検出工程が、前記第3直線について、前記右目領域、前記左目領域、前記鼻領域および前記口領域を除き、輝度変化を検出し、
前記判定工程が、前記第3直線について前記輝度変化が検出された場合にも、前記顔画像を、顔画像認証に不適切な画像であると判定することを特徴とする付記6または7記載の適正判定方法。
(付記9)
マスター画像の候補顔画像について、前記輝度変化が検出された場合、前記候補顔画像を、前記顔画像認証に不適切な画像であると判定し、前記輝度変化が検出されなかった場合、前記候補顔画像を、顔画像認証に適切な画像であると判定する適正判定工程と、
前記候補顔画像が適切な画像であると判定された場合、前記マスター画像の候補顔画像を、マスター画像として記憶する記憶工程と、
クエリー画像と前記マスター画像とを照合し、一致する場合、認証する顔画像認証工程とを含み、
前記適正判定工程が、付記6から8のいずれかに記載の適正判定方法であることを特徴とする顔画像認証方法。
(付記10)
前記適正判定工程は、クエリー画像の候補顔画像について、前記輝度変化が検出された場合、前記候補顔画像を、前記顔画像認証に不適切な画像であると判定し、前記輝度変化が検出されなかった場合、前記候補顔画像を、顔画像認証に適切な画像であると判定し、
前記顔画像認証工程は、前記候補顔画像が適切な画像であると判定された場合、前記クエリー画像の候補顔画像をクエリー画像とし、さらに、前記クエリー画像と前記マスター画像とを照合し、一致する場合、認証することを特徴とする付記9記載の顔画像認証方法。
(付記11)
付記6から8のいずれかに記載の顔画像の適正判定方法をコンピュータに実行させることを特徴とするプログラム。
(付記12)
付記9または10記載の顔画像認証方法をコンピュータに実行させることを特徴とするプログラム。
(付記13)
付記11または12記載のプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。
<Appendix>
Some or all of the above embodiments and examples can be described as the following supplementary notes, but are not limited thereto.
(Appendix 1)
A face image acquisition unit for acquiring a face image;
A binarization processing unit that generates a binarized image from the face image based on a predetermined threshold;
About the face image, a part detection unit for detecting a face outline, a right eye region including a right eye, a left eye region including a left eye, a nose region including a nose, and a mouth region including a mouth;
In the binarized image, a first straight line having a first start point at any position of the boundary of the right eye region and a first end point at an intersection with the contour of the right face below the first start point; and A detection line setting unit that sets a second straight line having a second start point at any position of the boundary of the left eye region and a second end point at an intersection with the contour of the left face below the second start point;
About the first straight line and the second straight line, except for the right eye region, the left eye region, the nose region, and the mouth region, a detection line setting unit that detects a luminance change;
A determination unit that determines that the face image is an image inappropriate for face image authentication when the change in luminance is detected for at least one of the first line and the second line. A device for determining the appropriateness of a face image to be played.
(Appendix 2)
The suitability determination apparatus according to claim 1, wherein the first straight line is a perpendicular from the first start point, and the second straight line is a perpendicular from the second start point.
(Appendix 3)
Further, the detection line setting unit sets a third straight line connecting the midpoint of the first straight line and the midpoint of the second straight line,
The luminance change detection unit detects a luminance change for the third straight line except for the right eye region, the left eye region, the nose region, and the mouth region,
The appendix 1 or 2, wherein the determination unit determines that the face image is inappropriate for face image authentication even when the luminance change is detected for the third straight line. Appropriateness judgment device.
(Appendix 4)
When the brightness change is detected for the candidate face image of the master image, the candidate face image is determined to be an image inappropriate for the face image authentication, and when the brightness change is not detected, the candidate A correctness determination unit that determines that the face image is an image suitable for face image authentication;
When it is determined that the candidate face image is an appropriate image, a storage unit that stores the candidate face image of the master image as a master image;
A query image and the master image are collated, and if they match, a face image authentication unit to be authenticated is included,
The face image authentication device, wherein the suitability determination unit is the suitability determination device according to any one of appendices 1 to 3.
(Appendix 5)
When the brightness change is detected for the candidate face image of the query image, the appropriateness determination unit determines that the candidate face image is inappropriate for the face image authentication, and the brightness change is detected. If not, the candidate face image is determined to be an image suitable for face image authentication,
When it is determined that the candidate face image is an appropriate image, the face image authenticating unit uses the candidate face image of the query image as a query image, and further checks the query image and the master image for matching. 5. The face image authentication device according to appendix 4, wherein authentication is performed when the authentication is performed.
(Appendix 6)
A binarization process for generating a binarized image from the face image based on a predetermined threshold;
About the face image, a part detection step of detecting a face outline, a right eye region including a right eye, a left eye region including a left eye, a nose region including a nose, and a mouth region including a mouth;
In the binarized image, a first straight line having a first start point at any position of the boundary of the right eye region and a first end point at an intersection with the contour of the right face below the first start point; and A detection line determination step for setting a second straight line having a second start point at any position of the boundary of the left eye region and a second end point at an intersection with the contour of the left face below the second start point;
A luminance change detection step for detecting a luminance change for the first straight line and the second straight line, excluding the right eye region, the left eye region, the nose region, and the mouth region;
A determination step of determining that the face image is inappropriate for face image authentication when the change in luminance is detected for at least one of the first line and the second line. Method for determining the appropriateness of a face image to be played.
(Appendix 7)
The suitability determination method according to appendix 6, wherein the first straight line is a perpendicular from the first starting point, and the second straight line is a perpendicular from the second starting point.
(Appendix 8)
Further, the detection line setting step sets a third straight line connecting a midpoint of the first straight line and a midpoint of the second straight line,
The luminance change detection step detects a luminance change with respect to the third straight line except for the right eye region, the left eye region, the nose region, and the mouth region;
The appendix 6 or 7, wherein the determination step determines that the face image is an image inappropriate for face image authentication even when the luminance change is detected for the third straight line. Appropriate judgment method.
(Appendix 9)
When the brightness change is detected for the candidate face image of the master image, the candidate face image is determined to be an image inappropriate for the face image authentication, and when the brightness change is not detected, the candidate An appropriateness determining step for determining that the face image is an image suitable for face image authentication;
A storage step of storing the candidate face image of the master image as a master image when it is determined that the candidate face image is an appropriate image;
A query image and the master image are collated and, if they match, a face image authentication step for authenticating,
The face image authentication method, wherein the suitability determination step is the suitability determination method according to any one of appendices 6 to 8.
(Appendix 10)
In the appropriateness determining step, when the brightness change is detected for the candidate face image of the query image, the candidate face image is determined to be an image inappropriate for the face image authentication, and the brightness change is detected. If not, the candidate face image is determined to be an image suitable for face image authentication,
In the face image authentication step, when it is determined that the candidate face image is an appropriate image, the candidate face image of the query image is set as a query image, and the query image and the master image are collated and matched. The face image authentication method according to appendix 9, wherein authentication is performed when the authentication is performed.
(Appendix 11)
A program causing a computer to execute the method for determining the appropriateness of a face image according to any one of appendices 6 to 8.
(Appendix 12)
A program causing a computer to execute the face image authentication method according to attachment 9 or 10.
(Appendix 13)
A computer-readable recording medium on which the program according to appendix 11 or 12 is recorded.

本発明によれば、例えば、手ぶれ写真か否かにかかわらず、画像認証に不適切な顔画像を容易に判定できるため、顔画像認証に最適である。   According to the present invention, for example, a face image unsuitable for image authentication can be easily determined regardless of whether it is a camera shake photograph, which is optimal for face image authentication.

1 適正判定装置
10 顔画像取得部
11 二値化処理部
12 部位検出部
13 検出線設定部
14 輝度変化検出部
15 判定部
101 CPU
102 メモリ
103 インターフェイス
104 入力装置
105 ディスプレイ
106 通信デバイス
107 記憶装置
108 プログラム
20 二値化画像
30 (二値化処理前の)顔画像
121 顔の輪郭
122a 右目領域
122b 左目領域
123 鼻領域
124 口領域
131 第1直線
132 第2直線
133 第3直線
DESCRIPTION OF SYMBOLS 1 Appropriateness determination apparatus 10 Face image acquisition part 11 Binarization process part 12 Region | part detection part 13 Detection line setting part 14 Luminance change detection part 15 Determination part 101 CPU
102 memory 103 interface 104 input device 105 display 106 communication device 107 storage device 108 program 20 binarized image 30 face image 121 (before binarization processing) face contour 122a right eye region 122b left eye region 123 nose region 124 mouth region 131 First straight line 132 Second straight line 133 Third straight line

Claims (10)

顔画像を取得する顔画像取得部と、
既定の閾値に基づき、前記顔画像から二値化画像を生成する二値化処理部と、
前記顔画像について、顔の輪郭、右目を含む右目領域、左目を含む左目領域、鼻を含む鼻領域、および口を含む口領域を検出する部位検出部と、
前記二値化画像において、前記右目領域の境界のいずれかの位置を第1始点とし、前記第1始点よりも下方向の右顔面の輪郭との交点を第1終点とする第1直線、および前記左目領域の境界のいずれかの位置を第2始点とし、前記第2始点よりも下方向の左顔面の輪郭との交点を第2終点とする第2直線を設定する検出線設定部と、
前記第1直線および前記第2直線について、前記右目領域、前記左目領域、前記鼻領域および前記口領域を除き、輝度変化を検出する検出線設定部と、
前記第1直線および前記第2直線の少なくとも一方について、前記輝度変化が検出された場合、前記顔画像を、顔画像認証に不適切な画像であると判定する判定部とを含むことを特徴とする顔画像の適正判定装置。
A face image acquisition unit for acquiring a face image;
A binarization processing unit that generates a binarized image from the face image based on a predetermined threshold;
About the face image, a part detection unit for detecting a face outline, a right eye region including a right eye, a left eye region including a left eye, a nose region including a nose, and a mouth region including a mouth;
In the binarized image, a first straight line having a first start point at any position of the boundary of the right eye region and a first end point at an intersection with the contour of the right face below the first start point; and A detection line setting unit that sets a second straight line having a second start point at any position of the boundary of the left eye region and a second end point at an intersection with the contour of the left face below the second start point;
About the first straight line and the second straight line, except for the right eye region, the left eye region, the nose region, and the mouth region, a detection line setting unit that detects a luminance change;
A determination unit that determines that the face image is an image inappropriate for face image authentication when the change in luminance is detected for at least one of the first line and the second line. A device for determining the appropriateness of a face image to be played.
前記第1直線が、前記第1始点からの垂線であり、前記第2直線が、前記第2始点からの垂線であることを特徴とする請求項1記載の適正判定装置。 The suitability determination apparatus according to claim 1, wherein the first straight line is a perpendicular from the first start point, and the second straight line is a perpendicular from the second start point. さらに、前記検出線設定部が、前記第1直線の中点と前記第2直線の中点とを結ぶ第3直線を設定し、
前記輝度変化検出部が、前記第3直線について、前記右目領域、前記左目領域、前記鼻領域および前記口領域を除き、輝度変化を検出し、
前記判定部は、前記第3直線について前記輝度変化が検出された場合にも、前記顔画像を、顔画像認証に不適切な画像であると判定することを特徴とする請求項1または2記載の適正判定装置。
Further, the detection line setting unit sets a third straight line connecting the midpoint of the first straight line and the midpoint of the second straight line,
The luminance change detection unit detects a luminance change for the third straight line except for the right eye region, the left eye region, the nose region, and the mouth region,
3. The determination unit according to claim 1, wherein the determination unit determines that the face image is an image inappropriate for face image authentication even when the luminance change is detected for the third straight line. Appropriateness judgment device.
マスター画像の候補顔画像について、前記輝度変化が検出された場合、前記候補顔画像を、前記顔画像認証に不適切な画像であると判定し、前記輝度変化が検出されなかった場合、前記候補顔画像を、顔画像認証に適切な画像であると判定する適正判定部と、
前記候補顔画像が適切な画像であると判定された場合、前記マスター画像の候補顔画像を、マスター画像として記憶する記憶部と、
クエリー画像と前記マスター画像とを照合し、一致する場合、認証する顔画像認証部とを含み、
前記適正判定部が、請求項1から3のいずれか一項に記載の適正判定装置であることを特徴とする顔画像認証装置。
When the brightness change is detected for the candidate face image of the master image, the candidate face image is determined to be an image inappropriate for the face image authentication, and when the brightness change is not detected, the candidate A correctness determination unit that determines that the face image is an image suitable for face image authentication;
When it is determined that the candidate face image is an appropriate image, a storage unit that stores the candidate face image of the master image as a master image;
A query image and the master image are collated, and if they match, a face image authentication unit to be authenticated is included,
The face image authentication apparatus, wherein the appropriateness determination unit is the appropriateness determination apparatus according to any one of claims 1 to 3.
前記適正判定部は、クエリー画像の候補顔画像について、前記輝度変化が検出された場合、前記候補顔画像を、前記顔画像認証に不適切な画像であると判定し、前記輝度変化が検出されなかった場合、前記候補顔画像を、顔画像認証に適切な画像であると判定し、
前記顔画像認証部は、前記候補顔画像が適切な画像であると判定された場合、前記クエリー画像の候補顔画像をクエリー画像とし、さらに、前記クエリー画像と前記マスター画像とを照合し、一致する場合、認証することを特徴とする請求項4記載の顔画像認証装置。
When the brightness change is detected for the candidate face image of the query image, the appropriateness determination unit determines that the candidate face image is inappropriate for the face image authentication, and the brightness change is detected. If not, the candidate face image is determined to be an image suitable for face image authentication,
When it is determined that the candidate face image is an appropriate image, the face image authenticating unit uses the candidate face image of the query image as a query image, and further checks the query image and the master image for matching. The face image authentication apparatus according to claim 4, wherein authentication is performed when the authentication is performed.
既定の閾値に基づき、顔画像から二値化画像を生成する二値化処理工程と、
前記顔画像について、顔の輪郭、右目を含む右目領域、左目を含む左目領域、鼻を含む鼻領域、および口を含む口領域を検出する部位検出工程と、
前記二値化画像において、前記右目領域の境界のいずれかの位置を第1始点とし、前記第1始点よりも下方向の右顔面の輪郭との交点を第1終点とする第1直線、および前記左目領域の境界のいずれかの位置を第2始点とし、前記第2始点よりも下方向の左顔面の輪郭との交点を第2終点とする第2直線を設定する検出線決定工程と、
前記第1直線および前記第2直線について、前記右目領域、前記左目領域、前記鼻領域および前記口領域を除き、輝度変化を検出する輝度変化検出工程と、
前記第1直線および前記第2直線の少なくとも一方について、前記輝度変化が検出された場合、前記顔画像を、顔画像認証に不適切な画像であると判定する判定工程とを含むことを特徴とする顔画像の適正判定方法。
A binarization process for generating a binarized image from the face image based on a predetermined threshold;
About the face image, a part detection step of detecting a face outline, a right eye region including a right eye, a left eye region including a left eye, a nose region including a nose, and a mouth region including a mouth;
In the binarized image, a first straight line having a first start point at any position of the boundary of the right eye region and a first end point at an intersection with the contour of the right face below the first start point; and A detection line determination step for setting a second straight line having a second start point at any position of the boundary of the left eye region and a second end point at an intersection with the contour of the left face below the second start point;
A luminance change detection step for detecting a luminance change for the first straight line and the second straight line, excluding the right eye region, the left eye region, the nose region, and the mouth region;
A determination step of determining that the face image is inappropriate for face image authentication when the change in luminance is detected for at least one of the first line and the second line. Method for determining the appropriateness of a face image to be played.
マスター画像の候補顔画像について、前記輝度変化が検出された場合、前記候補顔画像を、前記顔画像認証に不適切な画像であると判定し、前記輝度変化が検出されなかった場合、前記候補顔画像を、顔画像認証に適切な画像であると判定する適正判定工程と、
前記候補顔画像が適切な画像であると判定された場合、前記マスター画像の候補顔画像を、マスター画像として記憶する記憶工程と、
クエリー画像と前記マスター画像とを照合し、一致する場合、認証する顔画像認証工程とを含み、
前記適正判定工程が、請求項6に記載の適正判定方法であることを特徴とする顔画像認証方法。
When the brightness change is detected for the candidate face image of the master image, the candidate face image is determined to be an image inappropriate for the face image authentication, and when the brightness change is not detected, the candidate An appropriateness determining step for determining that the face image is an image suitable for face image authentication;
A storage step of storing the candidate face image of the master image as a master image when it is determined that the candidate face image is an appropriate image;
A query image and the master image are collated and, if they match, a face image authentication step for authenticating,
The face image authentication method, wherein the suitability determination step is the suitability determination method according to claim 6.
請求項6記載の顔画像の適正判定方法をコンピュータに実行させることを特徴とするプログラム。 A program causing a computer to execute the method for determining the appropriateness of a face image according to claim 6. 請求項7記載の顔画像認証方法をコンピュータに実行させることを特徴とするプログラム。 A program causing a computer to execute the face image authentication method according to claim 7. 請求項8または9に記載のプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。

10. A computer-readable recording medium on which the program according to claim 8 or 9 is recorded.

JP2018096419A 2018-05-18 2018-05-18 Face image adequacy determination device, face image adequacy determination method, program, and recording medium Active JP7168192B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018096419A JP7168192B2 (en) 2018-05-18 2018-05-18 Face image adequacy determination device, face image adequacy determination method, program, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018096419A JP7168192B2 (en) 2018-05-18 2018-05-18 Face image adequacy determination device, face image adequacy determination method, program, and recording medium

Publications (2)

Publication Number Publication Date
JP2019200722A true JP2019200722A (en) 2019-11-21
JP7168192B2 JP7168192B2 (en) 2022-11-09

Family

ID=68612547

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018096419A Active JP7168192B2 (en) 2018-05-18 2018-05-18 Face image adequacy determination device, face image adequacy determination method, program, and recording medium

Country Status (1)

Country Link
JP (1) JP7168192B2 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004310397A (en) * 2003-04-07 2004-11-04 Toyota Central Res & Dev Lab Inc Device for determining wearing of mask
JP2007334623A (en) * 2006-06-15 2007-12-27 Toshiba Corp Face authentication device, face authentication method, and access control device
JP2010097379A (en) * 2008-10-16 2010-04-30 Denso Corp Driver monitoring device and program for driver monitoring device
JP2013101551A (en) * 2011-11-09 2013-05-23 Secom Co Ltd Face image authentication device
JP2018010393A (en) * 2016-07-12 2018-01-18 バイオニクス株式会社 Person authentication device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004310397A (en) * 2003-04-07 2004-11-04 Toyota Central Res & Dev Lab Inc Device for determining wearing of mask
JP2007334623A (en) * 2006-06-15 2007-12-27 Toshiba Corp Face authentication device, face authentication method, and access control device
JP2010097379A (en) * 2008-10-16 2010-04-30 Denso Corp Driver monitoring device and program for driver monitoring device
JP2013101551A (en) * 2011-11-09 2013-05-23 Secom Co Ltd Face image authentication device
JP2018010393A (en) * 2016-07-12 2018-01-18 バイオニクス株式会社 Person authentication device

Also Published As

Publication number Publication date
JP7168192B2 (en) 2022-11-09

Similar Documents

Publication Publication Date Title
JP6403233B2 (en) User authentication method, apparatus for executing the same, and recording medium storing the same
US10664581B2 (en) Biometric-based authentication method, apparatus and system
KR102299847B1 (en) Face verifying method and apparatus
EP2866170B1 (en) Image processing device and image processing method
WO2018028546A1 (en) Key point positioning method, terminal, and computer storage medium
JP5755012B2 (en) Information processing apparatus, processing method thereof, program, and imaging apparatus
JP5361524B2 (en) Pattern recognition system and pattern recognition method
CN105303156B (en) Character detection device, method, and program
JP2012038106A (en) Information processor, information processing method and program
US11816923B2 (en) Face image candidate determination apparatus for authentication, face image candidate determination method for authentication, program, and recording medium
JP2005316973A (en) Red-eye detection apparatus, method and program
US20190286798A1 (en) User authentication method using face recognition and device therefor
KR20150143304A (en) Image recognition device and method for registering feature data in image recognition device
WO2019200872A1 (en) Authentication method and apparatus, and electronic device, computer program, and storage medium
US10592759B2 (en) Object recognition apparatus and control method therefor
KR20200004701A (en) Fingerprint recognition methods and devices
WO2021197369A1 (en) Liveness detection method and apparatus, electronic device, and computer readable storage medium
JP6157165B2 (en) Gaze detection device and imaging device
JPWO2013122009A1 (en) Reliability acquisition device, reliability acquisition method, and reliability acquisition program
CN108875556A (en) Method, apparatus, system and the computer storage medium veritified for the testimony of a witness
JP6432634B2 (en) Authentication device, authentication method, and program
JP6202937B2 (en) Image recognition apparatus, image recognition method, and computer program
JP2019200722A (en) Face image appropriateness determination device, face image appropriateness determination method, program, and recording medium
CN108596127A (en) A kind of fingerprint identification method, auth method and device and identity veritify machine
CN108140120A (en) Biological characteristic detection method and identification system

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20191025

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210405

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220325

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220405

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220513

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220927

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221020

R151 Written notification of patent or utility model registration

Ref document number: 7168192

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151