JP2016099939A - Face recognition device - Google Patents
Face recognition device Download PDFInfo
- Publication number
- JP2016099939A JP2016099939A JP2014238757A JP2014238757A JP2016099939A JP 2016099939 A JP2016099939 A JP 2016099939A JP 2014238757 A JP2014238757 A JP 2014238757A JP 2014238757 A JP2014238757 A JP 2014238757A JP 2016099939 A JP2016099939 A JP 2016099939A
- Authority
- JP
- Japan
- Prior art keywords
- person
- face recognition
- face
- unit
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 claims abstract description 42
- 230000001815 facial effect Effects 0.000 claims description 3
- 238000000034 method Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Abstract
Description
本発明の実施形態は、障害物対応の顔認識装置に関する。 Embodiments described herein relate generally to an obstacle-friendly face recognition apparatus.
セキュリティー分野における顔認証技術や、デジタルカメラで笑顔を検出する機能、顔から推定される年齢により購入是非を判断する自動販売機など、顔認識に関するアプリケーションの開発が盛んに行われている。 Face recognition applications in the security field, functions for detecting smiles with a digital camera, and vending machines that determine whether or not to purchase based on the age estimated from the face are being actively developed.
顔認識に際して、カメラの前に物理的に遮蔽物が存在する場合、カメラを使用した認識は不可能となる。そのような場合、システム側からユーザに対して遮蔽物を避けてもらうよう提示し、ユーザによる遮蔽物の取り除きを要請する必要がある。 In face recognition, if there is a physical obstacle in front of the camera, recognition using the camera becomes impossible. In such a case, it is necessary to present the user to avoid the shielding from the system side and to request the user to remove the shielding.
しかしながら、このようなユーザに対する要請は、ユーザの行為を伴うもので、ユーザに煩わしさや、煩雑さを意識させる要因となっていた。そして、顔認識した情報を使用してユーザ毎に適応した情報を提示するアプリケーションは、十分、提供されているとは言えない。 However, such a request to the user is accompanied by the user's action, and has become a factor that makes the user aware of bothersomeness and complexity. And it cannot be said that the application which presents the information adapted for every user using the information which recognized the face is provided sufficiently.
本発明が解決しようとする課題は、可能な限り、ユーザに自然な流れでカメラによる認識を意識させることなく、円滑に認識作業を行うことができる顔認識装置を提供することである。 The problem to be solved by the present invention is to provide a face recognition device that can perform a recognition operation smoothly without making the user aware of recognition by a camera in a natural flow as much as possible.
実施形態の顔認識装置は、外部に配設され、人物の画像を取得する画像取得部と、前記画像取得部からの画像情報を入力し、顔を構成する各パーツを検出する顔パーツ検出部と、前記画像取得部の近傍に配置され、人物の存在を検知する人物検知センサと、前記人物検知センサのセンサ出力を取り込んで、人物の位置を判定する人物位置判定部と、前記顔パーツ検出部から検出信号を取り込み、前記人物位置判定部から判定信号を取り込んで、遮蔽物の有無を判定する遮蔽物判定部と、前記遮蔽物判定部の判定結果を受け取り、遮蔽物が無いと判定される場合に、顔認証のための顔認識画像を生成する顔認識部と、前記遮蔽物判定部で遮蔽物が有ると判定した場合に、遮蔽物をどけるように誘導する表示内容を表示する表示部とを備える。 The face recognition device according to the embodiment is provided outside, an image acquisition unit that acquires a human image, and a face part detection unit that inputs image information from the image acquisition unit and detects each part constituting the face A person detection sensor that is arranged in the vicinity of the image acquisition unit and detects the presence of a person, a person position determination unit that takes in the sensor output of the person detection sensor and determines the position of the person, and the face part detection The detection signal is received from the unit, the determination signal is acquired from the person position determination unit, and the determination result of the shield determination unit that determines the presence or absence of the shield and the determination result of the shield determination unit is received, and it is determined that there is no shield. A face recognition unit that generates a face recognition image for face authentication, and a display that displays display contents that guide the user to remove the shielding object when the shielding object determination unit determines that the shielding object is present A part.
以下、本発明の一実施の形態について、図面を参照して説明する。尚、各図において同一箇所については同一の符号を付すとともに、重複した説明は省略する。 Hereinafter, an embodiment of the present invention will be described with reference to the drawings. In the drawings, the same portions are denoted by the same reference numerals, and redundant description is omitted.
図1は、本発明の実施形態に係る顔認識装置の構成例を示す図である。 FIG. 1 is a diagram illustrating a configuration example of a face recognition apparatus according to an embodiment of the present invention.
図1に示すように、顔認識装置100は、主として、画像取得部10と、顔パーツ検出部20、人物検知センサ30、人物位置判定部40、遮蔽物判定部50、顔認識部60、表示部70から構成されている。この装置において、顔パーツ検出部20、人物位置判定部40、遮蔽物判定部50および顔認識部60は、汎用のCPUと同CPU上で動作するソフトウェアとして実現することができる。本実施形態はこのようなCPUに、顔パーツ検出、人物位置判定処理、顔認識処理に係る一連の手続きを実行させるプログラムとして実施することもできる。
As shown in FIG. 1, the
画像取得部10は、外部に配設され画像情報を取得するもので、人物の顔が映るように配置された顔認識用カメラ(顔カメラ)である。顔カメラは、例えば、広角カメラが好適で、さらに、超広角カメラである魚眼カメラが好適である。
The
顔パーツ検出部20は、画像取得部10からの画像情報を入力し、顔を構成する各パーツを検出するものである。例えば、画像情報を所定方向に走査して、目、鼻、口などに相当する特徴部分(顔パーツ)を特定していく。
The face
人物検知センサ30は、画像取得部10の近傍に配置され、人物の存在を検知する。人物検知センサ30としては、例えば、画像センサや超音波センサや焦電型赤外線センサが好適である。超音波センサは、送波器により超音波を対象物(人物)に向け発信し、その反射波を受波器で受信することにより、対象物(人物)の有無や対象物(人物)までの距離を検出するものである。焦電型赤外線センサは、焦電効果によって赤外線を含む光を検出するもので、人体の運動などにより光の量に偏りが発生すると出力が得られる。
The
人物位置判定部40は、人物検知センサ30のセンサ出力を取り込んで、人物の位置を判定するものである。人物位置判定部40は、例えば、人物検出部41、人物移動ベクトル算出部42で構成することができる。人物検出部41は、人物検知センサ30から出力される距離情報を取得するものである。人物検知センサ30として画像センサを用いる場合には、例えば、背景差分もしくはCoHOG(Co-occurrence HOG)を用いて、人物を検知する。背景差分による人物検知は、対象の存在しない背景画像と入力画像の差分によって物体領域を求める手法である。CoHOGは、2ケ所の局所領域の勾配と勾配の関係性を表現することで人物の形状の構造を捉える手法である。
The person
人物移動ベクトル算出部42は、例えば、フレーム間で検知された人物の位置から同一人と推定できる人物を追跡し、その移動ベクトルを算出する。人物位置判定部40は、移動ベクトル及びフレームに写る人物の大きさから、その人物が顔認識装置100の間近に居るかどうかを判定する。どれ位の距離が間近かは、適宜決定することが可能である。
The person movement
遮蔽物判定部50は、顔パーツ検出部20から検出信号を、人物位置判定部40から判定信号をそれぞれ取り込んで、遮蔽物の有無を判定するものである。遮蔽物の有無の判定は、例えば、顔のパーツがいずれも検出できず、また、カメラ画像全体の輝度が極端に低い場合には、カメラの前に遮蔽物が有ると判定する。遮蔽物が有る場合には、ユーザに対して、遮蔽物をどけるように誘導する。遮蔽物として最も可能性が高いのがユーザの手である。そこで、まず、OKボタンなどを表示部70に表示し、左右の手それぞれで表示部70に触れるようにする。それでも駄目な場合は、カメラの前の遮蔽物をユーザに確認するように促す。それでも、駄目な場合は、カメラの故障と判定する。判定結果は、顔認識部60あるいは表示部70に送られる。
The shielding
顔認識部60は、遮蔽物判定部50の判定結果を受け取り、遮蔽物が無いと判定される場合に、顔認証のための顔認識画像を生成する。生成した顔認識画像信号は、表示部70に出力される。
The
表示部70は、顔認識部60からの受け取った顔認識画像を表示する。また、本実施形態では、遮蔽物判定部50で遮蔽物が有ると判定した場合には、上述した“遮蔽物をどけるように誘導する”表示内容を表示する。
The
以上のように構成された顔認識装置100について詳述する。
The
本実施形態においては、カメラ前に遮蔽物があるか否かを検出し、可能な限りユーザに自然な流れでカメラによる認識が行われていることを意識させることなく、スムーズに認証作業を行えるように、顔認識画像情報の取得を可能にする。 In the present embodiment, it is possible to detect whether there is an obstruction in front of the camera and perform authentication work smoothly without making the user aware of the recognition by the camera in a natural flow as much as possible. Thus, it is possible to acquire face recognition image information.
<人物位置判定>
図2は、人物位置判定処理の流れを示すフローチャートである。
<Person position determination>
FIG. 2 is a flowchart showing the flow of the person position determination process.
まず、人物検知センサを起動させ、初期化を行う(ステップS201)。 First, the person detection sensor is activated and initialized (step S201).
次に、人物検知を開始する(ステップS202)。具体的には、人物検知センサ30から出力される距離情報を取得する。
Next, person detection is started (step S202). Specifically, the distance information output from the
次いで、人物を追跡する(ステップS203)。人物の追跡では、例えば、フレーム間で検知された人物の位置から同一人と推定できる人物を追跡し、その移動ベクトルを算出する。 Next, the person is tracked (step S203). In tracking a person, for example, a person who can be estimated as the same person is tracked from the position of the person detected between frames, and the movement vector is calculated.
続いて、人物位置の判定を行う(ステップS204)。具体的には、人物位置判定部40は、移動ベクトル及びフレームに写る人物の大きさから、その人物が顔認識装置100の間近に居るかどうかを判定する。
Subsequently, the person position is determined (step S204). Specifically, the person
次に、人物検知センサの電源がOFFか否かを判定する(ステップS205)。 Next, it is determined whether or not the power of the person detection sensor is OFF (step S205).
電源がOFFでなければ(ステップS205でNo)、ステップS202からステップS205の処理を繰り返し、電源がOFFであれば(ステップS205でYes)、人物位置判定処理を終了する。 If the power is not off (No in step S205), the processing from step S202 to step S205 is repeated. If the power is off (Yes in step S205), the person position determination process is terminated.
<顔認識処理>
図3は、顔認識処理の流れを示すフローチャートである。
<Face recognition processing>
FIG. 3 is a flowchart showing the flow of face recognition processing.
まず、画像取得部10である顔認識用カメラを起動させ、初期化を行う(ステップS301)。初期化は、例えば、カメラキャリブレーション等を行う。
First, the face recognition camera, which is the
次に、人物位置の情報を取得する(ステップS302)。 Next, information on the person position is acquired (step S302).
続いて、人物が間近にいるか否かを判定する(ステップS303)。 Subsequently, it is determined whether or not a person is close (step S303).
間近にいなければ(ステップS303でNo)、ステップS302に戻り、間近にいれば(ステップS303でYes)、顔のパーツを検出する(ステップS304)。検出する顔のパーツとしては、目、鼻、口の全てでもいずれかでもよい。 If it is not close (No in Step S303), the process returns to Step S302, and if it is close (Yes in Step S303), a facial part is detected (Step S304). The face parts to be detected may be all of eyes, nose, or mouth.
次に、遮蔽物の有無を判定する(ステップS305)。例えば、顔のパーツがいずれも検出できず、また、カメラ画像全体の輝度が極端に低い場合には、顔カメラの前に遮蔽物が有ると判定する。 Next, the presence / absence of a shielding object is determined (step S305). For example, when none of the facial parts can be detected and the brightness of the entire camera image is extremely low, it is determined that there is a shield in front of the face camera.
遮蔽物があれば(ステップS305でYes)、遮蔽物をどけるように誘導(ステップS306)した後、ステップS304に移行する。 If there is a shielding object (Yes in step S305), after guiding the shielding object to be removed (step S306), the process proceeds to step S304.
一方、遮蔽物がなければ(ステップS305でNo)、顔認証を開始する(ステップS307)。尚、本実施形態に係る顔認識装置100では、顔認証作業を行うための顔認識画像情報の取得を行い、別途用意する認証システムにおいて、認証作業を行うことでもよい。
On the other hand, if there is no obstruction (No in step S305), face authentication is started (step S307). In the
次に、顔認識用カメラの電源がOFFか否かを判定する(ステップS308)。 Next, it is determined whether or not the face recognition camera is turned off (step S308).
電源がOFFでなければ(ステップS308でNo)、ステップS302からステップS307の処理を繰り返し、電源がOFFであれば(ステップS308でYes)、顔認識処理を終了する。 If the power is not turned off (No in step S308), the processing from step S302 to step S307 is repeated. If the power is turned off (Yes in step S308), the face recognition process is terminated.
本実施形態によれば、ヒューマンエラーにより、顔認識システムが動作しないことを防ぐことができる。また、顔認識システムを使用するユーザに不快感を与えるおそれがない。 According to this embodiment, it is possible to prevent the face recognition system from not operating due to a human error. Moreover, there is no possibility that the user who uses the face recognition system will feel uncomfortable.
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although several embodiments of the present invention have been described, these embodiments are presented by way of example and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the scope of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, and are included in the invention described in the claims and the equivalents thereof.
100・・・顔認識装置
10・・・画像取得部
20・・・顔パーツ検出部
30・・・人物検知センサ
40・・・人物位置判定部
50・・・遮蔽物判定部
60・・・顔認識部
70・・・表示部
DESCRIPTION OF
Claims (9)
前記画像取得部からの画像情報を入力し、顔を構成する各パーツを検出する顔パーツ検出部と、
前記画像取得部の近傍に配置され、人物の存在を検知する人物検知センサと、
前記人物検知センサのセンサ出力を取り込んで、人物の位置を判定する人物位置判定部と、
前記顔パーツ検出部から検出信号を取り込み、前記人物位置判定部から判定信号を取り込んで、遮蔽物の有無を判定する遮蔽物判定部と、
前記遮蔽物判定部の判定結果を受け取り、遮蔽物が無いと判定される場合に、顔認証のための顔認識画像を生成する顔認識部と、
前記遮蔽物判定部で遮蔽物が有ると判定した場合に、遮蔽物をどけるように誘導する表示内容を表示する表示部とを備える顔認識装置。 An image acquisition unit arranged outside and acquiring an image of a person;
A face part detection unit that inputs image information from the image acquisition unit and detects each part constituting the face;
A person detection sensor arranged in the vicinity of the image acquisition unit for detecting the presence of a person;
A person position determination unit that takes in the sensor output of the person detection sensor and determines the position of the person;
Detecting a detection signal from the face part detection unit, capturing a determination signal from the person position determination unit,
A face recognition unit that receives a determination result of the shielding object determination unit and generates a face recognition image for face authentication when it is determined that there is no shielding object;
A face recognition apparatus comprising: a display unit configured to display a display content for guiding the shield to be removed when the shield determination unit determines that there is a shield.
人物の有無を検出する人物検出部と、
人物が検出された場合に、同一人と推定できる人物を追跡し、その移動ベクトルを算出する人物移動ベクトル算出部から成る請求項1または請求項2に記載の顔認識装置。 The person position determination unit
A person detection unit for detecting the presence or absence of a person;
The face recognition device according to claim 1, further comprising a person movement vector calculation unit that tracks a person that can be estimated as the same person and calculates a movement vector when the person is detected.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014238757A JP6431346B2 (en) | 2014-11-26 | 2014-11-26 | Face recognition device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014238757A JP6431346B2 (en) | 2014-11-26 | 2014-11-26 | Face recognition device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016099939A true JP2016099939A (en) | 2016-05-30 |
JP6431346B2 JP6431346B2 (en) | 2018-11-28 |
Family
ID=56075816
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014238757A Active JP6431346B2 (en) | 2014-11-26 | 2014-11-26 | Face recognition device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6431346B2 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109064643A (en) * | 2018-06-15 | 2018-12-21 | 德森商学院(深圳)有限公司 | One kind settling accounts automatic selling counter based on internet recognition of face cloud |
KR20210058266A (en) * | 2019-11-14 | 2021-05-24 | 김재영 | Worker's access management apparatus for enterprise resource planning system |
US11210498B2 (en) | 2017-06-26 | 2021-12-28 | Nec Corporation | Facial authentication device, facial authentication method, and program recording medium |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002010246A (en) * | 2000-06-22 | 2002-01-11 | Omron Corp | Photographing device |
JP2005084815A (en) * | 2003-09-05 | 2005-03-31 | Toshiba Corp | Face recognition device, face recognition method and passage control apparatus |
JP2007028120A (en) * | 2005-07-15 | 2007-02-01 | Sony Corp | Moving object tracking control unit and method, moving object tracking system, and program |
JP2007316496A (en) * | 2006-05-29 | 2007-12-06 | Canon Inc | Imaging apparatus and control method therefor |
JP2010262392A (en) * | 2009-04-30 | 2010-11-18 | Glory Ltd | Image processor, image processing method and program for making computer execute the method |
-
2014
- 2014-11-26 JP JP2014238757A patent/JP6431346B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002010246A (en) * | 2000-06-22 | 2002-01-11 | Omron Corp | Photographing device |
JP2005084815A (en) * | 2003-09-05 | 2005-03-31 | Toshiba Corp | Face recognition device, face recognition method and passage control apparatus |
JP2007028120A (en) * | 2005-07-15 | 2007-02-01 | Sony Corp | Moving object tracking control unit and method, moving object tracking system, and program |
JP2007316496A (en) * | 2006-05-29 | 2007-12-06 | Canon Inc | Imaging apparatus and control method therefor |
JP2010262392A (en) * | 2009-04-30 | 2010-11-18 | Glory Ltd | Image processor, image processing method and program for making computer execute the method |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11210498B2 (en) | 2017-06-26 | 2021-12-28 | Nec Corporation | Facial authentication device, facial authentication method, and program recording medium |
US11915518B2 (en) | 2017-06-26 | 2024-02-27 | Nec Corporation | Facial authentication device, facial authentication method, and program recording medium |
CN109064643A (en) * | 2018-06-15 | 2018-12-21 | 德森商学院(深圳)有限公司 | One kind settling accounts automatic selling counter based on internet recognition of face cloud |
KR20210058266A (en) * | 2019-11-14 | 2021-05-24 | 김재영 | Worker's access management apparatus for enterprise resource planning system |
KR102329987B1 (en) * | 2019-11-14 | 2021-11-22 | 김재영 | Worker's access management apparatus for enterprise resource planning system |
Also Published As
Publication number | Publication date |
---|---|
JP6431346B2 (en) | 2018-11-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10205883B2 (en) | Display control method, terminal device, and storage medium | |
EP3284016B1 (en) | Authentication of a user of a device | |
JP2022172325A (en) | Authentication system | |
US20170109513A1 (en) | Identification, authentication, and/or guiding of a user using gaze information | |
US9696814B2 (en) | Information processing device, gesture detection method, and gesture detection program | |
US20150077329A1 (en) | Eye tracking-based user interface method and apparatus | |
JP2013076924A5 (en) | ||
US10424116B2 (en) | Display apparatus and controlling method thereof | |
CN106933343B (en) | Apparatus and method for recognizing gestures in virtual reality headset | |
US10254831B2 (en) | System and method for detecting a gaze of a viewer | |
TW202009653A (en) | Direction determination system and direction determination method | |
KR20150055543A (en) | Gesture recognition device and gesture recognition device control method | |
WO2018079446A1 (en) | Information input device and information input method | |
JP5228074B2 (en) | Information processing apparatus and display control method | |
JP2011059528A (en) | Display device and control method | |
US10235607B2 (en) | Control device, control method, and computer program product | |
CN110956061A (en) | Action recognition method and device, and driver state analysis method and device | |
US20130308835A1 (en) | Mobile Communication Device with Image Recognition and Method of Operation Therefor | |
JP6431346B2 (en) | Face recognition device | |
JP2009064395A (en) | Pointing device, program for making computer to correct error between operator's gaze position and cursor position, and computer-readable recording medium with the program recorded | |
JP5882929B2 (en) | Image processing apparatus, image processing method, and image processing program | |
WO2022001568A1 (en) | Object positioning method and apparatus, projection method and apparatus, and projector | |
KR101961266B1 (en) | Gaze Tracking Apparatus and Method | |
KR101619656B1 (en) | Gaze Tracking Apparatus and Method for Detecting Pupil thereof | |
JPWO2017212967A1 (en) | Verification device and verification method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170913 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20180226 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180802 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180821 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180914 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181030 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181102 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6431346 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |