JP2019168929A - Information processor, authentication method in information processor, and program - Google Patents
Information processor, authentication method in information processor, and program Download PDFInfo
- Publication number
- JP2019168929A JP2019168929A JP2018056267A JP2018056267A JP2019168929A JP 2019168929 A JP2019168929 A JP 2019168929A JP 2018056267 A JP2018056267 A JP 2018056267A JP 2018056267 A JP2018056267 A JP 2018056267A JP 2019168929 A JP2019168929 A JP 2019168929A
- Authority
- JP
- Japan
- Prior art keywords
- authentication
- face image
- processing apparatus
- information processing
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Collating Specific Patterns (AREA)
Abstract
Description
本発明は、顔認証システムを備えた情報処理装置に関するものである。 The present invention relates to an information processing apparatus including a face authentication system.
従来から、顔認証によるユーザーの認証機能を備えた複合機(MFP:MultiFunction Peripheral)がある。そこでは、MFPの前に立った操作者の顔を撮影して、その顔画像を予め登録してある顔画像と照合することにより、操作者を認証するか否かを判定する顔認証システムが用いられている。
顔画像同士を照合する際には、撮影した顔画像の対象領域の画像を抽出した撮影顔画像対象抽出部と、予め登録してある顔画像より対象抽出部に対応した領域を抽出した登録顔画像対象抽出部とを、照合部において照合して、判定する。
Conventionally, there is a multifunction peripheral (MFP) having a user authentication function based on face authentication. There is a face authentication system that determines whether or not to authenticate an operator by photographing the face of the operator standing in front of the MFP and comparing the face image with a pre-registered face image. It is used.
When collating face images, a captured face image target extraction unit that extracts an image of a target region of a captured face image, and a registered face that extracts a region corresponding to the target extraction unit from a pre-registered face image The image target extraction unit is checked by the matching unit.
また、特許文献1には、顔の領域を分割して、分割した各領域のうち、目を含む上位領域と、鼻と口を含む下位領域において、目、鼻、口が正常か、あるいは、サングラスやマスクで部分的に顔が隠されている状態かを判別する。そして、部分的に顔が隠されていると判定した場合には、警告メッセージを送信する。この警告が複数回続いたら、認証を拒否する。 Further, Patent Document 1 divides a face region, and among the divided regions, eyes, nose and mouth are normal in an upper region including eyes and a lower region including nose and mouth, or It is determined whether the face is partially hidden by sunglasses or a mask. If it is determined that the face is partially hidden, a warning message is transmitted. If this warning continues multiple times, the authentication is rejected.
顔認証システムにおいては、撮影された被認識者の顔の一部が隠れてしまい、認証をすることができないという問題が発生することがある。
この要因として考えられるのが、1つは、他人が悪意をもって、被認証者になりすまそうとして、顔の一部を隠す場合である。その他には、登録されている本人が認証を試みながら、サングラス、マスク、帽子などを着けたまま撮影をしてしまったり、メガネが反射をしたりして、顔の一部の認識ができなくなってしまった場合、などがある。
In the face authentication system, a part of the photographed face of the person to be recognized may be hidden, which may cause a problem that authentication cannot be performed.
One possible reason for this is when another person hides a part of the face in an attempt to impersonate the person to be authenticated. In addition, while the registered person tries to authenticate, he / she shoots with sunglasses, a mask, a hat, etc., or the spectacles reflect, making it impossible to recognize part of the face. If you have, there are.
例えば、特許文献1では、他人がなりすましで顔の一部を隠そうとしている場合と、本人自身が認証を試みているにかかわらず、顔の一部の撮影の状態が悪いため、認証することができない場合とを、区別をしていない。そして、両方の場合において、顔の一部が隠れた状態であると判定して、複数回の警告を行うことにより、認証を拒否している。
このため、登録されている本人が認証を試みている場合には、MFPの操作作業の効率を悪化させてしまう可能性がある。
For example, in Japanese Patent Laid-Open No. 2004-260260, authentication is performed because a person who is trying to hide a part of a face by impersonation and a person who is trying to authenticate himself / herself are in a poor shooting state. There is no distinction from the case where it is not possible. In both cases, it is determined that a part of the face is hidden, and the authentication is rejected by performing a plurality of warnings.
For this reason, when the registered person tries to authenticate, the efficiency of the operation operation of the MFP may be deteriorated.
本発明は、顔認証手段による判定に基づいて利用が許可される情報処理装置であって、前記顔認証手段は、N(Nは3以上の自然数)部位に分割された撮影顔画像と、N部位に分割された登録顔画像とを、分割された部位ごとに比較を行い、N部位すべてで認証が成功した場合、撮影顔画像が登録顔画像に一致するという第1の判定を行い、M(Mは、2以上、かつ、Nより小さい自然数)部位未満で認証が成功した場合、撮影顔画像が登録顔画像に一致しないという第2の判定を行い、M以上、かつ、N−1以下の部位で認証が成功した場合、一部の部位が認証に失敗したという第3の判定を行うことを特徴とする。 The present invention is an information processing apparatus that is permitted to be used based on a determination by a face authentication unit, wherein the face authentication unit includes a captured face image divided into N (N is a natural number of 3 or more) parts, The registered face image divided into the parts is compared for each divided part, and if the authentication is successful in all the N parts, a first determination is made that the photographed face image matches the registered face image, and M (M is a natural number less than or equal to 2 and less than N) If authentication is successful at less than a part, a second determination is made that the captured face image does not match the registered face image, and M or more and N-1 or less When the authentication is successful at the part, a third determination is made that a part of the part has failed in the authentication.
本発明によれば、分割した顔画像のうち、一部の部位で認証が失敗したとしても、即座に顔認証をNGとすることなく、操作者に顔画像を再度、撮影することを促すことができる。このため、操作者が登録されている本人である場合に、認証手続きの効率を向上させることができる。 According to the present invention, even if authentication fails in some parts of the divided face images, prompting the operator to take a face image again without immediately turning the face authentication to NG. Can do. For this reason, when the operator is the registered person, the efficiency of the authentication procedure can be improved.
以下、各図面を用いて、本発明の実施例について説明する。
図1は、本発明の情報処理装置の一例である画像形成装置の全体図である。図1(a)は、画像形成装置を正面から見た図である。図1(b)は、画像形成装置を上面から見た図である。
Embodiments of the present invention will be described below with reference to the drawings.
FIG. 1 is an overall view of an image forming apparatus which is an example of an information processing apparatus of the present invention. FIG. 1A is a front view of the image forming apparatus. FIG. 1B is a view of the image forming apparatus as viewed from above.
本実施例において、画像形成装置はMFPである。MFP100は、操作部206、読み取り部204、給紙カセット104、ADF109などから構成される。MFP100は、コピー、プリント、ファックス、スキャンなどの機能を実行することができる。
MFP100は、通常電力モードと、通常電力モードよりも消費電力が小さい省電力モードと、を切り替えて動作することができる。
また、MFP100には、顔認証を行うために、操作者を撮影するカメラ202が配置される。
In this embodiment, the image forming apparatus is an MFP. The MFP 100 includes an operation unit 206, a reading unit 204, a paper feed cassette 104, an ADF 109, and the like. The MFP 100 can execute functions such as copying, printing, faxing, and scanning.
The MFP 100 can operate by switching between a normal power mode and a power saving mode in which power consumption is lower than that in the normal power mode.
Further, the MFP 100 is provided with a camera 202 for photographing the operator in order to perform face authentication.
図2は、MFP100のハードウェア構成を示すブロック図である。
MFP100は、カメラ部202、コントローラ203、読取部204、印刷部205、操作部206、電源制御部207、HDD209、などを備える。
カメラ部202は、認証者を撮影するために設けられる。そして、認証者の顔を撮影して、顔画像のデータをコントローラ203へ送る。
FIG. 2 is a block diagram showing a hardware configuration of MFP 100.
The MFP 100 includes a camera unit 202, a controller 203, a reading unit 204, a printing unit 205, an operation unit 206, a power supply control unit 207, an HDD 209, and the like.
The camera unit 202 is provided for photographing the authenticator. Then, the face of the authenticator is photographed and the face image data is sent to the controller 203.
コントローラ203は、MFP100全体の制御を行う。
読取部204は、画像形成装置に投入された紙原稿の読み取りを行う。
印刷部205は、出力紙への印刷を行う。
操作部206は、操作者が操作を行うためのインターフェースであり、表示部などからなる。
電源制御部207は、図示しないスリープ復帰センサからの入力により、カメラ202、コントローラ203、読取部204、印刷部205、操作部206への電源供給を制御する。
HDD(Hard Disk Drive)209は、各種のデータを格納する記憶装置である。
A controller 203 controls the entire MFP 100.
A reading unit 204 reads a paper document input into the image forming apparatus.
The printing unit 205 performs printing on output paper.
The operation unit 206 is an interface for an operator to perform an operation, and includes a display unit and the like.
The power control unit 207 controls power supply to the camera 202, the controller 203, the reading unit 204, the printing unit 205, and the operation unit 206 based on an input from a sleep return sensor (not shown).
An HDD (Hard Disk Drive) 209 is a storage device that stores various data.
図3は、コントローラ203の機能構成を示すブロック図である。
コントローラ203は、MFP制御部301、読取画像処理部302、読取制御信号I/F部303、印刷画像処理部304、印刷制御信号I/F部305、UI送受信データI/F部308、電源制御I/F部309、などを備える。
FIG. 3 is a block diagram illustrating a functional configuration of the controller 203.
The controller 203 includes an MFP control unit 301, a read image processing unit 302, a read control signal I / F unit 303, a print image processing unit 304, a print control signal I / F unit 305, a UI transmission / reception data I / F unit 308, and a power control. An I / F unit 309 and the like.
MFP制御部301は、コントローラ203内の各部の制御を行う。また、MFP制御部301は、いずれも図示しない、CPU、ROM、RAM、などを含む。
読取画像処理部302は、読取部204で読み取られた画像の処理を行う。
読取制御信号I/F部303は、読取制御信号を用いて読取部204との通信を行うインターフェース部である。
An MFP control unit 301 controls each unit in the controller 203. In addition, the MFP control unit 301 includes a CPU, a ROM, a RAM, and the like, all not shown.
The read image processing unit 302 processes the image read by the reading unit 204.
The reading control signal I / F unit 303 is an interface unit that communicates with the reading unit 204 using the reading control signal.
印刷画像処理部304は、印刷部205で印刷する画像データの画像処理を行う。
印刷制御信号I/F部305は、印刷制御信号を用いて印刷部205との通信を行うインターフェースである。
UI送受信データI/F部308は、操作部206へ表示データを送信するインターフェースである。
電源制御I/F部309は、電源制御部207から制御信号を受けて、コントローラ203内の電源制御を行うインターフェースである。
A print image processing unit 304 performs image processing of image data to be printed by the printing unit 205.
A print control signal I / F unit 305 is an interface that communicates with the print unit 205 using a print control signal.
The UI transmission / reception data I / F unit 308 is an interface that transmits display data to the operation unit 206.
The power control I / F unit 309 is an interface that receives a control signal from the power control unit 207 and performs power control in the controller 203.
本実施例における各種の設定および制御は、MFP制御部301内の、図示しないROMに格納された、または、RAMに展開された、制御プログラムにしたがって、MFP制御部301内のCPUにより実行される。 Various settings and controls in this embodiment are executed by the CPU in the MFP control unit 301 according to a control program stored in a ROM (not shown) in the MFP control unit 301 or expanded in the RAM. .
図4は、操作部206のハードウェア構成を示すブロック図である。
操作部206は、コントローラI/F部401、UI制御部402、表示部403、キー入力部404、スピーカー部405、発光部406、メモリ407、顔認証部408、電源制御I/F部409、などを備える。
FIG. 4 is a block diagram illustrating a hardware configuration of the operation unit 206.
The operation unit 206 includes a controller I / F unit 401, a UI control unit 402, a display unit 403, a key input unit 404, a speaker unit 405, a light emitting unit 406, a memory 407, a face authentication unit 408, a power control I / F unit 409, Etc.
コントローラI/F部401は、コントローラ203との通信を行うインターフェースである。
UI制御部402は、表示部403などの、操作部206内の各部の制御を行う、ユーザーインターフェース制御部である。また、UI制御部402は、顔認証のために顔画像を上、中、下部に分割し、各部の特徴量を抽出する制御を行う。
表示部403は、文字や画像の表示、各種の設定を確認するためのパネルなどからなる表示部である。
The controller I / F unit 401 is an interface that communicates with the controller 203.
The UI control unit 402 is a user interface control unit that controls each unit in the operation unit 206 such as the display unit 403. In addition, the UI control unit 402 performs control to divide a face image into upper, middle, and lower parts for face authentication and extract feature amounts of each part.
The display unit 403 is a display unit including a panel for confirming display of characters and images, various settings, and the like.
キー入力部404は、ボタンやテンキーなどからなる入力部である。
スピーカー部405は、ブザー音を出力するスピーカーからなる。
発光部406は、LEDなどにより構成される。
メモリ407は、カメラ部202から送付されてくる、カメラ部202が撮影した顔画像のデータと、コントローラ203から送付されてくる、HDD209に予め登録されている顔画像のデータとを、格納するメモリ部である。
顔認証部408は、顔撮影データと登録顔データを照合して、認証を行う認証部である。
電源制御I/F部409は、電源制御部207からの制御信号を受けて、操作部206内の電源制御を行うインターフェースである。
The key input unit 404 is an input unit including buttons and numeric keys.
The speaker unit 405 includes a speaker that outputs a buzzer sound.
The light emitting unit 406 is configured by an LED or the like.
A memory 407 stores the face image data captured by the camera unit 202 sent from the camera unit 202 and the face image data registered in advance in the HDD 209 sent from the controller 203. Part.
The face authentication unit 408 is an authentication unit that performs authentication by collating face photographing data and registered face data.
A power control I / F unit 409 is an interface that receives a control signal from the power control unit 207 and performs power control in the operation unit 206.
次に、顔認証処理について説明する。
図5は、MFP100の全体的な動作を示すフローチャートである。
本フローチャートに基づく処理は、MFP制御部301内の、図示しないROMに格納された、または、RAMに展開された、制御プログラムにしたがって、MFP制御部301内のCPUにより実行される。
Next, the face authentication process will be described.
FIG. 5 is a flowchart showing the overall operation of MFP 100.
The processing based on this flowchart is executed by the CPU in the MFP control unit 301 in accordance with a control program stored in a ROM (not shown) in the MFP control unit 301 or expanded in the RAM.
まず、MFP100に電源が入れられると、S501において操作者からの操作を待つ状態となる。
そして、S502において、操作者が、自身が登録されていることを認証させるために、IDカードを読み込ませる。これにより、IDカードに記録されているID情報が、操作者の個人認証情報として入力される。また、個人認証情報を入力するためには、パスワードを入力させるようにしてもよい。
操作者の個人認証情報が入力されると、S503において、カメラ202が操作者の顔を撮影する。そして、顔認証部408は、撮影された顔画像(以下、「撮影顔画像」とも言う)と、予め登録されている顔画像(以下、「登録顔画像」とも言う)とを照合して、顔認証処理を行う。顔認証処理の詳細については、図7で後述する。
First, when the MFP 100 is turned on, the MFP 100 waits for an operation from the operator in S501.
In step S502, the operator reads the ID card in order to authenticate that the operator is registered. Thereby, the ID information recorded in the ID card is input as the personal authentication information of the operator. Further, in order to input personal authentication information, a password may be input.
When the personal authentication information of the operator is input, the camera 202 captures the face of the operator in S503. Then, the face authentication unit 408 collates the captured face image (hereinafter also referred to as “captured face image”) with a previously registered face image (hereinafter also referred to as “registered face image”), Perform face authentication processing. Details of the face authentication processing will be described later with reference to FIG.
S503の顔認証が成功すると、S504において、顔認証がOKとなる。
これにより、認証された操作者はMFPの利用が許可される。
その後、S505において、操作者がジョブを実行する。
S506においてジョブが終了したと判断されると、本フローチャートは終了する。
If the face authentication in S503 is successful, the face authentication is OK in S504.
As a result, the authenticated operator is permitted to use the MFP.
Thereafter, in S505, the operator executes the job.
If it is determined in S506 that the job has been completed, this flowchart ends.
一方、S503で顔認証が失敗した場合、S504において、顔認証はNGと判断される。そして、操作者にMFPの利用を許可することなく、本フローチャートは終了する。 On the other hand, if the face authentication fails in S503, the face authentication is determined to be NG in S504. Then, the flowchart ends without allowing the operator to use the MFP.
図6は、図5のフローチャートにおける顔認証処理(S503)の詳細を示すフローチャートである。
図5のS502で、操作者が、MFPの前に立ち、IDカードを読み込ませる、または、パスワードを入力すると、S601において、カメラ202が操作者の顔を撮影する。
そして、カメラが撮影した顔画像データは、メモリ407に転送され、格納される。
次に、S602において、UI制御部402は、メモリ407に格納された撮影顔画像を、上、中、下部の3つの部位に3分割する。そして、部位毎の撮影顔画像データをメモリ407に格納するとともに、各部位の特徴量を抽出する。なお、特徴量を抽出する手法については、公知の技術であるため、ここでは説明を省略する。
FIG. 6 is a flowchart showing details of the face authentication process (S503) in the flowchart of FIG.
In S502 of FIG. 5, when the operator stands in front of the MFP and reads the ID card or inputs a password, the camera 202 captures the face of the operator in S601.
The face image data captured by the camera is transferred to the memory 407 and stored.
In step S <b> 602, the UI control unit 402 divides the photographed face image stored in the memory 407 into three parts, that is, an upper part, a middle part, and a lower part. Then, the captured face image data for each part is stored in the memory 407, and the feature amount of each part is extracted. Note that the technique for extracting the feature amount is a known technique, and thus the description thereof is omitted here.
S603において、MFP制御部301は、S502で入力された個人認証情報を参照して、HDD209に登録されている登録顔画像データを検索して、抽出する。
そして、S604において、抽出した登録顔画像を、上、中、下部の3つの部位に分割する。そして、部位毎の登録顔画像データをHDD209に格納するとともに、各部位の特徴量を抽出する。そして、分割された登録顔データを、UI送受信データI/F部308を介して、操作部206内のメモリ407に格納する。
これにより、上、中、下部の3つの部位に分割された撮影顔画像データと、上、中、下部の3つの部位に分割された登録顔画像データが、各部位毎にメモリ407に保存される。
In step S <b> 603, the MFP control unit 301 refers to the personal authentication information input in step S <b> 502 and searches for and extracts registered face image data registered in the HDD 209.
In step S604, the extracted registered face image is divided into three parts, an upper part, a middle part, and a lower part. Then, the registered face image data for each part is stored in the HDD 209, and the feature amount of each part is extracted. The divided registered face data is stored in the memory 407 in the operation unit 206 via the UI transmission / reception data I / F unit 308.
Thus, the captured face image data divided into the upper, middle, and lower three parts and the registered face image data divided into the upper, middle, and lower three parts are stored in the memory 407 for each part. The
そして、S605において、顔認証部408は、メモリ407から読み出された撮影顔画像データと登録顔画像データを用いて、3分割した、上、中、下部の部位毎に比較を行う。
この際、顔認証部408は、3つの部位に分割された撮影顔画像データのうちの上部の特徴量と、3つの部位に分割された登録顔画像データのうちの上部の特徴量と、を比較して、認識スコアを算出する。
同様に、撮影顔画像データの中部の特徴量と、登録顔画像データの中部の特徴量と、を比較して認識スコアを算出する。
また、撮影顔画像データの下部の特徴量と、登録顔画像での下部の特徴量と、を比較して認識スコアを算出する。
In step S <b> 605, the face authentication unit 408 performs comparison for each of the upper, middle, and lower parts divided into three using the captured face image data and the registered face image data read from the memory 407.
At this time, the face authentication unit 408 obtains the upper feature quantity of the captured face image data divided into three parts and the upper feature quantity of the registered face image data divided into three parts. In comparison, a recognition score is calculated.
Similarly, a recognition score is calculated by comparing the feature quantity of the middle part of the captured face image data with the feature quantity of the middle part of the registered face image data.
Also, the recognition score is calculated by comparing the lower feature amount of the photographed face image data with the lower feature amount of the registered face image.
なお、認識スコアを算出する場合の画像データのパターンマッチング方法は、公知の技術であるため、ここでは説明を省略する。
認識スコアが一定の閾値を超える場合、顔認証部408は、認証が成功したと判断する。一方、一定の閾値を越えなければ、顔認証は失敗したと判断する。
そして、上、中、下部の部位毎に、顔認証が成功したか、あるいは、失敗したかを判断する。
In addition, since the pattern matching method of the image data in the case of calculating a recognition score is a well-known technique, description is abbreviate | omitted here.
When the recognition score exceeds a certain threshold value, the face authentication unit 408 determines that the authentication is successful. On the other hand, if the predetermined threshold is not exceeded, it is determined that face authentication has failed.
Then, it is determined whether the face authentication has succeeded or failed for each of the upper, middle, and lower parts.
S606において、撮影顔画像の上、中、下の3部位の認証がすべて成功したと判断すると、顔認証部408は、撮影顔画像が登録顔画像に一致したと判定する。
そして、S608において顔認証はOKとなり、顔認証を終了する。
S606で上、中、下の3部位の少なくとも1つの部位の認証が失敗すると、S607の処理に進む。
If it is determined in step S606 that all of the upper, middle, and lower parts of the photographed face image have been successfully authenticated, the face authentication unit 408 determines that the photographed face image matches the registered face image.
In step S608, the face authentication is OK and the face authentication ends.
If authentication of at least one of the upper, middle, and lower three parts fails in S606, the process proceeds to S607.
S607において、上、中、下の3部位の認証がすべて失敗と判断された場合、または、上、中、下の3部位のうち、2つの部位の認証が失敗と判断した場合、顔認証部408は、撮影顔画像と登録顔画像とは一致しないと判定する。すなわち、撮影顔画像は、入力された個人認証情報を有する者とは別人の顔画像であると判定する。そして、S609において顔認証はNGとなり、顔認証を終了する。 If it is determined in step S607 that all of the upper, middle, and lower three parts are unsuccessful, or if two parts of the upper, middle, and lower parts are unsuccessful, the face authentication unit In step 408, it is determined that the captured face image does not match the registered face image. That is, the photographed face image is determined to be a face image of a person different from the person having the input personal authentication information. In step S609, the face authentication is NG, and the face authentication ends.
これに対して、S607において、上、中、下の3部位のうち、1つの部位で認証が失敗しても、他の2つの部位の認証が成功と判断された場合、即座に顔認証をNGとはしない。
なぜなら、この場合、操作者が登録されている者であるのにかかわらず、撮影時に、一部の部位が何かの原因により的確に撮影されていなかった可能性があると考えられるからである。
On the other hand, in S607, even if authentication fails in one of the upper, middle, and lower parts, if authentication of the other two parts is determined to be successful, face authentication is immediately performed. Not NG.
This is because, in this case, it is considered that there is a possibility that some parts have not been photographed accurately due to some cause at the time of photographing, regardless of whether the operator is a registered person. .
そこで、S610において、UI制御部402は、撮影顔画像の一部が認証に失敗した旨の通知を表示部403に表示する。
具体的には、認証に失敗した部位が明示されるように、撮影顔画像を表示部403に表示する。
これにより、操作者は、自身が予め登録されている者であれば、認証が失敗したと判断された部位の撮影が的確に行われなかったことに気づくことができる。この際、部位毎に算出された認識スコアを表示部403に表示させてもよい。
Therefore, in step S610, the UI control unit 402 displays a notification that a part of the captured face image has failed to be authenticated on the display unit 403.
Specifically, the photographed face image is displayed on the display unit 403 so that the part where the authentication has failed is clearly indicated.
As a result, the operator can be aware that if the person himself / herself has been registered in advance, the imaging of the part determined to have failed in authentication has not been performed accurately. At this time, the recognition score calculated for each part may be displayed on the display unit 403.
そして、S612において、操作者は、自身が予め登録されていることを認識していれば、S601に戻り、再度、顔認識を行うことができる。
これにより、予め登録されている操作者は、1部位において認証が失敗したとしても、認証に失敗した部位を認識した上で、撮影をし直すことにより、再度、顔認識を行うことができる。このため、再度の顔認識の際には、すべての部位で認証が成功して、顔認証がOKとなる可能性が高くなる。
In S612, if the operator recognizes that he / she is registered in advance, the operator can return to S601 and perform face recognition again.
Thereby, even if the operator registered in advance fails in the authentication in one part, it is possible to perform face recognition again by re-imaging after recognizing the part in which the authentication has failed. For this reason, at the time of the face recognition again, there is a high possibility that the authentication is successful in all the parts and the face authentication is OK.
なお、図6のフローチャートにおいては、顔認証を行う際に、登録顔画像および撮影顔画像を、それぞれ、上、中、下部の3部位に分割した。しかし、分割数は3に限られるものではなく、N(3以上の自然数)部位に分割してもよい。
この場合、N部位のすべてについて認証が成功すれば、撮影顔画像は予め登録されている者のものであると判定して、MFPの利用を許可する。
In the flowchart of FIG. 6, when performing face authentication, the registered face image and the photographed face image are each divided into upper, middle, and lower three parts. However, the number of divisions is not limited to 3, and may be divided into N (natural numbers greater than or equal to 3) sites.
In this case, if the authentication is successful for all the N parts, it is determined that the photographed face image belongs to a person registered in advance, and the use of the MFP is permitted.
また、N部位のすべてについて認証が成功しなくても、M(2以上、かつ、Nより小さい自然数)部位について認証が成功すれば(すなわち、M以上、かつ、N−1以下の部位で認証が成功すれば)、即座に顔認証をNGとすることとしない。そして、認証に失敗した部位が明示されるように撮影顔画像を表示部に表示する。そして、操作者に、再度、顔画像を撮影するように促す。
例えば、登録顔画像および撮影顔画像を、それぞれ、4つの部位に分割し、3つの部位のみについて認証が成功した場合、撮影顔画像を表示した上で、再度、操作者に顔認識を行うように促す。
認証に成功したのがM部位未満であった場合は、撮影顔画像は予め登録されている者のものではないと判定して、MFPの利用を拒否する。
Further, even if the authentication is not successful for all of the N sites, if the authentication is successful for the M (2 or more and natural number smaller than N) site (that is, the authentication is performed for the sites of M or more and N-1 or less) If it succeeds), the face authentication is not immediately judged as NG. Then, the photographed face image is displayed on the display unit so that the part where the authentication has failed is clearly indicated. Then, the operator is prompted to take a face image again.
For example, each of the registered face image and the photographed face image is divided into four parts, and when only three parts are successfully authenticated, the photographed face image is displayed and the face recognition is performed again for the operator. Prompt.
If the authentication is successful for less than the M part, it is determined that the photographed face image is not for a person registered in advance, and the use of the MFP is rejected.
図7を用いて、顔認証を行った操作者が登録されているのにかかわらず、顔画像の1部位の認証の失敗により、認証がOKにならない例を説明する。
図7(a)は、登録されている顔画像の例を示している。登録顔画像は、全体的に隠れた箇所がない状態での顔画像が登録されている。
With reference to FIG. 7, an example will be described in which authentication is not OK due to failure of authentication of one part of a face image, regardless of whether an operator who performed face authentication is registered.
FIG. 7A shows an example of registered face images. As the registered face image, a face image in a state where there is no hidden part as a whole is registered.
これに対して、図7(b)から(d)は、撮影された顔画像の例である。
図7(b)の撮影顔画像は、髪の毛が帽子によって隠されている。これは、顔の上部で認証が失敗する例である。
図7(c)の撮影顔画像は、目がサングラスよって隠されている。これは、顔の中部で認証が失敗する例である。
図7(d)の撮影顔画像は、口がマスクによって隠されている。これは、顔の下部で認証が失敗する例である。
On the other hand, FIGS. 7B to 7D are examples of photographed face images.
In the photographed face image of FIG. 7B, the hair is hidden by a hat. This is an example where authentication fails at the top of the face.
In the photographed face image of FIG. 7C, eyes are hidden by sunglasses. This is an example in which authentication fails in the middle of the face.
In the photographed face image of FIG. 7D, the mouth is hidden by a mask. This is an example where authentication fails at the bottom of the face.
図7(b)から(d)のように、1部位で認証が失敗したとしても、他の2部位では認証が成功していれば、操作者が登録されている可能性は高い。
このため、上述の図7のフローチャートにおいては、S607において、このまま顔認証をNGとすることなく、S610の表示を行った後、S601に戻り、操作者に再度、顔画像を撮影する機会を与えることとする。
As shown in FIGS. 7B to 7D, even if the authentication fails at one part, if the authentication is successful at the other two parts, the possibility that the operator is registered is high.
For this reason, in the flowchart of FIG. 7 described above, in S607, the face authentication is not changed to NG, and the display of S610 is performed. Then, the process returns to S601, and the operator is given an opportunity to take a face image again. I will do it.
図8は、顔認証を行った結果を表示部403に表示するときの各種の例である。
図8(a)は、顔認証が成功したときの表示例である。
この場合、顔認証が成功した旨とともに、操作者にジョブの実行を許可するため、画面が操作メニューに移行することを表示する。
図8(b)は、顔認証が失敗したときの表示例である。
この場合、顔認証が失敗した旨とともに、ログインメニュー画面(図8(f))に戻ることを表示する。
FIG. 8 shows various examples when the result of face authentication is displayed on the display unit 403.
FIG. 8A shows a display example when the face authentication is successful.
In this case, the fact that the face authentication has been successful is displayed, and that the screen is shifted to the operation menu in order to allow the operator to execute the job.
FIG. 8B is a display example when face authentication fails.
In this case, a message indicating that the face authentication has failed and a return to the login menu screen (FIG. 8F) is displayed.
図8(c)は、顔の上部のみについて顔認証が失敗したときの表示例である。
この場合、一部の顔認証が失敗した旨を表示する。また、認証が失敗したした部位(上部)が明示されるように、登録されている顔画像とともに、撮影した顔画像を表示する。
図8(d)は、顔の中部のみについて顔認証が失敗したときの表示例である。
この場合も、一部の顔認証が失敗した旨を表示する。また、認証が失敗したした部位(中部)が明示されるように、登録されている顔画像とともに、撮影した顔画像を表示する。
図8(e)は、顔の下部のみについて顔認証が失敗したときの表示例である。
この場合も、一部の顔認証が失敗した旨を表示する。また、認証が失敗したした部位(下部)が明示されるように、登録されている顔画像とともに、撮影した顔画像を表示する。
図8(f)は、認証が失敗したときに戻る、個人認証情報を入力するためのログインメニュー画面の一例である。
FIG. 8C shows a display example when face authentication fails for only the upper part of the face.
In this case, a message indicating that some face authentication has failed is displayed. In addition, the captured face image is displayed together with the registered face image so that the part (upper part) where the authentication has failed is clearly indicated.
FIG. 8D shows a display example when face authentication has failed for only the middle part of the face.
In this case as well, a message indicating that some face authentication has failed is displayed. In addition, the captured face image is displayed together with the registered face image so that the part (central part) where the authentication has failed is clearly indicated.
FIG. 8E shows a display example when face authentication fails for only the lower part of the face.
In this case as well, a message indicating that some face authentication has failed is displayed. In addition, the captured face image is displayed together with the registered face image so that the part (lower part) where the authentication has failed is clearly indicated.
FIG. 8F is an example of a login menu screen for entering personal authentication information that is returned when authentication fails.
以上のとおり、操作者が、登録されているのにかかわらず、サングラス、マスク、帽子などを着けたまま撮影をしてしまった場合など、1つの部位で認証が失敗したとしても、他の2つの部位で認証が成功した場合は、即座に顔認証をNGとしない。そして、認証に失敗した部位を明示して表示することにより、操作者に顔画像を再度、撮影することを促すことができる。これにより、登録されている操作者に対して、MFPの認証手続きにおける操作を効率化することができる。
一方で、登録されていない別人が、登録者になりすまそうと試みた場合は、MFPの利用を確実に拒否することができる。
As described above, even if authentication fails in one part, such as when the operator has taken a picture while wearing sunglasses, a mask, a hat, etc. regardless of being registered, the other two If authentication is successful at one part, face authentication is not immediately judged as NG. Then, by explicitly displaying the part where the authentication has failed, it is possible to prompt the operator to take a face image again. Accordingly, it is possible to make the operation in the MFP authentication procedure more efficient for the registered operator.
On the other hand, when another person who is not registered attempts to impersonate a registrant, the use of the MFP can be reliably refused.
(その他の実施例)
本発明は、上述の実施例の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
また、本発明は、複数の機器から構成されるシステムに適用しても、1つの機器からなる装置に適用してもよい。
本発明は上述の実施例に限定されるものではなく、本発明の趣旨に基づき種々の変形が可能であり、それらを本発明の範囲から除外するものではない。すなわち、上述の実施例及びその変形例を組み合わせた構成も全て本発明に含まれるものである。
(Other examples)
The present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program This process can be realized. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
Further, the present invention may be applied to a system composed of a plurality of devices or an apparatus composed of a single device.
The present invention is not limited to the above-described embodiments, and various modifications can be made based on the spirit of the present invention, and they are not excluded from the scope of the present invention. That is, all the configurations in which the above-described embodiments and modifications thereof are combined are also included in the present invention.
100 MFP
203 コントローラ
202 カメラ部
206 操作部
403 表示部
100 MFP
203 Controller 202 Camera Unit 206 Operation Unit 403 Display Unit
Claims (18)
前記顔認証手段は、
N(Nは3以上の自然数)部位に分割された撮影顔画像と、N部位に分割された登録顔画像とを、分割された部位ごとに比較を行い、
N部位すべてで認証が成功した場合、撮影顔画像が登録顔画像に一致するという第1の判定を行い、
M(Mは、2以上、かつ、Nより小さい自然数)部位未満で認証が成功した場合、撮影顔画像が登録顔画像に一致しないという第2の判定を行い、
M以上、かつ、N−1以下の部位で認証が成功した場合、一部の部位が認証に失敗したという第3の判定を行う
ことを特徴とする情報処理装置。 An information processing apparatus that is permitted to be used based on the determination by the face authentication means,
The face authentication means
The captured face image divided into N (N is a natural number of 3 or more) parts and the registered face image divided into N parts are compared for each divided part,
If authentication is successful for all N sites, a first determination is made that the captured face image matches the registered face image;
When authentication is successful in less than M (M is a natural number less than or equal to 2 and less than N) part, a second determination is made that the captured face image does not match the registered face image;
An information processing apparatus characterized by performing a third determination that a part of a part has failed authentication when authentication succeeds in parts not less than M and not more than N-1.
ことを特徴とする請求項1に記載の情報処理装置。 The information processing apparatus according to claim 1, wherein when the face authentication unit makes the third determination, a notification that a part of the authentication has failed is displayed on the display unit.
ことを特徴とする請求項2に記載の情報処理装置。 The information processing apparatus according to claim 2, wherein the notification includes information on the captured face image.
ことを特徴とする請求項3に記載の情報処理装置。 The information processing apparatus according to claim 3, wherein a part that has failed in authentication is specified in the information related to the captured face image included in the notification.
ことを特徴とする請求項3または4に記載の情報処理装置。 The information processing apparatus according to claim 3, wherein a recognition score is included in the notification.
ことを特徴とする請求項1から5のいずれか1項に記載の情報処理装置。 6. The comparison performed by the face authentication means is performed by extracting a feature amount for each divided part of the photographed face image and the registered face image. The information processing apparatus according to item 1.
ことを特徴とする請求項1から6のいずれか1項に記載の情報処理装置。 The information processing apparatus according to any one of claims 1 to 6, wherein the N is 3 and the M is 2.
ことを特徴とする請求項7に記載の情報処理装置。 The information processing apparatus according to claim 7, wherein each of the photographed face image and the registered face image is divided into an upper part, a middle part, and a lower part.
ことを特徴とする請求項1から8のいずれか1項に記載の情報処理装置。 The information processing apparatus according to any one of claims 1 to 8, wherein the information processing apparatus is an image processing apparatus.
ことを特徴とする請求項1から9のいずれか1項に記載の情報処理装置。 The information processing apparatus according to claim 1, wherein the face authentication unit is provided in an information processing apparatus.
前記撮影手段により前記撮影顔画像が撮影される
ことを特徴とする請求項1から10のいずれか1項に記載の情報処理装置。 It further has a photographing means,
The information processing apparatus according to claim 1, wherein the photographed face image is photographed by the photographing unit.
前記記憶手段に前記登録顔画像が記憶される
ことを特徴とする請求項1から11のいずれか1項に記載の情報処理装置。 A storage means;
The information processing apparatus according to claim 1, wherein the registered face image is stored in the storage unit.
ことを特徴とする請求項12項に記載の情報処理装置。 The information processing apparatus according to claim 12, wherein the captured face image is stored in the storage unit.
前記入力手段において操作者の個人認証情報を入力することができる
ことを特徴とする請求項12または13のいずれか1項に記載の情報処理装置。 It further has an input means,
The information processing apparatus according to claim 12, wherein the personal authentication information of the operator can be input using the input unit.
ことを特徴とする請求項14に記載の情報処理装置。 The information processing apparatus according to claim 14, wherein the personal authentication information is a password or ID information recorded on an ID card.
ことを特徴とする請求項14または15のいずれか1項に記載の情報処理装置。 The one registered face image is extracted from the registered face images stored in the storage unit on the basis of the personal authentication information. Information processing device.
前記顔認証工程は、
N(Nは3以上の自然数)部位に分割された撮影顔画像と、N部位に分割された登録顔画像とを、分割された部位ごとに比較を行う工程と、
N部位すべてで認証が成功した場合、撮影顔画像が登録顔画像に一致するという第1の判定を行い、
M(Mは、2以上、かつ、Nより小さい自然数)部位未満で認証が成功した場合、撮影顔画像が登録顔画像に一致しないという第2の判定を行い、
M以上、かつ、N−1以下の部位で認証が成功した場合、一部の部位が認証に失敗したという第3の判定を行う工程と、
を有することを特徴とする情報処理装置における認証方法。 An authentication method in an information processing apparatus that is permitted to be used based on determination by a face authentication process,
The face authentication process includes
A step of comparing the captured face image divided into N (N is a natural number of 3 or more) parts and the registered face image divided into N parts for each divided part;
If authentication is successful for all N sites, a first determination is made that the captured face image matches the registered face image;
When authentication is successful in less than M (M is a natural number less than or equal to 2 and less than N) part, a second determination is made that the captured face image does not match the registered face image;
A step of performing a third determination that a part of the parts has failed in the authentication when the authentication has succeeded at a part of M or more and N-1 or less;
An authentication method in an information processing apparatus characterized by comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018056267A JP2019168929A (en) | 2018-03-23 | 2018-03-23 | Information processor, authentication method in information processor, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018056267A JP2019168929A (en) | 2018-03-23 | 2018-03-23 | Information processor, authentication method in information processor, and program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019168929A true JP2019168929A (en) | 2019-10-03 |
Family
ID=68106799
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018056267A Pending JP2019168929A (en) | 2018-03-23 | 2018-03-23 | Information processor, authentication method in information processor, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2019168929A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022215328A1 (en) * | 2021-04-09 | 2022-10-13 | 日本電気株式会社 | Authentication system, processing method, and program |
-
2018
- 2018-03-23 JP JP2018056267A patent/JP2019168929A/en active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022215328A1 (en) * | 2021-04-09 | 2022-10-13 | 日本電気株式会社 | Authentication system, processing method, and program |
JPWO2022215328A1 (en) * | 2021-04-09 | 2022-10-13 | ||
JP7435908B2 (en) | 2021-04-09 | 2024-02-21 | 日本電気株式会社 | Authentication system, processing method and program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4924603B2 (en) | Face authentication device, face authentication method and program | |
JP6112823B2 (en) | Information processing apparatus, information processing method, and computer-readable program | |
US8705070B2 (en) | Systems and methods for managing use of an imaging device | |
US8508771B2 (en) | Control of job information recording based on whether logged in user changes | |
CN104349046B (en) | Image processing apparatus and method | |
JP2006202207A (en) | Person identification device, person identification system and person identification method | |
US11544366B2 (en) | Information processing apparatus and non-transitory computer readable medium storing program | |
JP2006344100A (en) | Authentication device and image output device | |
US20220272229A1 (en) | Image forming apparatus, method for controlling image forming apparatus, and storage medium storing computer program | |
JP5854081B2 (en) | Image processing device | |
JP2007199860A (en) | Personal identification system | |
JP2019168929A (en) | Information processor, authentication method in information processor, and program | |
JP2008097499A (en) | Personal identification device | |
JP2014126956A (en) | Authentication system and image forming apparatus | |
JP5213543B2 (en) | Information processing apparatus and information processing method | |
JP2010140499A (en) | Biometric authentication device, biometric authentication system and biometric data management method | |
JP6601621B2 (en) | Image forming apparatus, print control method, and print control program | |
JP6210750B2 (en) | Information processing apparatus and program | |
JP2022043439A (en) | Image forming apparatus, user authentication method, and user authentication program | |
JP6825503B2 (en) | Information processing equipment, information processing systems, information processing methods and programs | |
JP2015035179A (en) | Image processor and program | |
US12061827B2 (en) | Processing system, information processing apparatus, and medium for authorized usage of an image processing apparatus | |
JP2019185254A (en) | Information processing apparatus and network system provided with information processing apparatus | |
WO2016016997A1 (en) | Mobile information terminal, method for controlling mobile information terminal, and communication system | |
JP2017167833A (en) | Information processor, document management system, program, and document management method |