JP2010237756A - Method and device for authenticating face - Google Patents

Method and device for authenticating face Download PDF

Info

Publication number
JP2010237756A
JP2010237756A JP2009082175A JP2009082175A JP2010237756A JP 2010237756 A JP2010237756 A JP 2010237756A JP 2009082175 A JP2009082175 A JP 2009082175A JP 2009082175 A JP2009082175 A JP 2009082175A JP 2010237756 A JP2010237756 A JP 2010237756A
Authority
JP
Japan
Prior art keywords
face
data
authentication
image data
classified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Abandoned
Application number
JP2009082175A
Other languages
Japanese (ja)
Inventor
Kentaro Miyamoto
健太郎 宮本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2009082175A priority Critical patent/JP2010237756A/en
Publication of JP2010237756A publication Critical patent/JP2010237756A/en
Abandoned legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a face authentication method and a face authentication device for improving the precision of face recognition. <P>SOLUTION: A featured value data table in which face featured value data in image data are classified by time in photographing is stored in an RAM 12 in advance. When a power supply is turned on, an authentication mode is set, and when a user photographs his or her own face, a clock section 14 obtains time data in photographing. An authentication data selection part 15 retrieves time data matched with time data obtained by the clock section 14 in photographing new image data from the featured value data table, and when the matched time data includes the classified face featured value data, the authentication data selection part 15 selects the face featured value data as face featured value data for authentication. A face matching determination part 16 determined whether or not the face featured values calculated on the basis of the new image data are matched with the face featured values of the face featured value data for authentication selected by the authentication data selection part 15 as face authentication. When the matching is determined, the authentication mode is switched to a portable telephone mode. <P>COPYRIGHT: (C)2011,JPO&INPIT

Description

本発明は、顔認証方法及び顔認証装置に関するものである。   The present invention relates to a face authentication method and a face authentication device.

近年、セキュリティー対策として、予め記憶された認証用の顔画像と、新たに撮影した新顔画像とが一致しているか否かを判定する顔認証を行い、一致した場合のみ、ロックを解除する技術が一般的になっている。例えば、このような顔認証機能を、カメラ付き携帯電話に搭載することが考えられる。この場合、通常時は携帯電話としては使用不可で顔認証のための撮影のみ実行可能な状態となり、この通常時に撮影を行い、顔認証で一致したことが判定されたときのみ、携帯電話として使用可能な状態となる。これにより、認証用の画像として所有者の顔画像のみを記憶しておけば、所有者以外が顔認証を行っても一致が判定されないため、不正に使用されることを防止することができる。   In recent years, as a security measure, a technology that performs face authentication to determine whether or not a pre-stored authentication face image and a newly photographed new face image match, and releases the lock only when they match. Has become commonplace. For example, it is conceivable to install such a face authentication function in a camera-equipped mobile phone. In this case, the camera cannot be used normally as a mobile phone, and only the face authentication can be taken, and it is used as a mobile phone only when it is determined that the face authentication has been taken. It becomes possible. Accordingly, if only the face image of the owner is stored as an authentication image, it is not determined that the face is authenticated even if a face other than the owner performs face authentication.

撮影条件の違いによっては、認証用の顔画像と、新たに撮影した新顔画像とが大きく異なることがある。このような場合、同一人物でも、顔認証で一致していないと判定されることがあるため、特許文献1では、撮影時の日付及び時間、被写体の年齢、及び認証用の顔画像を記憶してからの経過時間などに応じて顔画像の特徴量を修正し、この修正した顔画像の特徴量を用いて顔認証を行うことにより、経年変化による同一人物の顔の変化に対応している。また、特許文献2では、撮影範囲内に被写体が存在しない場合、所定時間毎に周囲の照明環境を分析し、環境条件を制御することにより、照明環境・照度による誤認証を防止している。   Depending on the photographing conditions, the authentication face image and the newly photographed new face image may differ greatly. In such a case, even in the case of the same person, it may be determined that the face authentication does not match, so Patent Document 1 stores the date and time at the time of shooting, the age of the subject, and the face image for authentication. The facial image feature amount is corrected according to the elapsed time and the face authentication is performed using the corrected facial image feature amount, thereby supporting the change of the face of the same person due to aging. . Further, in Patent Document 2, when there is no subject in the shooting range, the surrounding lighting environment is analyzed every predetermined time and the environmental conditions are controlled to prevent erroneous authentication due to the lighting environment / illuminance.

特開2007−102517号公報JP 2007-102517 A 特開2005−092700号公報Japanese Patent Laying-Open No. 2005-092700

撮影時間や撮影位置等のシチュエーションによって、撮影するときの顔は異なるものであり、例えば、朝起きたばかりでむくんでいる顔と、起きてから数時間経過したときの顔とは異なる。さらに、女性の場合、化粧を施すため、化粧を施す前の早朝に自宅にいるときの顔と、化粧を施した後の昼頃に勤務地にいるときの顔とは異なる。特許文献1及び2でも、このようなシチュエーションによって異なる顔を同一人物として認証することはできないため、顔認証の精度が低かった。   Depending on the situation such as the shooting time and the shooting position, the face when shooting is different. For example, the face that has just been woken up in the morning and the face when several hours have passed since waking up are different. Furthermore, in the case of women, since they apply makeup, the face when they are at home in the early morning before applying makeup is different from the face when they are at work around noon after applying makeup. Also in Patent Documents 1 and 2, since different faces cannot be authenticated as the same person by such a situation, the accuracy of face authentication is low.

本発明は、上記課題を解決するためになされたものであり、顔認証の精度を向上することができる顔認証方法及び顔認証装置を提供することを目的とする。   SUMMARY An advantage of some aspects of the invention is that it provides a face authentication method and a face authentication apparatus capable of improving the accuracy of face authentication.

上記目的を達成するために、本発明の顔認証方法は、被写体の顔画像を含む画像データを撮影したときのシチュエーション情報を取得し、被写体の顔画像を含み撮影時のシチュエーション情報毎に予め分類された複数の認証用データの中から、前記画像データを撮影したときのシチュエーション情報と一致する1つに分類された前記認証用データを選択し、選択された前記認証用データ内の被写体の顔と、前記画像データ内の被写体の顔とを検出し、検出された前記認証用データ内の被写体の顔と、検出された前記画像データ内の被写体の顔とが一致しているか否かを判定することを特徴とする。   In order to achieve the above object, the face authentication method of the present invention acquires situation information when image data including a face image of a subject is captured, and is classified in advance for each situation information including a face image of the subject. The authentication data classified into one that matches the situation information obtained when the image data was captured is selected from the plurality of authentication data thus selected, and the subject's face in the selected authentication data And the face of the subject in the image data is detected, and it is determined whether or not the detected face of the subject in the authentication data matches the detected face of the subject in the image data It is characterized by doing.

また、前記シチュエーション情報は、前記画像データまたは前記認証用データを撮影したときの時間情報、時期情報、位置情報の少なくとも1つであることが好ましい。   The situation information is preferably at least one of time information, time information, and position information when the image data or the authentication data is captured.

さらに、前記複数の認証用データの中に、前記画像データを撮影したときのシチュエーション情報と一致するシチュエーション情報に分類された前記認証用データがないときには、前記画像データを撮影したときのシチュエーション情報に最も近いシチュエーション情報に分類された前記認証用データを選択すること、または、前記一致しているか否かの判定で一致していないと判定されたときには、前記画像データを撮影したときのシチュエーション情報に最も近いシチュエーション情報に分類された前記認証用データを選択して前記一致しているか否かの判定を再度行うことが好ましい。   Further, in the plurality of authentication data, when there is no authentication data classified into the situation information that matches the situation information when the image data is captured, the situation information when the image data is captured is When the authentication data classified into the closest situation information is selected, or when it is determined that they do not match in the determination of whether or not they match, the situation information at the time of shooting the image data is displayed. It is preferable to select again the authentication data classified into the closest situation information and determine again whether or not they match.

また、本発明の顔認証装置は、被写体の顔画像を撮影して画像データを取得する撮影手段と、前記撮影手段で前記画像データを撮影したときのシチュエーション情報を取得するシチュエーション情報取得手段と、被写体の顔画像を含む複数の認証用データが、撮影時のシチュエーション情報毎に予め分類されて記憶された記憶手段と、前記複数の認証用データの中から、前記画像データを撮影したときのシチュエーション情報と一致する1つに分類された前記認証用データを選択する選択手段と、前記選択手段で選択された前記認証用データ内の被写体の顔と、前記画像データ内の被写体の顔とを検出する顔検出手段と、前記顔検出手段で検出された前記認証用データ内の被写体の顔と、前記顔検出手段で検出された前記画像データ内の被写体の顔とが一致しているか否かを判定する判定手段と、を備えることを特徴とする。   Further, the face authentication device of the present invention includes a photographing unit that captures a face image of a subject to acquire image data, a situation information acquisition unit that acquires situation information when the image data is captured by the photographing unit, A situation in which a plurality of pieces of authentication data including a face image of a subject are pre-classified and stored for each situation information at the time of shooting, and a situation when the image data is taken from the plurality of pieces of authentication data A selection unit that selects the authentication data classified into one that matches information, a subject face in the authentication data selected by the selection unit, and a subject face in the image data are detected. A face detection unit that detects a face of the subject in the authentication data detected by the face detection unit, and a subject in the image data detected by the face detection unit. The face and determination means for determining whether match, characterized in that it comprises a.

本発明によれば、被写体像を含み撮影時のシチュエーション情報毎に予め分類された複数の認証用データの中から、画像データを撮影したときのシチュエーション情報と一致する1つに分類された認証用データを選択し、この選択された認証用データ内の被写体の顔と、画像データ内の被写体の顔とが一致しているか否かを判定するから、撮影時のシチュエーションによって顔が異なる場合でも、同一人物の顔認証を行ったときに不一致と判定されることを抑制することができる。これにより、顔認証の精度を向上することができる。   According to the present invention, the authentication data classified into one that matches the situation information obtained when the image data is photographed out of a plurality of authentication data classified in advance for each situation information including the subject image. Since data is selected and it is determined whether or not the face of the subject in the selected authentication data matches the face of the subject in the image data, even if the face differs depending on the situation at the time of shooting, It is possible to suppress the determination of mismatch when face authentication is performed on the same person. Thereby, the accuracy of face authentication can be improved.

カメラ付き携帯電話を示す正面図である。It is a front view which shows the mobile phone with a camera. カメラ付き携帯電話の電気的構成を示すブロック図である。It is a block diagram which shows the electric constitution of the mobile phone with a camera. 1時間毎に顔特徴量データを分類した特徴量データテーブルの説明図である。It is explanatory drawing of the feature-value data table which classified the face feature-value data for every hour. 顔認証を行う流れを示すフローチャートである。It is a flowchart which shows the flow which performs face authentication. 3時間毎に顔特徴量データを分類した特徴量データテーブルの説明図である。It is explanatory drawing of the feature-value data table which classified the face feature-value data every 3 hours. 季節毎に顔特徴量データを分類した特徴量データテーブルの説明図である。It is explanatory drawing of the feature-value data table which classified the face feature-value data for every season. 第2実施形態のカメラ付き携帯電話を示す正面図である。It is a front view which shows the mobile phone with a camera of 2nd Embodiment. 第2実施形態の顔認証を行う流れを示すフローチャートである。It is a flowchart which shows the flow which performs face authentication of 2nd Embodiment. 第3実施形態のカメラ付き携帯電話の電気的構成を示すブロック図である。It is a block diagram which shows the electrical structure of the mobile telephone with a camera of 3rd Embodiment. 第3実施形態の特徴量データテーブルの説明図である。It is explanatory drawing of the feature-value data table of 3rd Embodiment. 第3実施形態の顔認証を行う流れを示すフローチャートである。It is a flowchart which shows the flow which performs face authentication of 3rd Embodiment. 第4実施形態のカメラ付き携帯電話の電気的構成を示すブロック図である。It is a block diagram which shows the electric constitution of the mobile telephone with a camera of 4th Embodiment. 第4実施形態の特徴量データテーブルの説明図である。It is explanatory drawing of the feature-value data table of 4th Embodiment. 第4実施形態の顔認証を行う流れを示すフローチャートである。It is a flowchart which shows the flow which performs face authentication of 4th Embodiment.

[第1実施形態]
図1に示すように、本発明を実施したカメラ付き携帯電話2は、本体ケース3に、電源ボタン4、通話ボタン5、複数の入力ボタン6、各種設定及び選択を行う設定ボタン7、レリーズボタン8等の各種操作ボタンの他に、LCD9、撮影レンズ10等が設けられている。
[First Embodiment]
As shown in FIG. 1, a camera-equipped mobile phone 2 embodying the present invention includes a main body case 3, a power button 4, a call button 5, a plurality of input buttons 6, a setting button 7 for performing various settings and selections, and a release button. In addition to various operation buttons such as 8, an LCD 9 and a photographing lens 10 are provided.

レリーズボタン8は、2段押しの構造とされている。レリーズボタン8を軽く押圧(半押し)すると、フォーカシングなどの撮影準備動作が行われる。この状態でさらに押圧(全押し)すると、撮影動作が行われる。   The release button 8 has a two-stage push structure. When the release button 8 is lightly pressed (half-pressed), a shooting preparation operation such as focusing is performed. When further pressed (fully pressed) in this state, a photographing operation is performed.

カメラ付き携帯電話2には、携帯電話として使用する携帯電話モードと、撮影及び画像の再生を行う撮影・再生モード(以下、撮影モード)と、認証用の撮影を行い、使用許可を与えるか否かを判定する認証モードとが設けられている。携帯電話モードと撮影モードとの切り換えは、設定ボタン7を操作して行う。電源オフの状態で電源ボタン4を操作して電源をオンすると、認証モードに切り換わる。認証モードで認証用の撮影を行い、使用許可が与えられたときのみ、携帯電話モード及び撮影モードに切り換えることができる。なお、認証モードでも、着信による通話は行うことができる。   Whether the mobile phone with camera 2 is used as a mobile phone, a shooting / playback mode (hereinafter referred to as shooting mode) for shooting and playback of images, and shooting for authentication, and whether or not to permit use And an authentication mode for determining whether or not. Switching between the cellular phone mode and the photographing mode is performed by operating the setting button 7. When the power is turned on by operating the power button 4 in the power-off state, the mode is switched to the authentication mode. It is possible to switch to the mobile phone mode and the photographing mode only when authentication photographing is performed in the authentication mode and use permission is given. Even in the authentication mode, an incoming call can be made.

図2に示すように、カメラ付き携帯電話2には、CPU11、RAM12、顔特徴量算出部13、時計部14、認証用データ選択部15、顔一致判定部16、通信部17が設けられている。RAM12には、複数の電話番号が記憶されており、携帯電話モードで電話を掛けるときには、設定ボタン7を操作してRAM12に記憶された電話番号を読み出すか、入力ボタン6を操作して電話番号を入力した後、通話ボタン5を操作する。通信部17は携帯電話会社の基地局と無線通信を行う。そして、本体ケース3に内蔵されたマイク及びスピーカ(図示せず)を介して通話を行う。   As shown in FIG. 2, the camera-equipped mobile phone 2 includes a CPU 11, a RAM 12, a face feature amount calculation unit 13, a clock unit 14, an authentication data selection unit 15, a face matching determination unit 16, and a communication unit 17. Yes. A plurality of telephone numbers are stored in the RAM 12, and when making a call in the mobile phone mode, the telephone number stored in the RAM 12 is read by operating the setting button 7 or the telephone number is operated by operating the input button 6. Then, the call button 5 is operated. The communication unit 17 performs wireless communication with a base station of a mobile phone company. Then, a call is made via a microphone and a speaker (not shown) built in the main body case 3.

撮影レンズ10の背後には、撮影レンズ10を透過した被写体光が入射するCCD21が配置されている。このCCD21は、被写体像を光電変換して時系列の3色信号を発生し、これを相関二重サンプリング回路(CDS)22に送る。CCDドライバ26には、CPU11によって制御されるTG(タイミングジェネレータ)27からのタイミング信号(クロック信号)が入力される。このCCDドライバ26によって、CCD21が作動される。CCD21から出力された3色信号は、CDS22でノイズ成分が除去され、CCD21の各セルの蓄積電荷量に正確に対応した3色信号に変換される。CDS22から出力された3色信号は、ISO感度に応じて増幅器(AMP)23で増幅され、A/D変換器24で画像データに変換される。   Behind the photographing lens 10 is a CCD 21 on which subject light that has passed through the photographing lens 10 enters. The CCD 21 photoelectrically converts the subject image to generate a time-series three-color signal and sends it to a correlated double sampling circuit (CDS) 22. A timing signal (clock signal) from a TG (timing generator) 27 controlled by the CPU 11 is input to the CCD driver 26. The CCD 21 is operated by the CCD driver 26. The three-color signal output from the CCD 21 is converted into a three-color signal that accurately corresponds to the amount of charge accumulated in each cell of the CCD 21 after the noise component is removed by the CDS 22. The three-color signal output from the CDS 22 is amplified by an amplifier (AMP) 23 according to the ISO sensitivity, and converted to image data by an A / D converter 24.

画像入力コントローラ25は、データバス29を介してCPU11に接続されており、CPU11の命令によってCDS22,AMP23,A/D変換器24を制御する。また、A/D変換器24から出力された画像データをビデオメモリ31、あるいはバッファメモリ33に書き込む。   The image input controller 25 is connected to the CPU 11 via the data bus 29, and controls the CDS 22, AMP 23, and A / D converter 24 according to instructions from the CPU 11. The image data output from the A / D converter 24 is written into the video memory 31 or the buffer memory 33.

ビデオメモリ31は、LCD9をビューファインダとして使用する際に、解像度の低いスルー画の画像データが一時的に記憶される。このスルー画の画像データは、データバス29を介してLCDドライバ32に送られ、スルー画がLCD9に表示される。バッファメモリ33は、撮像された高解像度の画像データが一時的に記憶される。このバッファメモリ33から読み出された画像データは、メモリコントローラ34によって駆動制御されるデータリーダによりRAM12に記憶される。   When the LCD 9 is used as a viewfinder, the video memory 31 temporarily stores through-image image data having a low resolution. The live view image data is sent to the LCD driver 32 via the data bus 29, and the live view image is displayed on the LCD 9. The buffer memory 33 temporarily stores captured high-resolution image data. The image data read from the buffer memory 33 is stored in the RAM 12 by a data reader driven and controlled by the memory controller 34.

顔特徴量算出部13は、画像データがバッファメモリ33内に記憶されている間に、記憶された画像データに基づいて、撮影された被写体の顔を検出するとともに、顔パーツ(目、鼻、唇等)の特徴量(位置、サイズ等)を算出する。そして、算出した顔特徴量データを画像データに付加する。また、画像データには、撮影時に時計部14で取得された時間データ(時、分、秒)も付加される。すなわち、RAM12には、顔特徴量データ及び時間データが付加された画像データが認証用データとして記憶される。   While the image data is stored in the buffer memory 33, the face feature amount calculation unit 13 detects the face of the photographed subject based on the stored image data and also detects the face parts (eyes, nose, Lip etc.) feature quantity (position, size, etc.) is calculated. Then, the calculated face feature amount data is added to the image data. Further, time data (hour, minute, second) acquired by the clock unit 14 at the time of shooting is also added to the image data. That is, the RAM 12 stores the image data to which the facial feature amount data and the time data are added as authentication data.

図3に示すように、RAM12に記憶された認証用データの顔特徴量データは、撮影時の時間毎に分類されている。特徴量データテーブルは、認証用データを撮影したときの時間データと、認証用データの顔特徴量データとを備える。本実施形態では、時間データは1時間毎に区分けされている。   As shown in FIG. 3, the facial feature amount data of the authentication data stored in the RAM 12 is classified for each time at the time of shooting. The feature amount data table includes time data when the authentication data is photographed and face feature amount data of the authentication data. In the present embodiment, the time data is divided every hour.

認証用データ選択部15は、認証モード時に撮影した画像データ(以下、「新画像データ」と称する)の顔特徴量と、RAM12に記憶された認証用データの顔特徴量とを用いて顔認証を行うときに作動する。認証用データ選択部15は、特徴量データテーブルの中から、新画像データ撮影時に時計部14で取得された時間データと一致する時間データを検索し、この検索した時間データに分類された顔特徴量データを、認証用顔特徴量データとして選択する。例えば、撮影時間が00:20の場合には、一致する時間データ(00:00〜01:00)に分類された顔特徴量データ(A1)を、認証用顔特徴量データとして選択する。   The authentication data selection unit 15 uses the face feature amount of image data (hereinafter referred to as “new image data”) taken in the authentication mode and the face feature amount of the authentication data stored in the RAM 12 to perform face authentication. Operates when performing. The authentication data selection unit 15 searches the feature amount data table for time data that matches the time data acquired by the clock unit 14 when the new image data was captured, and the facial features classified into the searched time data. The amount data is selected as face feature amount data for authentication. For example, when the shooting time is 00:20, face feature amount data (A1) classified as matching time data (00: 0 to 01:00) is selected as authentication face feature amount data.

また、一致する時間データに分類された顔特徴量データがない場合には、認証用データ選択部15は、最も近い時間データに分類された顔特徴量データを、認証用顔特徴量データとして選択する。例えば、撮影時間が02:10であり、一致する時間データ(02:00〜03:00)に分類された顔特徴量データがない場合には、認証用データ選択部15は、最も近い時間データ(01:00〜02:00)に分類された顔特徴量データ(B1)を、認証用顔特徴量データとして選択する。   If there is no face feature data classified as matching time data, the authentication data selection unit 15 selects the face feature data classified as the nearest time data as authentication face feature data. To do. For example, if the shooting time is 02:10 and there is no face feature data classified as matching time data (02: 0 to 03:00), the authentication data selection unit 15 uses the closest time data. The face feature data (B1) classified as (01: 0 to 02:00) is selected as authentication face feature data.

一致する時間データに分類された顔特徴量データが複数ある場合には、認証用データ選択部15は、複数の顔特徴量データの平均値を算出して、この算出した平均値を認証用顔特徴量データとして選択する。例えば、撮影時間が10:20の場合には、一致する時間データ(10:00〜11:00)に分類された顔特徴量データ(H1、H2、H3)の平均値を、認証用顔特徴量データとして選択する。   When there are a plurality of face feature amount data classified into the matching time data, the authentication data selection unit 15 calculates an average value of the plurality of face feature amount data, and uses the calculated average value as the authentication face value. Select as feature data. For example, when the photographing time is 10:20, the average value of the face feature amount data (H1, H2, H3) classified into the matching time data (10: 0 to 11:00) is used as the authentication face feature. Select as quantity data.

顔一致判定部16は、新画像データに基づいて算出された顔特徴量と、認証用データ選択部15で選択された認証用顔特徴量データの顔特徴量とが一致しているか否かを判定する。一致が判定された場合には、顔一致判定部16は、CPU11に一致信号を出力する。CPU11は、一致信号の入力を受けて、認証モードから携帯電話モードに切り換える。   The face match determination unit 16 determines whether the face feature value calculated based on the new image data matches the face feature value of the authentication face feature data selected by the authentication data selection unit 15. judge. When the match is determined, the face match determination unit 16 outputs a match signal to the CPU 11. Upon receiving the coincidence signal, the CPU 11 switches from the authentication mode to the mobile phone mode.

顔一致判定部16は、一致が判定されなかったときには、CPU11に不一致信号を出力する。CPU11は、不一致信号の入力を受けて、認証モードを継続する。すなわち、顔一致判定部16で一致が判定されないときには、カメラ付き携帯電話2を携帯電話モードまたは撮影モードで使用することができない。このため、ユーザは、予め認証用データをRAM12に記憶しておく。   The face coincidence determination unit 16 outputs a disagreement signal to the CPU 11 when no coincidence is determined. In response to the input of the mismatch signal, the CPU 11 continues the authentication mode. That is, when the match is not determined by the face match determination unit 16, the camera-equipped mobile phone 2 cannot be used in the mobile phone mode or the photographing mode. For this reason, the user stores authentication data in the RAM 12 in advance.

上記のように構成されたカメラ付き携帯電話2の作用について、図4のフローチャートを用いて説明を行う。カメラ付き携帯電話2の電源をオンする(ステップ(以下、S)1)と、認証モードとなる(S2)。認証モードでは、ユーザが、レリーズボタン8を操作して被写体としての自分の顔を撮影する(S3)と、時計部14は撮影時の時間データを取得する(S4)。   The operation of the camera-equipped mobile phone 2 configured as described above will be described with reference to the flowchart of FIG. When the power of the camera-equipped mobile phone 2 is turned on (step (hereinafter, S) 1), the authentication mode is set (S2). In the authentication mode, when the user operates the release button 8 to photograph his / her face as a subject (S3), the clock unit 14 acquires time data at the time of photographing (S4).

認証用データ選択部15は、特徴量データテーブルの中から、新画像データ撮影時に時計部14で取得された時間データと一致する時間データを検索し、一致する時間データに分類された顔特徴量データがある場合(S5でY)には、その顔特徴量データを認証用顔特徴量データとして選択する(S6)。   The authentication data selection unit 15 searches the feature amount data table for time data that matches the time data acquired by the clock unit 14 when the new image data is captured, and the face feature amount classified as the matching time data. If there is data (Y in S5), the face feature amount data is selected as authentication face feature amount data (S6).

また、認証用データ選択部15は、一致する時間データに分類された顔特徴量データがない場合(S5でN)には、最も近い時間データに分類された顔特徴量データを、認証用顔特徴量データとして選択する(S7)。なお、認証用データ選択部15は、(S6)、(S7)のいずれにおいても、時間データ内に顔特徴量データが複数ある場合には、複数の顔特徴量データの平均値を算出して、この算出した平均値を認証用顔特徴量データとして選択する。   In addition, when there is no face feature data classified as matching time data (N in S5), the authentication data selection unit 15 converts the face feature data classified as the nearest time data into the authentication face data. It selects as feature-value data (S7). It should be noted that the authentication data selection unit 15 calculates the average value of the plurality of face feature amount data when there are a plurality of face feature amount data in the time data in both (S6) and (S7). The calculated average value is selected as authentication face feature data.

顔特徴量算出部13は、新画像データに基づいて顔特徴量を算出し、顔一致判定部16は、顔認証として、新画像データの顔特徴量と、認証用データ選択部15で選択された認証用顔特徴量データの顔特徴量とが一致しているか否かを判定する(S8)。一致が判定されたとき(S9でY)には、顔一致判定部16は、CPU11に一致信号を出力する。CPU11は、一致信号の入力を受けて、認証モードから携帯電話モードに切り換える(S10)。   The face feature amount calculation unit 13 calculates a face feature amount based on the new image data, and the face match determination unit 16 selects the face feature amount of the new image data and the authentication data selection unit 15 as face authentication. It is determined whether or not the face feature amount of the authentication face feature amount data matches (S8). When a match is determined (Y in S9), the face match determination unit 16 outputs a match signal to the CPU 11. The CPU 11 receives the coincidence signal and switches from the authentication mode to the mobile phone mode (S10).

一方、顔一致判定部16は、一致が判定されなかったとき(S9でN)には、CPU11に不一致信号を出力する。CPU11は、不一致信号の入力を受けて、認証モードを継続して再度撮影を行うことを促す(S11)。これと同時に、CPU11は、新画像データを、認証用データとしてRAM12に記憶する(S12)。   On the other hand, the face match determination unit 16 outputs a mismatch signal to the CPU 11 when a match is not determined (N in S9). In response to the input of the mismatch signal, the CPU 11 prompts to continue the authentication mode and perform imaging again (S11). At the same time, the CPU 11 stores the new image data in the RAM 12 as authentication data (S12).

このように、認証モード時には、特徴量データテーブルの中から、新画像データ撮影時に時計部14で取得された時間データと一致する時間データまたは最も近い時間データに分類された顔特徴量データを選択し、この選択した認証用顔特徴量データの顔特徴量と、新画像データの顔特徴量とを用いて顔認証を行うから、撮影時間によって顔の特徴が異なる場合でも、同一人物の顔認証を行ったときに不一致と判定されることを抑制することができる。これにより、顔認証の精度を向上することができる。   As described above, in the authentication mode, the face feature value data classified into the time data that matches the time data acquired by the clock unit 14 at the time of shooting the new image data or the closest time data is selected from the feature value data table. In addition, since face authentication is performed using the face feature amount of the selected face feature amount data for authentication and the face feature amount of the new image data, even if the face features differ depending on the shooting time, face authentication of the same person It is possible to suppress the determination of a mismatch when performing. Thereby, the accuracy of face authentication can be improved.

なお、上記第1実施形態では、RAM12に記憶された顔特徴量データを1時間毎に分類しているが、分類する時間は1時間に限定されることなく、例えば、図5に示すように、3時間毎に分類してもよい。さらに、図6に示すように、顔特徴量データを季節毎に分類してもよい。この場合、時計部14は、撮影時に時間データ及び日付データ(年、月、日)を取得する。なお、季節毎の分類に代えて、顔特徴量データを1ヶ月毎や2ヶ月毎等に分類してもよい。   In the first embodiment, the facial feature data stored in the RAM 12 is classified every hour. However, the classification time is not limited to one hour. For example, as shown in FIG. You may classify every 3 hours. Further, as shown in FIG. 6, the face feature amount data may be classified for each season. In this case, the clock unit 14 acquires time data and date data (year, month, day) at the time of shooting. Instead of the classification for each season, the facial feature data may be classified every month, every two months, or the like.

[第2実施形態]
図7及び図8の第2実施形態は、顔一致判定部16で一致していると判定されたときに、新画像データを、認証用データとしてRAM12に記憶するか否かを選択する。なお、第1実施形態のものと同様の構成部材には同一の符号を付し、その詳細な説明を省略する。
[Second Embodiment]
In the second embodiment shown in FIGS. 7 and 8, when the face matching determination unit 16 determines that the images match, the new image data is selected to be stored in the RAM 12 as authentication data. In addition, the same code | symbol is attached | subjected to the structural member similar to the thing of 1st Embodiment, and the detailed description is abbreviate | omitted.

図7に示すように、第2実施形態のカメラ付き携帯電話40では、顔一致判定部16で、新画像データに基づいて算出された顔特徴量と、認証用データ選択部15で選択された認証用顔特徴量データの顔特徴量とが一致していると判定されると、CPU11は、LCD9に、新画像データを認証用データとしてRAM12に記憶するか否かを選択するための選択画面41を表示する。この選択画面41は、「新しい画像を認証用画像として記憶しますか?」というコメント画像42と、「はい」という第1選択画像43と、「いいえ」という第2選択画像44とからなる。   As shown in FIG. 7, in the camera-equipped mobile phone 40 according to the second embodiment, the face matching determination unit 16 selects the face feature amount calculated based on the new image data and the authentication data selection unit 15. When it is determined that the face feature amount of the authentication face feature amount data matches, the CPU 11 selects a selection screen for selecting whether or not to store the new image data in the RAM 12 as authentication data on the LCD 9. 41 is displayed. The selection screen 41 includes a comment image 42 “Do you want to store a new image as an authentication image?”, A first selection image 43 “Yes”, and a second selection image 44 “No”.

ユーザは、設定ボタン7を操作して、「はい」という第1選択画像43と、「いいえ」という第2選択画像44とのどちらかを選択する。第1選択画像43が選択されると、CPU11は、新画像データを認証用データとしてRAM12に記憶する。第2選択画像44が選択されると、CPU11は、新画像データを消去する。   The user operates the setting button 7 to select either the first selection image 43 “Yes” or the second selection image 44 “No”. When the first selection image 43 is selected, the CPU 11 stores new image data in the RAM 12 as authentication data. When the second selected image 44 is selected, the CPU 11 deletes the new image data.

また、顔一致判定部16で一致が判定されず、顔認証を行った回数が所定回数(例えば3回)未満であるときには、認証用データ選択部15は、再度選択を行う。認証用データ選択部15は、再度選択を行うときには、一致する時間データに最も近い時間データに分類された顔特徴量データを、認証用顔特徴量データとして選択する。   If the match is not determined by the face matching determination unit 16 and the number of times of face authentication is less than a predetermined number (for example, three times), the authentication data selection unit 15 performs selection again. When performing the selection again, the authentication data selection unit 15 selects the face feature amount data classified into the time data closest to the matching time data as the authentication face feature amount data.

上記のように構成されたカメラ付き携帯電話40の作用について、図8のフローチャートを用いて説明を行う。カメラ付き携帯電話2の電源をオンする(S101)と、認証モードとなる(S2)。以降、(S103)〜(S108)は、第1実施形態の(S3)〜(S8)と同様なので、説明を省略する。   The operation of the camera-equipped mobile phone 40 configured as described above will be described with reference to the flowchart of FIG. When the camera-equipped mobile phone 2 is turned on (S101), the authentication mode is set (S2). Henceforth, since (S103)-(S108) are the same as (S3)-(S8) of 1st Embodiment, description is abbreviate | omitted.

顔一致判定部16は、一致したと判定したとき(S109でY)には、CPU11に一致信号を出力する。CPU11は、一致信号の入力を受けて、LCD9に、選択画面41を表示する(S110)。ユーザが、設定ボタン7を操作して、「はい」という第1選択画像43を選択する(S111でY)と、CPU11は、新画像データを認証用画像データとしてRAM12に記憶する(S112)。一方、「いいえ」という第2選択画像44を選択する(S111でN)と、CPU11は、新画像データを消去する(S113)。CPU11は、新画像データを記憶または消去した後、認証モードから携帯電話モードに切り換える(S114)。   When the face match determination unit 16 determines that they match (Y in S109), it outputs a match signal to the CPU 11. In response to the input of the coincidence signal, the CPU 11 displays the selection screen 41 on the LCD 9 (S110). When the user operates the setting button 7 to select the first selection image 43 “Yes” (Y in S111), the CPU 11 stores the new image data in the RAM 12 as authentication image data (S112). On the other hand, when the second selection image 44 of “No” is selected (N in S111), the CPU 11 deletes the new image data (S113). After storing or erasing the new image data, the CPU 11 switches from the authentication mode to the mobile phone mode (S114).

一方、顔一致判定部16は、一致が判定されなかったとき(S109でN)には、CPU11に不一致信号を出力する。CPU11は、不一致信号の入力を受けて、3回目の顔認証であるか否かを判定する(S115)。1回目または2回目であり、3回目の顔認証ではない場合(S115でN)には、認証用データ選択部15は、再度選択を行う。認証用データ選択部15は、再度選択を行うときには、最も近い時間データに分類された顔特徴量データを、認証用顔特徴量データとして選択する(S107)。そして、新しく選択された認証用顔特徴量データを用いて顔認証を行う(S108)。   On the other hand, when the match is not determined (N in S109), the face match determination unit 16 outputs a mismatch signal to the CPU 11. In response to the input of the mismatch signal, the CPU 11 determines whether it is the third face authentication (S115). If it is the first or second time and it is not the third face authentication (N in S115), the authentication data selection unit 15 performs selection again. When performing the selection again, the authentication data selection unit 15 selects the face feature data classified as the nearest time data as authentication face feature data (S107). Then, face authentication is performed using the newly selected authentication face feature data (S108).

[第3実施形態]
図9〜図11の第3実施形態は、RAM12に記憶された顔特徴量データを、撮影位置毎に分類している。なお、第1,第2実施形態のものと同様の構成部材には同一の符号を付し、その詳細な説明を省略する。
[Third Embodiment]
In the third embodiment of FIGS. 9 to 11, the face feature data stored in the RAM 12 is classified for each photographing position. In addition, the same code | symbol is attached | subjected to the structural member similar to the thing of the 1st, 2nd embodiment, and the detailed description is abbreviate | omitted.

図9に示すように、第3実施形態のカメラ付き携帯電話50には、GPSユニット51が設けられている。GPSユニット51は、現在地を測位してその位置データを取得するものであり、アンテナ52、GPS算出部53を有する。アンテナ52は、地球を周回している24個のGPS衛星のうち4個以上(例えば、4個)のGPS衛星からの電波を受信する。この受信した電波は、GPS算出部53に送られる。GPS算出部53には、入力された電波に基づき、現在地の位置データ(緯度・経度)を算出する算出プログラムが格納されている。   As shown in FIG. 9, a GPS unit 51 is provided in the camera-equipped mobile phone 50 according to the third embodiment. The GPS unit 51 measures the current location and acquires its position data, and includes an antenna 52 and a GPS calculation unit 53. The antenna 52 receives radio waves from four or more (for example, four) GPS satellites out of 24 GPS satellites orbiting the earth. The received radio wave is sent to the GPS calculation unit 53. The GPS calculation unit 53 stores a calculation program for calculating position data (latitude / longitude) of the current location based on the input radio wave.

認証モード時に撮影を行うと、CPU11は、GPS算出部53にプログラム起動信号を出力する。プログラム起動信号が入力されると、GPS算出部53は、算出プログラムを起動して、アンテナ52から入力される電波に基づき、現在地の位置データを算出(4個のGPS衛星からの距離を同時に知ることにより現在位置を算出)する。   When photographing is performed in the authentication mode, the CPU 11 outputs a program activation signal to the GPS calculation unit 53. When the program activation signal is input, the GPS calculation unit 53 activates the calculation program and calculates the position data of the current location based on the radio wave input from the antenna 52 (the distances from the four GPS satellites are known at the same time). To calculate the current position).

図10に示すように、RAM12に記憶された顔特徴量データは、撮影時にGPSユニット51で取得された位置データ毎に分類されている。特徴量データテーブルは、撮影位置(場所、緯度/経度、属性)データと、顔特徴量データとを備える。   As shown in FIG. 10, the facial feature amount data stored in the RAM 12 is classified for each position data acquired by the GPS unit 51 at the time of shooting. The feature amount data table includes shooting position (location, latitude / longitude, attribute) data and face feature amount data.

認証用データ選択部15は、特徴量データテーブルの中から、新画像データ撮影時にGPSユニット51で取得された位置データと一致する位置データを検索し、この検索した位置データに分類された顔特徴量データを、認証用顔特徴量データとして選択する。例えば、撮影位置が自宅の場合には、一致する位置データ(自宅)に分類された顔特徴量データ(A21、A22)を、認証用顔特徴量データとして選択する。また、認証用データ選択部15は、一致する位置データに分類された顔特徴量データがない場合には、最も近い位置データに分類された顔特徴量データを、認証用顔特徴量データとして選択する。このとき、認証用データ選択部15は、先ず、同じ属性の位置データを最も近い位置データとし、同じ属性の位置データがない場合には、緯度/経度に基づいて最も近い位置データを検索する。   The authentication data selection unit 15 searches the feature amount data table for position data that matches the position data acquired by the GPS unit 51 when the new image data was captured, and the facial features classified into the searched position data. The amount data is selected as face feature amount data for authentication. For example, when the shooting position is home, face feature data (A21, A22) classified as matching position data (home) is selected as authentication face feature data. Further, if there is no face feature data classified as the matching position data, the authentication data selection unit 15 selects the face feature data classified as the nearest position data as authentication face feature data. To do. At this time, the authentication data selection unit 15 first sets the position data having the same attribute as the closest position data, and if there is no position data having the same attribute, searches for the closest position data based on the latitude / longitude.

上記のように構成されたカメラ付き携帯電話50の作用について、図11のフローチャートを用いて説明を行う。カメラ付き携帯電話2の電源をオンする(S201)と、認証モードとなる(S202)。認証モードでは、ユーザが、自分の顔を撮影する(S203)と、GPSユニット51は、現在地の位置データを算出する(S204)。   The operation of the camera-equipped mobile phone 50 configured as described above will be described with reference to the flowchart of FIG. When the camera-equipped mobile phone 2 is turned on (S201), the authentication mode is set (S202). In the authentication mode, when the user shoots his / her face (S203), the GPS unit 51 calculates position data of the current location (S204).

認証用データ選択部15は、特徴量データテーブルの中から、新画像データ撮影時にGPSユニット51で取得された位置データと一致する位置データを検索し、一致する位置データに分類された顔特徴量データがある場合(S205でY)には、その顔特徴量データを認証用顔特徴量データとして選択する(S206)。   The authentication data selection unit 15 searches the feature quantity data table for position data that matches the position data acquired by the GPS unit 51 when the new image data was captured, and the face feature quantities classified into the matching position data. If there is data (Y in S205), the face feature data is selected as authentication face feature data (S206).

また、認証用データ選択部15は、一致する位置データに分類された顔特徴量データがない場合(S205でN)には、最も近い位置データに分類された顔特徴量データを、認証用顔特徴量データとして選択する(S207)。なお、認証用データ選択部15は、(S206)、(S207)のいずれにおいても、顔特徴量データが複数ある場合には、複数の顔特徴量データの平均値を算出して、この算出した平均値を認証用顔特徴量データとして選択する。以降、(S208)〜(S216)は、第2実施形態の(S108)〜(S114)及び第1実施形態の(S11),(S12)と同様なので、説明を省略する。   In addition, when there is no face feature data classified into the matching position data (N in S205), the authentication data selection unit 15 converts the face feature data classified into the closest position data into the authentication face data. It selects as feature-value data (S207). Note that, in both cases (S206) and (S207), the authentication data selection unit 15 calculates the average value of the plurality of face feature amount data when there are a plurality of face feature amount data. The average value is selected as authentication face feature data. Henceforth, since (S208)-(S216) are the same as (S108)-(S114) of 2nd Embodiment and (S11), (S12) of 1st Embodiment, description is abbreviate | omitted.

[第4実施形態]
図12〜図14の第4実施形態は、RAM12に記憶された顔特徴量データを、撮影時間及び撮影位置毎に分類している。なお、第1〜第3実施形態のものと同様の構成部材には同一の符号を付し、その詳細な説明を省略する。
[Fourth Embodiment]
In the fourth embodiment of FIGS. 12 to 14, the facial feature data stored in the RAM 12 is classified for each photographing time and photographing position. In addition, the same code | symbol is attached | subjected to the structural member similar to the thing of the 1st-3rd embodiment, and the detailed description is abbreviate | omitted.

図12に示すように、第4実施形態のカメラ付き携帯電話60には、時計部14及びGPSユニット51の両方が設けられている。   As shown in FIG. 12, both the clock unit 14 and the GPS unit 51 are provided in the camera-equipped mobile phone 60 according to the fourth embodiment.

図13に示すように、RAM12に記憶された顔特徴量データは、撮影時間及び撮影位置毎に割り振られたID番号(「1」〜「24」)に分類されている。特徴量データテーブルは、撮影時間(名称、時間帯)データと、撮影位置データと、顔特徴量データとを備える。本実施形態では、撮影時間データは3時間毎に区分けされている。認証用データ選択部15は、特徴量データテーブルの中から、新画像データ撮影時に取得された時間データ及び位置データと一致するIDを検索し、この検索したIDに分類された顔特徴量データを、認証用顔特徴量データとして選択する。例えば、撮影時間が05:30で撮影位置が自宅の場合には、ID番号として「4」が検索され、これに分類された顔特徴量データ(B31)を、認証用顔特徴量データとして選択する。   As shown in FIG. 13, the face feature data stored in the RAM 12 is classified into ID numbers (“1” to “24”) assigned for each shooting time and shooting position. The feature amount data table includes shooting time (name, time zone) data, shooting position data, and face feature amount data. In the present embodiment, the shooting time data is divided every 3 hours. The authentication data selection unit 15 searches the feature amount data table for an ID that matches the time data and the position data acquired when the new image data was captured, and selects the face feature amount data classified into the searched ID. , And selected as authentication face feature data. For example, when the shooting time is 05:30 and the shooting position is at home, “4” is searched for as the ID number, and the face feature data (B31) classified into this is selected as authentication face feature data. To do.

上記のように構成されたカメラ付き携帯電話60の作用について、図14のフローチャートを用いて説明を行う。カメラ付き携帯電話2の電源をオンする(S301)と、認証モードとなる(S302)。認証モードでは、ユーザが、自分の顔を撮影する(S303)と、時計部14は撮影時の時間データを取得するとともに、GPSユニット51は、現在地の位置データを算出する(S304)。   The operation of the camera-equipped mobile phone 60 configured as described above will be described with reference to the flowchart of FIG. When the camera-equipped mobile phone 2 is turned on (S301), the authentication mode is set (S302). In the authentication mode, when the user photographs his / her face (S303), the clock unit 14 acquires time data at the time of photographing, and the GPS unit 51 calculates position data of the current location (S304).

認証用データ選択部15は、特徴量データテーブルの中から、新画像データ撮影時に取得された時間データ及び位置データと一致するIDを検索し、一致するIDに分類された顔特徴量データがある場合(S305でY)には、その顔特徴量データを認証用顔特徴量データとして選択する(S306)。   The authentication data selection unit 15 searches the feature amount data table for an ID that matches the time data and the position data acquired when the new image data was captured, and has face feature amount data classified into the matching ID. In the case (Y in S305), the face feature data is selected as authentication face feature data (S306).

また、認証用データ選択部15は、一致するIDに分類された顔特徴量データがない場合(S305でN)には、最も近いIDに分類された顔特徴量データを、認証用顔特徴量データとして選択する(S307)。このとき、認証用データ選択部15は、最も近い時間帯で同じ撮影場所のIDを、最も近いIDとして選択する。なお、認証用データ選択部15は、(S306)、(S307)のいずれにおいても、顔特徴量データが複数ある場合には、複数の顔特徴量データの平均値を算出して、この算出した平均値を認証用顔特徴量データとして選択する。以降、(S308)〜(S316)は、第3実施形態の(S208)〜(S216)と同様なので、説明を省略する。   Further, when there is no face feature amount data classified into the matching ID (N in S305), the authentication data selection unit 15 converts the face feature amount data classified into the closest ID into the authentication face feature amount. The data is selected (S307). At this time, the authentication data selection unit 15 selects the ID of the same shooting location as the closest ID in the closest time zone. Note that, in both cases (S306) and (S307), the authentication data selection unit 15 calculates the average value of the plurality of face feature amount data when there are a plurality of face feature amount data. The average value is selected as authentication face feature data. Henceforth, since (S308)-(S316) are the same as (S208)-(S216) of 3rd Embodiment, description is abbreviate | omitted.

なお、上記実施形態では、カメラ付き携帯電話で撮影した画像データを、認証用データとしてRAMに記憶しているが、他の撮影装置、例えばデジタルカメラで撮影した画像データを、認証用データとしてカメラ付き携帯電話のRAMに記憶してもよい。また、RAMに認証用データを記憶せずに、インターネットを介して接続されるデータサーバー内に認証用データを記憶してもよい。   In the above-described embodiment, image data shot with a camera-equipped mobile phone is stored in the RAM as authentication data. However, image data shot with another shooting device, for example, a digital camera, is used as authentication data in the camera. You may memorize | store in RAM of an attached mobile phone. Further, the authentication data may be stored in a data server connected via the Internet without storing the authentication data in the RAM.

また、1台のカメラ付き携帯電話を複数のユーザで使用する場合には、複数のユーザ毎に特徴量データテーブルを作成してRAMに記憶しておき、認証モード時には、認証するユーザ名を入力し、その入力されたユーザの特徴量データテーブルを用いて顔認証を行うようにしてもよい。   When a single camera-equipped mobile phone is used by multiple users, a feature data table is created for each of the multiple users and stored in the RAM. In the authentication mode, the user name to be authenticated is input. Then, face authentication may be performed using the input feature quantity data table of the user.

さらに、上記第4実施形態では、新画像データ撮影時に取得された時間データ及び位置データと一致するIDに分類された顔特徴量データがない場合には、認証用データ選択部15は、最も近い時間帯で同じ撮影場所のIDを、最も近いIDとして選択しているが、同じ時間帯で最も近い撮影場所のIDを、最も近いIDとして選択してもよい。また、これら2パターンそれぞれの選択方法を実施したときの顔認証での判定結果を記憶しておき、一致と判定された確率の高い選択方法を用いて、最も近いIDを選択するようにしてもよい。   Furthermore, in the fourth embodiment, when there is no face feature data classified into an ID that matches the time data and the position data acquired at the time of capturing new image data, the authentication data selection unit 15 is closest. Although the ID of the same shooting location in the time zone is selected as the closest ID, the ID of the closest shooting location in the same time zone may be selected as the closest ID. In addition, the determination result in the face authentication when the selection method of each of these two patterns is performed is stored, and the closest ID is selected by using a selection method with a high probability determined to be coincident. Good.

また、本発明は、カメラ付き携帯電話に限らず、撮影機能を有する電子機器であれば実施可能であり、例えばデジタルカメラ等に実施可能である。   Further, the present invention is not limited to a camera-equipped mobile phone, and can be implemented as long as it is an electronic device having a photographing function, for example, a digital camera.

2,40,50,60 カメラ付き携帯電話
10 撮影レンズ
12 RAM(記憶手段)
13 顔特徴量算出部(顔検出手段)
14 時計部(シチュエーション情報取得手段)
15 認証用データ選択部(選択手段)
16 顔一致判定部(判定手段)
51 GPSユニット(シチュエーション情報取得手段)
2, 40, 50, 60 Mobile phone with camera 10 Photography lens 12 RAM (memory means)
13 face feature amount calculation unit (face detection means)
14 Clock part (situation information acquisition means)
15 Authentication data selection section (selection means)
16 Face match determination unit (determination means)
51 GPS unit (situation information acquisition means)

Claims (5)

被写体の顔画像を含む画像データを撮影したときのシチュエーション情報を取得し、
被写体の顔画像を含み撮影時のシチュエーション情報毎に予め分類された複数の認証用データの中から、前記画像データを撮影したときのシチュエーション情報と一致する1つに分類された前記認証用データを選択し、
選択された前記認証用データ内の被写体の顔と、前記画像データ内の被写体の顔とを検出し、
検出された前記認証用データ内の被写体の顔と、検出された前記画像データ内の被写体の顔とが一致しているか否かを判定することを特徴とする顔認証方法。
Obtain situation information when shooting image data including the face image of the subject,
The authentication data classified into one that matches the situation information when the image data was photographed out of a plurality of authentication data classified beforehand for each situation information at the time of photographing including the face image of the subject. Selected,
Detecting the face of the subject in the selected authentication data and the face of the subject in the image data;
A face authentication method, comprising: determining whether or not the detected face of the subject in the authentication data matches the detected face of the subject in the image data.
前記シチュエーション情報は、前記画像データまたは前記認証用データを撮影したときの時間情報、時期情報、位置情報の少なくとも1つであることを特徴とする請求項1記載の顔認証方法。   The face authentication method according to claim 1, wherein the situation information is at least one of time information, time information, and position information when the image data or the authentication data is captured. 前記複数の認証用データの中に、前記画像データを撮影したときのシチュエーション情報と一致するシチュエーション情報に分類された前記認証用データがないときには、前記画像データを撮影したときのシチュエーション情報に最も近いシチュエーション情報に分類された前記認証用データを選択することを特徴とする請求項1または2記載の顔認証方法。   When the authentication data classified into the situation information that matches the situation information when the image data is captured is not among the plurality of authentication data, the closest to the situation information when the image data is captured 3. The face authentication method according to claim 1 or 2, wherein the authentication data classified as situation information is selected. 前記一致しているか否かの判定で一致していないと判定されたときには、前記画像データを撮影したときのシチュエーション情報に最も近いシチュエーション情報に分類された前記認証用データを選択して前記一致しているか否かの判定を再度行うことを特徴とする請求項1または2記載の顔認証方法。   When it is determined in the determination as to whether or not they match, the authentication data classified into the situation information closest to the situation information when the image data was captured is selected and matched. 3. The face authentication method according to claim 1 or 2, wherein the determination as to whether or not the image is present is performed again. 被写体の顔画像を撮影して画像データを取得する撮影手段と、
前記撮影手段で前記画像データを撮影したときのシチュエーション情報を取得するシチュエーション情報取得手段と、
被写体の顔画像を含む複数の認証用データが、撮影時のシチュエーション情報毎に予め分類されて記憶された記憶手段と、
前記複数の認証用データの中から、前記画像データを撮影したときのシチュエーション情報と一致する1つに分類された前記認証用データを選択する選択手段と、
前記選択手段で選択された前記認証用データ内の被写体の顔と、前記画像データ内の被写体の顔とを検出する顔検出手段と、
前記顔検出手段で検出された前記認証用データ内の被写体の顔と、前記顔検出手段で検出された前記画像データ内の被写体の顔とが一致しているか否かを判定する判定手段と、
を備えることを特徴とする顔認証装置。
Photographing means for photographing a face image of a subject and obtaining image data;
Situation information acquisition means for acquiring situation information when the image data is imaged by the imaging means;
A plurality of authentication data including a face image of a subject is stored in advance classified and stored for each situation information at the time of shooting,
A selection means for selecting the authentication data classified into one that matches the situation information when the image data is captured from the plurality of authentication data;
Face detection means for detecting the face of the subject in the authentication data selected by the selection means and the face of the subject in the image data;
A determination unit that determines whether or not the face of the subject in the authentication data detected by the face detection unit matches the face of the subject in the image data detected by the face detection unit;
A face authentication apparatus comprising:
JP2009082175A 2009-03-30 2009-03-30 Method and device for authenticating face Abandoned JP2010237756A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009082175A JP2010237756A (en) 2009-03-30 2009-03-30 Method and device for authenticating face

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009082175A JP2010237756A (en) 2009-03-30 2009-03-30 Method and device for authenticating face

Publications (1)

Publication Number Publication Date
JP2010237756A true JP2010237756A (en) 2010-10-21

Family

ID=43092044

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009082175A Abandoned JP2010237756A (en) 2009-03-30 2009-03-30 Method and device for authenticating face

Country Status (1)

Country Link
JP (1) JP2010237756A (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012238256A (en) * 2011-05-13 2012-12-06 Hitachi Ltd Biometric authentication device, biometric authentication method, and biometric authentication program
JP2015069495A (en) * 2013-09-30 2015-04-13 富士フイルム株式会社 Person recognition apparatus, person recognition method, and person recognition program and recording medium therefor
KR20170050980A (en) * 2015-11-02 2017-05-11 주식회사 파이브지티 Face recognition system and method of adapting to environment
JP2019012452A (en) * 2017-06-30 2019-01-24 キヤノンマーケティングジャパン株式会社 Information processing system, information processing method, program
JP2020021395A (en) * 2018-08-03 2020-02-06 キヤノンマーケティングジャパン株式会社 Management server, telework management support system, telework management support method and program
CN111052131A (en) * 2017-09-28 2020-04-21 松下知识产权经营株式会社 Authentication device, authentication system, authentication method, and program
JP2021515333A (en) * 2018-03-02 2021-06-17 北京京▲東▼尚科信息技▲術▼有限公司Beijing Jingdong Shangke Information Technology Co., Ltd. Methods and devices for identifying items purchased by users as well as intelligent shelving systems
JP2022133407A (en) * 2017-06-30 2022-09-13 キヤノンマーケティングジャパン株式会社 Information processing system, information processing method, and program

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002236665A (en) * 2001-02-09 2002-08-23 Matsushita Electric Ind Co Ltd Personal authentication device
JP2005115481A (en) * 2003-10-03 2005-04-28 Toshiba Social Automation Systems Co Ltd Authentication system and computer readable storage medium
JP2007249556A (en) * 2006-03-15 2007-09-27 Fujitsu Ltd Individual authentication system, method and program using biological information
JP2008165314A (en) * 2006-12-27 2008-07-17 Sony Corp Individual identification device and individual identification method
WO2008120317A1 (en) * 2007-03-28 2008-10-09 Fujitsu Limited Checking device, authenticating device, checking method, authenticating method, checking program, and authenticating program

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002236665A (en) * 2001-02-09 2002-08-23 Matsushita Electric Ind Co Ltd Personal authentication device
JP2005115481A (en) * 2003-10-03 2005-04-28 Toshiba Social Automation Systems Co Ltd Authentication system and computer readable storage medium
JP2007249556A (en) * 2006-03-15 2007-09-27 Fujitsu Ltd Individual authentication system, method and program using biological information
JP2008165314A (en) * 2006-12-27 2008-07-17 Sony Corp Individual identification device and individual identification method
WO2008120317A1 (en) * 2007-03-28 2008-10-09 Fujitsu Limited Checking device, authenticating device, checking method, authenticating method, checking program, and authenticating program

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012238256A (en) * 2011-05-13 2012-12-06 Hitachi Ltd Biometric authentication device, biometric authentication method, and biometric authentication program
JP2015069495A (en) * 2013-09-30 2015-04-13 富士フイルム株式会社 Person recognition apparatus, person recognition method, and person recognition program and recording medium therefor
US9443145B2 (en) 2013-09-30 2016-09-13 Fujifilm Corporation Person recognition apparatus, person recognition method, and non-transitory computer readable recording medium
KR101977887B1 (en) * 2015-11-02 2019-05-13 주식회사 파이브지티 Face recognition system and method of adapting to environment
KR20170050980A (en) * 2015-11-02 2017-05-11 주식회사 파이브지티 Face recognition system and method of adapting to environment
JP7104291B2 (en) 2017-06-30 2022-07-21 キヤノンマーケティングジャパン株式会社 Information processing system, information processing method, program
JP2019012452A (en) * 2017-06-30 2019-01-24 キヤノンマーケティングジャパン株式会社 Information processing system, information processing method, program
JP2022133407A (en) * 2017-06-30 2022-09-13 キヤノンマーケティングジャパン株式会社 Information processing system, information processing method, and program
JP7299543B2 (en) 2017-06-30 2023-06-28 キヤノンマーケティングジャパン株式会社 Information processing system, information processing method, program
CN111052131A (en) * 2017-09-28 2020-04-21 松下知识产权经营株式会社 Authentication device, authentication system, authentication method, and program
CN111052131B (en) * 2017-09-28 2024-04-09 松下知识产权经营株式会社 Authentication device, authentication system, authentication method, and storage medium
JP2021515333A (en) * 2018-03-02 2021-06-17 北京京▲東▼尚科信息技▲術▼有限公司Beijing Jingdong Shangke Information Technology Co., Ltd. Methods and devices for identifying items purchased by users as well as intelligent shelving systems
JP2020021395A (en) * 2018-08-03 2020-02-06 キヤノンマーケティングジャパン株式会社 Management server, telework management support system, telework management support method and program
JP2022136312A (en) * 2018-08-03 2022-09-15 キヤノンマーケティングジャパン株式会社 Management server, telework management support system, telework management support method and program
JP7372566B2 (en) 2018-08-03 2023-11-01 キヤノンマーケティングジャパン株式会社 Management server, telework management support system, telework management support method and program

Similar Documents

Publication Publication Date Title
JP2010237756A (en) Method and device for authenticating face
RU2637886C2 (en) Method and device for exchanging photographs
US8224128B2 (en) Portable information terminal device
KR101477178B1 (en) Portable terminal having dual camera and photographing method using the same
KR101115720B1 (en) Mobile device with digital camera
US8022982B2 (en) Camera system and method for operating a camera system
KR101946437B1 (en) Method and terminal for acquiring panoramic image
US10115019B2 (en) Video categorization method and apparatus, and storage medium
WO2017214793A1 (en) Fingerprint template generation method and apparatus
US10397471B2 (en) Image processing apparatus, location information adding method
CN106934320B (en) Fingerprint identification method and device
JP2005348181A (en) Photography system, its control method and program for control
CN103685909A (en) Image capture method and system
JP4848569B2 (en) Digital camera, camera phone
CN108848303A (en) Shoot reminding method and device
US7868933B2 (en) Imaging device
US20170034347A1 (en) Method and device for state notification and computer-readable storage medium
KR20070023880A (en) Apparatus and method of user recognizing for portable device
CN108154090B (en) Face recognition method and device
CN109040410A (en) information display method and device
CN108830194B (en) Biological feature recognition method and device
JP2017005395A (en) Imaging apparatus, imaging control method, and program
JP2009111827A (en) Photographing apparatus and image file providing system
KR20090032209A (en) Method and apparatus for registering a image in a telephone directory of portable terminal
CN109637001A (en) Method, apparatus, terminal and the storage medium of invoice authentication

Legal Events

Date Code Title Description
A621 Written request for application examination

Effective date: 20110708

Free format text: JAPANESE INTERMEDIATE CODE: A621

A977 Report on retrieval

Effective date: 20121207

Free format text: JAPANESE INTERMEDIATE CODE: A971007

A131 Notification of reasons for refusal

Effective date: 20121212

Free format text: JAPANESE INTERMEDIATE CODE: A131

A762 Written abandonment of application

Free format text: JAPANESE INTERMEDIATE CODE: A762

Effective date: 20130131