JP2010237756A - Method and device for authenticating face - Google Patents
Method and device for authenticating face Download PDFInfo
- Publication number
- JP2010237756A JP2010237756A JP2009082175A JP2009082175A JP2010237756A JP 2010237756 A JP2010237756 A JP 2010237756A JP 2009082175 A JP2009082175 A JP 2009082175A JP 2009082175 A JP2009082175 A JP 2009082175A JP 2010237756 A JP2010237756 A JP 2010237756A
- Authority
- JP
- Japan
- Prior art keywords
- face
- data
- authentication
- image data
- classified
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Abandoned
Links
Images
Abstract
Description
本発明は、顔認証方法及び顔認証装置に関するものである。 The present invention relates to a face authentication method and a face authentication device.
近年、セキュリティー対策として、予め記憶された認証用の顔画像と、新たに撮影した新顔画像とが一致しているか否かを判定する顔認証を行い、一致した場合のみ、ロックを解除する技術が一般的になっている。例えば、このような顔認証機能を、カメラ付き携帯電話に搭載することが考えられる。この場合、通常時は携帯電話としては使用不可で顔認証のための撮影のみ実行可能な状態となり、この通常時に撮影を行い、顔認証で一致したことが判定されたときのみ、携帯電話として使用可能な状態となる。これにより、認証用の画像として所有者の顔画像のみを記憶しておけば、所有者以外が顔認証を行っても一致が判定されないため、不正に使用されることを防止することができる。 In recent years, as a security measure, a technology that performs face authentication to determine whether or not a pre-stored authentication face image and a newly photographed new face image match, and releases the lock only when they match. Has become commonplace. For example, it is conceivable to install such a face authentication function in a camera-equipped mobile phone. In this case, the camera cannot be used normally as a mobile phone, and only the face authentication can be taken, and it is used as a mobile phone only when it is determined that the face authentication has been taken. It becomes possible. Accordingly, if only the face image of the owner is stored as an authentication image, it is not determined that the face is authenticated even if a face other than the owner performs face authentication.
撮影条件の違いによっては、認証用の顔画像と、新たに撮影した新顔画像とが大きく異なることがある。このような場合、同一人物でも、顔認証で一致していないと判定されることがあるため、特許文献1では、撮影時の日付及び時間、被写体の年齢、及び認証用の顔画像を記憶してからの経過時間などに応じて顔画像の特徴量を修正し、この修正した顔画像の特徴量を用いて顔認証を行うことにより、経年変化による同一人物の顔の変化に対応している。また、特許文献2では、撮影範囲内に被写体が存在しない場合、所定時間毎に周囲の照明環境を分析し、環境条件を制御することにより、照明環境・照度による誤認証を防止している。
Depending on the photographing conditions, the authentication face image and the newly photographed new face image may differ greatly. In such a case, even in the case of the same person, it may be determined that the face authentication does not match, so
撮影時間や撮影位置等のシチュエーションによって、撮影するときの顔は異なるものであり、例えば、朝起きたばかりでむくんでいる顔と、起きてから数時間経過したときの顔とは異なる。さらに、女性の場合、化粧を施すため、化粧を施す前の早朝に自宅にいるときの顔と、化粧を施した後の昼頃に勤務地にいるときの顔とは異なる。特許文献1及び2でも、このようなシチュエーションによって異なる顔を同一人物として認証することはできないため、顔認証の精度が低かった。
Depending on the situation such as the shooting time and the shooting position, the face when shooting is different. For example, the face that has just been woken up in the morning and the face when several hours have passed since waking up are different. Furthermore, in the case of women, since they apply makeup, the face when they are at home in the early morning before applying makeup is different from the face when they are at work around noon after applying makeup. Also in
本発明は、上記課題を解決するためになされたものであり、顔認証の精度を向上することができる顔認証方法及び顔認証装置を提供することを目的とする。 SUMMARY An advantage of some aspects of the invention is that it provides a face authentication method and a face authentication apparatus capable of improving the accuracy of face authentication.
上記目的を達成するために、本発明の顔認証方法は、被写体の顔画像を含む画像データを撮影したときのシチュエーション情報を取得し、被写体の顔画像を含み撮影時のシチュエーション情報毎に予め分類された複数の認証用データの中から、前記画像データを撮影したときのシチュエーション情報と一致する1つに分類された前記認証用データを選択し、選択された前記認証用データ内の被写体の顔と、前記画像データ内の被写体の顔とを検出し、検出された前記認証用データ内の被写体の顔と、検出された前記画像データ内の被写体の顔とが一致しているか否かを判定することを特徴とする。 In order to achieve the above object, the face authentication method of the present invention acquires situation information when image data including a face image of a subject is captured, and is classified in advance for each situation information including a face image of the subject. The authentication data classified into one that matches the situation information obtained when the image data was captured is selected from the plurality of authentication data thus selected, and the subject's face in the selected authentication data And the face of the subject in the image data is detected, and it is determined whether or not the detected face of the subject in the authentication data matches the detected face of the subject in the image data It is characterized by doing.
また、前記シチュエーション情報は、前記画像データまたは前記認証用データを撮影したときの時間情報、時期情報、位置情報の少なくとも1つであることが好ましい。 The situation information is preferably at least one of time information, time information, and position information when the image data or the authentication data is captured.
さらに、前記複数の認証用データの中に、前記画像データを撮影したときのシチュエーション情報と一致するシチュエーション情報に分類された前記認証用データがないときには、前記画像データを撮影したときのシチュエーション情報に最も近いシチュエーション情報に分類された前記認証用データを選択すること、または、前記一致しているか否かの判定で一致していないと判定されたときには、前記画像データを撮影したときのシチュエーション情報に最も近いシチュエーション情報に分類された前記認証用データを選択して前記一致しているか否かの判定を再度行うことが好ましい。 Further, in the plurality of authentication data, when there is no authentication data classified into the situation information that matches the situation information when the image data is captured, the situation information when the image data is captured is When the authentication data classified into the closest situation information is selected, or when it is determined that they do not match in the determination of whether or not they match, the situation information at the time of shooting the image data is displayed. It is preferable to select again the authentication data classified into the closest situation information and determine again whether or not they match.
また、本発明の顔認証装置は、被写体の顔画像を撮影して画像データを取得する撮影手段と、前記撮影手段で前記画像データを撮影したときのシチュエーション情報を取得するシチュエーション情報取得手段と、被写体の顔画像を含む複数の認証用データが、撮影時のシチュエーション情報毎に予め分類されて記憶された記憶手段と、前記複数の認証用データの中から、前記画像データを撮影したときのシチュエーション情報と一致する1つに分類された前記認証用データを選択する選択手段と、前記選択手段で選択された前記認証用データ内の被写体の顔と、前記画像データ内の被写体の顔とを検出する顔検出手段と、前記顔検出手段で検出された前記認証用データ内の被写体の顔と、前記顔検出手段で検出された前記画像データ内の被写体の顔とが一致しているか否かを判定する判定手段と、を備えることを特徴とする。 Further, the face authentication device of the present invention includes a photographing unit that captures a face image of a subject to acquire image data, a situation information acquisition unit that acquires situation information when the image data is captured by the photographing unit, A situation in which a plurality of pieces of authentication data including a face image of a subject are pre-classified and stored for each situation information at the time of shooting, and a situation when the image data is taken from the plurality of pieces of authentication data A selection unit that selects the authentication data classified into one that matches information, a subject face in the authentication data selected by the selection unit, and a subject face in the image data are detected. A face detection unit that detects a face of the subject in the authentication data detected by the face detection unit, and a subject in the image data detected by the face detection unit. The face and determination means for determining whether match, characterized in that it comprises a.
本発明によれば、被写体像を含み撮影時のシチュエーション情報毎に予め分類された複数の認証用データの中から、画像データを撮影したときのシチュエーション情報と一致する1つに分類された認証用データを選択し、この選択された認証用データ内の被写体の顔と、画像データ内の被写体の顔とが一致しているか否かを判定するから、撮影時のシチュエーションによって顔が異なる場合でも、同一人物の顔認証を行ったときに不一致と判定されることを抑制することができる。これにより、顔認証の精度を向上することができる。 According to the present invention, the authentication data classified into one that matches the situation information obtained when the image data is photographed out of a plurality of authentication data classified in advance for each situation information including the subject image. Since data is selected and it is determined whether or not the face of the subject in the selected authentication data matches the face of the subject in the image data, even if the face differs depending on the situation at the time of shooting, It is possible to suppress the determination of mismatch when face authentication is performed on the same person. Thereby, the accuracy of face authentication can be improved.
[第1実施形態]
図1に示すように、本発明を実施したカメラ付き携帯電話2は、本体ケース3に、電源ボタン4、通話ボタン5、複数の入力ボタン6、各種設定及び選択を行う設定ボタン7、レリーズボタン8等の各種操作ボタンの他に、LCD9、撮影レンズ10等が設けられている。
[First Embodiment]
As shown in FIG. 1, a camera-equipped
レリーズボタン8は、2段押しの構造とされている。レリーズボタン8を軽く押圧(半押し)すると、フォーカシングなどの撮影準備動作が行われる。この状態でさらに押圧(全押し)すると、撮影動作が行われる。
The
カメラ付き携帯電話2には、携帯電話として使用する携帯電話モードと、撮影及び画像の再生を行う撮影・再生モード(以下、撮影モード)と、認証用の撮影を行い、使用許可を与えるか否かを判定する認証モードとが設けられている。携帯電話モードと撮影モードとの切り換えは、設定ボタン7を操作して行う。電源オフの状態で電源ボタン4を操作して電源をオンすると、認証モードに切り換わる。認証モードで認証用の撮影を行い、使用許可が与えられたときのみ、携帯電話モード及び撮影モードに切り換えることができる。なお、認証モードでも、着信による通話は行うことができる。
Whether the mobile phone with
図2に示すように、カメラ付き携帯電話2には、CPU11、RAM12、顔特徴量算出部13、時計部14、認証用データ選択部15、顔一致判定部16、通信部17が設けられている。RAM12には、複数の電話番号が記憶されており、携帯電話モードで電話を掛けるときには、設定ボタン7を操作してRAM12に記憶された電話番号を読み出すか、入力ボタン6を操作して電話番号を入力した後、通話ボタン5を操作する。通信部17は携帯電話会社の基地局と無線通信を行う。そして、本体ケース3に内蔵されたマイク及びスピーカ(図示せず)を介して通話を行う。
As shown in FIG. 2, the camera-equipped
撮影レンズ10の背後には、撮影レンズ10を透過した被写体光が入射するCCD21が配置されている。このCCD21は、被写体像を光電変換して時系列の3色信号を発生し、これを相関二重サンプリング回路(CDS)22に送る。CCDドライバ26には、CPU11によって制御されるTG(タイミングジェネレータ)27からのタイミング信号(クロック信号)が入力される。このCCDドライバ26によって、CCD21が作動される。CCD21から出力された3色信号は、CDS22でノイズ成分が除去され、CCD21の各セルの蓄積電荷量に正確に対応した3色信号に変換される。CDS22から出力された3色信号は、ISO感度に応じて増幅器(AMP)23で増幅され、A/D変換器24で画像データに変換される。
Behind the photographing
画像入力コントローラ25は、データバス29を介してCPU11に接続されており、CPU11の命令によってCDS22,AMP23,A/D変換器24を制御する。また、A/D変換器24から出力された画像データをビデオメモリ31、あるいはバッファメモリ33に書き込む。
The
ビデオメモリ31は、LCD9をビューファインダとして使用する際に、解像度の低いスルー画の画像データが一時的に記憶される。このスルー画の画像データは、データバス29を介してLCDドライバ32に送られ、スルー画がLCD9に表示される。バッファメモリ33は、撮像された高解像度の画像データが一時的に記憶される。このバッファメモリ33から読み出された画像データは、メモリコントローラ34によって駆動制御されるデータリーダによりRAM12に記憶される。
When the
顔特徴量算出部13は、画像データがバッファメモリ33内に記憶されている間に、記憶された画像データに基づいて、撮影された被写体の顔を検出するとともに、顔パーツ(目、鼻、唇等)の特徴量(位置、サイズ等)を算出する。そして、算出した顔特徴量データを画像データに付加する。また、画像データには、撮影時に時計部14で取得された時間データ(時、分、秒)も付加される。すなわち、RAM12には、顔特徴量データ及び時間データが付加された画像データが認証用データとして記憶される。
While the image data is stored in the
図3に示すように、RAM12に記憶された認証用データの顔特徴量データは、撮影時の時間毎に分類されている。特徴量データテーブルは、認証用データを撮影したときの時間データと、認証用データの顔特徴量データとを備える。本実施形態では、時間データは1時間毎に区分けされている。
As shown in FIG. 3, the facial feature amount data of the authentication data stored in the
認証用データ選択部15は、認証モード時に撮影した画像データ(以下、「新画像データ」と称する)の顔特徴量と、RAM12に記憶された認証用データの顔特徴量とを用いて顔認証を行うときに作動する。認証用データ選択部15は、特徴量データテーブルの中から、新画像データ撮影時に時計部14で取得された時間データと一致する時間データを検索し、この検索した時間データに分類された顔特徴量データを、認証用顔特徴量データとして選択する。例えば、撮影時間が00:20の場合には、一致する時間データ(00:00〜01:00)に分類された顔特徴量データ(A1)を、認証用顔特徴量データとして選択する。
The authentication
また、一致する時間データに分類された顔特徴量データがない場合には、認証用データ選択部15は、最も近い時間データに分類された顔特徴量データを、認証用顔特徴量データとして選択する。例えば、撮影時間が02:10であり、一致する時間データ(02:00〜03:00)に分類された顔特徴量データがない場合には、認証用データ選択部15は、最も近い時間データ(01:00〜02:00)に分類された顔特徴量データ(B1)を、認証用顔特徴量データとして選択する。
If there is no face feature data classified as matching time data, the authentication
一致する時間データに分類された顔特徴量データが複数ある場合には、認証用データ選択部15は、複数の顔特徴量データの平均値を算出して、この算出した平均値を認証用顔特徴量データとして選択する。例えば、撮影時間が10:20の場合には、一致する時間データ(10:00〜11:00)に分類された顔特徴量データ(H1、H2、H3)の平均値を、認証用顔特徴量データとして選択する。
When there are a plurality of face feature amount data classified into the matching time data, the authentication
顔一致判定部16は、新画像データに基づいて算出された顔特徴量と、認証用データ選択部15で選択された認証用顔特徴量データの顔特徴量とが一致しているか否かを判定する。一致が判定された場合には、顔一致判定部16は、CPU11に一致信号を出力する。CPU11は、一致信号の入力を受けて、認証モードから携帯電話モードに切り換える。
The face
顔一致判定部16は、一致が判定されなかったときには、CPU11に不一致信号を出力する。CPU11は、不一致信号の入力を受けて、認証モードを継続する。すなわち、顔一致判定部16で一致が判定されないときには、カメラ付き携帯電話2を携帯電話モードまたは撮影モードで使用することができない。このため、ユーザは、予め認証用データをRAM12に記憶しておく。
The face
上記のように構成されたカメラ付き携帯電話2の作用について、図4のフローチャートを用いて説明を行う。カメラ付き携帯電話2の電源をオンする(ステップ(以下、S)1)と、認証モードとなる(S2)。認証モードでは、ユーザが、レリーズボタン8を操作して被写体としての自分の顔を撮影する(S3)と、時計部14は撮影時の時間データを取得する(S4)。
The operation of the camera-equipped
認証用データ選択部15は、特徴量データテーブルの中から、新画像データ撮影時に時計部14で取得された時間データと一致する時間データを検索し、一致する時間データに分類された顔特徴量データがある場合(S5でY)には、その顔特徴量データを認証用顔特徴量データとして選択する(S6)。
The authentication
また、認証用データ選択部15は、一致する時間データに分類された顔特徴量データがない場合(S5でN)には、最も近い時間データに分類された顔特徴量データを、認証用顔特徴量データとして選択する(S7)。なお、認証用データ選択部15は、(S6)、(S7)のいずれにおいても、時間データ内に顔特徴量データが複数ある場合には、複数の顔特徴量データの平均値を算出して、この算出した平均値を認証用顔特徴量データとして選択する。
In addition, when there is no face feature data classified as matching time data (N in S5), the authentication
顔特徴量算出部13は、新画像データに基づいて顔特徴量を算出し、顔一致判定部16は、顔認証として、新画像データの顔特徴量と、認証用データ選択部15で選択された認証用顔特徴量データの顔特徴量とが一致しているか否かを判定する(S8)。一致が判定されたとき(S9でY)には、顔一致判定部16は、CPU11に一致信号を出力する。CPU11は、一致信号の入力を受けて、認証モードから携帯電話モードに切り換える(S10)。
The face feature
一方、顔一致判定部16は、一致が判定されなかったとき(S9でN)には、CPU11に不一致信号を出力する。CPU11は、不一致信号の入力を受けて、認証モードを継続して再度撮影を行うことを促す(S11)。これと同時に、CPU11は、新画像データを、認証用データとしてRAM12に記憶する(S12)。
On the other hand, the face
このように、認証モード時には、特徴量データテーブルの中から、新画像データ撮影時に時計部14で取得された時間データと一致する時間データまたは最も近い時間データに分類された顔特徴量データを選択し、この選択した認証用顔特徴量データの顔特徴量と、新画像データの顔特徴量とを用いて顔認証を行うから、撮影時間によって顔の特徴が異なる場合でも、同一人物の顔認証を行ったときに不一致と判定されることを抑制することができる。これにより、顔認証の精度を向上することができる。
As described above, in the authentication mode, the face feature value data classified into the time data that matches the time data acquired by the
なお、上記第1実施形態では、RAM12に記憶された顔特徴量データを1時間毎に分類しているが、分類する時間は1時間に限定されることなく、例えば、図5に示すように、3時間毎に分類してもよい。さらに、図6に示すように、顔特徴量データを季節毎に分類してもよい。この場合、時計部14は、撮影時に時間データ及び日付データ(年、月、日)を取得する。なお、季節毎の分類に代えて、顔特徴量データを1ヶ月毎や2ヶ月毎等に分類してもよい。
In the first embodiment, the facial feature data stored in the
[第2実施形態]
図7及び図8の第2実施形態は、顔一致判定部16で一致していると判定されたときに、新画像データを、認証用データとしてRAM12に記憶するか否かを選択する。なお、第1実施形態のものと同様の構成部材には同一の符号を付し、その詳細な説明を省略する。
[Second Embodiment]
In the second embodiment shown in FIGS. 7 and 8, when the face
図7に示すように、第2実施形態のカメラ付き携帯電話40では、顔一致判定部16で、新画像データに基づいて算出された顔特徴量と、認証用データ選択部15で選択された認証用顔特徴量データの顔特徴量とが一致していると判定されると、CPU11は、LCD9に、新画像データを認証用データとしてRAM12に記憶するか否かを選択するための選択画面41を表示する。この選択画面41は、「新しい画像を認証用画像として記憶しますか?」というコメント画像42と、「はい」という第1選択画像43と、「いいえ」という第2選択画像44とからなる。
As shown in FIG. 7, in the camera-equipped mobile phone 40 according to the second embodiment, the face
ユーザは、設定ボタン7を操作して、「はい」という第1選択画像43と、「いいえ」という第2選択画像44とのどちらかを選択する。第1選択画像43が選択されると、CPU11は、新画像データを認証用データとしてRAM12に記憶する。第2選択画像44が選択されると、CPU11は、新画像データを消去する。
The user operates the
また、顔一致判定部16で一致が判定されず、顔認証を行った回数が所定回数(例えば3回)未満であるときには、認証用データ選択部15は、再度選択を行う。認証用データ選択部15は、再度選択を行うときには、一致する時間データに最も近い時間データに分類された顔特徴量データを、認証用顔特徴量データとして選択する。
If the match is not determined by the face
上記のように構成されたカメラ付き携帯電話40の作用について、図8のフローチャートを用いて説明を行う。カメラ付き携帯電話2の電源をオンする(S101)と、認証モードとなる(S2)。以降、(S103)〜(S108)は、第1実施形態の(S3)〜(S8)と同様なので、説明を省略する。
The operation of the camera-equipped mobile phone 40 configured as described above will be described with reference to the flowchart of FIG. When the camera-equipped
顔一致判定部16は、一致したと判定したとき(S109でY)には、CPU11に一致信号を出力する。CPU11は、一致信号の入力を受けて、LCD9に、選択画面41を表示する(S110)。ユーザが、設定ボタン7を操作して、「はい」という第1選択画像43を選択する(S111でY)と、CPU11は、新画像データを認証用画像データとしてRAM12に記憶する(S112)。一方、「いいえ」という第2選択画像44を選択する(S111でN)と、CPU11は、新画像データを消去する(S113)。CPU11は、新画像データを記憶または消去した後、認証モードから携帯電話モードに切り換える(S114)。
When the face
一方、顔一致判定部16は、一致が判定されなかったとき(S109でN)には、CPU11に不一致信号を出力する。CPU11は、不一致信号の入力を受けて、3回目の顔認証であるか否かを判定する(S115)。1回目または2回目であり、3回目の顔認証ではない場合(S115でN)には、認証用データ選択部15は、再度選択を行う。認証用データ選択部15は、再度選択を行うときには、最も近い時間データに分類された顔特徴量データを、認証用顔特徴量データとして選択する(S107)。そして、新しく選択された認証用顔特徴量データを用いて顔認証を行う(S108)。
On the other hand, when the match is not determined (N in S109), the face
[第3実施形態]
図9〜図11の第3実施形態は、RAM12に記憶された顔特徴量データを、撮影位置毎に分類している。なお、第1,第2実施形態のものと同様の構成部材には同一の符号を付し、その詳細な説明を省略する。
[Third Embodiment]
In the third embodiment of FIGS. 9 to 11, the face feature data stored in the
図9に示すように、第3実施形態のカメラ付き携帯電話50には、GPSユニット51が設けられている。GPSユニット51は、現在地を測位してその位置データを取得するものであり、アンテナ52、GPS算出部53を有する。アンテナ52は、地球を周回している24個のGPS衛星のうち4個以上(例えば、4個)のGPS衛星からの電波を受信する。この受信した電波は、GPS算出部53に送られる。GPS算出部53には、入力された電波に基づき、現在地の位置データ(緯度・経度)を算出する算出プログラムが格納されている。
As shown in FIG. 9, a
認証モード時に撮影を行うと、CPU11は、GPS算出部53にプログラム起動信号を出力する。プログラム起動信号が入力されると、GPS算出部53は、算出プログラムを起動して、アンテナ52から入力される電波に基づき、現在地の位置データを算出(4個のGPS衛星からの距離を同時に知ることにより現在位置を算出)する。
When photographing is performed in the authentication mode, the
図10に示すように、RAM12に記憶された顔特徴量データは、撮影時にGPSユニット51で取得された位置データ毎に分類されている。特徴量データテーブルは、撮影位置(場所、緯度/経度、属性)データと、顔特徴量データとを備える。
As shown in FIG. 10, the facial feature amount data stored in the
認証用データ選択部15は、特徴量データテーブルの中から、新画像データ撮影時にGPSユニット51で取得された位置データと一致する位置データを検索し、この検索した位置データに分類された顔特徴量データを、認証用顔特徴量データとして選択する。例えば、撮影位置が自宅の場合には、一致する位置データ(自宅)に分類された顔特徴量データ(A21、A22)を、認証用顔特徴量データとして選択する。また、認証用データ選択部15は、一致する位置データに分類された顔特徴量データがない場合には、最も近い位置データに分類された顔特徴量データを、認証用顔特徴量データとして選択する。このとき、認証用データ選択部15は、先ず、同じ属性の位置データを最も近い位置データとし、同じ属性の位置データがない場合には、緯度/経度に基づいて最も近い位置データを検索する。
The authentication
上記のように構成されたカメラ付き携帯電話50の作用について、図11のフローチャートを用いて説明を行う。カメラ付き携帯電話2の電源をオンする(S201)と、認証モードとなる(S202)。認証モードでは、ユーザが、自分の顔を撮影する(S203)と、GPSユニット51は、現在地の位置データを算出する(S204)。
The operation of the camera-equipped mobile phone 50 configured as described above will be described with reference to the flowchart of FIG. When the camera-equipped
認証用データ選択部15は、特徴量データテーブルの中から、新画像データ撮影時にGPSユニット51で取得された位置データと一致する位置データを検索し、一致する位置データに分類された顔特徴量データがある場合(S205でY)には、その顔特徴量データを認証用顔特徴量データとして選択する(S206)。
The authentication
また、認証用データ選択部15は、一致する位置データに分類された顔特徴量データがない場合(S205でN)には、最も近い位置データに分類された顔特徴量データを、認証用顔特徴量データとして選択する(S207)。なお、認証用データ選択部15は、(S206)、(S207)のいずれにおいても、顔特徴量データが複数ある場合には、複数の顔特徴量データの平均値を算出して、この算出した平均値を認証用顔特徴量データとして選択する。以降、(S208)〜(S216)は、第2実施形態の(S108)〜(S114)及び第1実施形態の(S11),(S12)と同様なので、説明を省略する。
In addition, when there is no face feature data classified into the matching position data (N in S205), the authentication
[第4実施形態]
図12〜図14の第4実施形態は、RAM12に記憶された顔特徴量データを、撮影時間及び撮影位置毎に分類している。なお、第1〜第3実施形態のものと同様の構成部材には同一の符号を付し、その詳細な説明を省略する。
[Fourth Embodiment]
In the fourth embodiment of FIGS. 12 to 14, the facial feature data stored in the
図12に示すように、第4実施形態のカメラ付き携帯電話60には、時計部14及びGPSユニット51の両方が設けられている。
As shown in FIG. 12, both the
図13に示すように、RAM12に記憶された顔特徴量データは、撮影時間及び撮影位置毎に割り振られたID番号(「1」〜「24」)に分類されている。特徴量データテーブルは、撮影時間(名称、時間帯)データと、撮影位置データと、顔特徴量データとを備える。本実施形態では、撮影時間データは3時間毎に区分けされている。認証用データ選択部15は、特徴量データテーブルの中から、新画像データ撮影時に取得された時間データ及び位置データと一致するIDを検索し、この検索したIDに分類された顔特徴量データを、認証用顔特徴量データとして選択する。例えば、撮影時間が05:30で撮影位置が自宅の場合には、ID番号として「4」が検索され、これに分類された顔特徴量データ(B31)を、認証用顔特徴量データとして選択する。
As shown in FIG. 13, the face feature data stored in the
上記のように構成されたカメラ付き携帯電話60の作用について、図14のフローチャートを用いて説明を行う。カメラ付き携帯電話2の電源をオンする(S301)と、認証モードとなる(S302)。認証モードでは、ユーザが、自分の顔を撮影する(S303)と、時計部14は撮影時の時間データを取得するとともに、GPSユニット51は、現在地の位置データを算出する(S304)。
The operation of the camera-equipped mobile phone 60 configured as described above will be described with reference to the flowchart of FIG. When the camera-equipped
認証用データ選択部15は、特徴量データテーブルの中から、新画像データ撮影時に取得された時間データ及び位置データと一致するIDを検索し、一致するIDに分類された顔特徴量データがある場合(S305でY)には、その顔特徴量データを認証用顔特徴量データとして選択する(S306)。
The authentication
また、認証用データ選択部15は、一致するIDに分類された顔特徴量データがない場合(S305でN)には、最も近いIDに分類された顔特徴量データを、認証用顔特徴量データとして選択する(S307)。このとき、認証用データ選択部15は、最も近い時間帯で同じ撮影場所のIDを、最も近いIDとして選択する。なお、認証用データ選択部15は、(S306)、(S307)のいずれにおいても、顔特徴量データが複数ある場合には、複数の顔特徴量データの平均値を算出して、この算出した平均値を認証用顔特徴量データとして選択する。以降、(S308)〜(S316)は、第3実施形態の(S208)〜(S216)と同様なので、説明を省略する。
Further, when there is no face feature amount data classified into the matching ID (N in S305), the authentication
なお、上記実施形態では、カメラ付き携帯電話で撮影した画像データを、認証用データとしてRAMに記憶しているが、他の撮影装置、例えばデジタルカメラで撮影した画像データを、認証用データとしてカメラ付き携帯電話のRAMに記憶してもよい。また、RAMに認証用データを記憶せずに、インターネットを介して接続されるデータサーバー内に認証用データを記憶してもよい。 In the above-described embodiment, image data shot with a camera-equipped mobile phone is stored in the RAM as authentication data. However, image data shot with another shooting device, for example, a digital camera, is used as authentication data in the camera. You may memorize | store in RAM of an attached mobile phone. Further, the authentication data may be stored in a data server connected via the Internet without storing the authentication data in the RAM.
また、1台のカメラ付き携帯電話を複数のユーザで使用する場合には、複数のユーザ毎に特徴量データテーブルを作成してRAMに記憶しておき、認証モード時には、認証するユーザ名を入力し、その入力されたユーザの特徴量データテーブルを用いて顔認証を行うようにしてもよい。 When a single camera-equipped mobile phone is used by multiple users, a feature data table is created for each of the multiple users and stored in the RAM. In the authentication mode, the user name to be authenticated is input. Then, face authentication may be performed using the input feature quantity data table of the user.
さらに、上記第4実施形態では、新画像データ撮影時に取得された時間データ及び位置データと一致するIDに分類された顔特徴量データがない場合には、認証用データ選択部15は、最も近い時間帯で同じ撮影場所のIDを、最も近いIDとして選択しているが、同じ時間帯で最も近い撮影場所のIDを、最も近いIDとして選択してもよい。また、これら2パターンそれぞれの選択方法を実施したときの顔認証での判定結果を記憶しておき、一致と判定された確率の高い選択方法を用いて、最も近いIDを選択するようにしてもよい。
Furthermore, in the fourth embodiment, when there is no face feature data classified into an ID that matches the time data and the position data acquired at the time of capturing new image data, the authentication
また、本発明は、カメラ付き携帯電話に限らず、撮影機能を有する電子機器であれば実施可能であり、例えばデジタルカメラ等に実施可能である。 Further, the present invention is not limited to a camera-equipped mobile phone, and can be implemented as long as it is an electronic device having a photographing function, for example, a digital camera.
2,40,50,60 カメラ付き携帯電話
10 撮影レンズ
12 RAM(記憶手段)
13 顔特徴量算出部(顔検出手段)
14 時計部(シチュエーション情報取得手段)
15 認証用データ選択部(選択手段)
16 顔一致判定部(判定手段)
51 GPSユニット(シチュエーション情報取得手段)
2, 40, 50, 60 Mobile phone with
13 face feature amount calculation unit (face detection means)
14 Clock part (situation information acquisition means)
15 Authentication data selection section (selection means)
16 Face match determination unit (determination means)
51 GPS unit (situation information acquisition means)
Claims (5)
被写体の顔画像を含み撮影時のシチュエーション情報毎に予め分類された複数の認証用データの中から、前記画像データを撮影したときのシチュエーション情報と一致する1つに分類された前記認証用データを選択し、
選択された前記認証用データ内の被写体の顔と、前記画像データ内の被写体の顔とを検出し、
検出された前記認証用データ内の被写体の顔と、検出された前記画像データ内の被写体の顔とが一致しているか否かを判定することを特徴とする顔認証方法。 Obtain situation information when shooting image data including the face image of the subject,
The authentication data classified into one that matches the situation information when the image data was photographed out of a plurality of authentication data classified beforehand for each situation information at the time of photographing including the face image of the subject. Selected,
Detecting the face of the subject in the selected authentication data and the face of the subject in the image data;
A face authentication method, comprising: determining whether or not the detected face of the subject in the authentication data matches the detected face of the subject in the image data.
前記撮影手段で前記画像データを撮影したときのシチュエーション情報を取得するシチュエーション情報取得手段と、
被写体の顔画像を含む複数の認証用データが、撮影時のシチュエーション情報毎に予め分類されて記憶された記憶手段と、
前記複数の認証用データの中から、前記画像データを撮影したときのシチュエーション情報と一致する1つに分類された前記認証用データを選択する選択手段と、
前記選択手段で選択された前記認証用データ内の被写体の顔と、前記画像データ内の被写体の顔とを検出する顔検出手段と、
前記顔検出手段で検出された前記認証用データ内の被写体の顔と、前記顔検出手段で検出された前記画像データ内の被写体の顔とが一致しているか否かを判定する判定手段と、
を備えることを特徴とする顔認証装置。 Photographing means for photographing a face image of a subject and obtaining image data;
Situation information acquisition means for acquiring situation information when the image data is imaged by the imaging means;
A plurality of authentication data including a face image of a subject is stored in advance classified and stored for each situation information at the time of shooting,
A selection means for selecting the authentication data classified into one that matches the situation information when the image data is captured from the plurality of authentication data;
Face detection means for detecting the face of the subject in the authentication data selected by the selection means and the face of the subject in the image data;
A determination unit that determines whether or not the face of the subject in the authentication data detected by the face detection unit matches the face of the subject in the image data detected by the face detection unit;
A face authentication apparatus comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009082175A JP2010237756A (en) | 2009-03-30 | 2009-03-30 | Method and device for authenticating face |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009082175A JP2010237756A (en) | 2009-03-30 | 2009-03-30 | Method and device for authenticating face |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010237756A true JP2010237756A (en) | 2010-10-21 |
Family
ID=43092044
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009082175A Abandoned JP2010237756A (en) | 2009-03-30 | 2009-03-30 | Method and device for authenticating face |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010237756A (en) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012238256A (en) * | 2011-05-13 | 2012-12-06 | Hitachi Ltd | Biometric authentication device, biometric authentication method, and biometric authentication program |
JP2015069495A (en) * | 2013-09-30 | 2015-04-13 | 富士フイルム株式会社 | Person recognition apparatus, person recognition method, and person recognition program and recording medium therefor |
KR20170050980A (en) * | 2015-11-02 | 2017-05-11 | 주식회사 파이브지티 | Face recognition system and method of adapting to environment |
JP2019012452A (en) * | 2017-06-30 | 2019-01-24 | キヤノンマーケティングジャパン株式会社 | Information processing system, information processing method, program |
JP2020021395A (en) * | 2018-08-03 | 2020-02-06 | キヤノンマーケティングジャパン株式会社 | Management server, telework management support system, telework management support method and program |
CN111052131A (en) * | 2017-09-28 | 2020-04-21 | 松下知识产权经营株式会社 | Authentication device, authentication system, authentication method, and program |
JP2021515333A (en) * | 2018-03-02 | 2021-06-17 | 北京京▲東▼尚科信息技▲術▼有限公司Beijing Jingdong Shangke Information Technology Co., Ltd. | Methods and devices for identifying items purchased by users as well as intelligent shelving systems |
JP2022133407A (en) * | 2017-06-30 | 2022-09-13 | キヤノンマーケティングジャパン株式会社 | Information processing system, information processing method, and program |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002236665A (en) * | 2001-02-09 | 2002-08-23 | Matsushita Electric Ind Co Ltd | Personal authentication device |
JP2005115481A (en) * | 2003-10-03 | 2005-04-28 | Toshiba Social Automation Systems Co Ltd | Authentication system and computer readable storage medium |
JP2007249556A (en) * | 2006-03-15 | 2007-09-27 | Fujitsu Ltd | Individual authentication system, method and program using biological information |
JP2008165314A (en) * | 2006-12-27 | 2008-07-17 | Sony Corp | Individual identification device and individual identification method |
WO2008120317A1 (en) * | 2007-03-28 | 2008-10-09 | Fujitsu Limited | Checking device, authenticating device, checking method, authenticating method, checking program, and authenticating program |
-
2009
- 2009-03-30 JP JP2009082175A patent/JP2010237756A/en not_active Abandoned
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002236665A (en) * | 2001-02-09 | 2002-08-23 | Matsushita Electric Ind Co Ltd | Personal authentication device |
JP2005115481A (en) * | 2003-10-03 | 2005-04-28 | Toshiba Social Automation Systems Co Ltd | Authentication system and computer readable storage medium |
JP2007249556A (en) * | 2006-03-15 | 2007-09-27 | Fujitsu Ltd | Individual authentication system, method and program using biological information |
JP2008165314A (en) * | 2006-12-27 | 2008-07-17 | Sony Corp | Individual identification device and individual identification method |
WO2008120317A1 (en) * | 2007-03-28 | 2008-10-09 | Fujitsu Limited | Checking device, authenticating device, checking method, authenticating method, checking program, and authenticating program |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012238256A (en) * | 2011-05-13 | 2012-12-06 | Hitachi Ltd | Biometric authentication device, biometric authentication method, and biometric authentication program |
JP2015069495A (en) * | 2013-09-30 | 2015-04-13 | 富士フイルム株式会社 | Person recognition apparatus, person recognition method, and person recognition program and recording medium therefor |
US9443145B2 (en) | 2013-09-30 | 2016-09-13 | Fujifilm Corporation | Person recognition apparatus, person recognition method, and non-transitory computer readable recording medium |
KR101977887B1 (en) * | 2015-11-02 | 2019-05-13 | 주식회사 파이브지티 | Face recognition system and method of adapting to environment |
KR20170050980A (en) * | 2015-11-02 | 2017-05-11 | 주식회사 파이브지티 | Face recognition system and method of adapting to environment |
JP7104291B2 (en) | 2017-06-30 | 2022-07-21 | キヤノンマーケティングジャパン株式会社 | Information processing system, information processing method, program |
JP2019012452A (en) * | 2017-06-30 | 2019-01-24 | キヤノンマーケティングジャパン株式会社 | Information processing system, information processing method, program |
JP2022133407A (en) * | 2017-06-30 | 2022-09-13 | キヤノンマーケティングジャパン株式会社 | Information processing system, information processing method, and program |
JP7299543B2 (en) | 2017-06-30 | 2023-06-28 | キヤノンマーケティングジャパン株式会社 | Information processing system, information processing method, program |
CN111052131A (en) * | 2017-09-28 | 2020-04-21 | 松下知识产权经营株式会社 | Authentication device, authentication system, authentication method, and program |
CN111052131B (en) * | 2017-09-28 | 2024-04-09 | 松下知识产权经营株式会社 | Authentication device, authentication system, authentication method, and storage medium |
JP2021515333A (en) * | 2018-03-02 | 2021-06-17 | 北京京▲東▼尚科信息技▲術▼有限公司Beijing Jingdong Shangke Information Technology Co., Ltd. | Methods and devices for identifying items purchased by users as well as intelligent shelving systems |
JP2020021395A (en) * | 2018-08-03 | 2020-02-06 | キヤノンマーケティングジャパン株式会社 | Management server, telework management support system, telework management support method and program |
JP2022136312A (en) * | 2018-08-03 | 2022-09-15 | キヤノンマーケティングジャパン株式会社 | Management server, telework management support system, telework management support method and program |
JP7372566B2 (en) | 2018-08-03 | 2023-11-01 | キヤノンマーケティングジャパン株式会社 | Management server, telework management support system, telework management support method and program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2010237756A (en) | Method and device for authenticating face | |
RU2637886C2 (en) | Method and device for exchanging photographs | |
US8224128B2 (en) | Portable information terminal device | |
KR101477178B1 (en) | Portable terminal having dual camera and photographing method using the same | |
KR101115720B1 (en) | Mobile device with digital camera | |
US8022982B2 (en) | Camera system and method for operating a camera system | |
KR101946437B1 (en) | Method and terminal for acquiring panoramic image | |
US10115019B2 (en) | Video categorization method and apparatus, and storage medium | |
WO2017214793A1 (en) | Fingerprint template generation method and apparatus | |
US10397471B2 (en) | Image processing apparatus, location information adding method | |
CN106934320B (en) | Fingerprint identification method and device | |
JP2005348181A (en) | Photography system, its control method and program for control | |
CN103685909A (en) | Image capture method and system | |
JP4848569B2 (en) | Digital camera, camera phone | |
CN108848303A (en) | Shoot reminding method and device | |
US7868933B2 (en) | Imaging device | |
US20170034347A1 (en) | Method and device for state notification and computer-readable storage medium | |
KR20070023880A (en) | Apparatus and method of user recognizing for portable device | |
CN108154090B (en) | Face recognition method and device | |
CN109040410A (en) | information display method and device | |
CN108830194B (en) | Biological feature recognition method and device | |
JP2017005395A (en) | Imaging apparatus, imaging control method, and program | |
JP2009111827A (en) | Photographing apparatus and image file providing system | |
KR20090032209A (en) | Method and apparatus for registering a image in a telephone directory of portable terminal | |
CN109637001A (en) | Method, apparatus, terminal and the storage medium of invoice authentication |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Effective date: 20110708 Free format text: JAPANESE INTERMEDIATE CODE: A621 |
|
A977 | Report on retrieval |
Effective date: 20121207 Free format text: JAPANESE INTERMEDIATE CODE: A971007 |
|
A131 | Notification of reasons for refusal |
Effective date: 20121212 Free format text: JAPANESE INTERMEDIATE CODE: A131 |
|
A762 | Written abandonment of application |
Free format text: JAPANESE INTERMEDIATE CODE: A762 Effective date: 20130131 |