JP2014116033A - Personal authentication device, personal authentication method, camera, program, and storage medium - Google Patents
Personal authentication device, personal authentication method, camera, program, and storage medium Download PDFInfo
- Publication number
- JP2014116033A JP2014116033A JP2014028960A JP2014028960A JP2014116033A JP 2014116033 A JP2014116033 A JP 2014116033A JP 2014028960 A JP2014028960 A JP 2014028960A JP 2014028960 A JP2014028960 A JP 2014028960A JP 2014116033 A JP2014116033 A JP 2014116033A
- Authority
- JP
- Japan
- Prior art keywords
- facial expression
- feature data
- personal authentication
- face
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Collating Specific Patterns (AREA)
Abstract
Description
本発明は、画像データから人物の顔領域を検出して個人認証を行う技術に関するものである。 The present invention relates to a technique for performing personal authentication by detecting a human face area from image data.
従来、顔検出機能を利用して個人認証を行う技術が知られている。この技術は、検出した顔画像データから個人ごとに異なる顔領域の特徴データを抽出し、予め登録した特徴データと比較することにより、検出した顔が登録されている人物か否かを識別するものである。しかしながら、上記特徴データは顔領域の表情によって影響を受けるため、登録時と顔領域の表情が異なる場合には、個人認証の精度が劣化してしまう場合があった。これを回避するため、顔領域の表情を検知し、検知した表情より個人認証するのに有効な表情か判定し、無効である場合には、新たな画像データで個人認証を行う方法が知られている(例えば、特許文献1参照)。 Conventionally, a technique for performing personal authentication using a face detection function is known. This technology extracts feature data of different face areas for each individual from detected face image data and compares it with feature data registered in advance to identify whether the detected face is a registered person or not It is. However, since the feature data is affected by the facial expression, the accuracy of personal authentication may be deteriorated when the facial expression is different from that at the time of registration. In order to avoid this, there is a known method of detecting facial expression in the face area, determining whether the facial expression is valid for personal authentication from the detected facial expression, and if invalid, performing personal authentication with new image data. (For example, refer to Patent Document 1).
しかしながら、上記特許文献1に記載の方法では、顔の表情が有効となるまで個人認証ができないため、認証までの時間がかかってしまうだけでなく、有効な表情が現れない場合には、認証が不可能となっていた。 However, in the method described in Patent Document 1, personal authentication cannot be performed until the facial expression becomes valid. Therefore, it takes time until the authentication, and if an effective facial expression does not appear, authentication is not performed. It was impossible.
本発明は、上記課題に鑑みてなされ、表情が変化した場合であっても高速かつ精度良く個人認証を行える個人認証技術を実現する。 The present invention has been made in view of the above problems, and realizes a personal authentication technique capable of performing personal authentication at high speed and with high accuracy even when a facial expression changes.
上記課題を解決するために、本発明の認証装置は、入力された複数フレームの画像データに含まれる人物の顔領域から表情を判定する表情判定手段と、前記複数フレームの画像データに含まれる複数の顔領域の情報を比較して前記複数の顔領域のうち同一人物の顔領域を判定する判定手段と、複数の表情と個人を認証するための特徴データが対応付けられて記憶された記憶手段から、前記表情判定手段により判定された表情に対応する特徴データを選択する選択手段と、前記表情判定手段により表情が判定された顔領域の特徴データと前記選択手段により選択された特徴データとを比較することにより、個人を認証する認証手段と、新たなフレームの画像データに含まれる顔領域のうち、前のフレームの画像データにおいて個人が認証された顔領域と同一人物と判定された顔領域から、前記記憶手段に記憶されていない前記個人の別の表情に対応する特徴データが検出されると、当該特徴データを当該個人の別の表情に対応する特徴データとして、前記記憶手段に記憶させる登録手段と、を有する。 In order to solve the above-described problem, an authentication apparatus according to the present invention includes facial expression determination means for determining facial expression from a human face area included in input multiple frames of image data, and multiple expressions included in the multiple frames of image data. A means for comparing the information of the face areas and determining a face area of the same person among the plurality of face areas, and a storage means for storing a plurality of facial expressions and feature data for authenticating the individual in association with each other The selection means for selecting feature data corresponding to the facial expression determined by the facial expression determination means, the feature data of the face area for which the facial expression is determined by the facial expression determination means, and the feature data selected by the selection means By comparing, the authentication means for authenticating the individual and the individual in the image data of the previous frame in the face area included in the image data of the new frame are authenticated. When feature data corresponding to another facial expression of the individual that is not stored in the storage means is detected from a face region determined to be the same person as the region, the feature data corresponds to another facial expression of the individual. Registering means for storing the characteristic data in the storage means.
本発明によれば、表情が変化した場合でも、表情に応じた適切な特徴データを選択して個人認証を行うため、認証精度を向上させることができる。 According to the present invention, even when the facial expression changes, the personal authentication is performed by selecting appropriate feature data corresponding to the facial expression, so that the authentication accuracy can be improved.
以下に、添付図面を参照して本発明を実施するための形態について詳細に説明する。以下に説明する実施の形態は、本発明の実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。 EMBODIMENT OF THE INVENTION Below, the form for implementing this invention with reference to an accompanying drawing is demonstrated in detail. The embodiment described below is an example for realizing the present invention, and should be appropriately modified or changed according to the configuration of the apparatus to which the present invention is applied and various conditions. The present invention is described below. It is not limited to the form.
[第1の実施形態]図1は、本発明に係る実施の形態における個人認証装置の概略構成を示すブロック図である。本実施形態の個人認証装置は、画像入力部1より画像データを入力し、顔検出部2がこの画像データから人物の顔領域の位置やサイズを検出する。顔検出については既知の方法で良い。例えば、顔検出部2は、入力された画像データから、鼻、口や目などの顔領域の構成要素に相当する形状を抽出し、両目の中間を通過する延長線上に鼻と口が存在する領域を検出する。そして、両目の大きさとそれらの距離から顔の大きさを推定し、鼻の中心に相当する位置を基準として、推定した大きさの領域で囲んだ領域を顔領域とする。
[First Embodiment] FIG. 1 is a block diagram showing a schematic configuration of a personal authentication apparatus according to an embodiment of the present invention. The personal authentication device according to the present embodiment inputs image data from the image input unit 1, and the
顔検出部2は、検出された顔領域から特徴データを抽出する。特徴データは、例えば、特開2005−266981号公報に開示されているように、口、目、眉毛、鼻のなどの顔の構成要素の具体的な形状や、これらの構成要素の位置に関する情報を含む。ここで、特徴データは、入力された顔領域の画像データから、例えばニューラルネットワークや空間フィルタを用いたエッジ検出などの手法を用いて算出することにより抽出することができる。もちろん、形状や位置に関する情報だけでなく、彩度や色相に関する情報も特徴データに含めるようにしてもよい。1つの顔における特徴データが多いほど、その顔の様子を詳細に解析することが可能となり、この特徴データを用いた表情判定や、個人認証の精度が向上する。
The
同一人物判定部3は、動画のような複数フレームを含む画像データにおいては、ある一定周期のフレームごとに顔が検出されることになるが、どの顔とどの顔が同一人物であるかを判定する。同一人物判定部3は、例えば、あるフレームの画像データから複数の顔が検出され、別のフレームの画像データからも1あるいは複数の顔が検出された場合に、それぞれの顔のサイズと位置が類似するものを同一人物であるとみなす。
In the image data including a plurality of frames such as a moving image, the same
表情判定部4は、顔検出部2で抽出された特徴データに基づいて、その顔がどのような表情をしているか判定する。判定の対象となる表情の種類としては、例えば、無表情、笑顔、目つむり、などがあげられる。この判定結果に基づいて、データベース選択部5は、予め個人データベース部8に登録されている個人認証用の特徴データの中から、その表情に対応する特徴データを選択して読み出す。認証部6は、データベース選択部5で選択された特徴データと、顔検出部2により抽出された顔領域の特徴データとを比較・照合することにより個人認証を行い、結果出力部7により認証結果が出力される。
The facial
この個人認証装置は、単体の装置で構成されても、複数の装置からなるシステムで構成されても構わない。例えば、デジタルカメラやデジタルビデオカメラ単体の内部に画像入力部1から個人データベース部8の全ての構成を備えてもよい。あるいは、画像入力部1のみをデジタルカメラやデジタルビデオカメラ内部に持たせ、それ以外をデジタルカメラやデジタルビデオカメラと通信可能な外部のコンピュータに持たせもよい。さらには、画像入力部1から個人データベース部8の全てをネットワーク上の複数のコンピュータに分担して持たせ、画像入力部1を備えたコンピュータが別の外部機器や記録メディアから画像データを受け取るように構成してもよい。
This personal authentication device may be constituted by a single device or a system composed of a plurality of devices. For example, all the configurations from the image input unit 1 to the
本実施形態においては、個人認証用の特徴データとして、図6に示すように23点の特徴点の座標が用いられる。実際に個人認証を行うためにはもっと多くの特徴点が必要とされるが、ここでは説明を簡略化するため、23点の特徴点を用いるものとして説明を行う。これら23点の特徴点は、画像データ中で顔が傾いていれば、この傾きをなくすように画像データを回転してから求められる。また、これらの特徴点の座標は、顔検出部2によって画像データから抽出された目や鼻、口、眉などの位置を、例えば両目間の距離で顔のサイズを正規化することで算出される。この座標は鼻の端点の位置を基準とする。認証部6は、入力された画像データから算出された各特徴点の座標をPi(i=1,2,・・・,23)とし、予め個人データベース部8に登録された人物の特徴点の座標P’iとの差分の絶対値和S=Σ|Pi−P’i|を求める。この絶対値和Sが小さいほど、検出対象となった人物と予め登録された人物とが同一人物の可能性が高いと考えられる。認証部6は、最も可能性が高いと判定された人物における絶対値和Sが、予め設定された閾値以下である場合にその人物であると判定し、閾値より大きい場合は該当者なしと判定する。
In the present embodiment, as feature data for personal authentication, coordinates of 23 feature points are used as shown in FIG. In order to actually perform personal authentication, more feature points are required, but here, in order to simplify the description, the description will be made assuming that 23 feature points are used. If the face is tilted in the image data, these 23 feature points are obtained after rotating the image data so as to eliminate this tilt. The coordinates of these feature points are calculated by normalizing the positions of the eyes, nose, mouth, eyebrows and the like extracted from the image data by the
なお、この絶対値和Sを求める方法は、個人認証を行う方法の1つの例であって、別の方法によって個人認証を行っても構わない。例えば、無表情から笑顔に変化するときの目や口の位置、形状の変化のパターンから個人を識別してもよく、顔の画像データから解像度を異ならせた多数の画像データを生成し、解像度別に個人認証を行い、その総合結果から最終的な個人認証結果を求めてもよい。すなわち、予め個人データベース部8に登録されたデータとの照合を行い、最も可能性の高い人物であると判定する構成であれば、他の方法であっても、本実施形態と同様の効果を得ることができる。
The method for obtaining the absolute value sum S is one example of a method for performing personal authentication, and the personal authentication may be performed by another method. For example, an individual may be identified from the pattern of changes in the position and shape of eyes and mouth when changing from expressionless to smiling, and a large number of image data with different resolutions are generated from the face image data. Separately, personal authentication may be performed, and a final personal authentication result may be obtained from the comprehensive result. That is, the same effect as that of the present embodiment can be obtained even if other methods are used as long as the configuration is such that it is verified with the data registered in the
ここで、表情判定部4による表情の判定は、同一の顔における、特徴点の相対位置の時間的な変化を検出することで実現できる。例えば、笑顔の場合は、図6に示す無表情の顔に比較して、図7のように目が細くなる、口角が上がるなど、特徴点の位置に変化が生じる。本実施形態では、向かって左目の中央上下端の特徴点9、11の距離、および、向かって右目の中央上下端の特徴点13、15の距離が、無表情時の距離に対して所定割合以上近くなり、かつ、口の左右端の特徴点6、7の、口の中央上下端の特徴点4、5に対する位置が無表情時に比べて所定割合以上あがった場合に笑顔と判定する。また、さらに、口の特徴点4乃至7の位置が笑顔の条件を満たさずに、目の特徴点の9、11の距離、および、特徴点13、15の距離が無表情時の距離に対して小さくなった場合には、目を閉じていると判定する。
Here, the facial expression determination by the facial
なお、無表情時の顔領域の判定であるが、例えば、所定の期間、口の形状の変化量が所定の閾値を超えなかった場合に、そのときの顔領域を無表情状態であると判定すれば良い。あるいは、同一の顔領域についての連続した数フレームの特徴点を平均して得られた値を無表情状態であるとみなしてもよい。あるいは、同一の顔領域についての連続した数フレーム間で得られた特徴点を比較し、それらの相対値で、どのフレームにおける顔が無表情で、どのフレームにおける顔が笑顔なのか、自動的に判別するようにしても良い。さらには、表情ごとに目の開き具合や口の形状に対する条件を設け、入力されたそれぞれのフレーム画像の顔に対してどの条件を満たすか判定し、フレームごとに独立して表情を判定するようにしてもよい。フレームごとに独立して表情を判定する構成であれば、単一フレームからなる静止画からも表情を判定することができる。このように、表情の判定は、予め人物ごとに登録された特徴点と比較を行う個人認証と異なり、画像データから抽出された顔を構成する目や口などのパーツの形状が、特定の条件を満たしたか否かを判定することで行われる。 The facial area is determined when there is no expression. For example, when the amount of change in the shape of the mouth does not exceed a predetermined threshold for a predetermined period, it is determined that the facial area at that time is in an expressionless state. Just do it. Alternatively, a value obtained by averaging feature points of several consecutive frames for the same face region may be regarded as an expressionless state. Alternatively, the feature points obtained between several consecutive frames for the same face area are compared, and the relative value of them automatically determines which face in which frame is expressionless and in which frame the face is smiling. You may make it discriminate | determine. Furthermore, conditions are set for the degree of opening of the eyes and the shape of the mouth for each facial expression, which condition is determined for the face of each input frame image, and the facial expression is determined independently for each frame. It may be. If it is the structure which determines an expression independently for every flame | frame, an expression can be determined also from the still image which consists of a single frame. In this way, facial expression determination is different from personal authentication that compares with feature points registered in advance for each person, and the shape of the parts such as eyes and mouth that make up the face extracted from the image data depends on specific conditions. This is done by determining whether or not
ここで、上述したように、個人認証は画像データから検出された特徴点と、予め人物ごとに個人データベース部8に登録されている特徴点とを比較してその絶対値和Sを求めている。しかしながら、人物の表情が変化した場合には、画像データから検出された特徴点の座標が変化してしまい、個人認証の際に求める絶対値和Sの値が表情によって大きく変動し、個人認証の精度が低下してしまうという問題がある。これに対して、本実施形態の個人認証装置では、次のように個人認証を行うことで精度を向上することができる。
Here, as described above, in the personal authentication, the feature point detected from the image data is compared with the feature point registered in advance in the
予め個人データベース部8に登録する個人認証用の特徴データを、図2のように個人認証を行いたい人物および表情毎に登録しておく。登録時に順次表情を指定して被写体にその表情をさせ、撮影された表情ごとに抽出した特徴データを登録すればよい。または、被写体が任意に表情を変化させた画像データから上述した方法で自動的に表情を判定し、その特徴点を登録しても良い。あるいは、ユーザーがすでに撮影された画像データの中から任意の顔を選択し、その顔の特徴点を、ユーザーが指定した人物および表情の特徴データとして登録するようにしても良い。
Characteristic data for personal authentication registered in the
次に、個人認証時の動作について図3のフローチャートを用いて説明する。このフローチャートは画像入力部1に画像データが入力されると開始される。この画像データは、画像入力部1がカメラであれば、このカメラにて撮影した画像データや記録メディアから読み出した画像データが該当する。画像入力部1がパーソナルコンピュータであれば、記録メディアから読み出した画像やネットワークを介して受け取った画像データが該当する。この画像データは静止画でも動画でもよく、動画であれば、個人認証に要する時間に応じたフレーム間隔で、連続的に個人認証が行われる。以下の実施形態では、画像入力部1に動画の画像データが入力されたものとして説明を行う。 Next, the operation at the time of personal authentication will be described using the flowchart of FIG. This flowchart is started when image data is input to the image input unit 1. If the image input unit 1 is a camera, this image data corresponds to image data photographed by this camera or image data read from a recording medium. If the image input unit 1 is a personal computer, it corresponds to an image read from a recording medium or image data received via a network. This image data may be a still image or a moving image. If it is a moving image, personal authentication is continuously performed at frame intervals corresponding to the time required for personal authentication. In the following embodiment, a description will be given assuming that moving image data is input to the image input unit 1.
ステップS101において、顔検出部2は、画像入力部1から動画の1フレームの画像データを受け取って人物の顔の検出を行う。ステップS102において、顔検出部2は、1つ以上の顔を検出できたのであればステップS103に進み、顔を検出できなかったのであればステップS111に進む。ステップS111では、画像入力部1に入力された画像データの中に、別フレームの画像データが存在するか判定し、存在していれば、ステップS112にて、画像データを更新する。そして、ステップS101に戻って、顔検出部2が更新した画像データに対して顔検出を行う。
In step S <b> 101, the
ステップS103において、同一人物判定部3は、顔検出部2で検出された顔の検出結果を受け取り、異なるフレームにて検出された顔のうち、どの顔とどの顔が同一人物の顔とみなせるかを判定する。画像データの中に複数の人物が存在する場合には、それぞれの顔を区別し、それぞれの顔に対して上述した無表情の基準となる特徴データを求める必要がある。そのために、同一人物判定部3は、各フレームで検出されたそれぞれの顔の中心位置とサイズを比較し、連続するフレーム間で、顔の中心位置の距離、および、サイズの変化の総和が最も小さいものを、同じ人物の顔であると推定する。ただし、この総和が最も小さくとも、その値が予め設定した閾値の範囲に入っていないのであれば、同一人物は存在しないと判断する。
In step S103, the same
同一人物判定部3は、それぞれの顔の位置、サイズのいずれか一方のみを比較して同一人物を推定しても構わないし、検出された顔の輝度や色情報が最も類似するものを同一人物と推定しても構わない。このように、2つのフレームで検出された顔の相関を見ることにより、この2つのフレームで検出された顔が同一人物であるか否かを判定することができる。画像入力部1に入力された画像データが静止画である場合には、このステップS103は省略される。
The same
ステップS104において、顔検出部2は、検出できたそれぞれの顔から、図6、図7に示すような特徴点の座標を含む特徴データを求める。ステップS105において、表情判定部4は、顔検出部2で求められた特徴データと、同一人物判定部3で得られた判定結果を用いて、それぞれの顔が無表情であるか否かを判定する。本実施形態では、表情判定部4は、所定の期間、口の形状の変化量が所定の閾値を超えなかった場合に、そのときの顔が無表情であると判定し、この無表情の特徴データをもとに笑顔などを判定するものとする。具体的には、表情判定部4は、同一人物と判定された顔の特徴データを蓄積し、特徴データの相対変化を観察することで、その顔が無表情であるか否かを判定する。そして、表情判定部4は、無表情である顔を判定できた場合には、その無表情である顔から、無表情の基準となる特徴データを算出する。特徴データが十分に蓄積されておらず、表情判定部4が無表情の基準となる特徴データを算出できていなければ(ステップS106でNO)、顔の特徴データを蓄積するため、S111、S112を介して、再びステップS101へ戻る。
In step S104, the
表情判定部4は、ステップS105において無表情の基準となる特徴データが求められていれば、(ステップS106でYES)ステップS107に進む。なお、表情判定部4は、ステップS105において、一度、無表情の基準となる特徴データが算出された顔については、その顔を見失うまでは、このステップS105の処理を飛ばしても構わない。あるいは、表情判定部4は、無表情の基準となる特徴データが算出された後であっても、ステップS104において新たな特徴データが算出される度に、無表情の基準となる特徴データを新たに算出し、更新するようにしても構わない。
If it is determined in step S105 that feature data serving as a reference for expressionlessness is obtained (YES in step S106), facial
ステップS107において、表情判定部4は、それぞれの顔において、ステップS104で求められた最新の特徴データを、ステップS105で算出された無表情の基準となる特徴データと比較することで、その最新の特徴データが示す顔の表情を求める。ステップS108において、データベース選択部5は、個人データベース部8より、表情判定部4から出力された顔の表情の判定結果に対応する個人認証用の特徴データを全て選択し、読み出す。例えば、ステップS107にて表情判定部4によって笑顔であると判定された場合には、データベース選択部5は、図2に示す個人データベース部8の特徴データの中から、笑顔時の全ての人物の特徴データであるA−2、B−2、C−2を選択して読み出す。多数の人物の特徴データが予め登録されている場合には、データベース選択部5が、予めユーザーが指定した特定の人物や、人物のグループに含まれる特徴データのみを選択するようにしてもよい。
In step S107, the facial
ステップS109において、認証部6は、それぞれの顔について、表情判定された最新の特徴データと、その表情に対応する個人認証用の特徴データとの絶対値和Sから、その顔が誰であるかを識別する。ステップS110において、結果出力部7は、認証部6から個人認証結果を受け、その結果を、認証の対象となった画像データから生成された画像に重畳して表示する。もちろん、認証結果の表示は、このような表示方法に限られるものでなく、様々な方法が考えられる。複数の顔について個人認証が同時に行われた場合には、それぞれの認証結果が、どの顔に対するものであるのかを明確にすることが望ましい。
そして、画像入力部1に入力された画像データの中にまだ顔検出の対象とすべきフレームの画像が残っていれば(ステップS111でNO)、ステップS112を介してステップS101に戻る。そうでなければ(ステップS111でYES)このフローチャートを終了する。
In step S109, for each face, the
If there is still an image of a frame that should be subject to face detection in the image data input to the image input unit 1 (NO in step S111), the process returns to step S101 via step S112. Otherwise (YES in step S111), this flowchart ends.
以上の実施形態によれば、表情が変化した場合でも表情を検出し対応する特徴データを用いて個人認証を行うため、高精度に個人認証を行うことが可能となる。 According to the above embodiment, even when the facial expression changes, the facial expression is detected and the personal authentication is performed using the corresponding feature data. Therefore, the personal authentication can be performed with high accuracy.
[第2の実施形態]次に、第2の実施形態として、第1の実施形態にて検出された表情に対応した特徴データが個人データベース部8に登録されていない場合について説明する。本実施形態の個人認証装置は、他のフレームの画像データの個人認証結果を用いて、認証された際の表情とは別の表情の特徴データを個人データベース部8に追加登録する。
[Second Embodiment] Next, as a second embodiment, a case where feature data corresponding to the facial expression detected in the first embodiment is not registered in the
図4は、第2の実施形態の個人認証装置の構成を示しており、図1の構成に特徴データ登録部9が追加されている。例えば、個人データベース部8に、ある人物の無表情や目つむりに対応した個人認証用の特徴データは登録されているが、笑顔に対応した個人認証用の特徴データは登録されていないものとする。特徴データ登録部9は、この人物が笑顔になったと判定された場合に、この人物の笑顔時の特徴データを、笑顔に対応した個人認証用の特徴データとして、個人データベース部8に登録させる。その他の構成については、図1と同一の要素には同一の符号を付して説明を省略する。
FIG. 4 shows the configuration of the personal authentication apparatus of the second embodiment, and a feature
本実施形態の個人認証装置の動作について図5を参照して説明する。図5のステップS113乃至S115の処理が、第1の実施形態である図3と異なる処理である。図5の処理のうち、図3と同一の符号を付した処理は図3における処理と同一であるため、説明を省略する。ステップS101乃至S107において、顔検出部2が、それぞれのフレームから顔を検出し、その顔の特徴データを求め、同一人物判定部3が、それぞれのフレームにて検出された顔のうち、どの顔とどの顔が同一人物であるかを判定する。そして、表情判定部4は、無表情の基準となる特徴データが求められた顔に対して、その顔の表情を判定する。
The operation of the personal authentication device of this embodiment will be described with reference to FIG. The processes in steps S113 to S115 in FIG. 5 are different from those in FIG. 3 according to the first embodiment. Of the processes in FIG. 5, processes denoted by the same reference numerals as those in FIG. 3 are the same as the processes in FIG. In steps S101 to S107, the
ステップS113において、特徴データ登録部9は、ステップS107において表情が判定された顔が、すでに個人認証された顔であるか否かを判断する。すでに個人認証された顔であるか否かは、認証部6によるそれまでの認証結果と、同一人物判定部3によるそれまでの同一人物の判定結果から、判断することができる。すなわち、同一人物判定部3が、前のフレームでいずれかの表情で個人認証された顔に対して、第1の実施形態のステップS103にて説明した方法によって、その後もその顔を継続して追尾できているか否かを判断する。
In step S113, the feature
ステップS107で表情判定された顔が、まだ個人認証されていない顔であるならば(ステップS113でYES)、ステップS108に進み、第1の実施形態と同様の処理を行う。ステップS107で表情判定された顔が、すでに個人認証された顔であるならば(ステップS113でNO)、ステップS114に進む。ステップS114において、特徴データ登録部9は、ステップS107にて判定された表情に対応する、その人物の個人認証用の特徴データが、すでに個人データベース部8に登録されているか否かを判定する。
If the face whose facial expression is determined in step S107 is a face that has not yet been personally authenticated (YES in step S113), the process proceeds to step S108, and the same processing as in the first embodiment is performed. If the facial expression determined in step S107 is a face that has already been personally authenticated (NO in step S113), the process proceeds to step S114. In step S114, the feature
ステップS107にて判定された表情に対応する、その人物の個人認証用の特徴データが、すでに個人データベース部8に登録されているならば(ステップS114でNO)、ステップS108に進み、第1の実施形態と同様の処理を行う。ステップS107にて判定された表情に対応する、その人物の個人認証用の特徴データが、まだ個人データベース部8に登録されていないならば(ステップS114でYES)、ステップS115に進む。ステップS115において、特徴データ登録部9は、その表情の顔から求められている特徴データを、その人物のその表情に対応した個人認証用の特徴データとして、個人データベース部8に登録する。
If the feature data for personal authentication of the person corresponding to the facial expression determined in step S107 is already registered in the personal database unit 8 (NO in step S114), the process proceeds to step S108, and the first The same processing as in the embodiment is performed. If the feature data for personal authentication of the person corresponding to the facial expression determined in step S107 is not yet registered in the personal database unit 8 (YES in step S114), the process proceeds to step S115. In step S115, the feature
具体的な例を挙げて説明すると、個人データベース部8に、B氏の無表情の特徴データはすでに登録されているが、笑顔の特徴データはまだ登録されていないものとする。そして、この無表情の特徴データを用いた認証結果により、その顔がB氏であるということがすでに判定されているものとする。ここで、新たなフレームの画像データにおいて、同一人物判定部3によってB氏であると判定されている顔に対して、表情判定部4が笑顔であると判定したものとする。このとき、特徴データ登録部9は、この笑顔と判定された顔の特徴データを、B氏の笑顔の個人認証用の特徴データとして個人データベース部8に新規に登録する。そして、登録が終わると、この個人認証装置はステップS112に進み、第1の実施形態と同様の処理を行う。
To explain with a specific example, it is assumed that the feature data of Mr. B's expressionless expression has already been registered in the
なお、同一人物のそれぞれの表情における特徴データを抽出して記憶しておいて、その個人が認証された時点で、記憶された特徴データの中から、未登録の表情に対応した特徴データを個人認証用の特徴データとして登録するようにしてもよい。また、ステップS108において、データベース選択部5によって、特定の表情に対応する個人認証用の特徴データの蓄積が少ないと判断された場合に、結果出力部7がその旨を通知するようにしてもよい。結果出力部7がこの通知をユーザーに見せることで、不足している表情に対応する個人認証用の特徴データをユーザーに蓄積させるよう働きかけることができる。
It should be noted that feature data for each facial expression of the same person is extracted and stored, and when the individual is authenticated, feature data corresponding to an unregistered facial expression is stored in the stored feature data. You may make it register as characteristic data for authentication. In step S108, if the
また、ステップS109において、認証部6は、1つの表情における個人認証結果だけでなく、複数の表情における個人認証結果から、総合的にその顔の認証を行うものであってもよい。例えば、認証部6は、動画中で表情が笑顔と判定されたフレームでは笑顔の特徴データを、無表情と判定されたフレームでは無表情の特徴データを、目つむりと判定されたフレームでは目つむりの特徴データを用いて個人認証を行う。その結果、最も一致度が高いと判定された回数の多い人物を選択すれば良い。これにより、複数の顔領域の認証結果が一致した場合に最終的な認証結果とすることで認証精度を向上することが可能である。
In step S109, the
ここで、動画中の同一人物に対して個人認証を行った際に、表情が変わるたびに認証結果が異なってしまう可能性も考えられる。このとき、笑顔は目の開き具合や、口の両端の上がり方についてのムラが大きく、無表情の顔に比べて、個人認証用の特徴データと一致する割合が低い。そのため、認証部6は、笑顔時の個人認証結果の重み付けを、無表情時よりも小さくしたうえで、時系列で得られた認証結果を統計して、最終的な認証結果を求めてもよい。
Here, when personal authentication is performed on the same person in the moving image, there is a possibility that the authentication result is different every time the facial expression changes. At this time, the smile has a large degree of unevenness in the degree of opening of the eyes and the way in which both ends of the mouth rise, and the ratio of matching with the feature data for personal authentication is lower than that of the expressionless face. Therefore, the
また、同一人物であるにも関わらず、無表情のときはA氏、目つむりのときはB氏、というように認証結果が異なってしまった場合に、これを利用して目つむりの個人認証用の特徴データを更新してもよい。特徴データ登録部9は、このような場合には、B氏と判定されてしまった目つむりの特徴データを用いて、個人データベース部8のA氏の目つむりの個人認証用の特徴データを更新するようにしてもよい。
In addition, when the authentication result is different, such as Mr. A when there is no expression but Mr. B when the eyes are closed, even though they are the same person, the personal authentication of the eyes using this is different. Feature data may be updated. In such a case, the feature
以上の実施形態によれば、予め登録されていない特徴データについても自動的に追加されていくため、より高精度の個人認証を行うことが可能となる。 According to the above embodiment, feature data that is not registered in advance is automatically added, so that it is possible to perform personal authentication with higher accuracy.
[他の実施形態]本発明は、前述した実施形態の機能を実現するコンピュータプログラムを、システムあるいは装置に直接あるいは遠隔から供給することによって達成される場合も含む。その場合、システム等のコンピュータが該コンピュータプログラムを読み出して実行することになる。従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるコンピュータプログラム自体も本発明を実現するものである。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等の形態であっても良い。 [Other Embodiments] The present invention includes a case where the computer program for realizing the functions of the above-described embodiments is achieved by supplying the system or apparatus directly or remotely. In that case, a computer such as a system reads and executes the computer program. Therefore, in order to realize the functional processing of the present invention with a computer, the computer program itself installed in the computer also implements the present invention. In that case, as long as it has the function of a program, it may be in the form of object code, a program executed by an interpreter, script data supplied to the OS, or the like.
プログラムを供給するための記録媒体(記憶媒体)としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク等がある。その他にも、MO、CD-ROM、CD-R、CD-RW、磁気テープ、不揮発性のメモリカード、ROM、DVD(DVD-ROM、DVD-R)等がある。その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムそのものをダウンロードすることもできる。また圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。また、本発明のプログラムを構成するコンピュータプログラムを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザーに対してダウンロードさせるWWWサーバも、本発明に含まれるものである。 Examples of the recording medium (storage medium) for supplying the program include a flexible disk, a hard disk, an optical disk, and a magneto-optical disk. In addition, there are MO, CD-ROM, CD-R, CD-RW, magnetic tape, nonvolatile memory card, ROM, DVD (DVD-ROM, DVD-R) and the like. As another program supply method, a client computer browser can be used to connect to a homepage on the Internet, and the computer program itself of the present invention can be downloaded from the homepage. It can also be supplied by downloading a compressed file including an automatic installation function to a recording medium such as a hard disk. It can also be realized by dividing the computer program constituting the program of the present invention into a plurality of files and downloading each file from a different homepage. That is, a WWW server that allows a plurality of users to download a program file for realizing the functional processing of the present invention on a computer is also included in the present invention.
また、本発明のプログラムを暗号化してCD-ROM等の記憶媒体に格納してユーザーに配布し、所定の条件をクリアしたユーザーが、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードすることもできる。この場合、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現する。また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているOS等が、実際の処理の一部又は全部を行うことによっても実現され得る。更に、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットのメモリに書き込まれた後、該ボード等のCPU等が実際の処理の一部又は全部を行うことによっても実現される。 In addition, the program of the present invention is encrypted, stored in a storage medium such as a CD-ROM, distributed to users, and a user who satisfies predetermined conditions downloads key information for decryption from a homepage via the Internet. You can also. In this case, the downloaded key information is used to execute the encrypted program and install it on the computer. In addition to the functions of the above-described embodiments being realized by the computer executing the read program, the OS or the like operating on the computer based on the instruction of the program may be a part of the actual processing. Alternatively, it can be realized by performing all of them. Furthermore, after the program read from the recording medium is written in the memory of a function expansion board inserted into the computer or a function expansion unit connected to the computer, the CPU of the board or the like performs a part of the actual processing. Alternatively, it can be realized by performing all of them.
Claims (10)
前記複数フレームの画像データに含まれる複数の顔領域の情報を比較して前記複数の顔領域のうち同一人物の顔領域を判定する判定手段と、
複数の表情と個人を認証するための特徴データが対応付けられて記憶された記憶手段から、前記表情判定手段により判定された表情に対応する特徴データを選択する選択手段と、
前記表情判定手段により表情が判定された顔領域の特徴データと前記選択手段により選択された特徴データとを比較することにより、個人を認証する認証手段と、
新たなフレームの画像データに含まれる顔領域のうち、前のフレームの画像データにおいて個人が認証された顔領域と同一人物と判定された顔領域から、前記記憶手段に記憶されていない前記個人の別の表情に対応する特徴データが検出されると、当該特徴データを当該個人の別の表情に対応する特徴データとして、前記記憶手段に記憶させる登録手段と、を有することを特徴とする個人認証装置。 Facial expression determination means for determining facial expression from a face area of a person included in input image data of a plurality of frames;
A determination unit that compares information of a plurality of face areas included in the image data of the plurality of frames and determines a face area of the same person among the plurality of face areas;
Selecting means for selecting feature data corresponding to the facial expression determined by the facial expression determination means from storage means in which characteristic data for authenticating a plurality of facial expressions and individuals is associated;
Authentication means for authenticating an individual by comparing the feature data of the face area whose facial expression is determined by the facial expression determination means with the feature data selected by the selection means;
Of the face areas included in the image data of the new frame, from the face area determined to be the same person as the face area for which the individual was authenticated in the image data of the previous frame, the personal information not stored in the storage means A personal authentication comprising: a registration unit that stores the feature data in the storage unit as feature data corresponding to another facial expression of the individual when the feature data corresponding to the different facial expression is detected apparatus.
複数の表情と個人を認証するための特徴データが対応付けられて記憶された記憶手段から、前記表情判定手段により判定された表情に対応する特徴データを選択する選択工程と、
前記表情判定手段により表情が判定された顔領域の特徴データと前記選択工程により選択された特徴データとを比較することにより、個人を認証する認証工程と、
新たなフレームの画像データに含まれる顔領域のうち、前のフレームの画像データにおいて個人が認証された顔領域と同一人物と判定された顔領域から、前記記憶手段に記憶されていない前記個人の別の表情に対応する特徴データが検出されると、当該特徴データを当該個人の別の表情に対応する特徴データとして、前記記憶手段に記憶させる登録工程と、を有することを特徴とする個人認証方法。 Expression determination means for determining an expression from a face area of a person included in the input image data of the plurality of frames and information on the plurality of face areas included in the image data of the plurality of frames are compared to A determination unit for determining the face area of the same person, and a personal authentication method by a personal authentication device,
A selection step of selecting feature data corresponding to the facial expression determined by the facial expression determination unit from a storage unit in which characteristic data for authenticating a plurality of facial expressions and individuals is associated and stored;
An authentication step of authenticating an individual by comparing the feature data of the facial region whose facial expression is determined by the facial expression determination means with the feature data selected by the selection step;
Of the face areas included in the image data of the new frame, from the face area determined to be the same person as the face area for which the individual was authenticated in the image data of the previous frame, the personal information not stored in the storage means And a registration step of storing the feature data in the storage means as feature data corresponding to another facial expression of the individual when feature data corresponding to another facial expression is detected. Method.
撮影された複数フレームの画像データに含まれる人物の顔領域から表情を判定する表情判定手段と、
前記複数フレームの画像データに含まれる複数の顔領域の情報を比較して前記複数の顔領域のうち同一人物の顔領域を判定する判定手段と、
複数の表情と個人を認証するための特徴データが対応付けられて記憶された記憶手段から、前記表情判定手段により判定された表情に対応する特徴データを選択する選択手段と、
前記表情判定手段により表情が判定された顔領域の特徴データと前記選択手段により選択された特徴データとを比較することにより、個人を認証する認証手段と、
新たなフレームの画像データに含まれる顔領域のうち、前のフレームの画像データにおいて個人が認証された顔領域と同一人物と判定された顔領域から、前記記憶手段に記憶されていない前記個人の別の表情に対応する特徴データが検出されると、当該特徴データを当該個人の別の表情に対応する特徴データとして、前記記憶手段に記憶させる登録手段と、を有することを特徴とするカメラ。 A camera for taking images,
Facial expression determination means for determining facial expression from a face area of a person included in image data of a plurality of captured frames;
A determination unit that compares information of a plurality of face areas included in the image data of the plurality of frames and determines a face area of the same person among the plurality of face areas;
Selecting means for selecting feature data corresponding to the facial expression determined by the facial expression determination means from storage means in which characteristic data for authenticating a plurality of facial expressions and individuals is associated;
Authentication means for authenticating an individual by comparing the feature data of the face area whose facial expression is determined by the facial expression determination means with the feature data selected by the selection means;
Of the face areas included in the image data of the new frame, from the face area determined to be the same person as the face area for which the individual was authenticated in the image data of the previous frame, the personal information not stored in the storage means And a registration unit that stores the feature data in the storage unit as feature data corresponding to another facial expression of the individual when feature data corresponding to another facial expression is detected.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014028960A JP2014116033A (en) | 2008-06-16 | 2014-02-18 | Personal authentication device, personal authentication method, camera, program, and storage medium |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008156996 | 2008-06-16 | ||
JP2008156996 | 2008-06-16 | ||
JP2014028960A JP2014116033A (en) | 2008-06-16 | 2014-02-18 | Personal authentication device, personal authentication method, camera, program, and storage medium |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009105611A Division JP2010027035A (en) | 2008-06-16 | 2009-04-23 | Personal authentication equipment and personal authentication method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014116033A true JP2014116033A (en) | 2014-06-26 |
JP2014116033A5 JP2014116033A5 (en) | 2014-10-09 |
Family
ID=51171876
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014028960A Pending JP2014116033A (en) | 2008-06-16 | 2014-02-18 | Personal authentication device, personal authentication method, camera, program, and storage medium |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2014116033A (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111611833A (en) * | 2019-02-26 | 2020-09-01 | 英属开曼群岛商麦迪创科技股份有限公司 | Dynamic face recognition device, method, and computer program |
US11048785B2 (en) | 2018-02-14 | 2021-06-29 | Samsung Electronics Co., Ltd | Method and apparatus of performing authentication |
CN114268453A (en) * | 2021-11-17 | 2022-04-01 | 中国南方电网有限责任公司 | Power system unlocking method and device, computer equipment and storage medium |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002157596A (en) * | 2000-11-17 | 2002-05-31 | Sony Corp | Robot unit and face identifying method |
JP2005056387A (en) * | 2003-07-18 | 2005-03-03 | Canon Inc | Image processor, imaging apparatus and image processing method |
JP2006031387A (en) * | 2004-07-15 | 2006-02-02 | Yamaha Motor Co Ltd | Image recognition device, image recognition method, image recognition program, and recording medium to which the image recognition program is recorded |
JP2007080021A (en) * | 2005-09-15 | 2007-03-29 | Nikon Corp | Electronic device with fingerprint matching function |
JP2007094637A (en) * | 2005-09-28 | 2007-04-12 | Denso Corp | Face image authentication device |
JP2007249588A (en) * | 2006-03-15 | 2007-09-27 | Omron Corp | Face image registration device, method, program, and storage medium |
JP2007316809A (en) * | 2006-05-24 | 2007-12-06 | Fujifilm Corp | Face collation apparatus and method, and program |
-
2014
- 2014-02-18 JP JP2014028960A patent/JP2014116033A/en active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002157596A (en) * | 2000-11-17 | 2002-05-31 | Sony Corp | Robot unit and face identifying method |
JP2005056387A (en) * | 2003-07-18 | 2005-03-03 | Canon Inc | Image processor, imaging apparatus and image processing method |
JP2006031387A (en) * | 2004-07-15 | 2006-02-02 | Yamaha Motor Co Ltd | Image recognition device, image recognition method, image recognition program, and recording medium to which the image recognition program is recorded |
JP2007080021A (en) * | 2005-09-15 | 2007-03-29 | Nikon Corp | Electronic device with fingerprint matching function |
JP2007094637A (en) * | 2005-09-28 | 2007-04-12 | Denso Corp | Face image authentication device |
JP2007249588A (en) * | 2006-03-15 | 2007-09-27 | Omron Corp | Face image registration device, method, program, and storage medium |
JP2007316809A (en) * | 2006-05-24 | 2007-12-06 | Fujifilm Corp | Face collation apparatus and method, and program |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11048785B2 (en) | 2018-02-14 | 2021-06-29 | Samsung Electronics Co., Ltd | Method and apparatus of performing authentication |
US11720658B2 (en) | 2018-02-14 | 2023-08-08 | Samsung Electronics Co., Ltd. | Method and apparatus of performing authentication |
CN111611833A (en) * | 2019-02-26 | 2020-09-01 | 英属开曼群岛商麦迪创科技股份有限公司 | Dynamic face recognition device, method, and computer program |
CN114268453A (en) * | 2021-11-17 | 2022-04-01 | 中国南方电网有限责任公司 | Power system unlocking method and device, computer equipment and storage medium |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2010027035A (en) | Personal authentication equipment and personal authentication method | |
US9245172B2 (en) | Authentication apparatus, authentication method, and non-transitory computer readable medium | |
JP5831193B2 (en) | User detection device, method and program | |
US20130329970A1 (en) | Image authentication apparatus, image processing system, control program for image authentication apparatus, computer-readable recording medium, and image authentication method | |
US8264327B2 (en) | Authentication apparatus, image sensing apparatus, authentication method and program therefor | |
JP2009163555A (en) | Face collation apparatus | |
JP6822482B2 (en) | Line-of-sight estimation device, line-of-sight estimation method, and program recording medium | |
JP2008243093A (en) | Dictionary data registration device and method | |
JP2015138449A (en) | Personal authentication device, personal authentication method and program | |
JP2010238181A (en) | Facial authentication apparatus and facial authentication method | |
US9292752B2 (en) | Image processing device and image processing method | |
JP5850138B2 (en) | Biometric authentication device, biometric authentication method, and biometric authentication program | |
JP2014116033A (en) | Personal authentication device, personal authentication method, camera, program, and storage medium | |
JP6432634B2 (en) | Authentication device, authentication method, and program | |
JP6289308B2 (en) | Information processing apparatus and program | |
JP2008015871A (en) | Authentication device and authenticating method | |
KR101660596B1 (en) | Method for modifying gradient of facial shape, and system for the same | |
JP2005339389A (en) | Picture processing method and picture processor | |
JP2021114111A (en) | Imaging support device, imaging support method, and program | |
JP2012221002A (en) | User detection apparatus, user detection method, and user detection program | |
JP7103443B2 (en) | Information processing equipment, information processing methods, and programs | |
KR20190069028A (en) | Device and method for periocular biometric authentication in wearable display device | |
JP7168192B2 (en) | Face image adequacy determination device, face image adequacy determination method, program, and recording medium | |
JP5131131B2 (en) | Display system and display control method | |
JP5747713B2 (en) | Authentication device, authentication method, authentication program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140826 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141002 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20150410 |