JP2005316888A - Face recognition system - Google Patents

Face recognition system Download PDF

Info

Publication number
JP2005316888A
JP2005316888A JP2004136394A JP2004136394A JP2005316888A JP 2005316888 A JP2005316888 A JP 2005316888A JP 2004136394 A JP2004136394 A JP 2004136394A JP 2004136394 A JP2004136394 A JP 2004136394A JP 2005316888 A JP2005316888 A JP 2005316888A
Authority
JP
Japan
Prior art keywords
face
data
recognition
recognition system
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004136394A
Other languages
Japanese (ja)
Inventor
Tateaki Ro
Daiyu Sekiya
Takashi Yahagi
建明 呂
隆嗣 谷萩
大雄 関屋
Original Assignee
Japan Science & Technology Agency
独立行政法人科学技術振興機構
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Science & Technology Agency, 独立行政法人科学技術振興機構 filed Critical Japan Science & Technology Agency
Priority to JP2004136394A priority Critical patent/JP2005316888A/en
Publication of JP2005316888A publication Critical patent/JP2005316888A/en
Application status is Pending legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a face recognition system capable of absorbing fluctuation of position/angle of a face or fluctuation of illumination and performing efficient learning and recognition even in case that the number of identification objects is increased. <P>SOLUTION: A neural network NN is divided to a plurality of sub-nets, as shown in the drawing, to perform learning and recognition in parallel in sub-net units. In configuration of a parallel NN, it is permitted that the same facial pattern fuzzily attributes to a plurality of sub-nets, considering the ambiguity of patterns. According to this, relatively close patterns can be always efficiently recognized in the same sub-net. The facial pattern of an identification object is acquired as a there-dimensional image by a three-dimensional shape measuring device. Therefore, an input face pattern corrected while eliminating an influence such as a change in position or attribute of the person or a fluctuation of lighting as much as possible can be obtained, and a face recognition system robust to the rotation of a face is realized. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、ニューラルネットワークを利用した顔認識システムに関するものである。 The present invention relates to a face recognition system using neural networks.

情報化社会の急激な変化につれて、セキュリティに関する要求が高まっている。 As the rapid changes in the information society, there is an increasing demand related to security. その中でも、人間は顔を見て自然に相手を判断できることから、機械においても顔認識を利用したセキュリティシステムを構築しようという研究が盛んに行なわれている(非特許文献1)。 Among them, from the fact that human beings can be judged the opponent naturally look at the face, research that attempts to build a security system using face recognition even in the machine has been actively conducted (Non-Patent Document 1). また、顔認識を利用したセキュリティシステムは、指紋パターンや眼底パターンを用いた個人識別に比べ、認識される側の心理的抵抗感が少ないというメリットもある。 The security system using face recognition, compared to personal identification using a fingerprint pattern or a fundus pattern, there is a merit that psychological resistance of recognized side is small.
撮影した顔画像から正面顔パターンを切り出して個人識別を行なう方法はこれまでに多数提案されている。 Method of performing personal identification by cutting out the front face pattern from the captured facial image have been proposed so far. これらはいずれも、入力パターンを特徴ベクトルで表現し、あらかじめ登録したそれぞれの人物を代表する標準ベクトルとの距離を求め、もっとも距離が小さい人物を同一人物と判定する方法を用いている。 These are both, represent the input pattern with feature vectors in advance to represent the registration each person who obtains distances between the standard vector, using a method of determining the same person the most distance is smaller person. これらを大きく分類すると、顔パターンの幾何学的特徴を用いる方法と大局的な濃淡パターンを用いる方法の2つに分けられる。 When these largely classified, it is divided into two methods using a method and global shades pattern using geometrical characteristics of a face pattern.
顔パターンの幾何学的特徴を用いる方法としては、顔の幅、両目の中心間の距離、頭頂からの目の高さなどの顔の特徴点をパラメータ化して、その特徴量を用いて認識を行なう方法や、横顔の輪郭線などの形状を用いて認識を行なう方法(非特許文献2)などがある。 As the method using geometrical characteristics of a face pattern, the width of the face, the distance between the centers of the eyes, and parameterize the feature points of the face such as eye height from the top, the recognition by using the feature amount and a method for performing a method for performing recognition using the shape of such contour profile (non-Patent Document 2), and the like. しかし、顔の回転などによって変動した顔画像から各特徴点や形状を正確に抽出することは困難であるという問題がある。 However, there is a problem that it is difficult to accurately extract the feature points and the shape of the face image varies depending on the rotation of the face.
一方、大局的な濃淡パターンを用いる方法は、顔画像を各画素の濃淡値の特徴ベクトルとして考え、マッチングによって識別を行なう方法である。 Meanwhile, a method using a global shading patterns, consider a face image as a feature vector of gray values ​​of the pixels, a method of performing identification by matching. しかし画像内の全画素をマッチングに用いてしまうと、次元数が膨大となり、計算量が大きくなるという問題がある。 However, all the pixels in the image will be used for matching, the number becomes enormous dimensions, there is a problem that the calculation amount increases.

そこで、入力ベクトルを低次元に圧縮する方法が検討されてきた(非特許文献3)。 Therefore, a method of compressing an input vector to the low dimensional have been studied (Non-Patent Document 3). この方法の代表として、Turkらによる固有顔法(非特許文献4)や、顔画像をモザイク化してニューラルネットワーク(以降「NN」という)に学習させる方法などがある(非特許文献5)。 Representative of this method, eigenface method by Turk et al. (4) and, there is a method to learn the facial image to the neural network into a mosaic pattern (hereinafter referred to as "NN") (Non-Patent Document 5).
しかしながら、これらの顔認識方法では、顔の位置・角度の変動や照明の変動によって認識率が低下するという問題がある。 However, these face recognition method, there is a problem that the recognition rate decreased by variations in the position and angle of the change and illumination of the face. これに対応する方法としては、あらかじめ複数方向から撮影した顔画像を用意しておき、入力パターンと、その角度に近い登録パターンとをマッチングする方法(非特許文献6)などが提案されている。 As a method corresponding thereto, are prepared face images previously captured from a plurality of directions, and the input pattern, the method of matching and close registration pattern to the angle (Non-patent Document 6) have been proposed. しかし、この方法によっても、2次元入力画像の特徴点などから顔画像の角度を求めるのが困難であるという問題があり、回転・照明変動を吸収できる顔認識方法への要望は高い。 However, even by this method, there is a problem that the like feature points of the two-dimensional input image to determine the angle of the face image is difficult, high demands for face recognition method that can absorb rotational and lighting variations.
また、非特許文献3,5では、個人認識にニューラルネットワーク(NN)を適用した結果が示され、NNが顔画像の認識にも有用であることが述べられているが、識別の対象となる人数の増加と共にNNが膨大なものとなってしまうという問題が指摘されている。 Further, Non-Patent Document 3 and 5, individual recognition result of applying the neural network (NN) in are shown and NN is it is stated to be useful in recognition of the face image, subject to the identification NN has been pointed out a problem that becomes enormous with an increase in the number of people. すなわち、従来のバックプロパゲーションを利用したNNでは、人数が増えると、NNの規模が大きくなる。 That is, in using a conventional back-propagation NN, the number is increased, scale of NN increases. NNの規模が大きくなるにつれて、ローカルミニマムなど種々の原因によって、学習の効率が急に下がり、認識率も急速に落ちてしまう。 As NN scale increases, by various causes such as a local minimum, the efficiency of learning decreases suddenly, even recognition rate falls rapidly.
このような欠点を克服するための方法として、複数の小規模なNNを作り、それらを統合して認識を行なうことのできるCombNET−IIが提案されている(非特許文献7)。 As a method to overcome such drawbacks, making a plurality of small NN, CombNET-II capable of performing recognition by integrating them has been proposed (Non-Patent Document 7). CombNET−IIは大規模なシステムにも適用可能な効率の良いアルゴリズムである。 CombNET-II is a large-scale good algorithms can be applied efficiency in the system.
しかしながら、CombNET−IIは各クラスタすなわち各小規模なNNに属するパターンが重複しない手法(以降「ハードクラスタリング」とよぶ)を用いているため、近いパターンでもNNで学習されないものが存在する。 However, CombNET-II is due to the use of techniques (hereinafter referred to as "hard clustering") which patterns belonging to each cluster that is, each smaller NN do not overlap, there is not intended to be learned by the NN in close pattern. このため、これを顔画像の認識に応用する際に、パターンの変動が大きいときには、認識率が大幅に低下すると考えられる。 Therefore, when applying this recognition of the face image, when the variation of the pattern is large is considered, the recognition rate is significantly reduced.

本発明の課題は、上記の問題を解決して、顔の位置・角度の変動や照明の変動を吸収でき、識別対象となる人数が増加しても効率のよい学習および認識が可能な顔認識システムを提供することである。 An object of the present invention is to solve the above problems, can absorb the fluctuation of the position and angle of the change and illumination of the face, good learning and face recognition capable recognition efficiency even increased number to be identified it is to provide a system.

上記の課題を解決するために、本発明は、ニューラルネットワークを利用した顔認識システムであって、3次元形状計測装置から取得した顔画像データ及び3次元形状データから鼻の頂点を含む特徴点を抽出する特徴点抽出手段と、前記抽出した特徴点の回転に対して顔画像データの補正を行い正面を向いた画像とする回転補正手段と、前記鼻の頂点を用いて、一定の領域を切り出す顔領域切り出し手段と前記一定の領域として切り出された顔画像データの平均値を一定に補正する照明補正手段と、前記照明補正された顔画像データおよび対応する3次元形状データを、ファジィクラスタリングにより、1人のデータが複数のクラスタに帰属されるように、各々のクラスタに学習した並列ニューラルネットワークとを備え、前記照明補正され In order to solve the above problems, the present invention provides a face recognition system using neural networks, the feature points including a vertex of the nose from the face image data and the three-dimensional shape data obtained from the three-dimensional shape measurement device a feature point extracting means for extracting, a rotation correction means for the image faces the front corrects the face image data with respect to the rotation of said extracted feature points, using the vertices of the nose are cut out certain areas an illumination correction means for correcting the average value of the face image data cut out as a face area extracting means and said constant region to be constant, the lighting corrected face image data and the corresponding three-dimensional shape data, by fuzzy clustering, as one of the data is assigned to a plurality of clusters, and a parallel neural network learned on each of the cluster, is the illumination correction 顔画像データおよび対応する3次元形状データを前記学習した並列ニューラルネットワークに対して与えて認識することを特徴とするニューラルネットワークを利用した顔認識システムである。 It is a face recognition system using neural network and recognizes giving face image data and the corresponding three-dimensional shape data relative to the parallel neural networks with the learning.
ここで、特徴点抽出手段は、特徴点として、前記鼻の頂点以外に、鼻の両側の点、目の位置の点を抽出することを特徴とすることもできる。 Here, the feature point extraction unit, as feature points, in addition to the apex of the nose, the point on either side of the nose can also be characterized by extracting the point of the eye position.
さらに、前記並列ニューラルネットワークの学習過程で、顔画像をクラスタに分けて学習させるときに、振り分けを最適化するために、1人のデータをいくつのクラスタに帰属するか、1つのクラスタに最大何人のデータを帰属するかを調整することを特徴とすることもできる。 Further, in the learning process of the parallel neural networks, when to train by dividing the face image into clusters, in order to optimize the distribution, or belong to one of the data into a number of clusters, up to many people in a cluster data may also be characterized by adjusting or belongs to the.
上記のいずれかに記載したニューラルネットワークを利用した顔認識システムの機能を、コンピュータ・システムに実現させるプログラムも、本発明である。 The function of face recognition system using neural networks as claimed in any one of the above, a program for realizing in a computer system is also present invention.

本発明の顔認識システムを用いることによる効果は、大きく下記の2つである。 Effects of using the face recognition system of the present invention is two large below.
第一に、本発明では大規模なNNを複数の小規模NN(サブネットワーク)に分割し、サブネットワーク単位で並列に学習と認識を行なうことで、ローカルミニマムなどに起因する大規模NNでの認識率低下を回避することができる。 First, the present invention divides a large NN multiple small NN (subnetworks), by performing a learning and recognition in parallel with the sub-network units, in large scale NN due to such local minimum it is possible to avoid the deterioration recognition rate. 並列NNの構成にあたっては、従来、登録者の顔パターンで相互に類似性の高いものを集めてひとつのサブネットワークとする方法が採用されており、異なるサブネットワーク間では同じパターンが存在することはなかったが、本発明ではパターンのあいまいさを考慮してファジィ的に複数のサブネットワークに同一顔パターンが帰属することを許しているのが大きな特徴である。 In the construction of parallel NN, conventionally, has been adopted a method of one of the subnetworks attracting having high similarity to each other in the registrant's face pattern, it is between the different sub-networks that exist are the same pattern It was not, of the present invention is allowed that the same face pattern attributable to the fuzzy manner plurality of sub-networks by considering the ambiguity of the pattern is a significant feature. これにより、比較的近いパターン同士は必ず同じサブネットワークで効率よく認識させることができる。 Thus, it is possible to recognize efficiently always relatively close patterns to each other in the same subnetwork.
第二に、本発明では識別対象人物の顔パターンを、3次元形状計測装置により3次元映像として取得した。 Secondly, the face pattern of the identification target person in the present invention was obtained as a 3-dimensional image by the three-dimensional shape measurement device. すなわち、従来の2次元映像にはない顔面の高さ情報等が利用できる。 That is, the height information of the conventional not in the two-dimensional image face can be utilized. このため、人物の位置、姿勢の変化や照明の変動などの影響を極力排除・補正した入力顔パターンを得ることが可能となり、顔の回転にロバストな顔認識システムを実現することができた。 Therefore, the position of a person, it is possible to obtain the input face pattern effect was excluded as much as possible and correcting such variation in the change in the posture and illumination, it was possible to realize a robust face recognition system to the rotation of the face.

本発明では、上述の非特許文献7のCombNET−IIと同様に、複数の小規模なNN(以降「サブネットワーク」と呼ぶ)を作って図1に示すような並列NNを構成し、サブネットワーク単位で並列に学習と認識を行なうことで、大規模な認識システムにおいても効率良く学習や認識ができるようにする。 In the present invention, like the CombNET-II of Non-Patent Document 7 described above, making a plurality of small NN (hereinafter referred to as "subnetworks") constitute a parallel NN as shown in FIG. 1, a subnetwork by performing learning and recognition in parallel in units, to allow efficient learning and recognition even in a large-scale recognition system. なお、図1に示す並列NNは、入力層に2048ノード、中間層に32ノード、出力層に6ノードを持った3階層NNの例であるが、これらの値は、後のシミュレーションで例として用いる値である。 Incidentally, the parallel NN shown in FIG. 1, 2048 nodes in the input layer, 32 nodes in the intermediate layer is an example of a three-layer NN having 6 nodes in the output layer, these values, as a simulation example in the following is the value to be used.
しかしながら、従来のCombNET−IIでは、同じパターンが1つのサブネットワークにしか属すことができないハードクラスタリングの手法を用いているため、近いパターンでもNNで学習されないものが存在する。 However, in the conventional CombNET-II, the same pattern is due to the use of techniques hard clustering can not belong to only one sub-network, there are those that are not learned in the NN in close pattern. このため、これを顔画像の認識に応用する際に、パターンの変動が大きいときには、認識率が大幅に低下すると考えられる。 Therefore, when applying this recognition of the face image, when the variation of the pattern is large is considered, the recognition rate is significantly reduced.
この問題を解決するため、本発明では、ハードクラスタリングではなく、ファジィクラスタリングを利用して顔パターンを分類する方法を提案する。 To solve this problem, in the present invention, rather than hard clustering, we propose a method of classifying a face pattern by using a fuzzy clustering. ファジィクラスタリングは帰属度にあいまいさを許して、1つのパターンをいくつかのサブネットワークに帰属させることを認めている。 Fuzzy clustering allow ambiguity in membership, admits be attributed one pattern into several sub-networks. したがって、各クラスタすなわち各サブネットワークに属するパターンが重複しているので、比較的近いカテゴリ同士は必ず同じNNで効率良く認識させることができる。 Therefore, since the patterns belonging to each cluster that is, each sub-network is duplicated, it can be relatively close category each other efficiently recognized always the same NN.
また、従来の顔認識システムにおいては、人物の位置及び姿勢の変化によって回転した顔画像に対しては、識別精度が若干低下するということが問題となっている。 Further, in the conventional face recognition system, for rotating the face image according to the position and posture change of the person, that the identification accuracy decreases slightly in question. この人物の位置および姿勢の変化による画像変動は、本質的に顔の3次元形状によるものであり、これを解決するためには顔の3次元形状を利用することが有効であると考えられる。 Image change according to the position and posture change of the person is due to 3-dimensional shape essentially the face is considered that it is effective to use a three-dimensional shape of the face in order to solve this problem. そこで本発明では、3次元形状計測装置を用い、3次元形状を利用して顔画像認識を行なう。 In this invention, using a three-dimensional shape measuring apparatus performs face recognition using a three-dimensional shape.

本発明の顔認識システムのシステム構成の例を図23に示す。 An example of a system configuration of a face recognition system of the present invention shown in FIG. 23. なお、図23には顔の学習と認識の両方を行なう場合のシステム構成を示しているが、実際にセキュリティシステムとして利用する際には、学習と認識を別々のコンピュータで行なう場合も考えられる。 Although in FIG. 23 shows a system configuration for performing both learning and recognition of the face, when actually used as a security system, it is conceivable to perform learning and recognition on different computers.
図23において、コンピュータ120は、本発明の顔認識システムで顔の学習および認識の処理を行なうコンピュータである。 23, the computer 120 is a computer for performing processing of the learning and recognition of faces in face recognition systems present invention. コンピュータ120は、例えば通常のパソコンなどを用いることができるが、他のコンピュータであってもよい。 Computer 120 is, for example, or the like can be used an ordinary personal computer may be another computer. 記憶領域122には、顔の学習および認識の処理を行なうプログラムが格納されており、CPU123が処理を行なう。 The storage area 122 is stored a program for performing the processing of the learning and recognition of faces, CPU 123 performs processing.
3次元形状計測装置110は、顔認識システムに登録される者(登録者)の顔を撮影し、その3次元情報を得る装置である。 3-dimensional shape measuring apparatus 110 photographs the face of the person to be registered in the face recognition system (registrant) is a device for obtaining the three-dimensional information. また、入力装置130は、キーボードやマウスなどの入力装置であり、顔認識システムに顔を登録する(学習させる)際に、登録者の氏名などの情報を入力したり、顔認識システムの操作を行なったりするための入力装置である。 The input device 130 is an input device such as a keyboard or a mouse, when registering a face in the face recognition system (to learn), to input information such as registrant name, the operation of the face recognition system an input device for or made. 3次元形状計測装置110および入力装置130からの入力は、入力I/F121を介してコンピュータ120に入力され、処理される。 Input from the three-dimensional shape measuring apparatus 110 and the input device 130, via the input I / F 121 is input to the computer 120 for processing.
コンピュータ120で処理された結果は、出力I/F124を介して出力される。 Results processed by the computer 120 is output via the output I / F 124. 学習過程においては、例えば処理の途中で生成されたデータや学習が終わった旨の信号などであり、必要に応じてディスプレイなどの出力装置140に出力するようにしてもよい。 In the learning process, for example, like the way the generated data or signals to the effect that learning has finished processing, may be output to an output device 140 such as a display as required. また、認識過程においては、認識または拒否の信号をセキュリティ機器などに出力する。 In the recognition process, it outputs a signal of recognition or rejection such as a security device.

以降、本発明の顔認識システムの実施形態を詳細に説明する。 Later, an embodiment of a face recognition system of the present invention in detail.
まず、1. First of all, 1. で本実施形態の顔認識システムで用いるファジィクラスタリングの手法を説明し、2. In describes a method of fuzzy clustering used in the face recognition system of the present embodiment, 2. でファジィクラスタリングを用いて顔画像を振り分ける手順を説明する。 In a procedure for allocating a face image using a fuzzy clustering.
次に、3. Then, 3. でNNによる顔の学習過程を、4. In the learning process of the face by NN, 4. でNNによる顔の認識過程を説明する。 In explaining the recognition process of the face by the NN.
次に、5. Then, 5. で顔画像の3次元情報からNNに入力するデータを作成する過程を説明する。 In describing the process of creating the data to be input from the three-dimensional information of the face image to the NN.
最後に、6. Finally, 6. で学習と認識のシミュレーションを行ない、本実施形態の手法の有効性を示す。 In performs simulation of the learning and recognition, shows the effectiveness of the method of this embodiment.

<1. <1. ファジィクラスタリング> Fuzzy Clustering>
パターン認識では認識対象に対して、人間の主観や個性など複雑な要素が関係してくる。 In pattern recognition with respect to the recognition target, complex elements such as human subjectivity and individuality comes to relationships. すなわち、扱う対象の性質に、真偽の2値のみでは説明できないあいまいさが存在する。 That is, the nature of the subject dealing with only two values ​​of authenticity there is ambiguity that can not be explained. また、認識側にも主観や個性などに関係するあいまいさが存在する。 In addition, the ambiguity exists related, such as to be subjective and personality in recognition side.
パターン認識の分野においては、扱うべきデータ集合のそれぞれのデータ・ベクトルをあらかじめ決められたどのクラスタに属しているかを決定するファジィクラスタリング法が多用されている。 In the field of pattern recognition, fuzzy clustering method to determine belong to predetermined which cluster each data vector of the data sets to be handled are often used. そこでFCM(fuzzy c-means)法を利用して顔画像の認識を行ない、パターンの振り分けを最適化することで、認識率を向上させることができると考えられる。 Therefore it performs facial recognition image using FCM (fuzzy c-means) method, by optimizing the distribution of the pattern is considered possible to improve the recognition rate.
ここではまず、従来のハードクラスタリングの手法について簡単に説明し、本実施形態で用いるファジィクラスタリングの手法および、FCM(fuzzy c-means)法を用いて分割行列を決定する方法を説明する。 Here, first, a brief description of techniques conventional hard clustering technique fuzzy clustering used in the present embodiment and will be described a method of determining the division matrix with FCM (fuzzy c-means) method.

(1)ハードクラスタリング 各データを分割する際、ただ1個のクラスタにのみ帰属させる方法はハードクラスタリングと呼ばれる。 (1) when dividing the hard clustering the data, a method of simply be attributed only to one cluster is called a hard clustering.
データ集合をX={x ,x ,…,x }(x ∈R ,j=1,2,3,…,n)とした場合、データx がクラスタC に属するかどうかを行列の(i,j)要素で表現する。 The data set X = {x 1, x 2 , ..., x n} (x j ∈R s, j = 1,2,3, ..., n) when a, whether the data x j belongs to the cluster C j (i, j) of how the matrix is ​​represented by element. n個のデータをc種類のクラスタに分割する場合、行列Uはc×nの行列となる。 When dividing the n pieces of data c cluster types, matrix U is the matrix of c × n. そして要素u ijは0または1の値を取り、u ij =1の場合データx がクラスタC に属さないことを示す。 The elements u ij takes a value of 0 or 1, indicating that if the data x j of u ij = 1 does not belong to the cluster C j. 各クラスタには少なくとも1個以上のデータが必ず属し、各データはどれか1個のクラスタに属している。 Each cluster belong to at least one or more of the data is always, each data belongs to any one of the cluster.

(2)ファジィクラスタリング しかし、クラスタは本来明確に定義できるものではなく、パターン集合をカテゴリ分解する際に、境界部分のパターンはいくつかのカテゴリに関連を持つ。 (2) Fuzzy Clustering However, the cluster is not originally clearly defined, when the category decompose pattern set, a pattern of a boundary portion with associated into several categories. ハードクラスタリングでは、いずれか1つのカテゴリに帰属させることになるが、ファジィクラスタリングでは帰属度にあいまいさを許して、複数のカテゴリに帰属することを認める。 In hard clustering, but it would be assigned to any one of the categories, recognize that the fuzzy clustering allowed ambiguity in membership, belonging to more than one category.
ファジィクラスタリングの手法を定式化すれば、以下のようになる。 If formulate the method of fuzzy clustering, it is as follows.
取り扱うデータ集合n個のs次元の分類対象を Handling the data set of n s dimension of the classification target
とする。 To. ファジィクラスタリングによる分割行列を The division matrix by fuzzy clustering
とすると、u ijは以下の2つの条件を満足する。 When, u ij satisfies the following two conditions.
ただし、cは2≦c≦nで、クラスタの数である。 However, c is in the 2 ≦ c ≦ n, is the number of clusters. ijは閉区間[0,1]の値をとり、x のクラスタへの帰属度を表す。 u ij takes the value of the closed interval [0, 1], representing the degree of belonging to the cluster of x j.

(3)FCM反復法 次に、FCM(fuzzy c-means)法を用いて分割行列Uを決定する方法を述べる。 (3) FCM iteration Then, we describe a method for determining the division matrix U using FCM (fuzzy c-means) method.
FCM法は、 FCM method,
として与えられる目的関数の最小化により、分割行列Uを決定する反復方法である。 The minimization of the objective function given as an iterative method of determining the divided matrix U. ここではm≧1である。 Here is the m ≧ 1. V={v ,v ,…,v }(v ∈R ,i∈[1,c])はクラスタ中心ベクトルの集合である。 V = {v 1, v 2 , ..., v c} (v i ∈R s, i∈ [1, c]) is the set of cluster center vectors. はx のメンバシップ度のm次重み付き平均である。 v i is with m Tsugiomomi average of the degree of membership of x j. このことは、より小さいメンバシップ度のx より、より大きいメンバシップ度のx がv により大きい影響を与えることを示している。 This than x j smaller membership degree, indicate that the greater degree of membership of x j gives a greater effect on v i. この傾向は、mを大きくすればするほど、より大きくなる。 This tendency, the larger the m, the greater.
さらに、Gを正定対称行列として、一般化ノルム Furthermore, as a positive definite symmetric matrix G, generalized norm
を導入すれば、ファジィクラスタリング問題は次のように一般化される。 By introducing a fuzzy clustering problem is generalized as follows.

<2. <2. 顔画像の振り分け> The distribution of the face image>
上述の1. Of the above-mentioned 1. で述べたように、ファジィクラスタリングを利用してパターンの振り分けを最適化することで、認識率を向上させることができる。 In As mentioned, by optimizing the distribution of the pattern using a fuzzy clustering, it is possible to improve the recognition rate. 本実施形態においても、この方法で顔画像の振り分けを行なう。 Also in this embodiment, it performs the sorting of the face image in this way.
パターンの振り分けは、まず(1)各パラメータを初期化して、(2)反復収束法により分割行列を得て、(3)分割行列の各要素を非ファジィ化することにより行なう。 Distribution pattern, first (1) initializes each parameter, (2) obtaining a division matrix by iterative convergence method, performed by defuzzification each element of (3) dividing the matrix. 以降、これらを順に説明する。 And later, to explain these in the order.

(1)パラメータの初期化 まず、クラスタ数、クラスタ合併の調節係数、重み、収束判定値、計算回数などの各パラメータの初期値を設定する。 (1) Initialization of parameters First, the number of clusters, adjustment factor cluster merger, weight, convergence determination value, the initial value of each parameter, such as the number of calculations.

(2)反復収束法の計算(a)まず、クラスタの平均ベクトルv (l) (2) the iterative convergence method calculate (a) First, the average vector of the cluster v i (l)
から求める。 Obtained from. ただし、l回目の反復におけるUをU としたとき、式(7)のu ijはU の要素を表す。 However, when the U in l th iteration was U l, u ij of formula (7) represents the elements of U l.

(b)クラスタの合併 (B) merger of cluster
において、もしD ik <min_d(クラスタ間の最小距離)しかもD ik ≠0であれば、上述の式(2),(3)の条件のもとで、以下の合併作業を行なう。 In, if it is yet D ik ≠ 0 (minimum distance between the clusters) D ik <min_d, the above equation (2), under the condition of (3), the following merger operations.
ただしj∈[1,n]である。 However it is j∈ [1, n].

(c)x ≠v (l)の時は、以下の式 (C) x jv when i of (l) has the following formula
によりU をU l+1に更新する。 To update the U l to U l + 1 by.
≡v (l)の時は、 When x j ≡v i of (l) is,
とおく。 far.

(d)与えられた収束判定値εに対して、 (D) with respect to the convergence judgment value ε given,
となれば終了。 If and end. そうでなければ、l=l+1として上記(a)に戻る。 Otherwise, as l = l + 1 returns to (a).

(3)メンバシップ関数の非ファジィ化 以上の計算で得た分割行列Uの各要素を非ファジィ化する。 (3) To defuzzification each element of the divided matrix U obtained in defuzzified above calculation of the membership function. ここで、閾値の調節によって、カテゴリの重複度を調節し、顔画像の振り分けを最適化する。 Here, by adjusting the threshold value, to adjust the degree of overlap categories, to optimize the distribution of face images.
(a)行の非ファジィ化 横方向は1つの要素がいくつのカテゴリに属するかを決める。 (A) defuzzification horizontal line deciding belongs to the number one element categories. 1つの要素は最大n個のカテゴリに属することができる。 One of the elements can belong to up to n category. これ以上になると、冗長度が大きくなり、ネットワークの学習に大変時間がかかってしまう。 Above which, redundancy is large, it takes a very long time for the learning of the network.
(b)列の非ファジィ化 縦方向は1つのカテゴリにいくつの要素を含むかを決定する。 (B) defuzzification vertical column determines includes a number of elements into a single category. 1つのカテゴリに最大c個の要素を包括できる。 It can encompass the maximum c number of elements in a single category. これ以上となると、ネットワークの認識率が著しく下がってしまう。 When the more the recognition rate of the network will be lowered considerably. しかも、学習時間も急に長くなる。 In addition, the learning time also suddenly becomes long. 重複の行を消して、1つのカテゴリにする。 Turn off the duplication of the line, into one category.
本実施形態では、例として、1人は同時に5つのサブネットワークに帰属することができるように、また、1つのサブネットワーク中に最大6人が帰属することができるように、メンバシップ関数を非ファジィ化するとき、1つのパターンが帰属できるクラスタ数を決めるクラスタへの最大帰属数を5に設定する。 In the present embodiment, as an example, as one person can be assigned to five sub-networks simultaneously, and as can be up to 6 people belong in one subnetwork, the membership function non when fuzzification, sets the maximum assignment number to the cluster to determine the number of clusters one pattern can be attributed to 5. また、クラスタに含まれる要素数(パターンの数)を決めるクラスタの最大冗長度(クラスタ内の最大要素数)を6に設定する。 Also, it sets the number of elements in the cluster maximum redundancy of clusters to determine the (number of patterns) (maximum number of elements in a cluster) to 6.

<3. <3. NNの学習過程> The learning process of the NN>
統合型のネットワークでは、個々のネットワーク(サブネットワーク)での学習の負荷を低減するために、1つのネットワークが扱うカテゴリ数を減らしている。 The integrated network, in order to reduce the load of the learning in each network (sub-network), which reduces the number of category handled by one network. その際、学習用の各パターンを各サブネットワーク(すなわち各クラスタ)にどのように割り振るかが重要なポイントとなる。 At that time, how allocate each pattern for learning each subnetwork (i.e. each cluster) is an important point.
例えば、上述の非特許文献5の方法では、少なくともN番目までの近いカテゴリの対がどこかのサブネットワークに属していることを保証するクラスタリングを用いている。 For example, in Non-Patent Document 5 of the above-described methods, it uses clustering to ensure that pairs of close categories up to at least N-th belongs somewhere subnetwork.
本実施形態では、次の手順で学習を行なう。 In the present embodiment performs the learning in the next step.
最初に、各カテゴリの標準パターンを求める。 First, determine the standard pattern of each category. 次に、各標準パターン間のユークリッド距離を求める。 Next, Euclidean distances between the reference patterns. 例えば、いま、R種類のパターンの認識を考えているとしよう。 For example, now, trying to have considered the recognition of R type of pattern. カテゴリ数はRなので、最初にR個のサブネットワークを用意する。 Number of categories is because the R, the first to prepare the R sub-network. サブネットワークiでは、カテゴリiから近い順にN番目までのカテゴリが認識対象になっている。 In sub-network i, category of up to N-th is set to be recognized in order of proximity to the category i. ここで、サブネットワークiのカテゴリiをメインカテゴリ、それに近いN番目までのカテゴリをサブカテゴリと呼ぶことにする。 Here, will be category i the main category subnetwork i, it categories up near the N-th is referred to as a sub-category.
あるサブネットワークを作っていく過程で、そのメインカテゴリとサブカテゴリがすでに前のサブネットワークで一緒になっていたら、そのサブカテゴリを削除する。 In the process of making a sub-network, when I together in the main categories and sub-categories is already before the sub-network, to delete the sub-categories. サブカテゴリが全て削除されてしまったらそのサブネットワークも削除する。 Subcategories also delete its sub-network If you wait too long and deleted all.
このような方法を用いると、カテゴリの数以下のサブネットワークで少なくとも、N番目までの近いカテゴリの対がどこかのサブネットワークに属していることが保証される。 With such a method, at least the number following subnetwork category, it is ensured that pairs of close categories up to N-th belongs somewhere subnetwork.
また、各サブネットワークの規模はそろっている方が望ましい場合が多い。 Moreover, it is often desirable to have all scale of each subnetwork. そのため、扱うカテゴリ数が少ないサブネットワークの結合を行なう。 For this reason, carry out the binding of the sub-network is a small number of categories to be handled.

上述の学習過程をまとめると、図21に示すフローチャートのようになる。 To summarize the above learning process, so that in the flowchart shown in FIG. 21. なお、各サブネットワークは、バックプロパゲーションアルゴリズムで学習を行なう。 Each subnetwork performs learning by the back propagation algorithm.
(1)各カテゴリの標準パターンを作る(S310)。 (1) create a standard pattern of each category (S310).
(2)i=1と置く(S320)。 (2) i = 1 and put (S320).
(3)標準パターンP(i)からN番目までに近い標準パターンP(j)(j≠i)を探す(S330)。 (3) Find the standard pattern P (i) near to the N-th standard pattern P (j) (j ≠ i) (S330). すなわち、P(j)はN個探索される。 That, P (j) is the N search.
(4)すでにP(i)とp(j)が同じサブネットワークに属しているかを調べ、属していたら、そのP(j)を削除する(S340)。 (4) already examined whether P (i) and p (j) belong to the same sub-network, if not belong, to delete the P (j) (S340).
(5)上記(4)の結果、P(j)が0個になったら(S350でYesの場合)、サブネットワークは作らない。 (5) above (4) of the result (Yes in S350) When P (j) becomes zero, the sub-network is not made. 一方、P(j)が0個でなければ、標準パターンP(i)とP(j)の合計(N+1)個のカテゴリが属するサブネットワークを作成する(S360)。 On the other hand, if the P (j) is zero, the sum of the standard pattern P (i) and P (j) (N + 1) number of categories to create a sub-network belonging (S360).
(6)i<R(Rはカテゴリ数)ならば、i=i+1として上記(3)のステップ(すなわち、図21のS330)に戻る。 (6) i <If R (R is the number of category), the step of (3) as i = i + 1 (i.e., S330 in FIG. 21) returns to.
同様に上記(3)〜(5)のステップを繰り返して、iがRに達したら(S350でNoの場合)、次に、扱うカテゴリ数が少ないサブネットワークの結合を行なう(S390)。 Similarly Repeat steps (3) to (5), (No in S350) i is reached to R, then, performs the binding of subnetworks small number of categories of handling (S390).

サブネットワークの結合処理(図21のS390)のフローチャートを、図22に示す。 Binding processing subnetwork to the flowchart in (S390 in FIG. 21), shown in Figure 22.
(7)k=1と置く(S410)。 (7) k = 1 and put (S410).
(8)n=k+1と置く(S420)。 (8) Place and n = k + 1 (S420).
(9)2つのサブネットワークk,nを考え、それらが扱うカテゴリ数の合計が(N+1)個以下であれば(S430でYesの場合)、ネットワークkとnを統合する(S440)。 (9) considered two sub-networks k, n, the total number of categories they handled (Yes in S430) if (N + 1) or less, to integrate network k and n (S440).
(10)n<M(Mは上述の(6)のステップが終了したときのサブネットワーク数)ならば(S450でYesの場合)、n=n+1として上述の(9)のステップに戻る。 (10) n <M (M is a subnetwork number when step (6) described above has been completed) (Yes in S450), then the as n = n + 1 returns to the step of the above (9).
(11)n≧Mの場合(S450でNoの場合)、k<Mならば(S470でYesの場合)、k=k+1として上述の(8)のステップに戻る。 (11) For n ≧ M (No in S450), k <(Yes in S470) M If, k = k + 1 returns to the step of the above (8).
これを、k≧Mになるまで(すなわち、S470でNoになるまで)繰り返す。 This, until k ≧ M (i.e., until the No in S470) is repeated.

<4. <4. NNの認識過程> Recognition process of NN>
学習した後の並列NNの重みを利用して、認識の対象となる顔画像データをNNの構造に従って計算する。 By utilizing the weight of the parallel NN after learning, the face image data to be recognized is calculated according to the structure of the NN. 次に、FCM法で得たサブネットワークの帰属情報によって、認識の判断を行なう。 Then, the attribution information of the sub-networks obtained by FCM method makes a determination of the recognition. 基本的には、近いもの同士の判別はサブネットワークによって行なわれ、遠いもの同士は類似度法により判別されることになる。 Basically, discrimination between close is performed by the sub-networks, distant ones to each other will be determined by the similarity method. また、1つのサブネットワークに否定されたパターンは、他のサブネットワークにある場合にも否定される。 Also, one of the negative to the subnetwork pattern is also negative when in other subnetworks.
本実施形態では次の(1)〜(2)の手順で認識を行なう。 In the present embodiment performs the recognition by the procedure of the following (1) to (2).
前提として、上記の<3. As a premise, of the above-mentioned <3. NNの学習過程>で述べた方法で、登録者の学習用顔パターンを並列NNに学習させ、登録する。 In the method described in NN learning process of>, train the learning face pattern of a registrant in parallel NN, registers. そして、登録者の認識用顔パターンと未登録者の顔パターンを、学習を行なった並列NNに認識させる。 Then, the recognition face pattern and unregistered's face pattern of a registrant, is recognized in parallel NN was subjected to learning.

(1)並列NNの否定能力による排除 まず、あるNN(あるサブネットワーク)で学習しているにも関わらず出力が最大とならなかったパターンを排除する。 (1) elimination by negative ability of parallel NN First, output despite learned on one NN (some subnetworks) to eliminate the pattern was not maximized. また、あるサブネットワークでは、すべての要素の値が閾値より低い場合、このサブネットワークのすべてのパターンを排除する。 Further, in some subnetworks, the value of all the elements is lower than the threshold, eliminating all of the pattern of the sub-networks. 本実施形態ではこの閾値を0.5にした。 In the present embodiment has the threshold to 0.5. さらにあるサブネットワークで一度否定された顔パターンを他のサブネットワークの答えから排除する。 Further eliminating once negated face pattern subnetwork from answers other subnetworks. このとき、すべての顔パターンが排除されたら、この入力顔パターンを未登録者と判断する。 In this case, all of the face pattern is when you are eliminated, to determine the input face pattern and the unregistered party.
(2)類似度法による判断 (1)が行なわれた後、答えが残った場合、類似度法による判断を行なう。 (2) After the determination by similarity method (1) is performed, if the answer is remaining, performing determination by the similarity method. 答えとなる要素(登録者)の標準顔パターン(学習用顔パターン)と入力顔パターンの類似度 The answer to become element standard face pattern (learning face pattern) and the similarity of the input face pattern of the (registrant)
を計算し、類似度が一番大きい要素ユニットを最後の答えとする。 It was calculated, and the large element unit the degree of similarity is the most the last answer. ここで、Kは標準パターンの数で、Lは人数である。 Here, K is the number of standard patterns, L is number.
ただし、類似度がある閾値より小さいとき、この入力顔パターンを未登録者と判断する。 However, when less than a similarity threshold value, determines the input face pattern with unregistered party.

<5.3次元情報の利用> <Use of 5.3-dimensional information>
上述では、ファジィクラスタリングとNNを用いて、あいまいな顔画像を効率よく処理する方法を示した。 In the above, by using fuzzy clustering and NN, it showed how to handle ambiguous face image efficiently.
しかし、人物の位置及び姿勢の変化によって回転した顔画像に対しては、識別精度が若干低下するということが問題となっている。 However, for rotating the face image according to the position and posture change of the person, that the identification accuracy decreases slightly in question. この人物の位置および姿勢の変化による画像変動は、本質的に顔の3次元形状によるものであり、これを解決するためには顔の3次元形状を利用することが有効であると考えられる。 Image change according to the position and posture change of the person is due to 3-dimensional shape essentially the face is considered that it is effective to use a three-dimensional shape of the face in order to solve this problem. そこで本実施形態では、3次元形状計測装置を用い、3次元形状を利用して顔画像認識を行なう。 In this embodiment, using a three-dimensional shape measuring apparatus performs face recognition using a three-dimensional shape.
以降、本実施形態の顔認識システムにおける、顔画像の3次元情報からNNに入力するデータを作成する過程を説明する。 Since, in the face recognition system of this embodiment, illustrating a process for creating data to be input to the NN from the three-dimensional information of the face image. なお、本実施形態のシステム構成例は上述の図23に示したとおりである。 The example system configuration of this embodiment is as shown in Figure 23 described above.

(1.画像の撮影) (1. shooting image)
撮影装置としては、図2に示すような非接触型3次元形状計測用レンジファインダを用いる。 The imaging apparatus using a non-contact type three-dimensional shape measuring range finder as shown in FIG. 後述する本実施形態のシミュレーションでは、3次元形状計測用レンジファインダとしてDanae−R(http://www.necsan-ei.co.jp/general/spec/danae_r/danae_rs.htm)を用いた。 In the simulation of this embodiment described below, was used Danae-R (http://www.necsan-ei.co.jp/general/spec/danae_r/danae_rs.htm) as a three-dimensional shape measuring range finder. この装置は、左右のフラッシュ220からスリット光を投影して左右のCCDカメラ210で被写体230を撮影する。 The device captures a subject 230 in the left and right CCD camera 210 from the left and right of the flash 220 by projecting the slit light. その際、視差情報から物体の奥行きを計算し、被写体230の3次元形状を得るものである。 At that time, it calculates the depth of the object from the disparity information, thereby obtaining a three-dimensional shape of the object 230.
3次元形状計測装置で撮影した画像は、図3に示すように、2次元濃淡データと奥行情報からなる。 Pictures on the three-dimensional shape measuring apparatus, as shown in FIG. 3, consisting of two-dimensional gray data and depth information.

(2.入力データの生成) (2. input data generated)
撮影した画像には、撮影時の姿勢変化による顔の回転変動や、照明の明るさによる変動が加わっている。 To a captured image, the rotation fluctuations and face caused by a change in the posture of the time of shooting, have joined the variation due to the brightness of the lighting. また、画像データをそのままNNの入力データとして用いるとデータ量が膨大となり、計算時間が大きくなってしまう。 Moreover, the use of image data as input data for NN as the data amount becomes enormous, computation time increases. そこで、撮影した画像に対して下記の(1)〜(6)の手順で前処理を行なって回転と照明の補正、データ量の削減を行なう。 Therefore, the following with respect to captured image (1) to correct the illumination and rotating by performing pretreatment in the procedure (6), is performed to reduce the data amount.

(1)グレースケールに変換 撮影した2次元濃淡データはカラー画像として得られるが、本研究ではグレースケール画像のみを用いる。 (1) two-dimensional gray data converted captured gray scale is obtained as a color image, but uses only gray scale image in this study. これは、カラー画像を扱うことによってデータ量が多くなるためと、照明の色や皮膚の色など、変動要因が増えるためである。 This is a to become much amount of data by treating the color image, such as lighting color or skin color, because the fluctuation factors is increased.

(2)特徴点の抽出 取り込んだ顔画像から、正面を向いた顔領域を切り出すために、3次元形状とテクスチャ情報から、下記の(a)〜(e)の特徴点を抽出する。 From the extracted captured face image of (2) feature point, in order to cut out the face area facing the front, from the three-dimensional shape and texture information, extracts feature points of the following (a) ~ (e). なお、抽出した特徴点を図4に示す。 Incidentally, showing the extracted feature points in FIG.
(a)高さが最小となる点から鼻頂点座標を取得 最初に、顔の中心となる鼻頂点座標を取得する。 (A) a nose apex coordinates on the acquired first height from the point with the smallest acquires nose vertex coordinate for the center of the face. 鼻頂点は顔のz座標が最小となる点であることを利用し、座標を決定する。 Nasal vertices by using the fact is that the z-coordinate of the face is minimized to determine the coordinates. (図4点1) (4 points 1)
(b)鼻頂点から上の極点を取得 鼻頂点からy軸方向に走査し、傾きが正から負、負から正に変化した部分のy座標を取得し、左右の目の中間点、左右の眉の中間点の座標とする。 (B) scanning the pole above the acquisition nose vertex from the nose apex in the y-axis direction, to get the y-coordinate of the slope has changed positively positive negative negative part, the midpoint of the right and left eyes, the left and right the coordinates of the midpoint of the eyebrows. (図4点2) (4 points 2)
(c)鼻の傾きを取得 鼻の頂点と目の間の点を結んだ直線上の点をとり、最小二乗法により近似直線を計算する。 (C) taking a point on a straight line connecting point between the apex and the eyes get nose slope nose, it calculates the approximate line by the least square method. この直線の傾きをx軸の回転補正用に用いる。 Using the slope of the straight line for the rotation correction of the x-axis. (図4直線3) (4 straight 3)
(d)鼻の両側の点を取得 鼻頂点から左右一定距離にある点を取得する。 And (d) obtaining a point on the left and right fixed distance points on both sides of the nose from the acquisition nose apex. この周囲の領域のz座標をy軸の回転補正用に用いる。 Using z-coordinate of the surrounding area for the rotation correction of the y-axis. (図4点4) (Figure 4 points 4)
(e)濃度から目の位置を取得 目については、高さ情報では正確な位置を取得するのが難しいため、2次元濃淡データを用いて目の位置を決定する。 For obtaining th eye positions from (e) concentration, it is difficult to get an accurate position in the height information to determine the position of the eye with the two-dimensional gray data. まず目の間の点から左右に探索し、黒い部分を検出する。 First search to the left and right from the point between the eyes, detects the black portion. 次に、目の濃淡データは左右の目で対称となっていることを利用し、先ほど取得した両目の位置の周囲で左右それぞれの画素値を比較し、対称になっている部分を探索する。 Then, the eye of the shading data by utilizing the fact that a symmetrical left and right eyes, comparing the respective pixel values ​​right around the position of the eyes that have just acquired, searches portions are symmetrical. 得られた画像を最終的な目の位置とする。 The resulting image as a final eye position. (図4点5) (Fig. 4 points 5)

(3)回転補正 次に、上述の(2)で取得した特徴点から顔画像の回転に対しての補正を行なって、正面を向いた画像を生成する。 (3) Rotation Correction Next, by performing the correction of the relative rotation of the face image from the acquired feature point in the above (2), and generates an image faces the front.

(a)x軸方向の回転補正 上述の(2)で取得した鼻の傾きがすべての画像で等しくなるようにx軸方向に回転補正を行なう。 (A) x-axis tilt of the acquired nose rotation correction described above (2) in the direction performing the rotation correction on the x-axis direction to be equal in all images. 図5において、回転前の鼻の直線の式をz=a y+b ,回転後の鼻の直線の式をz'=a y'+b ,補正する回転角度をθ とすると、tanθ は、 5, the linear equation of the nose of the pre-rotation z = a 1 y + b 1 , a linear equation of the nose after rotation z '= a 2 y' + b 2, when the rotational angle to correct a theta x, tan .theta x is,
より、 Than,
となる。 To become.

(b)y軸方向の回転補正 上述の(2)で取得した鼻の左右の点のz座標が左右で等しくなるように、y軸方向に回転補正を行なう。 (B) as z-coordinate of the left and right points of the acquired nose is equal in the left and right in the y-axis direction rotation correction of the above (2), performs rotation correction on the y-axis direction. 図6の鼻の左右の点のx,z座標をそれぞれ(x ,z ),(x ,z ),回転後の座標をそれぞれ(x' ,z' ),(x' ,z' ),補正する回転角度をθ とすると、tanθ は、 X of the left and right points of the nose of FIG. 6, z coordinates respectively (x l, z l), (x r, z r), respectively the coordinates after the rotation (x 'l, z' l ), (x ' r, z 'r), when the rotational angle to correct a theta y, tan .theta y is
z' =z' より、 than z 'l = z' r,
となる。 To become.

(c)z軸方向の回転補正 上述の(2)で取得した左右の目の位置のy座標が左右で等しくなるようにz軸方向に回転補正を行なう。 (C) y coordinate of the position of the acquired left and right eyes z of axial rotation correction of the above (2) performs the rotation correction on the z-axis direction to be equal in right and left. 図7の左右の目の点のx,y座標をそれぞれ(x ,y ),(x ,y ),回転後の座標をそれぞれ(x' ,y' ),(x' ,y' ),補正する回転角度をθ とすると、tanθ は、 X points of the right and left eyes in FIG. 7, the y-coordinate, respectively (x l, y l), (x r, y r), respectively the coordinates after the rotation (x 'l, y' l ), (x ' r, y 'r), when the rotational angle to correct a theta z, tan .theta z is
y' =y' より、 than y 'l = y' r,
となる。 To become.

ここで、特徴点の抽出と回転補正については、1度だけで正確な補正を行なうのは困難であるので、上述(2)の特徴点の抽出、および、(3)の回転補正の処理を、補正した角度が閾値以下になるまで、繰り返し行なうとよい。 Here, for the rotation correction and extraction of the feature point, since the carry out accurate correction at once is difficult, extraction of characteristic points described above (2), and the processing of the rotation correction (3) until the correction angle is equal to or less than the threshold value, it may be performed repeatedly.

(4)顔領域の切り出し 上記(3)で回転補正を行ない正面を向いた画像に対して、鼻頂点座標を中心として、一定の距離を切り出し、図8に示すような顔領域とする。 (4) for the image facing forward subjected to rotation correction by cutting out above (3) of the face area, around the nose vertex coordinates, it cuts a certain distance, the face region as shown in FIG.

(5)簡単な照明の補正 画像撮影中の照明の明るさに多少変動があるため、各画像の輝度の平均値を一定にする処理を行なう。 (5) Since there is some variation in the brightness of the illumination in the corrected image capturing simple lighting, it performs a process of a constant mean value of the luminance of each image.

(6)データ量の削減 上記(4)で切り出しを行なった画像をそのまま使用すると、NNによる学習、認識時間が膨大になってしまうので、画像を縮小して使用する。 (6) When used as an image subjected to cut out data amount reduction above (4), learning NN, since recognition time becomes enormous, used to reduce the image. 本実施形態では、例えば32×32画素に縮小して使用する。 In the present embodiment, used by reducing the 32 × 32 pixels, for example.
NNに入力するデータとしては、32×32画素の2次元濃淡データ(図9)と対応する32×32画素の3次元形状データ(図10)とを合わせて、32×32×2個のデータを用いる。 The data input to the NN, by combining the three-dimensional shape data of 32 × 32 pixels and the corresponding two-dimensional gray data of 32 × 32 pixels (Fig. 9) (FIG. 10), 32 × 32 × 2 pieces of data It is used. ここで、3次元形状データとしては、2次元濃淡データの各画素に対応する位置のz軸上の値を用い、高さの基準として鼻の頂点の高さを用いる。 Here, the three-dimensional shape data, using the value of the z-axis position corresponding to each pixel of the two-dimensional gray data, using the height of the apex of the nose as a reference height. また、2次元濃淡データに合わせるため、画素値を8bit量子化し、鼻頂点側を255,後頭部側を0として表現する。 Also, to match the two-dimensional gray data, the pixel value is 8bit quantization, the nose apex side 255, representing the occipital side as 0.

<6. <6. シミュレーション> Simulation>
最後に、本実施形態の顔認識システムを用いて学習・認識のシミュレーションを行ない、その結果を示す。 Finally, performs simulation of the learning and recognition using a face recognition system of this embodiment, it shows the results.

(1.画像の撮影) (1. shooting image)
シミュレーションに用いる画像として、上述の3次元形状計測装置(Danae−R)によって撮影した画像を用いる。 As image used in the simulation, using the images taken by the three-dimensional shape measurement apparatus described above (Danae-R). 顔画像は正面を向いた画像を取り込んだが、1回1回の撮影の間に被写体が顔を動かしているため、実用上考えられる程度に斜めを向いた画像が含まれている。 Face image captured images facing forward, but because the object during one one photographing is moving face includes an image facing obliquely extent considered practical. 被写体からカメラまでは60cm,室内の照明は撮影装置のストロボのみとした。 From the subject to the camera 60cm, indoor lighting was only flash of the camera apparatus. また、撮影装置の制限上、今回の実験では眼鏡は外して撮影を行なった。 Further, the photographing apparatus limitations, was performed shooting glasses removed in this experiment.
今回の実験では、1人につき5枚の2次元濃淡データ・3次元形状データを撮影し、登録者用として30人、未登録者用として5人分の画像を用意した。 In this experiment, per person shooting five two-dimensional gray data, the three-dimensional shape data, 30 people as for subscribers, it was prepared the image of five minutes for the unregistered person. このうち登録者の画像は1人につき4枚を学習用に、1枚を認識用に用いる。 Among the registered user of the image is per person for learning the four, using one for recognition. すなわち、登録する画像としては30×4=120枚、認識する画像としては登録者30×1=30枚、未登録者5×5=25枚を用いた。 That, 30 × 4 = 120 sheets as the image to be registered, the image recognized registrant 30 × 1 = 30 sheets, using a 5 × 5 = 25 sheets unregistered party.
ここで、今回実験に用いた画像の枚数は全部で35×5=175枚と数が少ない。 Here, the number is 35 × 5 = 175 sheets and fewer in total of image used for this experiment. そこでシミュレーションの結果の精度を高めるため、leave-one-out法を用いる。 Therefore, in order to increase the accuracy of the results of the simulation, using a leave-one-out method. すなわち1回のシミュレーションでは1人分の画像5枚のうち4枚を選び学習を行ない、残った1枚を用いて認識を行なう。 That once in the simulation chooses performs learning four out of five images of one person performs recognition using one of the remaining. この操作を、選ぶ画像を5通り変化させることで5回のシミュレーションを行ない、平均をとることによってシミュレーションの信頼性を高める。 This operation, the image subjected to 5 times of the simulation by changing five different to choose, increase the reliability of the simulation by averaging.

(2.入力データの生成) (2. input data generated)
顔画像の学習・認識処理を行なう前処理として、NNへの入力データの生成を行なう。 As a pretreatment for performing learning and recognition process of the face image, and generates the input data to the NN. 入力データの生成方法は、上述の<5.3次元情報の利用>で説明したとおりである。 Method of generating input data, is as described in the <use of 5.3-dimensional information> above. ここで、特徴点の抽出、顔領域の切り出しに用いるパラメータについてはいくつかの値を試し、実験的に決定した。 Here, extraction of the feature points, the parameters used in the extraction of the face region tried several values ​​were determined experimentally.
(1)グレースケールに変換 取り込んだ画像はRGB各8bitの画像なので、グレースケール8bitの画像に変換する。 (1) Since the image captured converted to grayscale images of RGB each 8bit, into image grayscale 8bit.
(2)特徴点を抽出 2次元濃淡データと3次元形状データから特徴点を抽出する。 (2) extracts a feature point feature points from the extracted two-dimensional gray data and the three-dimensional shape data.
(3)回転補正 抽出した特徴点からxyz軸それぞれについて回転補正を行なう。 (3) performs rotation correction for xyz axes respectively from the rotation correction extracted feature points. ここで、x軸については、すべての画像で鼻の傾きがy軸から0.6[rad]になるように補正を行なった。 Here, the x-axis, all of the inclination of the nose image makes a correction so that the 0.6 [rad] from the y-axis.
(4)顔画像の切り出し 顔領域については鼻頂点を中心に、顔の大きさが一定になるように切り出し処理を行なった。 (4) around the nose apex for cutting out the face region of the face image, the size of the face makes a clipping processing to be constant. ここで今回の実験では、すべての画像において眉の上部からあごの部分が入る大きさとして100画素を顔の大きさとした。 Here, in this experiment, the 100 pixels and the size of the face as the magnitude of the upper from the jaw portion of the eyebrow in all images entering.
(5)簡単な照明の補正 画像撮影時の照明の明るさに多少の変動があるため、各画像の輝度の平均値を一定にする処理を行なった。 (5) Since there is some variation in the brightness of the illumination during brief illumination of the corrected image capturing was subject to processing to a constant mean value of the luminance of each image.
(6)データ量の削減 学習、認識処理の計算量を抑えるため、2次元濃淡画像、3次元形状画像をそれぞれ32×32画素に縮小処理を行なった。 (6) the data amount reduction learning, in order to suppress the calculation amount of the recognition processing, two-dimensional gray image was subjected to reduction processing three-dimensional shape image of each 32 × 32 pixels.
ここまでの処理を行なった同一人物の画像5枚を例として図11に示す。 An image five of the same person that performs the processing up to this point are shown in FIG. 11 as an example. この後の学習・認識処理では、2次元濃淡画像、3次元形状画像それぞれ32×32画素を同時に用いる。 Learning and recognition processing after this is used two-dimensional gray image, 3-dimensional shape image respectively 32 × 32 pixels at the same time. また、すべての画像について実際に回転補正を行ない、回転補正を行なった量の平均値と最大値を図12に示す。 Also performs actual rotation correction for all images, indicating the average value and the maximum value of the amount of performing rotation correction in FIG. なお、x軸の回転補正については、シミュレーション時に角度を指定しているため、平均を0°として計算した。 Note that the rotation correction of the x-axis, because it specifies the angle during simulation was calculated average as 0 °.

(3.ファジィクラスタリング) (3. fuzzy clustering)
(1)まず、最初のクラスタ(サブネットワーク)数を、登録者の人数と等しい30にする。 (1) First, the number of first cluster (sub-network), to 30 equal to the number of registrants. 一人の登録者につき学習用パターン4枚を用いて、個人別の平均ベクトルを求める。 Using a 4-sheet pattern learning per one of the subscribers to obtain the individualized average vector.
クラスタ分割に用いるパラメータは、以下のように設定した。 Parameters used in the cluster divided was set as follows.
・クラスタへの最大要素数:6 • The maximum number of elements in the cluster: 6
・要素の最大帰属数:5 The maximum association count of-elements: 5
・収束判断値:0.01 And convergence judgment value: 0.01
・データ集合の個数:30人・データの次元:2048(32×32×2) - The number of data collection: 30 people, data dimension: 2048 (32 × 32 × 2)
・一人あたりの顔画像総枚数:4 - per person of the face image total number: 4
・行の非ファジィ化の調節係数:1.15 · Adjustment coefficient of non-fuzzy line: 1.15

(2)FCM法による計算 上述の <2. (2) Calculations by FCM method <2. 顔画像の振り分け> で定めたメンバシップ関数及び式(7)と式(10)により繰り返し計算し、分割行列Uを更新する。 Membership functions and equations defined by distribution of the face image> and (7) repeatedly calculated by the equation (10), updates the divided matrix U. Uの更新量が収束判断値以下になったら計算を終了する。 Update amount of U is finished the calculation When equal to or less than the convergence judgment value.
ここで、メンバシップ関数の分割行列の例を図13に示す。 Here, an example of a division matrix membership function in Figure 13. 最上行の数字は小規模NN(サブネットワーク)の番号であり、各行の和はおよそ1となる。 The numbers of the top row is the number of small NN (sub-network), the sum of each row is approximately 1. また、最左列の数字は登録者の番号である。 In addition, the numbers of the leftmost column is the number of the registered person. 最終的なクラスタ(サブネットワーク)数は23となった。 The final cluster (sub-network) number was 23. すなわち、パターン1,2,4,6,7,8,9,10,11,12,13,15,16,17,18,19,20,22,23,25,26,27,30を中心に23個のクラスタ(サブネットワーク)が形成された。 That is, the center of the pattern 1,2,4,6,7,8,9,10,11,12,13,15,16,17,18,19,20,22,23,25,26,27,30 23 clusters (sub-network) have been formed.

(3)非ファジィ化(a)行の非ファジィ化 要素の最大帰属数を5、要素数を減らすための非ファジィ化の閾値を(1/クラスタ数)×行の非ファジィ化の調節係数=0.05に設定する。 (3) adjusting the coefficient of defuzzification non threshold of fuzzification (number 1 / cluster) × row to reduce the maximum assignment number 5, the number of elements of defuzzification (a) defuzzification element row = It is set to 0.05. 各要素がこの閾値より小さければ、帰属度を0とする。 Each element is smaller than the threshold, the degree of membership to 0. メンバシップ値が閾値より大きくても、要素の最大帰属数5より多いため、メンバシップ値の大きさを順に上位5個のクラスタ(サブネットワーク)だけに入れる。 Even membership value is greater than the threshold, for more than the maximum assignment number 5 element, in turn put only the top five clusters (sub-network) the size of the membership values. 行の非ファジィ化を行った後の分割行列は図14のようになった。 Division matrix after the defuzzification line was as shown in FIG 14.
(b)列の非ファジィ化 クラスタ(サブネットワーク)の最大要素数を6に設定し、0ではない要素を大きさの順に上位6個を保存し、他の要素を除外する。 The maximum number of elements (b) columns of defuzzification cluster (sub-network) is set to 6, six upper and stored in the order of magnitude of the non-zero elements, excluding other elements. ここで除外作業を行うとき、除外対象となる要素は少なくとも1つのクラスタに帰属させることを保証するため、たとえ同要素が上位6個の中に入ってなくても、同じ行で他のクラスタへの帰属が全部0であれば、この要素は保留しなければならない。 When performing exclusion work here, elements to be excluded in order to ensure be assigned to at least one cluster, without though the elements contained in the six upper, in the same row to another cluster if the attribution is all zeros, this element must be pending. 列の非ファジィ化を行った結果は図15のようになった。 Result of defuzzification column was as shown in Figure 15. また、非ファジィ化を行った結果を図16に示す。 Also shows the results of defuzzification in Figure 16.
(c)非ファジィ化による合併 サブネットワーク数を減らすため、これを更に合併すると、最終的に図17のような分割行列が得られる。 To reduce the number of mergers subnetwork by (c) defuzzification and which further merge, split matrix as finally Figure 17 is obtained. 最終的なサブネットワーク数は9個となった。 The final sub-network number was nine.
ここで注意すべきことは、サブネットワークを合併しなくても、本方法を適用することができるが、図17に示すようにサブネットワークを統合すれば、計算量をさらに減らすことができ、効率が良くなることである。 It should be noted that, without merging the sub-network, although it is possible to apply the present method, if integrated subnetwork as shown in Figure 17, further it can reduce the calculation amount, efficiency it is that the better.

(4.並列NNによる学習と認識) (4. recognition and learning by the parallel NN)
上記で作成したサブネットワーク(図17)を用いて、小規模な並列NNによって学習と認識を行う。 Using subnetwork (Figure 17) created above, performs learning and recognition by small parallel NN.

(1)学習 まず、30名の登録者の120枚学習用顔パターンを、並列NNに学習させる。 (1) Learning First, the 120 sheets learning face pattern of 30 people registrant, to train in parallel NN.
(a)NNの構造 今回用いたNNの構造は、図1に示すように入力層に2048ノード、中間層に32ノード、出力層に6ノードを持った、3階層NNとする。 (A) Structure The structure of this reference has the NN NN is 2048 nodes in the input layer as shown in FIG. 1, 32 nodes in the intermediate layer, with 6 nodes in the output layer, the third layer NN.
(b)パラメータの設定 NNの各パラメータを以下のように設定し、学習を行った。 The parameters of the (b) Parameter Settings NN is set as follows, was learned. 学習に要した学習回数を図18に示す。 The learning number required for learning shown in FIG. 18.
・データ集合の個数:30 - the number of data set: 30
・入力層データの次元:32×32×2=2048 · Input layer data dimension: 32 × 32 × 2 = 2048
・一人あたりの学習顔画像の総枚数:4 - per capita total number of learning face image: 4
・入力層のノード数:入力層データの次元=2048 • The input layer number of nodes: the input layer data dimension = 2048
・中間層のノード数:32 And intermediate layer number of nodes: 32
・出力層のノード数:クラスタへの最大要素数=6 And output layer the number of nodes: maximum number of elements to the cluster = 6
・モーメント:0.01 Moment: 0.01
・モーメント更新量:0.01 Moment update amount: 0.01
・学習係数(結合係数)α=0.13 And learning coefficient (coupling coefficient) α = 0.13
・学習係数(オフセット値)β=0.1 And learning coefficient (offset value) β = 0.1
・誤差収束判定値:0.01 - error convergence criterion value: 0.01
・最大計算回数:10000 • The maximum number of calculations: 10000

(2)認識 学習の終わったNNに登録者30名の未学習顔パターン30枚と、未登録者5名の顔パターン25枚を以下のステップに従って並列NNに認識させた。 (2) a recognition ended unlearned face pattern 30 sheets of registrants 30 people to NN of learning was recognized in parallel NN 25 sheets face pattern of unregistered party five in accordance with step below.
また、認識率、拒否率についてはシミュレーション結果の信頼性を高めるため、leave-one-out法によって5通りのシミュレーションを行い、その平均を計算した。 Further, the recognition rate, to increase the reliability of the simulation results for the rejection rate, to simulate a five kinds by leave-one-out method was used to calculate the average.
(a)NNの出力 NNの出力のうち、最も大きい値を出力したニューロンに対応するパターンを、そのサブネットワークが出した答えとする。 (A) of the outputs of the NN NN, a pattern corresponding to the neuron which outputs the largest value, and the answer to that subnetwork it has issued. ただし、学習が行われなかったユニットに顔パターンを認識させるとその出力は0.5になったので、本実験では0.5以下の値を出力したニューロンは、最も大きい値を出力していても無視することにする。 However, when learning to recognize the face pattern units that were not performed because the output became 0.5, neurons output value of 0.5 or less in this experiment is not output the largest value It will be also ignored.
(b)並列NNの否定能力による排除 あるサブネットワークで一度拒否された要素ユニットを他のサブネットワークの答えから排除する。 (B) eliminating the once rejected element unit in the sub-network where elimination by negative ability of parallel NN from answers other subnetworks. この時、全ての要素ユニットが排除されたら、この入力顔パターンを未登録と判断する。 At this time, when all the elements units is eliminated, and determines the input face pattern unregistered.
(c)類似度法による判断 答えが1つ以上残った場合、類似度法による判断を行う。 (C) if the determination answer by similarity method remained more than one, a determination is made by similarity method. 答えとなる要素(登録者)の標準顔パターン(学習顔パターン)と入力顔パターンの類似度を計算する。 Standard face pattern of the answer to become element (registrant) to calculate the degree of similarity (learning face pattern) and the input face pattern. その差が一番大きい要素ユニットを最後の答えとする。 The difference is the largest element unit and the end of the answer. ただし、この差がある閾値より小さいと、この入力顔パターンを未登録者と判断する。 However, if less than a certain threshold value the difference, determines the input face pattern with unregistered party.
類似度法の閾値を0.001ずつ変えたときの認識率と拒否率の変化を図19のグラフおよび図20の表に示す。 The change in the recognition rate and rejection rate when changing the threshold of similarity method by 0.001 shown in the table of figures and the graph of FIG. 19 20. なお、図19の横軸は類似度法に用いる閾値を、縦軸は認識率と拒否率を表している。 The horizontal axis of FIG. 19 is a threshold used for similarity method, the vertical axis represents the rejection rate and recognition rate.

(3)シミュレーション結果の考察(a)入力データの生成結果 本実施形態では、学習・認識処理を行う前に、前処理として回転変動が加わった画像の補正を行ない、補正後の画像をNNの入力データとした。 (3) simulated in the generation result embodiment of Discussion of Results (a) input data, before performing the learning and recognition process, performs correction of the image rotation variation is applied as a pretreatment, an image after correction of NN It was the input data. 図12に示した表より、x軸方向に対して最大17.4°,y軸方向に対し最大10.4°,z軸に対し最大7.4°の回転が加わった画像に対しても、正面を向いた画像を作成することができたことがわかる。 From the table shown in FIG. 12, the maximum 17.4 ° with respect to the x-axis direction, the maximum 10.4 ° with respect to the y-axis direction, with respect to applied image is rotated up to 7.4 ° with respect to the z-axis , it can be seen that it is possible to create the image facing the front. これは、今回の実験中、複数の顔画像を撮影する間に位置・回転変動が起こっていることを考えると、正面顔を撮影した場合に限定される回転変動としては十分といえる。 This, in this experiment, considering that the position and rotation fluctuation during the shooting plurality of face images is going, it can be said that sufficient as rotation fluctuation which is limited to the case of photographing the front face.
(b)認識結果 図19のグラフを見ると、横軸の、類似度法で用いる閾値を変動させると認識率と拒否率が大きく変わることがわかる。 (B) Looking at the graph of the recognition results Figure 19, the horizontal axis, the recognition rate and it can be seen that the rejection rate varies greatly with the varying threshold used by similarity method. 認識率と拒否率のどちらかを優先するかは応用場面によって変わってくるため、応用場面によって閾値を選ぶ必要がある。 For whether to give priority to either the recognition rate and rejection rate will vary depending on the application scene, it is necessary to select the threshold by the application scene.
今回の実験では、認識率と拒否率が同じくらいになるように閾値を選んだ場合(閾値=0.992)、認識率97.3%、拒否率97.6%となった。 In this experiment, when the recognition rate and rejection rate chose the threshold to be much the same (threshold = 0.992), the recognition rate 97.3%, was the rejection rate 97.6%. 但し、ここで認識率、拒否率それぞれの意味の定義は次のようである。 However, the definition of the recognition rate, rejection rate each meaning here is as follows.
認識率は、登録者の未学習画像を入力したときに、正しい登録者と認識できた確率である。 Recognition rate, when you enter the unlearned image of the registrant, is the probability that can be recognized with the correct subscribers. 拒否率は、未学習画像を入力したときに、未登録者と認識した確率である。 Rejection rate is, when you enter the unlearned image, it is the probability that was recognized as a non-registered person. この場合、入力が登録者の場合は不正解、未登録者の場合は正解となる。 In this case, if the input is of the registrant is the correct answer if an incorrect answer, of unregistered people.
また、シミュレーションで使用した顔画像(斜め顔画像を含む場合)に対して、上述の非特許文献5による従来のクラスタリング手法を利用した方法の認識率は76.2%であり、通常の3層ニューラルネットワークにより学習して、認識を行ったときの認識率は71.8%であることを確認した。 Also, for use face image (if it contains oblique face image) in the simulation, the recognition rate of the method using a conventional clustering method by Non-Patent Document 5 mentioned above is 76.2%, the usual three-layer learned by the neural network, recognition rate when performing recognition was confirmed to be 71.8%. 本実施形態のように、ファジィクラスタリング法と顔の3次元形状を利用すれば、認識率は97.3%であるので、本実施形態の手法は非特許文献5の考えを大幅に発展させたものであるといえる。 As in the present embodiment, by utilizing the three-dimensional shape of the fuzzy clustering method and face, since the recognition rate is 97.3% Method of the present embodiment has greatly developed the idea of ​​non-patent document 5 it can be said that is intended. さらに、本実施形態の顔認識システムにおいて、放射基底関数(RBF:Radial Basis Function)を中間層の入出力関数に用いたRBFネットワークまたはウェーブレット関数を中間層の入出力関数に用いたウェーブレットネットワークを利用すれば、認識率および拒否率は99%以上を達成できることを確認した。 Furthermore, in the face recognition system of the present embodiment, radial basis function (RBF: Radial Basis Function) Using Wavelet network using the input-output function of the intermediate layer RBF network or wavelet function used to input and output functions of the intermediate layer if, the recognition rate and rejection rate was confirmed to be achieved more than 99%.

本実施形態の並列ニューラルネットワークの構成例を示した図である。 It is a diagram showing a configuration example of a parallel neural network of the embodiment. 本実施形態で用いる3次元形状計測装置を示した図である。 It is a view showing a three-dimensional shape measuring apparatus used in this embodiment. 3次元形状計測装置で撮影した顔画像の例である。 It is an example of a photographed face image three-dimensional shape measuring apparatus. 図3の画像の3次元形状とテクスチャ情報から抽出した特徴点を示した図である。 Is a diagram showing feature points extracted from the three-dimensional shape and texture information of the image of FIG. 図3の画像にx軸方向の回転補正を行なう様子を示した図である。 It is a diagram showing a state of performing rotation correction of the x-axis direction in the image of FIG. 図3の画像にy軸方向の回転補正を行なう様子を示した図である。 It is a diagram showing a state of performing rotation correction of the y-axis direction in the image of FIG. 図3の画像にz軸方向の回転補正を行なう様子を示した図である。 It is a diagram showing a state of performing rotation correction of the z-axis direction in the image of FIG. 回転補正を行なった画像から切り出した顔領域を示した図である。 It is a diagram showing a face region extracted from performing rotation correction image. NNに入力する32×32画素の2次元濃淡データである。 It is a two-dimensional gray data of 32 × 32 pixels to be input to the NN. NNに入力する32×32画素の3次元形状データである。 It is a three-dimensional shape data of 32 × 32 pixels to be input to the NN. 本実施形態を用いたシミュレーションにおいて、同一人物を撮影した5枚の顔画像から生成したNNへの入力データの例を示した図である。 In the simulation using the present embodiment, a diagram showing an example of input data to NN generated from five face images obtained by photographing the same person. 上記シミュレーションにおいて、回転補正を行なった量の平均値と最大値を示した表である。 In the simulation, a table showing the average value and the maximum value of the amount of performing the rotation correction. 上記シミュレーションにおいて、メンバシップ関数の分割行列を示した表である。 In the simulation, a table showing the divided matrix of membership functions. 上記シミュレーションにおいて、行の非ファジィ化を行った後の分割行列を示した表である。 In the simulation, a table showing the divided matrix after the defuzzification line. 上記シミュレーションにおいて、列の非ファジィ化を行った後の分割行列を示した表である。 In the simulation, a table showing the divided matrix after the defuzzification column. 上記シミュレーションにおいて、非ファジィ化を行った結果を示した表である。 In the simulation, a table showing the results of defuzzification. 上記シミュレーションにおいて、サブネットワークの合併を行った結果を示した表である。 In the simulation, a table showing the result of the merger of sub-networks. 上記シミュレーションにおいて、学習に要した学習回数を示した表である。 In the simulation, a table showing the number of times of learning required for learning. 上記シミュレーションにおいて、類似度法の閾値を変化させたときの認識率と拒否率の変化を示したグラフである。 In the simulation, a graph showing a change in the recognition rate and rejection rate when changing the threshold value of the similarity method. 上記シミュレーションにおいて、類似度法の閾値を変化させたときの認識率と拒否率の変化を示した表である。 In the simulation, a table showing the change in the recognition rate and rejection rate when changing the threshold value of the similarity method. 本実施形態の学習過程のフローチャートである。 It is a flowchart of a learning process of this embodiment. サブネットワークの結合処理のフローチャートである。 It is a flowchart of the coupling processing subnetwork. 本実施形態のシステム構成例である。 It is a system configuration of the present embodiment.

Claims (4)

  1. ニューラルネットワークを利用した顔認識システムであって、 A face recognition system using a neural network,
    3次元形状計測装置から取得した顔画像データ及び3次元形状データから鼻の頂点を含む特徴点を抽出する特徴点抽出手段と、 A feature point extracting means for extracting feature points including a vertex of the nose from the acquired face image data and the three-dimensional shape data from the 3-dimensional shape measuring apparatus,
    前記抽出した特徴点の回転に対して顔画像データの補正を行い正面を向いた画像とする回転補正手段と、 A rotation correction means for the image faces the front corrects the face image data with respect to the rotation of said extracted feature points,
    前記鼻の頂点を用いて、一定の領域を切り出す顔領域切り出し手段と 前記一定の領域として切り出された顔画像データの平均値を一定に補正する照明補正手段と、 Using the vertices of the nose, an illumination correction means for correcting the constant mean value of the face image data cut out as a face area extracting means and said constant region to be cut out a certain area,
    前記照明補正された顔画像データおよび対応する3次元形状データを、ファジィクラスタリングにより、1人のデータが複数のクラスタに帰属されるように、各々のクラスタに学習した並列ニューラルネットワークと を備え、前記照明補正された顔画像データおよび対応する3次元形状データを前記学習した並列ニューラルネットワークに対して与えて認識することを特徴とするニューラルネットワークを利用した顔認識システム。 The lighting corrected face image data and the corresponding three-dimensional shape data, by fuzzy clustering, as one of the data is assigned to a plurality of clusters, and a parallel neural network learned in each cluster, the face recognition system using neural networks, wherein the lighting corrected face image data and the corresponding three-dimensional shape data to be recognized is given for a parallel neural networks with the learning.
  2. 請求項1に記載したニューラルネットワークを利用した顔認識システムにおいて、 In the face recognition system using neural networks as claimed in claim 1,
    特徴点抽出手段は、特徴点として、前記鼻の頂点以外に、鼻の両側の点、目の位置の点を抽出することを特徴とするニューラルネットワークを利用した顔認識システム。 Feature point extracting means, as the feature points, in addition to the apex of the nose, on either side of the nose points, the face recognition system using neural network and extracting the points of the eye position.
  3. 請求項1又は2に記載したニューラルネットワークを利用した顔認識システムにおいて、 In the face recognition system using neural networks as claimed in claim 1 or 2,
    前記並列ニューラルネットワークの学習過程で、顔画像をクラスタに分けて学習させるときに、振り分けを最適化するために、1人のデータをいくつのクラスタに帰属するか、1つのクラスタに最大何人のデータを帰属するかを調整することを特徴とするニューラルネットワークを利用した顔認識システム。 In the learning process of the parallel neural networks, when to train by dividing the face image into clusters, in order to optimize the distribution, one of or belonging to a number of clusters of data, up to how many of the data into one cluster face recognition system using neural network and adjusting or belongs to.
  4. 請求項1〜3のいずれかに記載したニューラルネットワークを利用した顔認識システムの機能を、コンピュータ・システムに実現させるプログラム。 The function of face recognition system using neural networks as claimed in any one of claims 1 to 3, a program for realizing in the computer system.


JP2004136394A 2004-04-30 2004-04-30 Face recognition system Pending JP2005316888A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004136394A JP2005316888A (en) 2004-04-30 2004-04-30 Face recognition system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004136394A JP2005316888A (en) 2004-04-30 2004-04-30 Face recognition system

Publications (1)

Publication Number Publication Date
JP2005316888A true JP2005316888A (en) 2005-11-10

Family

ID=35444218

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004136394A Pending JP2005316888A (en) 2004-04-30 2004-04-30 Face recognition system

Country Status (1)

Country Link
JP (1) JP2005316888A (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008072622A1 (en) 2006-12-13 2008-06-19 Panasonic Corporation Face authentication device
KR100955255B1 (en) 2008-04-10 2010-04-30 연세대학교 산학협력단 Face Recognition device and method, estimation method for face environment variation
JP2017501514A (en) * 2013-11-04 2017-01-12 フェイスブック,インク. System and method for facial expression
US9959454B2 (en) 2014-07-24 2018-05-01 Fujitsu Limited Face recognition device, face recognition method, and computer-readable recording medium
WO2018220824A1 (en) * 2017-06-02 2018-12-06 三菱電機株式会社 Image discrimination device

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CSNG200500057002, 呂建明、谷萩隆嗣, "ニューロファジィシステムによる顔画像認識の一方法", 電気学会論文誌C Vol.123 No.9 IEEJ, 20030909, 第123巻, p1555−1563, JP, (社)電気学会 *
CSNJ200810004060, 藤本稔、呂建明、関屋大雄、谷萩隆嗣, "3次元情報を利用した顔認識", FIT2002 情報科学技術フォーラム 一般講演論文集 第3分冊 画像認識・メディア理解 グラフィク, 20021005, p121−122, JP, 社団法人電子情報通信学会、社団法人情報処理学会 *
JPN6010004323, 藤本稔、呂建明、関屋大雄、谷萩隆嗣, "3次元情報を利用した顔認識", FIT2002 情報科学技術フォーラム 一般講演論文集 第3分冊 画像認識・メディア理解 グラフィク, 20021005, p121−122, JP, 社団法人電子情報通信学会、社団法人情報処理学会 *
JPN6010004328, 呂建明、谷萩隆嗣, "ニューロファジィシステムによる顔画像認識の一方法", 電気学会論文誌C Vol.123 No.9 IEEJ, 20030909, 第123巻, p1555−1563, JP, (社)電気学会 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008072622A1 (en) 2006-12-13 2008-06-19 Panasonic Corporation Face authentication device
US8320643B2 (en) 2006-12-13 2012-11-27 Panasonic Corporation Face authentication device
KR100955255B1 (en) 2008-04-10 2010-04-30 연세대학교 산학협력단 Face Recognition device and method, estimation method for face environment variation
JP2017501514A (en) * 2013-11-04 2017-01-12 フェイスブック,インク. System and method for facial expression
US9959454B2 (en) 2014-07-24 2018-05-01 Fujitsu Limited Face recognition device, face recognition method, and computer-readable recording medium
WO2018220824A1 (en) * 2017-06-02 2018-12-06 三菱電機株式会社 Image discrimination device

Similar Documents

Publication Publication Date Title
Tabassi et al. Fingerprint image quality
Gavrila A bayesian, exemplar-based approach to hierarchical shape matching
Moreno et al. Face recognition using 3D surface-extracted descriptors
JP4709723B2 (en) Attitude estimation apparatus and method
Chang et al. Multimodal 2D and 3D biometrics for face recognition
US6697502B2 (en) Image processing method for detecting human figures in a digital image
JP3279913B2 (en) People authentication device, feature point extracting unit and a feature point extraction method
Omran et al. Image classification using particle swarm optimization
Zhang et al. Face recognition: eigenface, elastic matching, and neural nets
Weber et al. Towards automatic discovery of object categories
Roy et al. Monocular depth estimation using neural regression forest
US7035461B2 (en) Method for detecting objects in digital images
Faltemier et al. A region ensemble for 3-D face recognition
Rowley Neural network-based face detection
CN101339607B (en) Human face recognition method and system, human face recognition model training method and system
Xiao et al. Multiple view semantic segmentation for street view images
Gupta et al. Texas 3D face recognition database
JP5820366B2 (en) Attitude estimation apparatus and attitude estimation method
EP2091021A1 (en) Face authentication device
JP4217664B2 (en) Image processing method, image processing apparatus
JP4743823B2 (en) The image processing apparatus, an imaging apparatus, an image processing method
JP2007508609A (en) Image recognition
Lu et al. A method of face recognition based on fuzzy c-means clustering and associated sub-NNs
CN101030244B (en) Automatic identity discriminating method based on human-body physiological image sequencing estimating characteristic
CN101171598A (en) System and method for locating points of interest in an object image using a neural network

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070419

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100223

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100713