JP2004272326A - Probabilistic facial component fusion method for face description and recognition using subspace component feature - Google Patents
Probabilistic facial component fusion method for face description and recognition using subspace component feature Download PDFInfo
- Publication number
- JP2004272326A JP2004272326A JP2003058081A JP2003058081A JP2004272326A JP 2004272326 A JP2004272326 A JP 2004272326A JP 2003058081 A JP2003058081 A JP 2003058081A JP 2003058081 A JP2003058081 A JP 2003058081A JP 2004272326 A JP2004272326 A JP 2004272326A
- Authority
- JP
- Japan
- Prior art keywords
- facial
- component
- features
- feature
- projection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
【０００１】
【発明の属する技術分野】
本発明は、内容主体のイメージ検索用の顔面描写および認識、銀行セキュリティシステム用の人の顔面識別および確認、ビデオ監視、ディジタルライブラリおよびインターネットマルチメディアデータベースにおいて使用可能である。
【０００２】
【従来の技術】
人の顔面の認知は、コンピュータ視覚業界で活発な分野である。顔面の認識は、マルチメディアデータベース探索および多くの他の用途で重要な役割を果たす。近年、顔面の検出および認識の問題についてかなりの進展が見られる。異なる技法が提案された。これらの技法の中で、ニューラルネットワーク、弾性テンプレートマッチング、Ｋ−Ｌ（Ｋａｒｈｕｎｅｎ−Ｌｏｅｖｅ）展開、代数モーメントおよび等密度線が、代表的な方法である。
【０００３】
これらの方法の中で、主成分分析（ＰＣＡ）および線形識別分析（ＬＤＡ）が重要な方法である。固有顔面方法は、ＰＣＡから派生しており、計算に便利であり、識別において一貫した精度を有する。従来の作業によれば、ＰＣＡ法では異種の情報間で自発的に分離した。大きい固有値を有する固有ベクトルは、顔面のサブセットに共通の情報を収集し、小さい固有値を有する固有ベクトルは、個々の顔面に特有の情報を収集する。研究によれば、大きい固有値を有する固有ベクトルにより囲まれている情報のみを調整されていない新しい顔面に一般化することができる。現行の技法では、顔面描写および認識用のＰＣＡ、ＬＤＡおよびスペクトル分析技法（例えば、フーリエスペクトルＰＣＬＤＡ）を組み合わせる傾向がある。
【０００４】
【発明が解決しようとする課題】
ＰＣＡ、ＬＤＡおよびフーリエスペクトルＰＣＬＤＡ方法の欠点の一つは、すべての顔面成分領域の寄与が同一であるということである。顔面全体に均等に分布されるのではなく、同一性情報は、目、眉、鼻、口および輪郭などの特定の顔面領域に主としてある。チェック領域は、同一性情報が少なく、照明状態の変化および顔面の表情の変化に比較的敏感に反応する。顔面成分の同一性の重要性を使用できる場合、人の顔面の認識は一層正確である。確率的融合方法は、顔面成分の重みを適応して決定するために局所的な一致がどのくらい「良い」かを分析するのに必要である。
【０００５】
【課題を解決するための手段】
ＰＣＡ、ＬＤＡおよびフーリエスペクトルＰＣＬＤＡを顔面全体に適用する代わりに、顔面成分特徴、すなわち、目特徴、眉特徴、鼻特徴、口特徴、輪郭特徴および髪特徴が、目、眉、鼻、口、輪郭および髪の顔面成分から抽出される。前記特徴を抽出して、対応する顔面領域の特徴を描写する。最終的に、異なる注目重みを有する異なる特徴成分の組合せにより人の顔面を表現することができる。確率的融合方法は、局所的な一致がどのくらい「良い」かを分析するのに提案されている。この技法は、不変の表情、顔面オクルージョンおよび外見の変化の問題を解決することができる。現在のテストイメージ上に表示された表情、オクルージョンおよび外見によりこの局所領域がどのくらい影響を受けているのかに基づいて各局所領域上で得られた結果に重みがつけられる。
【０００６】
【発明の作用】
本発明は、イメージ検索（顔面の例による照会）、個人識別および確認、監視および追跡、ならびに他の顔面認識用途に使用可能な人の顔面を解釈する方法を提供する。顔面の特徴を描写するために、部分空間投影から生成される顔面成分特徴の概念が我々の観察および誘導によって提案されている。最初は、２つの目の位置を合わせることによりすべての顔面イメージを標準サイズに正規化する。前処理手続きの後、部分空間投影を用いて１組の調整顔面イメージによりシステムを調整する。顔面イメージを顔面データベースに照会するために、調整段階から得られるＰＣＡおよびＬＤＡ行列を用いて投影された前記顔面成分の特徴を、選択された顔面領域で計算することができる。これらの顔面成分特徴の組合せを用いて顔面を描写することができる。この描写に関して、類似性の測定にユークリッド距離を使用することができる。類似性の精度を向上させるために、個人の同一性に対するそれらの重要性の観点から前記成分特徴に重みをつけるべきである。局所的な一致がどのくらい「良い」かを分析する確率的方法が提案されている。ところで、問題は、定義済みの固定重みの代わりに前記成分の重みを自動的に決定することである。この技法では、現在のテストイメージ上に表示された種々の表情、オクルージョンおよび外見の変化の問題に取り組むことができる。
【０００７】
【発明の実施の形態】
本発明は、顔面成分特徴を抽出し、異なる成分特徴を組み合わせることにより顔面を表現する方法を提供する。
【０００８】
正規化された顔面イメージに関して、予め設定されたブロックを使用することにより（目特徴、眉特徴、鼻特徴、口特徴、輪郭特徴および髪特徴などの）顔面成分特徴を得る（図１）。
【０００９】
図２に示すように提案された確率的顔面成分重み生成および融合技法を用いて、抽出された顔面成分を組み合わせる。各々の個々の成分特徴を生成するのに、図３に示すように５段階のコード化工程またはその一部を使用する。
【００１０】
段階１において、選択された顔面成分は、フーリエ変換を用いて周波数領域に変換される。スペクトルおよびパワースペクトルは、この段階の出力として使用される。段階２において、主成分分析（ＰＣＡ）を前記顔面成分のスペクトルおよびパワースペクトルに適用する。ラスタ走査顔面成分の一次元ベクトルである顔面成分Φｉを考え、ＩＩを平均成分として定義する。
【数１】
あらゆる顔面成分は、ベクトルΓｉ＝Φｉ−Πだけ平均顔面成分と異なる。したがって、データの共分散行列は、次のように定義される。
【数２】
【数３】
Ｑはｗｈ×ｗｈ次元を有する（ここで、ｗは前記成分の幅、ｈは高さである）ことに留意せよ。この行列のサイズは巨大であるが、有限数の成分ベクトルＭを合計するだけであるため、この行列の階数はＭ−１を超えることができない。ｖｉがＡＴＡ（ｉ＝１，２，…，Ｍ）の固有ベクトルである場合、ＡＴＡｖｉ＝λｉｖｉ（ここで、λｉはＡＴＡの固有値）であることに留意せよ。次に、前式において左側にＡを掛けることにより分かるようにＡＴｖｉはＡＡＴの固有ベクトルである。
【数４】
しかし、ＡＴＡはサイズＭ×Ｍにすぎない。ＡＡＴの固有ベクトルｕｉを定義すると、次のようになる。
【数５】
固有値λｉは、固有ベクトルｕｉにより張られた新しい座標空間に沿った分散である。ここから先、ｉの次数は、固有値λｉが減少するようにすると仮定する。固有値は、指数的に減少している。したがって、Ｚ＝｛ｚｋ｝（ここで、ｚｋ＝ｕｋ ＴΓおよび１≦ｋ≦Ｍ１）を計算することにより、顔面成分ΓをＭ１＜＜Ｍ次元のみの上に投影することができる。ｚｋは、新しい座標系においてΓのｋ番目の座標である。この状況において、Ｚは固有成分特徴と呼ばれる。ベクトルｕｋは、実際にはイメージであり、固有成分と呼ばれる。Ｕ＝［ｕ１，ｕ２，…，ｕＭ１］とすると、次のようになる。
【数６】
【００１５】
ＵはＭ１×Ｐ行列であるので、その逆を得ることはできない。しかし、その擬似逆を用いてその逆に近づけることはできる。Ｕ＋がＵＴの擬似逆であるとすると、次のようになる。
【数７】
【数８】
【００１６】
投影されたベクトルは、次式により与えられる単位ベクトルに正規化される。
【数９】
【数１０】
【００１７】
顔面成分特徴は、Ｗ（Φ）＝［ｗ１，ｗ２，…，ｗＭ’１］Ｔ（ここで、１≦Ｍ１’≦Ｍ１）を用いて描写可能である。各ｗｉは、次式を用いて５ビットの符号なし整数に再量子化される。
【数１１】
２つの顔面Ｈ１およびＨ２の相違点の測定は、異なる顔面成分を用いて図３における工程から生成される種々の顔面成分特徴（すなわち、目特徴、眉特徴、鼻特徴、口特徴、輪郭特徴および髪特徴）の間の合成距離として定義される。
【数１２】
【００１９】
自動重み生成に関して、前記成分の各々が、計算された固有空間上に投影される。平均成分特徴ベクトルμｋおよび各局所部分空間の共分散行列（Σｋ）は既に知られているので、所与の顔面成分一致の確率Ｐｋを適当に定義された距離に直接対応づけることができる。
Ｐｋ＝（Φｋμｋ）ＴΣｋ（Φｋμｋ）
ここで、ｋはｋ番目の顔面成分を表す。
【００２０】
ガウスの場合の混合に関して、混合の平均確率が計算される。最後に、すべての局所確率Ｐｋは、前記テストイメージの顔面成分注目重みとして使用される。各々の個々のテストイメージは、顔面上に表示された表情、オクルージョンおよび外見変化に基づいてそれ自身の一意の重みセットを有する。
【００２１】
上述の方法を用いて、顔面イメージを描写する方法を次のように考えることができる。
１）一次元配列の画素への成分ウィンドウの左上隅で始まり成分ウィンドウの右下隅で終わるラスタ走査を使用することにより前記顔面成分を走査すること。
２）前記顔面成分のスペクトルおよびパワースペクトルを計算すること（オプション）。
３）スペクトル空間またはイメージ空間から固有空間へのＰＣＡ投影、次いで固有空間から識別空間への識別投影。
４）スペクトルおよびパワースペクトルチャネルからの２つの投影出力を併合する識別投影（工程２を適用する場合にのみ有効）。
５）得られた成分特徴を前記成分の描写として使用すること。
６）注目重みを生成する入力顔面の各々の個々の成分一致の確率を計算すること。
７）顔面を描写するのに生成される対応する注目重みを用いて（目特徴、眉特徴、鼻特徴、口特徴および輪郭特徴などの）種々の成分特徴を組み合わせること。
８）式（８）を用いた前記特徴をコード化表現にコード化すること。
【００２２】
この方法を用いて、人の顔面の同一性情報の重要性に対応する異なる注目重みを有する空間で人の顔面を効果的に効率よく描写することができる。
【００２３】
【発明の効果】
本発明は、成分による特徴を用いて人の顔面を描写するのに非常に効果的である。人の顔面の同一性情報の重要性に対応する適応注目重みを有する目、眉、鼻、口および輪郭の顔面成分特徴を組み合わせる確率的顔面成分融合方法は、同一の領域寄与または定義済みの固定重みを有する顔面全体の特徴と比べてより優れた顔面描写性能を有する。この技法では、各々の個々の顔面上に表示された種々の表情、オクルージョンおよび外見の変化の問題に取り組むことができる。
【００２４】
本発明は、インターネットマルチメディアデータベース検索、ビデオ編集、ディジタルライブラリ、監視および追跡、ならびに広範囲に顔面認識および確認を用いた他の用途において使用可能な人の顔面を描写するのに非常に効果的かつ効率的である。
【図面の簡単な説明】
【図１】顔面成分に基づく顔面領域選択図である。
【図２】顔面記述子（顔面成分特徴）抽出および融合システムである。
【図３】顔面記述子（顔面成分特徴）抽出方法である。[0001]
TECHNICAL FIELD OF THE INVENTION
The invention can be used in facial description and recognition for content-based image retrieval, human facial identification and verification for bank security systems, video surveillance, digital libraries and Internet multimedia databases.
[0002]
[Prior art]
Human face recognition is an active area in the computer vision industry. Facial recognition plays an important role in multimedia database searching and many other applications. In recent years, considerable progress has been made on the problem of face detection and recognition. Different techniques have been proposed. Among these techniques, neural networks, elastic template matching, KL (Karhunen-Loeve) expansion, algebraic moments and isodensity lines are representative methods.
[0003]
Among these methods, principal component analysis (PCA) and linear discriminant analysis (LDA) are important methods. The eigenface method is derived from PCA, is computationally convenient, and has consistent accuracy in identification. According to the conventional work, the PCA method spontaneously separates information of different types. Eigenvectors with large eigenvalues collect information common to a subset of faces, and eigenvectors with small eigenvalues collect information specific to individual faces. Studies have shown that only information surrounded by eigenvectors with large eigenvalues can be generalized to an unadjusted new face. Current techniques tend to combine PCA, LDA and spectral analysis techniques (eg, Fourier spectrum PCLDA) for facial delineation and recognition.
[0004]
[Problems to be solved by the invention]
One of the disadvantages of the PCA, LDA and Fourier spectrum PCLDA methods is that the contribution of all facial component regions is the same. Rather than being evenly distributed throughout the face, the identity information is primarily in specific facial regions, such as eyes, eyebrows, nose, mouth, and contours. The check area has little identity information and responds relatively sensitively to changes in lighting conditions and facial expressions. Recognition of a human face is more accurate if the importance of the identity of the facial components can be used. A stochastic fusion method is needed to analyze how "good" the local match is in order to adaptively determine the weights of the facial components.
[0005]
[Means for Solving the Problems]
Instead of applying PCA, LDA and Fourier spectrum PCLDA to the entire face, the facial component features, i.e., eye features, eyebrow features, nose features, mouth features, contour features and hair features are converted to eyes, eyebrows, nose, mouth, contours. And extracted from the facial components of the hair. The features are extracted to describe the features of the corresponding facial region. Finally, a human face can be represented by a combination of different feature components having different attention weights. Stochastic fusion methods have been proposed to analyze how "good" local matches are. This technique can solve the problem of invariant facial expressions, facial occlusion and appearance changes. The results obtained on each local area are weighted based on how the local area is affected by the facial expressions, occlusions and appearances displayed on the current test image.
[0006]
Effect of the Invention
The present invention provides a method of interpreting a human face that can be used for image search (query by facial example), personal identification and confirmation, monitoring and tracking, and other facial recognition applications. To depict facial features, the concept of facial component features generated from subspace projections has been proposed by our observation and guidance. Initially, all facial images are normalized to a standard size by aligning the two eyes. After the preprocessing procedure, the system is adjusted with a set of adjusted facial images using subspace projection. In order to query the facial image into the facial database, the features of the facial component projected using the PCA and LDA matrices obtained from the adjustment step can be calculated in the selected facial region. A face can be depicted using a combination of these facial component features. For this depiction, the Euclidean distance can be used to measure similarity. In order to improve the similarity accuracy, the component features should be weighted in terms of their importance to the identity of the individual. Stochastic methods have been proposed to analyze how "good" local matches are. By the way, the problem is to automatically determine the weights of the components instead of the defined fixed weights. This technique can address the problems of various facial expressions, occlusions and appearance changes displayed on the current test image.
[0007]
BEST MODE FOR CARRYING OUT THE INVENTION
The present invention provides a method for extracting a facial component feature and expressing a face by combining different component features.
[0008]
For the normalized face image, facial component features (such as eye features, eyebrow features, nose features, mouth features, contour features, and hair features) are obtained by using preset blocks (FIG. 1).
[0009]
The extracted facial components are combined using the proposed probabilistic facial component weight generation and fusion technique as shown in FIG. To generate each individual component feature, a five-step coding process, or a portion thereof, is used as shown in FIG.
[0010]
In step 1, the selected facial components are transformed into the frequency domain using a Fourier transform. The spectrum and the power spectrum are used as the output of this stage. In step 2, a principal component analysis (PCA) is applied to the spectrum and power spectrum of the facial component. Consider a face component Φ i that is a one-dimensional vector of a raster-scanned face component, and define II as an average component.
(Equation 1)
Every facial component differs from the average facial component by the vector Γ i = Φ i -Π. Therefore, the covariance matrix of the data is defined as:
(Equation 2)
[Equation 3]
Note that Q has a wh × wh dimension, where w is the width of the component and h is the height. Although the size of this matrix is enormous, the rank of this matrix cannot exceed M-1 because it only adds up a finite number of component vectors M. v i is A T A (i = 1,2, ..., M) when the eigenvector of, noted that (here, the lambda i eigenvalues of A T A) A T Av i = λ i v i is Please. Next, A T v i as seen by multiplying A on the left side in Equation is the eigenvector of AA T.
(Equation 4)
However, A TA is only a size M × M. When you define the eigenvectors u i of AA T, it is as follows.
(Equation 5)
Eigenvalue lambda i is the variance along the new coordinate space spanned by the eigenvectors u i. From now on, it is assumed that the order of i is such that the eigenvalue λ i decreases. The eigenvalues decrease exponentially. Thus, Z = {z k} (where, z k = u k T Γ and 1 ≦ k ≦ M 1) by calculating a projecting facial components gamma on the M 1 << M dimension only Can be. z k is the kth coordinate of Γ in the new coordinate system. In this situation, Z is called an eigencomponent feature. Vector u k is actually an image is called the specific component. If U = [u 1 , u 2 ,..., U M1 ], the following is obtained.
(Equation 6)
[0015]
Since U is an M 1 × P matrix, the inverse cannot be obtained. However, the pseudo inverse can be used to approach the opposite. When U + is assumed to be pseudo inverse of U T, as follows.
(Equation 7)
(Equation 8)
[0016]
The projected vector is normalized to a unit vector given by:
(Equation 9)
(Equation 10)
[0017]
The facial component feature can be described using W (Φ) = [w 1 , w 2 ,..., W M′1 ] T (where 1 ≦ M 1 ′ ≦ M 1 ). Each w i is requantized unsigned integer of 5 bits using the following equation.
[Equation 11]
Measurements of two differences of the face H 1 and H 2 are different various facial components features generated from steps in FIG. 3 with the face components (i.e., the eye feature, eyebrows features, nose features, mouth feature, contour Feature and hair feature).
(Equation 12)
[0019]
For automatic weight generation, each of the components is projected onto the calculated eigenspace. Since the mean component feature vector μ k and the covariance matrix (Σ k ) of each local subspace are already known, it is possible to directly associate a given facial component match probability P k with a well-defined distance. it can.
P k = (Φ k μ k ) T Σ k (Φ k μ k)
Here, k represents the k-th facial component.
[0020]
For a Gaussian mixture, the average probability of the mixture is calculated. Finally, all local probabilities P k are used as face component attention weights of the test image. Each individual test image has its own unique set of weights based on facial expressions, occlusion and appearance changes displayed on the face.
[0021]
A method of drawing a facial image using the method described above can be considered as follows.
1) Scanning the facial components by using a raster scan starting at the upper left corner of the component window and ending at the lower right corner of the component window into a one-dimensional array of pixels.
2) Calculate the spectrum and power spectrum of the facial component (optional).
3) PCA projection from spectral or image space to eigenspace, then identification projection from eigenspace to identification space.
4) Identification projection that merges the two projection outputs from the spectral and power spectral channels (valid only when applying step 2).
5) Use the resulting component characteristics as a depiction of the component.
6) Calculate the probability of individual component match for each of the input faces that generate attention weights.
7) Combining various component features (such as eye features, eyebrow features, nose features, mouth features and contour features) using corresponding attention weights generated to depict the face.
8) encoding the features using equation (8) into a coded representation.
[0022]
Using this method, a human face can be effectively and efficiently described in a space having different attention weights corresponding to the importance of the identity information of the human face.
[0023]
【The invention's effect】
The present invention is very effective for depicting a person's face using the characteristics of components. A stochastic facial component fusion method that combines facial component features of eyes, eyebrows, nose, mouth and contours with adaptive attention weights corresponding to the importance of the identity information of the human face, has the same area contribution or predefined fixed It has better facial depiction performance compared to the features of the entire face with weights. This technique can address the problem of different facial expressions, occlusions and appearance changes displayed on each individual face.
[0024]
The present invention is very effective and descriptive of human faces for use in Internet multimedia database searching, video editing, digital libraries, surveillance and tracking, and other applications with extensive facial recognition and verification. It is efficient.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating a face area selection based on a face component.
FIG. 2 is a facial descriptor (facial component feature) extraction and fusion system.
FIG. 3 is a method for extracting a face descriptor (face component feature).
Claims (5)
前記顔面成分のスペクトルおよびパワースペクトルを計算する工程と、
スペクトル空間から固有空間へのＰＣＡ投影、次いで固有空間から識別空間への識別投影を投影する工程と、
得られた成分特徴を前記顔面成分の描写として使用する工程と、
スペクトルおよびパワースペクトルチャネルからの２つの投影出力を併合する識別投影を投影する工程と、
得られた特徴から前記顔面成分を描写する特徴を選択する工程と、
前記特徴をコード化表現にコード化する工程と、
を含む、顔面描写用の成分特徴を抽出する方法。Scanning the facial components by using a raster scan on the one-dimensional array of pixels;
Calculating the spectrum and power spectrum of the facial component;
Projecting a PCA projection from the spectral space to the eigenspace and then an identification projection from the eigenspace to the identification space;
Using the obtained component characteristics as a depiction of the facial component;
Projecting an identification projection that merges the two projection outputs from the spectral and power spectral channels;
Selecting a feature that depicts the facial component from the obtained features;
Coding the feature into a coded representation;
A method for extracting component features for facial depiction, comprising:
イメージ空間から固有空間へのＰＣＡ投影、次いで固有空間から識別空間への識別投影を投影する工程と、
得られた成分特徴を前記顔面成分の描写として使用する工程と、
前記顔面成分を描写する特徴を選択する工程と、
前記特徴をコード化表現にコード化する工程と、
を含む、顔面描写用の成分特徴を抽出する方法。Scanning the facial components by using a raster scan on the one-dimensional array of pixels;
Projecting a PCA projection from the image space to the eigenspace and then an identification projection from the eigenspace to the identification space;
Using the obtained component characteristics as a depiction of the facial component;
Selecting a feature that depicts the facial component;
Coding the feature into a coded representation;
A method for extracting component features for facial depiction, comprising:
前記顔面成分のスペクトルおよびパワースペクトルを計算する工程と、
スペクトル空間から固有空間へのＰＣＡ投影、次いで固有空間から識別空間への識別投影を投影する工程と、
目、眉、鼻、口および輪郭の得られた成分特徴を前記顔面成分の描写として使用する工程と、
スペクトルおよびパワースペクトルチャネルからの２つの投影出力を併合する識別投影を投影する工程と、
得られた成分特徴を前記成分の描写として使用する工程と、
所与の局所的な一致の確率、すなわち、前記成分の一致がどのくらい「良い」かに基づいてすべての前記顔面成分の注目重みを生成する工程と、
顔面を描写する異なる注目重みを用いて（目特徴、眉特徴、鼻特徴、口特徴および輪郭特徴などの）種々の成分特徴を組み合わせる工程と、
を含む、顔面イメージを描写する方法。Scanning the face components such as eyes, eyebrows, nose, mouth and contours to pixels in a one-dimensional array;
Calculating the spectrum and power spectrum of the facial component;
Projecting a PCA projection from the spectral space to the eigenspace and then an identification projection from the eigenspace to the identification space;
Using the obtained component features of eyes, eyebrows, nose, mouth and contour as a depiction of the facial component;
Projecting an identification projection that merges the two projection outputs from the spectral and power spectral channels;
Using the obtained component characteristics as a depiction of the component;
Generating attention weights for all of the facial components based on a given local match probability, i.e., how "good" the match of the components is;
Combining various component features (such as eye features, eyebrow features, nose features, mouth features, and contour features) with different attention weights depicting the face;
How to render facial images, including.
（目、眉、鼻、口および輪郭などの）顔面成分を一次元配列の画素に走査する工程と、
前記顔面成分のスペクトルおよびパワースペクトルを計算する工程と、
スペクトル空間から固有空間へのＰＣＡ投影、次いで固有空間から識別空間への識別投影を投影する工程と、
目、眉、鼻、口および輪郭の得られた成分特徴を前記顔面成分の描写として使用する工程と、
スペクトルおよびパワースペクトルチャネルからの２つの投影出力を併合する識別投影を投影する工程と、
得られた成分特徴を前記成分の描写として使用する工程と、
所与の局所的な一致の確率、すなわち、前記成分の一致がどのくらい「良い」かに基づいてすべての前記顔面成分の注目重みを生成する工程と、
顔面を描写する異なる注目重みを用いて（目特徴、眉特徴、鼻特徴、口特徴および輪郭特徴などの）種々の成分特徴を組み合わせる工程と、
前記特徴をコード化表現にコード化する工程と、
を含む、顔面イメージを描写する方法。Normalizing the facial image to a standard size;
Scanning facial components (such as eyes, eyebrows, nose, mouth and contours) into a one-dimensional array of pixels;
Calculating the spectrum and power spectrum of the facial component;
Projecting a PCA projection from the spectral space to the eigenspace and then an identification projection from the eigenspace to the identification space;
Using the obtained component features of eyes, eyebrows, nose, mouth and contour as a depiction of the facial component;
Projecting an identification projection that merges the two projection outputs from the spectral and power spectral channels;
Using the obtained component characteristics as a depiction of the component;
Generating attention weights for all of the facial components based on a given local match probability, i.e., how "good" the match of the components is;
Combining various component features (such as eye features, eyebrow features, nose features, mouth features, and contour features) with different attention weights depicting the face;
Coding the feature into a coded representation;
How to render facial images, including.
（目、眉、鼻、口および輪郭などの）顔面成分を一次元配列の画素に走査する工程と、
イメージ空間から固有空間へのＰＣＡ投影、次いで固有空間から識別空間への識別投影を投影する工程と、
得られた成分特徴を前記成分の描写として使用する工程と、
所与の局所的な一致の確率、すなわち、前記成分の一致がどのくらい「良い」かに基づいてすべての前記顔面成分の注目重みを生成する工程と、
顔面を描写する異なる注目重みを用いて（目特徴、眉特徴、鼻特徴、口特徴および輪郭特徴などの）種々の成分特徴を組み合わせる工程と、
前記特徴をコード化表現にコード化する工程と、
を含む、顔面イメージを描写する方法。Normalizing the facial image to a standard size;
Scanning facial components (such as eyes, eyebrows, nose, mouth and contours) into a one-dimensional array of pixels;
Projecting a PCA projection from the image space to the eigenspace and then an identification projection from the eigenspace to the identification space;
Using the obtained component characteristics as a depiction of the component;
Generating attention weights for all of the facial components based on a given local match probability, i.e., how "good" the match of the components is;
Combining various component features (such as eye features, eyebrow features, nose features, mouth features, and contour features) with different attention weights depicting the face;
Coding the feature into a coded representation;
How to render facial images, including.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003058081A JP2004272326A (en) | 2003-03-05 | 2003-03-05 | Probabilistic facial component fusion method for face description and recognition using subspace component feature |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003058081A JP2004272326A (en) | 2003-03-05 | 2003-03-05 | Probabilistic facial component fusion method for face description and recognition using subspace component feature |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004272326A true JP2004272326A (en) | 2004-09-30 |
Family
ID=33121280
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003058081A Pending JP2004272326A (en) | 2003-03-05 | 2003-03-05 | Probabilistic facial component fusion method for face description and recognition using subspace component feature |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004272326A (en) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101901353A (en) * | 2010-07-23 | 2010-12-01 | 北京工业大学 | Subregion-based matched eyebrow image identifying method |
| CN103514441A (en) * | 2013-09-21 | 2014-01-15 | 南京信息工程大学 | Facial feature point locating tracking method based on mobile platform |
| WO2015188602A1 (en) * | 2014-06-09 | 2015-12-17 | 京东方科技集团股份有限公司 | Eye-control display device and use method thereof and atm system |
| CN107464253A (en) * | 2017-07-10 | 2017-12-12 | 北京小米移动软件有限公司 | eyebrow location method and device |
| CN110443885A (en) * | 2019-07-18 | 2019-11-12 | 西北工业大学 | Three-dimensional number of people face model reconstruction method based on random facial image |
| CN111429409A (en) * | 2020-03-13 | 2020-07-17 | 深圳市雄帝科技股份有限公司 | Method and system for identifying glasses worn by person in image and storage medium thereof |
| CN111723612A (en) * | 2019-03-20 | 2020-09-29 | 北京市商汤科技开发有限公司 | Face recognition and face recognition network training method and device, and storage medium |
| CN112287863A (en) * | 2020-11-09 | 2021-01-29 | 九江职业技术学院 | Computer portrait recognition system |
-
2003
- 2003-03-05 JP JP2003058081A patent/JP2004272326A/en active Pending
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101901353A (en) * | 2010-07-23 | 2010-12-01 | 北京工业大学 | Subregion-based matched eyebrow image identifying method |
| CN101901353B (en) * | 2010-07-23 | 2012-10-31 | 北京工业大学 | Subregion-based matched eyebrow image identifying method |
| CN103514441A (en) * | 2013-09-21 | 2014-01-15 | 南京信息工程大学 | Facial feature point locating tracking method based on mobile platform |
| WO2015188602A1 (en) * | 2014-06-09 | 2015-12-17 | 京东方科技集团股份有限公司 | Eye-control display device and use method thereof and atm system |
| CN107464253A (en) * | 2017-07-10 | 2017-12-12 | 北京小米移动软件有限公司 | eyebrow location method and device |
| CN107464253B (en) * | 2017-07-10 | 2020-11-20 | 北京小米移动软件有限公司 | Eyebrow positioning method and device |
| CN111723612A (en) * | 2019-03-20 | 2020-09-29 | 北京市商汤科技开发有限公司 | Face recognition and face recognition network training method and device, and storage medium |
| CN110443885A (en) * | 2019-07-18 | 2019-11-12 | 西北工业大学 | Three-dimensional number of people face model reconstruction method based on random facial image |
| CN110443885B (en) * | 2019-07-18 | 2022-05-03 | 西北工业大学 | Three-dimensional human head and face model reconstruction method based on random human face image |
| CN111429409A (en) * | 2020-03-13 | 2020-07-17 | 深圳市雄帝科技股份有限公司 | Method and system for identifying glasses worn by person in image and storage medium thereof |
| CN112287863A (en) * | 2020-11-09 | 2021-01-29 | 九江职业技术学院 | Computer portrait recognition system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4860472B2 (en) | Image recognition | |
| US6920231B1 (en) | Method and system of transitive matching for object recognition, in particular for biometric searches | |
| US20040015495A1 (en) | Apparatus and method for retrieving face images using combined component descriptors | |
| Kotropoulos et al. | Morphological elastic graph matching applied to frontal face authentication under well-controlled and real conditions | |
| JP2004005622A (en) | Face recognizing method using face descriptor based on face element and its device | |
| KR100723417B1 (en) | Apparatuses and methods for recognizing face, and apparatus and method for extracting face from multiple face images | |
| Sahoo et al. | New hybrid PCA-based facial age estimation using inter-age group variation-based hierarchical classifier | |
| Bhat | Makeup invariant face recognition using features from accelerated segment test and eigen vectors | |
| JP2004272326A (en) | Probabilistic facial component fusion method for face description and recognition using subspace component feature | |
| Kachare et al. | Survey of face recognition techniques | |
| Shermina | Face recognition system using multilinear principal component analysis and locality preserving projection | |
| Du et al. | Improved face representation by nonuniform multilevel selection of Gabor convolution features | |
| Ersi et al. | Local feature matching for face recognition | |
| Mekami et al. | Towards a new approach for real time face detection and normalization | |
| de Campos et al. | A framework for face recognition from video sequences using gwn and eigenfeature selection | |
| Tefas et al. | Variants of dynamic link architecture based on mathematical morphology for frontal face authentication | |
| Shatnawi et al. | The impact of the number of eigen-faces on the face recognition accuracy using different distance measures | |
| Yang et al. | Gabor-based discriminative common vectors for gait recognition | |
| Ambika et al. | The eye says it all: Periocular region methodologies | |
| Starovoitov et al. | Face recognition by geometric features | |
| Sehad et al. | Face recognition under varying views | |
| Jafari et al. | Disguised face recognition by using local phase quantization and singular value decomposition | |
| JP2004038937A (en) | Method and device for face description and recognition using high-order eigen-component | |
| Abate et al. | Face authentication using speed fractal technique | |
| Chihaoui et al. | A novel face recognition system based on skin detection, HMM and LBP |