JP2018519573A - 人間の顔モデル行列の訓練方法および装置、ならびにストレージ媒体 - Google Patents
人間の顔モデル行列の訓練方法および装置、ならびにストレージ媒体 Download PDFInfo
- Publication number
- JP2018519573A JP2018519573A JP2017559544A JP2017559544A JP2018519573A JP 2018519573 A JP2018519573 A JP 2018519573A JP 2017559544 A JP2017559544 A JP 2017559544A JP 2017559544 A JP2017559544 A JP 2017559544A JP 2018519573 A JP2018519573 A JP 2018519573A
- Authority
- JP
- Japan
- Prior art keywords
- matrix
- face
- face image
- dimensional feature
- feature vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000011159 matrix material Substances 0.000 title claims abstract description 305
- 238000012549 training Methods 0.000 title claims abstract description 74
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000004458 analytical method Methods 0.000 claims abstract description 18
- 239000013598 vector Substances 0.000 claims description 122
- 238000004364 calculation method Methods 0.000 claims description 56
- 230000001815 facial effect Effects 0.000 claims description 39
- 238000010606 normalization Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 239000000284 extract Substances 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000009467 reduction Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 238000000513 principal component analysis Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000007599 discharging Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/469—Contour-based spatial representations, e.g. vector-coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Human Computer Interaction (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
Description
顔画像ライブラリを取得するステップであって、顔画像ライブラリが、顔画像のk個のグループを含み、顔画像の各グループが、少なくとも1人の人の少なくとも1つの顔画像を含み、k > 2であり、kが、整数である、ステップと、
顔画像のk個のグループの各々を別々に解析し、解析結果に従って第1の行列および第2の行列を計算するステップであって、第2の行列が、顔画像のk個のグループの顔の特徴のグループ間共分散行列(inter-group covariance matrix)である、ステップと、
第1の行列および第2の行列に従って顔モデル行列を訓練するステップとを含む、方法を提供する。
顔画像ライブラリを取得するように構成された画像取得モジュールであって、顔画像ライブラリが、顔画像のk個のグループを含み、顔画像の各グループが、少なくとも1人の人の少なくとも1つの顔画像を含み、k > 2であり、kは、整数である、画像取得モジュールと、
顔画像のk個のグループの各々を別々に解析し、解析結果に従って第1の行列および第2の行列を計算するように構成された行列計算モジュールであって、第1の行列が、顔画像の各グループの顔の特徴のグループ内共分散行列であり、第2の行列が、顔画像のk個のグループの顔の特徴のグループ間共分散行列である、行列計算モジュールと、
行列計算モジュールによって計算された第1の行列および第2の行列に従って顔モデル行列を訓練するように構成された行列訓練モジュールとを含む、装置を提供する。
顔モデル行列の訓練装置が顔モデル行列の訓練方法を実行するように、ストレージ媒体に記憶されたプログラム命令を実行するように構成された1つまたは複数のプロセッサを含む、装置を提供する。
(a). 目標の顔画像内の顔フレーム(face frame)を認識することと、
(b). 顔のキーポイントを取得するために顔フレーム内の顔の5つの顔の特徴の位置を特定することであって、顔のキーポイントは、左および右の眉、左および右の目、鼻、左および右の口角などを含む可能性がある、位置を特定することと、
(c). それぞれの顔のキーポイントに関して、顔のキーポイントを中心とする予め設定されたエリア内で、予め設定されたエリア内のLBPの特徴を抽出することとを含み得る。
(a). xr Txrに対して主成分分析(PCA)次元削減を実行すること、および次元削減された行列Pを取得するために最初のI次元の特徴を残しておくことであって、Iが、正の整数である、残しておくことと、
(b). xrに関してxp=Pxrを計算することと、
(c). 次元削減された行列Lを取得するためにxpに対して潜在的ディリクレ配分法(LDA: Latent Dirichlet Allocation)次元削減を実行することと、
(d). xpに関してx=Lxpを計算することであって、xが、目標の顔画像の高次元特徴ベクトルである、計算することとを含み得る。
第1の行列Sgおよび第2の行列Ssを初期化するように構成された初期化ユニット521と、
Ssに従ってHを計算するように構成された第1の計算モジュール522であって、H=Ss -1であり、第1の計算モジュール522がSgおよびSsに従ってLを計算するように構成され、L = -(kSg+Ss)-1SgSs -1である、第1の計算モジュール522と、
顔画像の各グループ内の第iの人の顔画像の高次元特徴ベクトルxiおよび第jの人の顔画像の高次元特徴ベクトルxjを取得するように構成された特徴取得ユニット523であって、0 < i≦n、0 < j≦n、およびi≠jであり、nは、顔画像の1つのグループ内の人の量である、特徴取得ユニット523と、
H、L、Sg、およびxiに従ってgiを計算するように構成された第2の計算ユニット524であって、
giに従ってSgを更新するように構成された第3の計算ユニット525であって、
第3の計算ユニット525によって計算されたSgおよびSsが収束する場合にSgおよびSsを取得するように構成された第4の計算ユニット526とを含み、
第1の計算ユニット522は、第3の計算ユニットによって計算されたSgおよびSsが収束しない場合にSsに従ってHを計算し、SgおよびSsに従ってLを計算するステップを再び実行するようにさらに構成される。
顔画像の各グループに関して、グループ内の顔画像の高次元特徴ベクトルを計算し、
顔画像の高次元特徴ベクトルの平均を計算し、
グループ内の各顔画像に関して、平均正規化後に得られた顔画像の高次元特徴ベクトルを取得するために顔画像の高次元特徴ベクトルから平均を引き、
平均正規化後に得られた顔画像の高次元特徴ベクトルを顔画像の高次元特徴ベクトルとして決定するようにさらに構成される。
第1の行列および第2の行列に従って第3の行列および第4の行列を計算するように構成された行列計算ユニット531であって、第3の行列が、顔画像ライブラリ内の顔の特徴の共分散行列であり、第4の行列が、顔画像ライブラリ内の異なる人の顔の特徴の間の共分散行列である、行列計算ユニット531と、
行列計算ユニット531によって計算された第3の行列および第4の行列に従って顔モデル行列を訓練するように構成された行列訓練ユニット532とを含む。
Sgである第1の行列およびSsである第2の行列に従って第3の行列Sμを計算することであって、Sμ= con(u) = Sg+Ssである、計算することと、
第4の行列Sεを初期化することと、
Sμに従ってFを計算することであって、F = Sμ-1である、計算すること、ならびにSμおよびSεに従ってGを計算することであって、G = -(mSμ+Sε)-1SμSε -1であり、mが、顔画像ライブラリ内の顔画像に対応する人の量である、計算することと、
FおよびGに従って顔画像ライブラリ内の第iの人のガウス分布の平均μiを計算することであって、
μiに従ってSμを更新し、εijに従ってSεを更新することであって、
SμおよびSεが収束する場合にSμおよびSεを取得することと、
SμおよびSεが収束しない場合にSμに従ってFを計算し、SμおよびSεに従ってGを計算するステップを再び実行することとを行うようにさらに構成される。
第3の行列Sμ、第4の行列Sε、SμおよびSεが収束するときに取得されるF、ならびにSμおよびSεが収束するときに取得されるGに従って訓練することによって顔モデル行列AおよびGを取得するようにさらに構成され、
顔モデル行列は、A = (Sμ+Sε)-1 - (F+G)およびG = -(mSμ+Sε)-1SμSε -1である。
目標の顔画像の高次元特徴ベクトルおよび参照顔画像の高次元特徴ベクトルを取得するように構成された特徴取得モジュール540と、
目標の顔画像の高次元特徴ベクトル、参照顔画像の高次元特徴ベクトル、および顔モデル行列に従って目標の顔画像と参照顔画像との間の類似性を計算するように構成された顔認識モジュール550とをさらに含む。
類似性をr(x1, x2) = x1 TAx1 + x2 TAx2 - 2x1 TGx2として計算するようにさらに構成され、
x1は、目標の顔画像の高次元特徴ベクトルであり、x2は、参照顔画像の高次元特徴ベクトルであり、x1 Tは、x1の転置ベクトルであり、x2 Tは、x2の転置ベクトルであり、AおよびGは、顔モデル行列である。
101 CPU
102 RAM
103 ROM
104 システムメモリ
105 システムバス
106 基本I/Oシステム
107 大容量ストレージデバイス
108 ディスプレイ
109 入力デバイス
110 入力および出力コントローラ、RF回路
111 ネットワークインターフェースユニット
112 アプリケーションプログラム、ネットワーク
113 オペレーティングシステム
115 別のプログラムモジュール
120 メモリ
130 入力ユニット
131 タッチ感知表面
132 別の入力デバイス
140 ディスプレイユニット
141 ディスプレイパネル
150 センサー
160 オーディオ回路
161 ラウドスピーカ
162 マイクロフォン
170 WiFiモジュール
180 プロセッサ
190 電源
410 画像取得モジュール
420 行列計算モジュール
430 行列訓練モジュール
510 画像取得モジュール
520 行列計算モジュール
521 初期化ユニット
522 第1の計算モジュール
523 特徴取得ユニット
524 第2の計算ユニット
525 第3の計算ユニット
526 第4の計算ユニット
530 行列訓練モジュール
531 行列計算ユニット
532 行列訓練ユニット
540 特徴取得モジュール
550 顔認識モジュール
1100 端末
Claims (18)
- 顔モデル行列の訓練方法であって、
顔画像ライブラリを取得するステップであって、前記顔画像ライブラリが、顔画像のk個のグループを含み、顔画像の各グループが、少なくとも1人の人の少なくとも1つの顔画像を含み、k > 2であり、kが、整数である、ステップと、
顔画像の前記k個のグループの各々を別々に解析し、解析結果に従って第1の行列および第2の行列を計算するステップであって、前記第1の行列が、顔画像の各グループの顔の特徴のグループ内共分散行列であり、前記第2の行列が、顔画像の前記k個のグループの顔の特徴のグループ間共分散行列である、ステップと、
前記第1の行列および前記第2の行列に従って顔モデル行列を訓練するステップとを含む、方法。 - 顔画像の前記k個のグループの各々を別々に解析し、解析結果に従って第1の行列および第2の行列を計算する前記ステップが、
第1の行列Sgおよび第2の行列Ssを初期化することと、
Ssに従ってHを計算するステップであって、H=Ss -1である、ステップ、ならびにSgおよびSsに従ってLを計算するステップであって、L= -(kSg+Ss)-1SgSs -1である、ステップと、
顔画像の各グループ内の第iの人の顔画像の高次元特徴ベクトルxiおよび第jの人の顔画像の高次元特徴ベクトルxjを取得するステップであって、0 < i≦n、0 < j≦n、およびi≠jであり、nが、顔画像の1つのグループ内の人の量である、ステップと、
H、L、Sg、およびxiに従ってgiを計算するステップであって、
giに従ってSgを更新するステップであって、
SgおよびSsが収束する場合にSgおよびSsを取得するステップと、
SgおよびSsが収束しない場合にSsに従ってHを計算し、SgおよびSsに従ってLを計算する前記ステップを再び実行するステップとを含む、請求項1に記載の方法。 - 顔画像の各グループ内の第iの顔画像の高次元特徴ベクトルxiおよび第jの顔画像の高次元特徴ベクトルxjを取得する前記ステップが、
顔画像の各グループに関して、前記グループ内の顔画像の高次元特徴ベクトルを計算するステップと、
前記顔画像の前記高次元特徴ベクトルの平均を計算するステップと、
前記グループ内の各顔画像に関して、平均正規化後に得られた前記顔画像の高次元特徴ベクトルを取得するために前記顔画像の前記高次元特徴ベクトルから前記平均を引くステップと、
平均正規化後に得られた前記顔画像の前記高次元特徴ベクトルを前記顔画像の高次元特徴ベクトルとして決定するステップとを含む、請求項2に記載の方法。 - 前記第1の行列および前記第2の行列に従って顔モデル行列を訓練する前記ステップが、
前記第1の行列および前記第2の行列に従って第3の行列および第4の行列を計算するステップであって、前記第3の行列が、前記顔画像ライブラリ内の顔の特徴の共分散行列であり、前記第4の行列が、前記顔画像ライブラリ内の異なる人の顔の特徴の間の共分散行列である、ステップと、
前記第3の行列および前記第4の行列に従って前記顔モデル行列を訓練するステップとを含む、請求項1から3のいずれか一項に記載の方法。 - 前記第1の行列および前記第2の行列に従って第3の行列および第4の行列を計算する前記ステップが、
Sgである前記第1の行列およびSsである前記第2の行列に従って前記第3の行列Sμを計算するステップであって、Sμ= con(u) = Sg+Ssである、ステップと、
前記第4の行列Sεを初期化するステップと、
Sμに従ってFを計算するステップであって、F = Sμ -1である、ステップ、ならびにSμおよびSεに従ってGを計算するステップであって、G = -(mSμ+Sε)-1SμSε -1であり、mが、前記顔画像ライブラリ内の前記顔画像に対応する人の量である、ステップと、
FおよびGに従って前記顔画像ライブラリ内の第iの人のガウス分布の平均μiを計算するステップであって、
μiに従ってSμを更新し、εijに従ってSεを更新するステップであって、
SμおよびSεが収束する場合にSμおよびSεを取得するステップと、
SμおよびSεが収束しない場合にSμに従ってFを計算し、SμおよびSεに従ってGを計算する前記ステップを再び実行するステップとを含む、請求項4に記載の方法。 - 前記第3の行列および前記第4の行列に従って前記顔モデル行列を訓練する前記ステップが、
前記第3の行列Sμ、前記第4の行列Sε、SμおよびSεが収束するときに取得されるF、ならびにSμおよびSεが収束するときに取得されるGに従って訓練することによって前記顔モデル行列Aおよび前記顔モデル行列Gを取得するステップを含み、
前記顔モデル行列が、A = (Sμ+Sε)-1 - (F+G)およびG = -(mSμ+Sε)-1SμSε -1である、請求項5に記載の方法。 - 目標の顔画像の高次元特徴ベクトルおよび参照顔画像の高次元特徴ベクトルを取得するステップと、
前記目標の顔画像の前記高次元特徴ベクトル、前記参照顔画像の前記高次元特徴ベクトル、および前記顔モデル行列に従って前記目標の顔画像と前記参照顔画像との間の類似性を計算するステップとをさらに含む、請求項1に記載の方法。 - 前記目標の顔画像の前記高次元特徴ベクトル、前記参照顔画像の前記高次元特徴ベクトル、および前記顔モデル行列に従って前記目標の顔画像と前記参照顔画像との間の類似性を計算する前記ステップが、
前記類似性をr(x1, x2) = x1 TAx1 + x2 TAx2 - 2x1 TGx2として計算するステップを含み、
x1が、前記目標の顔画像の前記高次元特徴ベクトルであり、x2が、前記参照顔画像の前記高次元特徴ベクトルであり、x1 Tが、x1の転置ベクトルであり、x2 Tが、x2の転置ベクトルであり、AおよびGが、前記顔モデル行列である、請求項7に記載の方法。 - 顔モデル行列の訓練装置であって、
顔画像ライブラリを取得するように構成された画像取得モジュールであって、前記顔画像ライブラリが、顔画像のk個のグループを含み、顔画像の各グループが、少なくとも1人の人の少なくとも1つの顔画像を含み、k > 2である、画像取得モジュールと、
顔画像の前記k個のグループの各々を別々に解析し、解析結果に従って第1の行列および第2の行列を計算するように構成された行列計算モジュールであって、前記第1の行列が、顔画像の各グループの顔の特徴のグループ内共分散行列であり、前記第2の行列が、顔画像の前記k個のグループの顔の特徴のグループ間共分散行列である、行列計算モジュールと、
前記行列計算モジュールによって計算された前記第1の行列および前記第2の行列に従って顔モデル行列を訓練するように構成された行列訓練モジュールとを含む、装置。 - 前記行列計算モジュールが、
前記第1の行列Sgおよび前記第2の行列Ssを初期化するように構成された初期化ユニットと、
Ssに従ってHを計算するように構成された第1の計算モジュールであって、H=Ss -1であり、第1の計算モジュールがSgおよびSsに従ってLを計算するように構成され、L = -(kSg+Ss)-1SgSs -1である、第1の計算モジュールと、
顔画像の各グループ内の第iの人の顔画像の高次元特徴ベクトルxiおよび第jの人の顔画像の高次元特徴ベクトルxjを取得するように構成された特徴取得ユニットであって、0 < i≦n、0 < j≦n、およびi≠jであり、nが、顔画像の1つのグループ内の人の量である、特徴取得ユニットと、
H、L、Sg、およびxiに従ってgiを計算するように構成された第2の計算ユニットであって、
giに従ってSgを更新するように構成された第3の計算ユニットであって、
前記第3の計算ユニットによって計算されたSgおよびSsが収束する場合にSgおよびSsを取得するように構成された第4の計算ユニットとを含み、
第1の計算ユニットが、前記第3の計算ユニットによって計算されたSgおよびSsが収束しない場合にSsに従ってHを計算し、SgおよびSsに従ってLを計算する前記ステップを再び実行するようにさらに構成される、請求項9に記載の装置。 - 前記特徴取得ユニットが、
顔画像の各グループに関して、前記グループ内の顔画像の高次元特徴ベクトルを計算し、
前記顔画像の前記高次元特徴ベクトルの平均を計算し、
前記グループ内の各顔画像に関して、平均正規化後に得られた前記顔画像の高次元特徴ベクトルを取得するために前記顔画像の前記高次元特徴ベクトルから前記平均を引き、
平均正規化後に得られた前記顔画像の前記高次元特徴ベクトルを前記顔画像の高次元特徴ベクトルとして決定するようにさらに構成される、請求項10に記載の装置。 - 前記行列計算モジュールが、
前記第1の行列および前記第2の行列に従って第3の行列および第4の行列を計算するように構成された行列計算ユニットであって、前記第3の行列が、前記顔画像ライブラリ内の顔の特徴の共分散行列であり、前記第4の行列が、前記顔画像ライブラリ内の異なる人の顔の特徴の間の共分散行列である、行列計算ユニットと、
前記行列計算ユニットによって計算された前記第3の行列および前記第4の行列に従って前記顔モデル行列を訓練するように構成された行列訓練ユニットとを含む、請求項9から11のいずれか一項に記載の装置。 - 前記行列計算ユニットが、
Sgである前記第1の行列およびSsである前記第2の行列に従って前記第3の行列Sμを計算することであって、Sμ= con(u) = Sg+Ssである、計算することと、
前記第4の行列Sεを初期化することと、
Sμに従ってFを計算することであって、F = Sμ -1である、計算すること、ならびにSμおよびSεに従ってGを計算することであって、G = -(mSμ+Sε)-1SμSε -1であり、mが、前記顔画像ライブラリ内の前記顔画像に対応する人の量である、計算することと、
FおよびGに従って前記顔画像ライブラリ内の第iの人のガウス分布の平均μiを計算することであって、
μiに従ってSμを更新し、εijに従ってSεを更新することであって、
SμおよびSεが収束する場合にSμおよびSεを取得することと、
SμおよびSεが収束しない場合にSμに従ってFを計算し、SμおよびSεに従ってGを計算する前記ステップを再び実行することとを行うようにさらに構成される、請求項12に記載の装置。 - 前記行列訓練ユニットが、
前記第3の行列Sμ、前記第4の行列Sε、SμおよびSεが収束するときに取得されるF、ならびにSμおよびSεが収束するときに取得されるGに従って訓練することによって前記顔モデル行列を取得するようにさらに構成され、
前記顔モデル行列が、A = (Sμ+Sε)-1 - (F+G)およびG = -(mSμ+Sε)-1SμSε -1である、請求項13に記載の装置。 - 目標の顔画像の高次元特徴ベクトルおよび参照顔画像の高次元特徴ベクトルを取得するように構成された特徴取得モジュールと、
前記目標の顔画像の前記高次元特徴ベクトル、前記参照顔画像の前記高次元特徴ベクトル、および前記顔モデル行列に従って前記目標の顔画像と前記参照顔画像との間の類似性を計算するように構成された顔認識モジュールとをさらに含む、請求項9に記載の装置。 - 前記顔認識モジュールが、
前記類似性をr(x1, x2) = x1 TAx1 + x2 TAx2 - 2x1 TGx2として計算するようにさらに構成され、
x1が、前記目標の顔画像の前記高次元特徴ベクトルであり、x2が、前記参照顔画像の前記高次元特徴ベクトルであり、x1 Tが、x1の転置ベクトルであり、x2 Tが、x2の転置ベクトルであり、AおよびGが、前記顔モデル行列である、請求項15に記載の装置。 - 顔モデル行列の訓練装置であって、
顔モデル行列の訓練装置が請求項1から8のいずれか一項に記載の顔モデル行列の訓練方法を実行するように、ストレージ媒体に記憶されたプログラム命令を実行するように構成された1つまたは複数のプロセッサを含む、装置。 - プログラム命令を含む不揮発性コンピュータ可読ストレージ媒体であって、前記プログラム命令が、プロセッサによって実行されるときに、請求項1から8のいずれか一項に記載の顔モデル行列の訓練方法を実行するようにストレージ媒体を構成する、不揮発性コンピュータ可読ストレージ媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510836591.0A CN106803054B (zh) | 2015-11-26 | 2015-11-26 | 人脸模型矩阵训练方法和装置 |
CN201510836591.0 | 2015-11-26 | ||
PCT/CN2016/084526 WO2017088434A1 (zh) | 2015-11-26 | 2016-06-02 | 人脸模型矩阵训练方法、装置及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018519573A true JP2018519573A (ja) | 2018-07-19 |
JP6553747B2 JP6553747B2 (ja) | 2019-07-31 |
Family
ID=58763905
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017559544A Active JP6553747B2 (ja) | 2015-11-26 | 2016-06-02 | 人間の顔モデル行列の訓練方法および装置、ならびにストレージ媒体 |
Country Status (6)
Country | Link |
---|---|
US (2) | US10395095B2 (ja) |
EP (1) | EP3382596B1 (ja) |
JP (1) | JP6553747B2 (ja) |
KR (1) | KR101924748B1 (ja) |
CN (1) | CN106803054B (ja) |
WO (1) | WO2017088434A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110472460A (zh) * | 2018-05-11 | 2019-11-19 | 北京京东尚科信息技术有限公司 | 人脸图像处理方法及装置 |
CN109359516A (zh) * | 2018-08-31 | 2019-02-19 | 算丰科技(北京)有限公司 | 数据处理方法、数据处理装置以及电子设备 |
CN109961102B (zh) * | 2019-03-30 | 2021-06-22 | 北京市商汤科技开发有限公司 | 图像处理方法、装置、电子设备及存储介质 |
CN110598535B (zh) | 2019-07-31 | 2021-03-23 | 广西大学 | 一种监控视频数据中使用的人脸识别分析方法 |
CN110879984A (zh) * | 2019-11-18 | 2020-03-13 | 上海眼控科技股份有限公司 | 一种人脸比对的方法及设备 |
KR102565852B1 (ko) * | 2020-11-25 | 2023-08-11 | 한국전자기술연구원 | 얼굴표정 분석기반 자폐 스펙트럼 장애 평가 방법 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004178569A (ja) * | 2002-11-12 | 2004-06-24 | Matsushita Electric Ind Co Ltd | データ分類装置、物体認識装置、データ分類方法及び物体認識方法 |
JP2006338092A (ja) * | 2005-05-31 | 2006-12-14 | Nec Corp | パタン照合方法、パタン照合システム及びパタン照合プログラム |
JP2007122097A (ja) * | 2005-10-24 | 2007-05-17 | Nec Corp | 係数決定方法、特徴抽出方法、システム及びプログラム、並びにパタン照合方法、システム及びプログラム |
JP2008077536A (ja) * | 2006-09-25 | 2008-04-03 | Sony Corp | 画像処理装置および方法、並びにプログラム |
JP2013242825A (ja) * | 2012-05-23 | 2013-12-05 | Panasonic Corp | 人物属性推定システム、及び学習用データ生成装置 |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1751689A1 (fr) * | 2004-06-04 | 2007-02-14 | France Telecom | Procede pour la reconnaissance de visages, a analyse discriminante lineaire bidimensionnelle |
CN100373395C (zh) * | 2005-12-15 | 2008-03-05 | 复旦大学 | 一种基于人脸统计知识的人脸识别方法 |
US20090290791A1 (en) * | 2008-05-20 | 2009-11-26 | Holub Alex David | Automatic tracking of people and bodies in video |
JP5418991B2 (ja) * | 2008-07-10 | 2014-02-19 | 日本電気株式会社 | 個人認証システム、個人認証方法 |
CN101561874B (zh) * | 2008-07-17 | 2011-10-26 | 清华大学 | 一种人脸虚拟图像生成的方法 |
SG171858A1 (en) * | 2008-11-28 | 2011-07-28 | Agency Science Tech & Res | A method for updating a 2 dimensional linear discriminant analysis (2dlda) classifier engine |
US8249361B1 (en) * | 2010-04-22 | 2012-08-21 | Google Inc. | Interdependent learning of template map and similarity metric for object identification |
CN102004899B (zh) * | 2010-11-03 | 2012-09-26 | 无锡中星微电子有限公司 | 一种人脸认证系统及方法 |
CN102129574B (zh) * | 2011-03-18 | 2016-12-07 | 广东中星电子有限公司 | 一种人脸认证方法及系统 |
KR20120123993A (ko) * | 2011-05-02 | 2012-11-12 | (주)베타 | 표준 얼굴 그래프 생성 방법 |
CN102831425B (zh) * | 2012-08-29 | 2014-12-17 | 东南大学 | 一种人脸图像快速特征提取方法 |
CN103839041B (zh) * | 2012-11-27 | 2017-07-18 | 腾讯科技(深圳)有限公司 | 客户端特征的识别方法和装置 |
JP5866064B2 (ja) * | 2013-04-09 | 2016-02-17 | 株式会社日立国際電気 | 画像検索装置、画像検索方法、および記録媒体 |
CN103745206B (zh) * | 2014-01-27 | 2018-07-10 | 中国科学院深圳先进技术研究院 | 一种人脸识别方法及系统 |
CN105095833B (zh) * | 2014-05-08 | 2019-03-15 | 中国科学院声学研究所 | 用于人脸识别的网络构建方法、识别方法及系统 |
CN104408405B (zh) * | 2014-11-03 | 2018-06-15 | 北京畅景立达软件技术有限公司 | 人脸表示和相似度计算方法 |
FR3028064B1 (fr) * | 2014-11-05 | 2016-11-04 | Morpho | Procede de comparaison de donnees ameliore |
CN104573652B (zh) * | 2015-01-04 | 2017-12-22 | 华为技术有限公司 | 确定人脸图像中人脸的身份标识的方法、装置和终端 |
CN104657718B (zh) * | 2015-02-13 | 2018-12-14 | 武汉工程大学 | 一种基于人脸图像特征极限学习机的人脸识别方法 |
-
2015
- 2015-11-26 CN CN201510836591.0A patent/CN106803054B/zh active Active
-
2016
- 2016-06-02 EP EP16867662.5A patent/EP3382596B1/en active Active
- 2016-06-02 WO PCT/CN2016/084526 patent/WO2017088434A1/zh active Application Filing
- 2016-06-02 KR KR1020177036769A patent/KR101924748B1/ko active IP Right Grant
- 2016-06-02 JP JP2017559544A patent/JP6553747B2/ja active Active
-
2017
- 2017-09-13 US US15/703,826 patent/US10395095B2/en active Active
-
2019
- 2019-07-11 US US16/509,091 patent/US10599913B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004178569A (ja) * | 2002-11-12 | 2004-06-24 | Matsushita Electric Ind Co Ltd | データ分類装置、物体認識装置、データ分類方法及び物体認識方法 |
JP2006338092A (ja) * | 2005-05-31 | 2006-12-14 | Nec Corp | パタン照合方法、パタン照合システム及びパタン照合プログラム |
JP2007122097A (ja) * | 2005-10-24 | 2007-05-17 | Nec Corp | 係数決定方法、特徴抽出方法、システム及びプログラム、並びにパタン照合方法、システム及びプログラム |
JP2008077536A (ja) * | 2006-09-25 | 2008-04-03 | Sony Corp | 画像処理装置および方法、並びにプログラム |
JP2013242825A (ja) * | 2012-05-23 | 2013-12-05 | Panasonic Corp | 人物属性推定システム、及び学習用データ生成装置 |
Non-Patent Citations (2)
Title |
---|
LIN CAO, 外2名: ""Face recognition using the wavelet approximation coefficients and fisher's linear discriminant"", 2012 5TH INTERNATIONAL CONGRESS ON IMAGE AND SIGNAL PROCESSING, JPN6019005306, 16 October 2012 (2012-10-16), pages 1253 - 1256, XP032336316, ISSN: 0003979773, DOI: 10.1109/CISP.2012.6469715 * |
山田陽介, 外2名: ""高次局所自己相関特徴と判別分析による顔画像の表情認識"", 映像情報メディア学会技術報告, vol. 第27巻, 第8号, JPN6019005304, 3 February 2003 (2003-02-03), JP, pages 145 - 148, ISSN: 0003979772 * |
Also Published As
Publication number | Publication date |
---|---|
JP6553747B2 (ja) | 2019-07-31 |
KR101924748B1 (ko) | 2018-12-03 |
CN106803054B (zh) | 2019-04-23 |
US10599913B2 (en) | 2020-03-24 |
US20190332847A1 (en) | 2019-10-31 |
EP3382596A4 (en) | 2019-08-14 |
US10395095B2 (en) | 2019-08-27 |
EP3382596A1 (en) | 2018-10-03 |
CN106803054A (zh) | 2017-06-06 |
WO2017088434A1 (zh) | 2017-06-01 |
EP3382596B1 (en) | 2023-06-07 |
US20180005017A1 (en) | 2018-01-04 |
KR20180010243A (ko) | 2018-01-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6553747B2 (ja) | 人間の顔モデル行列の訓練方法および装置、ならびにストレージ媒体 | |
CN106919918B (zh) | 一种人脸跟踪方法和装置 | |
WO2020199926A1 (zh) | 一种图像识别网络模型训练方法、图像识别方法及装置 | |
US10353883B2 (en) | Method, device and storage medium for providing data statistics | |
CN108985220B (zh) | 一种人脸图像处理方法、装置及存储介质 | |
US10970523B2 (en) | Terminal and server for providing video call service | |
CN114444579B (zh) | 通用扰动获取方法、装置、存储介质及计算机设备 | |
CN114722937A (zh) | 一种异常数据检测方法、装置、电子设备和存储介质 | |
CN110765924A (zh) | 一种活体检测方法、装置以及计算机可读存储介质 | |
CN113190646A (zh) | 一种用户名样本的标注方法、装置、电子设备及存储介质 | |
CN114298123A (zh) | 聚类处理方法、装置、电子设备及可读存储介质 | |
CN112818733B (zh) | 信息处理方法、装置、存储介质及终端 | |
CN117332844A (zh) | 对抗样本生成方法、相关装置及存储介质 | |
US20230232075A1 (en) | Electronic device for providing content recommendation service, and method therefor | |
CN110503189B (zh) | 一种数据处理方法以及装置 | |
CN108804996B (zh) | 人脸验证方法、装置、计算机设备及存储介质 | |
CN113569043A (zh) | 一种文本类别确定方法和相关装置 | |
CN113806532B (zh) | 比喻句式判断模型的训练方法、装置、介质及设备 | |
CN113806533B (zh) | 比喻句式特征词语提取方法、装置、介质及设备 | |
CN115412726B (zh) | 视频真伪检测方法、装置及存储介质 | |
CN118052990A (zh) | 图像识别方法、装置、电子设备及存储介质 | |
CN117671755A (zh) | 对抗样本识别模型训练方法、装置、电子设备及存储介质 | |
CN116932256A (zh) | 缺陷报告的分配方法、装置、电子设备及存储介质 | |
CN111221782A (zh) | 一种文件查找方法、装置、存储介质及移动终端 | |
CN117079356A (zh) | 一种对象鉴伪模型构建方法、虚假对象检测方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180111 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190206 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190225 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190524 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190610 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190704 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6553747 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |