CN111160098A - 一种基于sift特征的表情变化人脸识别方法 - Google Patents
一种基于sift特征的表情变化人脸识别方法 Download PDFInfo
- Publication number
- CN111160098A CN111160098A CN201911186457.5A CN201911186457A CN111160098A CN 111160098 A CN111160098 A CN 111160098A CN 201911186457 A CN201911186457 A CN 201911186457A CN 111160098 A CN111160098 A CN 111160098A
- Authority
- CN
- China
- Prior art keywords
- points
- point
- key
- matching
- sift
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000014509 gene expression Effects 0.000 title claims abstract description 36
- 238000000034 method Methods 0.000 title claims abstract description 30
- 230000008859 change Effects 0.000 title claims abstract description 17
- 239000013598 vector Substances 0.000 claims abstract description 34
- 238000000746 purification Methods 0.000 claims abstract description 4
- 239000011159 matrix material Substances 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 6
- 238000012887 quadratic function Methods 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 230000001815 facial effect Effects 0.000 claims description 3
- 230000000717 retained effect Effects 0.000 claims description 2
- 238000000605 extraction Methods 0.000 claims 1
- 238000002474 experimental method Methods 0.000 description 11
- 210000000887 face Anatomy 0.000 description 10
- 238000011160 research Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 3
- 210000001508 eye Anatomy 0.000 description 3
- 230000008921 facial expression Effects 0.000 description 3
- 210000000056 organ Anatomy 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Collating Specific Patterns (AREA)
Abstract
本发明公开了一种基于SIFT特征的表情变化人脸识别方法，其具体步骤如下：(1)SIFT特征向量的提取；(2)SIFT特征向量的匹配；(3)匹配点提纯方法。本发明基于SIFT算法简化人脸识别的计算量，同时具有较高的识别率。
Description
技术领域
本发明涉及人脸识别领域，具体是一种基于SIFT特征的表情变化人脸识别方法。
背景技术
人脸识别作为生物特征识别技术之一，具有其他生物特征识别技术没有的优点，例如非接触获取识别信息的方式，但其本身也存在许多技术性困难和挑战。人脸识别的挑战主要是人脸作为生物特征的特点所带来的，人脸在视觉上的特点是：
1.不同人的脸之间的区别不大，所有的人脸的结构都很相似，甚至人脸各器官的结构外形都是相似的(全局相似性)。这样的结构特点对于利用人脸进行定位是有利的，但是对于区分不同人类个体是不利的。
2.人脸外形是极不稳定的，脸部变化会产生很多的表情，造成人脸的图像也相差很大。另外，人脸识别还受到光照条件、年龄等多方面因素的影响。基于这些特点，人脸识别被认为是生物特征识别领域，甚至人工智能领域最困难的研究课题之一。
近几年，针对表情变化情况的人脸识别问题，众多学者提出了一系列相关算法。目前大多采用的是生成三维模型的方法，例如利用正面和侧面两幅图像生成三维模型方法、利用序列图像构建人脸三维模型等方法，还有最近的基于特征点提取局部区域特征的三维人脸识别方法，这些方法的一个共性问题就是计算量大。
发明内容
本发明的目的在于提供一种基于SIFT特征的表情变化人脸识别方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：
一种基于SIFT特征的表情变化人脸识别方法，其具体步骤如下：
(1)SIFT特征向量的提取；
(2)SIFT特征向量的匹配：
两幅图像中关键点的相似性测量采用关键点特征向量的欧式距离来度量；设两个待匹配关键点特征向量分别为：a(x1，x2，...，x128)，b(y1，y2，...，y128)，则向量的欧式距离公式为：
(3)匹配点提纯方法：
直接读出两匹配点的位置坐标(X1，Y1)和(X2，Y2)，如果
或
则认为这两个特征点为误匹配点对，完成人脸识别。
作为本发明进一步的方案：SIFT特征向量的提取方法，其具体步骤如下：
a、建立差分高斯空间空间，检测尺度空间局部极值，初步确定关键点位置和所在尺度；
b、关键点选择：
关键点将与和它同尺度的周围邻域8个像素及上下相邻两个尺度对应位置的9×2个像素共26个像素进行比较，同时选出比所有这些邻域点的值都大或者都小的点作为备选点；以此确保在尺度空间和二维图像空间中选出的点都是局部极值；
c、特征点方向的分配：
关键点的邻域像素的梯度方向分布特性为每个关键点指定了方向参数，使算子具有旋转不变性；
θ(x，y)＝tan-1((L(x，y+1)-L(x，y-1))/(L(x+1，y)-L(x-1，y)))；
d、SIFT特征向量的生成
第一步，确保旋转不变性，旋转坐标轴至关键点的主方向；
第二步，计算以关键点为中心，形成8x8窗口的邻域信息；再把其中每2×2窗口构成的子块作为一组信息处理，计算所有子块上各点的梯度方向累加值，绘制出该子块上的梯度方向直方图，该子块称作一个种子点；为了增强匹配的稳健性，对每个关键点使用4×4即16个种子点来进行描述，按8个计算每个种子点的梯度方向直方图的方向个数，每个方向的统计数目即为该种子点的一个信息，则每个种子点有8个方向信息；整个特征点共有16×8＝128个信息，这128个信息即为生成的128维SIFT特征向量。
作为本发明进一步的方案：DoG空间的定义为：
D(x，y，σ)＝(G(x，y，kσ)-G(x，y，σ))*I(x，y)＝L(x，y，kσ)-L(x，y，σ)；
其中，
通过两幅不同σ参数的图像相减可以得到DoG空间。选择不同σ参数的高斯核对图像进行卷积，会得到分辨率不同的一组图像，将σ参数大小相邻的卷积图像相减即得到DoG空间。
作为本发明进一步的方案：关键点位置和尺度的精确确定是通过三维二次函数拟和得到的；由于DoG算子将产生较强的边缘响应，所以拟和时能同时去除不稳定的边缘响应点和低对比度的关键点，从而增强匹配的稳定性及提高抗噪声能力；
三维二次函数将极值点的精度从像素级提高至亚像素级；首先将DoG函数按泰勒公式在某候选点处展开；
其中m＝(x，y，σ)T；
对上式求导并使结果等于0，得到局部极值
表达式为：
经高斯差分处理后图像会出现较强的边缘效应，将影响匹配的稳定性，需要事前剔除这些不稳定的特征点；通常利用Hession矩阵，D的Hession矩阵构建如下：
Dxx＝D[x+1，y，σ]+D[x-1，y，σ]-2.0·D[x，y，σ]
Dyy＝D[x，y+1，σ]+D[x，y-1，σ]-2.0·D[x，y，σ]
Dxy＝0.25·((D[x+1，y+1，σ]-D[x+1，y-1，σ])-(D[x-1，y+1，σ]-D[x-1，y-1，σ]))(1-8)
定义剔除判据：
满足上述条件的特征点将保留下来，不满足的点表示该点有一个很大的主曲率，或一个很小的与之垂直的曲率，这样的点有可能为边界点，予以去除。
SIFT算子是对图像缩放、旋转和仿射变换保持不变性的一种图像局部特征描述算子，已被用于理想情况下的人脸识别研究且取得了较高的识别率。本申请有针对性地将SIFT算法系统地用于表情变化情况下的人脸识别研究，设计两个实验分析比对了不同个体同一表情和同一个体不同表情的SIFT特征相量，并在剔除误匹配特征点的方法上提出了固定阈值的处理方法。最后的识别实验中，基于表情数据库对本申请的SIFT方法进行了验证。
SIFT算子是对图像缩放、旋转和仿射变换保持不变性的一种图像局部特征描述算子，已被用于理想情况下的人脸识别研究且取得了较高的识别率。本申请有针对性地将SIFT算法系统地用于表情变化情况下的人脸识别研究，设计两个实验分析比对了不同个体同一表情和同一个体不同表情的SIFT特征相量，并在剔除误匹配特征点的方法上提出了固定阈值的处理方法。最后的识别实验中，基于表情数据库对本申请的SIFT方法进行了验证。
与现有技术相比，本发明的有益效果是：
本发明基于SIFT算法简化表情变化人脸识别的计算量，同时具有较高的识别率。
附图说明
图1-1为DoG空间的建立。
图1-2为局部极值检测。
图1-3为梯度方向直方图确定主梯度方向。
图1-4为特征点描述符示例(一个关键点由2×2共4个种子点组成，每个种子点有8个方向向量信息)。
图1-5为人脸图像的SIFT特征向量。
图1-6为T分别取0.3，0.5和0.7时的SIFT特征匹配情况。
图2-1为不同人脸的SIFT特征向量匹配。
图2-2为不同人不同表情下的SIFT特征点匹配对比。
图3-1为SIFT用于表情变化的人脸识别的匹配结果示例。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例中，一种基于SIFT特征的表情变化人脸识别方法，其具体步骤如下：
(1)SIFT特征向量的提取：
a、建立差分高斯空间(DifferenceofGaussian，DoG)空间，检测尺度空间局部极值，初步确定关键点位置和所在尺度；
SIFT算法是一种建立在多尺度空间上的特征检测算法，它将图像分解为分辨率不同的多个图像，通过不同分辨率的图像间的差异来寻找在不同分辨率图像中的相同点作为特征点，DoG空间的定义为：
D(x，y，σ)＝(G(x，y，kσ)-G(x，y，σ))*I(x，y)＝L(x，y，kσ)-L(x，y，σ) (1-1)
其中，
G(x，y，σ)为二维高斯函数。L(x，y，σ)＝G(x，y，σ)*I(x，y)表示一幅图像的尺度空间，I(x，y)代表输入图像，那么一幅图像在不同尺度下的尺度空间L是由图像与高斯核卷积而成。其中σ表示尺度空间因子，它的值越大，则图像被平滑的越厉害，尺度随之越大，反之，尺度越小。一般来说，大尺度能表示图像的整体特征，小尺度则表示图像的细节特征。式中
为拉普拉斯算子，又称LoG算子，k为常量；
由式(1-1)可知：通过两幅不同σ参数的图像相减可以得到DoG空间。选择不同σ参数的高斯核对图像进行卷积，会得到分辨率不同的一组图像，将σ参数大小相邻的卷积图像相减即得到DoG空间；如图1-1为尺度为σ～ksσ的DoG空间图像；这些组的DoG图像将作为下一步极值点寻找的对象；
b、关键点选择：
图1-2中所示为DoG尺度空间中一个像素的空间位置分布图。图中标记的叉号的像素将与和它同尺度的周围邻域8个像素及上下相邻两个尺度对应位置的9×2个像素共26个像素进行比较，选出比所有这些邻域点的值都大或者都小的点作为备选点。以此确保在尺度空间和二维图像空间中选出的点都是局部极值；
关键点位置和尺度的精确确定是通过三维二次函数拟和得到的；由于DoG算子将产生较强的边缘响应，所以拟和时能同时去除不稳定的边缘响应点和低对比度的关键点，从而增强匹配的稳定性及提高抗噪声能力；
三维二次函数将极值点的精度从像素级提高至亚像素级；首先将DoG函数按泰勒公式在某候选点处展开：
其中m＝(x，y，σ)T，D及其微分可以用(x，y，σ)T点的值和跟它相邻点的差分值来近似。对上式求导并使结果等于0，得到局部极值
表达式为：
经高斯差分处理后图像会出现较强的边缘效应，将影响匹配的稳定性，需要事前剔除这些不稳定的特征点。通常利用Hession矩阵，D的Hession矩阵构建如下：
Dxx＝D[x+1，y，σ]+D[x-1，y，σ]-2.0·D[x，y，σ] (1-6)
Dyy＝D[x，y+1，σ]+D[x，y-1，σ]-2.0·D[x，y，σ] (1-7)
Dxy＝0.25·((D[x+1，y+1，σ]-D[x+1，y-1，σ])-(D[x-1，y+1，σ]-D[x-1，y-1，σ]))(1-8)
定义剔除判据：
一般情况下，r通常取10，Tr(H)为矩阵H的迹，Det(H)表示矩阵H的行列式值；满足式(1-9)条件的特征点将保留下来。不满足的点表示该点有一个很大的主曲率，或一个很小的与之垂直的曲率，这样的点有可能为边界点，予以去除；
c、特征点方向的分配：
关键点的邻域像素的梯度方向分布特性为每个关键点指定了方向参数，使算子具有旋转不变性；
θ(x，y)＝tan-1((L(x，y+1)-L(x，y-1))/(L(x+1，y)-L(x-1，y))) (1-10)
式(1-10)表示(x，y)处梯度的模值和方向公式。其中L所用的尺度即为每个关键点所在的尺度。m(x，y)表示梯度大小，θ(x，y)表示梯度方向。这里特征点的方向参数并不是简单采用其本身梯度方向来描述的，而是用其邻域内梯度方向综合分布特性进行的描述。
实际计算中，一般在以关键点为中心的邻域窗口内采样，并利用直方图统计邻域像素梯度方向。梯度直方图的范围是0～2π度，每10度为一个柱，共36个柱。直方图的峰值即作为该关键点的方向。图1-3是7个柱时使用梯度直方图为关键点确定主方向的一个示例。
d、SIFT特征向量的生成
第一步，确保旋转不变性，旋转坐标轴至关键点的主方向；第二步，计算以关键点为中心，8×8窗口的邻域信息，如图1-4所示；再把每个2×2的子块作为一组信息处理，计算所有子块上各点的梯度方向累加值，绘制出该子块上的梯度方向直方图，该子块称作一个种子点；图1-4为特征点描述符的建立示意图.为了增强匹配的稳健性，一般是对每个关键点使用4×4即16个种子点来进行描述，按8个计算每个种子点的梯度方向直方图的方向个数，每个方向的统计数目即为该种子点的一个信息，则每个种子点有8个方向信息。整个特征点共有16×8＝128个信息，这128个信息即为生成的128维SIFT特征向量；
图1-5为人脸图像的SIFT特征向量，其中绿色圆中心表示关键点的位置，箭头代表人脸图像的SIFT特征，箭头的长度表示该关键点的尺度，箭头的方向表示该尺度下关键点所处领域的主梯度方向。从图中可以看出，相当数量的SIFT特征可由人脸图像中能提取出来，特征多数聚集在人脸的鼻子、眼睛、嘴等部位，SIFT特征能较好的表征人脸局部特征。
(2)SIFT特征向量的匹配：
两幅图像中关键点的相似性测量采用关键点特征向量的欧式距离来度量。设两个待匹配关键点特征向量分别为：a(x1，x2，...，x128)，b(y1，y2，...，y128)，则向量的欧式距离公式为：
取一幅图像的一个关键点，找出其与待匹配图像中欧式距离最近的前两个关键点，在这两个关键点中，如果最近的距离除以次近的距离小于设定的比例阈值T，则这一对匹配点是认为正确的；T越大，匹配点越多，T越小，匹配越精确；
如图1-6为四个样本分别在T取不同数值时的SIFT特征向量匹配示意图；
表1-1取不同T时的匹配点数对比：
(3)匹配点提纯方法：
假设已得到一对匹配点a和b，直接读出两点的位置坐标(X1，Y1)和(X2，Y2)，如果
(其中M为图像的宽，n一般取3至6之间的整数，本申请结果为n取5时得到)或
(其中N为图像的高，n一般取3至6之间的整数，本申请结果为n等于5得到)，则认为这两个特征点为误匹配点对。图1-6中颜色较深的黑色线为误匹配点对示例。
全局相似性与局部相似性的比较实验：人脸做为分类对象，不同的个体从整体上看都是很相似的，人脸各器官的结构外形也都很相似，这就是通常说的类间变化(inter-classdifference)较小，对于区分不同个体是不利的。另外，由于人脸表情等因素造成的同一个体的不同图像差别很大，这点是通常说的类内变化(intra-classdifference)较大，对于识别出同一个体而言是不利的。类间变化是应该放大并用来作为区分个体的标准，而类内变化应该消除掉，因为它们可以代表同一个个体。对于人脸，类内变化往往大于类间变化，从而使在受类内变化干扰的情况下利用类间变化区分个体变得异常困难。
提取人脸图像的SIFT特征进行识别，也面临着同样的问题，即每个人脸图像从整体上来说是相似的，都有相似的五官(类间相似)，也可能有一样的表情，所以不同人脸图像间的SIFT特征向量也可能相互匹配。如图2-1(a)所示，不同人脸间在鼻子、眼睛等器官附近有匹配上的点，即出现了错误匹配情况。但是通过大量研究发现，即使出现了错误匹配不同个体的点对，这些点的数目也远没有同一个人不同两幅图像间的匹配点多。图2-1(a)中T取0.3，0.5，0.7时的匹配点数分别为4，6和9，相对应于图1-6中第一排同一个人的匹配点数分别为12，22和27。这几个数比错误匹配不同人脸的点数多。
更一进步地，为了验证SIFT提取的特征能否确切的克服人脸的全局相似性或是类间的相似性，基于Jaffe表情库设计了两个实验：实验一验证不同个体同一种表情下的SIFT特征点匹配情况；实验二验证同一个体不同表情图像的SIFT特征点匹配情况。部分图像匹配情况如图2-2所示。
实验结果表明，虽然不同个体的人脸图像之间整体特征是相似的，但是SIFT特征向量能更为精确的表示人脸图像的局部特征，同一个个体不同图像间的局部相似性比不同个体的同一部位(例如鼻子、眼睛等)的局部相似性高很多。由此可见，SIFT算法对于表情变化情况下的人脸识别具有很强的适应性。
识别实验：日本jaffe人脸表情数据库，包括214张人脸表情图像数据，库中采集10个人的图像，包括生气、高兴、震惊、悲伤等表情。选取每人一幅即10幅图像作为样本图像，其余的204幅做为测试图像，识别策略为匹配点数最多的判定为同一个人。图3-1为正确匹配和错误匹配的结果示例。表3-1表示选取不同比例阈值T时的正确识别率。可见，T取0.35的时候，能得到最高识别率。
表3-1 SIFT用于表情变化的人脸识别结果
本发明研究了应用SIFT算法进行表情变化情况的人脸识别。SIFT特征向量的独特性、生成特征多量性等特点使其适于人脸识别。虽然不同个体的人脸间整体特征是相似的，但SIFT算法仍能提取出人脸具体的局部细节信息，经实验得出同一人的不同图像的匹配点数总是远远多于不同人的图像之间的匹配点数。提出了一种固定阈值的方法剔除误匹配特征点，该方法既能提纯匹配点，又能避免RANSAC算法反复迭代，以保证SIFT算法的实时性。基于Jaffe表情库的识别实验结果表明，比例阈值越小，识别率越高。另外，利用SIFT算法进人脸识别时，不用先对图像进行复杂的规范化处理，它可以直接在不同尺寸大小的图像上匹配识别，并且SIFT算法不用训练过程，计算和做实验都很简便，因此SIFT算法用于表情变化情况的人脸识别具有较大的潜力。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明中的具体含义。
尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (3)
1.一种基于SIFT特征的表情变化人脸识别方法，其特征在于，其具体步骤如下：
(1)SIFT特征向量的提取；
(2)SIFT特征向量的匹配：
两幅图像中关键点的相似性测量采用关键点特征向量的欧式距离来度量；设两个待匹配关键点特征向量分别为：a(x1，x2，...，x128)，b(y1，y2，...，y128)，则向量的欧式距离公式为：
(3)匹配点提纯方法：
直接读出两匹配点的位置坐标(X1，Y1)和(X2，Y2)，如果
或
则认为这两个特征点为误匹配点对，完成人脸识别。
2.根据权利要求1所述的基于SIFT特征的表情变化人脸识别方法，其特征在于，SIFT特征向量的提取方法，其具体步骤如下：
a、建立差分高斯空间空间，检测尺度空间局部极值，初步确定关键点位置和所在尺度；
b、关键点选择：
关键点将与和它同尺度的周围邻域8个像素及上下相邻两个尺度对应位置的9×2个像素共26个像素进行比较，同时选出比所有这些邻域点的值都大或者都小的点作为备选点；以此确保在尺度空间和二维图像空间中选出的点都是局部极值；
c、特征点方向的分配：
关键点的邻域像素的梯度方向分布特性为每个关键点指定了方向参数，使算子具有旋转不变性；
θ(x，y)＝tan-1((L(x，y+1)-L(x，y-1))/(L(x+1，y)-L(x-1，y)))；
d、SIFT特征向量的生成：
第一步，确保旋转不变性，旋转坐标轴至关键点的主方向；
第二步，计算以关键点为中心，形成8x8窗口的邻域信息；把其中每2×2窗口构成的子块作为一组信息处理，计算所有子块上各点的梯度方向累加值，绘制出该子块上的梯度方向直方图，该子块称作一个种子点；为了增强匹配的稳健性，对每个关键点使用4×4即16个种子点来进行描述，按8个计算每个种子点的梯度方向直方图的方向个数，每个方向的统计数目即为该种子点的一个信息，则每个种子点有8个方向信息；整个特征点共有16×8＝128个信息，这128个信息即为生成的128维SIFT特征向量。
3.根据权利要求1所述的基于SIFT特征的表情变化人脸识别方法，其特征在于，关键点位置和尺度的精确确定是通过三维二次函数拟和得到的；由于DoG算子将产生较强的边缘响应，所以拟和时能同时去除不稳定的边缘响应点和低对比度的关键点，从而增强匹配的稳定性及提高抗噪声能力；
三维二次函数将极值点的精度从像素级提高至亚像素级；首先将DoG函数按泰勒公式在某候选点处展开：
其中m＝(x，y，σ)T；
对上式求导并使结果等于0，得到局部极值
表达式为：
经高斯差分处理后图像会出现较强的边缘效应，将影响匹配的稳定性，需要事前剔除这些不稳定的特征点；通常利用Hession矩阵，D的Hession矩阵构建如下：
Dxx＝D[x+1，y，σ]+D[x-1，y，σ]-2.0·D[x，y，σ]
Dyy＝D[x，y+1，σ]+D[x，y-1，σ]-2.0·D[x，y，σ]
Dxy＝0.25·((D[x+1，y+1，σ]-D[x+1，y-1，σ])-(D[x-1，y+1，σ]-D[x-1，y-1，σ])) (1-8)
定义剔除判据：
满足上述条件的特征点将保留下来，不满足的点表示该点有一个很大的主曲率，或一个很小的与之垂直的曲率，这样的点有可能为边界点，予以去除。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911186457.5A CN111160098A (zh) | 2019-11-21 | 2019-11-21 | 一种基于sift特征的表情变化人脸识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911186457.5A CN111160098A (zh) | 2019-11-21 | 2019-11-21 | 一种基于sift特征的表情变化人脸识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111160098A true CN111160098A (zh) | 2020-05-15 |
Family
ID=70556120
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911186457.5A Pending CN111160098A (zh) | 2019-11-21 | 2019-11-21 | 一种基于sift特征的表情变化人脸识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111160098A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102129704A (zh) * | 2011-02-23 | 2011-07-20 | 山东大学 | 一种基于surf操作数的显微镜图像拼接方法 |
| CN103632149A (zh) * | 2013-12-17 | 2014-03-12 | 上海电机学院 | 一种基于图像特征分析的人脸识别方法 |
| CN105787416A (zh) * | 2014-12-23 | 2016-07-20 | Tcl集团股份有限公司 | 一种基于移动终端的人脸识别方法及系统 |
| CN105809640A (zh) * | 2016-03-09 | 2016-07-27 | 长春理工大学 | 基于多传感器融合的低照度视频图像增强方法 |
| CN106548462A (zh) * | 2016-11-02 | 2017-03-29 | 西安电子科技大学 | 基于薄板样条插值的非线性sar图像几何校正方法 |
| CN107154017A (zh) * | 2016-03-03 | 2017-09-12 | 重庆信科设计有限公司 | 一种基于sift特征点匹配的图像拼接方法 |
| CN107977997A (zh) * | 2017-11-29 | 2018-05-01 | 北京航空航天大学 | 一种结合激光雷达三维点云数据的相机自标定方法 |
-
2019
- 2019-11-21 CN CN201911186457.5A patent/CN111160098A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102129704A (zh) * | 2011-02-23 | 2011-07-20 | 山东大学 | 一种基于surf操作数的显微镜图像拼接方法 |
| CN103632149A (zh) * | 2013-12-17 | 2014-03-12 | 上海电机学院 | 一种基于图像特征分析的人脸识别方法 |
| CN105787416A (zh) * | 2014-12-23 | 2016-07-20 | Tcl集团股份有限公司 | 一种基于移动终端的人脸识别方法及系统 |
| CN107154017A (zh) * | 2016-03-03 | 2017-09-12 | 重庆信科设计有限公司 | 一种基于sift特征点匹配的图像拼接方法 |
| CN105809640A (zh) * | 2016-03-09 | 2016-07-27 | 长春理工大学 | 基于多传感器融合的低照度视频图像增强方法 |
| CN106548462A (zh) * | 2016-11-02 | 2017-03-29 | 西安电子科技大学 | 基于薄板样条插值的非线性sar图像几何校正方法 |
| CN107977997A (zh) * | 2017-11-29 | 2018-05-01 | 北京航空航天大学 | 一种结合激光雷达三维点云数据的相机自标定方法 |
Non-Patent Citations (1)
| Title |
|---|
| 葛微: "自动人脸识别的关键问题研究", pages 89 - 102 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Neumann et al. | Efficient scene text localization and recognition with local character refinement | |
| Tao et al. | Unsupervised detection of built-up areas from multiple high-resolution remote sensing images | |
| CN107644227A (zh) | 一种用于商品图像搜索的融合多视角的仿射不变描述子 | |
| CN110991389A (zh) | 判断目标行人在非重叠相机视角中出现的匹配方法 | |
| Kumar et al. | Automatic ear detection for online biometric applications | |
| CN111753119A (zh) | 一种图像搜索方法、装置、电子设备及存储介质 | |
| Bhanu et al. | Face recognition from face profile using dynamic time warping | |
| Almaadeed et al. | Partial shoeprint retrieval using multiple point-of-interest detectors and SIFT descriptors | |
| CN110163182A (zh) | 一种基于kaze特征的手背静脉识别方法 | |
| CN107784263A (zh) | 基于改进加速鲁棒特征的平面旋转人脸检测的方法 | |
| George et al. | Leaf identification using Harris corner detection, SURF feature and FLANN matcher | |
| Anjomshoae et al. | Enhancement of template-based method for overlapping rubber tree leaf identification | |
| Perdoch et al. | Stable affine frames on isophotes | |
| Fritz et al. | Object recognition using local information content | |
| CN111160098A (zh) | 一种基于sift特征的表情变化人脸识别方法 | |
| Lam | A fast approach for detecting human faces in a complex background | |
| CN114820673A (zh) | 一种基于轮廓质心高度增量特征的目标识别方法 | |
| Xu et al. | Coin recognition method based on SIFT algorithm | |
| Li et al. | 3D face recognition by constructing deformation invariant image | |
| Zaharieva et al. | On Ancient Coin Classification. | |
| Campadelli et al. | A color based method for face detection | |
| George et al. | A survey on prominent iris recognition systems | |
| Pan et al. | A new coin segmentation and graph-based identification method for numismatic application | |
| Choudhury et al. | Biometrics security: Facial marks detection from the low quality images | |
| Cotrim et al. | Multiscale Approach in Deep Convolutional Networks for Minutia Extraction from Contactless Fingerprint Images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200515 |