发明内容
本发明提供一种面部比对的方法、设备,用以解决现有技术中存在的在进行人脸识别过程中,人脸比对速度较慢的问题;本发明还提供一种面部识别的方法、系统,用以解决现有技术中存在的在进行人脸识别过程中,所提取的人脸轮廓特征点的精确度较低的问题。
本发明实施例提供一种面部比对的方法,包括:
针对需要进行比对的一张图像,根据该图像中每个特征像素点在面部上的位置,将该图像中的所有特征像素点分成多组特征像素点;
针对一组特征像素点,根据预先设定的面部上的位置和配对规则的对应关系,确定该组特征像素点对应的面部上的位置对应的配对规则;根据确定的配对规则,对所述一组特征像素点中的每个特征像素点进行配对,并确定每对特征像素点之间的距离,根据确定的每对特征像素点之间的距离确定该组特征像素点的距离;
根据需要进行比对的图像中所有组特征像素点的距离,确定进行比对的图像的相似度。
由于本发明实施例根据配对规则将需要进行比对的图像的所有特征像素点进行配对后,确定每对特征像素点之间的距离,再根据每对特征像素点之间的距离确定该组特征像素点的距离,并根据需要进行比对的图像中所有组特征像素点的距离,确定进行比对的图像的相似度,以便根据相似度进行面部比对,进而提高了面部比对的速度。
较佳地,所述需要进行比对的图像包括目标图像和多张原始图像;
根据需要进行比对的图像中所有组特征像素点的距离,确定进行比对的图像的相似度,包括:
根据目标图像和多张原始图像中所有组特征像素点的距离,分别确定目标图像与每张原始图像的相似度。
由于本发明实施例目标图像会与每张原始图像确定出一个相似度,以便根据每一个确定的相似度进行面部比对,进而提高了面部比对的速度。
较佳地,所述根据目标图像和多张原始图像中所有组特征像素点的距离,分别确定目标图像与每张原始图像的相似度之后,还包括:
从所有原始图像中,选择相似度小于第一阈值的特定原始图像;
根据所述目标图像的局部Gabor二进制模式LGBP特征值组,以及每张所述特定原始图像的LGBP特征值组,分别确定所述目标图像与每张所述特定原始图像的相似度;
若最高的相似度小于第二阈值,则确定最高的相似度对应的特定原始图像与所述目标图像匹配。
由于本发明实施例根据目标图像的LGBP特征值组和经过选择确定的每张特定原始图像的LGBP特征值组,确定目标图像与每张特定原始图像的相似度,并在确定最高的相似度小于设定阈值时,确定最高的相似度对应的特定原始图像与目标图像匹配,以使根据选择后的原始图像进行图像匹配,进而提高了图像匹配的速度。
较佳地,根据下列方式确定所述第二阈值:
根据预设的面部上的用于确定面部偏转角的第一特定位置,从目标图像的所有特征像素点中选择与所述第一特定位置对应的特征像素点,并根据选择的特征像素点,确定面部偏转角;以及
根据预设的面部上的用于确定面部光照分布阈值的第二特定位置,从目标图像的所有特征像素点中选择与所述第二特定位置对应的特征像素点,并根据选择的特征像素点的灰度值,确定面部光照分布阈值;
根据所述面部偏转角和所述面部光照分布阈值,确定所述第二阈值。
由于本发明实施例根据确定的面部偏转角和确定的面部光照分布阈值,去确定目标图像的质量,以便根据图像的质量去确定第二阈值,以适应于不同面部偏转角和不同光照条件下的面部比对操作。
较佳地,所述根据确定的每对特征像素点之间的距离确定该组特征像素点的距离,包括:
将确定的每对特征像素点之间的距离求和或将确定的每对特征像素点之间的距离的和求均值,得到该组特征像素点的距离。
较佳地,所述相似度均满足下列公式:
V3(i)=min(V1(i),V2(i));
Sum=sum(V3(i));
Score=Sum/sum(V1(i));
其中,i为自然数,若所述相似度为进行比对的图像的相似度,则V1(i)表示需要进行比对的图像中的一张图像中所有组特征像素点的距离,V2(i)表示需要进行比对的图像中的另一张图像中所有组特征像素点的距离,若所述相似度为所述目标图像与每张所述特定原始图像的相似度,则V1(i)表示目标图像的LGBP特征值组,V2(i)表示原始图像的LGBP特征值组,V3(i)表示从V1(i)和V2(i)中选取的最小值,min(V1(i),V2(i))表示从V1(i)和V2(i)中选取最小值,Sum表示对V3(i)的所有值进行求和得到的值,sum(V3(i))表示对V3(i)的所有值进行求和,sum(V1(i))表示对V1(i)的所有值进行求和,Score表示进行比对的图像的相似度。
较佳地,所述面部偏转角满足下列公式:
其中,θ表示面部偏转角,center表示面部上的中心点的横坐标(中心点为面部上的鼻子中点特征像素点),data(i)表示面部上的外轮廓特征像素点的横坐标,i表示大于等于0小于等于6的整数。
所述面部光照分布阈值满足下列公式:
σ=abs(avg(A)-avg(B));
其中,σ表示面部光照分布阈值,A表示面部上的左半脸的灰度值,avg(A)表示面部上的左半脸的平均灰度值,B表示面部上的右半脸的灰度值,avg(B)表示面部上的右半脸的平均灰度值,abs(avg(A)-avg(B))表示面部上的左半脸的平均灰度值与面部上的右半脸的平均灰度值的差值的绝对值。
本发明实施例提供一种面部识别的方法,包括本发明实施例面部比对的方法和确定图像中的面部的方法;
确定图像中的面部的方法,包括:
针对一张待提取面部的图像,确定所述图像的用于确定面部的特征像素点;
针对一个特征像素点,确定所述特征像素点对应的用于确定局部特征的多个局部像素点,并确定每个所述局部像素点的二进制稳健独立的基本特征BRIEF特征值;
将确定的多个BRIEF特征值分为至少一个集合,并根据每个集合中包括的BRIEF特征值,确定每个集合的BRIEF特征值;
将每个集合的BRIEF特征值分别与所述特征像素点对应的比较特征值进行比较,确定相似度最高的集合,其中所述特征像素点对应的比较特征值是所述特征像素点在训练样本图像中的平均局部特征值;
根据确定的所述相似度最高的集合中的BRIEF特征值对应的所有局部像素点的中心,对所述特征像素点进行平移,得到新的特征像素点;
在每个所述特征像素点进行平移的次数达到设定第三阈值后,根据最后平移得到的新的特征像素点确定所述图像中的面部。
由于本发明实施例根据图像的用于确定面部的特征像素点的多个BRIEF特征值集合和训练样本图像中的平均局部特征值,确定平移位置,以便特征像素点根据确定的平移位置进行平移后,提取到精确度较高的面部特征像素点。
本发明实施例提供一种面部比对的设备,包括:
分组模块,用于针对需要进行比对的一张图像,根据该图像中每个特征像素点在面部上的位置,将该图像中的所有特征像素点分成多组特征像素点;
距离确定模块,用于针对一组特征像素点,根据预先设定的面部上的位置和配对规则的对应关系,确定该组特征像素点对应的面部上的位置对应的配对规则;根据确定的配对规则,对所述一组特征像素点中的每个特征像素点进行配对,并确定每对特征像素点之间的距离,根据确定的每对特征像素点之间的距离确定该组特征像素点的距离;
相似度确定模块,用于根据需要进行比对的图像中所有组特征像素点的距离,确定进行比对的图像的相似度。
较佳地,所述需要进行比对的图像包括目标图像和多张原始图像;
所述相似度确定模块具体用于:
根据目标图像和多张原始图像中所有组特征像素点的距离,分别确定目标图像与每张原始图像的相似度。
较佳地,所述相似度确定模块还用于:
从所有原始图像中,选择相似度小于第一阈值的特定原始图像;
根据所述目标图像的局部Gabor二进制模式LGBP特征值组,以及每张所述特定原始图像的LGBP特征值组,分别确定所述目标图像与每张所述特定原始图像的相似度;
若最高的相似度小于第二阈值,则确定最高的相似度对应的特定原始图像与所述目标图像匹配。
较佳地,所述相似度确定模块具体用于:
根据预设的面部上的用于确定面部偏转角的第一特定位置,从目标图像的所有特征像素点中选择与所述第一特定位置对应的特征像素点,并根据选择的特征像素点,确定面部偏转角;以及
根据预设的面部上的用于确定面部光照分布阈值的第二特定位置,从目标图像的所有特征像素点中选择与所述第二特定位置对应的特征像素点,并根据选择的特征像素点的灰度值,确定面部光照分布阈值;
根据所述面部偏转角和所述面部光照分布阈值,确定所述第二阈值。
较佳地,所述距离确定模块具体用于:
将确定的每对特征像素点之间的距离求和或将确定的每对特征像素点之间的距离的和求均值,得到该组特征像素点的距离。
较佳地,所述相似度均满足下列公式:
V3(i)=min(V1(i),V2(i));
Sum=sum(V3(i));
Score=Sum/sum(V1(i));
其中,i为自然数,若所述相似度为进行比对的图像的相似度,则V1(i)表示需要进行比对的图像中的一张图像中所有组特征像素点的距离,V2(i)表示需要进行比对的图像中的另一张图像中所有组特征像素点的距离,若所述相似度为所述目标图像与每张所述特定原始图像的相似度,则V1(i)表示目标图像的LGBP特征值组,V2(i)表示原始图像的LGBP特征值组,V3(i)表示从V1(i)和V2(i)中选取的最小值,min(V1(i),V2(i))表示从V1(i)和V2(i)中选取最小值,Sum表示对V3(i)的所有值进行求和得到的值,sum(V3(i))表示对V3(i)的所有值进行求和,sum(V1(i))表示对V1(i)的所有值进行求和,Score表示进行比对的图像的相似度。
较佳地,所述面部偏转角满足下列公式:
其中,θ表示面部偏转角,center表示面部上的中心点的横坐标(中心点为面部上的鼻子中点特征像素点),data(i)表示面部上的外轮廓特征像素点的横坐标,i表示大于等于0小于等于6的整数。
所述面部光照分布阈值满足下列公式:
σ=abs(avg(A)-avg(B));
其中,σ表示面部光照分布阈值,A表示面部上的左半脸的灰度值,avg(A)表示面部上的左半脸的平均灰度值,B表示面部上的右半脸的灰度值,avg(B)表示面部上的右半脸的平均灰度值,abs(avg(A)-avg(B))表示面部上的左半脸的平均灰度值与面部上的右半脸的平均灰度值的差值的绝对值。
本发明实施例提供一种面部识别的系统,包括:本发明实施例面部比对的设备和确定图像中的面部的设备;
确定图像中的面部的设备,包括:
第一确定模块,用于针对一张待提取面部的图像,确定所述图像的用于确定面部的特征像素点;
第二确定模块,用于针对一个特征像素点,确定所述特征像素点对应的用于确定局部特征的多个局部像素点,并确定每个所述局部像素点的二进制稳健独立的基本特征BRIEF特征值;
第三确定模块,用于将确定的多个BRIEF特征值分为至少一个集合,并根据每个集合中包括的BRIEF特征值,确定每个集合的BRIEF特征值;
第四确定模块,用于将每个集合的BRIEF特征值分别与所述特征像素点对应的比较特征值进行比较,确定相似度最高的集合,其中所述特征像素点对应的比较特征值是所述特征像素点在训练样本图像中的平均局部特征值;
平移模块,用于根据确定的所述相似度最高的集合中的BRIEF特征值对应的所有局部像素点的中心,对所述特征像素点进行平移,得到新的特征像素点;
第五确定模块,用于在每个所述特征像素点进行平移的次数达到设定第三阈值后,根据最后平移得到的新的特征像素点确定所述图像中的面部。
由于本发明实施例根据配对规则将需要进行比对的图像的所有特征像素点进行配对后,确定每对特征像素点之间的距离,再根据每对特征像素点之间的距离确定该组特征像素点的距离,并根据需要进行比对的图像中所有组特征像素点的距离,确定进行比对的图像的相似度,以便根据相似度进行面部比对,进而提高了面部比对的速度;根据图像的用于确定面部的特征像素点的多个BRIEF特征值集合和训练样本图像中的平均局部特征值,确定平移位置,以便特征像素点根据确定的平移位置进行平移后,提取到精确度较高的面部特征像素点。
具体实施方式
本发明实施例面部识别方法包括两大部分:确定图像中的面部和面部比对。
确定图像中的面部的方法包括:
针对一张待提取面部的图像,确定所述图像的用于确定面部的特征像素点;
针对一个特征像素点,确定所述特征像素点对应的用于确定局部特征的多个局部像素点,并确定每个所述局部像素点的BRIEF(Binary Robust Independent ElementaryFeatures,二进制稳健独立的基本特征)特征值;
将确定的多个BRIEF特征值分为至少一个集合,并根据每个集合中包括的BRIEF特征值,确定每个集合的BRIEF特征值;
将每个集合的BRIEF特征值分别与所述特征像素点对应的比较特征值进行比较,确定相似度最高的集合,其中所述特征像素点对应的比较特征值是所述特征像素点在训练样本图像中的平均局部特征值;
根据确定的所述相似度最高的集合中的BRIEF特征值对应的所有局部像素点的中心,对所述特征像素点进行平移,得到新的特征像素点;
在每个所述特征像素点进行平移的次数达到设定第三阈值后,根据最后平移得到的新的特征像素点确定所述图像中的面部。
由于本发明实施例根据图像的用于确定面部的特征像素点的多个BRIEF特征值集合和训练样本图像中的平均局部特征值,确定平移位置,以便特征像素点根据确定的平移位置进行平移后,提取到精确度较高的面部特征像素点。
面部比对的方法包括:
针对需要进行比对的一张图像,根据该图像中每个特征像素点在面部上的位置,将该图像中的所有特征像素点分成多组特征像素点;
针对一组特征像素点,根据面部上的位置和配对规则的对应关系,确定该组特征像素点对应的面部上的位置的配对规则;根据确定的配对规则,对所述一组特征像素点中的每个特征像素点进行配对,并确定每对特征像素点之间的距离,根据确定的每对特征像素点之间的距离确定该组特征像素点的距离;
根据需要进行比对的图像中所有组特征像素点的距离,确定进行比对的图像的相似度。
由于本发明实施例根据配对规则将需要进行比对的图像的所有特征像素点进行配对后,确定每对特征像素点之间的距离,再根据每对特征像素点之间的距离确定该组特征像素点的距离,并根据需要进行比对的图像中所有组特征像素点的距离,确定进行比对的图像的相似度,以便根据相似度进行面部比对,进而提高了面部比对的速度。
本发明实施例可以针对不同的训练样本图像得到不同面部模型,例如:当训练样本图像是人脸图像时,得到人脸模型;当训练样本图像是动物脸图像时,得到动物脸模型。
本发明实施例根据实际的需求确定由多少个BRIEF特征值作为一个集合,例如:可以将5个BRIEF特征值作为一个集合,也可以将7个BRIEF特征值作为一个集合,此处只是举例,具体的由多少个BRIEF特征值作为一个集合可以按照实际情况进行个数的增减。
下面结合说明书附图对本发明实施例作进一步详细描述。
如图1所示,本发明实施例一面部比对的方法包括:
步骤100、针对需要进行比对的一张图像,根据该图像中每个特征像素点在面部上的位置,将该图像中的所有特征像素点分成多组特征像素点;
步骤101、针对一组特征像素点,根据预先设定的面部上的位置和配对规则的对应关系,确定该组特征像素点对应的面部上的位置对应的配对规则;根据确定的配对规则,对所述一组特征像素点中的每个特征像素点进行配对,并确定每对特征像素点之间的距离,根据确定的每对特征像素点之间的距离确定该组特征像素点的距离;
步骤102、根据需要进行比对的图像中所有组特征像素点的距离,确定进行比对的图像的相似度。
本发明实施例面部的特征像素点包括但不限于下述特征像素点:左脸轮廓特征像素点、右脸轮廓特征像素点、左眼轮廓特征像素点、右眼轮廓特征像素点、左眼眉毛轮廓特征像素点、右眼眉毛轮廓特征像素点、嘴唇轮廓特征像素点、鼻子轮廓特征像素点等。
本发明实施例面部的特征像素点的个数可以根据实际面部识别的需求,确定其个数,例如,在进行面部识别操作时,可以确定面部的特征像素点的个数为58个,也可以确定面部的特征像素点的个数为68个。
如图2(本发明实施例二包含人脸的图像示意图)所示为需要进行比对的一张图像;如图3(本发明实施例三人脸轮廓特征像素点标记示意图)所示为在图2的人脸上标记出58个面部的特征像素点后的示意图,其中,图3中的第1个特征像素点至第7个特征像素点为右脸轮廓特征像素点,第13个特征像素点至第7个特征像素点为左脸轮廓特征像素点,第14个特征像素点至第21个特征像素点为左眼轮廓特征像素点,第22个特征像素点至第29个特征像素点为右眼轮廓特征像素点,第30个特征像素点至第34个特征像素点为左眼眉毛轮廓特征像素点,第35个特征像素点至第39个特征像素点为右眼眉毛轮廓特征像素点,第40个特征像素点至第47个特征像素点为嘴唇轮廓特征像素点,第48个特征像素点至第58个特征像素点为鼻子轮廓特征像素点,通过一组特征像素点组成面部上的一个面部特征,将所有58个特征像素点分成不同的组,组成一个完整的面部,图3只是用于示意的,具体的特征像素点的个数可以按照实际情况进行个数的增减;如图4(本发明实施例四人脸轮廓图像示意图)所示为连接图3中各标记出的特征像素点所形成的人脸轮廓图像。
本发明实施例根据确定的每对特征像素点之间的距离确定该组特征像素点的距离方式为:
将确定的每对特征像素点之间的距离求和/或将确定的每对特征像素点之间的距离的和求均值,得到该组特征像素点的距离。
本发明实施例根据图3中每个特征像素点在面部上的位置,将该图3中的所有特征像素点分成多组特征像素点,多组特征像素点为:左右脸轮廓特征像素点,左右眼轮廓特征像素点,左右眼眉毛轮廓特征像素点,左嘴角特征像素点和右嘴角特征像素点,鼻子左特征像素点和鼻子右特征像素点,右眼轮廓特征像素点和右嘴角特征像素点,左眼轮廓特征像素点和左嘴角特征像素点,右眼轮廓特征像素点和鼻子中点特征像素点,左眼轮廓特征像素点和鼻子中点特征像素点,鼻子中点特征像素点和左嘴角特征像素点,鼻子中点特征像素点和右嘴角特征像素点。
本发明实施例不同组特征像素点,具有不同的配对规则:
左右脸轮廓特征像素点的配对规则为:根据右脸轮廓和左脸轮廓的对称性,确定每一个右脸轮廓特征像素点和与之对称的左脸轮廓特征像素点组成一对特征像素点;
左右眼轮廓特征像素点的配对规则为:根据右眼轮廓和左眼轮廓的对称性,确定每一个右眼轮廓特征像素点和与之对称的左眼轮廓特征像素点组成一对特征像素点;
左右眼眉毛轮廓特征像素点的配对规则为:根据右眼眉毛轮廓和左眼眉毛轮廓的对称性,确定每一个右眼眉毛轮廓特征像素点和与之对称的左眼眉毛轮廓特征像素点组成一对特征像素点;
左嘴角特征像素点和右嘴角特征像素点的配对规则为:根据左嘴角的上下嘴唇轮廓的对称性、右嘴角的上下嘴唇轮廓的对称性和左嘴角和右嘴角的对称性,确定每一个左嘴角的上嘴唇轮廓特征像素点和与之对称的下嘴唇轮廓征像素点组成一对特征像素点,确定每一个右嘴角的上嘴唇轮廓特征像素点和与之对称的下嘴唇轮廓征像素点组成一对特征像素点,并确定左嘴角特征像素点和右嘴角特征像素点组成一对特征像素点;
鼻子左特征像素点和鼻子右特征像素点的配对规则为:根据鼻子右侧轮廓和鼻子左侧轮廓的对称性,确定每一个鼻子右侧轮廓特征像素点和与之对称的鼻子左侧轮廓特征像素点组成一对特征像素点;
右眼轮廓特征像素点和右嘴角特征像素点的配对规则为:确定每一个右眼轮廓特征像素点和右嘴角特征像素点组成一对特征像素点;
左眼轮廓特征像素点和左嘴角特征像素点的配对规则为:确定每一个左眼轮廓特征像素点和左嘴角特征像素点组成一对特征像素点;
右眼轮廓特征像素点和鼻子中点特征像素点的配对规则为:确定每一个右眼轮廓特征像素点和鼻子中点特征像素点组成一对特征像素点;
左眼轮廓特征像素点和鼻子中点特征像素点的配对规则为:确定每一个左眼轮廓特征像素点和鼻子中点特征像素点组成一对特征像素点;
鼻子中点特征像素点和左嘴角特征像素点的配对规则为:确定鼻子中点特征像素点和左嘴角特征像素点组成一对特征像素点;
鼻子中点特征像素点和右嘴角特征像素点的配对规则为:确定鼻子中点特征像素点和右嘴角特征像素点组成一对特征像素点。
本发明实施例针对上述多组特征像素点,可以根据下列公式确定每组特征像素点的距离:
左右脸轮廓特征像素点的距离Dis1为:
Dis1=∑|f[a]-f[b]|,其中f[a]为一个左脸轮廓特征像素点的坐标位置,f[b]为与f[a]对称的右脸轮廓特征像素点的坐标位置;
左右眼轮廓特征像素点的距离Dis2为:
Dis2=∑|f[c]-f[d]|,其中f[c]为一个右眼轮廓特征像素点的坐标位置,f[d]为与f[c]对称的左眼轮廓特征像素点的坐标位置;
左右眼眉毛轮廓特征像素点的距离Dis3为:
Dis3=∑|f[e]-f[f]|,其中f[e]为一个右眼眉毛轮廓特征像素点的坐标位置,f[f]为与f[e]对称的左眼眉毛轮廓特征像素点的坐标位置;
左嘴角特征像素点和右嘴角特征像素点的距离Dis4为:
Dis4=|f[g]-f[h]|+∑|f[i]-f[j]|+∑|f[k]-f[l]|,其中f[g]为右嘴角特征像素点的坐标位置,f[h]为左嘴角特征像素点的坐标位置,f[i]为一个右嘴角的上嘴唇轮廓特征像素点的坐标位置,f[j]为与f[i]对称的右嘴角的下嘴唇轮廓征像素点的坐标位置,f[k]为一个左嘴角的上嘴唇轮廓特征像素点的坐标位置,f[l]为与f[k]对称的左嘴角的下嘴唇轮廓征像素点的坐标位置;
鼻子左特征像素点和鼻子右特征像素点的距离Dis5为:
Dis5=∑|f[m]-f[n]|,其中f[m]为一个鼻子右侧轮廓特征像素点的坐标位置,f[n]为与f[m]对称的鼻子左侧轮廓特征像素点的坐标位置;
右眼轮廓特征像素点和右嘴角特征像素点的距离Dis6为:
其中f[c]为一个右眼轮廓特征像素点的坐标位置,f[g]为右嘴角特征像素点的坐标位置,to1为右眼轮廓特征像素点的个数;
左眼轮廓特征像素点和左嘴角特征像素点的距离Dis7为:
其中f[d]为一个左眼轮廓特征像素点的坐标位置,f[h]为左嘴角特征像素点的坐标位置,to2为左眼轮廓特征像素点的个数;
右眼轮廓特征像素点和鼻子中点特征像素点的距离Dis8为:
其中f[c]为一个右眼轮廓特征像素点的坐标位置,f[o]为鼻子中点特征像素点的坐标位置,to1为右眼轮廓特征像素点的个数;
左眼轮廓特征像素点和鼻子中点特征像素点的距离Dis9为:
其中f[d]为一个左眼轮廓特征像素点的坐标位置,f[o]为鼻子中点特征像素点的坐标位置,to2为左眼轮廓特征像素点的个数;
鼻子中点特征像素点和左嘴角特征像素点的距离Dis10为:
Dis10=f[o]-f[h],其中f[o]为鼻子中点特征像素点的坐标位置,f[h]为左嘴角特征像素点的坐标位置;
鼻子中点特征像素点和右嘴角特征像素点的距离Dis11为:
Dis11=f[o]-f[g],其中f[o]为鼻子中点特征像素点的坐标位置,f[g]为右嘴角特征像素点的坐标位置。
本发明实施例针对图3中的多组特征像素点,可以根据下列公式确定每组特征像素点的距离:
左右脸轮廓特征像素点的距离Dis1为:
其中f[i]为第i个特征像素点的坐标位置;
左右眼轮廓特征像素点的距离Dis2为:
其中f[i]为第i个特征像素点的坐标位置;
左右眼眉毛轮廓特征像素点的距离Dis3为:
其中f[i]为第i个特征像素点的坐标位置;
左嘴角特征像素点和右嘴角特征像素点的距离Dis4为:
Dis4=|f[44]-f[40]|+|f[41]-f[47]|+|f[43]-f[45]|,其中f[40]为第40个特征像素点的坐标位置,f[41]为第41个特征像素点的坐标位置,f[43]为第43个特征像素点的坐标位置,f[44]为第44个特征像素点的坐标位置,f[45]为第45个特征像素点的坐标位置,f[47]为第47个特征像素点的坐标位置;
鼻子左特征像素点和鼻子右特征像素点的距离Dis5为:
Dis5=|f[49]-f[57]|+|f[50]-f[56]|+|f[51]-f[55]|,其中f[49]为第49个特征像素点的坐标位置,f[50]为第50个特征像素点的坐标位置,f[51]为第51个特征像素点的坐标位置,f[55]为第55个特征像素点的坐标位置,f[56]为第56个特征像素点的坐标位置,f[57]为第57个特征像素点的坐标位置;
右眼轮廓特征像素点和右嘴角特征像素点的距离Dis6为:
其中f[i]为第i个特征像素点的坐标位置,f[40]为第40个特征像素点的坐标位置;
左眼轮廓特征像素点和左嘴角特征像素点的距离Dis7为:
其中f[i]为第i个特征像素点的坐标位置,f[44]为第44个特征像素点的坐标位置;
右眼轮廓特征像素点和鼻子中点特征像素点的距离Dis8为:
其中f[i]为第i个特征像素点的坐标位置,f[53]为第53个特征像素点的坐标位置;
左眼轮廓特征像素点和鼻子中点特征像素点的距离Dis9为:
其中f[i]为第i个特征像素点的坐标位置,f[53]为第53个特征像素点的坐标位置;
鼻子中点特征像素点和左嘴角特征像素点的距离Dis10为:
Dis10=f[53]-f[44],其中f[44]为第44个特征像素点的坐标位置,f[53]为第53个特征像素点的坐标位置;
鼻子中点特征像素点和右嘴角特征像素点的距离Dis11为:
Dis11=f[53]-f[40],其中f[40]为第40个特征像素点的坐标位置,f[53]为第53个特征像素点的坐标位置;
如图5(本发明实施例五人脸轮廓特征像素点标记示意图)所示为在图2的人脸上标记出40个面部的特征像素点后的示意图,其中,图5中的第1个特征像素点至第6个特征像素点为右脸轮廓特征像素点,第11个特征像素点至第6个特征像素点为左脸轮廓特征像素点,第12个特征像素点至第15个特征像素点为左眼轮廓特征像素点,第16个特征像素点至第19个特征像素点为右眼轮廓特征像素点,第20个特征像素点至第22个特征像素点为左眼眉毛轮廓特征像素点,第23个特征像素点至第25个特征像素点为右眼眉毛轮廓特征像素点,第26个特征像素点至第31个特征像素点为嘴唇轮廓特征像素点,第32个特征像素点至第40个特征像素点为鼻子轮廓特征像素点。
本发明实施例针对图5中的多组特征像素点,可以根据下列公式确定每组特征像素点的距离:
左右脸轮廓特征像素点的距离Dis1为:
其中f[i]为第i个特征像素点的坐标位置;
左右眼轮廓特征像素点的距离Dis2为:
其中f[i]为第i个特征像素点的坐标位置;
左右眼眉毛轮廓特征像素点的距离Dis3为:
其中f[i]为第i个特征像素点的坐标位置;
左嘴角特征像素点和右嘴角特征像素点的距离Dis4为:
Dis4=|f[29]-f[26]|+|f[27]-f[31]|+|f[28]-f[30]|,其中f[26]为第26个特征像素点的坐标位置,f[27]为第27个特征像素点的坐标位置,f[28]为第28个特征像素点的坐标位置,f[29]为第29个特征像素点的坐标位置,f[30]为第30个特征像素点的坐标位置,f[31]为第31个特征像素点的坐标位置;
鼻子左特征像素点和鼻子右特征像素点的距离Dis5为:
Dis5=|f[33]-f[39]|+|f[34]-f[38]|,其中f[33]为第33个特征像素点的坐标位置,f[34]为第34个特征像素点的坐标位置,f[38]为第38个特征像素点的坐标位置,f[39]为第39个特征像素点的坐标位置;
右眼轮廓特征像素点和右嘴角特征像素点的距离Dis6为:
其中f[i]为第i个特征像素点的坐标位置,f[26]为第26个特征像素点的坐标位置;
左眼轮廓特征像素点和左嘴角特征像素点的距离Dis7为:
其中f[i]为第i个特征像素点的坐标位置,f[29]为第29个特征像素点的坐标位置;
右眼轮廓特征像素点和鼻子中点特征像素点的距离Dis8为:
其中f[i]为第i个特征像素点的坐标位置,f[36]为第36个特征像素点的坐标位置;
左眼轮廓特征像素点和鼻子中点特征像素点的距离Dis9为:
其中f[i]为第i个特征像素点的坐标位置,f[36]为第36个特征像素点的坐标位置;
鼻子中点特征像素点和左嘴角特征像素点的距离Dis10为:
Dis10=f[36]-f[29],其中f[36]为第36个特征像素点的坐标位置,f[29]为第29个特征像素点的坐标位置;
鼻子中点特征像素点和右嘴角特征像素点的距离Dis11为:
Dis11=f[36]-f[26],其中f[36]为第36个特征像素点的坐标位置,f[26]为第26个特征像素点的坐标位置。
本发明实施例只是以58和40个特征像素点组成的多组特征像素点为例去计算每组特征像素点的距离。在实际应用过程中,特征像素点的个数可以根据实际应用情况进行相应的增减,由于特征像素点的个数发生变化,相应的上述公式里的i值也会发生变化。例如,在58个特征像素点中第1个特征像素点至第6个特征像素点表示的是右脸轮廓特征像素点,在68个特征像素点中可以是第1个特征像素点至第8个特征像素点表示的是右脸轮廓特征像素点,在48个特征像素点中可以是第1个特征像素点至第4个特征像素点表示的是右脸轮廓特征像素点。当应用较少的特征像素点去确定面部时,相应的能提高计算每组特征像素点的距离的效率,当应用较多的特征像素点去确定面部时,相应的能提高计算出的每组特征像素点的距离的精确度。
本发明实施例通过确定每组特征像素点的距离以便于后续的相似度的计算。
本发明实施例所述进行比对的图像的相似度满足下列公式:
V3(i)=min(V1(i),V2(i));
Sum=sum(V3(i));
Score=Sum/sum(V1(i));
其中,i为自然数,V1(i)表示需要进行比对的图像中的一张图像中所有组特征像素点的距离,V2(i)表示需要进行比对的图像中的另一张图像中所有组特征像素点的距离,V3(i)表示从V1(i)和V2(i)中选取的最小值,min(V1(i),V2(i))表示从V1(i)和V2(i)中选取最小值,Sum表示对V3(i)的所有值进行求和得到的值,sum(V3(i))表示对V3(i)的所有值进行求和,sum(V1(i))表示对V1(i)的所有值进行求和,Score表示进行比对的图像的相似度。
本发明实施例需要进行比对的图像包括目标图像和原始图像,并且可以存在多组需要进行比对的图像,其中,目标图像为待识别的图像,原始图像为图片库里的图像,具体的实现多组图像面部比对的方式为:
较佳地,所述需要进行比对的图像包括目标图像和多张原始图像;
根据需要进行比对的图像中所有组特征像素点的距离,确定进行比对的图像的相似度,包括:
根据目标图像和多张原始图像中所有组特征像素点的距离,分别确定目标图像与每张原始图像的相似度。
本发明实施例在确定了多组需要进行比对的图像的相似度后,根据确定的相似度去选择特定原始图像,具体的选择特定原始图像的实现方式为:
较佳地,所述根据目标图像和多张原始图像中所有组特征像素点的距离,分别确定目标图像与每张原始图像的相似度之后,还包括:
从所有原始图像中,选择相似度小于第一阈值的特定原始图像;
根据所述目标图像的LGBP(Local gabor binary pattern,局部Gabor二进制模式)特征值组,以及每张所述特定原始图像的LGBP特征值组,分别确定所述目标图像与每张所述特定原始图像的相似度;
若最高的相似度小于第二阈值,则确定最高的相似度对应的特定原始图像与所述目标图像匹配。
本发明实施例第一阈值为根据实际实验验证得到的一个阈值,或根据经验得到的一个阈值。
本发明实施例对图像进行提取LGBP特征后形成的图像可以参见图3(本发明实施例三进行提取LGBP特征后的图像示意图),从图3中可知,
本发明实施例所述目标图像与每张所述特定原始图像的相似度满足下列公式:
V3(i)=min(V1(i),V2(i));
Sum=sum(V3(i));
Score=Sum/sum(V1(i));
其中,i为自然数,V1(i)表示目标图像的LGBP特征值组,V2(i)表示原始图像的LGBP特征值组,V3(i)表示从V1(i)和V2(i)中选取的最小值,min(V1(i),V2(i))表示从V1(i)和V2(i)中选取最小值,Sum表示对V3(i)的所有值进行求和得到的值,sum(V3(i))表示对V3(i)的所有值进行求和,sum(V1(i))表示对V1(i)的所有值进行求和,Score表示目标图像与每张所述特定原始图像的相似度。
本发明实施例根据第二阈值确定最高的相似度对应的特定原始图像是否与目标图像匹配,其中,第二阈值是根据面部偏转角个面部光照分布阈值确定的,具体的确定第二阈值的方式为:
较佳地,根据下列方式确定所述第二阈值:
根据预设的面部上的用于确定面部偏转角的第一特定位置,从目标图像的所有特征像素点中选择与所述第一特定位置对应的特征像素点,并根据选择的特征像素点,确定面部偏转角;以及
根据预设的面部上的用于确定面部光照分布阈值的第二特定位置,从目标图像的所有特征像素点中选择与所述第二特定位置对应的特征像素点,并根据选择的特征像素点的灰度值,确定面部光照分布阈值;
根据所述面部偏转角和所述面部光照分布阈值,确定所述第二阈值。
本发明实施例所述面部偏转角满足下列公式:
其中,θ表示面部偏转角,center表示面部上的中心点的横坐标(中心点为面部上的鼻子中点特征像素点),data(i)表示面部上的外轮廓特征像素点的横坐标,i表示大于等于0小于等于6的整数。
所述面部光照分布阈值满足下列公式:
σ=abs(avg(A)-avg(B));
其中,σ表示面部光照分布阈值,A表示面部上的左半脸的灰度值,avg(A)表示面部上的左半脸的平均灰度值,B表示面部上的右半脸的灰度值,avg(B)表示面部上的右半脸的平均灰度值,abs(avg(A)-avg(B))表示面部上的左半脸的平均灰度值与面部上的右半脸的平均灰度值的差值的绝对值。
如图6所示,本发明实施例六确定图像中的面部的方法包括:
步骤600、针对一张待提取面部的图像,确定所述图像的用于确定面部的特征像素点;
步骤601、针对一个特征像素点,确定所述特征像素点对应的用于确定局部特征的多个局部像素点,并确定每个所述局部像素点的BRIEF特征值;
步骤602、将确定的多个BRIEF特征值分为至少一个集合,并根据每个集合中包括的BRIEF特征值,确定每个集合的BRIEF特征值;
步骤603、将每个集合的BRIEF特征值分别与所述特征像素点对应的比较特征值进行比较,确定相似度最高的集合,其中所述特征像素点对应的比较特征值是所述特征像素点在训练样本图像中的平均局部特征值;
步骤604、根据确定的所述相似度最高的集合中的BRIEF特征值对应的所有局部像素点的中心,对所述特征像素点进行平移,得到新的特征像素点;
步骤605、在每个所述特征像素点进行平移的次数达到设定第三阈值后,根据最后平移得到的新的特征像素点确定所述图像中的面部。
本发明实施例第三阈值为根据实际实验验证得到的一个阈值,或根据经验得到的一个阈值。
本发明实施例在对特征像素点进行平移操作时,可以首先针对一个特征像素点进行等于第三阈值的平移的次数的平移操作后,再针对另一个特征像素点进行等于第三阈值的平移的次数的平移操作,直到每一个特征像素点都进行了等于第三阈值的平移的次数的平移操作为止;也可以首先针对每一个特征像素点进行一次平移操作后,再针对每一个特征像素点进行一次平移操作,直到平移的次数等于第三阈值时为止。
本发明实施例通过上述方法进行特征像素点的平移得到新的特征像素点,最后根据平移得到的新的特征像素点确定图像中的面部,使得确定出的图像中的面部的特征像素点精确度较高,以便于后续进行面部比对操作时,使得面部比对结果更加精确。
如图7所示,本发明实施例七面部识别的方法包括:
步骤700、对需要进行比对的图像进行图像平滑处理。
在步骤700中,本发明实施例可以采用低通高斯滤波器对图像进行平滑处理。
步骤701、对需要进行比对的图像进行提取面部的操作,得到精确度较高的面部特征像素点。
在步骤701中,本发明实施例可以根据已训练好的面部模型的面部特征像素点,在每个特征像素点进行等于第三阈值的平移次数的平移操作后得到新的精确度较高的特征像素点,其中,平移的位置根据每个特征像素点的BRIEF特征值去确定。
步骤702、根据将需要进行比对的图像中每个特征像素点在在面部上的位置,将所有特征像素点分成多组特征像素点。
步骤703、根据面部上的位置和配对规则的对应关系对每组特征像素点进行配对后,确定每对特征像素点之间的距离,并根据确定的每对特征像素点之间的距离确定该组特征像素点的距离。
步骤704、根据需要进行比对的图像中所有组特征像素点的距离,确定进行比对的图像的相似度。
在步骤704中,若需要进行比对的图像包括目标图像和多张原始图像,则执行步骤705。
步骤705、从所有原始图像中,选择相似度小于第一阈值的特定原始图像。
在步骤705中,本发明实施例根据所有原始图像同目标图像的相似度,从所有原始图像中选择出相似度小于第一阈值的特定原始图像,实现了对所有原始图像的初步筛选操作,后续只需要对选择出的特定原始图像进行更加精确的比对筛选来进行面部识别,以此来提高面部识别的效率。
步骤706、根据目标图像的LGBP特征值组,以及每张所述特定原始图像的LGBP特征值组,分别确定所述目标图像与每张所述特定原始图像的相似度,若最高的相似度小于第二阈值,则确定最高的相似度对应的特定原始图像与目标图像匹配。
基于同一发明构思,本发明实施例中还提供了一种进行面部比对的设备和一种面部提取的设备,由于图8的面部比对的设备对应的方法为本发明实施例一种面部比对的方法,由于图9的面部识别的系统对应的方法为本发明实施例一种面部识别的方法,因此本发明实施例设备和系统的实施可以参见系统的实施,重复之处不再赘述。
如图8所示,本发明实施例八面部比对的设备包括:
分组模块800,用于针对需要进行比对的一张图像,根据该图像中每个特征像素点在面部上的位置,将该图像中的所有特征像素点分成多组特征像素点;
距离确定模块801,用于针对一组特征像素点,根据预先设定的面部上的位置和配对规则的对应关系,确定该组特征像素点对应的面部上的位置对应的配对规则;根据确定的配对规则,对所述一组特征像素点中的每个特征像素点进行配对,并确定每对特征像素点之间的距离,根据确定的每对特征像素点之间的距离确定该组特征像素点的距离;
相似度确定模块802,用于根据需要进行比对的图像中所有组特征像素点的距离,确定进行比对的图像的相似度。
较佳地,所述需要进行比对的图像包括目标图像和多张原始图像;
所述相似度确定模块802具体用于:
根据目标图像和多张原始图像中所有组特征像素点的距离,分别确定目标图像与每张原始图像的相似度。
较佳地,所述相似度确定模块802还用于:
从所有原始图像中,选择相似度小于第一阈值的特定原始图像;
根据所述目标图像的LGBP特征值组,以及每张所述特定原始图像的LGBP特征值组,分别确定所述目标图像与每张所述特定原始图像的相似度;
若最高的相似度小于第二阈值,则确定最高的相似度对应的特定原始图像与所述目标图像匹配。
较佳地,所述相似度确定模块802具体用于:
根据预设的面部上的用于确定面部偏转角的第一特定位置,从目标图像的所有特征像素点中选择与所述第一特定位置对应的特征像素点,并根据选择的特征像素点,确定面部偏转角;以及
根据预设的面部上的用于确定面部光照分布阈值的第二特定位置,从目标图像的所有特征像素点中选择与所述第二特定位置对应的特征像素点,并根据选择的特征像素点的灰度值,确定面部光照分布阈值;
根据所述面部偏转角和所述面部光照分布阈值,确定所述第二阈值。
较佳地,所述距离确定模块801具体用于:
将确定的每对特征像素点之间的距离求和或将确定的每对特征像素点之间的距离的和求均值,得到该组特征像素点的距离。
较佳地,所述相似度均满足下列公式:
V3(i)=min(V1(i),V2(i));
Sum=sum(V3(i));
Score=Sum/sum(V1(i));
其中,i为自然数,若所述相似度为进行比对的图像的相似度,则V1(i)表示需要进行比对的图像中的一张图像中所有组特征像素点的距离,V2(i)表示需要进行比对的图像中的另一张图像中所有组特征像素点的距离,若所述相似度为所述目标图像与每张所述特定原始图像的相似度,则V1(i)表示目标图像的LGBP特征值组,V2(i)表示原始图像的LGBP特征值组,V3(i)表示从V1(i)和V2(i)中选取的最小值,min(V1(i),V2(i))表示从V1(i)和V2(i)中选取最小值,Sum表示对V3(i)的所有值进行求和得到的值,sum(V3(i))表示对V3(i)的所有值进行求和,sum(V1(i))表示对V1(i)的所有值进行求和,Score表示进行比对的图像的相似度。
较佳地,所述面部偏转角满足下列公式:
其中,θ表示面部偏转角,center表示面部上的中心点的横坐标(中心点为面部上的鼻子中点特征像素点),data(i)表示面部上的外轮廓特征像素点的横坐标,i表示大于等于0小于等于6的整数。
所述面部光照分布阈值满足下列公式:
σ=abs(avg(A)-avg(B));
其中,σ表示面部光照分布阈值,A表示面部上的左半脸的灰度值,avg(A)表示面部上的左半脸的平均灰度值,B表示面部上的右半脸的灰度值,avg(B)表示面部上的右半脸的平均灰度值,abs(avg(A)-avg(B))表示面部上的左半脸的平均灰度值与面部上的右半脸的平均灰度值的差值的绝对值。
如图9所示,本发明实施例九面部识别的系统包括:包括面部比对的设备900和确定图像中的面部的设备901;
确定图像中的面部的设备901包括:
第一确定模块9010,用于针对一张待提取面部的图像,确定所述图像的用于确定面部的特征像素点;
第二确定模块9011,用于针对一个特征像素点,确定所述特征像素点对应的用于确定局部特征的多个局部像素点,并确定每个所述局部像素点的BRIEF特征值;
第三确定模块9012,用于将确定的多个BRIEF特征值分为至少一个集合,并根据每个集合中包括的BRIEF特征值,确定每个集合的BRIEF特征值;
第四确定模块9013,用于将每个集合的BRIEF特征值分别与所述特征像素点对应的比较特征值进行比较,确定相似度最高的集合,其中所述特征像素点对应的比较特征值是所述特征像素点在训练样本图像中的平均局部特征值;
平移模块9014,用于根据确定的所述相似度最高的集合中的BRIEF特征值对应的所有局部像素点的中心,对所述特征像素点进行平移,得到新的特征像素点;
第五确定模块9015,用于在每个所述特征像素点进行平移的次数达到设定第三阈值后,根据最后平移得到的新的特征像素点确定所述图像中的面部。
综上所述,由于本发明实施例根据配对规则将需要进行比对的图像的所有特征像素点进行配对后,确定每对特征像素点之间的距离,再根据每对特征像素点之间的距离确定该组特征像素点的距离,并根据需要进行比对的图像中所有组特征像素点的距离,确定进行比对的图像的相似度,以便根据相似度进行面部比对,进而提高了面部比对的速度;根据图像的用于确定面部的特征像素点的多个BRIEF特征值集合和训练样本图像中的平均局部特征值,确定平移位置,以便特征像素点根据确定的平移位置进行平移后,提取到精确度较高的面部特征像素点。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。