具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合附图对本发明的各实施方式进行详细的阐述。然而,本领域的普通技术人员可以理解,在本发明各实施方式中,为了使读者更好地理解本发明而提出了许多技术细节。但是,即使没有这些技术细节和基于以下各实施方式的种种变化和修改,也可以实现本发明所要求保护的技术方案。以下各个实施例的划分是为了描述方便,不应对本发明的具体实现方式构成任何限定,各个实施例在不矛盾的前提下可以相互结合相互引用。
深度图像(depth image)也被称为距离影像(range image),是指将从深度相机到物体场景中各点的距离(深度)作为像素值的图像,可以直接反映了物体可见表面的几何形状;深度图各像素点的深度值的形成与深度相机的相机参数息息相关,不同深度相机在相同的拍摄条件下对同一物体进行拍摄所形成的深度图是不相同的。而在基于深度图进行人脸识别时,在采集识别的人脸深度图的深度相机和形成人脸数据库的深度相机不一致时,会出现人脸深度图的错识、误识等现象,降低人脸识别结果的准确性。
本发明实施方式涉及一种人脸识别方法,如图1所示,具体包括:
步骤101,获取待识别的人脸深度图和第一标准人脸深度图;第一标准人脸深度图是指拍摄人脸深度图所使用的深度相机拍摄预设标准人脸得到的深度图。
具体地说,通过任意的深度相机获取待识别的人脸深度图,在获取到人脸深度图的同时也要获取与深度相机对应的第一标准人脸深度图,第一标准人脸深度图是指拍摄人脸深度图所使用的深度相机拍摄预设标准人脸得到的深度图;其中,第一标准人脸深度图可以是在获取深度相机采集的待识别的人脸深度图的同时,从深度相机处获取的;也可以是获取到采集待识别人脸深度图的深度相机对应的相机标识,根据相机标识从预设的标准人脸深度图库中获取到与相机标识对应的标准人脸深度图。
步骤102,获取各预置人脸深度图对应的第二标准人脸深度图;第二标准人脸深度图是指拍摄各预置人脸深度图所使用的深度相机拍摄预设标准人脸得到的深度图。
具体地说,各预置人脸深度图是指与待识别的人脸深度图进行人脸匹配的人脸数据库中的人脸深度图,在拍摄各预置人脸深度图时,除了要将所获取的各预置人脸深度图存储在人脸数据库中,还需要将拍摄各预置人脸深度图时所使用的深度相机的对应的标准人脸深度图也一同存储在人脸数据库中,或者将各深度相机对应的相机标识存储在人脸数据库中(在获取时,先获取到相机标识,再根据相机标识从标准人类深度图库中获取到相对应的标准人脸深度图),对于人脸数据库中的多张预置人脸深度图是由同一深度相机拍摄完成的情况,可以在存储深度相机的标准人脸深度图或相机标识时,为每个标准人脸深度图或相机标识设置一个存储频率,当预置人脸深度图的标准人脸深度图或相机标识重复出现时,只需要增加该标准人脸深度图或相机标识对应的存储频率,不需要重新保存标准人脸深度图或相机标识;而本申请从人脸数据库所获取的第二标准人脸深度图可能只包含一张标准人脸深度图,也可能包含有多个标准人脸深度图,也可以在生成人脸数据库时将标准人脸深度图存储在人脸数据库中。
此处需要注意的是:当各预置人脸深度图对应的多个第二标准人脸深度图时,可以将人脸深度图和人脸数据库中各预置人脸深度图进行匹配,获取每个预置人脸深度图与人脸深度图的匹配度,将匹配度满足预设条件的预置人脸深度图对应的标准人脸深度图作为选取的第二标准人脸深度图。也可以将人脸深度图和人脸数据库中各预置人脸深度图进行匹配,当根据匹配结果未获取到人脸识别结果时,将与人脸深度图匹配度较高的多个预置人脸深度图对应的标准人脸深度图作为选取的第二标准人脸深度图。也可以依次获取多个标准人脸深度图中每个标准人脸深度图的存储频率,根据存储频率的高低对多个标准人脸深度图从大到小进行排序,根据存储频率的排序设置频率阈值,将存储频率满足频率阈值的标准人脸深度图作为选取的第二标准人脸深度图。其中,选取的第二标准人脸深度图也可能包含多个。
步骤103,根据第一标准人脸深度图和第二标准人脸深度图,获取深度偏差信息。
具体地说,第一标准人脸深度图和第二标准人脸深度图都是基于预设的标准人脸得到的,可以将第一标准人脸深度图与第二标准人脸深度图中对应像素点的像素值之差作为对应像素点的深度差值,并将各个对应像素点的深度差值的均值作为深度偏差信息;也可以在获取到各个对应像素点的深度差值之后,对第一标准人脸深度图和第二标准人脸深度图进行分割得到各人脸深度子区域,将各人脸深度子区域内各对应像素点的深度差值的均值作为各人脸深度子区域的深度偏差值,此时,各个人脸深度子区域的深度偏差值就构成了深度偏差信息。
此处需要注意的是:若选取的第二标准人脸深度图包含多个时,步骤103也会获取到多组深度偏差信息(多个深度偏差的排序和选取的第二标准人脸深度图排序一致)。
步骤104,根据深度偏差信息对人脸深度图进行修正,并得到修正后的人脸深度图。
具体地说,当深度偏差只包含一个深度偏差值时,在人脸深度图的各个像素点对应的深度值上融合深度偏差值,就可以得到修正后的人脸深度图;当深度偏差包含各个人脸深度子区域的深度偏差值,首先需要对待识别人脸深度图进行分割得到各人脸子区域,之后根据深度偏差值的人脸区域类型与人脸深度图上的各人脸子区域的人脸类型对应的像素点进行深度偏差值和深度值的融合,得到修正后的人脸深度图。而当步骤103获取到多个深度偏差信息,按照多个深度偏差信息的顺序依次对人脸深度图进行修正(各个深度偏差处理的均是待识别的人脸深度图),得到多张修正后的人脸深度图(多张修正后的人脸深度图的排序与多个深度偏差的排序一致)。
步骤105,将修正后的人脸深度图和各预置人脸深度图进行匹配,并根据匹配结果获取人脸识别结果。
具体地说,在获取到修正后的人脸深度图之后,需要先使用预先训练好的神经网络模型对修正后的人脸深度图进行特征提取,得到与修正后的人脸深度图对应的人脸特征信息,之后在基于人脸特征信息,将修正后的人脸深度图与人脸数据库中各预置的人脸深度图进行匹配,并根据匹配结果获取到最终的人脸识别结果。当获取到多张修正后的人脸深度图(如修正后的人脸深度图1、修正后的人脸深度图2、修正后的人脸深度图3和修正后的人脸深度图4)时,可以先获取人脸深度图1的人脸识别结果,当人脸深度图1的人脸识别结果不正确时使用人脸深度图2进行人脸识别,以此类推;也可以分别获取人脸深度图1至人脸深度图4的人脸识别结果,最终根据4张图的人脸识别结果输出最终的人脸识别结果;也可以先获取人脸深度图1和人脸深度图2的人脸识别结果,当人脸深度图1和人脸深度图2的人脸识别结果一致时,输出此时人脸识别结果,否则需要获取人脸深度图3的人脸识别结果进行进一步判断(选取出现频率高的人脸识别结果)。
此处需要注意的是,在使用修正后的人脸深度图进行人脸识别前,可以先对修正后的人脸深度图进行滤波、补全等提高深度图质量的预处理,以此来提高修正后的人脸深度图的质量。
本发明实施方式,在人脸识别的过程中,获取待识别的人脸深度图和第一标准人脸深度图;第一标准人脸深度图是指拍摄人脸深度图所使用的深度相机拍摄预设标准人脸得到的深度图;获取各预置人脸深度图对应的第二标准人脸深度图;第二标准人脸深度图是指拍各预置人脸深度图所使用的深度相机拍摄预设标准人脸得到的深度图;根据第一标准人脸深度图和第二标准人脸深度图,获取深度偏差信息;根据深度偏差信息对人脸深度图进行修正,并得到修正后的人脸深度图;将修正后的人脸深度图和各预置人脸深度图进行匹配,并根据匹配结果获取人脸识别结果。通过根据拍摄待识别人脸深度图的相机的标准人脸深度图和拍摄人脸数据库中各预置人脸深度图的相机标准人脸深度图获取到在不同相机所拍摄的深度图像之间的深度偏差信息,从而对待识别的人脸深度图进行修正,减少待识别人脸深度图和人脸数据库各预置人脸深度图之间的偏差,提高基于深度图的人脸识别的准确率。
本发明实施方式涉及一种人脸识别方法,如图2所示,具体包括:
步骤201,获取待识别的人脸深度图和第一标准人脸深度图;第一标准人脸深度图是指拍摄人脸深度图所使用的深度相机拍摄预设标准人脸得到的深度图。
具体地说,本步骤与本申请实施方式的步骤101大致相同,此处不一一赘述。
步骤202,获取各预置人脸深度图对应的第二标准人脸深度图;第二标准人脸深度图是指拍摄各预置人脸深度图所使用的深度相机拍摄预设标准人脸得到的深度图。
具体地说,本步骤与本申请实施方式的步骤102大致相同,此处不一一赘述。
步骤203,计算第一标准人脸深度图和第二标准人脸深度图中对应像素点的像素值之差,作为对应像素点的深度差值。
具体的说,对第一标准人脸深度图和第二标准人脸深度图进行图像匹配,将第一标准人脸深度图上的各像素点与第二标准人脸深度图上的各像素点对应起来,将相互对应的两个像素点间的深度值之值作为对应像素点的深度差值。
步骤204,根据预设的分割规则对第一标准人脸深度图进行分割得到各人脸深度子区域,且根据分割规则对第二标准人脸深度图进行分割得到各人脸深度子区域。
具体地说,对第一标准人脸深度图和第二标准人脸深度图基于相同的分割规则进行图像分割所生成各人脸深度子区域(分割为脸颊、眼睛、额头、鼻子、嘴巴等人脸区域),本步骤所采用的图像分割方法可以包含三种:基于边缘检测进行分割、基于关键点检测进行分割和基于彩色图进行分割。
其中,基于边缘检测进行分割包括:对标准人脸深度图使用深度差值检测或梯度差值的检测方法进行边缘检测得到标准人脸边缘图,之后再使用形态学闭操作将标准人脸边缘图上未封闭的边缘轮廓线进行闭合形成各种大小不同的闭区间,每一个闭区间都称为一个区域,若干个区域组成人脸深度区域图。基于关键点检测进行分割包括:对标准人脸深度图进行五官关键点检测和人脸边界检测获取到携带由人脸边界标记和人脸五官位置标记的标准人脸深度图,之后根据人脸边界标记和人脸五官位置形成不同的人脸区域,得到人脸深度区域图。基于彩色图进行分割包括:获取到与标准人脸深度图对应的标准人脸彩色图,对标准人脸彩色图进行区域分割,并根据标准人脸彩色图的区域分割结果对标准人脸深度图进行区域分割,得到人脸深度区域图。
步骤205,计算第一标准人脸深度图和第二标准人脸深度图中对应的人脸深度子区域中各对应像素点的深度差值的均值,作为人脸深度子区域的深度偏差值;深度偏差信息包含各人脸深度子区域的深度偏差值。
具体地说,并将第一标准人脸深度图的各人脸深度子区域和第二标准人脸深度图的各人脸深度子区域对应起来,对于每一个对应的人脸深度子区域来讲,根据步骤203所获取的对应像素点的深度差值,将人脸深度子区域中各像素点对应的深度差值的均值作为人脸深度子区域的深度偏差值,各种类型的人脸深度子区域的深度偏差值构成深度偏差信息。
步骤206,根据分割规则对人脸深度图进行分割得到各人脸子区域。
具体的说,采用同步骤204相同的分割规则对人脸深度图进行图像分割,得到人脸深度图的各人脸子区域。
步骤207,从深度偏差信息中获取与各人脸子区域对应的深度偏差值,并利用深度偏差值修正各人脸子区域中各像素点的深度值,得到所述修正后的人脸深度图。
具体的说,深度偏差信息中包含有各人脸深度子区域的深度偏差值,在进行人脸深度图的修正之前,需要先从深度偏差信息中获取到与人脸深度图中各人脸区域相对应的深度偏差值,之后再将各人脸区域的深度偏差值和各人脸区域的各像素点的深度值进行融合,便可以得到修正后的人脸深度图。
步骤208,将修正后的人脸深度图和各预置人脸深度图进行匹配,并根据匹配结果获取人脸识别结果。
具体的说,本步骤与本申请实施方式的步骤105大致相同,此处不一一赘述。
本发明实施方式,在其他实施方式所带来的有益效果的基础之上,还可以根据第一标准人脸深度图和第二标准人脸深度图获取到各人脸区域对应的深度偏差值,并根据各人脸区域的深度偏差值对待识别的人脸深度图进行修正,对待识别的人脸深度图的不同区域进行不同的修正,以此来提高修正后的人脸深度图的准确性。
本发明实施方式涉及一种人脸识别方法,如图3所示,具体包括:
步骤301,获取待识别的人脸深度图和第一标准人脸深度图;第一标准人脸深度图是指拍摄人脸深度图所使用的深度相机拍摄预设标准人脸得到的深度图。
具体地说,本步骤与本申请实施方式的步骤101大致相同,此处不一一赘述。
步骤302,获取各预置人脸深度图对应的第二标准人脸深度图;第二标准人脸深度图是指拍摄各预置人脸深度图所使用的深度相机拍摄预设标准人脸得到的深度图。
具体地说,本步骤与本申请实施方式的步骤102大致相同,此处不一一赘述。
步骤303,计算第一标准人脸深度图与第二标准人脸深度图中对应像素点的像素值之差,作为对应像素点的深度差值。
具体地说,对第一标准人脸深度图和第二标准人脸深度图进行图像匹配,将第一标准人脸深度图上的各像素点与第二标准人脸深度图上的各像素点对应起来,将相互对应的两个像素点间的深度值之值作为对应像素点的深度差值。
步骤304,计算各对应像素点的深度差值的均值,作为深度偏差信息。
具体地说,将各个对应像素点的深度差值的均值作为第一标准人脸深度图和第二标准人脸深度图之间的深度偏差信息。
步骤305,根据深度偏差信息对人脸深度图进行修正,并得到修正后的人脸深度图。
具体地说,将待识别的人脸深度图的各像素点的深度值与深度偏差信息进行融合,修正各像素点的深度值,得到修正后的人脸深度图。
步骤306,将修正后的人脸深度图和各预置人脸深度图进行匹配,并根据匹配结果获取人脸识别结果。
具体的说,本步骤与本申请实施方式的步骤102大致相同,此处不一一赘述。
本发明实施方式,在其他实施方式所带来的有益效果的基础之上,还可以提高对待识别人脸深度图进行修正的效率。
本发明实施方式涉及一种人脸识别方法,如图4所示,具体包括:
步骤401,获取待识别的人脸深度图和第一标准人脸深度图;第一标准人脸深度图是指拍摄人脸深度图所使用的深度相机拍摄预设标准人脸得到的深度图。
具体地说,本步骤与本申请实施方式的步骤101大致相同,此处不一一赘述。
步骤402,获取各预置人脸深度图对应的第二标准人脸深度图;第二标准人脸深度图是指拍摄各预置人脸深度图所使用的深度相机拍摄预设标准人脸得到的深度图。
具体地说,本步骤与本申请实施方式的步骤102大致相同,此处不一一赘述。
步骤403,根据第一标准人脸深度图和第二标准人脸深度图,获取深度偏差信息。
具体地说,本步骤与本申请实施方式的步骤103大致相同,此处不一一赘述。
步骤404,根据深度偏差信息对人脸深度图进行修正,并得到修正后的人脸深度图。
具体地说,本步骤与本申请实施方式的步骤104大致相同,此处不一一赘述。
步骤405,根据预设的神经网络模型对修正后的人脸深度图进行特征提取生成人脸深度特征信息。
具体地说,使用预先训练好的神经网络模型对修正后的人脸深度图进行特征提取,得到修正后的人脸深度图对应的人脸深度特征图,根据所使用神经网络模型的不同,所生成的人脸深度特征图可以只包含一层人脸深度特征信息,也可以包含多层人脸深度特征信息。
步骤406,基于人脸深度特征信息,将修正后的人脸深度与各预置人脸深度图进行匹配,获取人脸识别结果。
具体地说,将人脸深度特征信息作为修正后的人脸深度图的标签,并与人脸数据库中各预置的人脸深度图进行特征匹配,并将与人脸特征图相似度最高的人脸深度图作为最终的人脸识别结果。
本发明实施方式,在其他实施方式所带来的有益效果的基础之上,还可以对修正后的人脸深度图进行特征提取,使用所提取的特征来进行人脸识别,提高本申请进行人脸识别的速度。
本发明实施方式涉及一种人脸识别装置,如图5所示,具体包括:
第一获取模块501,用于获取待识别的人脸深度图和第一标准人脸深度图;第一标准人脸深度图是指拍摄人脸深度图所使用的深度相机拍摄预设标准人脸得到的深度图。
第二获取模块502,用于获取各预置人脸深度图对应的第二标准人脸深度图;第二标准人脸深度图是指拍摄各预置人脸深度图所使用的深度相机拍摄预设标准人脸得到的深度图。
第三获取模块503,用于根据第一标准人脸深度图和第二标准人脸深度图,获取深度偏差信息。
矫正模块504,用于根据深度偏差信息对人脸深度图进行修正,并得到修正后的人脸深度图。
识别模块505,用于将修正后的人脸深度图和各预置人脸深度图进行匹配,并根据匹配结果获取人脸识别结果。
值得一提的是,本实施方式中所涉及到的各模块均为逻辑模块,在实际应用中,一个逻辑单元可以是一个物理单元,也可以是一个物理单元的一部分,还可以以多个物理单元的组合实现。此外,为了突出本发明的创新部分,本实施方式中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入,但这并不表明本实施方式中不存在其它的单元。
本发明实施方式涉及一种电子设备,如图6所示,包括:
至少一个处理器601;以及,
与所述至少一个处理器601通信连接的存储器602;其中,
所述存储器602存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器601执行,以使所述至少一个处理器601能够执行本发明以上任一所述的人脸识别方法。
其中,存储器和处理器采用总线方式连接,总线可以包括任意数量的互联的总线和桥,总线将一个或多个处理器和存储器的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起,这些都是本领域所公知的,因此,本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件,也可以是多个元件,比如多个接收器和发送器,提供用于在传输介质上与各种其他装置通信的单元。经处理器处理的数据通过天线在无线介质上进行传输,进一步,天线还接收数据并将数据传送给处理器。
处理器负责管理总线和通常的处理,还可以提供各种功能,包括定时,外围接口,电压调节、电源管理以及其他控制功能。而存储器可以被用于存储处理器在执行操作时所使用的数据。
本发明实施方式涉及一种计算机可读存储介质,存储有计算机程序。计算机程序被处理器执行时实现上述方法实施方式。
即,本领域技术人员可以理解,实现上述实施方式方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本发明各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域的普通技术人员可以理解,上述各实施方式是实现本发明的具体实施方式,而在实际应用中,可以在形式上和细节上对其作各种改变,而不偏离本发明的精神和范围。