CN109858464A - 底库数据处理方法、人脸识别方法、装置和电子设备 - Google Patents
底库数据处理方法、人脸识别方法、装置和电子设备 Download PDFInfo
- Publication number
- CN109858464A CN109858464A CN201910145138.3A CN201910145138A CN109858464A CN 109858464 A CN109858464 A CN 109858464A CN 201910145138 A CN201910145138 A CN 201910145138A CN 109858464 A CN109858464 A CN 109858464A
- Authority
- CN
- China
- Prior art keywords
- details area
- face
- bottom library
- details
- detail
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种底库数据处理方法、人脸识别方法、装置和电子设备,属于图像处理技术领域。本发明提供的底库数据处理方法、人脸识别方法、装置和电子设备,在录入的底库数据中增加了细节区域信息,基于细节区域信息进行人脸识别,能够对人脸细节特征进行识别。在每次人脸识别通过时,根据此次识别过程中获取的当前细节特征数据更新细节区域信息,从而可以区分不同的人脸细节特征是临时的,还是常驻的。再次进行人脸识别时,可以考虑常驻的人脸细节特征,以区分长相相近的用户,提高人脸识别的准确度;忽略临时的人脸细节特征,以减少计算量。
Description
技术领域
本发明属于图像处理技术领域,尤其是涉及一种底库数据处理方法、人脸识别方法、装置和电子设备。
背景技术
随着电子设备的日益智能化,人脸识别技术不仅广泛应用于安全访问和设备解锁等场景中,而且也应用于安防领域中的人脸闸机、城市安防系统等场景。
在现有技术的人脸识别过程中,仅关注人脸的全局特征,包括五官特征和脸庞轮廓等,而不关注人脸的细节特征。这种识别方式往往无法准确区分长相相近的用户,准确度差。
发明内容
有鉴于此,本发明的目的在于提供一种底库数据处理方法、人脸识别方法、装置和电子设备,可以提高人脸识别的准确度。
为了实现上述目的,本发明实施例采用的技术方案如下:
第一方面,本发明实施例提供了一种底库数据处理方法,包括:
在底库录入阶段,获取底库人脸图像;
根据所述底库人脸图像确定细节区域信息;所述细节区域信息包括所述底库人脸图像中的至少一个细节区域和每个所述细节区域对应的概率值;将底库人脸图像和细节区域信息保存为底库数据;
在使用底库数据进行人脸识别时,如果人脸识别通过,根据人脸识别的过程中获取的当前细节特征数据调整细节区域信息中的细节区域和/或细节区域对应的概率值;所述当前细节特征数据包括待识别图像中的至少一个细节区域。
结合第一方面,本发明实施例提供了第一方面的第一种可能的实施方式,其中,所述底库人脸图像确定细节区域信息的步骤,包括:
通过人脸检测模型获取底库人脸图像中的人脸关键点位置;
通过细节检测模型获取底库人脸图像中的至少一个细节区域的位置;
对于至少一个细节区域中的每一个细节区域,分别根据细节区域的位置和人脸关键点位置,确定细节区域的相对位置;细节区域的相对位置为细节区域相对于人脸关键点的位置;
将每一个细节区域的相对位置添加至所述细节区域信息。
结合第一方面的第一种可能的实施方式,本发明实施例提供了第一方面的第二种可能的实施方式,其中,根据所述底库人脸图像确定细节区域信息的步骤,还包括:
通过细节检测模型获取底库人脸图像中的至少一个细节区域的类别;
将细节区域的类别添加至所述细节区域信息。
结合第一方面,本发明实施例提供了第一方面的第三种可能的实施方式,其中,根据人脸识别的过程中获取的当前细节特征数据调整细节区域信息中的细节区域及细节区域对应的概率值的步骤,包括:
选取所述当前细节特征数据中的每一个细节区域作为第一细节区域,判断细节区域信息内是否包含与第一细节区域相匹配的第二细节区域;
如果是,将第二细节区域的当前概率值调大;
如果否,将第一细节区域添加至细节区域信息中,将预设的初始概率值赋予第一细节区域;
选取所述细节区域信息中的每一个细节区域作为第三细节区域,判断当前细节特征数据中是否存在与第三细节区域相匹配的细节区域;
如果不存在,将第三细节区域的当前概率值调小。
结合第一方面的第三种可能的实施方式,本发明实施例提供了第一方面的第四种可能的实施方式,其中,判断细节区域信息内是否包含与第一细节区域相匹配的第二细节区域的步骤,包括:
对于细节区域信息中的每一个细节区域,根据所述细节区域的相对位置和第一细节区域的相对位置,确定所述细节区域与第一细节区域的交并比;
如果交并比大于或等于设定匹配值,则将所述细节区域作为与第一细节区域相匹配的第二细节区域。
结合第一方面的第四种可能的实施方式,本发明实施例提供了第一方面的第五种可能的实施方式,其中,如果细节区域信息中包括细节区域的类别,判断细节区域信息内是否包含与第一细节区域相匹配的第二细节区域的步骤,还包括:
如果所述细节区域与第一细节区域的类别相同,并且交并比大于或等于设定匹配值,则将所述细节区域作为与第一细节区域相匹配的第二细节区域。
结合第一方面,本发明实施例提供了第一方面的第六种可能的实施方式,其中,所述方法还包括:
对底库人脸图像进行全局特征提取,得到底库人脸全局特征;
根据细节区域信息,对底库人脸图像进行细节特征提取,得到底库人脸细节特征;
根据底库人脸全局特征和底库人脸细节特征,生成底库人脸综合特征;
将底库人脸综合特征添加至底库数据。
结合第一方面的第六种可能的实施方式,本发明实施例提供了第一方面的第七种可能的实施方式,其中,根据所述细节区域信息,对所述底库人脸图像进行细节特征提取,得到底库人脸细节特征的步骤,包括:
从所述细节区域信息中选取概率值大于或等于设定阈值的细节区域;
根据选取的细节区域对所述底库人脸图像进行细节特征提取,得到底库人脸细节特征。
第二方面,本发明实施例还提供了一种人脸识别方法,包括:
获取待识别图像的当前细节特征数据;所述当前细节特征数据包括待识别图像中的至少一个细节区域;
根据所述待识别图像的当前细节特征数据和底库数据中的细节区域信息,提取待识别图像对应的人脸综合特征;人脸综合特征包括人脸全局特征和人脸细节特征;
获取底库数据中的底库人脸图像对应的底库人脸综合特征;底库人脸综合特征包括底库人脸全局特征和底库人脸细节特征;
计算待识别图像对应的人脸综合特征与底库人脸综合特征的相似度,根据相似度确定人脸识别结果。
结合第二方面,本发明实施例提供了第二方面的第一种可能的实施方式,其中,方法还包括:
如果人脸识别结果为通过,根据所述当前细节特征数据调整细节区域信息中的细节区域和/或细节区域对应的概率值。
结合第二方面,本发明实施例提供了第二方面的第二种可能的实施方式,其中,获取待识别图像的当前细节特征数据的步骤,包括:
通过人脸检测模型获取待识别图像的人脸关键点位置;
通过细节检测模型获取待识别图像中的至少一个细节区域的位置;
对于至少一个细节区域中的每一个细节区域,根据细节区域的位置和人脸关键点位置,确定细节区域的相对位置;
将细节区域的相对位置添加至当前细节特征数据。
结合第二方面的第二种可能的实施方式,本发明实施例提供了第二方面的第三种可能的实施方式,其中,通过人脸检测模型获取所述待识别图像的人脸关键点位置的步骤,包括:
获取所述待识别图像的人脸图像;
基于所述人脸图像确定所述人脸关键点位置。
结合第二方面的第三种可能的实施方式,本发明实施例提供了第二方面的第四种可能的实施方式,其中,根据所述待识别图像的当前细节特征数据和底库数据中的细节区域信息,提取所述待识别图像对应的人脸综合特征的步骤,包括:
对所述人脸图像进行全局特征提取,得到人脸全局特征;
选取所述细节区域信息中概率值大于或等于设定阈值的第四细节区域,根据所述第四细节区域的相对位置和所述人脸关键点位置,确定所述第四细节区域在所述待识别图像中的位置;
根据所述第四细节区域的位置和所述细节检测模型输出的至少一个细节区域的位置,从所述待识别图像中获取局部特征区域图像;
对所述局部特征区域图像进行特征提取,得到人脸细节特征;
根据所述人脸全局特征和所述人脸细节特征,生成人脸综合特征。
第三方面,本发明实施例提供了一种底库数据处理装置,包括:
底库录入模块,用于在底库录入阶段,获取底库人脸图像;根据所述底库人脸图像确定细节区域信息;所述细节区域信息包括所述底库人脸图像中的至少一个细节区域和每个所述细节区域对应的概率值;将所述底库人脸图像和所述细节区域信息保存为底库数据;
底库更新模块,用于在使用底库数据进行人脸识别时,如果人脸识别通过,根据人脸识别的过程中获取的当前细节特征数据调整细节区域信息中的细节区域和/或细节区域对应的概率值。
第四方面,本发明实施例提供了一种人脸识别装置,包括:
细节检测模块,用于获取待识别图像的当前细节特征数据;所述当前细节特征数据包括待识别图像中的至少一个细节区域;
特征提取模块,用于根据所述待识别图像的当前细节特征数据和底库数据中的细节区域信息,提取待识别图像对应的人脸综合特征;人脸综合特征包括人脸全局特征和人脸细节特征;
底库特征获取模块,用于获取底库数据中的底库人脸图像对应的底库人脸综合特征;底库人脸综合特征包括底库人脸全局特征和底库人脸细节特征;
人脸识别模块,用于计算待识别图像对应的人脸综合特征与底库人脸综合特征的相似度,根据相似度确定人脸识别结果。
第五方面,本发明实施例提供了一种电子设备,包括图像采集装置、存储器和处理器;
图像采集装置,用于采集图像数据;
存储器中存储有可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述第一方面中任一项提供的方法的步骤。
第六方面,本发明实施例提供了一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器运行时执行上述第一方面中任一项提供的方法的步骤。
本发明实施例提供了一种底库数据处理方法、人脸识别方法、装置和电子设备,在录入的底库数据中增加了细节区域信息,基于细节区域信息进行人脸识别,能够对人脸细节特征进行识别。在每次人脸识别通过时,根据此次识别过程中获取的当前细节特征数据更新细节区域信息,从而可以区分不同的人脸细节特征是临时的,还是常驻的。再次进行人脸识别时,可以考虑常驻的人脸细节特征,以区分长相相近的用户,提高人脸识别的准确度;忽略临时的人脸细节特征,以减少计算量,提高人脸识别效率。
本公开的其他特征和优点将在随后的说明书中阐述,或者,部分特征和优点可以从说明书推知或毫无疑义地确定,或者通过实施本公开的上述技术即可得知。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了本发明实施例所提供的一种电子设备的结构示意图;
图2示出了本发明实施例所提供的一种底库数据处理方法的流程图;
图3示出了本发明实施例所提供的一种人脸识别方法的流程图;
图4示出了本发明实施例所提供的一种底库数据处理装置的结构框图;
图5示出了本发明实施例所提供的一种人脸识别装置的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在现有技术的人脸识别过程中,仅关注人脸的全局特征,包括五官特征和脸庞轮廓等,而不关注人脸的细节特征,更无法主动区分某颗痣是长久存在的重要差异点还是化妆画上去的。而这种细节信息在区分近亲属或长相相近的用户时尤为重要。因此,现有的人脸识别技术无法对长相近似的用户进行准确识别,导致人脸识别准确度低。基于此,本发明实施例提供了一种底库数据处理方法、人脸识别方法、装置和电子设备。以下结合附图和具体实施方式对本发明实施例提供的底库数据处理方法、人脸识别方法、装置和电子设备进行详细说明。
实施例一:
首先,参照图1来描述用于实现本发明实施例的底库数据处理方法以及一种人脸识别方法的示例电子设备100。该示例电子设备100可以是智能手机、平板电脑、可穿戴设备、笔记本电脑、电子照相机等移动终端;还可以是身份验证设备、监控器或监控中心的服务器等其它设备。其中,身份验证设备可以为考勤机或人证一体机等。监控器可以用于利用摄像存储设备把获取的视频、音频信号进行收录和存储,以及基于存储的音视频信号进行人脸识别。监控中心的服务器可以用于在网络侧对获取的音视频数据进行存储,在网络侧对人脸进行检测和识别。
如图1所示,电子设备100包括一个或多个处理器102、一个或多个存储器104、输入装置106、输出装置108,还可以包括图像采集装置110,这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意,图1所示的电子设备100的组件和结构只是示例性的,而非限制性的,根据需要,电子设备也可以具有其他组件和结构。
处理器102可以是中央处理器(CPU)、图形处理器(Graphics Processing Unit,GPU)或者具有数据处理能力、图像处理能力和/或指令执行能力的其它形式的处理单元,并且可以控制电子设备100中的其它组件以执行期望的功能。
存储器104可以包括一个或多个计算机程序产品,计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令,处理器102可以运行程序指令,以实现下文的本发明实施例中(由处理器实现)的图像分割功能以及/或者其它期望的功能。在计算机可读存储介质中还可以存储各种应用程序和各种数据,例如应用程序使用和/或产生的各种图像等。
输入装置106可以是用户用来输入指令的装置,并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。
输出装置108可以向外部(例如,用户)输出各种信息(例如,图像或声音),并且可以包括显示器、扬声器等中的一个或多个。
图像采集装置110可以拍摄用户期望的图像(例如照片、视频等),并且将所拍摄的图像存储在存储器104中以供其它组件使用。图像采集装置110可以为前置或后置摄像头。
电子设备100上还设置有一个或多个补光灯,补光灯对应于图像采集装置设置,用于当环境光线不足,影响图像采集装置的图像采集效果时,为图像采集装置进行补光。补光灯可以采用红外补光灯,如近红外LED灯、激光红外灯等。红外补光灯发出不可见红外光,在暗光环境中为图像采集装置进行补光。
实施例二:
本实施例提供了一种底库数据处理方法,与现有技术相比,该方法在底库数据中增加了细节区域信息,并可以对底库数据中的细节区域信息进行实施有效的维护和更新,为人脸识别提供可靠的细节区域信息,进而能够在人脸识别时考虑人脸细节特征,提高人脸识别的准确度,同时提高人脸识别效率。
图2示出了该底库数据处理方法的流程图。该需要说明的是,在图2的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。以下对本实施例进行详细介绍。
如图2所示,本实施例提供的底库数据处理方法,包括如下步骤:
步骤S202,在底库录入阶段,获取底库人脸图像。
步骤S204,根据底库人脸图像确定细节区域信息。
用户输入一张自己的人脸图像,电子设备将该人脸图像录入底库,该过程称为底库录入阶段。在上述过程中,电子设备可以通过前置摄像头或者后置摄像头获取用户的人脸图像作为底库人脸图像。也可以读取存储介质中存储的用户照片作为底库人脸图像。还可以从网络下载当前用户的人脸图像作为底库人脸图像。
根据底库人脸图像确定细节区域信息。其中,细节区域信息包括底库人脸图像中的至少一个细节区域和每个细节区域对应的概率值,可以通过预设的检测模型对底库人脸图像进行检测,获得细节区域信息。所述细节区域信息可以包括底库人脸图像中的至少一个细节区域。在一些实施例中,所述细节区域信息可以包括细节区域的相对位置,所述细节区域的相对位置指细节区域相对于人脸关键点的位置,用于描述人脸上的细节特征的位置信息,该位置信息用于表示细节特征在人脸图像中的位置。在另一些实施例中,所述细节区域信息除了包括细节区域的相对位置之外,还可以包括细节特征的类别,细节特征的类别可以包括但不限于人脸上的疤痕、斑、痔、痦子、细纹等。
将预设的初始概率值赋予每个细节区域,生成细节区域信息。其中,概率值用于表示对应的细节区域是用户的真实细节特征(常驻细节特征,而非通过化妆等方式得到的临时细节特征)的概率。初始概率值可以设定为0.5,也可以设定为1。
细节区域信息的数据结构可以为列表或队列,也可以为数组。细节区域信息包括至少一个细节区域以及每个细节区域对应的概率值。细节区域可以由细节区域的标识、类别或者位置信息表示。
步骤S206,将底库人脸图像和细节区域信息保存为底库数据。
在存储介质中存储底库人脸图像和细节区域信息。可以使用非易失性存储介质长时间存储底库数据。也可以通过网络侧的非易失性存储设备存储底库数据,通过无线方式或有线方式,从网络侧的非易失性存储设备中读取底库数据到本地的闪存中。
步骤S208,在使用底库数据进行人脸识别时,如果人脸识别通过,根据人脸识别的过程中获取的当前细节特征数据调整细节区域信息中的细节区域和/或细节区域对应的概率值;所述当前细节特征数据包括待识别图像中的至少一个细节区域。
在进行人脸识别时,电子设备通过图像采集装置拍摄包含用户脸部的待识别图像,通过人脸检测模型确定待识别图像中的人脸关键点位置,并通过细节检测模型获取待识别图像中细节区域的位置,进而确定细节区域相对于人脸关键点的位置,得到细节区域的相对位置,根据得到的所有细节区域的相对位置确定当前细节特征数据。根据得到的当前细节特征数据更新细节区域信息。譬如,根据当前细节特征数据和细节区域信息中的细节区域的相对位置的一致性,调整细节区域信息中的细节区域和/或细节区域对应的概率值。在另一种实施例中,当前细节特征数据中还可以包括细节区域的类别,此时,可以根据当前细节特征数据和细节区域信息中的细节区域的类别和相对位置一致性,调整细节区域信息中的细节区域和/或细节区域对应的概率值。
目前基于人脸全局特征进行人脸识别时,无法准确的识别长相相近的用户,比如识别双胞胎或近亲属等。本发明实施例提供的底库数据处理方法,在录入的底库数据中增加了细节区域信息,基于细节区域信息进行人脸识别,能够对人脸细节特征进行识别。在每次人脸识别通过时,根据此次识别过程中获取的当前细节特征数据更新细节区域信息,从而可以区分不同的人脸细节特征是临时的,还是常驻的。再次进行人脸识别时,可以考虑常驻的人脸细节特征,以区分长相相近的用户,提高人脸识别的准确度;忽略临时的人脸细节特征,以减少计算量,提高人脸识别效率。
作为对上述实施方式的进一步说明,步骤S202中根据底库人脸图像确定细节区域信息的步骤,可以通过下述步骤实现:
步骤S2022,通过人脸检测模型获取底库人脸图像中的人脸关键点位置。
人脸检测模型可以采用预先训练好的卷积神经网络,其网络结构可以参照目标检测网络实现,也可以采用其它人脸检测算法实现。可以通过人脸检测模型检测底库人脸图像中的人脸关键点位置,具体地,将底库人脸图像输入人脸检测模型,可以得到人脸检测模型输出的人脸区域图像和人脸关键点位置。人脸关键点位置包括五官的位置信息以及人脸的轮廓信息,五官包括眉、眼、耳、鼻以及口。
步骤S2024,通过细节检测模型获取底库人脸图像中的至少一个细节区域的位置。
与人脸检测模型的原理相同,细节检测模型也可以采用预先训练好的卷积神经网络。对细节检测模型进行训练时,可以在训练图像中标记出细节区域的位置。然后采用设置了标记的训练图像训练所述细节检测模型的参数。
在一些实施例中,细节检测模型可以采用如下的网络结构:包括特征提取网络和连接在所述特征提取网络末端的回归子网络。特征提取网络用于对底库人脸图像进行特征提取,得到底库人脸图像对应的特征图,回归子网络用于基于所述特征图检测细节区域的位置,得到底库人脸图像中的至少一个细节区域的位置。在另一些实施例中,细节检测模型还可以包括与所述回归子网络并行的分类子网络,分类子网络用于基于所述特征图检测细节区域的类别,细节区域的类别用于指示该细节区域为疤痕、斑、痔、痦子或细纹等。因此,还可以通过细节检测模型获取底库人脸图像中的至少一个细节区域的类别,将所述细节区域的类别添加至初始细节特征数据。
步骤S2026,对于至少一个细节区域中的每一个细节区域,分别根据细节区域的位置和人脸关键点位置,确定细节区域的相对位置。
其中,细节区域的位置为细节区域在底库人脸图像中的位置,可以采用矩形中的对角坐标或矩形的四个角的坐标表示。细节区域的相对位置为细节区域相对于人脸关键点的位置。
步骤S2022得到的人脸关键点位置以及步骤S2024得到的细节区域的位置可以为人脸图像中的像素坐标或基于人脸图像某一定点确定的坐标系中的坐标。可以根据细节区域的位置和人脸关键点位置计算细节区域相对于人脸关键点的相对位置,将该相对位置信息作为细节区域的相对位置。
步骤S2028,将每一个细节区域的相对位置添加至细节区域信息。
根据每一个细节区域的相对位置生成细节区域信息保存至底库数据中。在底库数据中保存细节区域的相对位置,在后续进行人脸识别时,可以根据细节区域的相对位置确定所述细节区域在待识别图像中的绝对位置。
上述步骤S208中根据人脸识别的过程中获取的当前细节特征数据调整细节区域信息中的细节区域和/或细节区域对应的概率值的步骤,包括:
步骤S2081,选取所述当前细节特征数据中的每一个细节区域作为第一细节区域,判断细节区域信息内是否包含与第一细节区域相匹配的第二细节区域。
该步骤用于确定此次识别过程中检测到的某个细节区域在之前是否存在;如果是,执行步骤S2082;如果否,执行步骤S2083。
在每次人脸识别的过程中,都将获取待识别的人脸图像的当前细节特征数据。读取底库数据中存储的细节区域信息,该细节区域信息包括此次人脸识别之前检测到的细节区域以及每个细节区域对应的概率值。按照第一预设顺序,依次将当前细节特征数据中的每一个细节区域作为第一细节区域,判断细节区域信息内是否包含与第一细节区域相匹配的第二细节区域。第一预设顺序可以为从第一个细节区域向最后一个细节区域依次遍历,或者从最后一个细节区域向第一个细节区域依次遍历。预设顺序还可以是其他方式的选择顺序,凡能够满足将当前细节特征数据中的所有细节区域都遍历一次的方式,均可作为预设顺序。
如果细节区域信息内包含与第一细节区域相匹配的第二细节区域,则说明该第一细节区域在之前就存在,执行步骤S2082。如果细节区域信息内不包含与第一细节区域相匹配的第二细节区域,则说明该第一细节区域在之前不存在,执行步骤S2083。
在一种实现方式中,对于细节区域信息中的每一个细节区域,可以根据该细节区域的相对位置和第一细节区域的相对位置,确定该细节区域与第一细节区域的交并比。其中,第一细节区域的相对位置可以参照前述底库数据中细节区域的相对位置的获取方式执行。将待识别图像输入人脸检测模型和细节检测模型,得到待识别图像的人脸关键点位置和第一细节区域的位置,进而可以确定第一细节区域相对于人脸关键点的相对位置。交并比可以理解为当前细节区域与第一细节区域的交叠率。进一步地说,根据该细节区域的相对位置以及第一细节区域的相对位置,可以确定该细节区域与第一细节区域的交集区域(重叠部分),以及该细节区域和第一细节区域的并集区域。交并比可以为所述重叠部分的面积与所述并集区域的比值。如果交并比大于或等于设定匹配值,则将该细节区域作为与第一细节区域相匹配的第二细节区域,示例性地,该匹配值可以设定为50%或80%。
在另一种实现方式中,如果细节区域信息中包括细节区域的类别,则可以先判断该细节区域与所述第一细节区域的类别是否相同,如果相同,再计算该细节区域与第一细节区域的交并比。其中,第一细节区域的类别可以通过细节检测模型中的分类子网络的输出结果确定。如果该细节区域与第一细节区域的交并比大于或等于设定匹配值,则将该细节区域作为与第一细节区域相匹配的第二细节区域。如果该细节区域与所述第一细节区域的类别不相同,则无需计算交并比。将细节区域的类别添加到细节特征信息后,可以先判断两个细节区域的类别是否相同,如果不相同,则无需计算交并比,从而提高了对比的效率。
步骤S2082,将第二细节区域的当前概率值调大。
如果在细节区域信息中查找到与第一细节区域匹配的第二细节区域,可以将第二细节区域的当前概率值乘以第一预设常数,第一预设常数的值大于1,使得第二细节区域的概率值增大。
步骤S2083,将第一细节区域添加至细节区域信息中,将预设的初始概率值赋予第一细节区域。
如果在细节区域信息中没有查找到与第一细节区域匹配的第二细节区域,则在细节区域信息增加一个数据单元,用于记录第一细节区域的相关信息,例如第一细节区域的相对位置或第一细节区域的类别等。还可以为第一细节区域设置初始概率值,该初始概率值可以与底库录入时设置的初始概率值相同。
步骤S2084,选取所述细节区域信息中的每一个细节区域作为第三细节区域,判断当前细节特征数据中是否存在与第三细节区域相匹配的细节区域。
按照第二预设顺序,依次将细节区域信息中的每一个细节区域作为第三细节区域。第二预设顺序可以与第一预设顺序的设置方式相同,在此不再赘述。该步骤用于确定细节区域信息中存在的细节区域在此次识别时是否消失了。
可能存在细节区域信息中的细节区域不存在于当前细节特征数据中的情况。此时,步骤S2081至步骤S2083无法对该当前细节特征进行识别。基于此,还需要步骤S2084判断当前细节特征数据中是否存在与第三细节区域相匹配的细节区域。如果当前细节特征数据中存在与第三细节区域相匹配的细节区域,则在S2082已对其进行处理,可跳过该细节区域,继续判断下一细节区域是否包含在当前细节特征数据中。如果当前细节特征数据中不存在与第三细节区域相匹配的细节区域,则执行步骤S2085。
步骤S2085,将第三细节区域的当前概率值调小。
如果第三细节区域在此次识别时消失了,则将第三细节区域的当前概率值乘以第二预设常数,第二预设常数的值小于1,使得第三细节区域的概率值减小。所述第二预设常数与上述的第一预设常数可以互为倒数。
示例性的,假设细节区域信息可以表示为C=[C1,C2,…,Cn],此次人脸识别过程中检测的当前细节特征数据为B=[B1,B2,…,Bm],对于B中的每一个细节区域Bi,匹配结果有两种可能:
第一种可能为C中已存在,此时Bi与某个Cj匹配,可增大Cj对应的概率值。
第二种可能为C中不存在,此时Bi同任何一个Cj都不匹配。在C中新建一个Cn+1,设置其概率值为初始概率值。
对于C中的每一个细节区域Cj,则存在第三种可能,即Cj在B中消失了,此时,Cj跟任何一个细节区域Bi都不匹配,则降低该细节区域Cj的概率值。在一种可选的实施例中,可以根据人脸转向角度等信息评估细节区域信息中的细节区域Cj在此次识别过程所采集的人脸图像中是否可见,如果不可见,则不做操作;如果可见,再降低该细节区域Cj概率值。
本发明实施例通过细节区域信息与当前细节特征数据进行双向比对,能够对底库数据中的细节区域进行有效更新,使得底库数据中存储的细节区域会根据识别成功的人脸图像进行调整,保证底库数据的实时有效。
在一种可选的实施例中,底库数据中还可以包括底库人脸综合特征。进一步地说,在底库数据录入过程中或更新过程中,上述方法还可以包括:
步骤a,对底库人脸图像进行全局特征提取,得到底库人脸全局特征。
例如,将底库人脸图像输入全局特征提取网络,得到全局特征提取网络输出的底库人脸全局特征。
步骤b,根据细节区域信息,对底库人脸图像进行细节特征提取,得到底库人脸细节特征。
从细节区域信息中选取概率值大于或等于设定阈值的细节区域。获取底库人脸图像中的人脸关键点位置,根据选取的细节区域的相对位置和底库人脸图像中的人脸关键点位置,确定选取的各个细节区域在底库人脸图像中的位置,进而从底库人脸图像中分割出细节区域图像,将每个细节区域图像均输入细节特征提取网络,得到细节特征提取网络输出的底库人脸细节特征。
步骤c,根据底库人脸全局特征和底库人脸细节特征,生成底库人脸综合特征。
通过循环神经网络可以将底库人脸全局特征和底库人脸局部特征结合,生成底库人脸综合特征。
步骤d,将底库人脸综合特征添加至底库数据。
实施例三:
与上述实施例二的底库数据处理方法相对应地,本实施例提供了一种人脸识别方法,可以基于人脸图像的细节区域进行精细化人脸识别,提高人脸识别的准确度,提高人脸识别效率。图3示出了该人脸识别方法的流程图。该需要说明的是,在图3的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。以下对本实施例进行详细介绍。
如图3所示,本实施例提供的人脸识别方法,包括如下步骤:
步骤S302,获取待识别图像的当前细节特征数据。
其中,当前细节特征数据包括待识别图像中的至少一个细节区域,在一种可选的实施例中,当前细节特征数据可以包括至少一个细节区域的相对位置。在另一种可选的实施例中,当前细节特征数据还可以包括至少一个细节区域的类别。如果人脸识别通过,可以根据该步骤中获取的当前细节特征数据对底库数据中的细节区域信息进行调整。
步骤S304,根据待识别图像的当前细节特征数据和底库数据中的细节区域信息,提取待识别图像对应的人脸综合特征。
其中,人脸综合特征包括人脸全局特征和人脸细节特征。
步骤S306,获取底库数据中的底库人脸图像对应的底库人脸综合特征。
其中,底库人脸综合特征包括底库人脸全局特征和底库人脸细节特征。
在一种可选的实施例中,如果底库数据中保存有底库人脸综合特征,可以直接从底库数据中读取出底库人脸综合特征。在另一种可选的实施例中,如果底库数据中没有底库人脸综合特征,可以参照步骤S304中获取待识别图像的人脸综合特征的方法提取底库人脸图像对应的底库人脸综合特征。该方法的具体过程将在下文中详细描述。
步骤S308,计算待识别图像对应的人脸综合特征与底库人脸综合特征的相似度,根据相似度确定人脸识别结果。
比较待识别图像对应的人脸综合特征与底库人脸综合特征,根据相同特征确定相似度。若相似度超过预设阈值,则确定人脸识别通过。该预设阈值可以是80%或90%。
本发明实施例提供的人脸识别方法,能够根据人脸细节特征和人脸全局特征生成人脸综合特征,根据人脸综合特征进行人脸识别。不仅能够识别人脸整体特征,还能够根据细节区域对人脸细节进行识别,提高识别准确度。
可选地,如果人脸识别结果为通过,还可以根据此次人脸识别过程中获取的当前细节特征数据调整细节区域信息中的细节区域和/或细节区域对应的概率值。通过调整细节区域对应的概率值能够提高底库数据的时效性,进一步提高人脸识别的准确度。该步骤的实现过程可以参见上述实施例二中的记载,在此不再赘述。
作为对上述实施方式的进一步说明,步骤S302中获取待识别图像的当前细节特征数据的步骤,可通过下述方式实现:
步骤S3022,通过人脸检测模型获取待识别图像的人脸关键点位置。
将待识别图像输入至人脸检测模型,人脸检测模型可以检测出人脸在待识别图像中的位置(可以用人脸检测框表示),从而可以得到待识别图像中的人脸图像,基于人脸图像可以确定人脸关键点位置。所述人脸关键点位置可以包括五官的位置信息以及人脸的轮廓信息,五官包括眉、眼、耳、鼻以及口。
步骤S3024,通过细节检测模型获取待识别图像中的至少一个细节区域的位置。
将待识别图像输入至细节检测模型,得到待识别图像中的至少一个细节区域的位置。
步骤S3026,对于至少一个细节区域中的每一个细节区域,根据细节区域的位置和人脸关键点位置,确定细节区域的相对位置。
步骤S3022得到的人脸关键点位置以及步骤S3024得到的细节区域的位置可以为待识别图像中的像素坐标或基于待识别某一定点确定的坐标系中的坐标。可以根据细节区域的位置和人脸关键点位置计算细节区域相对于人脸关键点的相对位置,将该相对位置信息作为细节区域的相对位置。
步骤S3028,将细节区域的相对位置添加至当前细节特征数据。
如果人脸识别结果为通过,可以根据当前细节特征数据调整细节区域信息中的细节区域和/或细节区域对应的概率值。
相应的,步骤304中根据至少一个细节区域的位置和底库数据中的细节区域信息,提取待识别图像对应的人脸综合特征的步骤,可通过下述方式实现:
步骤S3041,根据待识别图像的人脸关键点位置从待识别图像中获取人脸图像,对人脸图像进行全局特征提取,得到人脸全局特征。
将步骤S3022中获取的人脸图像输入训练好的全局特征提取网络,得到全局特征提取网络输出的人脸全局特征。
步骤S3042,选取细节区域信息中概率值大于或等于设定阈值的第四细节区域,根据第四细节区域的相对位置和人脸关键点位置,确定第四细节区域在待识别图像中的位置。
获取细节区域信息,在细节区域信息中选取概率值大于或等于设定阈值的第四细节区域。示例性地,该设定阈值可以等于实施例二中的初始概率值。所述第四细节区域的数量可以大于1。根据第四细节区域的相对位置和待识别图像中的人脸关键点位置,可以确定第四细节区域在待识别图像中的位置。
步骤S3043,根据第四细节区域的位置和细节检测模型输出的至少一个细节区域的位置,从待识别图像中获取局部特征区域图像。
根据第四细节区域在待识别图像中的位置,可以从待识别图像中分割出第一部分局部特征区域图像,第一部分局部特征区域图像可以包括多个图像。
根据步骤S3024中得到的至少一个细节区域的位置,可以从待识别图像中分割出第二部分局部特征区域图像,第二部分局部特征区域图像也可以包括多个图像。
对于第二部分局部特征区域图像中与第一部分局部特征区域图像相同的图像,即当前细节特征数据与底库数据中细节区域信息相匹配的细节区域对应的图像,其中,相匹配的细节区域指两个细节区域表征的是人脸上的同一个细节特征,因此,可以从两个相同的图像中选择一个进行后续的特征提取步骤即可。
步骤S3044,对局部特征区域图像进行特征提取,得到人脸细节特征。
将步骤S3043中得到的第一部分局部特征区域图像和第二部分局部特征区域图像均输入训练好的细节特征提取网络,得到待识别图像对应的人脸细节特征。
步骤S3045,根据人脸全局特征和人脸细节特征,生成人脸综合特征。
将人脸全局特征和人脸细节特征均输入训练好的循环神经网络,得到循环神经网络输出的人脸综合特征,基于人脸综合特征进行人脸识别。
现有人脸识别方法基于人脸全局特征进行人脸识别,无法准确的识别长相相近的用户,比如识别双胞胎或近亲属等。本发明实施例提供的人脸识别方法,可以根据此次识别过程中检测的细节区域的位置和底库数据中的细节区域信息,提取待识别图像对应的人脸细节特征,将人脸细节特征和人脸全局特征结合,生成人脸综合特征,根据人脸综合特征进行人脸识别。并且,每次人脸识别通过后,还可以根据此次人脸识别过程中获取的当前细节特征数据调整细节区域信息。对于此次识别过程中检测到的某个细节区域,如果之前就在细节区域信息中存在,则增加该细节区域的概率值;如果之前就在细节区域信息中不存在,则将该细节区域添加至细节区域信息中,并设置初始概率值。如果细节区域信息中的某个细节区域在此次识别过程中消失了,则减小该细节区域的概率值。因此,底库数据中的细节区域信息可以区分常驻细节和临时细节,进行人脸识别时,可以选取概率值较高的细节区域(常驻细节)进行人脸识别,实现更加精细的识别,提高人脸识别的准确度。
实施例四:
对应于上述方法实施例,本实施例提供了一种底库数据处理装置,参见图4所示的一种底库数据处理装置的结构示意图,该装置包括:
底库录入模块41,用于在底库录入阶段,获取底库人脸图像;根据所述底库人脸图像确定细节区域信息;所述细节区域信息包括所述底库人脸图像中的至少一个细节区域和每个所述细节区域对应的概率值;将底库人脸图像和细节区域信息保存为底库数据;
底库更新模块42,用于在使用底库数据进行人脸识别时,如果人脸识别通过,根据人脸识别的过程中获取的当前细节特征数据调整细节区域信息中的细节区域和/或细节区域对应的概率值;所述当前细节特征数据包括待识别图像中的至少一个细节区域。
在一种可选的实施例中,底库录入模块41还可以用于:通过人脸检测模型获取底库人脸图像中的人脸关键点位置;通过细节检测模型获取底库人脸图像中的至少一个细节区域的位置;对于至少一个细节区域中的每一个细节区域,分别根据细节区域的位置和人脸关键点位置,确定细节区域的相对位置;细节区域的相对位置为细节区域相对于人脸关键点的位置;将每一个细节区域的相对位置添加至所述细节区域信息。
在一种可选的实施例中,底库录入模块41还可以用于:通过细节检测模型获取底库人脸图像中的至少一个细节区域的类别;将细节区域的类别添加至所述细节区域信息。
在一种可选的实施例中,底库更新模块42还可以用于:选取所述当前细节特征数据中的每一个细节区域作为第一细节区域,判断细节区域信息内是否包含与第一细节区域相匹配的第二细节区域;如果是,将第二细节区域的当前概率值调大;如果否,将第一细节区域添加至细节区域信息中,将预设的初始概率值赋予第一细节区域;选取所述细节区域信息中的每一个细节区域作为第三细节区域,判断当前细节特征数据中是否存在与第三细节区域相匹配的细节区域;如果不存在,将第三细节区域的当前概率值调小。
在一种可选的实施例中,底库更新模块42还可以用于:对于细节区域信息中的每一个细节区域,根据所述细节区域的相对位置和第一细节区域的相对位置,确定所述细节区域与第一细节区域的交并比;如果交并比大于或等于设定匹配值,则将所述细节区域作为与第一细节区域相匹配的第二细节区域。
在一种可选的实施例中,底库更新模块42还可以用于:如果所述细节区域与第一细节区域的类别相同,并且交并比大于或等于设定匹配值,则将所述细节区域作为与第一细节区域相匹配的第二细节区域。
在一种可选的实施例中,底库录入模块41还可以用于:对底库人脸图像进行全局特征提取,得到底库人脸全局特征;根据细节区域信息,对底库人脸图像进行细节特征提取,得到底库人脸细节特征;根据底库人脸全局特征和底库人脸细节特征,生成底库人脸综合特征;将底库人脸综合特征添加至底库数据。
底库录入模块41还可以用于:从所述细节区域信息中选取概率值大于或等于设定阈值的细节区域;根据选取的细节区域对所述底库人脸图像进行细节特征提取,得到底库人脸细节特征。
本发明实施例提供了一种底库数据处理装置,在录入的底库数据中增加了细节区域信息,基于细节区域信息进行人脸识别,能够对人脸细节特征进行识别。在每次人脸识别通过时,根据此次识别过程中获取的当前细节特征数据更新细节区域信息,从而可以区分不同的人脸细节特征是临时的,还是常驻的。再次进行人脸识别时,可以考虑常驻的人脸细节特征,以区分长相相近的用户,提高人脸识别的准确度;忽略临时的人脸细节特征,以减少计算量,提高人脸识别效率。
本实施例所提供的装置,其实现原理及产生的技术效果和前述实施例相同,为简要描述,装置实施例部分未提及之处,可参考前述方法实施例中相应内容。
实施例五:
对应于上述方法实施例,本实施例提供了一种人脸识别装置,参见图5所示的一种人脸识别装置的结构示意图,该装置包括:
细节检测模块51,用于获取待识别图像的当前细节特征数据;所述当前细节特征数据包括待识别图像中的至少一个细节区域;
特征提取模块52,用于根据待识别图像的当前细节特征数据和底库数据中的细节区域信息,提取待识别图像对应的人脸综合特征;人脸综合特征包括人脸全局特征和人脸细节特征;
底库特征获取模块53,用于获取底库数据中的底库人脸图像对应的底库人脸综合特征;底库人脸综合特征包括底库人脸全局特征和底库人脸细节特征;
人脸识别模块54,用于计算待识别图像对应的人脸综合特征与底库人脸综合特征的相似度,根据相似度确定人脸识别结果。
在一种可选的实施例中,人脸识别模块54还可以用于:如果人脸识别结果为通过,根据当前细节特征数据调整细节区域信息中的细节区域和/或细节区域对应的概率值。
在一种可选的实施例中,细节检测模块51还可以用于:通过人脸检测模型获取待识别图像的人脸关键点位置;通过细节检测模型获取待识别图像中的至少一个细节区域的位置;对于至少一个细节区域中的每一个细节区域,根据细节区域的位置和人脸关键点位置,确定细节区域的相对位置;将细节区域的相对位置添加至当前细节特征数据。
在一种可选的实施例中,细节检测模块51还可以用于:获取所述待识别图像的人脸图像;基于所述人脸图像确定所述人脸关键点位置。特征提取模块52还可以用于:对所述人脸图像进行全局特征提取,得到人脸全局特征;选取所述细节区域信息中概率值大于或等于设定阈值的第四细节区域,根据所述第四细节区域的相对位置和所述人脸关键点位置,确定所述第四细节区域在所述待识别图像中的位置;根据所述第四细节区域的位置和所述细节检测模型输出的至少一个细节区域的位置,从所述待识别图像中获取局部特征区域图像;对所述局部特征区域图像进行特征提取,得到人脸细节特征;根据所述人脸全局特征和所述人脸细节特征,生成人脸综合特征。
相对于目前基于人脸全局特征进行人脸识别时,无法准确的识别长相相近的用户,比如识别双胞胎或近亲属等。本发明实施例提供了一种人脸识别装置,首先,细节检测模块获取待识别图像的细节特征数据;细节特征数据包括待识别图像中的至少一个细节区域;其次,特征提取模块根据至少一个细节区域的位置和底库数据中的细节区域信息,提取待识别图像对应的人脸综合特征;人脸综合特征包括人脸全局特征和人脸细节特征;再次,底库特征获取模块获取底库数据中的底库人脸图像对应的底库人脸综合特征;底库人脸综合特征包括底库人脸全局特征和底库人脸细节特征;最后,人脸识别模块计算待识别图像对应的人脸综合特征与底库人脸综合特征的相似度,根据相似度确定人脸识别结果。能够根据人脸细节特征和人脸全局特征确定综合特征,进而不仅能够根据人脸全局特征进行人脸整体识别,还可以根据人脸细节特征对人脸上的局部进行更加精细的识别,提高提高人脸识别准确度。
本实施例所提供的装置,其实现原理及产生的技术效果和前述实施例相同,为简要描述,装置实施例部分未提及之处,可参考前述方法实施例中相应内容。
本发明实施例还提供了一种电子设备,包括图像采集装置、存储器、处理器。该图像采集装置,用于采集图像数据;该存储器中存储有可在该处理器上运行的计算机程序,该处理器执行该计算机程序时实现前述方法实施例所记载的方法。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的电子设备的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
进一步,本实施例还提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述前述方法实施例所提供的方法的步骤,具体实现可参见方法实施例,在此不再赘述。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。
Claims (17)
1.一种底库数据处理方法,其特征在于,包括:
在底库录入阶段,获取底库人脸图像;
根据所述底库人脸图像确定细节区域信息;所述细节区域信息包括所述底库人脸图像中的至少一个细节区域和每个所述细节区域对应的概率值;
将所述底库人脸图像和所述细节区域信息保存为底库数据;
在使用所述底库数据进行人脸识别时,如果人脸识别通过,根据所述人脸识别的过程中获取的当前细节特征数据调整所述细节区域信息中的细节区域和/或所述细节区域对应的概率值;所述当前细节特征数据包括待识别图像中的至少一个细节区域。
2.根据权利要求1所述的方法,其特征在于,根据所述底库人脸图像确定细节区域信息的步骤,包括:
通过人脸检测模型获取所述底库人脸图像中的人脸关键点位置;
通过细节检测模型获取所述底库人脸图像中的至少一个细节区域的位置;
对于所述至少一个细节区域中的每一个细节区域,分别根据所述细节区域的位置和所述人脸关键点位置,确定所述细节区域的相对位置;所述细节区域的相对位置为所述细节区域相对于人脸关键点的位置;
将每一个所述细节区域的相对位置添加至所述细节区域信息。
3.根据权利要求2所述的方法,其特征在于,根据所述底库人脸图像确定细节区域信息的步骤,还包括:
通过所述细节检测模型获取所述底库人脸图像中的至少一个细节区域的类别;
将所述细节区域的类别添加至所述细节区域信息。
4.根据权利要求1所述的方法,其特征在于,根据所述人脸识别的过程中获取的当前细节特征数据调整所述细节区域信息中的细节区域及所述细节区域对应的概率值的步骤,包括:
选取所述当前细节特征数据中的每一个细节区域作为第一细节区域,判断所述细节区域信息内是否包含与第一细节区域相匹配的第二细节区域;
如果是,将所述第二细节区域的当前概率值调大;
如果否,将所述第一细节区域添加至所述细节区域信息中,将预设的初始概率值赋予所述第一细节区域;
选取所述细节区域信息中的每一个细节区域作为第三细节区域,判断所述当前细节特征数据中是否存在与第三细节区域相匹配的细节区域;
如果不存在,将所述第三细节区域的当前概率值调小。
5.根据权利要求4所述的方法,其特征在于,判断所述细节区域信息内是否包含与第一细节区域相匹配的第二细节区域的步骤,包括:
对于所述细节区域信息中的每一个细节区域,根据所述细节区域的相对位置和所述第一细节区域的相对位置,确定所述细节区域与所述第一细节区域的交并比;
如果所述交并比大于或等于设定匹配值,则将所述细节区域作为与所述第一细节区域相匹配的第二细节区域。
6.根据权利要求5所述的方法,其特征在于,如果所述细节区域信息中包括细节区域的类别,判断所述细节区域信息内是否包含与第一细节区域相匹配的第二细节区域的步骤,还包括:
如果所述细节区域与所述第一细节区域的类别相同,并且所述交并比大于或等于设定匹配值,则将所述细节区域作为与所述第一细节区域相匹配的第二细节区域。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
对所述底库人脸图像进行全局特征提取,得到底库人脸全局特征;
根据所述细节区域信息,对所述底库人脸图像进行细节特征提取,得到底库人脸细节特征;
根据所述底库人脸全局特征和所述底库人脸细节特征,生成底库人脸综合特征;
将所述底库人脸综合特征添加至所述底库数据。
8.根据权利要求7所述的方法,其特征在于,根据所述细节区域信息,对所述底库人脸图像进行细节特征提取,得到底库人脸细节特征的步骤,包括:
从所述细节区域信息中选取概率值大于或等于设定阈值的细节区域;
根据选取的细节区域对所述底库人脸图像进行细节特征提取,得到底库人脸细节特征。
9.一种人脸识别方法,其特征在于,包括:
获取待识别图像的当前细节特征数据;所述当前细节特征数据包括所述待识别图像中的至少一个细节区域;
根据所述待识别图像的当前细节特征数据和底库数据中的细节区域信息,提取所述待识别图像对应的人脸综合特征;所述人脸综合特征包括人脸全局特征和人脸细节特征;
获取底库数据中的底库人脸图像对应的底库人脸综合特征;所述底库人脸综合特征包括底库人脸全局特征和底库人脸细节特征;
计算所述待识别图像对应的人脸综合特征与所述底库人脸综合特征的相似度,根据所述相似度确定人脸识别结果。
10.根据权利要求9所述的方法,其特征在于,所述方法还包括:
如果所述人脸识别结果为通过,根据所述当前细节特征数据调整所述细节区域信息中的细节区域和/或所述细节区域对应的概率值。
11.根据权利要求9所述的方法,其特征在于,获取待识别图像的当前细节特征数据的步骤,包括:
通过人脸检测模型获取所述待识别图像的人脸关键点位置;
通过细节检测模型获取所述待识别图像中的至少一个细节区域的位置;
对于所述至少一个细节区域中的每一个细节区域,根据所述细节区域的位置和所述人脸关键点位置,确定所述细节区域的相对位置;
将所述细节区域的相对位置添加至所述当前细节特征数据。
12.根据权利要求11所述的方法,其特征在于,通过人脸检测模型获取所述待识别图像的人脸关键点位置的步骤,包括:
获取所述待识别图像的人脸图像;
基于所述人脸图像确定所述人脸关键点位置。
13.根据权利要求12所述的方法,其特征在于,根据所述待识别图像的当前细节特征数据和底库数据中的细节区域信息,提取所述待识别图像对应的人脸综合特征的步骤,包括:
对所述人脸图像进行全局特征提取,得到人脸全局特征;
选取所述细节区域信息中概率值大于或等于设定阈值的第四细节区域,根据所述第四细节区域的相对位置和所述人脸关键点位置,确定所述第四细节区域在所述待识别图像中的位置;
根据所述第四细节区域的位置和所述细节检测模型输出的至少一个细节区域的位置,从所述待识别图像中获取局部特征区域图像;
对所述局部特征区域图像进行特征提取,得到人脸细节特征;
根据所述人脸全局特征和所述人脸细节特征,生成人脸综合特征。
14.一种底库数据处理装置,其特征在于,包括:
底库录入模块,用于在底库录入阶段,获取底库人脸图像;根据所述底库人脸图像确定细节区域信息;所述细节区域信息包括所述底库人脸图像中的至少一个细节区域和每个所述细节区域对应的概率值;将所述底库人脸图像和所述细节区域信息保存为底库数据;
底库更新模块,用于在使用所述底库数据进行人脸识别时,如果人脸识别通过,根据所述人脸识别的过程中获取的当前细节特征数据调整所述细节区域信息中的细节区域和/或所述细节区域对应的概率值。
15.一种人脸识别装置,其特征在于,包括:
细节检测模块,用于获取待识别图像的当前细节特征数据;所述当前细节特征数据包括所述待识别图像中的至少一个细节区域;
特征提取模块,用于根据所述待识别图像的当前细节特征数据和底库数据中的细节区域信息,提取所述待识别图像对应的人脸综合特征;所述人脸综合特征包括人脸全局特征和人脸细节特征;
底库特征获取模块,用于获取底库数据中的底库人脸图像对应的底库人脸综合特征;所述底库人脸综合特征包括底库人脸全局特征和底库人脸细节特征;
人脸识别模块,用于计算所述待识别图像对应的人脸综合特征与所述底库人脸综合特征的相似度,根据所述相似度确定人脸识别结果。
16.一种电子设备,其特征在于,包括图像采集装置、存储器和处理器;
所述图像采集装置,用于采集图像数据;
所述存储器中存储有可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述权利要求1~13中任一项所述的方法的步骤。
17.一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,其特征在于,所述计算机程序被处理器运行时执行上述权利要求1~13中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910145138.3A CN109858464B (zh) | 2019-02-26 | 2019-02-26 | 底库数据处理方法、人脸识别方法、装置和电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910145138.3A CN109858464B (zh) | 2019-02-26 | 2019-02-26 | 底库数据处理方法、人脸识别方法、装置和电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109858464A true CN109858464A (zh) | 2019-06-07 |
CN109858464B CN109858464B (zh) | 2021-03-23 |
Family
ID=66899122
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910145138.3A Active CN109858464B (zh) | 2019-02-26 | 2019-02-26 | 底库数据处理方法、人脸识别方法、装置和电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109858464B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111814702A (zh) * | 2020-07-13 | 2020-10-23 | 安徽兰臣信息科技有限公司 | 一种基于成年人脸和儿童照特征空间映射关系的儿童人脸识别方法 |
CN112395436A (zh) * | 2019-08-14 | 2021-02-23 | 北京迈格威科技有限公司 | 一种底库录入方法及装置 |
CN112766015A (zh) * | 2019-10-21 | 2021-05-07 | 深圳君正时代集成电路有限公司 | 一种提高人脸识别准确性的二次识别方法 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6920236B2 (en) * | 2001-03-26 | 2005-07-19 | Mikos, Ltd. | Dual band biometric identification system |
US20080317298A1 (en) * | 2005-09-28 | 2008-12-25 | Facedouble Incorporated | Digital Image Search System And Method |
US20090185723A1 (en) * | 2008-01-21 | 2009-07-23 | Andrew Frederick Kurtz | Enabling persistent recognition of individuals in images |
CN102004908A (zh) * | 2010-11-30 | 2011-04-06 | 汉王科技股份有限公司 | 一种自适应的人脸识别方法及装置 |
US20110103694A1 (en) * | 2009-10-30 | 2011-05-05 | Canon Kabushiki Kaisha | Object identification apparatus and object identification method |
CN102542299A (zh) * | 2011-12-07 | 2012-07-04 | 惠州Tcl移动通信有限公司 | 人脸识别方法、装置及能识别人脸的移动终端 |
CN104680158A (zh) * | 2015-03-31 | 2015-06-03 | 盐城工学院 | 一种基于对尺度块局部多值模式的人脸识别方法 |
CN105046205A (zh) * | 2015-06-24 | 2015-11-11 | 西安理工大学 | 一种基于局部和全局特征融合的掌纹识别方法 |
CN105518709A (zh) * | 2015-03-26 | 2016-04-20 | 北京旷视科技有限公司 | 用于识别人脸的方法、系统和计算机程序产品 |
CN107220635A (zh) * | 2017-06-21 | 2017-09-29 | 北京市威富安防科技有限公司 | 基于多造假方式的人脸活体检测方法 |
CN107491674A (zh) * | 2017-07-27 | 2017-12-19 | 阿里巴巴集团控股有限公司 | 基于特征信息进行用户验证的方法及装置 |
CN107784282A (zh) * | 2017-10-24 | 2018-03-09 | 北京旷视科技有限公司 | 对象属性的识别方法、装置及系统 |
-
2019
- 2019-02-26 CN CN201910145138.3A patent/CN109858464B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6920236B2 (en) * | 2001-03-26 | 2005-07-19 | Mikos, Ltd. | Dual band biometric identification system |
US20080317298A1 (en) * | 2005-09-28 | 2008-12-25 | Facedouble Incorporated | Digital Image Search System And Method |
US20090185723A1 (en) * | 2008-01-21 | 2009-07-23 | Andrew Frederick Kurtz | Enabling persistent recognition of individuals in images |
US20110103694A1 (en) * | 2009-10-30 | 2011-05-05 | Canon Kabushiki Kaisha | Object identification apparatus and object identification method |
CN102004908A (zh) * | 2010-11-30 | 2011-04-06 | 汉王科技股份有限公司 | 一种自适应的人脸识别方法及装置 |
CN102542299A (zh) * | 2011-12-07 | 2012-07-04 | 惠州Tcl移动通信有限公司 | 人脸识别方法、装置及能识别人脸的移动终端 |
CN105518709A (zh) * | 2015-03-26 | 2016-04-20 | 北京旷视科技有限公司 | 用于识别人脸的方法、系统和计算机程序产品 |
CN104680158A (zh) * | 2015-03-31 | 2015-06-03 | 盐城工学院 | 一种基于对尺度块局部多值模式的人脸识别方法 |
CN105046205A (zh) * | 2015-06-24 | 2015-11-11 | 西安理工大学 | 一种基于局部和全局特征融合的掌纹识别方法 |
CN107220635A (zh) * | 2017-06-21 | 2017-09-29 | 北京市威富安防科技有限公司 | 基于多造假方式的人脸活体检测方法 |
CN107491674A (zh) * | 2017-07-27 | 2017-12-19 | 阿里巴巴集团控股有限公司 | 基于特征信息进行用户验证的方法及装置 |
CN107784282A (zh) * | 2017-10-24 | 2018-03-09 | 北京旷视科技有限公司 | 对象属性的识别方法、装置及系统 |
Non-Patent Citations (4)
Title |
---|
BRENDAN KLARE ET AL.: "Analysis of Facial Features in Identical Twins", 《IEEE》 * |
JEFFREY R. PAONE ET AL.: "Double Trouble: Differentiating Identical Twins by Face Recognition", 《IEEE TRANSACTIONS ON INFORMATION FORENSICS AND SECURITY》 * |
沈锐 等: "基于局部和全局特征的人脸识别方法", 《计算机与数字工程》 * |
苏煜: "融合全局和局部特征的人脸识别", 《中国博士学位论文全文数据库 信息科技辑》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112395436A (zh) * | 2019-08-14 | 2021-02-23 | 北京迈格威科技有限公司 | 一种底库录入方法及装置 |
CN112766015A (zh) * | 2019-10-21 | 2021-05-07 | 深圳君正时代集成电路有限公司 | 一种提高人脸识别准确性的二次识别方法 |
CN111814702A (zh) * | 2020-07-13 | 2020-10-23 | 安徽兰臣信息科技有限公司 | 一种基于成年人脸和儿童照特征空间映射关系的儿童人脸识别方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109858464B (zh) | 2021-03-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Liu et al. | Learning deep models for face anti-spoofing: Binary or auxiliary supervision | |
Jin et al. | Face detection using template matching and skin-color information | |
CN108829900B (zh) | 一种基于深度学习的人脸图像检索方法、装置及终端 | |
CN105512632A (zh) | 活体检测方法及装置 | |
Deb et al. | Look locally infer globally: A generalizable face anti-spoofing approach | |
CN108399665A (zh) | 基于人脸识别的安全监控方法、装置及存储介质 | |
Killioğlu et al. | Anti-spoofing in face recognition with liveness detection using pupil tracking | |
CN107316029B (zh) | 一种活体验证方法及设备 | |
US20120320181A1 (en) | Apparatus and method for security using authentication of face | |
CN105005777A (zh) | 一种基于人脸的音视频推荐方法及系统 | |
CN105518709A (zh) | 用于识别人脸的方法、系统和计算机程序产品 | |
CN111274928A (zh) | 一种活体检测方法、装置、电子设备和存储介质 | |
CN110738116B (zh) | 活体检测方法及装置和电子设备 | |
CN109858464A (zh) | 底库数据处理方法、人脸识别方法、装置和电子设备 | |
CN105518714A (zh) | 活体检测方法及设备、计算机程序产品 | |
CN110008793A (zh) | 人脸识别方法、装置及设备 | |
Smith-Creasey et al. | Continuous face authentication scheme for mobile devices with tracking and liveness detection | |
KR20110090731A (ko) | 위조 영상 판별 장치 및 그 방법 | |
CN111414858B (zh) | 人脸识别方法、目标图像的确定方法、装置和电子系统 | |
WO2021143216A1 (zh) | 一种人脸活体检测的方法和相关装置 | |
CN108197585A (zh) | 脸部识别方法和装置 | |
CN112699265A (zh) | 图像处理方法及装置、处理器、存储介质 | |
Rehman et al. | Enhancing deep discriminative feature maps via perturbation for face presentation attack detection | |
Hebbale et al. | Real time COVID-19 facemask detection using deep learning | |
CN111898561A (zh) | 一种人脸认证方法、装置、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |