CN111860343A - 确定人脸对比结果的方法及装置 - Google Patents

确定人脸对比结果的方法及装置 Download PDF

Info

Publication number
CN111860343A
CN111860343A CN202010713646.XA CN202010713646A CN111860343A CN 111860343 A CN111860343 A CN 111860343A CN 202010713646 A CN202010713646 A CN 202010713646A CN 111860343 A CN111860343 A CN 111860343A
Authority
CN
China
Prior art keywords
image
face
information
mask information
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010713646.XA
Other languages
English (en)
Other versions
CN111860343B (zh
Inventor
颜雪军
王春茂
浦世亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN202010713646.XA priority Critical patent/CN111860343B/zh
Publication of CN111860343A publication Critical patent/CN111860343A/zh
Application granted granted Critical
Publication of CN111860343B publication Critical patent/CN111860343B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Abstract

本申请公开了一种确定人脸对比结果的方法及装置,属于图像识别技术领域,方法包括:获取目标证件对应的第一图像、以及目标证件持证人的第二图像;基于第一图像与第二图像和人脸分析模型,确定与第一图像对应的第一人脸遮掩信息与第二图像对应的第二人脸遮掩信息;基于第一人脸遮掩信息与第二人脸遮掩信息,确定第一图像和第二图像的融合人脸遮掩信息;基于融合人脸遮掩信息提取第一图像和第二图像的第一人脸特征信息和第二图像中人脸图像;基于第一人脸特征信息、第二人脸特征信息和人脸特征对比模型,确定第一图像与所述第二图像的人脸对比结果。采用本申请能够减少因人脸图像中部分区域被遮挡导致的人脸对比结果准确性的下降。

Description

确定人脸对比结果的方法及装置
技术领域
本申请涉及图像识别技术领域,特别涉及一种确定人脸对比结果的方法及装置。
背景技术
随着图像识别技术的成熟、人脸识别功能被应用的越来越广泛。例如,例如在过安检时,通过人脸识别技术对证件上的证件照与获取的持证人的图像进行对比,确定证件照中的人脸与持证人的人脸的相似度,从而确定持证人使用的证件是否属于持证人本人。
目前在相关技术中,证件上的证件照可以通过读取证件中存储的图像信息来获取,例如,第二代身份证中会存储一张证件照片,或者通过证件上的编号、姓名等证件信息向对应的服务器查询与证件信息对应的证件照,或者通过摄像设备对证件上的证件照进行拍摄,从而得到对应的证件照。持证人的图像可以通过摄像设备对当前使用证件的人进行拍摄获取,例如过安检时安检闸门上设置的摄像头。然后再对证件上的证件照与持证人的图像进行对比,得到证件照中的人脸与持证人的人脸的相似度,在根据相似度确定持证人使用的证件是否属于持证人本人。
在实现本申请的过程中,发明人发现相关技术至少存在以下问题:
在通过读取或网络查询的方式获取证件上的证件照时,可能因为存储、网络传输、编解码等问题导致获取的证件照中人脸存在缺失的问题,或者是通过对证件进行拍摄的方式获取证件上的证件照时,可能因为证件磨损、毁坏、表面反光等问题导致获取的证件照中人脸存在部分被遮挡或不清楚的问题。而且在拍摄持证人的图像时,也会由于光线,持证人佩戴口罩、墨镜等问题导致获取的持证人的图像中持证人的人脸存在部分被遮挡或不清楚的问题。而上述问题都会影响现有人脸识别技术中对证件上的证件照与获取的持证人的图像进行人脸对比的结果,导致人脸对比结果的准确率下降。
发明内容
本申请实施例提供了一种确定人脸对比结果的方法及装置,能够减少因人脸图像中部分区域被遮挡导致的人脸对比结果准确性的下降。所述技术方案如下:
一方面,提供了一种确定人脸对比结果的方法,所述方法包括:
获取目标证件对应的第一图像、以及所述目标证件的持证人的第二图像;
基于所述第一图像与所述第二图像以及预先训练的人脸分析模型,确定与所述第一图像对应的第一人脸遮掩信息,以及与所述第二图像对应的第二人脸遮掩信息;
基于所述第一人脸遮掩信息与所述第二人脸遮掩信息,确定所述第一图像以及所述第二图像对应的融合人脸遮掩信息;
基于所述融合人脸遮掩信息,提取所述第一图像中人脸图像的第一人脸特征信息以及所述第二图像中人脸图像的第二人脸特征信息;
基于所述第一人脸特征信息、所述第二人脸特征信息以及预先训练的人脸特征对比模型,确定所述第一图像与所述第二图像的人脸对比结果。
可选的,其中,所述第一人脸遮掩信息为所述第一图像中各个像素点属于人脸像素点的概率值,所述第二人脸遮掩信息为所述第二图像中各个像素点属于人脸像素点的概率值,所述基于所述第一人脸遮掩信息与所述第二人脸遮掩信息,确定所述第一图像以及所述第二图像对应的融合人脸遮掩信息,包括:
将所述第一图像中的人脸图像调整至预设人脸尺寸,得到第三图像,并将所述第一人脸遮掩信息调整至与所述第三图像对应的第三人脸遮掩信息,其中,所述第三人脸遮掩信息为所述第三图像中各个像素点属于人脸像素点的概率值;
将所述第二图像中的人脸图像调整至所述预设人脸尺寸,得到第四图像,并将所述第二人脸遮掩信息调整至与所述第四图像对应的第四人脸遮掩信息,其中,所述第四人脸遮掩信息为所述第四图像中各个像素点属于人脸像素点的概率值;
将所述第三人脸遮掩信息和所述第四人脸遮掩信息对应像素点的概率值相乘,得到所述第一图像以及所述第二图像对应的融合人脸遮掩信息。
可选的,所述将所述第一图像中的人脸图像调整至预设人脸尺寸,得到第三图像,并将第一人脸遮掩信息调整至于与所述第三图像对应的第三人脸遮掩信息,包括:
对所述第一图像进行人脸关键点检测,得到所述第一图像中人脸关键点的位置信息;
基于所述第一图像中人脸关键点的位置信息与预设人脸尺寸的关键点位置信息,确定第一调整信息;
基于所述第一调整信息将所述第一图像中的人脸图像调整至所述预设人脸尺寸得到所述第三图像,并基于所述第一调整信息将所述第一人脸遮掩信息调整至与所述第三图像对应的第三人脸遮掩信息;
所述将所述第二图像中的人脸图像调整至所述预设人脸尺寸,得到第四图像,并将所述第二人脸遮掩信息调整至与所述第四图像对应的第四人脸遮掩信息,包括:
对所述第二图像进行人脸关键点检测,得到所述第二图像中人脸关键点的位置信息;
基于所述第二图像中人脸关键点的位置信息与预设人脸尺寸的关键点位置信息,确定第二调整信息;
基于所述第二调整信息将所述第二图像中的人脸图像调整至所述预设人脸尺寸得到所述第四图像,并基于所述第二调整信息将所述第二人脸遮掩信息调整至与所述第四图像对应的第四人脸遮掩信息。
可选的,所述基于所述第一图像与所述第二图像以及预先训练的人脸分析模型,确定与所述第一图像对应的第一人脸遮掩信息,以及与所述第二图像对应的第二人脸遮掩信息,包括:
将所述第一图像中的人脸图像调整至预设人脸尺寸,得到第三图像,将所述第三图像输入至所述预先训练的人脸分析模型,得到第一人脸遮掩信息,其中,第一人脸遮掩信息为所述第三图像中各个像素点属于人脸像素点的概率值;
将所述第二图像中的人脸图像调整至所述预设人脸尺寸,得到第四图像,将所述第四图像输入至所述预先训练的人脸分析模型,得到第二人脸遮掩信息,其中,第二人脸遮掩信息为所述第四图像中各个像素点属于人脸像素点的概率值。
可选的,所述基于所述第一人脸遮掩信息与所述第二人脸遮掩信息,确定所述第一图像以及所述第二图像对应的融合人脸遮掩信息,包括:
将所述第一人脸遮掩信息和所述第二人脸遮掩信息对应的像素点的概率值相乘,得到所述第一图像以及所述第二图像对应的融合人脸遮掩信息。
可选的,所述基于所述融合人脸遮掩信息,提取所述第一图像中人脸图像的第一人脸特征信息以及所述第二图像中人脸图像的第二人脸特征信息,包括:
将所述融合人脸遮掩信息进行二值化处理,得到二值化的融合人脸遮掩信息;
基于所述二值化的融合人脸遮掩信息、所述第三图像、所述第四图像以及人脸特征提取模型,提取所述第一图像中人脸图像的第一人脸特征信息以及所述第二图像中人脸图像的第二人脸特征信息。
可选的,所述基于所述二值化的融合人脸遮掩信息、所述第三图像、所述第四图像以及人脸特征提取模型,提取所述第一图像中人脸图像的第一人脸特征信息以及所述第二图像中人脸图像的第二人脸特征信息,包括:
将所述第三图像中各像素点的像素值与所述二值化的融合人脸遮掩信息中对应的概率值进行相乘,得到第一人脸对比图像,将所述第一人脸对比图像输入到所述人脸特征提取模型中,得到所述第一图像中人脸图像对应的第一人脸特征信息;
将所述第四图像中各像素点的像素值与所述二值化的融合人脸遮掩信息中对应的各概率值进行相乘,得到第二人脸对比图像,将所述第二人脸对比图像输入到所述人脸特征提取模型中,得到所述第二图像中人脸图像对应的第二人脸特征信息。
可选的,所述基于所述二值化的融合人脸遮掩信息、所述第三图像、所述第四图像以及人脸特征提取模型,提取所述第三图像中人脸图像的第一人脸特征信息以及所述第四图像中人脸图像的第二人脸特征信息,包括:
将所述二值化的融合人脸遮掩信息与所述第三图像输入到所述人脸特征提取模型,得到所述第一图像中人脸图像对应的第一人脸特征信息;
将所述二值化的融合人脸遮掩信息与所述第四图像输入到所述人脸特征提取模型,得到所述第二图像中人脸图像对应的第二人脸特征信息。
可选的,所述基于所述第一人脸特征信息、所述第二人脸特征信息以及预先训练的人脸特征对比模型,确定所述第一图像与所述第二图像的人脸对比结果,包括:
基于所述第一人脸特征信息、所述第二人脸特征信息以及预先训练的人脸特征对比模型,确定所述第一图像与所述第二图像中人脸图像的第一相似度;
如果所述第一相似度等于或高于预设相似度阈值,则确定所述人脸对比结果为所述第一图像中的人脸图像与所述第二图像中的人脸图像属于同一个人,如果所述第一相似度低于所述预设相似度阈值,则确定所述人脸对比结果为所述第一图像中的人脸图像与所述第二图像中的人脸图像不属于同一个人。
可选的,所述基于所述第一人脸特征信息、所述第二人脸特征信息以及预先训练的人脸特征对比模型,确定所述第一图像与所述第二图像中人脸图像的第一相似度,包括:
将所述第一人脸特征信息与所述第二人脸特征信息输入到预先训练的人脸特征对比模型,得到所述第一图像与所述第二图像中人脸图像的第二相似度;
确定所述融合特征信息中包括的所述第一人脸图像与所述第二人脸图像相对应的各预设区域内像素点的概率值集合;
确定每个概率值集合中概率值高于预设概率值的占比,并确定各个概率值集合的占比超出预设占比的数目;
基于所述数目确定对应的相似度调节参数;
将所述第二相似度与所述相似度调节参数求和,得到所述第一图像与所述第二图像中人脸图像的第一相似度。
另一方面,提供了一种确定人脸对比结果的装置,所述装置包括图像传感器和处理器,其中,
所述图像传感器用于:采集目标证件的持证人的第二图像;
所述处理器用于:获取所述目标证件对应的第一图像和所述第二图像;基于所述第一图像与所述第二图像以及预先训练的人脸分析模型,确定与所述第一图像对应的第一人脸遮掩信息,以及与所述第二图像对应的第二人脸遮掩信息;基于所述第一人脸遮掩信息与所述第二人脸遮掩信息,确定所述第一图像以及所述第二图像对应的融合人脸遮掩信息;基于所述融合人脸遮掩信息,提取所述第一图像中人脸图像的第一人脸特征信息以及所述第二图像中人脸图像的第二人脸特征信息;基于所述第一人脸特征信息、所述第二人脸特征信息以及预先训练的人脸特征对比模型,确定所述第一图像与所述第二图像的人脸对比结果。
可选的,所述图像传感器还用于:采集所述目标证件对应的第一图像;
所述处理器用于:获取所述图像触感器采集的所述第一图像和所述第二图像;
可选的,所述装置还包括收发器和输入部件;
所述输入部件用于:接收所述持证人输入的所述目标证件的证件号;
所述处理器用于:通过所述收发器向服务器发送携带所述证件号的图像获取请求,获取所述收发器接收的与所述证件号对应的第一图像。
可选的,所述装置还包括读卡器,用于:读取存储卡中存储的与所述目标证件对应的第一图像;
所述处理器用于:获取所述读卡器读取的与所述目标证件对应的第一图像。
再一方面,提供了一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令,所述至少一条指令由所述处理器加载并执行以实现如上所述的确定人脸对比结果的方法所执行的操作。
再一方面,提供了一种计算机可读存储介质,所述存储介质中存储有至少一条指令,所述至少一条指令由处理器加载并执行以实现如上所述的确定人脸对比结果的方法所执行的操作。
本申请实施例提供的技术方案带来的有益效果是:
通过获取目标证件对应的第一图像的第一人脸遮掩信息以及目标证件的持证人的第二图像的第二人脸遮掩信息,再通过将第一人脸遮掩信息和第二人脸遮掩信息进行融合得到对应的融合人脸遮掩信息,这样在融合人脸遮掩信息中可以包括第一图像中人脸图像的遮掩区域以及第二图像中人脸图像的遮掩区域,则根据融合人脸遮掩信息提取第一图像和第二图像中人脸图像的人脸特征信息中只包括人脸图像中不属于遮掩区域对应的人脸特征信息,这样在对第一图像和第二图像中人脸图像进行对比时,能够减少因人脸图像中部分区域被遮掩导致人脸对比结果准确性的下降。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的确定人脸对比结果的方法流程图;
图2是本申请实施例提供的确定人脸对比结果的方法示意图;
图3是本申请实施例提供的确定人脸对比结果的方法示意图;
图4是本申请实施例提供的确定人脸对比结果的方法示意图;
图5是本申请实施例提供的确定人脸对比结果的装置结构示意图;
图6是本申请实施例提供的计算机设备结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
本申请实施例提供的一种确定人脸对比结果的方法可以由终端实现,或由终端和服务器共同实现。其中,终端中可以具备有存储器和处理器,能够对应图像数据进行处理,另外,终端可以与摄像设备、读卡设备等进行连接,能够对证件进行读取、拍摄。当本申请提供的确定人脸对比结果的方法由终端实现时,终端可以完成该方法中所有的方法步骤,当本申请提供的确定人脸对比结果的方法由终端和服务器共同实现时,终端和服务器可以通过建立网络连接,共同完成该方法中所有的方法步骤。
在日常生活中,人们需要用各种各样的证件来证明自己的身份,例如,身份证、驾驶证、校园卡等。一般证件上会有印有证件所属人的正面图像即证件照,或在证件的内置存储芯片中存储有对应的证件照,或通过证件对应的证件号可以查询到对应的证件照。人们在使用证件时,可以通过将相应的证件出示给对应的检查人员,检查人员可以通过对比证件对应的证件照与出示证件的人进行对比,从而确定出示证件的人是否为证件的所属人。另外,随着图像识别技术的进步,目前还可以通过图像识别技术对证件对应的证件照以及证件的持有人的拍摄图像进行对比,从而确定持证人使用的证件是否属于持证人本人。但由于存储、网络传输、编解码以及证件磨损等问题导致获取的证件照中人脸存在缺失、部分被遮挡或不清楚等问题。而且在拍摄持证人的图像时,也会由于光线,持证人佩戴口罩、墨镜等问题导致获取的持证人的图像中持证人的人脸存在部分被遮挡或不清楚的问题。而上述问题都会影响现有图像识别技术中对证件上的证件照与获取的持证人的图像的人脸对比结果。本申请实施例提供的确定人脸对比结果的方法在通过图像识别技术对证件的证件照以及证件的持有人的拍摄图像进行对比时,可以只对比图像中人脸图像中未缺失、没有被遮挡或比较清楚的人脸区域,从而可以在一定程度上减少因上述问题导致的人脸对比结果准确性的下降。
图1是本申请实施例提供的一种确定人脸对比结果的方法流程图。参见图2,该实施例包括:
步骤101、获取目标证件对应的第一图像、以及目标证件的持证人的第二图像。
其中,目标证件可以是任意用来证明身份或与身份相关的证件或卡片,例如身份证、驾驶证、校园卡、银行卡等。目标证件对应的第一图像可以为目标证件中的证件照,即包含目标证件所属人面部的图像,例如身份证、驾驶证上的彩色正面免冠图像等。目标证件的持证人即当前使用或持有目标证件的人,例如乘客通过一个身份证过车站安检,则该身份证为目标证件,该乘客为目标证件的持证人。
获取目标证件中的第一图像的方式可以是通过读取目标证件中的内置存储芯片获取证件照,也可以通过读取或输入证件照对应的证件号码,将证件号码发送至对应的证件照存储设备从而获取对应的证件照,或者还可以直接对证件上的证件照进行拍摄,获取证件的照片从而截取证件上的证件照,例如可以将证件放入指定的拍摄位置,由摄像设备对证件进行拍摄,从而获取证件上的证件照。
目标证件的持证人的第二图像为包含当前使用或持有目标证件的人面部的图像。可以通过摄像设备对应当前目标证件的持证人进行拍摄,获取目标证件的持证人的第二图像,例如,乘客在过安检设备时,通过安检设备上的摄像头拍摄包含乘客面部的正面图像。
步骤102、基于第一图像与第二图像以及预先训练的人脸分析模型,确定与第一图像对应的第一人脸遮掩信息,以及与第二图像对应的第二人脸遮掩信息。
在实施中,在通过读取目标证件中的内置存储芯片获取证件照时,可能由于编解码等问题导致获取的证件照存在缺失,或者通过向证件照存储设备发送目标证件对应的证件号以获取目标证件对应的证件照时,可能由于网络传输等问题导致获取的证件照中人脸存在缺失,或者通过摄像设备直接对目标证件上的证件照进行拍摄以获取证件照对应的证件照时,可能由于目标证件出现磨损、沾染油污、证件上层塑料等保护材料的反光导致的拍摄的证件照出现被遮挡、不清楚、涂抹等问题,在本申请中可以将上述证件照中出现的缺失、被遮挡、不清楚、涂抹的区域称为遮掩区域。
所以在获取到证件照之后,可以将证件照输入到预先训练的人脸分析模型,由人脸分析模型输出证件照对应的掩模,即第一图像对应的第一人脸遮掩信息。第一人脸遮掩信息为n×m的概率矩阵,其中,n和m与第一图像的长、宽尺寸,即第一图像的分辨率为也为n×m。在概率矩阵中每个位置的元素对应的概率值为第一图像中相同位置的像素点是否属于人脸像素点的概率值,该概率值可以是0-1之间的任一数值。当像素点对应的概率值低于预设的人脸概率阈值时,则可以认为该像素点不属于人脸像素点,所以可以通过第一人脸遮掩信息确定图像中属于人脸部分的图像、以及不属于人脸部分的图像(可能是人脸轮廓之外的背景图像,也可能遮掩区域对应的图像)。另外,也可以第一人脸遮掩信息中的各个概率值进行二值化处理,使其概率值为0或1,当概率值为0时,则该像素点不属于人脸像素点,当概率值为1时,则该像素点属于人脸像素点。再另外,还可以通过人脸分割算法,得到属于人脸各个区域的概率值,例如属于该像素点属于鼻子的像素点对应的概率值,则概率矩阵对应的概率值可以由n0.9、m0.5表示,其中,n0.9表示对应像素点属于鼻子的像素点的概率为0.9,m0.5表示对应像素点属于嘴部的像素点的概率为0.5。
由于在获取目标证件的持证人的第二图像时,持证人可能佩戴口罩、眼镜等物品,从而导致获取的第二图像中的人脸图像存在遮挡、反光等问题,即在第二图像中的人脸图像也会存在遮掩区域,所以在获取到目标证件的持证人的第二图像时,同样可以将第二图像输入到预先训练的人脸分析模型,由人脸分析模型输出第二图像对应的掩模,即第二图像对应的第二人脸遮掩信息。
其中,人脸分析模型的训练过程可以如下:
技术人员可以获取大量的包含人脸图像的样本图像,以及每个样本图像对应的基准人脸遮掩信息,基准人脸遮掩信息可以由技术人员根据对应的样本图像中属于人脸图像的区域进行设置,例如将属于人脸图像区域的像素点对应的概率值设置为1,将不属于人脸图像区域的像素点对应的概率值设置为0,将人脸图像中不清楚的区域设置为0-1之间的数值。然后通过将样本图像输入到待训练的人脸分析模型中,由待训练的人脸分析模型输出对应的人脸遮掩信息,再根据对应的人脸遮掩信息与样本图像对应的基准遮掩信息生成损失函数,然后根据损失函数对待训练的人脸分析模型中的参数进行调整。如此通过大量的样本图像人脸分析模型进行训练之后,且待训练的人脸分析模型输出的人脸遮掩信息的准确率达到预设准确率阈值时,则可以确定人脸分析模型训练完成。
步骤103、基于第一人脸遮掩信息与第二人脸遮掩信息,确定第一图像以及第二图像对应的融合人脸遮掩信息。
在实施中,第一图像和第二图像中的人脸图像都有遮掩区域,可以通过将第一人脸遮掩信息以及第二人脸遮掩信息进行融合得到第一图像以及第二图像对应的融合人脸遮掩信息。融合人脸遮掩信息可以用于表示第一图像和第二图像中的人脸图像相对应的像素点同时属于人脸像素点的概率值,即将第一图像中人脸图像对应的遮掩区域与第二图像中人脸图像对应的遮掩区域进行叠加。
其中,第一人脸遮掩信息为第一图像中各个像素点属于人脸像素点的概率值,第二人脸遮掩信息为第二图像中各个像素点属于人脸像素点的概率值,将第一人脸遮掩信息以及第二人脸遮掩信息进行融合得到第一图像以及第二图像对应的融合人脸遮掩信息的处理如下:将第一图像中的人脸图像调整至预设人脸尺寸,得到第三图像,并将第一人脸遮掩信息调整至与第三图像对应的第三人脸遮掩信息,其中,第三人脸遮掩信息为第三图像中各个像素点属于人脸像素点的概率值;将第二图像中的人脸图像调整至预设人脸尺寸,得到第四图像,并将第二人脸遮掩信息调整至与第四图像对应的第四人脸遮掩信息,其中,第四人脸遮掩信息为第四图像中各个像素点属于人脸像素点的概率值;将第三人脸遮掩信息和第四人脸遮掩信息对应像素点的概率值相乘,得到第一图像以及第二图像对应的融合人脸遮掩信息。
在实施中,由于第一图像和第二图像中人脸图像的尺寸,以及在图像中的位置可能会存在较大的差异,所以第一图像中各个人脸像素点在第一图像中的位置与第二图像中各个人脸像素点在第二图像中的位置可能并不一致,导致第一人脸遮掩信息在于第二人脸遮掩信息进行融合时,第一人脸遮掩信息和第二人脸遮掩信息中位置相同的概率值分别对应的像素点并不一定属于相同的人脸区域,例如第一人脸遮掩信息A位置对应的第一图像中A位置的像素点可能是人脸图像中鼻子区域的像素点,而第二人脸遮掩信息A位置对应的第二图像中A位置的像素点可能是人脸图像中嘴部区域的像素点,或者有可能并不属于人脸图像的像素点。为了解决这一问题,可以在对第一人脸遮掩信息和第二人脸遮掩信息进行融合之前,先将第一图像中的人脸图像调整至预设人脸尺寸,得到第三图像,其中,预设人脸尺寸为预设人脸模版对应的人脸尺寸,在预设人脸模版中,第三图像可以是截取的人脸轮廓范围内的图像,也可以是一个包括人脸轮廓和背景的图像。然后根据对第一图像中的人脸图像进行调整的第一调整信息,对第一人脸遮掩信息进行相应的调整,得到第三人脸遮掩信息,将第二图像中的人脸图像调整至同样的预设人脸尺寸,得到第四图像,其中第四图像可以是截取的人脸轮廓范围内的图像,也可以是一个包括人脸轮廓和背景的图像。然后根据对第二图像中的人脸图像进行调整的第二调整信息,对第二人脸遮掩信息进行相应的调整,得到第四人脸遮掩信息。这样得到的第三人脸遮掩信息和第四人脸遮掩信息中位置相同概率值分别对应的像素点属于相同的人脸区域的可能性较高。然后将第三人脸遮掩信息和第四人脸遮掩信息对应像素点的概率值相乘,得到第一图像以及第二图像对应的融合人脸遮掩信息。
可选的,将第一图像和第二图像中的人脸图像调整至预设人脸尺寸,以及得对应的第三人脸遮掩信息和第四人脸遮掩信息的方法可以如下:对第一图像进行人脸关键点检测,得到第一图像中人脸关键点的位置信息;基于第一图像中人脸关键点的位置信息与预设人脸尺寸的关键点位置信息,确定第一调整信息;基于第一调整信息将第一图像中的人脸图像调整至预设人脸尺寸得到第三图像,并基于第一调整信息将第一人脸遮掩信息调整至与第三图像对应的第三人脸遮掩信息。对第二图像进行人脸关键点检测,得到第二图像中人脸关键点的位置信息;基于第二图像中人脸关键点的位置信息与预设人脸尺寸的关键点位置信息,确定第二调整信息;基于第二调整信息将第二图像中的人脸图像调整至预设人脸尺寸得到第四图像,并基于第二调整信息将第二人脸遮掩信息调整至与第四图像对应的第四人脸遮掩信息。
在实施中,技术人员可以预先设置与预设的标准人脸模板对应的人脸图像中各个关键点的位置,例如鼻尖、眼角、嘴角等部位在人脸图像中的位置。在获取到第一图像之后,可以获取第一图像中的人脸图像,然后对第一图像中的人脸图像进行人脸关键点检测,得到第一图像中人脸图像的人脸关键点的位置,然后将第一图像中人脸图像的人脸关键点的位置以及标准人脸模板对应的人脸图像中各个关键点的位置确定对应的仿射变换矩阵(即第一调整信息),通过仿射变换矩阵与第一图像中的各个像素点的位置相乘得到对第一图像各个像素点位置进行调节之后的图像,即得到第三图像。然后将第一遮掩信息的各个位置与第一图像对应的仿射变换矩阵进行相乘,得到第三图像对应的第三人脸遮掩信息。同样,在获取到第二图像之后,可以获取第二图像中的人脸图像,然后对第二图像中的人脸图像进行人脸关键点检测,得到第二图像中人脸图像的人脸关键点的位置,然后将第二图像中人脸图像的人脸关键点的位置以及标准人脸模板对应的人脸图像中各个关键点的位置确定对应的仿射变换矩阵(即第二调整信息),然后通过仿射变换矩阵与第二图像中的各个像素点的位置相乘得到对第二图像各个像素点位置进行调节之后的图像,即得到第四图像。然后将第二遮掩信息的各个位置与第二图像对应的仿射变换矩阵进行相乘,得到第四图像对应的第四人脸遮掩信息。
可选的,本申请实施例还提供了另一种将第一图像和第二图像中的人脸图像调整至预设人脸尺寸,以及得到对应的第三人脸遮掩信息和第四人脸遮掩信息的方法。可以通过3D(3dimensional,三维)人脸建模模型,建立第一图像和/或第二图像的中对应人脸图像的3D模型,再通过第一图像对应人脸图像的3D模型与第二图像对应人脸图像的3D模型将第一图像和第二图像中对应的人脸图像调整至预设人脸尺寸。
在实施中,将第一图像和第二图像输入到3D人脸建模模型中,得到第一图像和第二图像的中对应人脸图像的3D模型,其中,第一图像对应的人脸图像的3D模型中的各个空间点的位置为第一图像中人脸图像的各个像素点对应的空间位置,第二图像对应的人脸图像的3D模型中的各个空间点位置为第二图像中人脸图像的各个像素点对应的空间位置。
技术人员可以预设标准人脸3D模型,其中,标准人脸3D模型为对应的人脸尺寸与预设人脸尺寸相同。在得到第一图像和第二图像的中对应人脸图像的3D模型之后,可以根据第一图像中的人脸图像的3D模型中的各个关键点的空间位置与标准人脸3D模型的各个关键点的位置,得到对应的第一转换矩阵。其中,可以预先对第一图像进行人脸关键点检测,得到第一图像对应的人脸关键点检测,第一图像中的人脸图像的3D模型中的各个关键点的空间位置即为第一图像对应的人脸关键点对应的第一图像中的人脸图像的3D模型中的各个空间点。标准人脸3D模型的各个关键点的位置可以由技术人员预先设置。然后根据第一图像中的人脸图像的3D模型中的各关键点的空间位置与标准人脸3D模型中的各关键点的空间位置,得到对第一图像中的人脸图像的3D模型的第一调节矩阵,根据第一调节矩阵将第一图像中的人脸图像的3D模型的调整至与标准人脸3D模型对齐,即人脸图像的3D模型与标准人脸3D模型尺寸、面部朝向等一致,最后再将调整之后的第一图像中的人脸图像的3D模型,通过Z-buffer等渲染技术渲染至二维平面,得到对第一图像中人脸图像进行调节之后的人脸图像,即第三图像。然后根据第一图像中的人脸图像调节至第三图像的步骤,对第一遮掩信息进行同样的调节。即将第一遮掩信息中各个概率值对应的位置与第一转换矩阵、第一调节矩阵进行相乘,得到第一人脸遮掩信息对应的3D遮掩信息,其中,第一人脸遮掩信息对应的3D遮掩信息中的各个概率值的位置,与调整之后的第一图像中人脸图像的3D模型中各个空间点的位置相对应,第一人脸遮掩信息对应的3D遮掩信息中的各个概率值为对应第一图像中人脸图像的3D模型中各个空间点是否属于人脸空间点的概率值。然后通过Z-buffer(一种渲染算法)等渲染技术对第一人脸遮掩信息对应的3D遮掩信息进行渲染,得到第三人脸遮掩信息。
同样,可以根据第二图像中的人脸图像的3D模型中的各个关键点的空间位置与标准人脸3D模型的各个关键点的位置,得到对应的第二转换矩阵。其中,可以预先对第二图像进行人脸关键点检测,得到第二图像对应的人脸关键点检测,第二图像中的人脸图像的3D模型中的各个关键点的空间位置即为第二图像对应的人脸关键点对应的第二图像中的人脸图像的3D模型中的各个空间点。然后根据第二图像中的人脸图像的3D模型中的各关键点的空间位置与标准人脸3D模型中的各关键点的空间位置,得到对第二图像中的人脸图像的3D模型的第二调节矩阵,根据第二调节矩阵将第二图像中的人脸图像的3D模型的调整至与标准人脸3D模型对齐,即人脸图像的3D模型与标准人脸3D模型尺寸、面部朝向、旋转角度等一致,最后再将调整之后的第二图像中的人脸图像的3D模型,通过Z-buffer等渲染技术渲染至二维平面,得到对第二图像中人脸图像进行调节之后的人脸图像,即第四图像。然后根据第二图像中的人脸图像调节至第四图像的步骤,对第二遮掩信息进行同样的调节。即将第二遮掩信息中各个概率值对应的位置与第二转换矩阵、第二调节矩阵进行相乘,得到第二人脸遮掩信息对应的3D遮掩信息,其中,第二人脸遮掩信息对应的3D遮掩信息中的各个概率值的位置,与调整之后的第二图像中人脸图像的3D模型中各个空间点的位置相对应,第二人脸遮掩信息对应的3D遮掩信息中各个概率值为对应第二图像中人脸图像的3D模型中各个空间点是否属于人脸空间点的概率值。然后通过Z-buffer等渲染技术对第二人脸遮掩信息对应的3D遮掩信息进行渲染,得到第四人脸遮掩信息。
另外,由于将第一图像中的人脸图像的3D模型或第二图像中的人脸图像的3D模型的调整至与标准人脸3D模型对齐的过程中,可能需要对人脸图像的3D模型进行空间上的旋转,才能与标准人脸3D模型的面部朝向一致,但旋转之后的人脸图像的3D模型中可能会出现纹理缺失区域。例如在拍摄的第二图像中,由于拍摄角度等问题只拍摄到了持证人四分之三的侧脸,则将第二图像的人脸图像的3D模型旋转至与标准人脸3D模型的面部朝向一致,如标准人脸3D模型的面部朝向为正面,则调整之后的第二图像的人脸图像的3D模型中只对应有四分之三的侧脸对应的空间点,另外未拍摄到的四分之一的人脸则在3D模型中为纹理缺失区域。相应的,在第二人脸遮掩信息对应的3D遮掩信息中,对应3D模型中的纹理缺失区域,也会缺失对应的概率值,则可以将第二人脸遮掩信息对应的3D遮掩信息中对应纹理缺失区域的位置置为不可见,例如可以将第二人脸遮掩信息对应的3D遮掩信息中对应纹理缺失区域的位置填充数值为0的概率值。再然后通过Z-buffer等渲染技术将对应纹理缺失区域的位置置为不可见之后的第二人脸遮掩信息对应的3D遮掩信息进行渲染,得到对应的第四人脸遮掩信息。这样即能将人脸图像调整至正面便于之后进行人脸特征的对比,又能减少人脸图像因调整之后产生的纹理缺失区域对人脸特征对比结果的影响。
本申请实施例还提供了另一种确定第一图像以及第二图像对应的融合人脸遮掩信息的方式,如下:将第一图像中的人脸图像调整至预设人脸尺寸,得到第三图像,将第三图像输入至预先训练的人脸分析模型,得到第一人脸遮掩信息,其中,第一人脸遮掩信息为第三图像中各个像素点属于人脸像素点的概率值;将第二图像中的人脸图像调整至预设人脸尺寸,得到第四图像,将第四图像输入至预先训练的人脸分析模型,得到第二人脸遮掩信息,其中,第二人脸遮掩信息为第四图像中各个像素点属于人脸像素点的概率值。将第一人脸遮掩信息和第二人脸遮掩信息对应的像素点的概率值相乘,得到第一图像以及第二图像对应的融合人脸遮掩信息。
在实施中,获取到第一图像之后,可以对第一图像中的人脸图像进行人脸关键点检测,得到第一图像中人脸图像的人脸关键点的位置,然后将第一图像中人脸图像的人脸关键点的位置以及预设的标准人脸模板对应的人脸图像中各个关键点的位置确定对应的调整矩阵,然后通过调整矩阵与第一图像中的各个像素点的位置相乘,得到对第一图像中的人脸图像进行调整之后的图像,即得到第三图像,再将第三图像输入至预先训练的人脸分析模型,得到第三图像对应的第一人脸遮掩信息。获取到第二图像之后,可以对第二图像中的人脸图像进行人脸关键点检测,得到第二图像中人脸图像的人脸关键点的位置,然后将第二图像中人脸图像的人脸关键点的位置以及预设的标准人脸模板对应的人脸图像中各个关键点的位置确定对应的调整矩阵,然后通过调整矩阵与第二图像中的各个像素点的位置相乘,得到对第二图像中的人脸图像进行调整之后的图像,即得到第四图像,再将第四图像输入至预先训练的人脸分析模型,得到第二人脸图像对应的第二人脸遮掩信息。在获取到第三图像对应的第一人脸遮掩信息和第四图像对应的第二人脸遮掩信息之后,可以将然后将第一人脸遮掩信息和第一人脸遮掩信息对应像素点的概率值相乘,得到第一图像以及第二图像对应的融合人脸遮掩信息。
步骤104、基于融合人脸遮掩信息,提取第一图像中人脸图像的第一人脸特征信息以及第二图像中人脸图像的第二人脸特征信息。
在实施中,可以通过融合人脸遮掩信息提取第一图像中人脸图像中的第一人脸特征信息以及第二图像中人脸图像的第二人脸特征信息。第一人脸特征信息为第一图像中除被遮挡区域以及对应第二图像中人脸图像被遮挡区域之外的人脸图像对应的人脸特征信息,第二人脸特征信息为第二图像中除被遮挡区域以及对应第一图像中人脸图像被遮挡区域之外的人脸图像对应的人脸特征信息。如图2所示,在第一图像中的人脸图像的鼻子区域被沾染了墨水,在该区域为遮挡区域,如图3所示,在第二图像中由于持证人当时戴了墨镜,所以在第二图像中的人脸图像的眼镜区域为遮挡区域,所以第一图像和第二图像中的人脸图像可进行对比为区域为鼻子区域以及眼镜区域之外的人脸图像区域,如图4所示。
其中,可以将融合人脸遮掩信息进行二值化处理,得到二值化的融合人脸遮掩信息;基于二值化的融合人脸遮掩信息、第三图像、第四图像以及人脸特征提取模型,提取第一图像中人脸图像的第一人脸特征信息以及第二图像中人脸图像的第二人脸特征信息。
在实施中,融合人脸遮掩信息中包括的概率值可能是0-1的任一数值,也可能是0或1,当融合人脸遮掩信息中包括的概率值可能是0-1的任一数值时,可以对融合人脸遮掩信息进行二值化处理,例如技术人员可以通过预设概率值阈值,对融合人脸遮掩信息中的各概率值进行二值化处理,将大于或等于预设概率阈值的概率值置为1,将小于预设概率值的概率值置为0,得到二值化处理之后的二值化的融合人脸遮掩信息。然后通过二值化的融合人脸遮掩信息、第三图像、以及预先训练的人脸特征提取模型,确定对应的第一图像中人脸图像的第一人脸特征信息,通过二值化的融合人脸遮掩信息、第四图像、以及预先训练的人脸特征提取模型,确定对应的第二图像中人脸图像的第二人脸特征信息。
在本申请的可选实施例中,将融合人脸遮掩信息进行二值化处理,可以是将非人脸区域的概率值设置为0,将人脸区域的概率值设置为非0,这样就可以达到对非人脸区域进行抑制,降低人脸比对时人脸无效区域的干扰的目的。
其中提取第一人脸特征信息和第二人脸特征信息的方式可包括以下两种:
方式一:将第三图像中各像素点的像素值与二值化的融合人脸遮掩信息中对应的概率值进行相乘,得到第一人脸对比图像,将第一人脸对比图像输入到人脸特征提取模型中,得到第一图像中人脸图像对应的第一人脸特征信息;将第四图像中各像素点的像素值与二值化的融合人脸遮掩信息中对应的各概率值进行相乘,得到第二人脸对比图像,将第二人脸对比图像输入到人脸特征提取模型中,得到第二图像中人脸图像对应的第二人脸特征信息。
在实施中,可以将第三图像中各个像素点的像素值与二值化的融合人脸遮掩信息中对应的概率值进行相乘,得到第一人脸对比图像。由于在二值化的融合人脸遮掩信息对应遮掩区域的概率值为0,不属于遮掩区域对应的概率值为1,所以第三图像与二值化的融合人脸遮掩信息中对应的概率值进行相乘之后,第一人脸对比图像对应第三图像和第四图像中的遮掩区域中的像素值0,不属于遮掩区域的像素值不变。同样,可以将第四图像中各个像素点的像素值与二值化的融合人脸遮掩信息中对应的概率值进行相乘,得到第二人脸对比图像。由于在二值化的融合人脸遮掩信息对应遮掩区域的概率值为0,不属于遮掩区域对应的概率值为1,所以第四图像与二值化的融合人脸遮掩信息中对应的概率值进行相乘之后,第二人脸对比图像对应第三图像和第四图像中的遮掩区域中的像素值0,不属于遮掩区域的像素值不变。这样通过对第一人脸对比图像和第二人脸进行对比,可以减少第一图像中人脸图像中遮掩区域和第二图像中人脸图像中遮掩区域对对比结果产生的非正面影响。在得到第一人脸对比图像和第二人脸对比图像之后,可以分别提取第一人脸对比图像的第一人脸特征信息和第二人脸对比图像中的第二人脸特征信息,通过对比第一人脸特征信息和第二人脸特征信息确定第一图像和第二图像进行人脸对比的对比结果。
方式二:将二值化的融合人脸遮掩信息与第三图像输入到人脸特征提取模型,得到第一图像中人脸图像对应的第一人脸特征信息;将二值化的融合人脸遮掩信息与第四图像输入到人脸特征提取模型,得到第二图像中人脸图像对应的第二人脸特征信息。
在实施中,可以将二值化的融合人脸遮掩信息与第三图像输入到与预先训练的人脸特征提取模型中,通过人脸特征提取模型中的卷积神经网络对第一人脸图像进行卷积处理时得到的中间输出值与二值化的融合人脸遮掩信息进行掩模处理(空间位置点乘),抑制中间输出特征中遮挡区域的特征输出为0,最后由人脸特征提取模型输出第一图像中人脸的第一人脸特征信息。同样,可以将二值化的融合人脸遮掩信息与第四图像输入到与预先训练的人脸特征提取模型中,由人脸特征提取模型直接输出第二图像中人脸图像的第二人脸特征信息。
步骤105、基于第一人脸特征信息、第二人脸特征信息以及预先训练的人脸特征对比模型,确定第一图像与第二图像中人脸的对比结果。
在实施中,可以将第一人脸特征信息和第二人脸特征信息输入到预先训练的人脸特征对比模型中,得到第一人脸特征信息和第二人脸特征信息的相似度,由第一人脸特征信息和第二人脸特征信息的相似度确定第一图像与第二图像中人脸的对比结果。
其中得到人脸的对比结果的过程可以如下:基于第一人脸特征信息、第二人脸特征信息以及预先训练的人脸特征对比模型,确定第一图像与第二图像中人脸图像的第一相似度;如果第一相似度等于或高于预设相似度阈值,则确定人脸对比结果为第一图像中的人脸图像与第二图像中的人脸图像属于同一个人,如果第一相似度低于预设相似度阈值,则确定人脸对比结果为第一图像中的人脸图像与第二图像中的人脸图像不属于同一个人。
在实施中,在根据第一人脸特征信息、第二人脸特征信息以及预先训练的人脸特征对比模型,得到第一图像与第二图像中人脸图像的第一相似度之后,可以确定第一相似度与技术人员预设相似度阈值的关系,如果第一相似度等于或高于预设相似度阈值,则对比结果为第一图像中的人脸图像与第二图像中的人脸图像属于同一个人,如果第一相似度低于预设相似度阈值,则对比结果为第一图像中的人脸图像与第二图像中的人脸图像不属于同一个人。
另外,通过人脸特征对比模型得到第一人脸特征信息与第二人脸特征信息的相似度之后,可以通过融合人脸遮掩信息确定对相似度进行调整的相似度调节参数,相应的处理如下:将第一人脸特征信息与第二人脸特征信息输入到预先训练的人脸特征对比模型,得到第一图像与第二图像中人脸图像的第二相似度;确定融合人脸遮掩信息中包括的第一人脸图像与第二人脸图像相对应的各预设区域内像素点的概率值集合;确定每个概率值集合中概率值高于预设概率值的占比,并确定各个概率值集合的占比超出预设占比的数目;基于数目确定对应的相似度调节参数;将第二相似度与相似度调节参数求和,得到第一图像与第二图像中人脸图像的第一相似度。
在实施中,可以将第一人脸特征信息与第二人脸特征信息输入到预先训练的人脸特征对比模型,由人脸特征对比模型输出第一图像与第二图像人脸图像的相似度(即第二相似度)。然后可以根据融合人脸特征信息确定相似度调整参数。可以确定融合人脸特征信息中对应第一人脸图像与第二人脸图像中预设区域的概率值集合,其中,预设区域可以是预设的嘴角区域、鼻尖区域、眼角区域等。然后确定各个概率值集合中个概率值高于预设概率值的占比,其中预设概率值可以由技术人员根据经验进行设置,也可以使用大量样本统计后得出,此处不对预设概率值的具体数值进行限制。然后确定概率值集合的占比超出预设占比的数目。再根据以下公式求出第一图像与第二图像中人脸图像的第一相似度,公式如下:
Figure BDA0002597425540000191
其中,X为第一相似度,Y为第二相似度,a为概率值集合的占比超出预设占比的数目,b为预设基准数值。
本申请实施例,通过获取目标证件对应的第一图像的第一人脸遮掩信息以及目标证件的持证人的第二图像的第二人脸遮掩信息,再通过将第一人脸遮掩信息和第二人脸遮掩信息进行融合得到对应的融合人脸遮掩信息,这样在融合人脸遮掩信息中可以包括第一图像中人脸图像的遮掩区域以及第二图像中人脸图像的遮掩区域,则根据融合人脸遮掩信息提取第一图像和第二图像中人脸图像的人脸特征信息中只包括人脸图像中不属于遮掩区域对应的人脸特征信息,这样在对第一图像和第二图像中人脸图像进行对比时,能够减少因人脸图像中部分区域被遮掩导致人脸对比结果准确性的下降。
上述所有可选技术方案,可以采用任意结合形成本公开的可选实施例,在此不再一一赘述。
图5是本申请实施例提供的一种确定人脸对比结果的装置,该装置可以是上述实施例中的终端,或是实施例中的终端和服务器,如图5所示,该装置包括包括图像传感器510和处理器520,其中,
所述图像传感器510用于:采集目标证件的持证人的第二图像;
所述处理器520用于:获取所述目标证件对应的第一图像和所述第二图像;基于所述第一图像与所述第二图像以及预先训练的人脸分析模型,确定与所述第一图像对应的第一人脸遮掩信息,以及与所述第二图像对应的第二人脸遮掩信息;基于所述第一人脸遮掩信息与所述第二人脸遮掩信息,确定所述第一图像以及所述第二图像对应的融合人脸遮掩信息;基于所述融合人脸遮掩信息,提取所述第一图像中人脸图像的第一人脸特征信息以及所述第二图像中人脸图像的第二人脸特征信息;基于所述第一人脸特征信息、所述第二人脸特征信息以及预先训练的人脸特征对比模型,确定所述第一图像与所述第二图像的人脸对比结果。
可选的,所述图像传感器510还用于:采集所述目标证件对应的第一图像;
所述处理器520用于:获取所述图像触感器采集的所述第一图像和所述第二图像;
可选的,所述装置还包括收发器和输入部件;
所述输入部件用于:接收所述持证人输入的所述目标证件的证件号;
所述处理器520用于:通过所述收发器向服务器发送携带所述证件号的图像获取请求,获取所述收发器接收的与所述证件号对应的第一图像。
可选的,所述装置还包括读卡器,用于:读取存储卡中存储的与所述目标证件对应的第一图像;
所述处理器用于:获取所述读卡器读取的与所述目标证件对应的第一图像。
可选的上述输入部件可以是触摸屏、键盘、鼠标、触控球、遥控器、语音录入设备等设备中的任意一种或多种。
示例性的,读卡器读取目标证件中的身份信息后,将身份信息发给处理器,处理器基于该身份信息通过收发器从服务器中获取第一图像。相机拍摄手持目标证件的人员脸部,采集到目标证件对应的第二图像,并发送给处理器。处理器基于所述第一图像与所述第二图像以及预先训练的人脸分析模型,确定与所述第一图像对应的第一人脸遮掩信息,以及与所述第二图像对应的第二人脸遮掩信息;基于所述第一人脸遮掩信息与所述第二人脸遮掩信息,确定所述第一图像以及所述第二图像对应的融合人脸遮掩信息;基于所述融合人脸遮掩信息,提取所述第一图像中人脸图像的第一人脸特征信息以及所述第二图像中人脸图像的第二人脸特征信息;基于所述第一人脸特征信息、所述第二人脸特征信息以及预先训练的人脸特征对比模型,确定所述第一图像与所述第二图像的人脸对比结果。
需要说明的是:上述实施例提供的确定人脸对比结果的装置在确定人脸对比结果时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的确定人脸对比结果的装置与确定人脸对比结果的方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
图6是本申请实施例提供的一种计算机设备的结构示意图,该服务器600可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(Central ProcessingUnits,CPU)601和一个或一个以上的存储器602,其中,所述存储器1002中存储有至少一条指令,所述至少一条指令由所述处理器601加载并执行以实现上述各个方法实施例提供的方法。当然,该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件,以便进行输入输出,该服务器还可以包括其他用于实现设备功能的部件,在此不做赘述。
在示例性实施例中,还提供了一种计算机可读存储介质,例如包括指令的存储器,上述指令可由终端中的处理器执行以完成上述实施例中确定人脸对比结果的方法。该计算机可读存储介质可以是非暂态的。例如,所述计算机可读存储介质可以是ROM(Read-OnlyMemory,只读存储器,)、RAM(Random Access Memory,随机存取存储器)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本申请的较佳实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (10)

1.一种确定人脸对比结果的方法,其特征在于,所述方法包括:
获取目标证件对应的第一图像、以及所述目标证件的持证人的第二图像;
基于所述第一图像与所述第二图像以及预先训练的人脸分析模型,确定与所述第一图像对应的第一人脸遮掩信息,以及与所述第二图像对应的第二人脸遮掩信息;
基于所述第一人脸遮掩信息与所述第二人脸遮掩信息,确定所述第一图像以及所述第二图像对应的融合人脸遮掩信息;
基于所述融合人脸遮掩信息,提取所述第一图像中人脸图像的第一人脸特征信息以及所述第二图像中人脸图像的第二人脸特征信息;
基于所述第一人脸特征信息、所述第二人脸特征信息以及预先训练的人脸特征对比模型,确定所述第一图像与所述第二图像的人脸对比结果。
2.根据权利要求1所述的方法,其特征在于,其中,所述第一人脸遮掩信息为所述第一图像中各个像素点属于人脸像素点的概率值,所述第二人脸遮掩信息为所述第二图像中各个像素点属于人脸像素点的概率值,所述基于所述第一人脸遮掩信息与所述第二人脸遮掩信息,确定所述第一图像以及所述第二图像对应的融合人脸遮掩信息,包括:
将所述第一图像中的人脸图像调整至预设人脸尺寸,得到第三图像,并将所述第一人脸遮掩信息调整至与所述第三图像对应的第三人脸遮掩信息,其中,所述第三人脸遮掩信息为所述第三图像中各个像素点属于人脸像素点的概率值;
将所述第二图像中的人脸图像调整至所述预设人脸尺寸,得到第四图像,并将所述第二人脸遮掩信息调整至与所述第四图像对应的第四人脸遮掩信息,其中,所述第四人脸遮掩信息为所述第四图像中各个像素点属于人脸像素点的概率值;
将所述第三人脸遮掩信息和所述第四人脸遮掩信息对应像素点的概率值相乘,得到所述第一图像以及所述第二图像对应的融合人脸遮掩信息。
3.根据权利要求2所述的方法,其特征在于,所述将所述第一图像中的人脸图像调整至预设人脸尺寸,得到第三图像,并将第一人脸遮掩信息调整至于与所述第三图像对应的第三人脸遮掩信息,包括:
对所述第一图像进行人脸关键点检测,得到所述第一图像中人脸关键点的位置信息;
基于所述第一图像中人脸关键点的位置信息与预设人脸尺寸的关键点位置信息,确定第一调整信息;
基于所述第一调整信息将所述第一图像中的人脸图像调整至所述预设人脸尺寸得到所述第三图像,并基于所述第一调整信息将所述第一人脸遮掩信息调整至与所述第三图像对应的第三人脸遮掩信息;
所述将所述第二图像中的人脸图像调整至所述预设人脸尺寸,得到第四图像,并将所述第二人脸遮掩信息调整至与所述第四图像对应的第四人脸遮掩信息,包括:
对所述第二图像进行人脸关键点检测,得到所述第二图像中人脸关键点的位置信息;
基于所述第二图像中人脸关键点的位置信息与预设人脸尺寸的关键点位置信息,确定第二调整信息;
基于所述第二调整信息将所述第二图像中的人脸图像调整至所述预设人脸尺寸得到所述第四图像,并基于所述第二调整信息将所述第二人脸遮掩信息调整至与所述第四图像对应的第四人脸遮掩信息。
4.根据权利要求2所述的方法,其特征在于,所述基于所述融合人脸遮掩信息,提取所述第一图像中人脸图像的第一人脸特征信息以及所述第二图像中人脸图像的第二人脸特征信息,包括:
将所述融合人脸遮掩信息进行二值化处理,得到二值化的融合人脸遮掩信息;
基于所述二值化的融合人脸遮掩信息、所述第三图像、所述第四图像以及人脸特征提取模型,提取所述第一图像中人脸图像的第一人脸特征信息以及所述第二图像中人脸图像的第二人脸特征信息。
5.根据权利要求1所述的方法,其特征在于,所述基于所述第一人脸特征信息、所述第二人脸特征信息以及预先训练的人脸特征对比模型,确定所述第一图像与所述第二图像的人脸对比结果,包括:
基于所述第一人脸特征信息、所述第二人脸特征信息以及预先训练的人脸特征对比模型,确定所述第一图像与所述第二图像中人脸图像的第一相似度;
如果所述第一相似度等于或高于预设相似度阈值,则确定所述人脸对比结果为所述第一图像中的人脸图像与所述第二图像中的人脸图像属于同一个人,如果所述第一相似度低于所述预设相似度阈值,则确定所述人脸对比结果为所述第一图像中的人脸图像与所述第二图像中的人脸图像不属于同一个人。
6.根据权利要求5所述的方法,其特征在于,所述基于所述第一人脸特征信息、所述第二人脸特征信息以及预先训练的人脸特征对比模型,确定所述第一图像与所述第二图像中人脸图像的第一相似度,包括:
将所述第一人脸特征信息与所述第二人脸特征信息输入到预先训练的人脸特征对比模型,得到所述第一图像与所述第二图像中人脸图像的第二相似度;
确定所述融合特征信息中包括的所述第一人脸图像与所述第二人脸图像相对应的各预设区域内像素点的概率值集合;
确定每个概率值集合中概率值高于预设概率值的占比,并确定各个概率值集合的占比超出预设占比的数目;
基于所述数目确定对应的相似度调节参数;
将所述第二相似度与所述相似度调节参数求和,得到所述第一图像与所述第二图像中人脸图像的第一相似度。
7.一种确定人脸对比结果的装置,其特征在于,所述装置包括图像传感器和处理器,其中,
所述图像传感器用于:采集目标证件的持证人的第二图像;
所述处理器用于:获取所述目标证件对应的第一图像和所述第二图像;基于所述第一图像与所述第二图像以及预先训练的人脸分析模型,确定与所述第一图像对应的第一人脸遮掩信息,以及与所述第二图像对应的第二人脸遮掩信息;基于所述第一人脸遮掩信息与所述第二人脸遮掩信息,确定所述第一图像以及所述第二图像对应的融合人脸遮掩信息;基于所述融合人脸遮掩信息,提取所述第一图像中人脸图像的第一人脸特征信息以及所述第二图像中人脸图像的第二人脸特征信息;基于所述第一人脸特征信息、所述第二人脸特征信息以及预先训练的人脸特征对比模型,确定所述第一图像与所述第二图像的人脸对比结果。
8.根据权利要求7所述的装置,其特征在于,所述图像传感器还用于:采集所述目标证件对应的第一图像;
所述处理器用于:获取所述图像触感器采集的所述第一图像和所述第二图像。
9.根据权利要求7所述的装置,其特征在于,所述装置还包括收发器和输入部件;
所述输入部件用于:接收所述持证人输入的所述目标证件的证件号;
所述处理器用于:通过所述收发器向服务器发送携带所述证件号的图像获取请求,获取所述收发器接收的与所述证件号对应的第一图像。
10.根据权利要求7所述的装置,其特征在于,所述装置还包括读卡器,用于:读取存储卡中存储的与所述目标证件对应的第一图像;
所述处理器用于:获取所述读卡器读取的与所述目标证件对应的第一图像。
CN202010713646.XA 2020-07-22 2020-07-22 确定人脸对比结果的方法及装置 Active CN111860343B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010713646.XA CN111860343B (zh) 2020-07-22 2020-07-22 确定人脸对比结果的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010713646.XA CN111860343B (zh) 2020-07-22 2020-07-22 确定人脸对比结果的方法及装置

Publications (2)

Publication Number Publication Date
CN111860343A true CN111860343A (zh) 2020-10-30
CN111860343B CN111860343B (zh) 2023-04-28

Family

ID=72950282

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010713646.XA Active CN111860343B (zh) 2020-07-22 2020-07-22 确定人脸对比结果的方法及装置

Country Status (1)

Country Link
CN (1) CN111860343B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014186422A1 (en) * 2013-05-14 2014-11-20 Google Inc. Image masks for face-related selection and processing in images
CN104751108A (zh) * 2013-12-31 2015-07-01 汉王科技股份有限公司 人脸图像识别装置和人脸图像识别方法
KR20160122323A (ko) * 2015-04-13 2016-10-24 한밭대학교 산학협력단 지역 윤곽 패턴을 이용한 얼굴 특징 추출 방법 및 이를 이용한 얼굴 인식 방법
WO2017000218A1 (zh) * 2015-06-30 2017-01-05 北京旷视科技有限公司 活体检测方法及设备、计算机程序产品
CN107292287A (zh) * 2017-07-14 2017-10-24 深圳云天励飞技术有限公司 人脸识别方法、装置、电子设备及存储介质
CN107516076A (zh) * 2017-08-10 2017-12-26 苏州妙文信息科技有限公司 人像识别方法及装置
CN108875533A (zh) * 2018-01-29 2018-11-23 北京旷视科技有限公司 人脸识别的方法、装置、系统及计算机存储介质
CN110569731A (zh) * 2019-08-07 2019-12-13 北京旷视科技有限公司 一种人脸识别方法、装置及电子设备
CN110728330A (zh) * 2019-10-23 2020-01-24 腾讯科技(深圳)有限公司 基于人工智能的对象识别方法、装置、设备及存储介质
CN111027504A (zh) * 2019-12-18 2020-04-17 上海眼控科技股份有限公司 人脸关键点检测方法、装置、设备及存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014186422A1 (en) * 2013-05-14 2014-11-20 Google Inc. Image masks for face-related selection and processing in images
CN104751108A (zh) * 2013-12-31 2015-07-01 汉王科技股份有限公司 人脸图像识别装置和人脸图像识别方法
KR20160122323A (ko) * 2015-04-13 2016-10-24 한밭대학교 산학협력단 지역 윤곽 패턴을 이용한 얼굴 특징 추출 방법 및 이를 이용한 얼굴 인식 방법
WO2017000218A1 (zh) * 2015-06-30 2017-01-05 北京旷视科技有限公司 活体检测方法及设备、计算机程序产品
CN107292287A (zh) * 2017-07-14 2017-10-24 深圳云天励飞技术有限公司 人脸识别方法、装置、电子设备及存储介质
CN107516076A (zh) * 2017-08-10 2017-12-26 苏州妙文信息科技有限公司 人像识别方法及装置
CN108875533A (zh) * 2018-01-29 2018-11-23 北京旷视科技有限公司 人脸识别的方法、装置、系统及计算机存储介质
CN110569731A (zh) * 2019-08-07 2019-12-13 北京旷视科技有限公司 一种人脸识别方法、装置及电子设备
CN110728330A (zh) * 2019-10-23 2020-01-24 腾讯科技(深圳)有限公司 基于人工智能的对象识别方法、装置、设备及存储介质
CN111027504A (zh) * 2019-12-18 2020-04-17 上海眼控科技股份有限公司 人脸关键点检测方法、装置、设备及存储介质

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
ADULWIT CHINAPAS等: "Personal Verification System Using ID Card and Face Photo", 《INTERNATIONAL JOURNAL OF MACHINE LEARNING AND COMPUTING》 *
WENTAO LIU等: "An Efficient Method for Occluded Face Recognition" *
严经纬等: "面部运动单元检测研究综述", 《计算机应用》 *
李根等: "基于思维进化的机器学习的遮挡人脸识别", 《吉林大学学报(工学版)》 *
武文杰等: "对遮挡人脸修复识别的改进与应用" *

Also Published As

Publication number Publication date
CN111860343B (zh) 2023-04-28

Similar Documents

Publication Publication Date Title
KR102147052B1 (ko) 얼굴 영상 기반의 감정 인식 시스템 및 방법
CN109558764B (zh) 人脸识别方法及装置、计算机设备
CN108985134B (zh) 基于双目摄像机的人脸活体检测及刷脸交易方法及系统
CN105740775B (zh) 一种三维人脸活体识别方法及其装置
CN110147721B (zh) 一种三维人脸识别方法、模型训练方法和装置
JP5629803B2 (ja) 画像処理装置、撮像装置、画像処理方法
WO2020018359A1 (en) Three-dimensional living-body face detection method, face authentication recognition method, and apparatuses
JP4743823B2 (ja) 画像処理装置、撮像装置、画像処理方法
RU2431190C2 (ru) Способ и устройство распознавания рельефности лица
Sepas-Moghaddam et al. Light field-based face presentation attack detection: reviewing, benchmarking and one step further
CN105740778B (zh) 一种改进的三维人脸活体检测方法及其装置
KR101781358B1 (ko) 디지털 영상 내의 얼굴 인식을 통한 개인 식별 시스템 및 방법
WO2019061658A1 (zh) 眼镜定位方法、装置及存储介质
KR20200118842A (ko) 신원 인증 방법 및 장치, 전자 기기 및 저장 매체
CN111695406B (zh) 一种基于红外线的人脸识别反欺骗方法、系统及终端
CN111222433B (zh) 自动人脸稽核方法、系统、设备及可读存储介质
CN107944395B (zh) 一种基于神经网络验证人证合一的方法及系统
CN110008943B (zh) 一种图像处理方法及装置、一种计算设备及存储介质
CN111382592B (zh) 活体检测方法和设备
JP3970573B2 (ja) 顔画像認識装置および方法
WO2002009024A1 (en) Identity systems
CN110738607A (zh) 基于人工智能拍摄驾驶证的方法、装置、设备及存储介质
CN111860343B (zh) 确定人脸对比结果的方法及装置
CN108875472B (zh) 图像采集装置及基于该图像采集装置的人脸身份验证方法
CN115205943A (zh) 图像处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant