CN106778525B - 身份认证方法和装置 - Google Patents

身份认证方法和装置 Download PDF

Info

Publication number
CN106778525B
CN106778525B CN201611060622.9A CN201611060622A CN106778525B CN 106778525 B CN106778525 B CN 106778525B CN 201611060622 A CN201611060622 A CN 201611060622A CN 106778525 B CN106778525 B CN 106778525B
Authority
CN
China
Prior art keywords
certificate
image
face
authenticated
person
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611060622.9A
Other languages
English (en)
Other versions
CN106778525A (zh
Inventor
陈可卿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kuangshi Technology Co Ltd
Beijing Megvii Technology Co Ltd
Original Assignee
Beijing Kuangshi Technology Co Ltd
Beijing Megvii Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kuangshi Technology Co Ltd, Beijing Megvii Technology Co Ltd filed Critical Beijing Kuangshi Technology Co Ltd
Priority to CN201611060622.9A priority Critical patent/CN106778525B/zh
Publication of CN106778525A publication Critical patent/CN106778525A/zh
Application granted granted Critical
Publication of CN106778525B publication Critical patent/CN106778525B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40Spoof detection, e.g. liveness detection
    • G06V40/45Detection of the body part being alive

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明的实施例提供了一种身份认证方法和装置。该方法包括:获取待认证人员的证件图像;判断证件图像中的证件是否为已认证证件,以获得证件认证结果;获取待认证人员的人脸图像;利用人脸图像进行活体检测,以获得活体检测结果;以及至少根据证件认证结果和活体检测结果确定待认证人员的身份是否合法。上述方法和装置结合已认证证件判断和活体检测来确定待认证人员的身份是否合法,因此与常规的单纯基于密码或证件进行身份认证的方式相比,根据本发明实施例的身份认证方法和装置的认证结果更准确,可以提高用户鉴权的安全性,从而可以有效保障用户的权益。

Description

身份认证方法和装置
技术领域
本发明涉及图像处理领域,更具体地涉及一种身份认证方法和装置。
背景技术
科技产品使用的社会化成为现代化社会生活的一道靓丽风景线,人们的衣食住行无不与科技密切相关,科技产品已经逐渐应用到社会生活的方方面面,成为现代人类日常生活不可缺少的重要组成部分。然而,人们在享受科学产品带来的福利的同时,也感受到了它所带来的负面问题,例如,信息安全问题。
目前许多领域均涉及信息安全问题,尤其在电子商务、移动支付、银行开户等技术领域,信息安全问题尤为突出。具体来说,目前,在上述领域中多数采用密码方式进行用户交互鉴权(也可以称为身份认证),也有采用刷证件的方式进行用户交互鉴权的。上述两种方式都有一定的弊端,前者需要用户牢记密码,而且每次输密码较为繁琐,一旦密码被非法分子盗取,更将给用户造成隐私或财产的损失,而对于后者来说,证件容易被伪造或冒用,其安全性较低。因此,有必要提出一种方便安全的身份认证方法或系统,以应用于电子商务、移动支付、银行开户等技术领域。
发明内容
考虑到上述问题而提出了本发明。本发明提供了一种身份认证方法和装置。
根据本发明一方面,提供了一种身份认证方法。该方法包括:获取待认证人员的证件图像;判断证件图像中的证件是否为已认证证件,以获得证件认证结果;获取待认证人员的人脸图像;利用人脸图像进行活体检测,以获得活体检测结果;以及至少根据证件认证结果和活体检测结果确定待认证人员的身份是否合法。
示例性地,在至少根据证件认证结果和活体检测结果确定待认证人员的身份是否合法之前,身份认证方法还包括:利用证件图像和/或人脸图像执行附加判断操作,以获得附加判断结果;至少根据证件认证结果和活体检测结果确定待认证人员的身份是否合法包括:根据证件认证结果、活体检测结果和附加判断结果确定待认证人员的身份是否合法。
示例性地,附加判断操作包括证件真伪判断操作和/或人脸一致性判断操作,并且附加判断结果包括证件真伪判断结果和/或人脸一致性判断结果,证件真伪判断操作包括:判断证件图像中的证件是否为真实证件,以获得证件真伪判断结果;人脸一致性判断操作包括:根据证件图像获取待认证人员的证件人脸;以及将待认证人员的证件人脸与人脸图像中的人脸进行对比,以获得人脸一致性判断结果。
示例性地,根据证件图像获取待认证人员的证件人脸包括:从证件图像中检测人脸,以获得待认证人员的证件人脸。
示例性地,根据证件图像获取待认证人员的证件人脸包括:对所述证件图像进行文字识别,以获得所述证件图像中的文字信息;基于证件图像中的文字信息从已认证证件信息数据库中搜索匹配的证件信息;以及确定搜索到的、匹配的证件信息中的证件人脸为待认证人员的证件人脸。
示例性地,判断证件图像中的证件是否为真实证件,以获得证件真伪判断结果包括:提取证件图像的图像特征;以及将图像特征输入训练好的证件分类器,以获得证件真伪判断结果;其中,证件真伪判断结果为证件图像中的证件是真实证件的置信度。
示例性地,判断证件图像中的证件是否为真实证件,以获得证件真伪判断结果包括:从证件图像中识别包含证件标识信息的图像块;以及对包含证件标识信息的图像块中的证件标识信息进行识别,以获得证件真伪判断结果;其中,证件真伪判断结果为证件图像中的证件是真实证件的置信度。
示例性地,在根据证件认证结果、活体检测结果和附加判断结果确定待认证人员的身份是否合法的过程中,证件认证结果、活体检测结果和附加判断结果中的每个结果具有各自的权重系数。
示例性地,获取待认证人员的证件图像包括:实时采集当前拍摄条件下的待认证人员的证件的预拍摄图像;实时评估预拍摄图像的图像属性;当预拍摄图像的图像属性的评估值小于预设的评估值阈值时,根据预拍摄图像的图像属性生成提示信息,用于提示待认证人员调整其证件的拍摄条件;以及当预拍摄图像的图像属性的评估值等于或大于预设的评估值阈值时,保存预拍摄图像以将其作为证件图像。
示例性地,判断证件图像中的证件是否为已认证证件,以获得证件认证结果包括:对证件图像进行文字识别,以获得证件图像中的文字信息;以及基于证件图像中的文字信息在已认证证件信息数据库中进行搜索,以获得证件认证结果;其中,证件认证结果为证件图像中的证件是已认证证件的置信度。
示例性地,对证件图像进行文字识别,以获得证件图像中的文字信息包括:对证件图像中的文字进行定位,以获得包含文字的图像块;以及对包含文字的图像块中的文字进行识别,以获得证件图像中的文字信息。
示例性地,在对包含文字的图像块中的文字进行识别之前,身份认证方法还包括:将包含文字的图像块校正为水平状态。
示例性地,在对包含文字的图像块中的文字进行识别,以获得证件图像中的文字信息之后,所述对所述证件图像进行文字识别,以获得所述证件图像中的文字信息还包括:输出证件图像中的文字信息,以供用户查看;接收用户输入的文字修正信息;将文字修正信息所指示的待修正文字与证件图像中的文字信息中的对应文字进行对比;以及如果文字修正信息所指示的待修正文字与证件图像中的文字信息中的对应文字之间的差异小于预设的差异阈值,则利用文字修正信息更新证件图像中的文字信息。
示例性地,在获取待认证人员的人脸图像之前或在该步骤的实施过程中,身份认证方法还包括:生成活体动作指令,活体动作指令用于指示待认证人员执行对应的活体动作;获取待认证人员的人脸图像包括:获取实时采集的待认证人员的人脸图像;利用人脸图像进行活体检测,以获得活体检测结果包括:检测人脸图像中的人脸;以及判断人脸图像中的人脸是否执行活体动作指令所指示的活体动作,以获得活体检测结果。
示例性地,在获取待认证人员的人脸图像之前或在该步骤的实施过程中,身份认证方法还包括:生成活体动作指令,活体动作指令用于指示待认证人员执行对应的活体动作;获取待认证人员的人脸图像包括:获取实时采集的待认证人员的人脸图像;利用人脸图像进行活体检测,以获得活体检测结果包括:从所采集的人脸图像中捕捉待认证人员执行活体动作前的皮肤区域图像和执行活体动作后的皮肤区域图像;以及将待认证人员执行活体动作前的皮肤区域图像和执行活体动作后的皮肤区域图像输入皮肤弹性分类器,以获得活体检测结果。
示例性地,身份认证方法包括:获取真实人员执行活体动作前的人脸图像和执行活体动作后的人脸图像,以及虚假人员执行活体动作前的人脸图像和执行活体动作后的人脸图像;从真实人员执行活体动作前的人脸图像和执行活体动作后的人脸图像中提取真实人员执行活体动作前的人脸图像和执行活体动作后的皮肤区域图像作为正样本图像;从虚假人员执行活体动作前的人脸图像和执行活体动作后的人脸图像中提取虚假人员执行活体动作前的人脸图像和执行活体动作后的皮肤区域图像作为负样本图像;以及利用正样本图像和负样本图像训练分类器模型,以获得皮肤弹性分类器。
示例性地,从所采集的人脸图像中捕捉待认证人员执行活体动作前的皮肤区域图像和执行活体动作后的皮肤区域图像包括:从所采集的人脸图像中选择待认证人员执行活体动作前的人脸图像和执行活体动作后的人脸图像;利用人脸检测模型对在待认证人员执行活体动作前的人脸图像和执行活体动作后的人脸图像中的人脸进行定位;利用人脸关键点定位模型对在待认证人员执行活体动作前的人脸图像和执行活体动作后的人脸图像中的人脸的关键点进行定位;以及根据定位获得的人脸位置和关键点位置对在待认证人员执行活体动作前的人脸图像和执行活体动作后的人脸图像中的人脸进行区域划分,以获得待认证人员执行活体动作前的皮肤区域图像和执行活体动作后的皮肤区域图像。
示例性地,身份认证方法还包括:获取样本人脸图像,样本人脸图像中的人脸的位置和人脸的关键点的位置是已标注好的;以及利用样本人脸图像进行神经网络训练,以获得人脸检测模型和人脸关键点定位模型。
示例性地,获取待认证人员的人脸图像包括:使用结构光照射所述待认证人员的人脸;获取由双目摄像头采集的结构光照射下的人脸图像;利用人脸图像进行活体检测,以获得活体检测结果包括:根据人脸图像确定待认证人员的人脸是否属于活体,以获得活体检测结果。
根据本发明另一方面,提供了一种身份认证装置。该装置包括:证件图像获取模块,用于获取待认证人员的证件图像;已认证证件判断模块,用于判断证件图像中的证件是否为已认证证件,以获得证件认证结果;人脸图像获取模块,用于获取待认证人员的人脸图像;活体检测模块,用于利用人脸图像进行活体检测,以获得活体检测结果;以及身份确定模块,用于至少根据证件认证结果和活体检测结果确定待认证人员的身份是否合法。
示例性地,身份认证装置还包括:附加判断模块,用于利用证件图像和/或人脸图像执行附加判断操作,以获得附加判断结果;身份确定模块包括:身份确定子模块,用于根据证件认证结果、活体检测结果和附加判断结果确定待认证人员的身份是否合法。
示例性地,附加判断模块包括证件真伪判断子模块和/或人脸一致性判断子模块,证件真伪判断子模块用于执行证件真伪判断操作,人脸一致性判断子模块用于执行人脸一致性判断操作,并且附加判断结果包括证件真伪判断结果和/或人脸一致性判断结果,证件真伪判断子模块包括:证件真伪判断单元,用于判断证件图像中的证件是否为真实证件,以获得证件真伪判断结果;人脸一致性判断子模块包括:证件人脸获取单元,用于根据证件图像获取待认证人员的证件人脸;以及人脸对比单元,用于将待认证人员的证件人脸与人脸图像中的人脸进行对比,以获得人脸一致性判断结果。
示例性地,证件人脸获取单元包括:证件人脸检测子单元,用于从证件图像中检测人脸,以获得待认证人员的证件人脸。
示例性地,证件人脸获取单元包括:文字识别子模块,用于对所述证件图像进行文字识别,以获得所述证件图像中的文字信息;搜索子单元,用于基于证件图像中的文字信息从已认证证件信息数据库中搜索匹配的证件信息;以及证件人脸确定子单元,用于确定搜索到的、匹配的证件信息中的证件人脸为待认证人员的证件人脸。
示例性地,证件真伪判断单元包括:特征提取子单元,用于提取证件图像的图像特征;以及输入子单元,用于将图像特征输入训练好的证件分类器,以获得证件真伪判断结果;其中,证件真伪判断结果为证件图像中的证件是真实证件的置信度。
示例性地,证件真伪判断单元包括:图像块识别子单元,用于从证件图像中识别包含证件标识信息的图像块;以及标识信息识别子单元,用于对包含证件标识信息的图像块中的证件标识信息进行识别,以获得证件真伪判断结果;其中,证件真伪判断结果为证件图像中的证件是真实证件的置信度。
示例性地,在身份确定子模块根据证件认证结果、活体检测结果和附加判断结果确定待认证人员的身份是否合法的过程中,证件认证结果、活体检测结果和附加判断结果中的每个结果具有各自的权重系数。
示例性地,证件图像获取模块包括:采集子模块,用于实时采集当前拍摄条件下的待认证人员的证件的预拍摄图像;评估子模块,用于实时评估预拍摄图像的图像属性;提示子模块,用于当预拍摄图像的图像属性的评估值小于预设的评估值阈值时,根据预拍摄图像的图像属性生成提示信息,用于提示待认证人员调整其证件的拍摄条件;以及保存子模块,用于当预拍摄图像的图像属性的评估值等于或大于预设的评估值阈值时,保存预拍摄图像以将其作为证件图像。
示例性地,已认证证件判断模块包括:文字识别子模块,用于对证件图像进行文字识别,以获得证件图像中的文字信息;以及搜索子模块,用于基于证件图像中的文字信息在已认证证件信息数据库中进行搜索,以获得证件认证结果;其中,证件认证结果为证件图像中的证件是已认证证件的置信度。
示例性地,文字识别子模块包括:文字定位单元,用于对证件图像中的文字进行定位,以获得包含文字的图像块;以及文字识别单元,用于对包含文字的图像块中的文字进行识别,以获得证件图像中的文字信息。
示例性地,身份认证装置还包括:文字校正模块,用于在文字识别单元对包含文字的图像块中的文字进行识别之前,将包含文字的图像块校正为水平状态。
示例性地,文字识别子模块还包括:文字输出单元,用于输出证件图像中的文字信息,以供用户查看;修正信息接收单元,用于接收用户输入的文字修正信息;文字对比单元,用于将文字修正信息所指示的待修正文字与证件图像中的文字信息中的对应文字进行对比;以及文字更新单元,用于如果文字修正信息所指示的待修正文字与证件图像中的文字信息中的对应文字之间的差异小于预设的差异阈值,则利用文字修正信息更新证件图像中的文字信息。
示例性地,身份认证装置还包括:指令生成模块,用于在人脸图像获取模块获取待认证人员的人脸图像之前或在人脸图像获取模块获取待认证人员的人脸图像的过程中,生成活体动作指令,活体动作指令用于指示待认证人员执行对应的活体动作;人脸图像获取模块包括:人脸图像获取子模块,用于获取实时采集的待认证人员的人脸图像;活体检测模块包括:人脸检测子模块,用于检测人脸图像中的人脸;以及活体动作执行判断子模块,用于判断人脸图像中的人脸是否执行活体动作指令所指示的活体动作,以获得活体检测结果。
示例性地,身份认证装置还包括:指令生成模块,用于在人脸图像获取模块获取待认证人员的人脸图像之前或在人脸图像获取模块获取待认证人员的人脸图像的过程中,生成活体动作指令,活体动作指令用于指示待认证人员执行对应的活体动作;人脸图像获取模块包括:人脸图像获取子模块,用于获取实时采集的待认证人员的人脸图像;活体检测模块包括:皮肤区域捕捉子模块,用于从所采集的人脸图像中捕捉待认证人员执行活体动作前的皮肤区域图像和执行活体动作后的皮肤区域图像;以及输入子模块,用于将待认证人员执行活体动作前的皮肤区域图像和执行活体动作后的皮肤区域图像输入皮肤弹性分类器,以获得活体检测结果。
示例性地,皮肤区域捕捉子模块包括:图像选择单元,用于从所采集的人脸图像中选择待认证人员执行活体动作前的人脸图像和执行活体动作后的人脸图像;人脸定位单元,用于利用人脸检测模型对在待认证人员执行活体动作前的人脸图像和执行活体动作后的人脸图像中的人脸进行定位;关键点定位单元,用于利用人脸关键点定位模型对在待认证人员执行活体动作前的人脸图像和执行活体动作后的人脸图像中的人脸的关键点进行定位;以及皮肤区域获得单元,用于根据定位获得的人脸位置和关键点位置对在待认证人员执行活体动作前的人脸图像和执行活体动作后的人脸图像中的人脸进行区域划分,以获得待认证人员执行活体动作前的皮肤区域图像和执行活体动作后的皮肤区域图像。
示例性地,人脸图像获取模块包括:结构光发射模块,用于发射结构光照射所述待认证人员的人脸;人脸图像获取子模块,用于获取由双目摄像头采集的结构光照射下的人脸图像;活体检测模块包括:活体确定子模块,用于根据人脸图像确定待认证人员的人脸是否属于活体,以获得活体检测结果。
根据本发明实施例的身份认证方法和装置,结合已认证证件判断和活体检测来确定待认证人员的身份是否合法,因此,与常规的单纯基于密码或证件进行身份认证的方式相比,根据本发明实施例的身份认证方法的认证结果更准确,可以提高用户鉴权的安全性,从而可以有效保障用户的权益。
附图说明
通过结合附图对本发明实施例进行更详细的描述,本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解,并且构成说明书的一部分,与本发明实施例一起用于解释本发明,并不构成对本发明的限制。在附图中,相同的参考标号通常代表相同部件或步骤。
图1示出用于实现根据本发明实施例的身份认证方法和装置的示例电子设备的示意性框图;
图2示出根据本发明一个实施例的身份认证方法的示意性流程图;
图3示出根据本发明另一个实施例的身份认证方法的示意性流程图;
图4示出根据本发明另一个实施例的身份认证方法的示意性流程图;
图5示出根据本发明一个实施例的皮肤弹性分类器的训练步骤的示意性流程图;
图6示出根据本发明一个实施例的身份认证装置的示意性框图;以及
图7示出根据本发明一个实施例的身份认证系统的示意性框图。
具体实施方式
为了使得本发明的目的、技术方案和优点更为明显,下面将参照附图详细描述根据本发明的示例实施例。显然,所描述的实施例仅仅是本发明的一部分实施例,而不是本发明的全部实施例,应理解,本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例,本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。
为了解决上文所述的问题,本发明实施例提供一种身份认证方法和装置。该身份认证方法和装置结合证件识别和人脸识别进行身份认证,以确定待认证人员的身份是否合法,即确定待认证人员是否具有权限进行随后的消费支付等操作。根据本发明实施例的身份认证方法和装置可以方便安全地鉴定待认证人员的身份,是一种安全的交互鉴权方式,可以很好地应用于电子商务、移动支付、银行开户等技术领域。
首先,参照图1来描述用于实现根据本发明实施例的身份认证方法和装置的示例电子设备100。
如图1所示,电子设备100包括一个或多个处理器102、一个或多个存储装置104、输入装置106、输出装置108和图像采集装置110,这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意,图1所示的电子设备100的组件和结构只是示例性的,而非限制性的,根据需要,所述电子设备也可以具有其他组件和结构。
所述处理器102可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元,并且可以控制所述电子设备100中的其它组件以执行期望的功能。
所述存储装置104可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令,处理器102可以运行所述程序指令,以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据,例如所述应用程序使用和/或产生的各种数据等。
所述输入装置106可以是用户用来输入指令的装置,并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。
所述输出装置108可以向外部(例如用户)输出各种信息(例如图像和/或声音),并且可以包括显示器、扬声器等中的一个或多个。
所述图像采集装置110可以采集证件图像(包括视频帧)和/或人脸图像(包括视频帧),并且将所采集的图像存储在所述存储装置104中以供其它组件使用。图像采集装置110可以是摄像头。应当理解,图像采集装置110仅是示例,电子设备100可以不包括图像采集装置110。在这种情况下,可以利用其他图像采集装置采集证件图像和/或人脸图像,并将采集的图像发送给电子设备100。
示例性地,用于实现根据本发明实施例的身份认证方法和装置的示例电子设备可以在诸如个人计算机或远程服务器等的设备上实现。
下面,将参考图2描述根据本发明实施例的身份认证方法。图2示出根据本发明一个实施例的身份认证方法200的示意性流程图。如图2所示,身份认证方法200包括以下步骤。
在步骤S210,获取待认证人员的证件图像。
本文所述的证件可以包括但不限于身份证、驾驶证、护照、社保卡等。
证件图像可以是针对待认证人员的证件所采集的图像。示例性地,证件图像可以是摄像头等图像采集装置采集到的原始图像,也可以是对原始图像进行预处理之后获得的图像。
证件图像可以由客户端设备(例如包括摄像头的移动终端、远程视频柜员机(Video Teller Machine,VTM)等)发送到电子设备100以由电子设备100的处理器102进行处理,也可以由电子设备100包括的图像采集装置110(例如摄像头)采集并传送到处理器102进行处理。
根据本发明实施例,步骤S210可以包括:实时采集当前拍摄条件下的待认证人员的证件的预拍摄图像;实时评估预拍摄图像的图像属性;当预拍摄图像的图像属性的评估值小于预设的评估值阈值时,根据预拍摄图像的图像属性生成提示信息,用于提示待认证人员调整其证件的拍摄条件;以及当预拍摄图像的图像属性的评估值等于或大于预设的评估值阈值时,保存预拍摄图像以将其作为证件图像。
预拍摄是指启动图像采集装置(例如手机、平板电脑等移动终端的摄像头)的拍摄模式并将待拍摄的证件置于图像采集装置的拍摄范围内进行拍摄取景的过程(尚未实际完成照片拍摄)。
可选地,可以对拍摄得到的预拍摄图像进行质量评估。例如,在预拍摄过程中,可以实时计算在当前拍摄条件下进行拍摄所得到的预拍摄图像的图像属性。示例性地,拍摄条件可以包括但不限于下列中的一项或多项:证件的摆放位置、证件的摆放角度、图像采集装置的拍摄位置、图像采集装置的拍摄角度等。示例性地,图像属性可以包括但不限于下列中的一项或多项:证件模糊程度、证件轮廓、证件关键部位、证件遮挡情况、证件尺寸、证件文字清晰度等。当图像属性的评估值小于预设的评估值阈值时,认为拍摄到的预拍摄图像不合格。此时,可以根据图像属性生成相应的提示信息并将该信息输出,以提示用户调整证件或者图像采集装置的角度、位置等,直到拍摄到合格的预拍摄图像。合格的预拍摄图像即图像属性的评估值等于或大于预设的评估值阈值的预拍摄图像。当在预拍摄模式中拍摄到合格的预拍摄图像时,可以将该预拍摄图像保存下来作为步骤S210所获取的证件图像,用于随后的已认证证件判断等步骤。可选地,当预拍摄图像的某些图像属性不合格时,可以对预拍摄图像进行调整,以使预拍摄图像合格,进而获得所需的证件图像。例如,当预拍摄图像中的证件大小不合格时,可以对预拍摄图像进行裁剪、缩放等操作,使预拍摄图像中的证件大小合格。
在步骤S220,判断证件图像中的证件是否为已认证证件,以获得证件认证结果。
可以从证件图像中识别出与待认证人员的证件相关的一些证件信息,例如身份证上的身份证号、姓名等信息,随后,可以利用这些证件信息判断待认证人员的证件是否为已认证证件。
关于已认证证件的信息可以存储在数据库中,本文将该数据库称为已认证证件信息数据库。可以基于从证件图像中识别出的证件信息在已认证证件信息数据库中进行搜索,即将从证件图像中识别出的证件信息与已认证证件信息数据库中的已认证证件的证件信息进行对比,以判断证件图像中的证件是否为已认证证件。
在一个示例中,已认证证件信息数据库可以存储在本地,例如存储在用于实现身份认证方法和装置的服务器或客户端等设备的存储装置(如图1所示的存储装置104)中。
在另一示例中,已认证证件信息数据库可以存储在某些公共服务系统(例如公安系统)的服务器中。用于实现身份认证方法和装置的服务器或客户端等设备可以通过联网对接方式与公共服务系统的服务器通信,从公共服务系统的服务器中搜索证件信息。例如,在公安网上通常有已认证的合法人员的证件信息(备案信息),可以基于在步骤S210中所获取的证件图像在公安网中进行搜索查找,若能查找到与从该证件图像中识别出的证件信息匹配的证件信息(备案信息),则可以确定证件图像中的证件为已认证证件,即为合法证件。
在步骤S230,获取待认证人员的人脸图像。
人脸图像可以是针对待认证人员的人脸所采集的图像。示例性地,人脸图像可以是摄像头等图像采集装置采集到的原始图像,也可以是对原始图像进行预处理之后获得的图像。
人脸图像可以由客户端设备(例如包括摄像头的移动终端)发送到电子设备100以由电子设备100的处理器102进行处理,也可以由电子设备100包括的图像采集装置110(例如摄像头)采集并传送到处理器102进行处理。
在步骤S240,利用人脸图像进行活体检测,以获得活体检测结果。
步骤S240可以采用任何现有的或将来可能实现的活体检测方法实现,本发明不对此进行限制。示例性地,当人脸图像中的人脸是真实人脸时,认为待认证人员是活体,活体检测结果可以是1,当人脸图像中的人脸是虚假人脸时,认为待认证人员不是活体,活体检测结果可以是0。
在步骤S250,至少根据证件认证结果和活体检测结果确定待认证人员的身份是否合法。
在一个示例中,证件认证结果可以是1和0之一,其中,1表示证件图像中的证件是已认证证件,0表示证件图像中的证件不是已认证证件。类似地,活体检测结果可以是1和0之一,其中,1表示待认证人员是活体,0表示待认证人员不是活体。示例性地,如果证件认证结果和活体检测结果中的任一者为0,则可以认为待认证人员的身份不合法,即待认证人员鉴权失败,在这种情况下,可以禁止其进行后续的业务操作,例如禁止其进行线上交易或银行开户等操作。
在另一示例中,证件认证结果可以是在[0,1]范围内的任何数值,表示证件图像中的证件是已认证证件的置信度。在这种情况下,可以对证件认证结果和活体检测结果进行诸如加权平均的运算,并根据运算结果衡量待认证人员是否是合法人员。类似的实施例将在下文详细描述,此处不赘述。
根据本发明实施例的身份认证方法,结合已认证证件判断和活体检测来确定待认证人员的身份是否合法,因此,与常规的单纯基于密码或证件进行身份认证的方式相比,根据本发明实施例的身份认证方法的认证结果更准确,可以提高用户鉴权的安全性,从而可以有效保障用户的权益。上述方法可以很好地应用于各种涉及身份认证的领域,例如电子商务、移动支付或银行业务等领域。
示例性地,根据本发明实施例的身份认证方法可以在具有存储器和处理器的设备、装置或者系统中实现。
根据本发明实施例的身份认证方法可以部署在图像采集端处,例如,可以部署在诸如银行管理系统等金融系统的图像采集端处或者部署在诸如智能手机、平板电脑等移动终端处。替代地,根据本发明实施例的身份认证方法还可以分布地部署在服务器端(或云端)和客户端处。例如,可以在客户端采集证件图像和/或人脸图像,客户端将采集到的证件图像和/或人脸图像传送给服务器端(或云端),由服务器端(或云端)进行身份认证。
根据本发明实施例,在步骤S250之前,身份认证方法200还可以包括:利用证件图像和/或人脸图像执行附加判断操作,以获得附加判断结果;步骤S250可以包括:根据证件认证结果、活体检测结果和附加判断结果确定待认证人员的身份是否合法。
附加判断操作可以包括一种或多种针对证件图像中的证件和/或人脸图像中的人脸进行真实性或一致性判断的操作。例如,附加判断操作可以包括证件真伪判断操作和/或人脸一致性判断操作。在已认证证件判断操作和活体检测操作之外,加入一些其他的针对证件图像中的证件和/或人脸图像中的人脸进行真实性或一致性判断的操作,这有利于进一步提高身份认证结果的可靠性,从而可以提高涉及身份认证的应用的安全性。
下面举例描述附加判断操作的实施方式。
根据一个实施例,附加判断操作可以包括证件真伪判断操作。证件真伪判断操作可以包括:判断证件图像中的证件是否为真实证件,以获得证件真伪判断结果。根据另一个实施例,附加判断操作可以包括人脸一致性判断操作。人脸一致性判断操作可以包括:根据证件图像获取待认证人员的证件人脸;以及将待认证人员的证件人脸与人脸图像中的人脸进行对比,以获得人脸一致性判断结果。下面分别结合图3和图4描述上述两个实施例。
图3示出根据本发明另一个实施例的身份认证方法300的示意性流程图。图3所示的身份认证方法300的步骤S310、S330至S350与图2所示的身份认证方法200的步骤S210至S240分别一致,不再赘述。根据本实施例,在步骤S360之前,身份认证方法300还可以包括步骤S320。在步骤S320中,执行上述证件真伪判断操作。在步骤S360,根据证件认证结果、活体检测结果和证件真伪判断结果确定待认证人员的身份是否合法。
在执行证件真伪判断操作之后,可以获得证件真伪判断结果。示例性地,证件真伪判断结果可以是1和0之一,其中,1表示证件图像中的证件是真实证件,0表示证件图像中的证件是虚假证件。当然,证件真伪判断结果还可以是在[0,1]范围内的任何数值,表示证件图像中的证件是真实证件的置信度。虚假证件可以是,例如,针对手机或电脑等设备上的屏幕翻拍获得的证件或采用计算机图形技术伪造获得的证件等。
示例性地,如果证件认证结果、活体检测结果和证件真伪判断结果中的任何一者为0,则可以确定待认证人员的身份不合法,否则可以确定待认证人员的身份是合法的。
下面描述步骤S320的两种示例性实施方式。
在一个示例中,步骤S320可以包括:提取证件图像的图像特征;以及将图像特征输入训练好的证件分类器,以获得证件真伪判断结果;其中,证件真伪判断结果为证件图像中的证件是真实证件的置信度。
由于图像采集装置的感光元件与显示器之间的波的干涉效应,通过翻拍电脑或手机屏幕上的证件照片而得到的图像上会出现明显的周期性彩色条纹,称为“摩尔纹”。摩尔纹是区别真实证件和翻拍证件的重要线索。由于摩尔纹呈现周期性,因此在频率域中摩尔纹的特性会尤为明显。此外,摩尔纹的颜色也区别于真实证件的颜色。因此,可以基于摩尔纹鉴别证件图像中的证件是否为翻拍证件。
示例性地,图像特征可以包括但不限于频谱特征、纹理特征和颜色特征中的至少一个。
证件真伪判断操作中所涉及的证件分类器可以是预先采用大量样本证件图像训练好的。示例性地,本文所述的“分类器”可以是任何现有的或将来可能实现的基于机器学习的分类器,例如支持向量机(Support Vector Machine,SVM)等。
以身份证为例,证件分类器的训练过程可以包括:采集和标注包含真实身份证的身份证图像和包含翻拍身份证的身份证图像;分别计算包含真实身份证的身份证图像和包含翻拍身份证的身份证图像的频谱信息,以作为各自的图像特征;以包含真实身份证的身份证图像的图像特征作为正样本,以包含翻拍身份证的身份证图像的图像特征作为负样本训练分类器模型,以获得身份证分类器。随后,在实际的身份认证过程中,对于所获取的身份证图像,可以计算其频谱信息作为其图像特征,然后将提取的图像特征输入训练好的身份证分类器,以判断所获取的身份证图像中的身份证是否为翻拍身份证。
证件分类器输出的证件真伪判断结果可以为证件图像中的证件是真实证件的置信度。置信度可以是在[0,1]范围内的任何一个数值。
在另一个示例中,步骤S320可以包括:从证件图像中识别包含证件标识信息的图像块;以及对包含证件标识信息的图像块中的证件标识信息进行识别,以获得证件真伪判断结果;其中,证件真伪判断结果为证件图像中的证件是真实证件的置信度。
证件标识信息可以是任何能够标识真实证件的信息。例如,证件标识信息可以包括身份证或社保卡上的国徽图案、某些特殊的防伪标志等。例如,真实证件通常具有比较隐蔽的防伪标志,可以通过识别防伪标志来确定证件的真伪。
上述通过图像特征进行证件真伪判断和通过证件标识信息进行证件真伪判断的两个示例可以同时实现,即可以同时基于证件图像的图像特征和其证件标识信息来判断证件的真伪,本领域技术人员可以通过阅读上文的描述来理解这种判断方式的实施方式,此处不进行赘述。
应理解,图3所示的身份认证方法300的各步骤的执行顺序仅是示例而非限制,例如,步骤S320可以在步骤S310与步骤S360之间的任一时刻执行。
图4示出根据本发明另一个实施例的身份认证方法400的示意性流程图。图4所示的身份认证方法400的步骤S410至S440与图2所示的身份认证方法200的步骤S210至S240分别一致,不再赘述。根据本实施例,在步骤S470之前,身份认证方法400还可以包括步骤S450和S460。在步骤S450和S460中,执行上述人脸一致性判断操作。在步骤S470,根据证件认证结果、活体检测结果和人脸一致性判断结果确定待认证人员的身份是否合法。
在步骤S450,根据证件图像获取待认证人员的证件人脸。
在一个示例中,步骤S450可以包括:从证件图像中检测人脸,以获得待认证人员的证件人脸。
证件上通常包括人脸(典型为人脸照片),本文称为“证件人脸”,以与人脸图像中的人脸进行区分。在证件包括人脸的情况下,可以从证件图像中检测出人脸。这样,可以直接将从证件图像中检测出的人脸作为待认证人员的证件人脸,用于与人脸图像中的人脸进行对比。
在另一个示例中,步骤S450可以包括:对证件图像进行文字识别,以获得所述证件图像中的文字信息;基于证件图像中的文字信息从已认证证件信息数据库中搜索匹配的证件信息;以及确定搜索到的、匹配的证件信息中的证件人脸为待认证人员的证件人脸。
在某些证件上可能不包括人脸,在这种情况下,可以利用已认证证件信息数据库中的证件信息来找出待认证人员的证件人脸。当然,在证件包括人脸的情况下,同样可以采用这种方式找出待认证人员的证件人脸。
例如,证件图像是人员X的身份证图像,从身份证图像中可以进行文字识别,以识别身份证号等文字信息,然后可以基于身份证号等文字信息从公安系统的身份证数据库中搜索匹配的身份证信息。如果身份证数据库中已对人员X的身份证信息进行过备案,则可以搜索到匹配的身份证信息。身份证信息中可以典型地包括人员X的身份证号、姓名、性别、人脸照片等基本信息。该人脸照片即为所需的证件人脸。随后,可以将该证件人脸与之前获取的人脸图像中的人脸进行对比。
在步骤S460,将待认证人员的证件人脸与人脸图像中的人脸进行对比,以获得人脸一致性判断结果。
将通过图像采集装置采集的人脸(即人脸图像中的人脸)与证件人脸进行比对,如果二者之间的相似度大于预设的相似度阈值,则可以认为采集的人脸和证件人脸属于同一人,否则,可以认为二者不属于同一人。由此,可以获得人脸一致性判断结果。示例性地,一致性判断结果可以是证件人脸与人脸图像中的人脸之间的相似度,即一致性结果可以是在[0,1]范围内的任一数值。示例性地,一致性判断结果还可以是1和0之一,其中,1表示证件人脸与人脸图像中的人脸属于同一人,0表示证件人脸与人脸图像中的人脸不属于同一人。
示例性地,如果证件认证结果、活体检测结果和人脸一致性判断结果中的任何一者为0,则可以确定待认证人员的身份不合法,否则可以确定待认证人员的身份是合法的。
应理解,与图3类似地,图4所示的身份认证方法400的各步骤的执行顺序仅是示例而非限制,例如,步骤S450可以在步骤S420之前、或在步骤S420之后及步骤S430之前、或在步骤S430之后及步骤S440之前、或与步骤S420或S430同时执行,同时步骤S460可以在步骤S440之前、之后或与其同时执行。当然,步骤S450也可以与步骤S440同时执行。
上文分别结合图3和图4描述了证件真伪判断操作和人脸一致性判断操作的实施方式,可以理解的是,附加判断操作可以包括证件真伪判断操作和人脸一致性判断操作。也就是说,在身份认证过程中,可以同时对证件的真伪及人脸的一致性进行判断,并根据证件认证结果、活体检测结果、证件真伪判断结果和人脸一致性判断结果这四种结果确定待认证人员的身份是否合法。
根据本发明实施例,在根据证件认证结果、活体检测结果和附加判断结果确定待认证人员的身份是否合法的过程中,证件认证结果、活体检测结果和附加判断结果中的每个结果具有各自的权重系数。
可以预先为证件认证结果、活体检测结果和附加判断结果(包括例如上述证件真伪判断结果和/或人脸一致性判断结果)中的每个结果分配权重系数。每个结果的权重系数的大小可以根据需要而定,本发明不对此进行限制。
示例性地,可以基于所述权重系数对证件认证结果、活体检测结果和附加判断结果进行加权平均,获得经平均的结果。然后,可以将经平均的结果与预设的阈值进行对比,若其大于阈值,则可以认为待认证人员的身份是合法的,否则认为待认证人员的身份不合法。
证件认证结果、证件真伪判断结果和人脸一致性判断结果均可以是在[0,1]范围内的任一数值。当然,这三者的取值也可以仅是0和1之一。活体检测结果的取值是0和1之一。因此,可以对这些结果进行加权平均或算术平均,求得经平均的结果。然后,将经平均的结果与阈值进行对比。
当然,也可以直接将参与身份认证的结果进行简单的求和,获得结果,将该结果与阈值进行对比,判断待认证人员的身份是否合法。
每个结果具有各自的权重系数,方便身份认证系统根据身份认证中所涉及的每种判断或检测操作的重要性调整其在身份认证过程中的参与度,进而可以提高身份认证的准确度。
根据本发明实施例,步骤S220(S330、S420)可以包括:对证件图像进行文字识别,以获得证件图像中的文字信息;以及基于证件图像中的文字信息在已认证证件信息数据库中进行搜索,以获得证件认证结果;其中,证件认证结果为证件图像中的证件是已认证证件的置信度。
如上文所述,可以从证件图像中识别出证件图像中的文字信息,然后可以基于识别出的文字信息从已认证证件信息数据库中搜索匹配的证件信息。搜索结果典型地是已认证证件信息数据库中存在匹配的证件信息的概率(也可以称为置信度),在这种情况下,证件认证结果可以为搜索结果。
根据本发明实施例,对证件图像进行文字识别,以获得证件图像中的文字信息可以包括:对证件图像中的文字进行定位,以获得包含文字的图像块;以及对包含文字的图像块中的文字进行识别,以获得证件图像中的文字信息。
对证件图像进行文字识别的步骤可以采用任何合适的文字识别方式实现。下面描述文字识别步骤的一种实施方式。
首先,可以对证件图像中的文字进行定位,确定文字的位置。然后可以从证件图像中提取包含文字的图像块。示例性地,可以将证件图像输入训练好的神经网络,以对证件图像中的文字进行定位。
例如,可以收集大量的样本证件图像,通过人工或机器标注的方式,指明样本证件图像上文字的所在位置。基于标注过的大量的样本证件图像通过机器学习算法训练用于定位文字的位置的神经网络。将实际身份认证过程中所获取的证件图像输入训练好的神经网络,神经网络可以输出该证件图像中的文字的位置,例如,文字所在区域的顶点坐标。
随后,可以对包含文字的图像块(文字区域)中的文字进行识别,得到文字识别结果。对包含文字的图像块中的文字进行识别是指将包含文字的图像块的图像内容转化为字符串的过程。示例性地,可以采用传统光学字符识别(Optical Character Recognition,OCR)的方法进行识别:先利用二值化操作分割出每个字符,然后以模板匹配或模式分类的方式识别出所有的字符。
可选地,还可以采用滑动窗(sliding window)的识别方法,从证件图像中定位和识别文字,而无需依赖二值化分割的结果。
根据本发明实施例,在对包含文字的图像块中的文字进行识别之前,身份认证方法200(300、400)还可以包括:将包含文字的图像块校正为水平状态。
在对证件图像中的文字进行定位与对包含文字的图像块中的文字进行识别的步骤之间还可以包括对文字的位置进行调整(校正)的步骤。在实际应用中,证件图像中的证件可能存在一定的倾斜角度,也就是说,包含文字的图像块可能存在一定的倾斜角度。因此,可以在识别证件图像中的文字之前,对包含文字的图像块(即文字所在的区域)进行校正,将其转换为水平平齐的状态。示例性地,由于在对证件图像中的文字进行定位的步骤中,已经获得了证件图像中文字所在区域的四个顶点的坐标,并且已获得四个顶点所包含的图像区域,即包含文字的图像块,因此,只需根据包含文字的图像块的坐标将其旋转到水平状态即可。
将包含文字的图像块校正为水平状态可以方便后续对包含文字的图像块中的文字进行识别。
根据本发明实施例,在对包含文字的图像块中的文字进行识别,以获得证件图像中的文字信息之后,对证件图像进行文字识别,以获得证件图像中的文字信息还包括:输出证件图像中的文字信息,以供用户查看;接收用户输入的文字修正信息;将文字修正信息所指示的待修正文字与证件图像中的文字信息中的对应文字进行对比;以及如果文字修正信息所指示的待修正文字与证件图像中的文字信息中的对应文字之间的差异小于预设的差异阈值,则利用文字修正信息更新证件图像中的文字信息。
在文字识别过程中,还可以增加文字修正的步骤。采用OCR方法识别文字时,对于一些生僻字、形近字、字符笔画多的文字会存在识别错误或识别失败的情况。因此,允许用户修改文字可以灵活方便地解决文字识别存在的问题,提高文字识别的精度。此处所述用户可以是本文所述待认证人员,也可以是除待认证人员以外的其他人员,例如身份认证系统的管理人员等。
示例性地,可以以文字显示或语音播放等形式输出从证件图像中识别出的文字信息,以供用户查看。当用户发现文字识别结果存在错误时,可以输入文字修正信息。在接收到用户输入的文字修正信息之后,可以将文字修正信息所指示的待修正文字与识别出的对应文字进行对比。如果二者之间的差异小于预设的差异阈值,则可以利用文字修正信息更新证件图像中的文字信息,否则,可以不更新文字信息。例如,如果证件上的一个文字被识别为“一”,用户输入的文字修正信息指示将该文字应修正为“壹”,由于二者差异较大,因此身份认证系统可以拒绝用户的修正要求,不对该文字进行修正。
根据本发明实施例,在步骤S230(S340、S430)之前或在该步骤的实施过程中,身份认证方法200(300、400)还可以包括:生成活体动作指令,活体动作指令用于指示待认证人员执行对应的活体动作;步骤S230(S340、S430)可以包括:获取实时采集的待认证人员的人脸图像;步骤S240(S350、S440)可以包括:检测人脸图像中的人脸;以及判断人脸图像中的人脸是否执行活体动作指令所指示的活体动作,以获得活体检测结果。
在一个示例中,可以由客户端设备(例如包括摄像头的移动终端、VTM等)生成并输出活体动作指令,采集人脸图像(包括静态图像或者视频),并利用人脸图像进行活体检测。在另一示例中,可以由云端服务器生成活体动作指令,由客户端设备(例如包括摄像头的移动终端、VTM等)输出活体动作指令并采集人脸图像,随后客户端设备将采集的人脸图像上传到云端服务器,云端服务器检测人脸图像中的人脸,并对人脸的真实性进行判断。如果判断出人脸是真实人脸,则可以认为待认证人员是活体,否则可以认为待认证人员不是活体。示例性地,云端服务器中可以包括训练好的人脸真伪分类器和假脸种类分类器。人脸真伪分类器可以用于判断人脸的真伪,假脸种类分类器可以用于判断在人脸是虚假人脸的情况下该虚假人脸的种类。
下面通过示例描述基于人脸图像中的人脸的动作进行活体检测的实施例的实施方式,以便于对本实施例的理解。
活体动作指令可以指示待认证人员按照指令做出对应的活体动作。活体动作指令所指示的活体动作可以是单一的静态动作(相当于摆一个姿势),也可以是变化的动作。示例性地,活体动作指令可以在采集人脸图像之前生成和输出,在采集人脸图像的过程中不发生改变。示例性地,活体动作指令还可以是连续的指令序列,即在采集人脸图像的过程中不断生成和输出不同的指令,指示待认证人员跟随指令改变其所做出的活体动作。
上述活体动作可以是,例如,手指按压两腮皮肤,嘴中吞气将两腮鼓起,或朗读一段文字等。当待认证人员执行一个或多个活体动作时,可以采集其人脸图像,判断其所执行的活体动作是否合格,若是,则活体检测成功,否则,活体检测失败。例如,如果活体动作指令所指示的活体动作为朗读一段文字,则可以采集朗读过程中的人脸图像,判断人脸图像中的人脸的唇动是否与对应文字的唇动匹配,若匹配,则活体检测成功。
根据本发明实施例,在步骤S230(S340、S430)之前或在该步骤的实施过程中,身份认证方法200(300、400)还可以包括:生成活体动作指令,活体动作指令用于指示待认证人员执行对应的活体动作;步骤S230(S340、S430)可以包括:获取实时采集的待认证人员的人脸图像;步骤S240(S350、S440)可以包括:从所采集的人脸图像中捕捉待认证人员执行活体动作前的皮肤区域图像和执行活体动作后的皮肤区域图像;以及将待认证人员执行活体动作前的皮肤区域图像和执行活体动作后的皮肤区域图像输入皮肤弹性分类器,以获得活体检测结果。
当待认证人员执行一个或多个活体动作时,可以从采集到的人脸图像中分别捕捉该待认证人员执行活体动作前和执行活体动作后的皮肤区域图像。待认证人员是否开始执行活体动作可以根据采集到的人脸图像进行判断。例如,可以监测人脸图像中的人脸,根据人脸的状态变化确定待认证人员开始执行活体动作的时间。在该开始时间之前采集的人脸图像作为待认证人员执行活体动作前的人脸图像。随后,可以持续监测人脸图像中的人脸一段时间,该持续时间为活体动作的估计持续时间。在持续时间结束之后所采集的人脸图像作为待认证人员执行活体动作后的人脸图像。可以分别从待认证人员执行活体动作前和执行活体动作后的人脸图像中提取待认证人员执行活体动作前和执行活体动作后的皮肤区域图像。
随后,可以将所获得的皮肤区域图像输入皮肤弹性分类器,该皮肤弹性分类器为一个预先训练好的分类模型。例如,如果采集的人脸皮肤是活体皮肤,则该皮肤弹性分类器可以输出1,否则输出0。
根据本发明实施例,从所采集的人脸图像中捕捉待认证人员执行活体动作前的皮肤区域图像和执行活体动作后的皮肤区域图像包括:从所采集的人脸图像中选择待认证人员执行活体动作前的人脸图像和执行活体动作后的人脸图像;利用人脸检测模型对在待认证人员执行活体动作前的人脸图像和执行活体动作后的人脸图像中的人脸进行定位;利用人脸关键点定位模型对在待认证人员执行活体动作前的人脸图像和执行活体动作后的人脸图像中的人脸的关键点进行定位;以及根据定位获得的人脸位置和关键点位置对在待认证人员执行活体动作前的人脸图像和执行活体动作后的人脸图像中的人脸进行区域划分,以获得待认证人员执行活体动作前的皮肤区域图像和执行活体动作后的皮肤区域图像。
对皮肤区域图像的提取可以基于已有的人脸检测和人脸关键点定位算法来实现。例如,可以将待认证人员执行活体动作前的人脸图像分别输入训练好的人脸检测模型和人脸关键点定位模型,分别获得人脸位置(例如人脸轮廓点的坐标)和关键点位置(各关键点的坐标)。关键点可以是人脸上的任意点,例如左眼角、鼻尖、左唇角等。当然,关键点也可以是人脸轮廓点。示例性地,可以根据人脸位置和关键点位置将人脸区域切分成一系列三角片元,并且可以将位于下巴,颧骨,两腮等区域的三角片元图像块作为人脸皮肤区域,获得皮肤区域图像。待认证人员执行活体动作后的皮肤区域图像的提取方式与上述方式类似,不再赘述。对于每个人脸图像来说,其区域划分方式、以及所选出的作为人脸皮肤区域的区域数目及每个区域包含的部位均可以根据需要设定,本发明不对此进行限制。
在一个示例中,人脸检测模型和人脸关键点定位模型可以采用深度神经网络实现。深度神经网络是一种能够自主学习的网络,采用深度神经网络可以准确、高效地检测和定位人脸图像中的人脸及关键点。
根据本发明实施例,身份认证方法200(300、400)还可以包括:获取样本人脸图像,样本人脸图像中的人脸的位置和人脸的关键点的位置是已标注好的;以及利用样本人脸图像进行神经网络训练,以获得人脸检测模型和人脸关键点定位模型。
可以预先收集大量(如10000个左右)样本人脸图像,以人工方式在每个样本人脸图像中标注出人脸的眼角,嘴角,鼻翼,颧骨最高点等一系列关键点的位置以及人脸轮廓点的位置。随后,可以使用机器学习算法(如深度学习、或者基于局部特征的回归算法等)将前述标注好的样本人脸图像作为输入进行神经网络训练,从而获得所需的人脸检测模型和人脸关键点定位模型。
根据本发明实施例,身份认证方法200(300、400)还可以包括皮肤弹性分类器的训练步骤。下面结合图5描述根据本发明一个实施例的皮肤弹性分类器的训练步骤S500的示意性流程图。
如图5所示,皮肤弹性分类器的训练步骤S500包括如下步骤。
在步骤S510,获取真实人员执行活体动作前的人脸图像和执行活体动作后的人脸图像,以及虚假人员执行活体动作前的人脸图像和执行活体动作后的人脸图像。
在步骤S520,从真实人员执行活体动作前的人脸图像和执行活体动作后的人脸图像中提取真实人员执行活体动作前的人脸图像和执行活体动作后的皮肤区域图像作为正样本图像。
在步骤S530,从虚假人员执行活体动作前的人脸图像和执行活体动作后的人脸图像中提取虚假人员执行活体动作前的人脸图像和执行活体动作后的皮肤区域图像作为负样本图像。
在步骤S540,利用正样本图像和负样本图像训练分类器模型,以获得皮肤弹性分类器。
示例性地,皮肤弹性分类器的训练可以离线进行。可以预先收集真实人员执行规定的活体动作前及执行活体动作后的人脸图像,同时还可以收集虚假人员执行规定的活体动作前及执行活体动作后的人脸图像。虚假人员可以是,例如包含人脸的照片、包含人脸的视频、纸片面具或人脸三维(3D)模型等。
从真实人员或虚假人员的人脸图像中提取皮肤区域图像的方式可以参考上文关于实际身份认证过程中的皮肤区域图像的提取方式的描述,在此不再赘述。示例性地,在获得正样本图像和负样本图像之后,可以使用深度学习或SVM等统计学习方法训练分类器模型,从而获得皮肤弹性分类器。
根据本发明实施例,步骤S230(S340、S430)可以包括:使用结构光照射待所述待认证人员的人脸;获取由双目摄像头采集的结构光照射下的人脸图像;在步骤S240(S350、S440)之前,步骤S240(S350、S440)可以包括:根据人脸图像确定待认证人员的人脸是否属于活体,以获得活体检测结果。
上文所述的根据人脸所做的动作或利用皮肤弹性分类器进行活体检测的方式主要针对一些安全要求较弱的应用场景。针对一些安全要求较高的应用场景,可以选择基于特殊硬件进行活体检测的方式。例如,可以采用双目摄像头采集结构光照射下的人脸图像,以利用采集到的人脸信息和结构光照射信息进行活体检测。
在一个示例中,可以基于所采集的结构光照射下的人脸图像,来确定指示结构光在待认证人员脸部的亚表面散射程度的检测参数,随后,可以基于检测参数和预先确定的参数阈值,确定待认证人员的人脸是否为活体。由于3D面具等虚假人脸与真实人脸的亚表面散射程度不同(亚表面散射越强烈时,图像梯度越小,从而扩散程度越小),例如,由一般的纸或塑料等材质制成的面具的亚表面散射程度远弱于真实人脸,而由一般的硅胶等材质制成的面具的亚表面散射程度远强于真实人脸,因此可以通过对图像扩散程度的判断来区分虚假人脸与真实人脸,从而可以有效防御面具攻击者。
在另一示例中,可以根据人脸图像获得待认证人员的人脸的深度信息。此外,还可以获取待认证人员的人脸在结构光照射下形成的光斑图样。可以根据光斑图样获得待认证人员的人脸的纹理信息。随后,可以结合深度信息和纹理信息确定待认证人员的人脸是否属于活体。
不同的材质结构在结构光下可以形成不同的光斑图样。根据光斑图样可以获得人脸的纹理信息,即人脸表面的材质性质。如果发现待认证人员的人脸的纹理信息不符合人皮纹理分布规律,则确定待认证人员的人脸不属于活体,判断为面具攻击等。由于攻击者可以使用仿人皮材质的面具实施攻击,因此,即使待认证人员的人脸的纹理信息符合人皮纹理分布规律,也不一定能够确定待认证人员的人脸属于活体,因此可以结合深度信息判断待人员的人脸是否属于活体。从在两个不同视角下采集的人脸图像中可以获得待认证人员的人脸的深度信息。应当理解,真实的人脸通常是有起伏的,例如,其眼睛和鼻子部位的坐标深度是不一样的,差距较大,而用仿人皮材质做的面具起伏很小,眼睛和鼻子部位的坐标深度差距很小。因此,结合深度信息可以进一步判断待认证人员的人脸是否属于活体。
因此,在本发明实施例中,可以将双目摄像头和结构光结合,通过双目摄像头采集有结构光图案的3D人脸,然后根据结构光在3D人脸上的亚表面散射程度或者结合人脸的深度信息与结构光在人脸上形成的光斑图样来进行活体检测。
根据本发明另一方面,提供一种身份认证装置。图6示出了根据本发明一个实施例的身份认证装置600的示意性框图。
如图6所示,根据本发明实施例的身份认证装置600包括证件图像获取模块610、已认证证件判断模块620、人脸图像获取模块630、活体检测模块640和身份确定模块650。所述各个模块可分别执行上文中结合图2-5描述的身份认证方法的各个步骤/功能。以下仅对该身份认证装置600的各部件的主要功能进行描述,而省略以上已经描述过的细节内容。
证件图像获取模块610用于获取待认证人员的证件图像。证件图像获取模块610可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现。
已认证证件判断模块620用于判断证件图像中的证件是否为已认证证件,以获得证件认证结果。已认证证件判断模块620可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现。
人脸图像获取模块630用于获取待认证人员的人脸图像。人脸图像获取模块630可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现。
活体检测模块640用于利用人脸图像进行活体检测,以获得活体检测结果。活体检测模块640可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现。
身份确定模块650用于至少根据证件认证结果和活体检测结果确定待认证人员的身份是否合法。身份确定模块650可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现。
根据本发明实施例,示例性地,身份认证装置600还包括:附加判断模块(未示出),用于利用证件图像和/或人脸图像执行附加判断操作,以获得附加判断结果;身份确定模块650包括:身份确定子模块,用于根据证件认证结果、活体检测结果和附加判断结果确定待认证人员的身份是否合法。
示例性地,附加判断模块包括证件真伪判断子模块和/或人脸一致性判断子模块,证件真伪判断子模块用于执行证件真伪判断操作,人脸一致性判断子模块用于执行人脸一致性判断操作,并且附加判断结果包括证件真伪判断结果和/或人脸一致性判断结果,证件真伪判断子模块包括:证件真伪判断单元,用于判断证件图像中的证件是否为真实证件,以获得证件真伪判断结果;人脸一致性判断子模块包括:证件人脸获取单元,用于根据证件图像获取待认证人员的证件人脸;以及人脸对比单元,用于将待认证人员的证件人脸与人脸图像中的人脸进行对比,以获得人脸一致性判断结果。
示例性地,证件人脸获取单元包括:证件人脸检测子单元,用于从证件图像中检测人脸,以获得待认证人员的证件人脸。
示例性地,证件人脸获取单元包括:文字识别子模块,用于对所述证件图像进行文字识别,以获得所述证件图像中的文字信息;搜索子单元,用于基于证件图像中的文字信息从已认证证件信息数据库中搜索匹配的证件信息;以及证件人脸确定子单元,用于确定搜索到的、匹配的证件信息中的证件人脸为待认证人员的证件人脸。
示例性地,证件真伪判断单元包括:特征提取子单元,用于提取证件图像的图像特征;以及输入子单元,用于将图像特征输入训练好的证件分类器,以获得证件真伪判断结果;其中,证件真伪判断结果为证件图像中的证件是真实证件的置信度。
示例性地,证件真伪判断单元包括:图像块识别子单元,用于从证件图像中识别包含证件标识信息的图像块;以及标识信息识别子单元,用于对包含证件标识信息的图像块中的证件标识信息进行识别,以获得证件真伪判断结果;其中,证件真伪判断结果为证件图像中的证件是真实证件的置信度。
示例性地,在身份确定子模块根据证件认证结果、活体检测结果和附加判断结果确定待认证人员的身份是否合法的过程中,证件认证结果、活体检测结果和附加判断结果中的每个结果具有各自的权重系数。
示例性地,证件图像获取模块610包括:采集子模块,用于实时采集当前拍摄条件下的待认证人员的证件的预拍摄图像;评估子模块,用于实时评估预拍摄图像的图像属性;提示子模块,用于当预拍摄图像的图像属性的评估值小于预设的评估值阈值时,根据预拍摄图像的图像属性生成提示信息,用于提示待认证人员调整其证件的拍摄条件;以及保存子模块,用于当预拍摄图像的图像属性的评估值等于或大于预设的评估值阈值时,保存预拍摄图像以将其作为证件图像。
示例性地,已认证证件判断模块620包括:文字识别子模块,用于对证件图像进行文字识别,以获得证件图像中的文字信息;以及搜索子模块,用于基于证件图像中的文字信息在已认证证件信息数据库中进行搜索,以获得证件认证结果;其中,证件认证结果为证件图像中的证件是已认证证件的置信度。
示例性地,文字识别子模块包括:文字定位单元,用于对证件图像中的文字进行定位,以获得包含文字的图像块;以及文字识别单元,用于对包含文字的图像块中的文字进行识别,以获得证件图像中的文字信息。
示例性地,身份认证装置600还包括:文字校正模块,用于在文字识别单元对包含文字的图像块中的文字进行识别之前,将包含文字的图像块校正为水平状态。
示例性地,文字识别子模块还包括:文字输出单元,用于输出证件图像中的文字信息,以供用户查看;修正信息接收单元,用于接收用户输入的文字修正信息;文字对比单元,用于将文字修正信息所指示的待修正文字与证件图像中的文字信息中的对应文字进行对比;以及文字更新单元,用于如果文字修正信息所指示的待修正文字与证件图像中的文字信息中的对应文字之间的差异小于预设的差异阈值,则利用文字修正信息更新证件图像中的文字信息。
示例性地,身份认证装置600还包括:指令生成模块(未示出),用于在人脸图像获取模块630获取待认证人员的人脸图像之前或在人脸图像获取模块630获取待认证人员的人脸图像的过程中,生成活体动作指令,活体动作指令用于指示待认证人员执行对应的活体动作;人脸图像获取模块630包括:人脸图像获取子模块,用于获取实时采集的待认证人员的人脸图像;活体检测模块640包括:人脸检测子模块,用于检测人脸图像中的人脸;以及活体动作执行判断子模块,用于判断人脸图像中的人脸是否执行活体动作指令所指示的活体动作,以获得活体检测结果。
示例性地,身份认证装置600还包括:指令生成模块(未示出),用于在人脸图像获取模块630获取待认证人员的人脸图像之前或在人脸图像获取模块630获取待认证人员的人脸图像的过程中,生成活体动作指令,活体动作指令用于指示待认证人员执行对应的活体动作;人脸图像获取模块630包括:人脸图像获取子模块,用于获取实时采集的待认证人员的人脸图像;活体检测模块640包括:皮肤区域捕捉子模块,用于从所采集的人脸图像中捕捉待认证人员执行活体动作前的皮肤区域图像和执行活体动作后的皮肤区域图像;以及输入子模块,用于将待认证人员执行活体动作前的皮肤区域图像和执行活体动作后的皮肤区域图像输入皮肤弹性分类器,以获得活体检测结果。
示例性地,皮肤区域捕捉子模块包括:图像选择单元,用于从所采集的人脸图像中选择待认证人员执行活体动作前的人脸图像和执行活体动作后的人脸图像;人脸定位单元,用于利用人脸检测模型对在待认证人员执行活体动作前的人脸图像和执行活体动作后的人脸图像中的人脸进行定位;关键点定位单元,用于利用人脸关键点定位模型对在待认证人员执行活体动作前的人脸图像和执行活体动作后的人脸图像中的人脸的关键点进行定位;以及皮肤区域获得单元,用于根据定位获得的人脸位置和关键点位置对在待认证人员执行活体动作前的人脸图像和执行活体动作后的人脸图像中的人脸进行区域划分,以获得待认证人员执行活体动作前的皮肤区域图像和执行活体动作后的皮肤区域图像。
示例性地,人脸图像获取模块630包括:结构光发射模块,用于发射结构光照射待认证人员的人脸;人脸图像获取子模块,用于获取由双目摄像头采集的结构光照射下的人脸图像;活体检测模块640包括:活体确定子模块,用于根据人脸图像确定待认证人员的人脸是否属于活体,以获得活体检测结果。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
图7示出了根据本发明一个实施例的身份认证系统700的示意性框图。身份认证系统700包括图像采集装置710、存储装置720、以及处理器730。
图像采集装置710用于采集待处理图像。图像采集装置710是可选的,身份认证系统700可以不包括图像采集装置710。在这种情况下,可以利用其他图像采集装置采集用于身份认证的图像,并将采集的图像发送给身份认证系统700。
所述存储装置720存储用于实现根据本发明实施例的身份认证方法中的相应步骤的程序代码。
所述处理器730用于运行所述存储装置720中存储的程序代码,以执行根据本发明实施例的身份认证方法的相应步骤,并且用于实现根据本发明实施例的身份认证装置中的证件图像获取模块610、已认证证件判断模块620、人脸图像获取模块630、活体检测模块640和身份确定模块650。
在一个实施例中,所述程序代码被所述处理器730运行时使所述身份认证系统700执行以下步骤:获取待认证人员的证件图像;判断证件图像中的证件是否为已认证证件,以获得证件认证结果;获取待认证人员的人脸图像;利用人脸图像进行活体检测,以获得活体检测结果;以及至少根据证件认证结果和活体检测结果确定待认证人员的身份是否合法。
在一个实施例中,在所述程序代码被所述处理器730运行时使所述身份认证系统700所执行的至少根据证件认证结果和活体检测结果确定待认证人员的身份是否合法的步骤之前,所述程序代码被所述处理器730运行时还使所述身份认证系统700执行:利用证件图像和/或人脸图像执行附加判断操作,以获得附加判断结果;所述程序代码被所述处理器730运行时使所述身份认证系统700所执行的至少根据证件认证结果和活体检测结果确定待认证人员的身份是否合法的步骤包括:根据证件认证结果、活体检测结果和附加判断结果确定待认证人员的身份是否合法。
在一个实施例中,附加判断操作包括证件真伪判断操作和/或人脸一致性判断操作,并且附加判断结果包括证件真伪判断结果和/或人脸一致性判断结果,证件真伪判断操作包括:判断证件图像中的证件是否为真实证件,以获得证件真伪判断结果;人脸一致性判断操作包括:根据证件图像获取待认证人员的证件人脸;以及将待认证人员的证件人脸与人脸图像中的人脸进行对比,以获得人脸一致性判断结果。
在一个实施例中,所述程序代码被所述处理器730运行时使所述身份认证系统700所执行的根据证件图像获取待认证人员的证件人脸的步骤包括:从证件图像中检测人脸,以获得待认证人员的证件人脸。
在一个实施例中,所述程序代码被所述处理器730运行时使所述身份认证系统700所执行的根据证件图像获取待认证人员的证件人脸的步骤包括:对所述证件图像进行文字识别,以获得所述证件图像中的文字信息;基于证件图像中的文字信息从已认证证件信息数据库中搜索匹配的证件信息;以及确定搜索到的、匹配的证件信息中的证件人脸为待认证人员的证件人脸。
在一个实施例中,所述程序代码被所述处理器730运行时使所述身份认证系统700所执行的判断证件图像中的证件是否为真实证件,以获得证件真伪判断结果的步骤包括:提取证件图像的图像特征;以及将图像特征输入训练好的证件分类器,以获得证件真伪判断结果;其中,证件真伪判断结果为证件图像中的证件是真实证件的置信度。
在一个实施例中,所述程序代码被所述处理器730运行时使所述身份认证系统700所执行的判断证件图像中的证件是否为真实证件,以获得证件真伪判断结果的步骤包括:从证件图像中识别包含证件标识信息的图像块;以及对包含证件标识信息的图像块中的证件标识信息进行识别,以获得证件真伪判断结果;其中,证件真伪判断结果为证件图像中的证件是真实证件的置信度。
在一个实施例中,在所述程序代码被所述处理器730运行时使所述身份认证系统700所执行的根据证件认证结果、活体检测结果和附加判断结果确定待认证人员的身份是否合法的过程中,证件认证结果、活体检测结果和附加判断结果中的每个结果具有各自的权重系数。
在一个实施例中,所述程序代码被所述处理器730运行时使所述身份认证系统700所执行的获取待认证人员的证件图像的步骤包括:实时采集当前拍摄条件下的待认证人员的证件的预拍摄图像;实时评估预拍摄图像的图像属性;当预拍摄图像的图像属性的评估值小于预设的评估值阈值时,根据预拍摄图像的图像属性生成提示信息,用于提示待认证人员调整其证件的拍摄条件;以及当预拍摄图像的图像属性的评估值等于或大于预设的评估值阈值时,保存预拍摄图像以将其作为证件图像。
在一个实施例中,所述程序代码被所述处理器730运行时使所述身份认证系统700所执行的判断证件图像中的证件是否为已认证证件,以获得证件认证结果的步骤包括:对证件图像进行文字识别,以获得证件图像中的文字信息;以及基于证件图像中的文字信息在已认证证件信息数据库中进行搜索,以获得证件认证结果;其中,证件认证结果为证件图像中的证件是已认证证件的置信度。
在一个实施例中,所述程序代码被所述处理器730运行时使所述身份认证系统700所执行的对证件图像进行文字识别,以获得证件图像中的文字信息的步骤包括:对证件图像中的文字进行定位,以获得包含文字的图像块;以及对包含文字的图像块中的文字进行识别,以获得证件图像中的文字信息。
在一个实施例中,在所述程序代码被所述处理器730运行时使所述身份认证系统700所执行的对包含文字的图像块中的文字进行识别的步骤之前,所述程序代码被所述处理器730运行时还使所述身份认证系统700执行:将包含文字的图像块校正为水平状态。
在一个实施例中,在所述程序代码被所述处理器730运行时使所述身份认证系统700所执行的对包含文字的图像块中的文字进行识别,以获得证件图像中的文字信息的步骤之后,所述程序代码被所述处理器730运行时使所述身份认证系统700所执行的对证件图像进行文字识别,以获得证件图像中的文字信息的步骤还包括:输出证件图像中的文字信息,以供用户查看;接收用户输入的文字修正信息;将文字修正信息所指示的待修正文字与证件图像中的文字信息中的对应文字进行对比;以及如果文字修正信息所指示的待修正文字与证件图像中的文字信息中的对应文字之间的差异小于预设的差异阈值,则利用文字修正信息更新证件图像中的文字信息。
在一个实施例中,在所述程序代码被所述处理器730运行时使所述身份认证系统700所执行的获取待认证人员的人脸图像的步骤之前或在该步骤的实施过程中,所述程序代码被所述处理器730运行时还使所述身份认证系统700执行:生成活体动作指令,活体动作指令用于指示待认证人员执行对应的活体动作;所述程序代码被所述处理器730运行时使所述身份认证系统700所执行的获取待认证人员的人脸图像的步骤包括:获取实时采集的待认证人员的人脸图像;所述程序代码被所述处理器730运行时使所述身份认证系统700所执行的利用人脸图像进行活体检测,以获得活体检测结果的步骤包括:检测人脸图像中的人脸;以及判断人脸图像中的人脸是否执行活体动作指令所指示的活体动作,以获得活体检测结果。
在一个实施例中,在所述程序代码被所述处理器730运行时使所述身份认证系统700所执行的获取待认证人员的人脸图像的步骤之前或在该步骤的实施过程中,所述程序代码被所述处理器730运行时还使所述身份认证系统700执行:生成活体动作指令,活体动作指令用于指示待认证人员执行对应的活体动作;所述程序代码被所述处理器730运行时使所述身份认证系统700所执行的获取待认证人员的人脸图像的步骤包括:获取实时采集的待认证人员的人脸图像;所述程序代码被所述处理器730运行时使所述身份认证系统700所执行的利用人脸图像进行活体检测,以获得活体检测结果的步骤包括:从所采集的人脸图像中捕捉待认证人员执行活体动作前的皮肤区域图像和执行活体动作后的皮肤区域图像;以及将待认证人员执行活体动作前的皮肤区域图像和执行活体动作后的皮肤区域图像输入皮肤弹性分类器,以获得活体检测结果。
在一个实施例中,所述程序代码被所述处理器730运行时还使所述身份认证系统700执行:获取真实人员执行活体动作前的人脸图像和执行活体动作后的人脸图像,以及虚假人员执行活体动作前的人脸图像和执行活体动作后的人脸图像;从真实人员执行活体动作前的人脸图像和执行活体动作后的人脸图像中提取真实人员执行活体动作前的人脸图像和执行活体动作后的皮肤区域图像作为正样本图像;从虚假人员执行活体动作前的人脸图像和执行活体动作后的人脸图像中提取虚假人员执行活体动作前的人脸图像和执行活体动作后的皮肤区域图像作为负样本图像;以及利用正样本图像和负样本图像训练分类器模型,以获得皮肤弹性分类器。
在一个实施例中,所述程序代码被所述处理器730运行时使所述身份认证系统700所执行的从所采集的人脸图像中捕捉待认证人员执行活体动作前的皮肤区域图像和执行活体动作后的皮肤区域图像的步骤包括:从所采集的人脸图像中选择待认证人员执行活体动作前的人脸图像和执行活体动作后的人脸图像;利用人脸检测模型对在待认证人员执行活体动作前的人脸图像和执行活体动作后的人脸图像中的人脸进行定位;利用人脸关键点定位模型对在待认证人员执行活体动作前的人脸图像和执行活体动作后的人脸图像中的人脸的关键点进行定位;以及根据定位获得的人脸位置和关键点位置对在待认证人员执行活体动作前的人脸图像和执行活体动作后的人脸图像中的人脸进行区域划分,以获得待认证人员执行活体动作前的皮肤区域图像和执行活体动作后的皮肤区域图像。
在一个实施例中,所述程序代码被所述处理器730运行时还使所述身份认证系统700执行:获取样本人脸图像,样本人脸图像中的人脸的位置和人脸的关键点的位置是已标注好的;以及利用样本人脸图像进行神经网络训练,以获得人脸检测模型和人脸关键点定位模型。
在一个实施例中,所述程序代码被所述处理器730运行时使所述身份认证系统700所执行的获取待认证人员的人脸图像的步骤包括:使用结构光照射待认证人员的人脸;获取由双目摄像头采集的结构光照射下的人脸图像;所述程序代码被所述处理器730运行时使所述身份认证系统700所执行的利用人脸图像进行活体检测,以获得活体检测结果的步骤包括:根据人脸图像确定待认证人员的人脸是否属于活体,以获得活体检测结果。
此外,根据本发明实施例,还提供了一种存储介质,在所述存储介质上存储了程序指令,在所述程序指令被计算机或处理器运行时用于执行本发明实施例的身份认证方法的相应步骤,并且用于实现根据本发明实施例的身份认证装置中的相应模块。所述存储介质例如可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。
在一个实施例中,所述计算机程序指令在被计算机或处理器运行时可以使得计算机或处理器实现根据本发明实施例的身份认证装置的各个功能模块,并且/或者可以执行根据本发明实施例的身份认证方法。
在一个实施例中,所述计算机程序指令在被计算机运行时使所述计算机执行以下步骤:获取待认证人员的证件图像;判断证件图像中的证件是否为已认证证件,以获得证件认证结果;获取待认证人员的人脸图像;利用人脸图像进行活体检测,以获得活体检测结果;以及至少根据证件认证结果和活体检测结果确定待认证人员的身份是否合法。
在一个实施例中,在所述计算机程序指令在被计算机运行时使所述计算机所执行的至少根据证件认证结果和活体检测结果确定待认证人员的身份是否合法的步骤之前,所述计算机程序指令在被计算机运行时还使所述计算机执行:利用证件图像和/或人脸图像执行附加判断操作,以获得附加判断结果;所述计算机程序指令在被计算机运行时使所述计算机所执行的至少根据证件认证结果和活体检测结果确定待认证人员的身份是否合法的步骤包括:根据证件认证结果、活体检测结果和附加判断结果确定待认证人员的身份是否合法。
在一个实施例中,附加判断操作包括证件真伪判断操作和/或人脸一致性判断操作,并且附加判断结果包括证件真伪判断结果和/或人脸一致性判断结果,证件真伪判断操作包括:判断证件图像中的证件是否为真实证件,以获得证件真伪判断结果;人脸一致性判断操作包括:根据证件图像获取待认证人员的证件人脸;以及将待认证人员的证件人脸与人脸图像中的人脸进行对比,以获得人脸一致性判断结果。
在一个实施例中,所述计算机程序指令在被计算机运行时使所述计算机所执行的根据证件图像获取待认证人员的证件人脸的步骤包括:从证件图像中检测人脸,以获得待认证人员的证件人脸。
在一个实施例中,所述计算机程序指令在被计算机运行时使所述计算机所执行的根据证件图像获取待认证人员的证件人脸的步骤包括:对所述证件图像进行文字识别,以获得所述证件图像中的文字信息;基于证件图像中的文字信息从已认证证件信息数据库中搜索匹配的证件信息;以及确定搜索到的、匹配的证件信息中的证件人脸为待认证人员的证件人脸。
在一个实施例中,所述计算机程序指令在被计算机运行时使所述计算机所执行的判断证件图像中的证件是否为真实证件,以获得证件真伪判断结果的步骤包括:提取证件图像的图像特征;以及将图像特征输入训练好的证件分类器,以获得证件真伪判断结果;其中,证件真伪判断结果为证件图像中的证件是真实证件的置信度。
在一个实施例中,所述计算机程序指令在被计算机运行时使所述计算机所执行的判断证件图像中的证件是否为真实证件,以获得证件真伪判断结果的步骤包括:从证件图像中识别包含证件标识信息的图像块;以及对包含证件标识信息的图像块中的证件标识信息进行识别,以获得证件真伪判断结果;其中,证件真伪判断结果为证件图像中的证件是真实证件的置信度。
在一个实施例中,在所述计算机程序指令在被计算机运行时使所述计算机所执行的根据证件认证结果、活体检测结果和附加判断结果确定待认证人员的身份是否合法的过程中,证件认证结果、活体检测结果和附加判断结果中的每个结果具有各自的权重系数。
在一个实施例中,所述计算机程序指令在被计算机运行时使所述计算机所执行的获取待认证人员的证件图像的步骤包括:实时采集当前拍摄条件下的待认证人员的证件的预拍摄图像;实时评估预拍摄图像的图像属性;当预拍摄图像的图像属性的评估值小于预设的评估值阈值时,根据预拍摄图像的图像属性生成提示信息,用于提示待认证人员调整其证件的拍摄条件;以及当预拍摄图像的图像属性的评估值等于或大于预设的评估值阈值时,保存预拍摄图像以将其作为证件图像。
在一个实施例中,所述计算机程序指令在被计算机运行时使所述计算机所执行的判断证件图像中的证件是否为已认证证件,以获得证件认证结果的步骤包括:对证件图像进行文字识别,以获得证件图像中的文字信息;以及基于证件图像中的文字信息在已认证证件信息数据库中进行搜索,以获得证件认证结果;其中,证件认证结果为证件图像中的证件是已认证证件的置信度。
在一个实施例中,所述计算机程序指令在被计算机运行时使所述计算机所执行的对证件图像进行文字识别,以获得证件图像中的文字信息的步骤包括:对证件图像中的文字进行定位,以获得包含文字的图像块;以及对包含文字的图像块中的文字进行识别,以获得证件图像中的文字信息。
在一个实施例中,在所述计算机程序指令在被计算机运行时使所述计算机所执行的对包含文字的图像块中的文字进行识别的步骤之前,所述计算机程序指令在被计算机运行时还使所述计算机执行:将包含文字的图像块校正为水平状态。
在一个实施例中,在所述计算机程序指令在被计算机运行时使所述计算机所执行的对包含文字的图像块中的文字进行识别,以获得证件图像中的文字信息的步骤之后,所述计算机程序指令在被计算机运行时使所述计算机所执行的对证件图像进行文字识别,以获得证件图像中的文字信息的步骤还包括:输出证件图像中的文字信息,以供用户查看;接收用户输入的文字修正信息;将文字修正信息所指示的待修正文字与证件图像中的文字信息中的对应文字进行对比;以及如果文字修正信息所指示的待修正文字与证件图像中的文字信息中的对应文字之间的差异小于预设的差异阈值,则利用文字修正信息更新证件图像中的文字信息。
在一个实施例中,在所述计算机程序指令在被计算机运行时使所述计算机所执行的获取待认证人员的人脸图像的步骤之前或在该步骤的实施过程中,所述计算机程序指令在被计算机运行时还使所述计算机执行:生成活体动作指令,活体动作指令用于指示待认证人员执行对应的活体动作;所述计算机程序指令在被计算机运行时使所述计算机所执行的获取待认证人员的人脸图像的步骤包括:获取实时采集的待认证人员的人脸图像;所述计算机程序指令在被计算机运行时使所述计算机所执行的利用人脸图像进行活体检测,以获得活体检测结果的步骤包括:检测人脸图像中的人脸;以及判断人脸图像中的人脸是否执行活体动作指令所指示的活体动作,以获得活体检测结果。
在一个实施例中,在所述计算机程序指令在被计算机运行时使所述计算机所执行的获取待认证人员的人脸图像的步骤之前或在该步骤的实施过程中,所述计算机程序指令在被计算机运行时还使所述计算机执行:生成活体动作指令,活体动作指令用于指示待认证人员执行对应的活体动作;所述计算机程序指令在被计算机运行时使所述计算机所执行的获取待认证人员的人脸图像的步骤包括:获取实时采集的待认证人员的人脸图像;所述计算机程序指令在被计算机运行时使所述计算机所执行的利用人脸图像进行活体检测,以获得活体检测结果的步骤包括:从所采集的人脸图像中捕捉待认证人员执行活体动作前的皮肤区域图像和执行活体动作后的皮肤区域图像;以及将待认证人员执行活体动作前的皮肤区域图像和执行活体动作后的皮肤区域图像输入皮肤弹性分类器,以获得活体检测结果。
在一个实施例中,所述计算机程序指令在被计算机运行时还使所述计算机执行:获取真实人员执行活体动作前的人脸图像和执行活体动作后的人脸图像,以及虚假人员执行活体动作前的人脸图像和执行活体动作后的人脸图像;从真实人员执行活体动作前的人脸图像和执行活体动作后的人脸图像中提取真实人员执行活体动作前的人脸图像和执行活体动作后的皮肤区域图像作为正样本图像;从虚假人员执行活体动作前的人脸图像和执行活体动作后的人脸图像中提取虚假人员执行活体动作前的人脸图像和执行活体动作后的皮肤区域图像作为负样本图像;以及利用正样本图像和负样本图像训练分类器模型,以获得皮肤弹性分类器。
在一个实施例中,所述计算机程序指令在被计算机运行时使所述计算机所执行的从所采集的人脸图像中捕捉待认证人员执行活体动作前的皮肤区域图像和执行活体动作后的皮肤区域图像的步骤包括:从所采集的人脸图像中选择待认证人员执行活体动作前的人脸图像和执行活体动作后的人脸图像;利用人脸检测模型对在待认证人员执行活体动作前的人脸图像和执行活体动作后的人脸图像中的人脸进行定位;利用人脸关键点定位模型对在待认证人员执行活体动作前的人脸图像和执行活体动作后的人脸图像中的人脸的关键点进行定位;以及根据定位获得的人脸位置和关键点位置对在待认证人员执行活体动作前的人脸图像和执行活体动作后的人脸图像中的人脸进行区域划分,以获得待认证人员执行活体动作前的皮肤区域图像和执行活体动作后的皮肤区域图像。
在一个实施例中,所述计算机程序指令在被计算机运行时还使所述计算机执行:获取样本人脸图像,样本人脸图像中的人脸的位置和人脸的关键点的位置是已标注好的;以及利用样本人脸图像进行神经网络训练,以获得人脸检测模型和人脸关键点定位模型。
在一个实施例中,所述计算机程序指令在被计算机运行时使所述计算机所执行的获取待认证人员的人脸图像的步骤包括:使用结构光照射所述待认证人员的人脸;获取由双目摄像头采集的结构光照射下的人脸图像;所述计算机程序指令在被计算机运行时使所述计算机所执行的利用人脸图像进行活体检测,以获得活体检测结果的步骤包括:根据人脸图像确定待认证人员的人脸是否属于活体,以获得活体检测结果。
根据本发明实施例的身份认证系统中的各模块可以通过根据本发明实施例的实施身份认证的电子设备的处理器运行在存储器中存储的计算机程序指令来实现,或者可以在根据本发明实施例的计算机程序产品的计算机可读存储介质中存储的计算机指令被计算机运行时实现。
根据本发明实施例的身份认证方法及装置,结合已认证证件判断和活体检测来确定待认证人员的身份是否合法,因此,与常规的单纯基于密码或证件进行身份认证的方式相比,根据本发明实施例的身份认证方法和装置的认证结果更准确,可以提高用户鉴权的安全性,从而可以有效保障用户的权益。上述方法和装置可以很好地应用于各种涉及身份认证的领域,例如电子商务、移动支付或银行业务等领域。
尽管这里已经参考附图描述了示例实施例,应理解上述示例实施例仅仅是示例性的,并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改,而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。例如,以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个设备,或一些特征可以忽略,或不执行。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本发明并帮助理解各个发明方面中的一个或多个,在对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该本发明的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如相应的权利要求书所反映的那样,其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域的技术人员可以理解,除了特征之间相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的身份认证装置中的一些模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
以上所述,仅为本发明的具体实施方式或对具体实施方式的说明,本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。

Claims (30)

1.一种身份认证方法,包括:
获取待认证人员的证件图像;
判断所述证件图像中的证件是否为已认证证件,以获得证件认证结果;
获取所述待认证人员的人脸图像;
利用所述人脸图像进行活体检测,以获得活体检测结果;以及
至少根据所述证件认证结果和所述活体检测结果确定所述待认证人员的身份是否合法;
其中,所述判断所述证件图像中的证件是否为已认证证件,以获得证件认证结果包括:
对所述证件图像进行文字识别,以获得所述证件图像中的文字信息;以及
基于所述证件图像中的文字信息在已认证证件信息数据库中进行搜索,以获得所述证件认证结果,其中,所述证件认证结果为所述证件图像中的证件是已认证证件的置信度;
其中,所述对所述证件图像进行文字识别,以获得所述证件图像中的文字信息包括:
对所述证件图像中的文字进行定位,以获得包含文字的图像块;
对所述包含文字的图像块中的文字进行识别,以获得所述证件图像中的文字信息;
输出所述证件图像中的文字信息,以供用户查看;
接收所述用户输入的文字修正信息;
将所述文字修正信息所指示的待修正文字与所述证件图像中的文字信息中的对应文字进行对比;以及
如果所述文字修正信息所指示的待修正文字与所述证件图像中的文字信息中的对应文字之间的差异小于预设的差异阈值,则利用所述文字修正信息更新所述证件图像中的文字信息。
2.如权利要求1所述的身份认证方法,其中,在所述至少根据所述证件认证结果和所述活体检测结果确定所述待认证人员的身份是否合法之前,所述身份认证方法还包括:
利用所述证件图像和/或所述人脸图像执行附加判断操作,以获得附加判断结果;
所述至少根据所述证件认证结果和所述活体检测结果确定所述待认证人员的身份是否合法包括:
根据所述证件认证结果、所述活体检测结果和所述附加判断结果确定所述待认证人员的身份是否合法。
3.如权利要求2所述的身份认证方法,其中,所述附加判断操作包括证件真伪判断操作和/或人脸一致性判断操作,并且所述附加判断结果包括证件真伪判断结果和/或人脸一致性判断结果,
所述证件真伪判断操作包括:判断所述证件图像中的证件是否为真实证件,以获得所述证件真伪判断结果;
所述人脸一致性判断操作包括:根据所述证件图像获取所述待认证人员的证件人脸;以及将所述待认证人员的证件人脸与所述人脸图像中的人脸进行对比,以获得所述人脸一致性判断结果。
4.如权利要求3所述的身份认证方法,其中,所述根据所述证件图像获取所述待认证人员的证件人脸包括:
从所述证件图像中检测人脸,以获得所述待认证人员的证件人脸。
5.如权利要求3所述的身份认证方法,其中,所述根据所述证件图像获取所述待认证人员的证件人脸包括:
确定从所述已认证证件信息数据库中搜索到的、与所述证件图像中的文字信息匹配的证件信息中的证件人脸为所述待认证人员的证件人脸。
6.如权利要求3所述的身份认证方法,其中,所述判断所述证件图像中的证件是否为真实证件,以获得所述证件真伪判断结果包括:
提取所述证件图像的图像特征;以及
将所述图像特征输入训练好的证件分类器,以获得所述证件真伪判断结果;
其中,所述证件真伪判断结果为所述证件图像中的证件是真实证件的置信度。
7.如权利要求3所述的身份认证方法,其中,所述判断所述证件图像中的证件是否为真实证件,以获得所述证件真伪判断结果包括:
从所述证件图像中识别包含证件标识信息的图像块;以及
对所述包含证件标识信息的图像块中的证件标识信息进行识别,以获得所述证件真伪判断结果;
其中,所述证件真伪判断结果为所述证件图像中的证件是真实证件的置信度。
8.如权利要求2所述的身份认证方法,其中,在所述根据所述证件认证结果、所述活体检测结果和所述附加判断结果确定所述待认证人员的身份是否合法的过程中,所述证件认证结果、所述活体检测结果和所述附加判断结果中的每个结果具有各自的权重系数。
9.如权利要求1所述的身份认证方法,其中,所述获取待认证人员的证件图像包括:
实时采集当前拍摄条件下的待认证人员的证件的预拍摄图像;
实时评估所述预拍摄图像的图像属性;
当所述预拍摄图像的图像属性的评估值小于预设的评估值阈值时,根据所述预拍摄图像的图像属性生成提示信息,用于提示所述待认证人员调整其证件的拍摄条件;以及
当所述预拍摄图像的图像属性的评估值等于或大于所述预设的评估值阈值时,保存所述预拍摄图像以将其作为所述证件图像。
10.如权利要求1所述的身份认证方法,其中,在所述对所述包含文字的图像块中的文字进行识别之前,所述身份认证方法还包括:
将所述包含文字的图像块校正为水平状态。
11.如权利要求1所述的身份认证方法,其中,
在所述获取所述待认证人员的人脸图像之前或在该步骤的实施过程中,所述身份认证方法还包括:
生成活体动作指令,所述活体动作指令用于指示所述待认证人员执行对应的活体动作;
所述获取所述待认证人员的人脸图像包括:
获取实时采集的所述待认证人员的人脸图像;
所述利用所述人脸图像进行活体检测,以获得活体检测结果包括:
检测所述人脸图像中的人脸;以及
判断所述人脸图像中的人脸是否执行所述活体动作指令所指示的活体动作,以获得所述活体检测结果。
12.如权利要求1所述的身份认证方法,其中,
在所述获取所述待认证人员的人脸图像之前或在该步骤的实施过程中,所述身份认证方法还包括:
生成活体动作指令,所述活体动作指令用于指示所述待认证人员执行对应的活体动作;
所述获取所述待认证人员的人脸图像包括:
获取实时采集的所述待认证人员的人脸图像;
所述利用所述人脸图像进行活体检测,以获得活体检测结果包括:
从所采集的所述人脸图像中捕捉所述待认证人员执行活体动作前的皮肤区域图像和执行活体动作后的皮肤区域图像;以及
将所述待认证人员执行活体动作前的皮肤区域图像和执行活体动作后的皮肤区域图像输入皮肤弹性分类器,以获得所述活体检测结果。
13.如权利要求12所述的身份认证方法,其中,所述身份认证方法包括:
获取真实人员执行活体动作前的人脸图像和执行活体动作后的人脸图像,以及虚假人员执行活体动作前的人脸图像和执行活体动作后的人脸图像;
从所述真实人员执行活体动作前的人脸图像和执行活体动作后的人脸图像中提取真实人员执行活体动作前的皮肤区域图像和执行活体动作后的皮肤区域图像作为正样本图像;
从所述虚假人员执行活体动作前的人脸图像和执行活体动作后的人脸图像中提取虚假人员执行活体动作前的皮肤区域图像和执行活体动作后的皮肤区域图像作为负样本图像;以及
利用所述正样本图像和所述负样本图像训练分类器模型,以获得所述皮肤弹性分类器。
14.如权利要求12所述的身份认证方法,其中,所述从所采集的所述人脸图像中捕捉所述待认证人员执行活体动作前的皮肤区域图像和执行活体动作后的皮肤区域图像包括:
从所采集的所述人脸图像中选择所述待认证人员执行活体动作前的人脸图像和执行活体动作后的人脸图像;
利用人脸检测模型对在所述待认证人员执行活体动作前的人脸图像和执行活体动作后的人脸图像中的人脸进行定位;
利用人脸关键点定位模型对在所述待认证人员执行活体动作前的人脸图像和执行活体动作后的人脸图像中的人脸的关键点进行定位;以及
根据定位获得的人脸位置和关键点位置对在所述待认证人员执行活体动作前的人脸图像和执行活体动作后的人脸图像中的人脸进行区域划分,以获得所述待认证人员执行活体动作前的皮肤区域图像和执行活体动作后的皮肤区域图像。
15.如权利要求14所述的身份认证方法,其中,所述身份认证方法还包括:
获取样本人脸图像,所述样本人脸图像中的人脸的位置和人脸的关键点的位置是已标注好的;以及
利用所述样本人脸图像进行神经网络训练,以获得所述人脸检测模型和所述人脸关键点定位模型。
16.如权利要求1所述的身份认证方法,其中,
所述获取所述待认证人员的人脸图像包括:
使用结构光照射所述待认证人员的人脸;
获取由双目摄像头采集的所述结构光照射下的所述人脸图像;
所述利用所述人脸图像进行活体检测,以获得活体检测结果包括:
根据所述人脸图像确定所述待认证人员的人脸是否属于活体,以获得所述活体检测结果。
17.一种身份认证装置,包括:
证件图像获取模块,用于获取待认证人员的证件图像;
已认证证件判断模块,用于判断所述证件图像中的证件是否为已认证证件,以获得证件认证结果;
人脸图像获取模块,用于获取所述待认证人员的人脸图像;
活体检测模块,用于利用所述人脸图像进行活体检测,以获得活体检测结果;以及
身份确定模块,用于至少根据所述证件认证结果和所述活体检测结果确定所述待认证人员的身份是否合法;
其中,所述已认证证件判断模块包括:
文字识别子模块,用于对所述证件图像进行文字识别,以获得所述证件图像中的文字信息;以及
搜索子模块,用于基于所述证件图像中的文字信息在已认证证件信息数据库中进行搜索,以获得所述证件认证结果,其中,所述证件认证结果为所述证件图像中的证件是已认证证件的置信度;
其中,所述文字识别子模块包括:
文字定位单元,用于对所述证件图像中的文字进行定位,以获得包含文字的图像块;
文字识别单元,用于对所述包含文字的图像块中的文字进行识别,以获得所述证件图像中的文字信息;
文字输出单元,用于输出所述证件图像中的文字信息,以供用户查看;
修正信息接收单元,用于接收所述用户输入的文字修正信息;
文字对比单元,用于将所述文字修正信息所指示的待修正文字与所述证件图像中的文字信息中的对应文字进行对比;以及
文字更新单元,用于如果所述文字修正信息所指示的待修正文字与所述证件图像中的文字信息中的对应文字之间的差异小于预设的差异阈值,则利用所述文字修正信息更新所述证件图像中的文字信息。
18.如权利要求17所述的身份认证装置,其中,
所述身份认证装置还包括:附加判断模块,用于利用所述证件图像和/或所述人脸图像执行附加判断操作,以获得附加判断结果;
所述身份确定模块包括:身份确定子模块,用于根据所述证件认证结果、所述活体检测结果和所述附加判断结果确定所述待认证人员的身份是否合法。
19.如权利要求18所述的身份认证装置,其中,所述附加判断模块包括证件真伪判断子模块和/或人脸一致性判断子模块,所述证件真伪判断子模块用于执行证件真伪判断操作,所述人脸一致性判断子模块用于执行人脸一致性判断操作,并且所述附加判断结果包括证件真伪判断结果和/或人脸一致性判断结果,
所述证件真伪判断子模块包括:证件真伪判断单元,用于判断所述证件图像中的证件是否为真实证件,以获得所述证件真伪判断结果;
所述人脸一致性判断子模块包括:证件人脸获取单元,用于根据所述证件图像获取所述待认证人员的证件人脸;以及人脸对比单元,用于将所述待认证人员的证件人脸与所述人脸图像中的人脸进行对比,以获得所述人脸一致性判断结果。
20.如权利要求19所述的身份认证装置,其中,所述证件人脸获取单元包括:
证件人脸检测子单元,用于从所述证件图像中检测人脸,以获得所述待认证人员的证件人脸。
21.如权利要求19所述的身份认证装置,其中,所述证件人脸获取单元包括:
证件人脸确定子单元,用于确定从所述已认证证件信息数据库中搜索到的、与所述证件图像中的文字信息匹配的证件信息中的证件人脸为所述待认证人员的证件人脸。
22.如权利要求19所述的身份认证装置,其中,所述证件真伪判断单元包括:
特征提取子单元,用于提取所述证件图像的图像特征;以及
输入子单元,用于将所述图像特征输入训练好的证件分类器,以获得所述证件真伪判断结果;
其中,所述证件真伪判断结果为所述证件图像中的证件是真实证件的置信度。
23.如权利要求19所述的身份认证装置,其中,所述证件真伪判断单元包括:
图像块识别子单元,用于从所述证件图像中识别包含证件标识信息的图像块;以及
标识信息识别子单元,用于对所述包含证件标识信息的图像块中的证件标识信息进行识别,以获得所述证件真伪判断结果;
其中,所述证件真伪判断结果为所述证件图像中的证件是真实证件的置信度。
24.如权利要求18所述的身份认证装置,其中,在所述身份确定子模块根据所述证件认证结果、所述活体检测结果和所述附加判断结果确定所述待认证人员的身份是否合法的过程中,所述证件认证结果、所述活体检测结果和所述附加判断结果中的每个结果具有各自的权重系数。
25.如权利要求17所述的身份认证装置,其中,所述证件图像获取模块包括:
采集子模块,用于实时采集当前拍摄条件下的待认证人员的证件的预拍摄图像;
评估子模块,用于实时评估所述预拍摄图像的图像属性;
提示子模块,用于当所述预拍摄图像的图像属性的评估值小于预设的评估值阈值时,根据所述预拍摄图像的图像属性生成提示信息,用于提示所述待认证人员调整其证件的拍摄条件;以及
保存子模块,用于当所述预拍摄图像的图像属性的评估值等于或大于所述预设的评估值阈值时,保存所述预拍摄图像以将其作为所述证件图像。
26.如权利要求17所述的身份认证装置,其中,所述身份认证装置还包括:
文字校正模块,用于在所述文字识别单元对所述包含文字的图像块中的文字进行识别之前,将所述包含文字的图像块校正为水平状态。
27.如权利要求17所述的身份认证装置,其中,
所述身份认证装置还包括:
指令生成模块,用于在所述人脸图像获取模块获取所述待认证人员的人脸图像之前或在所述人脸图像获取模块获取所述待认证人员的人脸图像的过程中,生成活体动作指令,所述活体动作指令用于指示所述待认证人员执行对应的活体动作;
所述人脸图像获取模块包括:
人脸图像获取子模块,用于获取实时采集的所述待认证人员的人脸图像;
所述活体检测模块包括:
人脸检测子模块,用于检测所述人脸图像中的人脸;以及
活体动作执行判断子模块,用于判断所述人脸图像中的人脸是否执行所述活体动作指令所指示的活体动作,以获得所述活体检测结果。
28.如权利要求17所述的身份认证装置,其中,
所述身份认证装置还包括:
指令生成模块,用于在所述人脸图像获取模块获取所述待认证人员的人脸图像之前或在所述人脸图像获取模块获取所述待认证人员的人脸图像的过程中,生成活体动作指令,所述活体动作指令用于指示所述待认证人员执行对应的活体动作;
所述人脸图像获取模块包括:
人脸图像获取子模块,用于获取实时采集的所述待认证人员的人脸图像;
所述活体检测模块包括:
皮肤区域捕捉子模块,用于从所采集的所述人脸图像中捕捉所述待认证人员执行活体动作前的皮肤区域图像和执行活体动作后的皮肤区域图像;以及
输入子模块,用于将所述待认证人员执行活体动作前的皮肤区域图像和执行活体动作后的皮肤区域图像输入皮肤弹性分类器,以获得所述活体检测结果。
29.如权利要求28所述的身份认证装置,其中,所述皮肤区域捕捉子模块包括:
图像选择单元,用于从所采集的所述人脸图像中选择所述待认证人员执行活体动作前的人脸图像和执行活体动作后的人脸图像;
人脸定位单元,用于利用人脸检测模型对在所述待认证人员执行活体动作前的人脸图像和执行活体动作后的人脸图像中的人脸进行定位;
关键点定位单元,用于利用人脸关键点定位模型对在所述待认证人员执行活体动作前的人脸图像和执行活体动作后的人脸图像中的人脸的关键点进行定位;以及
皮肤区域获得单元,用于根据定位获得的人脸位置和关键点位置对在所述待认证人员执行活体动作前的人脸图像和执行活体动作后的人脸图像中的人脸进行区域划分,以获得所述待认证人员执行活体动作前的皮肤区域图像和执行活体动作后的皮肤区域图像。
30.如权利要求17所述的身份认证装置,其中,
所述人脸图像获取模块包括:
结构光发射模块,用于发射结构光照射所述待认证人员的人脸;
人脸图像获取子模块,用于获取由双目摄像头采集的所述结构光照射下的所述人脸图像;
所述活体检测模块包括:
活体确定子模块,用于根据所述人脸图像确定所述待认证人员的人脸是否属于活体,以获得所述活体检测结果。
CN201611060622.9A 2016-11-25 2016-11-25 身份认证方法和装置 Active CN106778525B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611060622.9A CN106778525B (zh) 2016-11-25 2016-11-25 身份认证方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611060622.9A CN106778525B (zh) 2016-11-25 2016-11-25 身份认证方法和装置

Publications (2)

Publication Number Publication Date
CN106778525A CN106778525A (zh) 2017-05-31
CN106778525B true CN106778525B (zh) 2021-08-10

Family

ID=58911132

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611060622.9A Active CN106778525B (zh) 2016-11-25 2016-11-25 身份认证方法和装置

Country Status (1)

Country Link
CN (1) CN106778525B (zh)

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107358157B (zh) 2017-06-07 2020-10-02 创新先进技术有限公司 一种人脸活体检测方法、装置以及电子设备
CN107392137B (zh) * 2017-07-18 2020-09-08 艾普柯微电子(上海)有限公司 人脸识别方法及装置
CN109325933B (zh) * 2017-07-28 2022-06-21 阿里巴巴集团控股有限公司 一种翻拍图像识别方法及装置
CN107368730B (zh) * 2017-07-31 2020-03-06 Oppo广东移动通信有限公司 解锁验证方法和装置
CN107563289A (zh) * 2017-07-31 2018-01-09 百度在线网络技术(北京)有限公司 一种活体检测的方法、装置、设备和计算机存储介质
CN108875331B (zh) * 2017-08-01 2022-08-19 北京旷视科技有限公司 人脸解锁方法、装置和系统及存储介质
CN107609367A (zh) * 2017-08-09 2018-01-19 国政通科技股份有限公司 一种基于图像处理的身份认证方法及系统
CN107679457A (zh) * 2017-09-06 2018-02-09 阿里巴巴集团控股有限公司 用户身份校验方法及装置
CN107665354B (zh) * 2017-09-19 2021-04-23 北京小米移动软件有限公司 识别身份证的方法及装置
CN107844748B (zh) * 2017-10-17 2019-02-05 平安科技(深圳)有限公司 身份验证方法、装置、存储介质和计算机设备
CN107729847B (zh) * 2017-10-20 2020-08-04 阿里巴巴集团控股有限公司 一种证件验证、身份验证方法和装置
CN107832679B (zh) * 2017-10-20 2021-07-30 创新先进技术有限公司 一种证件验证、身份验证方法和装置
CN108875335B (zh) * 2017-10-23 2020-10-09 北京旷视科技有限公司 人脸解锁与录入表情和表情动作的方法、以及认证设备和非易失性存储介质
CN108229299B (zh) * 2017-10-31 2021-02-26 北京市商汤科技开发有限公司 证件的识别方法和装置、电子设备、计算机存储介质
CN107968888A (zh) * 2017-11-30 2018-04-27 努比亚技术有限公司 一种移动终端控制方法、移动终端及计算机可读存储介质
CN109981525A (zh) * 2017-12-27 2019-07-05 航天信息股份有限公司 身份信息认证方法、终端、服务器与系统
CN108288073A (zh) * 2018-01-30 2018-07-17 北京小米移动软件有限公司 图片真伪识别方法及装置、计算机可读存储介质
CN108491785B (zh) * 2018-03-19 2020-07-28 网御安全技术(深圳)有限公司 一种人工智能图像辨识攻击防御系统
CN108494778A (zh) * 2018-03-27 2018-09-04 百度在线网络技术(北京)有限公司 身份认证方法和装置
CN108509916A (zh) * 2018-03-30 2018-09-07 百度在线网络技术(北京)有限公司 用于生成图像的方法和装置
CN108805005A (zh) 2018-04-16 2018-11-13 深圳市商汤科技有限公司 身份验证方法和装置、电子设备、计算机程序和存储介质
CN108737729A (zh) * 2018-05-04 2018-11-02 Oppo广东移动通信有限公司 自动拍照方法和装置
CN110473311B (zh) * 2018-05-09 2021-07-23 杭州海康威视数字技术股份有限公司 防范非法攻击方法、装置及电子设备
CN109117707A (zh) * 2018-06-20 2019-01-01 安徽继远软件有限公司 一种可信身份认证方法及用户终端
CN109145768A (zh) * 2018-07-31 2019-01-04 北京旷视科技有限公司 得到带人脸属性的人脸数据的方法及装置
CN110956229A (zh) * 2018-09-27 2020-04-03 钰翔环保供应链管理(上海)有限公司 一种实现货品安全交易的方法及装置
CN109558794B (zh) * 2018-10-17 2024-06-28 平安科技(深圳)有限公司 基于摩尔纹的图像识别方法、装置、设备和存储介质
CN109492585B (zh) * 2018-11-09 2023-07-25 联想(北京)有限公司 一种活体检测方法和电子设备
CN109871755A (zh) * 2019-01-09 2019-06-11 中国平安人寿保险股份有限公司 一种基于人脸识别的身份验证方法
CN110046621A (zh) * 2019-02-19 2019-07-23 阿里巴巴集团控股有限公司 证件识别方法及装置
CN110210312A (zh) * 2019-04-29 2019-09-06 众安信息技术服务有限公司 一种校验证件与持证人的方法及系统
CN110210393A (zh) * 2019-05-31 2019-09-06 百度在线网络技术(北京)有限公司 人脸图像的检测方法和装置
CN110210424A (zh) * 2019-06-05 2019-09-06 重庆两江新区管理委员会 一种基于人脸识别的工人身份信息采集系统及方法
CN110443237B (zh) * 2019-08-06 2023-06-30 北京旷视科技有限公司 证件识别方法、装置、电子设备及计算机可读存储介质
CN111476953A (zh) * 2019-08-13 2020-07-31 上海新约信息技术有限公司 医院支付管理系统及方法
CN112434547B (zh) * 2019-08-26 2023-11-14 中国移动通信集团广东有限公司 一种用户身份稽核方法和设备
CN111898536A (zh) * 2019-08-27 2020-11-06 创新先进技术有限公司 证件识别方法及装置
US10974537B2 (en) 2019-08-27 2021-04-13 Advanced New Technologies Co., Ltd. Method and apparatus for certificate identification
CN111737671A (zh) * 2020-05-06 2020-10-02 广东金赋科技股份有限公司 基于电子证照的业务办理方法、政务自助终端及存储介质
CN111784498A (zh) * 2020-06-22 2020-10-16 北京海益同展信息科技有限公司 身份认证方法、装置、电子设备及存储介质
CN112069936A (zh) * 2020-08-21 2020-12-11 深圳市商汤科技有限公司 攻破点测试方法及相关装置、电子设备、存储介质
CN112070188A (zh) * 2020-08-28 2020-12-11 湖北中科网络科技股份有限公司 一种基于时空唯一性身份鉴别方法与系统
CN113221842B (zh) * 2021-06-04 2023-12-29 第六镜科技(北京)集团有限责任公司 模型训练方法、图像识别方法、装置、设备及介质
CN114666142B (zh) * 2022-03-28 2023-10-10 杭州海康威视数字技术股份有限公司 一种对象认证方法、装置及系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4808802A (en) * 1986-08-25 1989-02-28 Hitachi, Ltd. Method and system for protecting information recorded in information medium
CN101561876A (zh) * 2009-06-05 2009-10-21 四川泸州航天金穗高技术有限公司 一种身份证信息采集与识别方法及系统
CN102147854A (zh) * 2010-02-08 2011-08-10 冲电气工业株式会社 帐票处理系统、登录终端及帐票数据处理方法
CN104021482A (zh) * 2013-03-01 2014-09-03 成都市易恒信科技有限公司 基于标识认证技术的证件防伪鉴真方法
CN104915668A (zh) * 2015-05-29 2015-09-16 深圳泓数科技有限公司 医学影像中的文字信息识别方法及装置
CN105118048A (zh) * 2015-07-17 2015-12-02 北京旷视科技有限公司 翻拍证件图片的识别方法及装置
CN105612533A (zh) * 2015-06-08 2016-05-25 北京旷视科技有限公司 活体检测方法、活体检测系统以及计算机程序产品
CN105809111A (zh) * 2016-02-25 2016-07-27 曹宇 身份认证方法、装置、设备及系统
CN105912986A (zh) * 2016-04-01 2016-08-31 北京旷视科技有限公司 活体检测方法、活体检测系统以及计算机程序产品
CN106101136A (zh) * 2016-07-22 2016-11-09 飞天诚信科技股份有限公司 一种生物特征对比的认证方法及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102902959B (zh) * 2012-04-28 2015-05-06 王浩 基于二代身份证存储证件照的人脸识别方法及系统
CN103793690B (zh) * 2014-01-27 2017-08-18 天津科技大学 一种基于皮下血流探测的人体生物活体检测方法及应用
CN105809164B (zh) * 2016-03-11 2019-05-14 北京旷视科技有限公司 文字识别方法和装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4808802A (en) * 1986-08-25 1989-02-28 Hitachi, Ltd. Method and system for protecting information recorded in information medium
CN101561876A (zh) * 2009-06-05 2009-10-21 四川泸州航天金穗高技术有限公司 一种身份证信息采集与识别方法及系统
CN102147854A (zh) * 2010-02-08 2011-08-10 冲电气工业株式会社 帐票处理系统、登录终端及帐票数据处理方法
CN104021482A (zh) * 2013-03-01 2014-09-03 成都市易恒信科技有限公司 基于标识认证技术的证件防伪鉴真方法
CN104915668A (zh) * 2015-05-29 2015-09-16 深圳泓数科技有限公司 医学影像中的文字信息识别方法及装置
CN105612533A (zh) * 2015-06-08 2016-05-25 北京旷视科技有限公司 活体检测方法、活体检测系统以及计算机程序产品
CN105118048A (zh) * 2015-07-17 2015-12-02 北京旷视科技有限公司 翻拍证件图片的识别方法及装置
CN105809111A (zh) * 2016-02-25 2016-07-27 曹宇 身份认证方法、装置、设备及系统
CN105912986A (zh) * 2016-04-01 2016-08-31 北京旷视科技有限公司 活体检测方法、活体检测系统以及计算机程序产品
CN106101136A (zh) * 2016-07-22 2016-11-09 飞天诚信科技股份有限公司 一种生物特征对比的认证方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
An Examination of Character Recognition on ID card using Template Matching Approach;Michael Ryan, Novita Hanafiah;《ICCSCI 2015》;20151231;第520-529页 *
基于移动终端的考生身份认证软件系统的设计与实现;刘博;《中国优秀硕士学位论文全文数据库 信息科技辑》;20150115;I138-170 *

Also Published As

Publication number Publication date
CN106778525A (zh) 2017-05-31

Similar Documents

Publication Publication Date Title
CN106778525B (zh) 身份认证方法和装置
CN108573203B (zh) 身份认证方法和装置及存储介质
US11188734B2 (en) Systems and methods for performing fingerprint based user authentication using imagery captured using mobile devices
CN110326001B (zh) 使用利用移动设备捕捉的图像执行基于指纹的用户认证的系统和方法
CN106599772B (zh) 活体验证方法和装置及身份认证方法和装置
CN108804884B (zh) 身份认证的方法、装置及计算机存储介质
US20190362130A1 (en) Systems and methods for performing fingerprint based user authentication using imagery captured using mobile devices
CN108573202A (zh) 身份认证方法、装置和系统以及终端、服务器和存储介质
JP2004206444A (ja) 個人認証方法および虹彩認証装置
CN108629259A (zh) 身份认证方法和装置及存储介质
WO2018234384A1 (en) DETECTION OF FACIAL ARTIFICIAL IMAGES USING FACIAL REFERENCES
CN108921080A (zh) 图像识别方法、装置及电子设备
Szczepanik et al. Security lock system for mobile devices based on fingerprint recognition algorithm
US11842573B1 (en) Methods and systems for enhancing liveness detection of image data
Xiao et al. Design of Fast Iris Authentication System Based on Android Platform
Siroya et al. Biometric Identification Using Deep Learning for Advance Cloud Security
Andries et al. The Impact of 3D Imaging on Fingerprint Spoofing Prevention
Rahman et al. A study of human recognition using inner joining lines of fingers
Afaq et al. Accurate Biometrics Authentication Technique based on Fast, Robust Iris Recognition System using Enhanced Quality Image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 100190 Beijing, Haidian District Academy of Sciences, South Road, No. 2, block A, No. 313

Applicant after: MEGVII INC.

Applicant after: Beijing maigewei Technology Co., Ltd.

Address before: 100190 Beijing, Haidian District Academy of Sciences, South Road, No. 2, block A, No. 313

Applicant before: MEGVII INC.

Applicant before: Beijing aperture Science and Technology Ltd.

GR01 Patent grant
GR01 Patent grant