CN111767845B - 证件识别方法及装置 - Google Patents

证件识别方法及装置 Download PDF

Info

Publication number
CN111767845B
CN111767845B CN202010605393.4A CN202010605393A CN111767845B CN 111767845 B CN111767845 B CN 111767845B CN 202010605393 A CN202010605393 A CN 202010605393A CN 111767845 B CN111767845 B CN 111767845B
Authority
CN
China
Prior art keywords
image
certificate
screen
document
displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010605393.4A
Other languages
English (en)
Other versions
CN111767845A (zh
Inventor
张陆
许晓文
张燕锋
张立平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jingdong Technology Holding Co Ltd
Original Assignee
Jingdong Technology Holding Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jingdong Technology Holding Co Ltd filed Critical Jingdong Technology Holding Co Ltd
Priority to CN202010605393.4A priority Critical patent/CN111767845B/zh
Publication of CN111767845A publication Critical patent/CN111767845A/zh
Application granted granted Critical
Publication of CN111767845B publication Critical patent/CN111767845B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Character Input (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请实施例提供一种证件识别方法及装置,服务器获取到待识别的证件图像后,对该证件图像进行分割,以得到至少一个包含屏幕边框的分割图,进而根据该些分割图判断证件图像中的证件是否为通过电子设备的屏幕展示的证件。当证件图像中的证件为通过电子设备的屏幕展示的证件时,则输出提示信息,以提示用户该证件图像中的证件为通过电子设备的屏幕展示的证件。采用该种方案,通过对证件图像进行分割,得到像素点均为电子设备的屏幕边框的分割图,进而根据该些分割图识别证件是否为通过电子设备的屏幕展示的证件,从而实现人证合一的判定,提高证件真伪识别的准确度,进而提高业务安全性。

Description

证件识别方法及装置
技术领域
本申请涉及图像处理技术,尤其涉及一种证件识别方法及装置。
背景技术
随着互联网技术的飞速发展,证券、银行、保险等行业中很多业务的办理也逐渐可以在终端设备上实现,目前最普遍的是网上银行、手机银行等。
在传统的营业网点办理业务的过程中,需要客户本人持本人有效证件在柜台办理业务,由柜台工作人员通过人工审核完成客户和证件的核验工作。为了快速开展业务并为用户提供便利,很多行业考虑直接将业务搬到终端设备上进行自主办理,即用户无需去营业网点,而是直接通过终端设备即可开展业务。此时,为避免人工审核的缺失引发的业务办理风险,需要系统自主确定自主办理是“客户本人持本人有效证件”的办理,即需要系统自主识别人证是否合一。识别过程中,系统采集用户手持本人证件的图像后,通过对比持证件人的人脸和证件中的人脸是否相同进行用户身份核验。
然而,终端设备的功能越来越强大,终端设备显示的图片的分辨率越来越高。此时,倘若非法用户将别人的证件照片篡改,将别人证件上的人脸修改为自己的人脸,并利用手机等显示篡改后的照片欺骗系统,使得系统认为证件中的人脸和持证件人是同一个人,即系统认为人证合一。显然,该种证件识别方法会为业务带来极大的风险。
发明内容
本申请提供一种证件识别方法及装置,通过识别证件是否为通过电子设备的屏幕展示的证件来判断是否人证合一,提高业务安全性。
第一方面,本申请实施例提供一种证件识别方法,包括:
获取待识别的证件图像,分割所述证件图像,以得到至少一个分割图,所述至少一个分割图中每个分割图包含的像素点均具有屏幕边框特性,利用所述至少一个分割图确定所述证件图像中的证件是否为通过电子设备的屏幕展示的证件,若所述证件图像中的证件为通过所述电子设备的屏幕展示的证件,则发生提示信息。其中,所述证件图像为电子设备的屏幕上显示的图像的底图,所述提示信息用于提示用户发生屏幕攻击。
一种可行的设计中,所述利用所述至少一个分割图确定所述证件图像中的证件是否为通过电子设备的屏幕展示的证件,包括:
判断所述至少一个分割图中各分割图的面积之和是否大于预设阈值,若所述至少一个分割图中各分割图的面积之和大于所述预设阈值,则将所述证件图像中的证件作为通过所述电子设备的屏幕展示的证件。
一种可行的设计中,所述利用所述至少一个分割图确定所述证件图像中的证件是否为通过电子设备的屏幕展示的证件,包括:根据所述至少一个分割图中的各分割图确定凸包,所述凸包包含所述至少一个分割图中的各分割图;判断所述凸包的形状是否满足预设形状,若所述凸包的形状满足所述预设形状,则将所述证件图像中的证件作为通过所述电子设备的屏幕展示的证件。
一种可行的设计中,所述预设形状包括下述形状中的任意一个:矩形、U型。
一种可行的设计中,所述分割所述证件图像,以得到至少一个分割图,包括:将所述证件图像输入分割模型;利用所述分割模型分割所述证件图像,以得到所述至少一个分割图。
一种可行的设计中,所述分割模型为使用如下样本集训练得到的模型:
所述样本集包括:正样本图像和负样本图像,所述正样本图像为拍摄样本证件得到图像,所述负样本图像为拍摄通过电子设备的屏幕展示的样本证件得到的图像,所述负样本图像上以像素级别标记属于边框的每个像素。
一种可行的设计中,所述获取待识别的证件图像,包括:接收电子设备上传的证件图像,所述证件图像的面积大于目标图像,所述目标图像是所述电子设备对所述证件图像裁剪得到的。
第二方面,本申请实施例提供一种证件识别装置,包括:
处理单元,用于获取待识别的证件图像,分割所述证件图像,以得到至少一个分割图,所述至少一个分割图中每个分割图包含的像素点均具有屏幕边框特性,利用所述至少一个分割图确定所述证件图像中的证件是否为通过电子设备的屏幕展示的证件,所述证件图像为电子设备的屏幕上显示的图像,的底图;
收发单元,用于若所述证件图像中的证件为通过所述电子设备的屏幕展示的证件,则发送提示信息,所述提示信息用于提示用户发生屏幕攻击。
一种可行的设计中,所述处理单元在利用所述至少一个分割图确定所述证件图像中的证件是否为通过电子设备的屏幕展示的证件时,用于判断所述至少一个分割图中各分割图的面积之和是否大于预设阈值,若所述至少一个分割图中各分割图的面积之和大于所述预设阈值,则将所述证件图像中的证件作为通过所述电子设备的屏幕展示的证件。
一种可行的设计中,所述处理单元在利用所述至少一个分割图确定所述证件图像中的证件是否为通过电子设备的屏幕展示的证件时,用于根据所述至少一个分割图中的各分割图确定凸包,所述凸包包含所述至少一个分割图中的各分割图,判断所述凸包的形状是否满足预设形状,若所述凸包的形状满足所述预设形状,则将所述证件图像中的证件作为通过所述电子设备的屏幕展示的证件。
一种可行的设计中,所述预设形状包括下述形状中的任意一个:矩形、U型。
一种可行的设计中,所述处理单元在分割所述证件图像,以得到至少一个分割图时,用于将所述证件图像输入分割模型,利用所述分割模型分割所述证件图像,以得到所述至少一个分割图。
一种可行的设计中,所述处理单元在获取待识别的证件图之前,还用于利用样本集中的样本训练出所述分割模型,所述样本集包括:正样本图像和负样本图像,所述正样本图像为拍摄样本证件得到图像,所述负样本图像为拍摄通过电子设备的屏幕展示的样本证件得到的图像,所述负样本图像上以像素级别标记属于边框的每个像素。
一种可行的设计中,所述处理单元在获取待识别的证件图像时,用于控制所述收发单元接收电子设备上传的证件图像,所述证件图像的面积大于目标图像,所述目标图像是所述电子设备对所述证件图像裁剪得到的。
第三方面,本发明实施例提供一种电子设备,包括:处理器、存储器以及可执行指令;其中,所述可执行指令被存储在所述存储器中,并且被配置为由所述处理器执行,所述可执行指令包括用于执行如上第一方面或第一方面的各种可能的实现方式中的方法。
第四方面,本申请实施例提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如上第一方面或第一方面的各种可能的实现方式中的方法。
本申请实施例提供的证件识别方法及装置,服务器获取到待识别的证件图像后,对该证件图像进行分割,以得到至少一个包含屏幕边框的分割图,进而根据该些分割图判断证件图像中的证件是否为通过电子设备的屏幕展示的证件。当证件图像中的证件为通过电子设备的屏幕展示的证件时,则输出提示信息,以提示用户该证件图像中的证件为通过电子设备的屏幕展示的证件。采用该种方案,通过对证件图像进行分割,得到像素点均为电子设备的屏幕边框的分割图,进而根据该些分割图识别证件是否为通过电子设备的屏幕展示的证件,从而实现人证合一的判定,提高证件真伪识别的准确度,进而提高业务安全性。
附图说明
为了更清楚地说明本申请或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的证件识别方法的网络架构示意图;
图2是本申请实施例提供的证件识别方法中图像和屏幕边框的示意图;
图3是本申请实施例提供的证件识别方法的流程图;
图4A是本申请实施例提供的证件识别方法中的拍摄示意图;
图4B是本申请实施例提供的证件识别方法中第一图像的示意图;
图4C是本申请实施例提供的证件识别方法中底图的示意图;
图5A是本申请实施例提供的证件识别方法中的拍摄示意图;
图5B是本申请实施例提供的证件识别方法中第二图像的示意图;
图5C是本申请实施例提供的证件识别方法中从第二图像中提取出的证件图像的示意图;
图6是本申请实施例提供的证件识别方法的过程示意图;
图7为本申请实施例提供的一种证件识别装置的结构示意图;
图8为本申请一实施例提供的电子设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
目前,用户可以通过终端设备上直接办理银行、保险等行业的很多业务。以手机银行为例,用户在终端设备上安装手机银行的应用程序(application,APP),通过APP进行转账、理财等业务。为开通手机银行业务,用户需要持本人证件到柜台开户办理银行卡等,办理过程中由柜台工作人员通过人工核验方式对用户进行人证合一验证。之后,用户可以下载并安装APP后,即可注册并开展业务等。
现考虑直接将业务搬到终端设备上进行自主化办理,例如,用户无需去网点柜台,而是直接通过APP进行认证合一验证。此时,面临的主要问题是如何安全、高效的实现用户身份核验,即在业务办理场景中确定“客户本人持本人有效证件”在办理。常见的方式是APP采集用户手持本人证件的图像并发送给服务器,由服务器通过人脸对比以进行用户身份核验的工作。人脸对比过程中,服务器通过比对证件中的人脸和持证件人的人脸是否相同来进行身份核验。然而,该种单一检测方案为不法用户提供了攻击漏洞,比如,不法用户可以通过PS(Photoshop)等制图软件,把别人的证件照片上的人脸PS成自己的人脸。然后,通过电子设备的屏幕展示该PS后的证件照片。如此一来,服务器认为证件中的人脸和持证件人的人脸相同,即服务器认为人证合一。显然,该种身份核验方式可能会引发极大的业务风险。因此,为了更高效、更安全的实现用户身份的核验,需要在人证合一验证过程中,检测出证件是否为通过电子设备的屏幕展示的证件。非法用户通过电子设备的屏幕显示证件的攻击方式也可以称之为屏幕攻击。
有鉴于此,本申请实施例提供一种证件识别方法,通过识别证件是否为通过电子设备的屏幕展示的证件来判断是否人证合一,提高业务安全性。
图1是本申请实施例提供的证件识别方法的网络架构示意图。该网络架构包括电子设备1和服务器2,电子设备1和服务器2建立网络连接。其中,服务器2上预先存储分割模型,该分割模型用于从图像中分割出电子设备的屏幕边框。示例性的,可参见图2。
图2是本申请实施例提供的证件识别方法中图像和屏幕边框的示意图。请参照图2,图2中的虚线框为一幅待识别的证件图像,该图像是电子设备对其他电子设备的显示屏上显示的身份证进行拍摄得到的。拍摄时,取景框内出现了电子设备的屏幕边框,屏幕边框如图中斜线填充部分所示。服务器利用分割模型,从待识别的证件图像包含的所有像素点中标注出属于屏幕边框的像素点,该些属于屏幕边框的像素点中依次相邻的像素点形成一个分割图,从而得到至少一个分割图。图2中,分割图即为虚线框内的斜线填充的两部分,斜线填充的每个部分视为一个分割图。
需要说明的是,图2所示图像中为取景框内的图像,对取景框内的图像进行拍摄得到的待识别证件图像包含屏幕边框。还有一种常见中,取景框内并没有屏幕边框,但是对取景框内的对象进行拍摄得到底图,该底图上是存在屏幕边框的。电子设备1对底图裁剪得到目标图像并显示,该目标图像上并没有屏幕边框。对于用户而言,裁剪是无感的。
电子设备1上安装有APP,用户通过APP办理业务需要进行身份核验时,APP提示用户上传有效证件照片,用户收到提示后,上传有效证件的图像的底图,服务器将该底图作为待识别的证件图像,利用分割模型对证件图像进行分割。或者,APP提示用户上传用户手持有效证件的图像。电子设备拍摄手持图像,该手持图像中包含活体人脸、证件等。服务器2接收到用户上传的手持图像后,对该手持图像进行处理得到证件图像,利用分割模型对证件图像进行分割。
图1中,电子设备1为台式终端或移动终端,台式终端为电脑等,移动终端为手机、平板电脑、笔记本电脑等,服务器2是独立的服务器或多个服务器组成的服务器集群等。
图3是本申请实施例提供的证件识别方法的流程图,本实施例是从服务器的角度进行说明,本实施例包括:
101、获取待识别的证件图像,所述证件图像为电子设备的屏幕上显示的图像的底图。
示例性的,用户通过终端设备上的APP办理业务过程中,需要进行身份核验时,服务器通过终端设备上的APP提示用户上传有效证件的图像。例如,仅需要上传证件时,电子设备对证件进行拍摄,得到底图,对底图裁剪得到目标图像并显示目标图像。同时,电子设备将底图上传给服务器;或者,电子设备将底图和目标图像均上传给服务器。服务器接收到底图后,将底图作为证件图像。再如,手持证件场景中,电子设备对手持证件的用户进行拍摄,得到手持图像并上传给服务器,服务器从手持图像中提取出证件图像。
102、分割所述证件图像,以得到至少一个分割图,所述至少一个分割图中每个分割图包含的像素点均具有屏幕边框特性。
示例性的,服务器从待识别的证件图像包含的所有像素点中标注出属于屏幕边框的像素点,该些属于屏幕边框的像素点中依次相邻的像素点形成一个分割图,从而得到至少一个分割图。
103、利用所述至少一个分割图确定所述证件图像中的证件是否为通过电子设备的屏幕展示的证件;若证件图像中的证件是通过电子设备的屏幕展示的证件,则执行步骤104,若证件图像中的证件部是通过电子设备的屏幕展示的证件,则执行步骤105。
示例性的,示例性的,服务器根据至少一个分割图的面积、形状等判断证件图像中的证件是否为通过电子设备的屏幕展示的证件。
104、输出提示信息,所述提示信息用于提示用户发生屏幕攻击。
示例性的,若所述证件图像中的证件为通过所述电子设备的屏幕展示的证件,则服务器向电子设备推送提示信息,以提示用户为非法用户,使得用户重新进行身份核验。
另外,服务器也能够向公安人员或企业管理人员推送提示信息,以提醒公安人员或企业管理人员有非法用户企图使用屏幕攻击方式办理业务。
105、对用户进行身份核验。
示例性的,若服务器认为证件图像中的证件不是通过所述电子设备的屏幕展示的证件,则服务器认为未发生屏幕攻击,用户是合法用户。因此,服务器对用户进行身份核验等以办理业务。
本申请实施例提供的证件识别方法,服务器获取到待识别的证件图像后,对该证件图像进行分割,以得到至少一个包含屏幕边框的分割图,进而根据该些分割图判断证件图像中的证件是否为通过电子设备的屏幕展示的证件。当证件图像中的证件为通过电子设备的屏幕展示的证件时,则输出提示信息,以提示用户该证件图像中的证件为通过电子设备的屏幕展示的证件。采用该种方案,通过对证件图像进行分割,得到像素点均为电子设备的屏幕边框的分割图,进而根据该些分割图识别证件是否为通过电子设备的屏幕展示的证件,从而实现人证合一的判定,提高证件真伪识别的准确度,进而提高业务安全性。
上述实施例中,对证件图像进行分割后,若得到至少一个分割图,则说明书证件图像中存在屏幕边框。但是,由于噪声感染等,非屏幕攻击也有可能出现小范围的屏幕边框,此时,若仅存在分割图就确定是屏幕攻击,则发生误判。为防止该误判,服务器利用所述至少一个分割图确定所述证件图像中的证件是否为通过电子设备的屏幕展示的证件时,通过分割图的面积和/或形状判断证件图像中的证件是否为通过电子设备的屏幕展示的证件。
例如,服务器确定至少一个分割图中各分割图的面积之和是否大于预设阈值,若分割图中各分割图的面积之和大于所述预设阈值,则将所述证件图像中的证件作为通过所述电子设备的屏幕展示的证件。否则,认为证件图像中的证件作不是通过所述电子设备的屏幕展示的证件。
进一步的,服务器确定出至少一个分割图中各分割图的面积之和,继续确定该面积之和与证件图像的面积的比例,若比例超过面积阈值,则认为证件图像中的证件作为通过所述电子设备的屏幕展示的证件。其中,面积阈值例如为0.01874等,本申请实施例并不限制。
再如,服务器根据所述至少一个分割图中的各分割图确定凸包,判断所述凸包的形状是否满足预设形状,若所述凸包的形状满足所述预设形状,则将所述证件图像中的证件作为通过所述电子设备的屏幕展示的证件。其中,所述凸包包含所述至少一个分割图中的各分割图。
该种方式中,每个分割图包含的像素点均为屏幕边框,服务器针对该些像素点确定一个凸包,所有被标注为屏幕边框的像素点均位于该凸包内。然后,服务器判断该凸包的形状是否满足预设形状。若凸包满足预设形状,如凸包是矩形等,则认为证件图像中的证件作为通过所述电子设备的屏幕展示的证件。
另外,服务器还能够判断至少一个分割图作为一个整体,整体形状是否满足预设形状,如U形、至少一个分割图形成两条竖直平行线、至少一个分割图形成两条横向平行线等,则认为证件图像中的证件作为通过所述电子设备的屏幕展示的证件。
采用本方案,能够灵活的根据形状或面积等判断出是否发生屏幕攻击,提高了业务安全性的同时避免误判。
本申请实施例中,服务器识别证件的场景包括两种,第一种是单独证件场景,即证件图像中只包含证件。第二种是手持证件场景,即证件图像中包含人脸活体和证件。下面,对该两个场景分别进行说明。
第一种场景中,当服务器提示用户上传有效证件的图像时,电子设备对有效证件进行拍摄得到证件图像,进而对证件图像进行裁剪得到目标图像,显示目标图像,并将证件图像上传给服务器。此时,证件图像也称之为目标图像的底图。底图是用户不可见的、面积大于目标图像的图像。示例性的,可参见图4A、图4B和图4C。
图4A是本申请实施例提供的证件识别方法中的拍摄示意图。请参照图4A,电子设备的屏幕上显示一个身份证件,该身份证件可能是被非法用户PS过的身份证件。APP提示非法用户进行身份核验时,非法用户利用电子设备对电子设备的屏幕上显示的身份证件进行拍摄。
图4B是本申请实施例提供的证件识别方法中目标图像的示意图。请参照图4B,目标图像为显示给用户、供用户查看的图像,该目标图像的大小与电子设备的取景框的大小相似或相同。
图4C是本申请实施例提供的证件识别方法中证件图像的示意图。请参照图4C,虚线所示部分为证件图像,该证件图像除了包含目标图像外,还可能包括电子设备的屏幕边框(如图4C中斜线填充部分所示)、电子设备周边的区域等。实际实现时,证件图像对应的拍摄区域为电子设备的摄像头传感器的视角的拍摄范围。
采用该种方法,服务器将底图作为证件图像,该底图对用户而言是无感的,实现在用户不知情的情况下进行屏幕攻击识别,提高业务安全性。
第二种场景中,当服务器提示用户上传用户手持有效证件的图像时,电子设备对手持有效证件的用户进行拍摄得到手持图像,该手持图像包含用户的活体人脸、证件、持证人的手部等。电子设备将手持图像上传至服务器。服务器从该手持图像中提取出证件图像,该证件图像至少包含手持图像中证件所在的区域以及用户的手部所在的区域。示例性的,可参见图5A。
图5A是本申请实施例提供的证件识别方法中的拍摄示意图。请参照图5A,电子设备的屏幕上显示一个身份证件,非法用户手持该电子设备,电子设备对手持电子设备、且电子设备的屏幕上显示证件的非法用户进行拍摄,得到手持图像。
图5B是本申请实施例提供的证件识别方法中手持图像的示意图。请参照图5B,经过图5A的拍摄,最终拍摄到的手持图像例如为手持电子设备的非法用户的半身照,该手持图像至少包含非法用户的人脸和电子设备中展示的证件。
图5C是本申请实施例提供的证件识别方法中从手持图像中提取出的证件图像的示意图。请参照图5C,服务器从手持图像中提取证件图像,证件图像包括手持图像中证件所在的区域以及用户持证件的手部所在的区域。需要说明的是,图5C仅是一种示例,实际中,从手持图像中提取出的证件图像能够包含手持图像中更多或更少的区域,但是至少包含证件所在的区域和手部所在的区域。之所以包括手部所在的区域,是因为能够通过识别该区域是否为电子设备的边框区域,从而确定出证件图像中的证件是否为电子设备的屏幕展示的证件。
服务器在接收到电子设备上传的手持图像后,从该手持图像中提取证件图像后,利用分割模型识别证件图像中是否包含电子设备的屏幕边框。
示例性的,用户利用电子设备上的APP办理业务过程中,当需要身份核验时,云端的服务器通过APP向用户发出提示以提示用户需要采集手持证件的图像,提示用户的同时,服务器提示用户如何手持证件,例如,服务器发出的语音提示为“请将证件持于胸前并拍摄”;再如,服务器发出的语音提示为“请将证件持于肩膀位置并拍摄”;再如,服务器通过APP,在电子设备的屏幕上显示标准姿势并提示用户“请模仿标准姿势并拍摄”。服务器采集到手持图像后,能够根据证件相对于用户的位置确定第一区域,该第一区域为预设的证件位置。然后,服务器将该第一区域外扩,得到第二区域,将该第二区域作为证件图像。也就是说,服务器将手持图像上的一个面积大于第一区域且包裹第一区域的第二区域作为证件图像,例如,第一区域是一个90×60的区域,则第二区域例如为120×80的区域。若
服务器在判断手持图像的第一区域内是否存在证件时,将该第一图像输入至预先训练好的证件检测模型,利用证件检测模型确定手持图像的第一区域是否存在证件。
示例性的,若证件检测模型的输出为真,则认为手持图像的第一区域是存在证件,需要进一步的判断该证件是否为通过屏幕显示的证件。若证件检测模型的输出为假,则认为手持图像的第一区域不存在证件,提醒用户重新手持证件并拍摄。
上述第二种场景中,需要预先训练证件检测模型。训练过程中,拍摄预设数量的手持图像,如3000幅手持图像。对于每一幅手持图像,确定出第一区域并将第一区域外扩一定比例(如30%)作为训练图像,然后对训练图像进行标注以标注出证件位置。之后,在训练好的单发多盒探测器(Single Shot MultiBox Detector,SSD)进行目标检测训练以训练出证件检测模型。其中,SSD例如为在上下文中的公共对象(Common Objects in Context,COCO)数据集训练好的Mobilenet v2 SSD。
采用该种方法,通过利用分割模型分割图像从而得到包含的像素点是屏幕边框的分割图,相较于传统的分类(classification)或检测(detection)的算法,准确率更高。
上述第一种场景和第二种场景中,服务器利用分割模型对证件图像进行分割,从而得到至少一个分割图。其中,分割模型是服务器预先对样本集中的样本进行训练得到的模型。
样本集包括:正样本图像和负样本图像,所述正样本图像为拍摄样本证件得到图像,所述负样本图像为拍摄通过电子设备的屏幕展示的样本证件得到的图像,所述负样本图像上以像素级别标记属于边框的每个像素。
示例性的,对于单独证件场景,服务器制作大量样本,该些样本包括对样本证件进行拍摄得到图像、对通过电子设备的屏幕展示样本证件进行拍摄得到图像。其中,对样本证件进行拍摄得到图像称之为正样本图像,对通过电子设备的屏幕展示样本证件进行拍摄得到图像称之为负样本图像,负样本图像上以像素级别标记属于边框的每个像素。
制作好样本集后,服务器初始化分割模型,利用unet分割网络对样本集中的样本进行训练,利用imagenet对预训练参数进行微调,直到分割模型达到最优状态后输出分割模型。之后,服务器利用分割模型分割证件图像时,将证件图像输入至分割模型,得到至少一幅分割图。
需要说明的是,模型训练过程中,若同时考虑手持证件场景,则正样本图像还包括户手持证件的图像,负样本图像还包括用户手持电子设备且电子设备展示证件的图像。
采用该种方案,利用点亮屏幕和屏幕边框固有的特性即可得到正样本图像和负样本图像,通过少量的样本即可训练出分割模型,且训练出的分割模型的效果好且鲁棒性能提升。
图6是本申请实施例提供的证件识别方法的过程示意图。请参照图6,服务器在识别证件真伪的时候,接收电子设备输入的视频流。之后,根据场景进行相应的处理。场景包括:
用户手持证件场景。
该场景中,服务器通过视频流读取的方式采集用户手持证件的图像,通过曝光检测、模糊度检测、人脸检测、边框检测等技术对采集到的图像进行过滤,过滤掉曝光不足、模糊或不满足其他规则的图像,从而得到高质量的用户手持图像。该场景适用于服务器提醒用户上传用户本人手持有效证件的场景。
之后,服务器从手持图像中定位出证件中的人脸的位置,通过本证件类型中人脸和证件本身的相对位置,从手持图像中确定出证件图像。例如,服务器先从手持图像中识别出持证件的用户的人脸,再对位于该人脸以下的区域进行人脸识别,确定出证件中的人脸的位置。然后,通过本证件类型中人脸和证件本身的相对位置,获取证件图像。获取证件图像的过程中,根据证件类型,以证件中的人脸的位置为基准点外扩,得到包含了证件和持证件人的手的区域,将该区域作为证件图像用于后续的分割。
分割过程中,利用电子设备具有明显边框的特性以及屏幕点亮的特征等,来辨识证件图像中的证件是否为通过电子设备的屏幕展示的证件。之后,输出提示信息,该提示信息用于提示是否为屏幕攻击,即证件图像中的证件是否为电子设备展示的证件。
单独证件场。
该场景中,服务器通过视频流读取的方式采集证件正面照的图像,通过曝光检测、模糊度检测、人脸检测、边框检测等技术对采集到的图像进行过滤,过滤掉曝光不足、模糊或不满足其他规则的图像,从而得到高质量的证件正面照图像。该场景适用于服务器提醒用户上传有效证件的场景。
之后,服务器获取高质量的证件正面照图像的底图,并将底图作为证件图像用于后续的分割。能够理解的是,底图是未经裁剪的图像,而目标图像是对底图裁剪得到的图像。以电子设备为手机为例,市面上大部分的手机为竖屏手机,该手机显示的目标图像实际是以底图的中心为基准点,按照固定比例大小对底图进行裁剪得到的,目标图像即为用户通过电子设备的屏幕浏览的图像,裁剪过程对用户来说是无感的。
分割过程中,利用电子设备具有明显边框的特性、屏幕点亮等特性,来辨识证件图像中的证件是否为通过电子设备的屏幕展示的证件。之后,输出提示信息,该提示信息用于提示是否为屏幕攻击,即证件图像中的证件是否为电子设备展示的证件。
另外,场景一和场景二中的证件图像还能够用于人工审核等,本申请实施例并不限制。
下述为本申请装置实施例,可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节,请参照本申请方法实施例。
图7为本申请实施例提供的一种证件识别装置的结构示意图。该证件识别装置100能够通过软件和/或硬件的方式实现。如图7所示,该证件识别装置100包括:
处理单元11,用于获取待识别的证件图像,分割所述证件图像,以得到至少一个分割图,所述至少一个分割图中每个分割图包含的像素点均具有屏幕边框特性,利用所述至少一个分割图确定所述证件图像中的证件是否为通过电子设备的屏幕展示的证件;
收发单元12,用于若所述证件图像中的证件为通过所述电子设备的屏幕展示的证件,则发送提示信息。
一种可行的设计中,所述处理单元11在利用所述至少一个分割图确定所述证件图像中的证件是否为通过电子设备的屏幕展示的证件时,用于判断所述至少一个分割图中各分割图的面积之和是否大于预设阈值,若所述至少一个分割图中各分割图的面积之和大于所述预设阈值,则将所述证件图像中的证件作为通过所述电子设备的屏幕展示的证件。
一种可行的设计中,所述处理单元11在利用所述至少一个分割图确定所述证件图像中的证件是否为通过电子设备的屏幕展示的证件时,用于根据所述至少一个分割图中的各分割图确定凸包,所述凸包包含所述至少一个分割图中的各分割图,判断所述凸包的形状是否满足预设形状,若所述凸包的形状满足所述预设形状,则将所述证件图像中的证件作为通过所述电子设备的屏幕展示的证件。
一种可行的设计中,所述预设形状包括下述形状中的任意一个:矩形、U型。
一种可行的设计中,所述处理单元11在分割所述证件图像,以得到至少一个分割图时,用于将所述证件图像输入分割模型,利用所述分割模型分割所述证件图像,以得到所述至少一个分割图。
一种可行的设计中,所述处理单元11在获取待识别的证件图之前,还用于利用样本集中的样本训练出所述分割模型,所述样本集包括:正样本图像和负样本图像,所述正样本图像为拍摄样本证件得到图像,所述负样本图像为拍摄通过电子设备的屏幕展示的样本证件得到的图像,所述负样本图像上以像素级别标记属于边框的每个像素。
一种可行的设计中,所述处理单元11在获取待识别的证件图像时,用于控制所述收发单元12接收电子设备上传的证件图像,所述证件图像的面积大于目标图像,所述目标图像是所述电子设备对所述证件图像裁剪得到的。
本申请实施例提供的证件识别装置,能够执行上述方法实施例中服务器的动作,其实现原理和技术效果类似,在此不再赘述。
图8为本申请一实施例提供的电子设备的结构示意图。如图8所示,该电子设备200包括:
处理器21和存储器22;
所述存储器22存储可执行指令;
所述至少一个处理器21执行所述存储器22存储的可执行指令,使得所述至处理器21执行如上应用于服务器的方法。
处理器21的具体实现过程可参见上述方法实施例,其实现原理和技术效果类似,本实施例此处不再赘述。
可选地,该电子设备200还包括通信部件23。其中,处理器21、存储器22以及通信部件23能够通过总线24连接。
本申请实施例还提供一种计算机可读存储介质,所述计算机可读存储介质中存储有可执行指令,所述可执行指令被处理器执行时用于实现如上应用于服务器的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求书指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且能够在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求书来限制。

Claims (11)

1.一种证件识别方法,其特征在于,包括:
获取待识别的证件图像,所述证件图像为电子设备的屏幕上显示的图像的底图;
分割所述证件图像,以得到至少一个分割图,所述至少一个分割图中每个分割图包含的像素点均具有屏幕边框特性;
利用所述至少一个分割图确定所述证件图像中的证件是否为通过所述电子设备的屏幕展示的证件;
若所述证件图像中的证件为通过所述电子设备的屏幕展示的证件,则发送提示信息,所述提示信息用于提示用户发生屏幕攻击;
所述利用所述至少一个分割图确定所述证件图像中的证件是否为通过电子设备的屏幕展示的证件,包括:
判断所述至少一个分割图中各分割图的面积之和是否大于预设阈值,若所述至少一个分割图中各分割图的面积之和大于所述预设阈值,则将所述证件图像中的证件作为通过所述电子设备的屏幕展示的证件;
或者,
根据所述至少一个分割图中的各分割图确定凸包,所述凸包包含所述至少一个分割图中的各分割图;
判断所述凸包的形状是否满足预设形状,若所述凸包的形状满足所述预设形状,则将所述证件图像中的证件作为通过所述电子设备的屏幕展示的证件。
2.根据权利要求1所述的方法,其特征在于,所述预设形状包括下述形状中的任意一个:矩形、U型。
3.根据权利要求1-2任一项所述的方法,其特征在于,所述分割所述证件图像,以得到至少一个分割图,包括:
将所述证件图像输入分割模型;
利用所述分割模型分割所述证件图像,以得到所述至少一个分割图。
4.根据权利要求3所述的方法,其特征在于,所述获取待识别的证件图之前,还包括:
利用样本集中的样本训练出所述分割模型,所述样本集包括:正样本图像和负样本图像,所述正样本图像为拍摄样本证件得到图像,所述负样本图像为拍摄通过电子设备的屏幕展示的样本证件得到的图像,所述负样本图像上以像素级别标记属于边框的每个像素。
5.根据权利要求1-2任一项所述的方法,其特征在于,所述获取待识别的证件图像,包括:
接收电子设备上传的证件图像,所述证件图像的面积大于目标图像,所述目标图像是所述电子设备对所述证件图像裁剪得到的。
6.一种证件识别装置,其特征在于,包括:
处理单元,用于获取待识别的证件图像,分割所述证件图像,以得到至少一个分割图,所述至少一个分割图中每个分割图包含的像素点均具有屏幕边框特性,利用所述至少一个分割图确定所述证件图像中的证件是否为通过电子设备的屏幕展示的证件,所述证件图像为电子设备的屏幕上显示的图像,的底图;
收发单元,用于若所述证件图像中的证件为通过所述电子设备的屏幕展示的证件,则发生提示信息,所述提示信息用于提示用户发生屏幕攻击;
所述处理单元在利用所述至少一个分割图确定所述证件图像中的证件是否为通过电子设备的屏幕展示的证件时,用于判断所述至少一个分割图中各分割图的面积之和是否大于预设阈值,若所述至少一个分割图中各分割图的面积之和大于所述预设阈值,则将所述证件图像中的证件作为通过所述电子设备的屏幕展示的证件;
或者,所述处理单元在利用所述至少一个分割图确定所述证件图像中的证件是否为通过电子设备的屏幕展示的证件时,用于根据所述至少一个分割图中的各分割图确定凸包,所述凸包包含所述至少一个分割图中的各分割图,判断所述凸包的形状是否满足预设形状,若所述凸包的形状满足所述预设形状,则将所述证件图像中的证件作为通过所述电子设备的屏幕展示的证件。
7.根据权利要求6所述的装置,其特征在于,所述处理单元在分割所述证件图像,以得到至少一个分割图时,用于将所述证件图像输入分割模型,利用所述分割模型分割所述证件图像,以得到所述至少一个分割图。
8.根据权利要求7所述的装置,其特征在于,所述处理单元在获取待识别的证件图之前,还用于利用样本集中的样本训练出所述分割模型,所述样本集包括:正样本图像和负样本图像,所述正样本图像为拍摄样本证件得到图像,所述负样本图像为拍摄通过电子设备的屏幕展示的样本证件得到的图像,所述负样本图像上以像素级别标记属于边框的每个像素。
9.根据权利要求6所述的装置,其特征在于,所述处理单元11在获取待识别的证件图像时,用于控制所述收发单元接收电子设备上传的证件图像,所述证件图像的面积大于目标图像,所述目标图像是所述电子设备对所述证件图像裁剪得到的。
10.一种电子设备,其特征在于,包括:
存储器,用于存储程序指令;
处理器,用于调用并执行所述存储器中的程序指令,执行权利要求1-5任一项所述的方法步骤。
11.一种可读存储介质,其特征在于,所述可读存储介质中存储有计算机程序,所述计算机程序用于执行权利要求1-5任一项所述的方法。
CN202010605393.4A 2020-06-29 2020-06-29 证件识别方法及装置 Active CN111767845B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010605393.4A CN111767845B (zh) 2020-06-29 2020-06-29 证件识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010605393.4A CN111767845B (zh) 2020-06-29 2020-06-29 证件识别方法及装置

Publications (2)

Publication Number Publication Date
CN111767845A CN111767845A (zh) 2020-10-13
CN111767845B true CN111767845B (zh) 2024-03-05

Family

ID=72723207

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010605393.4A Active CN111767845B (zh) 2020-06-29 2020-06-29 证件识别方法及装置

Country Status (1)

Country Link
CN (1) CN111767845B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114677635B (zh) * 2022-05-30 2022-09-27 成都新希望金融信息有限公司 基于视频流的证件检测方法、系统、电子设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104091158A (zh) * 2014-07-10 2014-10-08 上海方付通商务服务有限公司 一种防攻击掌纹认证方法及其应用的认证系统
CN107609463A (zh) * 2017-07-20 2018-01-19 百度在线网络技术(北京)有限公司 活体检测方法、装置、设备及存储介质
CN107609494A (zh) * 2017-08-31 2018-01-19 北京飞搜科技有限公司 一种基于静默式的人脸活体检测方法及系统
CN109086718A (zh) * 2018-08-02 2018-12-25 深圳市华付信息技术有限公司 活体检测方法、装置、计算机设备及存储介质
CN111079687A (zh) * 2019-12-26 2020-04-28 京东数字科技控股有限公司 证件伪装识别方法、装置、设备及存储介质
WO2020082731A1 (zh) * 2018-10-26 2020-04-30 平安科技(深圳)有限公司 电子装置、证件识别方法及存储介质
CN111191539A (zh) * 2019-12-20 2020-05-22 江苏常熟农村商业银行股份有限公司 证件真伪验证方法、装置、计算机设备和存储介质
CN111242090A (zh) * 2020-01-22 2020-06-05 腾讯科技(深圳)有限公司 基于人工智能的人脸识别方法、装置、设备及介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105893920B (zh) * 2015-01-26 2019-12-27 阿里巴巴集团控股有限公司 一种人脸活体检测方法和装置
CN105184246B (zh) * 2015-08-28 2020-05-19 北京旷视科技有限公司 活体检测方法和活体检测系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104091158A (zh) * 2014-07-10 2014-10-08 上海方付通商务服务有限公司 一种防攻击掌纹认证方法及其应用的认证系统
CN107609463A (zh) * 2017-07-20 2018-01-19 百度在线网络技术(北京)有限公司 活体检测方法、装置、设备及存储介质
CN107609494A (zh) * 2017-08-31 2018-01-19 北京飞搜科技有限公司 一种基于静默式的人脸活体检测方法及系统
CN109086718A (zh) * 2018-08-02 2018-12-25 深圳市华付信息技术有限公司 活体检测方法、装置、计算机设备及存储介质
WO2020082731A1 (zh) * 2018-10-26 2020-04-30 平安科技(深圳)有限公司 电子装置、证件识别方法及存储介质
CN111191539A (zh) * 2019-12-20 2020-05-22 江苏常熟农村商业银行股份有限公司 证件真伪验证方法、装置、计算机设备和存储介质
CN111079687A (zh) * 2019-12-26 2020-04-28 京东数字科技控股有限公司 证件伪装识别方法、装置、设备及存储介质
CN111242090A (zh) * 2020-01-22 2020-06-05 腾讯科技(深圳)有限公司 基于人工智能的人脸识别方法、装置、设备及介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《深度人脸识别算法研究和系统设计》;毛颖;《中国优秀硕士学位论文全文数据库信息科技辑》(第6期);摘要、正文第1-62页 *
居民身份证网上应用之金融业务试点;傅雨开;詹博;;警察技术(第01期);全文 *

Also Published As

Publication number Publication date
CN111767845A (zh) 2020-10-13

Similar Documents

Publication Publication Date Title
WO2021031523A1 (zh) 证件识别方法及装置
JP7165746B2 (ja) Id認証方法および装置、電子機器並びに記憶媒体
WO2019104930A1 (zh) 一种身份鉴定方法、电子装置及计算机可读存储介质
US20180034852A1 (en) Anti-spoofing system and methods useful in conjunction therewith
TWI706264B (zh) 證件的驗證方法、裝置、電子設備和儲存介質
KR200483242Y1 (ko) 모바일 디바이스를 이용한 신분증 인식 장치
CN111886842B (zh) 使用基于阈值的匹配进行远程用户身份验证
CN110443016B (zh) 信息防泄露方法、电子装置及存储介质
JP6754642B2 (ja) 生体検知装置
US20130015946A1 (en) Using facial data for device authentication or subject identification
US11023708B2 (en) Within document face verification
EP4109332A1 (en) Certificate authenticity identification method and apparatus, computer-readable medium, and electronic device
US11367310B2 (en) Method and apparatus for identity verification, electronic device, computer program, and storage medium
US20180085009A1 (en) Method and system for detecting user heart rate using live camera feed
CN107609364B (zh) 用户身份确认方法和装置
WO2021008205A1 (zh) 图像处理
CN112434546A (zh) 人脸活体检测方法及装置、设备、存储介质
Kim et al. Face spoofing detection with highlight removal effect and distortions
CN111079687A (zh) 证件伪装识别方法、装置、设备及存储介质
CN111767845B (zh) 证件识别方法及装置
JP6806955B1 (ja) 情報処理装置、情報処理システム、情報処理方法、及びプログラム
CN116958795A (zh) 翻拍图像的识别方法、装置、电子设备及存储介质
WO2022222957A1 (zh) 一种目标识别的方法和系统
US20230046591A1 (en) Document authenticity verification in real-time
US20230005301A1 (en) Control apparatus, control method, and non-transitory computer readable medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Room 221, 2 / F, block C, 18 Kechuang 11th Street, Daxing District, Beijing, 100176

Applicant after: Jingdong Digital Technology Holding Co.,Ltd.

Address before: Room 221, 2 / F, block C, 18 Kechuang 11th Street, Beijing Economic and Technological Development Zone, 100176

Applicant before: JINGDONG DIGITAL TECHNOLOGY HOLDINGS Co.,Ltd.

CB02 Change of applicant information
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40033014

Country of ref document: HK

CB02 Change of applicant information

Address after: Room 221, 2 / F, block C, 18 Kechuang 11th Street, Daxing District, Beijing, 100176

Applicant after: Jingdong Technology Holding Co.,Ltd.

Address before: Room 221, 2 / F, block C, 18 Kechuang 11th Street, Daxing District, Beijing, 100176

Applicant before: Jingdong Digital Technology Holding Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant