CN114333037B

CN114333037B - 包含身份证的翻拍照片识别方法及系统

Info

Publication number: CN114333037B
Application number: CN202210176895.9A
Authority: CN
Inventors: 王闯; 许景宝
Original assignee: Beijing Jiehui Technology Co Ltd
Current assignee: Beijing Jiehui Technology Co Ltd
Priority date: 2022-02-25
Filing date: 2022-02-25
Publication date: 2022-05-13
Anticipated expiration: 2042-02-25
Also published as: CN114333037A

Abstract

本发明涉及一种包含身份证的翻拍照片识别方法及系统，该方法包括步骤：S10，接收用户输入的包含身份证的照片；S20，对接收的照片中的人脸进行识别，得到识别出的人脸的个数；S30，根据识别出的人脸个数截取出重点区域图像；若人脸个数为1个或2个，则所述重点区域图像为人脸区域图像；若人脸个数为0个，则所述重点区域图像为国徽区域图像；S40，将步骤S30中所得到的重点区域图像输入预先训练好的识别模型中进行识别，输出用户输入的照片是否为翻拍照片的结果。通过本发明方法及系统，可以准确地识别出翻拍图像，且针对于单独身份证照片和手持身份证照片都可识别，继而反馈给业务前端，提高办事效率的同时也提升用户体验。

Description

包含身份证的翻拍照片识别方法及系统

技术领域

本发明涉及图像识别技术领域，特别涉及一种包含身份证的翻拍照片识别方法及系统。

背景技术

在很多应用中，例如银行贷款、金融业务开户等，都需要提供身份证照片或复印件进行身份认证。身份证翻拍是指不是直接对着真实身份证正面或反面拍摄，而是对着例如展示有身份证正面或反面的电子设备拍摄。通常在办理业务时需要的是真实身份证的照片或复印件，而部分人因为各种原因会提供翻拍照片，因此需要识别出这些翻拍照片并剔除。传统的方法是人工核验，随着图像处理技术的不断成熟，出现了一些计算机自动识别方法。然而这些算法都只能识别单一类型的身份证翻拍照片，而实际应用中应用身份证的情况很多，例如本人手持身份证进行现场拍照的照片，对于这类型的照片，目前的识别技术还无法进行准确识别。

发明内容

本发明的目的在于提供一种包含身份证的翻拍照片识别方法及系统，以改善目前的识别技术无法识别多种类型翻拍照片的问题。

为了实现上述发明目的，本发明实施例提供了以下技术方案：

一种包含身份证的翻拍照片识别方法，包括以下步骤：

S10，接收用户输入的包含身份证的照片；

S20，对接收的照片中的人脸进行识别，得到识别出的人脸的个数；

S30，根据识别出的人脸个数截取出重点区域图像；若人脸个数为1个或2个，则所述重点区域图像为人脸区域图像；若人脸个数为0个，则所述重点区域图像为国徽区域图像；

S40，将步骤S30中所得到的重点区域图像输入预先训练好的识别模型中进行识别，输出用户输入的照片是否为翻拍照片的结果。

在更细化的方案中，所述步骤S20中，所述对接收的照片中的人脸进行识别的过程，包括：

S201，收集若干包含人脸的图像，并对每张图像提取Hog特征，得到的Hog特征描述子作为正样本；所述图像包括标准的身份证照片、翻拍的身份证照片、标准的手持身份证照片、翻拍的手持身份证照片；

S202，收集若干不包含人脸的图像，并对每张图像提取Hog特征，得到的Hog特征描述子作为负样本；

S203，利用支持向量机算法训练正样本和负样本，得到训练后的二分类模型；

S204，利用该二分类模型对不包含人脸的图像进行难例检测，得到难例样本；

S205，对难例样本提取Hog特征，得到的Hog特征描述子，然后重新训练步骤S203得到的二分类模型，反复迭代直至训练结束，得到最终分类模型；

S206，对包含身份证的照片的不同尺寸进行滑动扫描，提取Hog特征，并用步骤S205最终训练出的分类模型进行分类，如果检测判定为人脸，则将其标定出来。

在更优化的方案中，当收集的负样本数据量不够时，使用已收集到的不含人脸的图片进行随机裁剪，然后提取Hog特征来进行补充。

在更细化的方案中，所述步骤S40中，对于所述识别模型的训练，包括以下步骤：

S100，收集若干标准的照片和翻拍的照片，所述照片包括身份证正面照片、身份证反面照片、手持身份证正面照片；

S200，对收集的照片中的人脸进行识别，得到识别出的人脸的个数；

S300，根据识别出的人脸个数截取出重点区域图像，所述重点区域图像为人脸图像区域图像或国徽区域图像；

S400，搭建神经网络模型，并以步骤S300中处理所得的重点区域图像作为样本进行训练，最终得到所述识别模型。

在更细化的方案中，所述步骤S300中，根据识别出的人脸个数截取出重点区域图像的步骤，包括：

若人脸个数为1个或2个，则根据步骤S200识别出的人脸坐标，确定出人脸区域图像，并将确定出的人脸区域图像进行放大，然后截取出放大后的人脸区域图像，并计算人脸区域矩形框的对角线长度，若计算出的对角线长度小于设定的长度阈值则保存人脸区域图像，否则弃用；

若人脸个数为0个，则对照片中的国徽进行识别，如果识别出国徽区域，则将国徽区域放大后保存，如果没识别到国徽则弃用此照片。

一种包含身份证的翻拍照片识别系统，包括：

数据收集模块，用于接收用户输入的包含身份证的照片；

人脸识别模块，用于对接收的照片中的人脸进行识别，得到识别出的人脸的个数；

区域截图模块，用于根据识别出的人脸个数截取出重点区域图像；若人脸个数为1个或2个，则所述重点区域图像为人脸区域图像；若人脸个数为0个，则所述重点区域图像为国徽区域图像；

图像识别模块，用于将截取的重点区域图像输入预先训练好的识别模型中进行识别，输出用户输入的照片是否为翻拍照片的结果。

与现有技术相比，本发明方法或系统应用于审单系统自动识别拦截不合格照片，及时反馈给业务前端图片不合格，避免审单驳回后用户重复提交流程，提升用户体验，及时校准用户错误持证照行为。同时降低退单率，减少同一张不合格照片重复退回的情况，节省与业务端的沟通成本。

可以通过一个识别模型应对不同的翻拍情况，例如身份证正反面翻拍照片中的身份证正面或反面是显示在电子设备（例如电脑、手机、pad等）中、手持身份证翻拍照片中持证人手持的是显示在电子设备中的身份证、手持身份证翻拍照片中持证人手持身份证的图像显示在电子设备中。通过一个模型应对不同翻拍情况，可以避免多个模型运行时间长的弊端。在审单系统中对于模型的运行时间要求极高，较长的审核时间极大影响用户体验，本发明可以提升用户体验。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例中包含身份证的翻拍照片识别方法的流程图。

图2为对手持身份证照片中的人脸进行识别过程的流程图。

图3为标定出的人脸区域图像的坐标示意图。

图4为识别模型的训练流程示意图。

图5为本发明实施例中包含身份证的翻拍照片识别系统组成框图。

图6为识别模块的组成框图。

图7为模型训练模块的组成框图。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，本实施例提供的包含身份证的翻拍照片识别方法，包括以下步骤：

S10，接收用户输入的包含身份证的照片。

用户输入的照片可能是标准的照片，也可能是翻拍照片。针对于身份证照片，标准的照片是指照相设备直接对着身份证的正面或反面所拍摄的照片；手持身份证照片就是指人手（双手或单手）持身份证的照片，针对于手持身份证照片，标准的照片是指照相设备直接对着真实持证人手持真实身份证人像面拍摄的照片。

针对于身份证照片而言，翻拍照片是指不是直接对着真实身份证正面（人像面）或反面（国徽面）拍摄，而是对着例如展示有身份证正面或反面的电子设备（例如电脑、手机、PAD等）拍摄的照片，即身份证正面或反面是显示在电子设备中的照片。针对于手持身份证照片而言，翻拍照片是指真实的持证人手持的是显示在电子设备中的身份证正面或反面的照片，或者持证人手持身份证的图像是显示在电子设备中的照片。

此处需要注意的是，本文中所述的标准照片或翻拍照片并不是本发明中特别定义的，而是行业内公认的。

S20，对接收的照片中的人脸进行识别，得到识别出的人脸的个数。

如图2所示，对接收的照片中的人脸进行识别的过程，包括以下步骤：

S201，收集大量包含人脸的图像，并对每张图像提取Hog特征，得到的Hog特征描述子作为正样本。

此处包含人脸的图像优选包括标准的身份证照片、翻拍的身份证照片、标准的手持身份证照片、翻拍的手持身份证照片，这样可以使得在实际应用中进一步提高人脸识别结果的准确性。

S202，收集大量不包含人脸的图像，并对每张图像提取Hog特征，得到的Hog特征描述子作为负样本。

负样本数据集中的数据量需要远远大于正样本数据集中的样本数，当收集的负样本数据量不够（即未达到设定数量值）时，负样本可以使用已收集到的不含人脸的图片进行随机裁剪，然后提取Hog特征来进行补充。

S203，利用支持向量机算法训练正样本和负样本，得到训练后的二分类模型。

S204，利用该二分类模型进行负样本难例检测，也就是难分样本挖掘(hard-negtive mining)。

具体思路为：对数据集里的不包含人脸的图像不断进行缩放，直至与模板图像匹配为止，通过模板滑动窗口搜索匹配（该过程即多尺度检测过程），如果分类器（步骤S203得到的二分类模型）误检出非人脸区域，则截取该部分图像作为难例样本。

S205，集合难例样本重新训练步骤S203得到的二分类模型，反复迭代直至训练结束，得到最终分类模型。

容易理解的是，此处利用难例样本重新训练，也是先要提取出难例样本中的Hog特征，得到的Hog特征描述子，然后再进行训练。

步骤S204-S205，通过将未被正确识别的图像作为难例样本再次训练模型，可以提高最终分类模型的分类能力。

S206，对接收的包含身份证的照片的不同尺寸进行滑动扫描，提取Hog特征，并用步骤S205最终训练出的分类模型进行分类。如果检测判定为人脸，则将其标定出来。

容易理解的是，步骤S201-S205是在训练得到用于识别人脸的分类模型，模型训练好后可以直接调用，因此只有在第一次使用时会执行步骤S201-S205，后续则是直接调用训练好的分类模型，将接收的照片输入该分类模型，即可输出标定的人脸。

S30，根据识别出的人脸个数截取出重点区域图像，所述重点区域图像为人脸图像区域图像或国徽区域图像。

由于在手持身份证照片中，持证人是否是翻拍的在标准与翻拍图像中是不确定的，即翻拍图像中持证人也可能不是翻拍的，是真人，而能准确区分手持身份证照片是否是翻拍图像的关键区域是持证人手持的身份证部分，如果手持的是显示在电子设备中的身份证图像（包括持证人是真人或翻拍的这两种情况）那一定是翻拍图像。另外，身份证正反面翻拍照片重点区域也是身份证，将多种翻拍情况归纳统一后，即可确定验证照片是否为翻拍照的关键是提取照片中身份证的人脸区域和国徽区域，因此将身份证中的人脸区域和国徽区域定义为重点区域。

如果人脸个数为1个或2个，则截取出人脸区域图像；若人脸个数为0个，则对照片中的国徽进行识别，如果识别出国徽区域，截取出国徽区域图像。

步骤S20对照片中的人脸进行识别，检测到人脸时会标定出来，得到人脸区域坐标，如图3所示，对于一个人脸，会得到该人脸区域的左上角点坐标(Ax1,Ay1)和右下角点坐标(Ax2,Ay2)，根据这两个点坐标即可截取出人脸区域图像。

请参阅图4，对于所述识别模型的训练，包括以下步骤：

S100，收集大量的标准的照片和翻拍的照片，所述照片包括身份证正面照片、身份证反面照片、手持身份证正面照片。由于手持身份证照片是指手持身份证正面的照片，因此，此处可以只收集手持身份证正面照片，当然也可以包含手持身份证反面照片。

S200，对收集的照片中的人脸进行识别，得到识别出的人脸的个数。

本步骤的处理可以参见前述步骤S201-S206。

S300，根据识别出的人脸个数截取出重点区域图像，所述重点区域图像为人脸图像区域图像或国徽区域图像。

人脸个数只有0个、1个、2个这三种情况。

（一）针对于人脸数量为1个的情况：

有两种情况：情况一，图像是身份证人像面；情况二，图像是手持身份证照片但身份证中人脸头像不清晰（因为持证人的头像远比身份证中人脸头像要打，所以持证人头像不清晰但身份证中人脸头像清晰的情况不存在，因此不考虑）。

针对情况一，根据步骤S200识别出的人脸坐标，确定出人脸区域图像，并将确定出的人脸区域图像进行放大，然后截取出放大后的人脸区域图像并保存到本地。放大程度因具体业务照片情况而定。

例如，人脸区域的左上角点坐标为(Ax1,Ay1)和右下角点坐标为(Ax2,Ay2)，放大后的左上角坐标为(Ax1-50,Ay1-50)，右下角点坐标为(Ax2+50,Ay2+50)。通过将人脸区域放大，截取的图像中可以纳入更多的信息，有助于提高翻拍图像识别结果的准确性。

针对情况二，根据步骤S200识别出的人脸坐标，确定出人脸区域图像，并将确定出的人脸区域图像进行放大，然后截取出放大后的人脸区域图像，计算人脸区域矩形框的对角线长度，判断计算出的对角线长度是否小于设定的长度阈值，如果是则保存人脸区域图像，否则弃用。

结合统计大量手持身份证照片中持证人的人脸矩形框对角线长度及身份证照片中人脸矩形框对角线长度，确定区分两类人脸的长度阈值，所述长度阈值可以设定为800，如果长度大于800说明是持证人的人脸，如果小于则说明是身份证中的人脸，因此只保存小于800（单位：dpi）的经过放大的人脸区域，大于800时弃用此张照片。

如果大于或等于长度阈值说明是持证人的人脸图像，所以舍弃，如果小于长度阈值则说明可能是手持身份证照片中身份证中的人脸，或者是单独身份证中的人脸，但是由于不可能出现身份证中人脸清晰而持证人人脸不清晰的情况，因此当小于长度阈值时则可以确定是单独的身份证照片中的人脸图像，因此保存。

（二）针对于人脸个数为2个的情况：

根据步骤S200识别出的人脸坐标，确定出人脸区域图像，并将确定出的人脸区域图像进行放大，然后截取出放大后的人脸区域图像，计算人脸区域矩形框的对角线长度，判断计算出的对角线长度是否小于设定阈值，如果是则保存人脸区域图像，否则弃用。

检测到两个人脸说明该照片为手持身份证照片，且身份证是人像面。因此直接通过对角线长度检测选出身份证中的人脸区域图像。

（三）针对于人脸个数为0个的情况：通过模板匹配法对照片中的国徽进行识别，如果识别出国徽区域，则将国徽区域图像放大后保存到本地，如果没识别到国徽则弃用此照片。

本步骤中，对于国徽的识别，通过以下步骤实现：

1）用图片编辑软件从一张身份证国徽面照片中裁剪出国徽图片作为模板图像。

2）加载模板图像和待检测图像。

3）从待检测图像左上角开始，每次以模板图像的左上角像素点为单位，从左至右，从上至下移动，每到达一个像素点，就以这个像素点为左上角顶点从待检测图像中截取出与模板图像一样大小的图像，并与模板图像进行像素比较运算，计算结果存储在一个矩阵R(x,y)中。R中每一个位置（x, y）的值都表示以这个点为左上角顶点截取的图像与模板图像像素计算后的计算结果。设模板图像矩阵为

,待检测图像矩阵为I(x,y)，则有

，即模板图像像素减去覆盖的待检测图像像素的差的平方和为对应矩阵的点的值，如果值越接近0，说明匹配程度越高。选出值最小的对应的截取图像即为匹配到的国徽区域图像。

因为人脸个数最多为两个，因此如果人脸个数既不为1也不为2，说明没有识别到人脸，出现这种有可能是身份证照片且是国徽面，或者是照片的清晰度太差导致识别不到人脸。清晰度太差不管是否翻拍都不能用，因此直接放弃。

由于神经网络模型训练需要大量训练样本，因此如果经过本步骤处理后所得的重点区域图像没有达到设定数量，则可以使用图像增强法对数据进行扩充，例如将所得的重点区域图像分别旋转90度、180度、270度后保存。

本步骤中，首先，初始化训练参数，例如学习速率，例如lr=1e-4、批大小bs=16和要训练的回合的数量epochs=1200。

然后，将样本划分为训练集和测试集，使用75%的样本作为样本集用于训练，剩下的25%作为测试集用于测试。

然后，构建卷积神经网络模型如下：

神经网络输入层输入64*64尺寸图像；隐藏层中卷积层部分采用3*3卷积核，卷积核个数为64和128两种，padding采用same模式，激活函数采用relu，加入批归一化操作；降采样层部分采用2*2大小最大池化，0.25比率的dropout；全连接层部分设置256个神经元，relu激活函数，批归一化操作，0.5比率的dropout；输出层为2个神经元，分别对应合格与翻拍两种类别，加入sigmoid激活函数。

然后初始化Adam优化器，并进行训练。通过迭代训练最终得到识别能力强的神经网络模型，该神经网络模型即为所述识别模型。

如图5所示，基于相同的发明构思，本实施例中还提供了一种包含身份证的翻拍照片识别系统，包括：

数据收集模块，用于接收用户输入的包含身份证的照片；

其中，如图6所示，人脸识别模块包括：

特征提取子模块，用于收集若干包含人脸的图像，并对每张图像提取Hog特征，得到的Hog特征描述子作为正样本；以及收集若干不包含人脸的图像，并对每张图像提取Hog特征，得到的Hog特征描述子作为负样本；

初次训练子模块，用于利用支持向量机算法训练正样本和负样本，得到训练后的二分类模型；

难例样本筛选子模块，用于利用该二分类模型对不包含人脸的图像进行难例检测，得到难例样本；

再次训练子模块，用于对难例样本提取Hog特征，得到的Hog特征描述子，然后重新训练初次训练子模块得到的二分类模型，反复迭代直至训练结束，得到最终分类模型；

图像识别子模块，用于对用户输入的包含身份证的照片的不同尺寸进行滑动扫描，提取Hog特征，并用再次训练子模块最终训练出的分类模型进行分类，如果检测判定为人脸，则将其标定出来。

可选地，所述人脸识别模块还包括样本补充子模块，用于当收集的负样本数据量不够时，使用已收集到的不含人脸的图片进行随机裁剪，然后提取Hog特征来进行补充。

上述识别系统中还包括模型训练模块，由于训练得到所述识别模型。如图7所示，具体地，所述模型训练模块包括：

图像收集子模块，用于收集若干标准的照片和翻拍的照片，所述照片包括身份证正面照片、身份证反面照片、手持身份证正面照片；

人脸识别子模块，用于对收集的照片中的人脸进行识别，得到识别出的人脸的个数；

区域截图子模块，用于根据识别出的人脸个数截取出重点区域图像，所述重点区域图像为人脸图像区域图像或国徽区域图像；

网络训练子模块，搭建神经网络模型，并以区域截图子模块中处理所得的重点区域图像作为样本进行训练，最终得到所述识别模型。

其中，所述区域截图子模块具体用于：在若人脸个数为1个或2个时，根据人脸识别子模块识别出的人脸坐标，确定出人脸区域图像，并将确定出的人脸区域图像进行放大，然后截取出放大后的人脸区域图像，并计算人脸区域矩形框的对角线长度，若计算出的对角线长度小于设定的长度阈值则保存人脸区域图像，否则弃用；在人脸个数为0个时，对照片中的国徽进行识别，如果识别出国徽区域，则将国徽区域放大后保存，如果没识别到国徽则弃用此照片。

可选的，上述模型训练模块还可以包括数据补充子模块，用于通过图像增强法对数据进行扩充，例如将所得的重点区域图像分别旋转90度、180度、270度后保存。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims

1.一种包含身份证的翻拍照片识别方法，其特征在于，包括以下步骤：

S10，接收用户输入的包含身份证的照片；

S40，将步骤S30中所得到的重点区域图像输入预先训练好的识别模型中进行识别，输出用户输入的照片是否为翻拍照片的结果；

所述步骤S40中，对于所述识别模型的训练，包括以下步骤：

S300，根据识别出的人脸个数截取出重点区域图像，所述重点区域图像为人脸图像区域图像或国徽区域图像；根据识别出的人脸个数截取出重点区域图像的步骤包括：若人脸个数为1个或2个，则根据步骤S200识别出的人脸坐标，确定出人脸区域图像，并将确定出的人脸区域图像进行放大，然后截取出放大后的人脸区域图像，并计算人脸区域矩形框的对角线长度，若计算出的对角线长度小于设定的长度阈值则保存人脸区域图像，否则弃用；若人脸个数为0个，则对照片中的国徽进行识别，如果识别出国徽区域，则将国徽区域放大后保存，如果没识别到国徽则弃用此照片；

2.根据权利要求1所述的包含身份证的翻拍照片识别方法，其特征在于，所述步骤S20中，所述对接收的照片中的人脸进行识别的过程，包括：

3.根据权利要求2所述的包含身份证的翻拍照片识别方法，其特征在于，当收集的负样本数据量不够时，使用已收集到的不含人脸的图片进行随机裁剪，然后提取Hog特征来进行补充。

4.一种包含身份证的翻拍照片识别系统，其特征在于，包括：

数据收集模块，用于接收用户输入的包含身份证的照片；

图像识别模块，用于将截取的重点区域图像输入预先训练好的识别模型中进行识别，输出用户输入的照片是否为翻拍照片的结果；

模型训练模块，所述模型训练模块包括：

区域截图子模块，用于根据识别出的人脸个数截取出重点区域图像，所述重点区域图像为人脸图像区域图像或国徽区域图像；具体为：在若人脸个数为1个或2个时，根据人脸识别子模块识别出的人脸坐标，确定出人脸区域图像，并将确定出的人脸区域图像进行放大，然后截取出放大后的人脸区域图像，并计算人脸区域矩形框的对角线长度，若计算出的对角线长度小于设定的长度阈值则保存人脸区域图像，否则弃用；在人脸个数为0个时，对照片中的国徽进行识别，如果识别出国徽区域，则将国徽区域放大后保存，如果没识别到国徽则弃用此照片；

5.根据权利要求4所述的包含身份证的翻拍照片识别系统，其特征在于，所述人脸识别模块包括：

6.根据权利要求5所述的包含身份证的翻拍照片识别系统，其特征在于，所述人脸识别模块还包括样本补充子模块，用于当收集的负样本数据量不够时，使用已收集到的不含人脸的图片进行随机裁剪，然后提取Hog特征来进行补充。