CN114511915A - 一种基于移动客户端的可信任证件照采集系统及方法 - Google Patents

Abstract

本发明提供了一种基于移动客户端的可信任证件照采集系统及方法，方法包括：首先安装客户端应用到移动设备中，移动设备连接身份证读卡器和互联网；启动客户端应用通过身份证读卡器获取用户身份数据和照片，然后启动拍照流程；拍照完成之后，客户端应用将身份证照图像和现场拍摄照片进行比对，核实用户身份；然后根据拍摄的照片进行证件照的生成操作，最终将生成的证件照返回到前台界面，供用户确认效果。本发明由移动客户端实现身份校验和证件照生成，不依赖后端服务器，整个业务流程清晰，自动化和智能化水平高。

Description

一种基于移动客户端的可信任证件照采集系统及方法

技术领域

本发明涉及电子设备技术领域，更具体地说，涉及了一种基于移动客户端的可信任证件照采集系统及方法。

背景技术

考试报名中的冒名顶替现象严重违背了公平公正的原则，扰乱了社会秩序，是严重的违法行为。此类行为的出现，客观原因之一是对考生的身份没有进行核实。而人脸信息因为具备唯一性，可以用来标识指定的考生。因此在考试报名时通过人脸和证件比对的方式验证是考生本人报名，可以保证考生的报名是真实可信的，并且生成了考生报名现场的证件照；在后期考场检查是将报名时采集的证件照、考试现场照片和身份证照片进行三图相似度比对，保证参加考试时的考生和报名时考生一致。因此，在报名时的关于人脸的身份验证工作就显得格为重要，经过验证的身份可以认为是可信真实的，在此基础上生成的标准证件照可以为后期身份验证提供支持。

报名过程中的关于面部的身份验证，常见的方法包括通过工作人员在拍照现场裸眼比对证件照和拍照者是否一致；或者将拍摄的照片和身份证照片同时传送到电脑上，同样进行人工比对；或者将拍摄的照片和证件照传送到服务器中，通过机器学习方式进行人脸相似度比较后通知管理员。这些方法存在两个问题：首先是人工比对容易出现差错和漏检，其次通过图像处理的方式需要调用后端服务器，消耗时间长，效率低。而在证件照采集工作中，需要部署多种设备，包括一台或者多台电脑、身份证读卡器、摄像头等，同时需要安排管理员在指定时间段内操作多种设备获取用户照片，然后人工裁剪出证件照。此类的证件照采集工作，不仅耗费大量的精力来部署现场和开展工作，而且对图像的处理，包括质量、大小的检测和长宽比例的调整等，依赖管理员的经验，工作量大而且失误率高。

随着移动互联网的发展，手机等移动设备的拍照质量可以达到几千万像素的级别，拍摄的照片可以满足证件照的生成需求，这样为通过手机拍摄证件照打下基础。同时移动智能设备的CPU、GPU的处理能力在近年来有大幅的提升，且移动操作系统框架已经成熟，可以通过移动客户端利用手机自身处理器实现对图像的处理。而且人体分割等涉及深度学习运算通过互联网接口的从云服务提供商处获取，无需自建后台服务器。本发明在调研和分析了当前考试证件照采集过程中身份认证方法低效，拍照流程复杂的情况，探索一种基于移动客户端的可信任证件照采集装置。

发明内容

本发明的目的是为了针对当前证件照采集过程中，用户身份认证方法低效，拍照过程复杂等问题，提出一种基于移动客户端的可信任证件照采集系统及方法，通过客户端软件中预设的算法和各项阈值判断图像各项指标是否符合要求，如果不合格则返回并提示错误提示，合格则完成证件照生成，避免了报名中的冒名顶替的行为，而且为后续的考场的证件照核对提供了基础。

为实现上述目的，一方面本发明提出了一种基于移动客户端的可信任证件照采集系统，包括桌子、座椅、背景板、第一支架、身份证读卡器和移动智能设备，所述座椅摆放于桌子左侧，桌子上摆放有身份证读卡器，所述移动智能设备安装在第一支架上布置于座椅左侧，所述背景板布置于座椅靠背之后；

具体的，所述移动智能设备包括客户端和与客户端相连的图像采集模块、图像合规度检测模块、人脸识别比对模块、证件照生成模块和显示模块，所述图像采集模块用于采集用户的人脸图像；所述图像合规度检测模块用于检测图像采集模块采集的人脸图像是否符合证件照要求，并将检测结果发送至客户端；所述人脸识别比对模块包括人脸识别以及人脸关键点检测子模块和人脸比对子模块，用于将图像采集模块采集的人脸图像与身份证读卡器获取的身份证照进行比对，并将比对结果发送至客户端；所述证件照生成模块包括图像分割模块和头像纠偏处理模块，用于生成最终的证件照；所述客户端用于接收来自图像采集模块采集的人脸图像，并将其发送至图像合规度检测模块和人脸识别比对模块，同时根据接收的图像检测和比对结果，输出证件照。

另一方面，本发明还提出了一种基于移动客户端的可信任证件照采集方法，应用如上述技术方案中的证件照采集系统，其采集方法包括以下步骤：

步骤S1.现场环境布置：将第二支架和身份证读卡器放置在桌面上，并在第二支架上安装移动智能设备，将身份证读卡器与移动智能设备相连；

步骤S2.客户端前台交互：用户将携带的身份证放入身份证读卡器读卡处，端坐于座椅上，由移动智能设备的客户端前台采集用户人脸图像；

步骤S3.客户端后台图像处理：移动智能设备的客户端后台接收身份证读卡器传来的信息和客户端前台采集的用户人脸图像，完成图像合规度检测、身份证照与人脸图像比对和证件照生成工作，并将生成的证件照发送至客户端前台供用户进行最终确认。

具体的，在所述步骤S2的客户端前台交互步骤中，管理员认证通过后，客户端进入具体功能页面，将身份证放入身份证读卡器读卡处，由移动智能设备客户端前台采集座椅上的用户人脸图像，经由图像检测和身份验证后生成证件照并由用户查看结果，该步骤又分为如下子步骤：

S21.客户端设置：管理员打开对应的移动智能设备客户端，输入管理员系统账号名称和密码，管理员认证通过之后，客户端进入具体功能页面；

S22.拍照准备：在客户端首先选择“用户拍照”功能，客户端自动连接蓝牙读卡器并成功，进入使用等待页面，随后用户端坐在座椅上，将个人身份证放置到读卡器上的读取位置，若读卡器读取到身份证信息，则将身份证图片保存下来，此时会触发客户端软件语音提示，客户端前台显示屏界面随后显示前置摄像头获取到的用户人脸图像，然后开始倒计时；

S23.拍照：当倒计时结束时，客户端调用前置摄像头拍照，并把现场拍的照片保存下来，然后对现场照片进行初步的处理和检测，若初步检测不合格则直接返回错误信息到客户端前台，若照片检测合格则利用人脸识别以及人脸关键点检测子模块对照片进行人脸识别检测以及人脸关键点获取，同时利用人脸比对子模块内预设的seetaface算法将身份证的照片与现场照片进行人证比对，比对的结果范围是一个0到1的置信区间，当计算出来的值大于0.65，即认为是同一个人，反之则不是同一个人，若比对结果确认是本人，则返回身份验证成功代码到前台，前台显示屏显示“身份验证成功，继续生成证件照”；

S24.证件照生成：对现场照片作进一步处理，包括人脸正偏检测、闭眼和张嘴检测、头像纠偏处理、证件照裁剪，等待处理完成后，客户端请求第三方服务，第三方服务器反馈人像分割图至客户端，然后客户端根据分割图、原图以及背景颜色得到更换底色后的图像，最后按照具体证件照要求生成照片，将保存的身份证图片进行删除，并将生成的证件照返回至客户端前台；

S25.结果查看：若图像处理一系列过程没有出现不合规或处理错误的情况，则客户端向用户展示最终处理的证件照，并发出语音提示；如果证件照生成不成功，则返回错误代码，解析错误代码后，用文字和语音提示失败原因；用户根据客户端提示选择重拍或者离开让下一位开始拍照。

具体的，步骤S3中所述完成图像合规度检测、身份证照与人脸图像比对和证件照生成工作，并将生成的证件照发送至客户端前台供用户进行最终确认；

所述图像合规度检测，包括图像清晰度检测和图像亮度检测；

所述图像清晰度检测采用的方法如下：使用无参考图像清晰度检测算法reblur计算清晰度并与判定阈值作比较，若清晰度小于设定阈值则返回错误信息，表示“图像模糊”，否则进行下一步操作；

所述图像亮度检测采用的方法如下：通过计算图片在灰度图上的平均值和平均偏差来确定亮度是否合适，判断当前的照片亮度是否在最低亮度要求和最高亮度要求之间，如果亮度不足或亮度过亮，则提示错误信息，表示“亮度不足”或“亮度过亮”。

具体的，所述图像清晰度检测中，计算清晰度的详细步骤如下：

S311.为待评价图像构造参考图像，定义待评价图像为I，而参考图像Ir=LPF(I)，即对待评价图像I进行低通滤波得到参考图像Ir；

S312.提取图像I和Ir的梯度信息，使用Sobel算子分别提取水平和竖直方向的边缘信息，定义I和Ir的梯度图像为G和Gr；

S313. 通过计算方差找出梯度图像G中梯度信息最丰富的N个图像块，根据找到的G中的前N个图像块，记为{x_i，i=1，2，3，... ，N}，{x_i}找出对应的Gr的前N个块，记为{y_i，i=1，2，3，... ，N}；

S314.计算无参考结构清晰度NRSS，先计算每个x_i与y_i的结构相似度，SSIM(x_i，y_i) 则图像I的无参考结构清晰度NRSS为：

。

具体的，所述图像亮度检测步骤中，通过计算图片在灰度图上的平均值和平均偏差来确定亮度是否合适，图片在灰度图上的平均值和平均偏差的计算方法和照片亮度判断方法如下：

S315.计算图像灰度的平均值，计算公式如下：

；

其中N表示像素数，x_i表示第i个像素上的灰度值；

S316.计算图像灰度的平均偏差，利用灰度直方图获取每个灰度值对应的像素个数，以像素个数为权重，利用加权平均偏差的计算公式得到平均偏差：

；

其中x_i表示第i个像素上的灰度值，取值范围为[0，255]，Hist[x_i]表示灰度值为[x_i]的像素个数；

S317. 根据平均偏差的值进行判断，给定阈值为abs(da) ，若Ma<abs(da) ，则图像可能存在亮度异常，如果da>0，图像偏亮；反之图像偏暗。

具体的，在所述步骤S3中，人脸图像比对，包括人脸图像识别和人脸比对；

人脸图像识别：将图像输入到人脸识别以及人脸关键点检测模块中，通过dlib的人脸检测方法，获取人脸个数，如未检测到人脸或检测到多张人脸，则返回到客户端前台，提示“未检测到人脸”或“检测到多个人脸”，如果仅检测到一张人脸，则通过dlib从该人脸中提取关键点，并将68个关键点坐标暂时保存下来，其中，关键点0至16按照左耳上部-左耳下部-下巴-右耳下部-右耳上部的顺序依次间隔均匀的分布且关于人脸的中轴线对称，从而组成人脸的外轮廓；关键点17-21、关键点22-26分别组成左眉、右眉的轮廓；关键点27-35组成鼻子的轮廓，其中，关键点27-30依次由上而下均匀间隔排列组成鼻梁轮廓，关键点31-35依次由左到右组成鼻头轮廓，且鼻头轮廓关于鼻梁轮廓对称；关键点36-41、关键点42-47分别组成左眼、右眼的轮廓；关键点48-60组成嘴唇轮廓；关键点61-65组成牙齿轮廓；68个关键点中，关键点36至47用于判断闭眼情况，关键点48至67用于判断张嘴情况，关键点36与45之间的距离为眼距，关键点0与16、1与15之间距离的平均值为脸宽，关键点30则为鼻尖位置；

人脸比对：将从身份证中读取的照片和现场拍照获取的照片输入到人脸比对子模块中，通过seetaface算法获取两张照片中人脸的特征向量，再将两个特征向量通过jni调用方式，调用模块本地的so库，比对两张照片中人脸的相似度，如果相似度小于或等于0.65，则认为两者是不同人，返回错误信息到客户端前台，提示“身份校验失败”，如果相似度大于0.65，则认为是同一个人，此时进行下一步图像处理。

具体的，在所述步骤S3中，所述证件照生成步骤包括头像正偏检测、闭眼检测、张嘴检测、头像纠偏、证件照裁剪，详细步骤如下：

S331.头像正偏检测：根据人脸识别时相同的特征提取库获取的人脸特征点坐标，取脸颊两侧最上面的两个特征点的平均值作为脸颊的左右边缘点，获取到两个脸部边缘点的坐标，计算左脸颊边缘点到鼻子的水平距离m以及右脸颊边缘点到鼻子水平距离n，则正偏率b_r表示人脸两颊距离鼻尖不一致的程度，用m/n表示，如果b_r在阈值区域之外，表示人像未正对镜头，返回错误提示到客户端前台，表示人像未正对镜头，所述阈值区域为（0.76，1.3）；

所述左脸颊边缘点到鼻子的水平距离m以及右脸颊边缘点到鼻子水平距离n的获 取方法如下：根据人脸特征点坐标可得脸颊宽度为a、脸颊左边缘点到鼻子距离为b、脸颊右 边缘点到鼻子距离为c，鼻子到两脸颊边缘点连线的垂直距离为h，左脸颊边缘点到鼻子的 真实水平距离m，右脸颊边缘点到鼻子的真实水平距离n，则有m+n=a；m²+h²=b²，n²+h²=c²，得

，

；

S332.闭眼检测：根据眼睛关键点定位，用户眼睛的闭合程度计算公式为：

；

上式中，数字代表指定关键点的坐标，||(x-y)||表示点x和y的欧式距离，||(x₃₇-y₄₁)||为上、下眼睑的距离之一，||(x₃₈-y₄₀)||为上、下眼睑的距离之二，||(x₃₆-y₃₉)||为眼睑的最大横向距离，其中闭眼判定阈值的设置范围为（0.15，0.2）；

S333.张嘴检测：取嘴部关键点50、58、52、56、48和54，其中关键点50与关键点58的距离和关键点52与关键点56的距离的平均值作为纵向距离，关键点48与关键点54之间的距离为横向距离，通过计算纵向距离和横向距离的比值，来反应嘴巴的闭合程度；如果经过计算出来的比值大于0.6，表示张嘴，否则表示正常；

S334.头像纠偏：根据人脸特征时相同的特征提取库获取的人脸特征中两眼的特 征坐标，判断两眼特征坐标的垂直坐标的差异性，设右眼坐标(x₁，y₁)，左眼坐标(x₂，y₂)，则 倾斜角度正切值

，以该正切值表示垂直差异程度，如果垂直坐标差异性大于纠偏 阈值，则认定为出现侧偏的现象，侧偏的角度通过α=arctan(t)计算出来，设定当图像方向 相对于观察者时，当右眼高于左眼的情况下，以两眼坐标的中点坐标

为 旋转中心，图像需要顺时针旋转α；反之，则将图像逆时针旋转α；

S335.证件照裁剪：在裁剪之前需要将四个边界的留白首先进行裁剪，证件照的裁剪主要依据来源于头像各关键部位在整个标准证件照中的比例关系，根据人脸关键点坐标得到实际照片的各个值，然后根据标准证件照中获取的各项比例关系和实际图像中的值，推导可得到实际证件照的宽度、高度以及人像在证件照的垂直位置。

本发明的有益效果：

本发明一种基于移动客户端的可信任证件照采集方法，通过证件照比对操作验证当前用户和身份证是否为同一用户，确认之后通过客户端软件中预设的算法和各项阈值判断图像各项指标是否符合要求，如果不合格则返回并提示错误提示，合格则完成证件照生成，在整个流程中管理员只需要布置完现场后，维持拍照顺序即可，用户身份验证和拍照过程中由移动客户端通过文字和语音引导完成，实现了手机拍照、身份验证和证件裁剪的自动化流程，无需进行后期的人像比对等工作，且证件照的生成流程在当前移动设备上的客户端和调用第三方接口实现，无需在后台新建处理服务器。整个证件照采集过程的可信任体现在验证照片的采集人和身份证上面是一致的，避免了冒名顶替的行为，为后续的证件照核对和查验提供了便利。

附图说明

图1是本发明一种基于移动客户端的可信任证件照采集系统的现场平面布置示意图；

图2是本发明一种基于移动客户端的可信任证件照采集系统的模块组成框图；

图3是本发明一种基于移动客户端的可信任证件照采集方法的流程图；

图4是本发明实施例中客户端前台交互的流程图；

图5是本发明实施例中客户端后台图像处理的流程图；

图6是本发明实施例中所述采用dlib算法获取的人脸68个关键点的位置分布图；

图7是本发明实施例中闭眼检测的关键点位置示意图；

图中的附图标记说明：101、桌子；102、座椅；103、背景板；104、身份证读卡器；105、移动智能设备。

具体实施方式

为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。

本发明实施例参考了《GA/T 1324-2017安全防范人脸识别应用静态人脸图像采集规范》、《GB/T 35678-2017公共安全人脸识别应用图像技术要求》和《GA/T 1325-2017安全防范人脸识别应用视频图像采集规范》，实施案例是以教育部《普通高等学校招生图像采集规范及信息标准》作为标准图像为例进行详细展开描述的，之所以选择高考报名的证件照采集是因为高考是国家级别的考试，其考试结果对考生的未来有重要的影响，因此身份验证在其中是有着重要意义，下面以高考报名证件照作为最终要处理得到的标准图像为例，对现有技术中存在的问题以及本申请技术方案所要克服的问题进行详细介绍，具体内容如下：

本发明是建立在某一预设标准的前提下，对初始图像进行的使其符合标准要求的图像处理，并最终得到符合要求的标准图像。因此，首先对该预设标准加以介绍。

本实施例以教育部对高等院校高考报名中数字相片的规范作为标准，即通过规范《普通高等学校招生图像采集规范及信息标准》对报名证件照提出了以下要求，包括：

1.数字化图像文件规格为宽480像素*高640像素，分辨率300dpi，24位真彩色。应符合JPEG标准，压缩品质系数不低于60，压缩后文件大小一般在20KB至40KB。文件扩展名应为JPG；

2.人像在图像矩形框内水平居中，左右对称。头顶发际距上边沿50像素至110像素；眼睛所在位置距上边沿200像素至300像素；脸部宽度（两脸颊之间）180像素至300像素；

实施例：参见图1-7。

一种基于移动客户端的可信任证件照采集系统，包括桌子101、座椅102、背景板103、第一支架、身份证读卡器104和移动智能设备105，所述座椅102摆放于桌子101左侧，桌子101上摆放有身份证读卡器104，所述移动智能设备105安装在第一支架上布置于座椅左侧，所述背景板103布置于座椅102靠背之后；

具体的，如图2所示，所述移动智能设备105包括客户端和与客户端相连的图像采集模块、图像合规度检测模块、人脸识别比对模块、证件照生成模块和显示模块，所述图像采集模块用于采集用户的人脸图像；所述图像合规度检测模块用于检测图像采集模块采集的人脸图像是否符合证件照要求，并将检测结果发送至客户端；所述人脸识别比对模块包括人脸识别以及人脸关键点检测子模块和人脸比对子模块，用于将图像采集模块采集的人脸图像与身份证读卡器获取的身份证照进行比对，并将比对结果发送至客户端；所述证件照生成模块包括图像分割模块和头像纠偏处理模块，用于生成最终的证件照；所述客户端用于接收来自图像采集模块采集的人脸图像，并将其发送至图像合规度检测模块和人脸识别比对模块，同时根据接收的图像检测和比对结果，输出证件照。

如图3所示，本发明还公开了一种基于移动客户端的可信任证件照采集方法，应用上述的证件照采集系统，其采集方法包括以下步骤：

步骤S1.现场环境布置：将第二支架和身份证读卡器放置在桌面上，并在第二支架上安装移动智能设备，将身份证读卡器与移动智能设备相连；

具体的，如图1所示，本实施例中给出了基于移动客户端的可信任证件照采集系统的现场平面布置方式，在证件照采集现场布署有第一支架、桌子101、座椅102、背景板103、身份证读卡器104和以手机为代表的移动智能设备105，所述移动智能设备105安装在支架的卡位上。

移动智能设备105以手机为例，在支架对面放置一个座椅102，在座椅102的后方（以座椅座位方向为正面）放置背景板103，背景板103为统一颜色的背景，手机开启证件照采集客户端，并连接互联网，客户端指代可以实现本发明所需功能的集合，包括但不限于安卓客户端、苹果客户端等应用程序。各关键设备的规格和设定如下：

1）座椅102的高度不低于45cm，不高于55cm，座椅102的靠背不高于30cm，要求座椅102稳固，无法移动，保证拍照时座椅102靠背不会进入镜头，手机安装到支架对应卡位上，保证手机摄像头中心距离地面高度120cm±5cm，手机摄像头到座椅102前边缘水平距离保持80±5cm，根据人上身在手机前置镜头内所占面积进行微调，该距离应大于60cm并小于100cm，桌子101的高度不低于60cm，不高于80cm。

2）手机安装了指定的客户端应用，并关闭自动息屏，保持屏幕常亮，且启用了WIFI连接或数据网络，并确认网络连接成功。

3）身份证读卡器支持蓝牙连接功能，客户端可以有效接收读卡器通过蓝牙协议发送的数据，身份证读卡器开启之后放置到座椅102右侧的桌子101上，放置位置要求为：当用户坐在座椅102上时可以轻易的将身份证放在身份证读卡器的读卡处。

4）拍照背景要求为浅色纯色背景，距离座椅距离在50cm和100cm之间，在手机显示屏上显示的颜色为统一颜色。

5）在第二支架的两侧或者周围可安装补光灯，用以调节补光灯的色温等参数。

需要说明的是，本实施例中对于移动智能设备的选择，是以手机作为范例，但是本发明中移动智能设备不限于手机，而是包括所有可以实施本发明的智能设备；对于桌椅的设定，对距离的要求是为了保证用户在拍照的时候，光线强度充分，同时保证用户在手机前置摄像头中的大小是有利于裁剪出证件照；对于背景的设定，是为了保证人体之后不会出现明显的阴影，以及减少在深度学习人像分割的时候出分割错误的情况；在本发明的实际应用过程中，移动智能设备的选择以及桌椅和背景的设定可以根据证件照采集现场的实际需求进行适应性调整。

步骤S2.客户端前台交互：用户将携带的身份证放入身份证读卡器读卡处，端坐于座椅上，由移动智能设备的客户端前台采集用户人脸图像；

具体的，如图4所示，在所述步骤S2的客户端前台交互步骤中，管理员认证通过后，客户端进入具体功能页面，将身份证放入身份证读卡器读卡处，由移动智能设备客户端前台采集座椅上的用户人脸图像，经由图像检测和身份验证后生成证件照并由用户查看结果，该步骤又分为如下子步骤：

S21.客户端设置：管理员打开对应的移动智能设备客户端，输入管理员系统账号名称和密码，管理员认证通过之后，客户端进入具体功能页面；

S22.拍照准备：在客户端首先选择“用户拍照”功能，客户端自动连接蓝牙读卡器并成功，进入使用等待页面，随后用户端坐在座椅上，将个人身份证放置到读卡器上的读取位置，若读卡器读取到身份证信息，则将身份证图片保存下来，此时会触发客户端软件语音提示，客户端前台显示屏界面随后显示前置摄像头获取到的用户人脸图像，然后开始倒计时；

S23.拍照：当倒计时结束时，客户端调用前置摄像头拍照，并把现场拍的照片保存下来。

步骤S3.客户端后台图像处理：移动智能设备的客户端后台接收身份证读卡器传来的信息和客户端前台采集的用户人脸图像，完成图像合规度检测、身份证照与人脸图像比对和证件照生成工作，并将生成的证件照发送至客户端前台供用户进行最终确认。

需要说明的是，为保证客户隐私，本发明图像采集系统在生成最终的证件照片后，会将系统内保存的身份证图片进行删除。

具体的，如图5所示为步骤S3中客户端后台图像处理的流程图，该步骤又细分为如下步骤：

S31.图像合规度检测：包括图像清晰度检测和图像亮度检测；

所述图像清晰度检测采用的方法如下：使用无参考图像清晰度检测算法reblur计算清晰度并与判定阈值作比较，若清晰度小于设定阈值则返回错误信息，表示“图像模糊”，否则进行下一步操作；

所述图像亮度检测采用的方法如下：通过计算图片在灰度图上的平均值和平均偏差来确定亮度是否合适，判断当前的照片亮度是否在最低亮度要求和最高亮度要求之间，如果亮度不足或亮度过亮，则提示错误信息，表示“亮度不足”或“亮度过亮”。

进一步地，所述图像清晰度检测中，计算清晰度的详细步骤如下：

S311.为待评价图像构造参考图像，定义待评价图像为I，而参考图像Ir=LPF(I)，即对待评价图像I进行低通滤波得到参考图像Ir；

S312.提取图像I和Ir的梯度信息，使用Sobel算子分别提取水平和竖直方向的边缘信息，定义I和Ir的梯度图像为G和Gr；

S313. 通过计算方差找出梯度图像G中梯度信息最丰富的N个图像块，根据找到的G中的前N个图像块，记为{x_i，i=1，2，3，... ，N}，找出对应的Gr的前N个块，记为{y_i，i=1，2，3，... ，N}；

S314. 计算无参考结构清晰度NRSS，先计算每个x_i与y_i的结构相似度，SSIM(x_i， y_i)则图像I的无参考结构清晰度NRSS为：

。

更进一步地，所述图像亮度检测步骤中，通过计算图片在灰度图上的平均值和平均偏差来确定亮度是否合适，图片在灰度图上的平均值和平均偏差的计算方法和照片亮度判断方法如下：

S315.计算图像灰度的平均值，计算公式如下：

；

其中N表示像素数，x_i表示第i个像素上的灰度值；

S316.计算图像灰度的平均偏差，利用灰度直方图获取每个灰度值对应的像素个数，以像素个数为权重，利用加权平均偏差的计算公式得到平均偏差：

；

其中x_i表示第i个像素上的灰度值，取值范围为[0，255]，Hist[x_i]表示灰度值为[x_i]的像素个数；

S317.根据平均偏差的值进行判断，给定阈值为abs(da) ，若Ma<abs(da) ，则图像可能存在亮度异常，如果da>0，图像偏亮；反之图像偏暗。

S32.身份证照与人脸图像比对：包括人脸图像识别和人脸比对；

S321.人脸图像识别：将图像输入到人脸识别比对模块的人脸识别以及人脸关键点检测子模块中，通过dlib的人脸检测方法，获取人脸个数，如未检测到人脸或检测到多张人脸，则返回到客户端前台，提示“未检测到人脸”或“检测到多个人脸”，如果仅检测到一张人脸，则通过dlib从该人脸中提取关键点，并将68个关键点坐标暂时保存下来，如图6所示，这68个关键点的坐标简述如下：

其中，关键点0至16代表人脸的外轮廓，按照左脸颊最外端-左脸颊下部-下巴-右脸颊下部-右脸颊最外端的顺序依次间隔均匀的分布且关于人脸的中轴线对称；

关键点17-21、关键点22-26分别组成左眉、右眉的轮廓；

关键点27-35组成鼻子的轮廓，其中，关键点27-30依次由上而下均匀间隔排列组成鼻梁轮廓，关键点31-35依次由左到右组成鼻头轮廓，且鼻头轮廓关于鼻梁轮廓对称；

关键点36-41、关键点42-47分别组成左眼、右眼的轮廓，用于判断闭眼情况；

关键点48-60组成嘴唇轮廓；关键点61-67组成牙齿轮廓；关键点48至67用于判断张嘴情况；

关键点36与45之间的距离为眼距，关键点0与16、1与15之间距离的平均值为脸宽，关键点30则为鼻尖位置；

S322.人脸比对：将从身份证中读取的照片和现场拍照获取的照片输入到人脸识别比对模块的人脸比对子模块中，通过seetaface算法获取两张照片中人脸的特征向量，再将两个特征向量通过jni调用方式，调用模块本地的so库，比对两张照片中人脸的相似度，如果相似度小于或等于0.65，则认为两者是不同人，返回错误信息到客户端前台，提示“身份校验失败”，如果相似度大于0.65，则认为是同一个人，则返回身份验证成功代码到前台，前台显示屏显示“身份验证成功，继续生成证件照，进行下一步图像处理。

S33.证件照生成：包括头像正偏检测、闭眼检测、张嘴检测、头像纠偏、证件照裁剪，详细步骤如下：

S331.头像正偏检测：本发明方法中加入头像正偏检测是因为用户拍照时人脸整体向一侧偏向，这样导致获取的照片左脸和右脸大小不一致的情况，偏向严重则无法生成合格的证件照，故根据人脸比对时相同的特征提取库获取的人脸特征点坐标。根据人脸识别时相同的特征提取库获取的人脸特征点坐标，取脸颊两侧最上面的两个特征点的平均值作为脸颊的左右边缘点，获取到两个脸部边缘点的坐标，即取图6中关键点0与1 的平均值作为左脸颊的边缘点坐标，关键点15、16的平均值作为右脸颊的边缘点坐标，计算左脸颊边缘点到鼻子的水平距离m以及右脸颊边缘点到鼻子水平距离n，则正偏率b_r表示人脸两颊距离鼻尖不一致的程度，用m/n表示，如果b_r在阈值区域之外，表示人像未正对镜头，返回错误提示到客户端前台，表示人像未正对镜头，所述阈值区域为（0.76，1.3）；

而实际的图像采集过程中，往往由于头像存在斜偏，即下巴上扬导致歪头的情况， 导致无法直接获取的m和n，故本发明提出了一种m和n的获取方法如下：根据人脸特征点坐 标可得脸颊宽度为a、脸颊左边缘点到鼻子距离为b、脸颊右边缘点到鼻子距离为c，鼻子到 两脸颊边缘点连线的垂直距离为h，左脸颊边缘点到鼻子的水平距离m，右脸颊边缘点到鼻 子的水平距离n，则有m+n=a；m²+h²=b²，n²+h²=c²，可得

，

。

需要说明的是，当b_r为1时，即人脸完全正对镜头，但由于计算的精度较高且允许一定范围的正偏（直观上感觉不到有正偏的现象），现实情况是该值往往不为1，因此，经过实验测试，为达到较好的效果该阈值范围取值应在0.76到1.3之间，该阈值范围可根据具体场景或要求进行调节。

S332.闭眼检测：根据眼睛关键点定位，如图7所示，用户眼睛的闭合程度计算公式为：

；

上式中，数字代表指定关键点的坐标，||(x-y)||表示点x和y的欧式距离，||(x₃₇-y₄₁)||为上、下眼睑的距离之一，||(x₃₈-y₄₀)||为上、下眼睑的距离之二，||(x₃₆-y₃₉)||为眼睑的最大横向距离，其中闭眼判定阈值的设置范围为（0.15，0.2）；

根据上述公式和左眼关键点坐标可计算左眼闭合的程度，右眼可类似计算，根据多次实验结果得出阈值在0.15到0.2之间取值较为合适，该阈值可根据现实业务调整，如严格要求，则可将该阈值调大；如果简单要求业务，可将阈值调小。本实施例中眼睛闭合判定阈值设为0.2，如果计算值小于0.2就认为是闭眼，否则是正常情况。最终判定是：两个眼睛都没有闭眼，则认为是正常，否则认为是闭眼。需要说明的是，上述阈值表示的是一个比例值，反应的是眼睛闭合的程度。

S333.张嘴检测：取嘴部关键点50、58、52、56、48和54，其中关键点50与关键点58的距离为上、下嘴唇的最大距离之一，关键点52与关键点56的距离为上、下嘴唇的最大距离之二，将上、下嘴唇的这两组距离的平均值作为纵向距离，关键点48与关键点54之间的距离为横向距离，通过计算纵向距离和横向距离的比值，来反应嘴巴的闭合程度；如果经过计算出来的比值大于0.6，表示张嘴，否则表示正常；

S334.头像纠偏：根据人脸比对时相同的特征提取库获取的人脸特征中两眼的特 征坐标，判断两眼特征坐标的垂直坐标的差异性，设右眼坐标(x₁，y₁)，左眼坐标(x₂，y₂)，则 倾斜角度正切值

，以该正切值表示垂直差异程度，如果垂直坐标差异性大于纠偏 阈值，则认定为出现侧偏的现象，侧偏的角度通过α=arctan(t)计算出来，设定当图像方向 相对于观察者时，当右眼高于左眼的情况下，以两眼坐标的中点坐标

为 旋转中心，图像需要顺时针旋转α；反之，则将图像逆时针旋转α；

S335.证件照裁剪：在裁剪之前需要将四个边界的留白首先进行裁剪，证件照的裁剪主要依据来源于头像各关键部位在整个标准证件照中的比例关系，根据人脸关键点坐标得到实际照片的各个值，然后根据标准证件照中获取的各项比例关系和实际图像中的值，推导可得到实际证件照的宽度、高度以及人像在证件照的垂直位置。

具体地，根据不同标准证件照要求，本实施例中假定要求如下：设要求的标准证件照为P，目标裁剪的证件照为Q，已知P与Q图像在尺寸上不同，但人像在证件照的比例是相同的，证件照高度为p_h、宽度为p_w、脸宽要求在pf_min和pf_max之间，眼睛距离顶部位置在pe_min和pe_max之间，则裁剪具体操作方式如下所示：

1）计算目标证件照Q的宽度q_w

由脸颊关键点坐标可计算得到Q的脸部宽度qf_w，取标准证件照要求中脸宽范围的中值pf_w= (pf_min+pf_max) / 2以及证件照的宽度p_w可得到脸宽和证件照宽的标准比例R_f=pf_w / p_w，根据这个比例以及实际脸部宽度qf_w可得到实际证件照的宽度q_w= qf_w /R_f。

2）计算目标证件照Q的高度q_h

由P的高宽比例以及Q的宽度，得到Q的高度q_h=q_w * p_h / p_w。

3）计算目标证件照Q的人眼距离顶部与底部的位置q_t和q_b

取标准证件照要求中人眼距离顶部位置范围的中值p_t = (p_min + p_max) / 2，得到该值与标准照片P的高度的比值R_e=p_t /p_h。然后根据q_h以及该比值得到Q的人眼距离顶部位置的距离q_t= q_h * R_e，则Q人眼距离底部位置的距离q_b=q_h - q_t。

4）裁剪

以人像两眼处关键点的中点坐标为基准，向左右分别裁剪q_w的一半，向上裁剪q_t的长度，向下裁剪q_b的长度，最后输出裁剪的证件照Q发送至客户端前台供用户进行最终确认。

S4.结果查看：若上述图像处理一系列过程没有出现不合规或处理错误的情况，则客户端向用户展示最终处理的证件照，并发出语音提示；如果证件照生成不成功，则返回错误代码，解析错误代码后，用文字和语音提示失败原因；用户根据客户端提示选择重拍或者离开让下一位开始拍照。

以上对本发明的较佳实施方式进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可作出种种的等同变型或替换，这些等同的变型或替换均包含在本申请权利要求所限定的范围内。

Claims (8)

1.一种基于移动客户端的可信任证件照采集系统，其特征在于，包括桌子（101）、座椅（102）、背景板（103）、第一支架、身份证读卡器（104）和移动智能设备（105），所述座椅（102）摆放于桌子（101）左侧，桌子（101）上摆放有身份证读卡器（104），所述移动智能设备（105）安装在第一支架上布置于座椅左侧，所述背景板（103）布置于座椅（102）靠背之后；

所述移动智能设备（105）包括客户端和与客户端相连的图像采集模块、图像合规度检测模块、人脸识别比对模块、证件照生成模块和显示模块，所述图像采集模块用于采集用户的人脸图像；所述图像合规度检测模块用于检测图像采集模块采集的人脸图像是否符合证件照要求，并将检测结果发送至客户端；所述人脸识别比对模块包括人脸识别以及人脸关键点检测子模块和人脸比对子模块，用于将图像采集模块采集的人脸图像与身份证读卡器获取的身份证照进行比对，并将比对结果发送至客户端；所述证件照生成模块包括图像分割模块和头像纠偏处理模块，用于生成最终的证件照；所述客户端用于接收来自图像采集模块采集的人脸图像，并将其发送至图像合规度检测模块和人脸识别比对模块，同时根据接收的图像检测和比对结果，输出证件照。

2.一种基于移动客户端的可信任证件照采集方法，其特征在于，应用如权利要求1所述的证件照采集系统，其采集方法包括以下步骤：

步骤S1.现场环境布置：将第二支架和身份证读卡器放置在桌面上，并在第二支架上安装移动智能设备，将身份证读卡器与移动智能设备相连；

步骤S2.客户端前台交互：用户将携带的身份证放入身份证读卡器读卡处，端坐于座椅上，由移动智能设备的客户端前台采集用户人脸图像；

步骤S3.客户端后台图像处理：移动智能设备的客户端后台接收身份证读卡器传来的信息和客户端前台采集的用户人脸图像，完成图像合规度检测、身份证照与人脸图像比对和证件照生成工作，并将生成的证件照发送至客户端前台供用户进行最终确认。

3.根据权利要求2所述的基于移动客户端的可信任证件照采集方法，其特征在于：在所述步骤S2的客户端前台交互步骤中，管理员认证通过后，客户端进入具体功能页面，将身份证放入身份证读卡器读卡处，由移动智能设备的客户端前台采集座椅上的用户人脸图像，经由图像检测和身份验证后生成证件照并由用户查看结果，该步骤又分为如下子步骤：

S21.客户端设置：管理员打开对应的移动智能设备客户端，输入管理员系统账号名称和密码，管理员认证通过之后，客户端进入具体功能页面；

S22.拍照准备：在客户端首先选择“用户拍照”功能，客户端自动连接蓝牙读卡器并成功，进入使用等待页面，随后用户端坐在座椅上，将个人身份证放置到读卡器上的读取位置，若读卡器读取到身份证信息，则将身份证图片保存下来，此时会触发客户端软件语音提示，客户端前台显示屏界面随后显示前置摄像头获取到的用户人脸图像，然后开始倒计时；

S23.拍照：当倒计时结束时，客户端调用前置摄像头拍照，并把现场拍的照片保存下来，然后对现场照片进行初步的处理和检测，若初步检测不合格则直接返回错误信息到客户端前台，若照片检测合格则利用人脸识别以及人脸关键点检测子模块对照片进行人脸识别检测以及人脸关键点获取，同时利用人脸比对子模块内预设的seetaface算法将身份证的照片与现场照片进行人证比对，比对的结果范围是一个0到1的置信区间，当计算出来的值大于0.65，即认为是同一个人，反之则不是同一个人，若比对结果确认是本人，则返回身份验证成功代码到前台，前台显示屏显示“身份验证成功，继续生成证件照”；

S24.证件照生成：对现场照片作进一步处理，包括人脸正偏检测、闭眼和张嘴检测、头像纠偏处理、证件照裁剪，等待处理完成后，客户端请求第三方服务，第三方服务器反馈人像分割图至客户端，然后客户端根据分割图、原图以及背景颜色得到更换底色后的图像，最后按照具体证件照要求生成照片，将保存的身份证图片进行删除，并将生成的证件照返回至客户端前台；

S25.结果查看：若图像处理一系列过程没有出现不合规或处理错误的情况，则客户端向用户展示最终处理的证件照，并发出语音提示；如果证件照生成不成功，则返回错误代码，解析错误代码后，用文字和语音提示失败原因；用户根据客户端提示选择重拍或者离开让下一位开始拍照。

4.根据权利要求2所述的基于移动客户端的可信任证件照采集方法，其特征在于：步骤S3中所述完成图像合规度检测、身份证照与人脸图像比对和证件照生成工作，并将生成的证件照发送至客户端前台供用户进行最终确认；

所述图像合规度检测，包括图像清晰度检测和图像亮度检测；

所述图像清晰度检测采用的方法如下：使用无参考图像清晰度检测算法reblur计算清晰度并与判定阈值作比较，若清晰度小于设定阈值则返回错误信息，表示“图像模糊”，否则进行下一步操作；

所述图像亮度检测采用的方法如下：通过计算图片在灰度图上的平均值和平均偏差来确定亮度是否合适，判断当前的照片亮度是否在最低亮度要求和最高亮度要求之间，如果亮度不足或亮度过亮，则提示错误信息，表示“亮度不足”或“亮度过亮”。

5.根据权利要求4所述的基于移动客户端的可信任证件照采集方法，其特征在于：所述图像清晰度检测中，计算清晰度的详细步骤如下：

S311.为待评价图像构造参考图像，定义待评价图像为I，而参考图像Ir=LPF(I)，即对待评价图像I进行低通滤波得到参考图像Ir；

S312.提取图像I和Ir的梯度信息，使用Sobel算子分别提取水平和竖直方向的边缘信息，定义I和Ir的梯度图像为G和Gr；

S313.通过计算方差找出梯度图像G中梯度信息最丰富的N个图像块，根据找到的G中的前N个图像块，记为{x_i，i=1，2，3，... ，N}，{x_i}找出对应的Gr的前N个块，记为{y_i，i=1，2，3，... ，N}；

S314.计算无参考结构清晰度NRSS，先计算每个x_i与y_i的结构相似度，SSIM(x_i，y_i)则图 像I的无参考结构清晰度NRSS为：

。

6.根据权利要求4所述的基于移动客户端的可信任证件照采集方法，其特征在于：所述图像亮度检测步骤中，通过计算图片在灰度图上的平均值和平均偏差来确定亮度是否合适，图片在灰度图上的平均值和平均偏差的计算方法和照片亮度判断方法如下：

S315.计算图像灰度的平均值，计算公式如下：

；

其中N表示像素数，x_i表示第i个像素上的灰度值；

S316.计算图像灰度的平均偏差，利用灰度直方图获取每个灰度值对应的像素个数，以像素个数为权重，利用加权平均偏差的计算公式得到平均偏差：

；

其中x_i表示第i个像素上的灰度值，取值范围为[0,255]，Hist[x_i]表示灰度值为[x_i]的像素个数；

S317.根据平均偏差的值进行判断，给定阈值为abs(da) ，若Ma<abs(da) ，则图像可能存在亮度异常，如果da>0，图像偏亮；反之图像偏暗。

7.根据权利要求2所述的基于移动客户端的可信任证件照采集方法，其特征在于：在所述步骤S3中，人脸图像比对，包括人脸图像识别和人脸比对；

人脸图像识别：将图像输入到人脸识别以及人脸关键点检测模块中，通过dlib的人脸检测方法，获取人脸个数，如未检测到人脸或检测到多张人脸，则返回到客户端前台，提示“未检测到人脸”或“检测到多个人脸”，如果仅检测到一张人脸，则通过dlib从该人脸中提取关键点，并将68个关键点坐标暂时保存下来，其中，关键点0至16按照左耳上部-左耳下部-下巴-右耳下部-右耳上部的顺序依次间隔均匀的分布且关于人脸的中轴线对称，从而组成人脸的外轮廓；关键点17-21、关键点22-26分别组成左眉、右眉的轮廓；关键点27-35组成鼻子的轮廓，其中，关键点27-30依次由上而下均匀间隔排列组成鼻梁轮廓，关键点31-35依次由左到右组成鼻头轮廓，且鼻头轮廓关于鼻梁轮廓对称；关键点36-41、关键点42-47分别组成左眼、右眼的轮廓；关键点48-60组成嘴唇轮廓；关键点61-65组成牙齿轮廓；68个关键点中，关键点36至47用于判断闭眼情况，关键点48至67用于判断张嘴情况，关键点36与45之间的距离为眼距，关键点0与16、1与15之间距离的平均值为脸宽，关键点30则为鼻尖位置；

人脸比对：将从身份证中读取的照片和现场拍照获取的照片输入到人脸比对子模块中，通过seetaface算法获取两张照片中人脸的特征向量，再将两个特征向量通过jni调用方式，调用模块本地的so库，比对两张照片中人脸的相似度，如果相似度小于或等于0.65，则认为两者是不同人，返回错误信息到客户端前台，提示“身份校验失败”，如果相似度大于0.65，则认为是同一个人，此时进行下一步图像处理。

8.根据权利要求2所述的基于移动客户端的可信任证件照采集方法，其特征在于：在所述步骤S3中，所述证件照生成步骤包括头像正偏检测、闭眼检测、张嘴检测、头像纠偏、证件照裁剪，详细步骤如下：

S331.头像正偏检测：根据人脸识别时相同的特征提取库获取的人脸特征点坐标，取脸颊两侧最上面的两个特征点的平均值作为脸颊的左右边缘点，获取到两个脸部边缘点的坐标，计算左脸颊边缘点到鼻子的水平距离m以及右脸颊边缘点到鼻子水平距离n，则正偏率b_r表示人脸两颊距离鼻尖不一致的程度，用m/n表示，如果b_r在阈值区域之外，表示人像未正对镜头，返回错误提示到客户端前台，表示人像未正对镜头，所述阈值区域为（0.76,1.3）；

所述左脸颊边缘点到鼻子的水平距离m以及右脸颊边缘点到鼻子水平距离n的获取方 法如下：根据人脸特征点坐标可得脸颊宽度为a、脸颊左边缘点到鼻子距离为b、脸颊右边缘 点到鼻子距离为c，鼻子到两脸颊边缘点连线的垂直距离为h,左脸颊边缘点到鼻子的真实 水平距离m，右脸颊边缘点到鼻子的真实水平距离n，则有m+n=a；m²+h²=b²，n²+h²=c²，得

，

；

S332.闭眼检测：根据眼睛关键点定位，用户眼睛的闭合程度计算公式为：

；

上式中，数字代表指定关键点的坐标，||(x-y)||表示点x和y的欧式距离，||(x₃₇-y₄₁)||为上、下眼睑的距离之一，||(x₃₈-y₄₀)||为上、下眼睑的距离之二，||(x₃₆-y₃₉)||为眼睑的最大横向距离，其中闭眼判定阈值的设置范围为（0.15,0.2）；

S333.张嘴检测：取嘴部关键点50、58、52、56、48和54，其中关键点50与关键点58的距离和关键点52与关键点56的距离的平均值作为纵向距离，关键点48与关键点54之间的距离为横向距离，通过计算纵向距离和横向距离的比值，来反应嘴巴的闭合程度；如果经过计算出来的比值大于0.6，表示张嘴，否则表示正常；

S334.头像纠偏：根据人脸特征时相同的特征提取库获取的人脸特征中两眼的特征坐 标，判断两眼特征坐标的垂直坐标的差异性，设右眼坐标(x₁，y₁)，左眼坐标(x₂，y₂)，则倾斜 角度正切值

，以该正切值表示垂直差异程度，如果垂直坐标差异性大于纠偏阈 值，则认定为出现侧偏的现象，侧偏的角度通过α=arctan(t)计算出来，设定当图像方向相 对于观察者时，当右眼高于左眼的情况下，以两眼坐标的中点坐标

为旋 转中心，图像需要顺时针旋转α；反之，则将图像逆时针旋转α；

S335.证件照裁剪：在裁剪之前需要将四个边界的留白首先进行裁剪，证件照的裁剪主要依据来源于头像各关键部位在整个标准证件照中的比例关系，根据人脸关键点坐标得到实际照片的各个值，然后根据标准证件照中获取的各项比例关系和实际图像中的值，推导可得到实际证件照的宽度、高度以及人像在证件照的垂直位置。

Images