CN112686847A - 身份证图像拍摄质量评价方法、装置、计算机设备和介质 - Google Patents
身份证图像拍摄质量评价方法、装置、计算机设备和介质 Download PDFInfo
- Publication number
- CN112686847A CN112686847A CN202011540515.2A CN202011540515A CN112686847A CN 112686847 A CN112686847 A CN 112686847A CN 202011540515 A CN202011540515 A CN 202011540515A CN 112686847 A CN112686847 A CN 112686847A
- Authority
- CN
- China
- Prior art keywords
- identity card
- image
- area
- card
- map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013441 quality evaluation Methods 0.000 title claims abstract description 53
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000001514 detection method Methods 0.000 claims abstract description 26
- 238000005520 cutting process Methods 0.000 claims abstract description 24
- 238000011156 evaluation Methods 0.000 claims abstract description 9
- 238000003860 storage Methods 0.000 claims description 13
- 238000012937 correction Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 11
- 238000007781 pre-processing Methods 0.000 claims description 7
- 238000007689 inspection Methods 0.000 claims description 6
- 230000000750 progressive effect Effects 0.000 claims description 6
- 230000002411 adverse Effects 0.000 abstract description 12
- 238000013473 artificial intelligence Methods 0.000 abstract 1
- 230000006870 function Effects 0.000 description 13
- 238000013528 artificial neural network Methods 0.000 description 8
- 238000004519 manufacturing process Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000003321 amplification Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000003199 nucleic acid amplification method Methods 0.000 description 3
- CGYGETOMCSJHJU-UHFFFAOYSA-N 2-chloronaphthalene Chemical compound C1=CC=CC2=CC(Cl)=CC=C21 CGYGETOMCSJHJU-UHFFFAOYSA-N 0.000 description 2
- 101100135790 Caenorhabditis elegans pcn-1 gene Proteins 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- 238000001303 quality assessment method Methods 0.000 description 2
- 238000012372 quality testing Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000001757 thermogravimetry curve Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本申请实施例属于人工智能领域，应用于智慧城市领域中，涉及一种身份证图像拍摄质量评价方法，包括对待检测图像进行身份证区域定位，得到身份证图像，其中，所述待检测图像为用户拍摄的身份证照片，所述身份证图像为身份证区域外接矩形区域的图像；从所述身份证图像中裁剪出身份证区域所在的身份证区域图像；并裁剪所述身份证区域图像中人脸所在的第一区域，作为头部区域图像；将所述头部区域图像输入到训练后的头像质量评价网络中进行质量检测，得到评价结果。采用本方法解决了现有技术中身份证拍摄环境不一，复杂多变，随机噪声等不利因素极容易导致头像质量评价误判，鲁棒性不好的技术问题。
Description
技术领域
本申请涉及图像处理领域，特别是涉及一种身份证图像拍摄质量评价方法、装置、计算机设备和存储介质。
背景技术
在银行生产环境中，在某些场景需要对用户的身份证进行识别，但是因为用户上传的身份证影像数据各式各样，质量参差不齐，特别是一些含有光斑和因外界昏暗灯光等引起的反光和模糊的身份证影响，这个身份证人脸识别带来了困难和资源浪费。因此，对身份证影像提前做质量检测就显得十分有必要。
传统技术中，有综合身份证图像中头像的亮度、清晰度以及对比度等指标对图像质量检测的，该类方式运算速度虽快，但是身份证拍摄环境不一，复杂多变，随机噪声等不利因素极容易导致头像质量评价误判，鲁棒性不好。
发明内容
基于此，针对上述技术问题，本申请提供一种身份证图像拍摄质量评价方法、装置、计算机设备及存储介质，以解决现有技术中身份证拍摄环境不一，复杂多变，随机噪声等不利因素极容易导致头像质量评价误判，鲁棒性不好的技术问题。
一种身份证图像拍摄质量评价方法，所述方法包括：
对待检测图像进行身份证区域定位，得到身份证图像，其中，所述待检测图像为用户拍摄的身份证照片，所述身份证图像为身份证区域外接矩形区域的图像；
从所述身份证图像中裁剪出身份证区域所在的身份证区域图像；并
裁剪所述身份证区域图像中人脸所在的第一区域，作为头部区域图像；
将所述头部区域图像输入到训练后的头像质量评价网络中进行质量检测，得到评价结果。
一种身份证图像拍摄质量评价装置，所述装置包括：
定位模块，用于对待检测图像进行身份证区域定位，得到身份证图像，其中，所述待检测图像为用户拍摄的身份证照片，所述身份证图像为身份证区域外接矩形区域的图像；
裁剪模块，用于从所述身份证图像中裁剪出身份证区域所在的身份证区域图像；并
头部模块，用于裁剪所述身份证区域图像中人脸所在的第一区域，作为头部区域图像；
质检模块，用于将所述头部区域图像输入到训练后的头像质量评价网络中进行质量检测，得到评价结果。
一种计算机设备，包括存储器和处理器，以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，所述处理器执行所述计算机可读指令时实现上述身份证图像拍摄质量评价方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令被处理器执行时实现上述身份证图像拍摄质量评价方法的步骤。
上述身份证图像拍摄质量评价方法、装置、计算机设备和存储介质，通过基于2D图像的身份证头像质量检测网络对用户拍摄的身份证头部区域图像进行区域质量检测，不仅剔除了身份证其他部分给质量检测带来的噪音影响，降低了不利因素对区域图像质量评估的产生的干扰，降低了神经网络误判的概率，还可以实现快速准确定位出身份证并对身份证进行校正，然后对头像区域进行质量评价，输出其质量评价结果的目的，大大提高了银行、证券或者政务平台对图像处理的效率，解决了现有技术中身份证拍摄环境不一，复杂多变，随机噪声等不利因素极容易导致头像质量评价误判，鲁棒性不好的技术问题。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为身份证图像拍摄质量评价方法的应用环境示意图；
图2为身份证图像拍摄质量评价方法的流程示意图；
图3为头像质量评价网络结构示意图；
图4为身份证图像拍摄质量评价装置的示意图；
图5为一个实施例中计算机设备的示意图。
具体实施方式
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
为了使本申请的目的、技术方案及优点更加清楚明白，下面结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供的身份证图像拍摄质量评价方法，可以应用于如图1所示的应用环境中。其中，该应用环境可以包括终端102、网络以及服务端104，网络用于在终端102和服务端104之间提供通信链路介质，网络可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端102通过网络与服务端104交互，以接收或发送消息等。终端102上可以安装有各种通讯客户端应用，例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端102可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture Experts Group AudioLayer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts GroupAudio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。
服务端104可以是提供各种服务的服务器，例如对终端102上显示的页面提供支持的后台服务器。
需要说明的是，本申请实施例所提供的身份证图像拍摄质量评价方法一般由服务端/终端执行，相应地，身份证图像拍摄质量评价装置一般设置于服务端/终端设备中。
本申请可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本申请可应用于智慧城市领域中，尤其的，可以应用于智慧银行领域中，从而推动智慧城市的建设。
应该理解，图1中的终端、网络和服务端的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
其中，终端102通过网络与服务端104进行通信。服务端104接收用户从终端102上传的身份证的待检测图像进行定位，得到身份证图像，并从身份证图像中确认出身份证区域图像，然后裁剪得到人脸所在区域，作为头部区域图像输入到训练后的头像质量评价网络中，得到评价结果。其中，终端102和服务端104之间通过网络进行连接，该网络可以是有线网络或者无线网络，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务端104可以用独立的服务器或者是多个组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种身份证图像拍摄质量评价方法，以该方法应用于图1中的服务端为例进行说明，包括以下步骤：
步骤202，对待检测图像进行身份证区域定位，得到身份证图像，其中，待检测图像为用户拍摄的身份证照片，身份证图像为身份证区域外接矩形区域的图像。
本申请的技术方案可以应用于政府、银行、证券等需要对身份证中的人脸进行识别特殊场景，来获取用户拍摄的身份证图像中头像质量清晰度是否符合标准。其中，得到的身份证图像一般为身份证区域的最大外接矩形区域所对应的图像。
在一些实施例中，本申请可以通过无锚点的轻量级神经网络实现从待检测图像中定位出身份证，避免了繁琐的锚点的后处理时间，快速高效，而且召回率高，误检率低。
具体地，采用无锚点进行身份证区域定位前还需要对轻量级神经网络进行训练，即对定位网络进行训练：
获取样本图像，其中，样本图像为有标签的包括身份证的图像；对样本图像进行预处理，并根据待训练的定位网络得到预处理后的样本图像的身份证热度图、身份证尺度图以及身份证中心偏移量图；基于原身份证框策略、样本图像的身份证热度图、身份证尺度图以及身份证中心偏移量图对待训练的定位网络进行迭代，得到训练后的定位图像。
其中，样本图像是指标注好图像，其中包括身份证的左上坐标、右下坐标、中心点坐标等等有效数据。本实施例中的预处理是指对样本图像进行指数扩增，包括随机裁剪、随机颜色抖动、随机亮度抖动、随机饱和抖动以及随机对比度抖动中的一种或多种的组合，致力于得到尽可能多的不同的样本图像，并制造尽可能多的不同质量的样本图像，以丰富样本图像类型的多样性。
通过待训练的定位网络计算样本图像的身份证热度图、身份证尺度图以及身份证中心偏移量图。然后基于原身份证框策略分别计算预处理后的样本图像的身份证热度图、身份证尺度图以及身份证中心偏移量图的第一损失值；根据预设权重对第一损失值进行串接，得到第二损失值；基于第二损失值对待训练的定位网络进行迭代，直到待训练的定位网络参数收敛，得到训练后的定位网络。
其中，原身份证框策略包括原热度图、原尺度图以及原中心偏移量图。具体地，可以通过：定位样本图像上任意两点，分别作为身份证的左上坐标和右下坐标；根据左上坐标和右下坐标计算身份证中心点；基于左上坐标、右下坐标以及身份证中心点得到原热度图、原尺度图以及原中心偏移量图，这种方式来实现计算原身份证框策略。
其中，定位样本图像上的任意两点，分别作为身份证左上坐标和右下坐标，并根据左上坐标和右下坐标计算身份证中心点，根据身份证中心点得到原热度图。具体地：
令身份证上随机两点[x1,y1,x2,y2]为身份证框的左上和右下两个坐标，则可得身份证中心点为c＝[(x1+x2)/2,(y1+y2)/2]，然后根据身份证中心点生成身份证高斯热度图G∈[0,1]W/R×H/R，其中，W和H分别表示输入的样本图像的宽和高，R为高斯函数输出步长，那么生成原热度图的高斯函数可以表示为公式(1)：
其中，c表示身份证中心点坐标，σ是高斯函数的标准差，定义Gx,y＝1对应于身份证中心，而Gx,y＝0是身份证之外的背景。
进一步地，身份证尺度图是指身份证尺寸图，表示所述身份证图像大小的图像。具体地，生成身份证尺度图，即原尺度图的方式可以为：
根据[x1,y1,x2,y2]身份证的左上和右下两个点映射为身份证的宽和高，映射关系如下：
其中，w表示身份证框宽的log值，h表示身份证框高的log值，R为输出步长。
进一步地，生成身份证中心偏移量图，即，原中心偏移量图的公式(4)：
其中，ok为中心偏移量，xk、yk分别为身份证中心k的x、y坐标，n为输出步长。
得到原热度图、原尺度图以及原中心偏移量图后，结合定位网络计算得到的样本图像的身份证热度图、身份证尺度图以及身份证中心偏移量图计算样本图像的损失；本实施例中，身份证热度图的损失计算采用焦点损失(Focal Loss)，其计算方式如公式(5)：
其中，α和β是损失函数的超参数，分别取值为2和4，Yx,y表示原热度图上坐标(x,y)的真实值，
表示定位网络对应的预测值。其中，Focal loss主要是为了解决one-stage目标检测中正负样本比例严重失衡的问题。该损失函数降低了大量简单负样本在训练中所占的权重，也可理解为一种困难样本挖掘。
身份证尺度图和中心偏移量图的损失计算方式均采用smooth-L1,smooth-L1相当于是在小于1的部分使用2范数(更顺滑，且求导方便),在大于1的部分使用1范数(避免梯度爆炸，同时减少离群值的影响)，损失函数如下：
其中，Lw为身份证尺度图的宽的损失值，N为尺度图中点的数量，K为第K个点，
为定位网络宽的预测值，wk为原尺度图宽的真实值；Lh为身份证尺度图高的损失值，
为定位网络高的预测值，hk为原尺度图高的真实值；
其中，Loff为身份证中心偏移量图的损失值，SmoothL1_loss为回归损失函数，
为定位网络预测的中心偏移量，ok为原中心偏移量图的真实的中心偏移量。
得到三个第一损失值后，最终将三个第一损失值串联，串联得到的第二损失值的损失计算如公式(10)：
L＝Lc+λoffLoff+λwLw+λhLh (10)
其中，L为得到的第二损失值，λoff，λw，λh分别为身份证中心偏移量图的损失值、身份证尺度图的宽的损失值以及身份证尺度图高的损失值的权重值，其取值分别为1，0.5，0.5。
得到第二损失之后，对定位网络进行迭代训练。对定位网络进行迭代的学习率为5e^(-4)，本实施例重复迭代定位网络80-100次，将学习率降至5e^(-5)，再继续重复迭代若干次直至身份证区域定位网络的参数收敛。其中，学习率(Learning rate)作为监督学习以及深度学习中重要的超参，其决定着目标函数能否收敛到局部最小值以及何时收敛到最小值。合适的学习率能够使目标函数在合适的时间内收敛到局部最小值，得到训练后的定位网络。
进一步地，得到训练后的定位网络后，再将其应用到身份证区域定位中，具体地：
将待检测图像输入到训练后的定位网络中，得到身份证热度图、身份证尺度图以及身份证中心偏移量图；基于身份证热度图、身份证尺度图以及身份证中心偏移量图，得到身份证图像。
具体地，将身份证热度图中大于预设阈值的点作为身份证中的热度点；将在身份证中心偏移量图上与热度点对应的点作为身份证坐标偏移量；并与身份证热度图的对应点的坐标相加，得到最终的身份证的中心坐标；根据中心坐标、身份证框从待检测图像中裁剪得到身份证图像。
将在身份证中心偏移量图上与热度点对应的点作为身份证坐标偏移量是指，将身份证热度图中大于预设阈值0.3的点认为是身份证区域上的点，然后在身份证中心偏移量图上对应位置取出身份证坐标偏移量，与身份证热度图的坐标相加，得到最终身份证的中心位置，最后在身份证尺度图上经过指数换算计算出头部的宽高，得到身份证框。其中，身份证框是由身份证中心点和身份证的高和宽计算出来的，根据身份证框就可以从待检测图像中裁剪出身份证区域了，也就是ROI(感兴趣区域)。进一步地，对每一个图(热度图、尺度图或者中心偏移量图)进行检测时，都会检测到重复的区域，为了降低数据处理量，还可以在身份证尺度图上经过指数换算计算出头身份证的宽和高，结合身份证的中心坐标得到身份证框，得到的身份证框后处理非极大值抑制(NMS)剔除重复的身份证框，其中，NMS的阈值为0.3。
本实施例采用基于无锚点的轻量级神经网络实现身份证区域定位，避免了繁琐的锚点的后处理时间，快速高效，召回率高，误检率低。
步骤204，从身份证图像中裁剪出身份证区域所在的身份证区域图像。
因为用户拍摄时很难做到人脸的中轴线与待检测图像的中轴线没有任何夹角，所以为了得到完整的身份证区域所在图像，需要待检测图像中人脸的角度进行检测：检测身份证图像中的人脸旋转角，并根据人脸旋转角确定身份证图像的朝向；根据身份证框和朝向从身份证图像中裁剪出身份证区域所在的身份证区域图像，并根据人脸旋转角和身份证区域图像的中心点坐标对身份证区域图像进行角度矫正，得到角度矫正后的身份证区域图像。
在一些实施例中，可以采用渐进校准网络(PCN)检测身份证图像中的人脸，并从网络输出中获取相应的人脸旋转角以此来判断身份证图像的朝向。该检测方式可以实现对旋转360度的人脸进行检测，契合银行生产环境的各式各样的身份证人脸检测，在本事实例中，使用了3个渐进校准网络(PCN)来由粗到细的预测人脸角度值：
1)PCN-1进行人脸0度、-180度的2分类任务，将人脸从-180度至180度矫正为-90度至90度，PCN-1角度为θ1；
2)PCN-2进行人脸0度，90度，-90度的3分类任务，将人脸从-90度至90度矫正为-45度至45度，PCN-2角度θ2；
3)PCN-3直接进行人脸角度回归，得出旋转角度θ3。
最终人脸的旋转角roll＝θ1+θ2+θ3，同时算法返回人脸坐标。
然后，根据身份证框从身份证图像中裁出身份证区域，根据人脸旋转角roll和身份证区域的宽w和高h来对身份证区域做旋转。一般，银行生产环境的身份证图像的摆放位置，即人脸朝向，主要包括：正常：头像在右边；异常：上下颠倒、旋转90度以及旋转-90度，这四种情况。
进行角度矫正时，当w>h且roll>160,身份证区域图像旋转180度；当w≤h且75<roll<105，身份证区域图像顺时针旋转90度；当w≤h且-105<roll<-75，身份证区域图像逆时针旋转90度。
本实施例通过这种方式可以快速实现身份证人脸的角度矫正，提高头像拍摄质量的快速检测。
步骤206，裁剪身份证区域图像中人脸所在的第一区域，作为头部区域图像。
本实施例中的第一区域为身份证区域图像中的右半部分，因为身份证的头像在身份证的右边；具体地，截取旋转矫正后的身份证区域图像的右半部分作为头部区域图像。
但是，第一区域并不限定于身份证区域图像的右半部分。进一步地，可以根据识别的证件的不同对第一区域进行结合场景的限定，例如护照的头像在左半部分，则第一区域可以是护照的左半部分。
步骤208，将头部区域图像输入到训练后的头像质量评价网络中进行质量检测，得到评价结果。
如图3所示，在一些实施例中头像质量评价网络设计可以采用迁移学习技术，ResNet50(残差网络)去掉最一层，并接入自定义的全连接层PC Layer(输出为2个神经元)和softmax层。将得到的身份证的头部区域图像输入到头像质量评价网络中进行质量评价，得到模糊或清晰的结果；其中，在将头部区域图像输入之前，还需要对头像质量评价网络进行训练，具体包括：
将头部区域图像进行预处理，输入训练后的头像质量评价网络中，其中，预处理包括数据扩增和输出归一化处理，数据扩增包括随机裁剪和补边、随机颜色抖动。然后将预处理后的头部区域图像输入到待训练的头像质量评价网络中，得到二维的输出(清晰/模糊，清晰/模糊的概率)后与真实的分类(0或1)标签计算交叉熵损失，公式(11)如下：
其中，然后y为样本图像实际质量，y为预测出的质量，N为样本图像的数量，i为第i个样本图像。在本实施例中，可以通过训练优化器对网络训练进行辅助，重复迭代若干次，优选地，重复迭代25次直至头像质量评价网络的参数收敛，损失降至最小。
训练好头像质量评价网络后，将头部区域图像输入进去，网络会提取包含了头像模糊、头像光斑引起的模糊、头像过暗等指标来判断头部区域图像时清晰还是模糊。这是因为本实施例基于深度学习，只做了二分类，正常与模糊(光斑)，没有细分，这个也是根据生产环境来定的。而清晰度、对比度的等指标太过严格，不适用于生产环境，会误拒很多清晰度高的身份证图像，所以本实施例以头像模糊、光斑引起的模糊、头像过暗等指标进行清晰度评价得到的评价结果准确率相较于传统技术大大提高，输出一个二维矩阵，用于表示头部图像清晰或者模糊，以及其对应的概率。在一些实施例中，得到一个头像质量评价结果后，银行、证券或者政务系统就可以据此做出拒绝接受用户上传的图像或者拒绝的判断。
需要强调的是，为进一步保证上述用户信息的私密和安全性，上述待检测图像信息还可以存储于一区块链的节点中。
上述身份证图像拍摄质量评价方法中，通过基于2D图像的身份证头像质量检测网络对用户拍摄的身份证头部区域图像进行区域质量检测，不仅剔除了身份证其他部分给质量检测带来的噪音影响，降低了不利因素对区域图像质量评估的产生的干扰，降低了神经网络误判的概率，还可以实现快速准确定位出身份证并对身份证进行校正，然后对头像区域进行质量评价，输出其质量评价结果的目的，大大提高了银行、证券或者政务平台对图像处理的效率，解决了现有技术中身份证拍摄环境不一，复杂多变，随机噪声等不利因素极容易导致头像质量评价误判，鲁棒性不好的技术问题。
应该理解的是，虽然图2的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图4所示，提供了一种身份证图像拍摄质量评价装置，该身份证图像拍摄质量评价装置与上述实施例中身份证图像拍摄质量评价方法一一对应。该身份证图像拍摄质量评价装置包括：
定位模块402，用于对待检测图像进行身份证区域定位，得到身份证图像，其中，待检测图像为用户拍摄的身份证照片，身份证图像为身份证区域外接矩形区域的图像；
裁剪模块404，用于从身份证图像中裁剪出身份证区域所在的身份证区域图像；并
头部模块406，用于裁剪身份证区域图像中人脸所在的第一区域，作为头部区域图像；
质检模块408，用于将头部区域图像输入到训练后的头像质量评价网络中进行质量检测，得到评价结果。
进一步地，定位模块402，包括：
图形子模块，用于将待检测图像输入到训练后的定位网络中，得到身份证热度图、身份证尺度图以及身份证中心偏移量图；
定位子模块，用于基于身份证热度图、身份证尺度图以及身份证中心偏移量图，得到身份证图像。
进一步地，定位子模块，包括：
热度单元，用于将身份证热度图中大于预设阈值的点作为身份证中的热度点；
偏移单元，用于将在身份证中心偏移量图上与热度点对应的点作为身份证坐标偏移量；并
叠加单元，用于与身份证热度图的对应点的坐标相加，得到最终的身份证的中心坐标；
裁剪单元，用于根据中心坐标、身份证框从待检测图像中裁剪得到身份证图像。
进一步地，在图形子模块之前，还包括：
样本子模块，用于获取样本图像，其中，样本图像为有标签的包括身份证的图像；
预处理子模块，用于对样本图像进行预处理，并根据待训练的定位网络得到预处理后的样本图像的身份证热度图、身份证尺度图以及身份证中心偏移量图；
迭代子模块，用于基于原身份证框策略、样本图像的身份证热度图、身份证尺度图以及身份证中心偏移量图对待训练的定位网络进行迭代，得到训练后的定位图像。
进一步地，迭代子模块，包括：
第一损失单元，用于基于原身份证框策略分别计算预处理后的样本图像的身份证热度图、身份证尺度图以及身份证中心偏移量图的第一损失值；
第二损失单元，用于根据预设权重对第一损失值进行串接，得到第二损失值；
迭代单元，用于基于第二损失值对待训练的定位网络进行迭代，直到待训练的定位网络参数收敛，得到训练后的定位网络。
进一步地，原身份证框策略包括原热度图、原尺度图以及原中心偏移量图，在第一损失单元之前,还包括：
定位单元，用于定位样本图像上任意两点，分别作为身份证的左上坐标和右下坐标；
中心单元，用于根据左上坐标和右下坐标计算身份证中心点；
原图单元，用于基于左上坐标、右下坐标以及身份证中心点得到原热度图、原尺度图以及原中心偏移量图。
进一步地，裁剪模块，包括：
朝向子模块，用于检测身份证图像中的人脸旋转角，并根据人脸旋转角确定身份证图像的朝向；
矫正子模块，用于根据身份证框和朝向从身份证图像中裁剪出身份证区域所在的身份证区域图像，并根据人脸旋转角和身份证区域图像的中心点坐标对身份证区域图像进行角度矫正，得到角度矫正后的身份证区域图像。
进一步地，朝向子模块，包括：
人脸检测单元，用于基于渐进校准网络检测身份证图像中的人脸；
回归单元，用于通过渐进校准网络预测人脸的角度值，并对角度值进行角度回归得到人脸旋转角；并
朝向单元，用于根据人脸旋转角确定身份证图像的朝向。
需要强调的是，为进一步保证上述用户信息的私密和安全性，上述待检测图像信息还可以存储于一区块链的节点中。
上述身份证图像拍摄质量评价装置，通过基于2D图像的身份证头像质量检测网络对用户拍摄的身份证头部区域图像进行区域质量检测，不仅剔除了身份证其他部分给质量检测带来的噪音影响，降低了不利因素对区域图像质量评估的产生的干扰，降低了神经网络误判的概率，还可以实现快速准确定位出身份证并对身份证进行校正，然后对头像区域进行质量评价，输出其质量评价结果的目的，大大提高了银行、证券或者政务平台对图像处理的效率，解决了现有技术中身份证拍摄环境不一，复杂多变，随机噪声等不利因素极容易导致头像质量评价误判，鲁棒性不好的技术问题。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机可读指令和数据库。该内存储器为非易失性存储介质中的操作系统和计算机可读指令的运行提供环境。该计算机设备的数据库用于存储待检测图像。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机可读指令被处理器执行时以实现一种身份证图像拍摄质量评价方法。
本实施例通过基于2D图像的身份证头像质量检测网络对用户拍摄的身份证头部区域图像进行区域质量检测，不仅剔除了身份证其他部分给质量检测带来的噪音影响，降低了不利因素对区域图像质量评估的产生的干扰，降低了神经网络误判的概率，还可以实现快速准确定位出身份证并对身份证进行校正，然后对头像区域进行质量评价，输出其质量评价结果的目的，大大提高了银行、证券或者政务平台对图像处理的效率，解决了现有技术中身份证拍摄环境不一，复杂多变，随机噪声等不利因素极容易导致头像质量评价误判，鲁棒性不好的技术问题。
其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable Gate Array，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机可读指令，计算机可读指令被处理器执行时实现上述实施例中身份证图像拍摄质量评价方法的步骤，例如图2所示的步骤202至步骤208，或者，处理器执行计算机可读指令时实现上述实施例中身份证图像拍摄质量评价装置的各模块/单元的功能，例如图4所示模块402至模块408的功能。
本实施例通过基于2D图像的身份证头像质量检测网络对用户拍摄的身份证头部区域图像进行区域质量检测，不仅剔除了身份证其他部分给质量检测带来的噪音影响，降低了不利因素对区域图像质量评估的产生的干扰，降低了神经网络误判的概率，还可以实现快速准确定位出身份证并对身份证进行校正，然后对头像区域进行质量评价，输出其质量评价结果的目的，大大提高了银行、证券或者政务平台对图像处理的效率，解决了现有技术中身份证拍摄环境不一，复杂多变，随机噪声等不利因素极容易导致头像质量评价误判，鲁棒性不好的技术问题。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机可读指令来指令相关的硬件来完成，所述的计算机可读指令可存储于一非易失性计算机可读取存储介质中，该计算机可读指令在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形、改进或者对部分技术特征进行等同替换，而这些修改或者替换，并不使相同技术方案的本质脱离本发明个实施例技术方案地精神和范畴，都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种身份证图像拍摄质量评价方法，其特征在于，所述方法包括：
对待检测图像进行身份证区域定位，得到身份证图像，其中，所述待检测图像为用户拍摄的身份证照片，所述身份证图像为身份证区域外接矩形区域的图像；
从所述身份证图像中裁剪出身份证区域所在的身份证区域图像；并
裁剪所述身份证区域图像中人脸所在的第一区域，作为头部区域图像；
将所述头部区域图像输入到训练后的头像质量评价网络中进行质量检测，得到评价结果。
2.根据权利要求1所述的方法，其特征在于，所述对待检测图像进行身份证区域定位，得到身份证图像，包括：
将所述待检测图像输入到训练后的定位网络中，得到身份证热度图、身份证尺度图以及身份证中心偏移量图；
基于所述身份证热度图、所述身份证尺度图以及所述身份证中心偏移量图，得到所述身份证图像。
3.根据权利要求2所述的方法，其特征在于，所述基于所述身份证热度图、所述身份证尺度图以及所述身份证中心偏移量图，得到所述身份证图像，包括：
将所述身份证热度图中大于预设阈值的点作为身份证中的热度点；
将在身份证中心偏移量图上与所述热度点对应的点作为身份证坐标偏移量；并
与所述身份证热度图的对应点的坐标相加，得到最终的所述身份证的中心坐标；
根据所述中心坐标、所述身份证框从所述待检测图像中裁剪得到所述身份证图像。
4.根据权利要求2所述的方法，其特征在于，在所述将所述待检测图像输入到训练后的定位网络中之前，还包括：
获取样本图像，其中，所述样本图像为有标签的包括身份证的图像；
对所述样本图像进行预处理，并根据待训练的定位网络得到预处理后的样本图像的身份证热度图、身份证尺度图以及身份证中心偏移量图；
基于原身份证框策略、所述样本图像的身份证热度图、身份证尺度图以及身份证中心偏移量图对所述待训练的定位网络进行迭代，得到训练后的定位图像。
5.根据权利要求4所述的方法，其特征在于，所述基于原身份证框策略、所述样本图像的身份证热度图、身份证尺度图以及身份证中心偏移量图对所述待训练的定位网络进行迭代，得到训练后的定位图像，包括：
基于所述原身份证框策略分别计算预处理后的样本图像的身份证热度图、身份证尺度图以及身份证中心偏移量图的第一损失值；
根据预设权重对所述第一损失值进行串接，得到第二损失值；
基于所述第二损失值对待训练的定位网络进行迭代，直到待训练的定位网络参数收敛，得到训练后的定位网络。
6.根据权利要求5所述的方法，其特征在于，所述原身份证框策略包括原热度图、原尺度图以及原中心偏移量图，在所述基于所述原身份证框策略分别计算预处理后的样本图像的身份证热度图、身份证尺度图以及身份证中心偏移量图的第一损失值之前,还包括：
定位所述样本图像上任意两点，分别作为身份证的左上坐标和右下坐标；
根据所述左上坐标和所述右下坐标计算身份证中心点；
基于所述左上坐标、所述右下坐标以及所述身份证中心点得到所述原热度图、所述原尺度图以及所述原中心偏移量图。
7.根据权利要求1所述的方法，其特征在于，所述从所述身份证图像中裁剪出身份证区域所在的身份证区域图像，包括：
检测所述身份证图像中的人脸旋转角，并根据所述人脸旋转角确定所述身份证图像的朝向；
根据身份证框和所述朝向从所述身份证图像中裁剪出所述身份证区域所在的身份证区域图像，并根据所述人脸旋转角和所述身份证区域图像的中心点坐标对所述身份证区域图像进行角度矫正，得到角度矫正后的身份证区域图像。
8.根据权利要求6所述的方法，其特征在于，所述检测所述身份证图像中的人脸旋转角，并根据所述人脸旋转角确定所述身份证图像的朝向，包括：
基于渐进校准网络检测所述身份证图像中的人脸；
通过渐进校准网络预测人脸的角度值，并对所述角度值进行角度回归得到人脸旋转角；并
根据所述人脸旋转角确定所述身份证图像的朝向。
9.一种身份证图像拍摄质量评价装置，其特征在于，包括：
定位模块，用于对待检测图像进行身份证区域定位，得到身份证图像，其中，所述待检测图像为用户拍摄的身份证照片，所述身份证图像为身份证区域外接矩形区域的图像；
裁剪模块，用于从所述身份证图像中裁剪出身份证区域所在的身份证区域图像；并
头部模块，用于裁剪所述身份证区域图像中人脸所在的第一区域，作为头部区域图像；
质检模块，用于将所述头部区域图像输入到训练后的头像质量评价网络中进行质量检测，得到评价结果。
10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机可读指令，其特征在于，所述处理器执行所述计算机可读指令时实现权利要求1至8中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011540515.2A CN112686847B (zh) | 2020-12-23 | 2020-12-23 | 身份证图像拍摄质量评价方法、装置、计算机设备和介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011540515.2A CN112686847B (zh) | 2020-12-23 | 2020-12-23 | 身份证图像拍摄质量评价方法、装置、计算机设备和介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112686847A true CN112686847A (zh) | 2021-04-20 |
| CN112686847B CN112686847B (zh) | 2024-05-14 |
Family
ID=75451243
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011540515.2A Active CN112686847B (zh) | 2020-12-23 | 2020-12-23 | 身份证图像拍摄质量评价方法、装置、计算机设备和介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112686847B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113436079A (zh) * | 2021-06-23 | 2021-09-24 | 平安科技（深圳）有限公司 | 证件图像检测方法和装置、电子设备、存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105744256A (zh) * | 2016-03-31 | 2016-07-06 | 天津大学 | 基于图谱视觉显著的立体图像质量客观评价方法 |
| CN107590807A (zh) * | 2017-09-29 | 2018-01-16 | 百度在线网络技术（北京）有限公司 | 用于检测图像质量的方法和装置 |
| CN108389189A (zh) * | 2018-02-08 | 2018-08-10 | 天津大学 | 基于字典学习的立体图像质量评价方法 |
| CN109360178A (zh) * | 2018-10-17 | 2019-02-19 | 天津大学 | 基于融合图像的无参考立体图像质量评价方法 |
| WO2019037346A1 (zh) * | 2017-08-25 | 2019-02-28 | 广州视源电子科技股份有限公司 | 优化人脸图片质量评价模型的方法及装置 |
| CN111507957A (zh) * | 2020-04-15 | 2020-08-07 | 深圳前海环融联易信息科技服务有限公司 | 身份证图片转换方法、装置、计算机设备及存储介质 |
| CN111784658A (zh) * | 2020-06-29 | 2020-10-16 | 厦门市美亚柏科信息股份有限公司 | 一种用于人脸图像的质量分析方法和系统 |
-
2020
- 2020-12-23 CN CN202011540515.2A patent/CN112686847B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105744256A (zh) * | 2016-03-31 | 2016-07-06 | 天津大学 | 基于图谱视觉显著的立体图像质量客观评价方法 |
| WO2019037346A1 (zh) * | 2017-08-25 | 2019-02-28 | 广州视源电子科技股份有限公司 | 优化人脸图片质量评价模型的方法及装置 |
| CN107590807A (zh) * | 2017-09-29 | 2018-01-16 | 百度在线网络技术（北京）有限公司 | 用于检测图像质量的方法和装置 |
| CN108389189A (zh) * | 2018-02-08 | 2018-08-10 | 天津大学 | 基于字典学习的立体图像质量评价方法 |
| CN109360178A (zh) * | 2018-10-17 | 2019-02-19 | 天津大学 | 基于融合图像的无参考立体图像质量评价方法 |
| CN111507957A (zh) * | 2020-04-15 | 2020-08-07 | 深圳前海环融联易信息科技服务有限公司 | 身份证图片转换方法、装置、计算机设备及存储介质 |
| CN111784658A (zh) * | 2020-06-29 | 2020-10-16 | 厦门市美亚柏科信息股份有限公司 | 一种用于人脸图像的质量分析方法和系统 |
Non-Patent Citations (1)
| Title |
|---|
| 李苋兰;张顶;黄?;: "基于BP-AdaBoost神经网络的多参数掌静脉图像质量评价法", 计算机系统应用, no. 03, pages 24 - 32 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113436079A (zh) * | 2021-06-23 | 2021-09-24 | 平安科技（深圳）有限公司 | 证件图像检测方法和装置、电子设备、存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112686847B (zh) | 2024-05-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2022161286A1 (zh) | 图像检测方法、模型训练方法、设备、介质及程序产品 | |
| WO2022126970A1 (zh) | 金融欺诈风险识别方法、装置、计算机设备及存储介质 | |
| CN111784528B (zh) | 异常社群检测方法、装置、计算机设备及存储介质 | |
| CN109829506B (zh) | 图像处理方法、装置、电子设备和计算机存储介质 | |
| CN110569721A (zh) | 识别模型训练方法、图像识别方法、装置、设备及介质 | |
| US20210004587A1 (en) | Image detection method, apparatus, device and storage medium | |
| CN112926654B (zh) | 预标注模型训练、证件预标注方法、装置、设备及介质 | |
| CN110516541B (zh) | 文本定位方法、装置、计算机可读存储介质和计算机设备 | |
| CN109815770A (zh) | 二维码检测方法、装置及系统 | |
| WO2020143316A1 (zh) | 证件图像提取方法及终端设备 | |
| CN111680675B (zh) | 人脸活体检测方法、系统、装置、计算机设备和存储介质 | |
| CN110738222B (zh) | 图像匹配方法、装置、计算机设备和存储介质 | |
| CN112330331A (zh) | 基于人脸识别的身份验证方法、装置、设备及存储介质 | |
| CN113673519A (zh) | 基于文字检测模型的文字识别方法及其相关设备 | |
| CN111652245B (zh) | 车辆轮廓检测方法、装置、计算机设备及存储介质 | |
| CN113111880A (zh) | 证件图像校正方法、装置、电子设备及存储介质 | |
| CN117765363A (zh) | 一种基于轻量型记忆库的图像异常检测方法及系统 | |
| CN114282258A (zh) | 截屏数据脱敏方法、装置、计算机设备及存储介质 | |
| CN112686847A (zh) | 身份证图像拍摄质量评价方法、装置、计算机设备和介质 | |
| CN114332883A (zh) | 发票信息识别方法、装置、计算机设备及存储介质 | |
| CN114049646A (zh) | 一种银行卡识别方法、装置、计算机设备及存储介质 | |
| CN113674152A (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
| CN112651399A (zh) | 检测倾斜图像中同行文字的方法及其相关设备 | |
| CN112163110A (zh) | 图像分类方法、装置、电子设备和计算机可读存储介质 | |
| CN118050087A (zh) | 一种设备测温方法及其相关设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |