CN116168407A - 一种身份证影像质量检验方法及系统 - Google Patents

一种身份证影像质量检验方法及系统 Download PDF

Info

Publication number
CN116168407A
CN116168407A CN202211548731.0A CN202211548731A CN116168407A CN 116168407 A CN116168407 A CN 116168407A CN 202211548731 A CN202211548731 A CN 202211548731A CN 116168407 A CN116168407 A CN 116168407A
Authority
CN
China
Prior art keywords
identity card
image
angle
fine adjustment
identity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211548731.0A
Other languages
English (en)
Inventor
季鹏
郭晓璐
曾琪淇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Citic Bank Corp Ltd
Original Assignee
China Citic Bank Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Citic Bank Corp Ltd filed Critical China Citic Bank Corp Ltd
Priority to CN202211548731.0A priority Critical patent/CN116168407A/zh
Publication of CN116168407A publication Critical patent/CN116168407A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • G06V30/42Document-oriented image-based pattern recognition based on the type of document
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/146Aligning or centring of the image pick-up or image-field
    • G06V30/1463Orientation detection or correction, e.g. rotation of multiples of 90 degrees
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/148Segmentation of character regions
    • G06V30/153Segmentation of character regions using recognition of characters or words
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/18Extraction of features or characteristics of the image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/19Recognition using electronic means
    • G06V30/19007Matching; Proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/19Recognition using electronic means
    • G06V30/191Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173Classification techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明涉及一种身份证影像质量检验方法及系统,对身份证正面图像以及身份证反面图像进行标准化处理;通过证件分类模型识别;通过角度粗分类模型进行角度粗矫正;对角度粗矫正后的图像进行角度微调;对角度微调后的图像进行文本信息检验;文本信息检验通过后进行一致性检验,判断身份证正面图像与身份证反面图像是否源于同一证件;输出文本信息检验以及一致性检验的结果。通过图像和文字层面的要素提取功能,并对证件影像所有关键要素逐一进行有效性核验;不仅能够用于实时核验,还能用于历史存量数据的大规模排查;实现了正反面影像一致性的排查,对于不是同一证件的正、反面影像,给出影像无效提示。

Description

一种身份证影像质量检验方法及系统
技术领域
本发明涉及风险控制和合规审查技术领域,尤其涉及一种身份证影像质量检验方法及系统。
背景技术
随着信息化电子化的普及,和监管力度的不断加强,大多数金融业务的办理需要上传、更新以及长期留存身份证件的影像文件。无效的影像文件包括:1、由于外部污渍、贴纸等造成的证件信息被遮挡;2、由于身份证件在拍摄、录入时造成的信息缺失,比如拍摄的证件模糊、不完整,录入设备故障导致影像花屏、未保存等;3、人为造假,故意使用伪造的证件影像,比如证件正反面不属于同一人;4、证件超出有效期;5、人证身份不一致等。
现有的身份证件有效性核验技术方案主要分为两类,一类是审核用户证件与身份一致性;第二类是对证件影像质量进行评价,包括证件中包含的文字信息以及头像清晰度。
在金融领域对用户身份证件信息的提取和校验环节当中,现有技术在一些特殊情况下会不适配或者出现校验要素不完整的情况,从而导致无法使用,或者漏检有问题、低质量影像。比如,基于硬件的身份证验证系统需要身份证读卡器读取内置芯片信息。然而当用户在移动端上传身份证影像时,极少配备读卡装置,导致该方法难以推广。
软件方案能够适配更多场景,但是该方案目前更关注用户身份与证件影像的一致性校验而非影像的有效性检验。一致性校验主要用于审核该证件是否属于用户本人,当用户个人身份信息与证件主要信息一致时即通过。所以现有技术侧重于抽取证件影像中的关键信息,包括头像、姓名、身份证号。而对于一些未被抽取的信息则存在缺失的可能性,另外,身份证影像是正反两面的,所以两张图像有可能来源于不同证件,这些问题在一致性校验中则无法解决。
发明内容
为解决现有技术的不足,本发明提出一种身份证影像质量检验方法及系统,通过人脸检测、模式匹配以及OCR识别等技术,对客户留存的身份证影像进行图像质量以及信息要素完整度的检查,从而提高后台人工审核的效率。
为实现以上目的,本发明所采用的技术方案包括:
一种身份证影像质量检验方法及系统,其特征在于,包括:
S1、输入身份证正面图像以及身份证反面图像;
S2、对身份证正面图像以及身份证反面图像进行标准化处理;
S3、通过证件分类模型识别出图像为身份证正面图像或身份证反面图像;
S4、将识别后的身份证正面图像与识别后身份证反面图像通过角度粗分类模型进行角度粗矫正,纠正拍摄方向导致的90、180以及270度旋转,得到角度粗矫正后的身份证正面图像与角度粗矫正后的身份证反面图像;
S5、对角度粗矫正后的身份证正面图像通过人脸特征点检测算法进行人脸特征检测,识别关键特征点,基于关键特征点对角度粗矫正后的身份证正面图像通过角度微调模型进行角度微调,得到角度微调后的身份证正面图像;
S6、对角度粗矫正后的身份证反面图像通过SIFT特征算子匹配算法对国徽区域进行特征检测、特征匹配以及角度微调,得到角度微调后的身份证反面图像;
S7、对角度微调后的身份证正面图像及角度微调后的身份证反面图像进行文本信息检验;
S8、对角度微调后的身份证正面图像及角度微调后的身份证反面图像进行一致性检验,判断角度微调后的身份证正面图像及角度微调后的身份证反面图像是否源于同一证件;
S9、输出文本信息检验以及一致性检验的结果。
进一步地,所述关键特征点包括左眉毛、右眉毛、左眼睛、右眼睛、鼻子、嘴巴以及脸部轮廓。
进一步地,所述S5包括分步骤:
S51、判断关键特征点是否完整;
S52、若关键特征点不完整,则输出关键特征点不完整并结束执行;
S53、若关键特征点完整,则基于左右眼睛特征点对角度粗矫正后的身份证正面图像通过角度微调模型进行角度微调,得到角度微调后的身份证正面图像。
进一步地,所述S6包括分步骤:
S61、通过SIFT算法对标准身份证反面图像的国徽区域进行关键点提取,获得关键点特征算子;
S62、将关键点特征算子与角度粗矫正后的身份证反面图像进行关键点匹配;
S63、通过比率测试过滤异常匹配点,得到关键点匹配列表;
S64、判断关键点匹配列表的点对数量是否达到第一预设阈值;
S65、若关键点匹配列表的点对数量未达到预设阈值,则国徽区域未成功匹配;
S66、若关键点匹配列表的点对数量达到预设阈值,则根据匹配点对的映射关系,计算角度粗矫正后的身份证反面图像与标准身份证反面图像的单应矩阵;
S67、基于单应矩阵通过透视变换将角度粗矫正后的身份证反面图像与标准身份证反面图像对齐,对角度粗矫正后的身份证反面图像进行角度微调,得到角度微调后的身份证反面图像。
进一步地,所述S7包括分步骤:
S71、对角度微调后的身份证正面图像进行光学字符识别,通过模版匹配方法提取身份证正面关键信息;
S72、对角度微调后的身份证反面图像进行光学字符识别,通过模版匹配方法提取身份证反面关键信息;
S73、若存在预存的用户身份信息,则将预存的用户身份信息与身份证正面关键信息及身份证反面关键信息进行核验;
S74、若预存的用户身份信息与身份证正面关键信息及身份证反面关键信息全部一致,则身份证正面关键信息及身份证反面关键信息检验通过;
S75、若预存的用户身份信息与身份证正面关键信息及身份证反面关键信息存在不一致,则身份证正面关键信息及身份证反面关键信息检验不通过;
S76、若不存在预存的用户身份信息,则通过证件自身文本信息校验方法对身份证正面关键信息及身份证反面关键信息进行核验。
进一步地,所述身份证正面关键信息包括:姓名、民族、性别、出生日期、住址以及身份证号;所述身份证反面关键信息包括:签发机关和有效日期。
进一步地,所述S8包括分步骤:
S81、检验身份证正面关键信息的住址与身份证反面关键信息的签发机关是否一致;
S82、通过神经网络构建风格相似度辨别模型对身份证正面图像与身份证反面图像的风格一致性进行检验。
进一步地,所述S82包括分步骤:
S821、输入角度微调后的身份证正面图像及角度微调后的身份证反面图像;
S822、通过两个VGG19模型分别对角度微调后的身份证正面图像及角度微调后的身份证反面图像进行风格特征抽取,所述VGG19模型中有5个卷积层;
S823、通过每个卷积块的第一层卷积张量A计算风格矩阵,得到正面风格矩阵以及反面风格矩阵;
S824、将正面风格矩阵与反面风格矩阵进行点对点的差值运算,得到每个卷积层特征图的风格差异矩阵;
S825、将每个卷积层特征图的风格差异矩阵作为全连接层的输入,输出每个卷积层的差异得分;
S826、将个卷积层的差异得分综合计算,得到角度微调后的身份证正面图像及角度微调后的身份证反面图像的最终风格相似度值;
S827、若最终风格相似度值大于第二预设阈值时,则角度微调后的身份证正面图像及角度微调后的身份证反面图像来源于同一证件。
本发明还涉及一种身份证影像质量检验系统,其特征在于,包括:
输入模块,用于输入身份证正面图像以及身份证反面图像;
标准化处理模块,用于对身份证正面图像以及身份证反面图像进行标准化处理;
分类识别模块,用于通过证件分类模型识别出图像为身份证正面图像或身份证反面图像;
角度粗矫正模块,用于将识别后的身份证正面图像与识别后身份证反面图像通过角度粗分类模型进行角度粗矫正,纠正拍摄方向导致的90、180以及270度旋转,得到角度粗矫正后的身份证正面图像与角度粗矫正后的身份证反面图像;
角度微调模块,用于对角度粗矫正后的身份证正面图像通过人脸特征点检测算法进行人脸特征检测,识别关键特征点,基于关键特征点对角度粗矫正后的身份证正面图像通过角度微调模型进行角度微调,得到角度微调后的身份证正面图像;
用于对角度粗矫正后的身份证反面图像通过SIFT特征算子匹配算法对国徽区域进行特征检测、特征匹配以及角度微调,得到角度微调后的身份证反面图像;
文本信息检验模块,用于对角度微调后的身份证正面图像及角度微调后的身份证反面图像进行文本信息检验;
同一证件检验模块,用于对角度微调后的身份证正面图像及角度微调后的身份证反面图像进行一致性检验,判断角度微调后的身份证正面图像及角度微调后的身份证反面图像是否源于同一证件;
输出模块,用于输出文本信息检验以及一致性检验的结果。
本发明还涉及一种计算机可读存储介质,其特征在于,所述存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现上述的身份证影像质量检验方法。
本发明还涉及一种电子设备,其特征在于,包括处理器和存储器;
所述存储器,用于存储证件分类模型、角度粗分类模型以及角度微调模型;
所述处理器,用于通过调用证件分类模型、角度粗分类模型以及角度微调模型,执行上述的身份证影像质量检验方法。
本发明还涉及一种计算机程序产品,包括计算机程序和/或指令,其特征在于,该计算机程序和/或指令被处理器执行时实现上述身份证影像质量检验方法的步骤。
本发明的有益效果为:
采用本发明所述一种身份证影像质量检验方法及系统,可判断用户上传和留存的身份影像是否符合监管和风控要求,帮助解决目前金融系统中个人身份证件类数据高度机密,难以大规模人工排查以及人工排查效率低的问题,并从源头杜绝造假影像和无效影像的上传。该发明能弥补身份影像有效性核验领域的空白。本发明所述方法及系统不仅能够用于实时核验,还能用于历史存量数据的大规模排查。
附图说明
图1为本发明一种身份证影像质量检验方法流程示意图。
图2为本发明神经网络构建风格相似度辨别模型风格一致性检验方法流程示意图。
图3为本发明一种身份证影像质量检验方法第一实施例流程示意图。
图4为本发明一种身份证影像质量检验方法第二实施例流程示意图。
图5为本发明一种身份证影像质量检验系统结构示意图。
具体实施方式
为了更清楚的理解本发明的内容,将结合附图和实施例详细说明。
本方法的输入数据就是原始的图像列表,依次将其读入为RGB像素矩阵。首先对图像矩阵进行标准化处理,利用训练好的分类模型筛选出身份证件影像的正反面。然后用角度矫正模块对正反面影像进行角度矫正。角度粗矫正相当于图像预处理,用于纠正拍摄方向导致的90、180、270度旋转,调整后的图像特征检测准确率更高。粗矫正之后分别对身份证正反面进行角度微调。对身份证正面,进行人脸特征检测,识别关键特征点包括左右眉毛、左右眼睛、鼻子、嘴巴以及脸部轮廓,判断脸部特征完整性,缺失任一关键特征则认为人脸区域检测不通过。人脸特征检测完整时,用左右外眼角特征点进行角度微调。对身份证反面,用SIFT特征算子匹配国徽,并计算出用于透视变换的单应矩阵。若无法匹配到国徽区域,则认为反面图像特征检测不通过。
验证完图像特征完整性,并将图像角度调整为水平之后。用OCR识别正反面文字信息,并用模版匹配结合正则表达式的方式将各字段信息结构化。随后,将结构化信息送入身份信息校验以及一致性校验模块。文本信息需要校验姓名、民族、身份证号、出生日期、性别、有效期六个字段,任一字段校验不通过则需视为无效。一致性校验模块除了需要对结构化信息中正反面的地址进行校验外,本发明还提出了风格一致性校验,用于判断两张影像是否源于同一证件。所有校验都通过时,该证件影像有效,若被判为无效,则输出校验不通过原因,告知审核人员复核。
本发明第一方面涉及一种身份证影像质量检验方法步骤流程如图1所示的方法,包括:
图像标准化:
用于模型计算前对输入图像的预处理,对图像像素矩阵RGB三个通道分别做标准化:
Figure BDA0003981234230000071
Figure BDA0003981234230000072
Figure BDA0003981234230000073
Pr代表R通道的像素矩阵,
Figure BDA0003981234230000074
代表R通道像素值(除以255)的均值,σr代表R通道像素值(除以255)的标准差,经过实践验证,图像标准化之后可以有效提高模型准确率,降低训练时间。
影像分类:
对输入的影像文件进行标准化,利用训练好的证件分类模型进行推理,筛选出本发明需要审核的类别:身份证正面影像和反面影像,并将这两张影像及对应类别传输给下一模块。若检测到类别不全,如缺失正面、反面影像,则返回该批次文件身份证件影像无效。
角度矫正:
将分类后的标准化身份证件影像送入该模块,进行角度粗矫正。一般而言,手机拍摄或者仪器录入的证件类型影像角度通常是0°、90°、180°和270°。因此训练一个角度粗分类模型,用于推理当前影像的旋转角度,按照预测角度反向旋转矫正非0°图像。
图像特征检测:
对身份证正反面做不同处理。对于正面影像,通过人脸特征点检测算法,将身份证上的人脸区域识别出来,关键特征点包括眉毛(左右)、眼睛(左右)、鼻子、嘴巴以及脸部轮廓。首先判断这些关键特征点是否完备,如果发现有关键点位缺失,则该区域有可能被遮盖或者被污损,人脸特征不具备有效性。关键点位完备时,利用左右外眼角特征点对身份证影像进行角度微调。角度计算方法如下:
Δh=KPright,h-KPleft,h
Figure BDA0003981234230000081
Figure BDA0003981234230000082
其中(KPright,w,KPright,h)为右外眼角的坐标,(KPleft,w,KPleft,h)为左外眼角的坐标,d为计算的旋转角度。当d大于0时,说明证件影像向左略微倾斜,需要将其向右旋转d度;当d小于0时,将其向左旋转-d度。至此,经过角度粗调和微调,得到校正后的正面影像。
对于反面影像,采用SIFT特征算子匹配的方式对国徽区域进行检测、匹配和角度微调。首先,用SIFT算法对标准身份证影像(身份证反面标准样式,无角度、光照、遮盖等任何因素影响)国徽区域进行关键点提取,获得关键点特征算子。然后,将该算子与需要检测国徽的反面身份证影像进行关键点匹配。由于关键点匹配会产生异常匹配点,所以本发明用比率测试去过滤异常匹配点。方法如下:
(1)对每一个标准关键点kp,用KNN在待检测图像中匹配到与其距离最近的关键点m1及次接近点m2,它们与标准关键点特征距离分别为m1.dis和m2.dis;
(2)设置比率阈值r(r通常大于0.5小于0.85),当m1.dis<m2.dis*r时,认为该匹配关键点m1为有效;
(3)将(kp,m1)匹配点对加入匹配列表。
得到关键点匹配列表后,根据匹配点对的映射关系,计算得到待检测图像与标准图像的单应矩阵。单应矩阵可以通过透视变换将待检测图像与标准样式对齐,从而实现反面影像的角度微调。如果匹配列表中的点对数量不足(本发明中阈值为5),则认为未成功匹配到国徽区域,该反面影像无效。
当正面人脸以及反面国徽检测都校验通过后,正反面影像的角度微调也相应完成了,有利于提高OCR识别和文本信息提取的准确率。
文字识别与信息结构化:
对身份证正面和反面进行OCR(光学字符识别),并用模版匹配的方式提取其中关键信息。正面影像抽取的文本信息包括姓名、民族、性别、出生日期、住址以及身份证号。反面影像抽取的文本信息包括签发机关和有效日期。
身份文本信息校验:
通过上一模块抽取到影像中的身份信息后,当系统内有用户提前录入的身份信息时,可以用抽取信息与其一一核验,全都一致则视为证件影像有效,否则视为可疑,进行人工核查。当系统内未录入用户身份信息时,本方法对证件自身文本信息进行校验:
(1)姓名校验,由于客户真实姓名未知,只进行长度校验,通常中国人的姓名长度不小于2,当抽取到的姓名长度小于2时,校验不通过;
(2)民族校验,当抽取的民族不为空,且属于56个民族之一,视为有效,否则校验不通过;
(3)身份证号校验,二代身份证号码长度为18位,第18位为校验码,前17位与第18位校验码的关系为:
Figure BDA0003981234230000091
其中Wi=2i-1mod11,为第i位数字的加权因子,i表示身份证号从右往左的位置序号,a1表示身份证号第18位校验码,当身份证末位a1为X时,将其视为10。当身份证号满足以上关系时,视为有效,否则校验不通过;
(4)出生日期校验,身份证号7到14位对应出生日期,将抽取到的出生日期与身份证号中的日期比对,日期一致则认为该字段有效,否则校验不通过;
(5)性别校验,抽取到的性别与身份证号第17位对应,男性身份证号第17位为奇数,女性第17位为偶数,符合该规则视为有效,否则校验不通过;
(6)有效期校验,该校验分为两部分:1、判断该证件是否过期,如果当前日期超过证件有效期,则该影像无效;2、判断该证件有效期限范围是否符合身份证印发规则,规则如下:
办证时年龄小于16周岁----有效期限5年;
办证时年龄大于等于16周岁小于26周岁----有效期限10年;
办证时年龄大于等于26周岁小于46周岁----有效期限20年;
办证时年龄大于等于46周岁----长期有效。
办证时年龄的计算方式为有效期开始日期减去出生日期,这些日期都可以从身份证上获得。有效期限符合规则视为有效,否则校验不通过。
正反面一致性校验:
输入为身份证正反面影像,和通过文字识别与信息结构化模块获得的身份信息。正反面一致性校验需要进行文本信息比对和图像风格比对。
(1)文本信息比对,主要比对身份证正面住址与反面签发机关的一致性。根据身份证印发规则,正面住址所在市/县与证件签发公安局所在市/县应当一致,不满足该规则可认为正反面不一致,影像来源非同一证件;
(2)图像风格比对,如图2为本发明神经网络构建风格相似度辨别模型风格一致性检验方法流程示意图。用户上传或留存的正反面影像通常拍摄环境、角度、光照、背景等外部条件一致,所以同一证件正反面影像风格也会趋于近似。本发明构建神经网络构建风格相似度辨别模型,用于鉴别正反面影像是否风格一致。模型的输入为标准化后的身份证正反面影像,输出为风格相似度概率,模型结构见附图2。由于输入是两张影像,所以用两个VGG19模型分别对正反面影像进行风格特征抽取。VGG网络中有5个卷积块,本发明选择每个卷积块的第一层卷积张量A用于计算风格矩阵,总计5层卷积卷积。其中参数
Figure BDA0003981234230000101
表示第l层卷积特征图中通道c的w行h列特征值,将其转换成c*hw维度的风格矩阵S。正面影像计算得到的风格矩阵记为SF,反面风格矩阵记为SB。用Gram矩阵来表示各通道间风格特征的相关性:
Figure BDA0003981234230000102
其中G为Gram矩阵,是一个c*c的矩阵,c为通道数,
Figure BDA0003981234230000103
是Gram矩阵中(i,j)位置的值,可以视为是i,j两个通道相应位置的值乘积之和,同理,反面Gram矩阵为:
Figure BDA0003981234230000104
计算正反两个矩阵在第l层特征图的风格差异:
Figure BDA0003981234230000111
正反风格Gram矩阵做点对点的差值运算,得到各层特征图的风格差异矩阵El,每一层矩阵作为全连接层的输入,输出为一个值,为各层差异得分。最后再连接一层全连接将各层差异得分综合计算得到两张图像最终的风格相似度值。当风格相似度值大于阈值时,认为两张图像来源于同一证件,否则视为可疑。
结果输出:
综合文本信息校验模块和正反面一致性校验模块的结果,输出结果。结果输出包括身份信息各字段是否检验通过,以及正反面是否通过。如果不通过,输出具体字段信息,提示审核人员。
作为本发明的第一实施例,如图3为本发明一种身份证影像质量检验方法第一实施例流程示意图。
当客户影像录入后,会传入客户填写的基本信息,同时作为参数传入身份影像有效性识别接口,返回结构化的结果字段,如下:
{“客户号”:“xxx”,
“批次id”:“12345”,
“处理时间”:“2022.01.01”,
“校验结果”:{“人脸检测”:“通过”,
“国徽检测”:“通过”,
“身份证号”:“通过”,
“姓名”:“通过”,
“性别”:“通过”,
“民族”:“通过”,
“出生日期”:“通过”,
“有效期”:“不通过,已过期”,
“正反一致性”:“通过”
}
}
输出各个字段的校验结果,如果校验不通过,告知审核人员校验无效的具体原因,用于人工复核。再具体实施过程中,影像分类模块中模型的输出类别可以进行任务适配,比如,除了处理身份证影像外,可能还需要处理户口本、护照、临时身份证等证件信息。此时需要增加类别以及相应的文本结构化方案。本实施例中只训练了三类图像,身份证正面、反面和其他。在训练角度矫正模块时,可以采用图像增强的方式大大提高训练样本数,本实施例中,通过获取无角度偏转的图像作为基础训练样本,在此基础上,对所有训练样本进行角度旋转,分别标注为90度、180度和270度,可以提高三倍数据量。另外,对图像色度、对比度、亮度、增加噪声以及裁剪尺度等属性上进行随机变动,又能扩充数倍的数据量,且大大提高了模型的鲁棒性。
作为本发明的第二实施例,如图4为本发明一种身份证影像质量检验方法第二实施例流程示意图。
将身份证有效性筛查逻辑前置,在影像输入端直接进行校验。在设备终端获取图像时首先调用人脸检测和国徽检测模型,分别采集身份证正面和反面影像。由于人脸检测和国徽检测的同时会规范客户拍摄的影像类型和角度,此时可以将文本分类、角度矫正模块省略,直接从图像特征检测模块开始。通过终端采集影像时分别对正反面影像进行识别以及有效性检验,最后同时进行一致性校验,防止拍摄图像来源于不同身份证。输出结果形式与本发明的第一实施例一致。
本发明另一方面还涉及一种身份证影像质量检验系统,其结构如图5所示,包括:
输入模块,用于输入身份证正面图像以及身份证反面图像;
标准化处理模块,用于对身份证正面图像以及身份证反面图像进行标准化处理;
分类识别模块,用于通过证件分类模型识别出图像为身份证正面图像或身份证反面图像;
角度粗矫正模块,用于将识别后的身份证正面图像与识别后身份证反面图像通过角度粗分类模型进行角度粗矫正,纠正拍摄方向导致的90、180以及270度旋转,得到角度粗矫正后的身份证正面图像与角度粗矫正后的身份证反面图像;
角度微调模块,用于对角度粗矫正后的身份证正面图像通过人脸特征点检测算法进行人脸特征检测,识别关键特征点,基于关键特征点对角度粗矫正后的身份证正面图像通过角度微调模型进行角度微调,得到角度微调后的身份证正面图像;
用于对角度粗矫正后的身份证反面图像通过SIFT特征算子匹配算法对国徽区域进行特征检测、特征匹配以及角度微调,得到角度微调后的身份证反面图像;
文本信息检验模块,用于对角度微调后的身份证正面图像及角度微调后的身份证反面图像进行文本信息检验;
同一证件检验模块,用于对角度微调后的身份证正面图像及角度微调后的身份证反面图像进行一致性检验,判断角度微调后的身份证正面图像及角度微调后的身份证反面图像是否源于同一证件;
输出模块,用于输出文本信息检验以及一致性检验的结果。
通过使用该系统,能够执行上述的运算处理方法并实现对应的技术效果。
本发明的实施例还提供能够实现上述实施例中的方法中全部步骤的一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述实施例中的方法的全部步骤。
本发明的实施例还提供一种用于执行上述方法的电子设备,作为该方法的实现装置,所述电子设备至少具备有处理器和存储器,特别是该存储器上存储有执行方法所需的数据和相关的计算机程序,例如证件分类模型、角度粗分类模型以及角度微调模型等,并通过由处理器调用存储器中的数据、程序执行实现方法的全部步骤,并获得对应的技术效果。
优选的,该电子设备可以包含有总线架构,总线可以包括任意数量的互联的总线和桥,总线将包括由一个或多个处理器和存储器的各种电路链接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起,这些都是本领域所公知的,因此,本文不再对其进行进一步描述。总线接口在总线和接收器和发送器之间提供接口。接收器和发送器可以是同一个元件,即收发机,提供用于在传输介质上与各种其他系统通信的单元。处理器负责管理总线和通常的处理,而存储器可以被用于存储处理器在执行操作时所使用的数据。
额外的,所述电子设备还可以进一步包括通信模块、输入单元、音频处理器、显示器、电源等部件。其所采用的处理器(或称为控制器、操作控件)可以包括微处理器或其他处理器装置和/或逻辑装置,该处理器接收输入并控制电子设备的各个部件的操作;存储器可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种,可储存上述有关的数据信息,此外还可存储执行有关信息的程序,并且处理器可执行该存储器存储的该程序,以实现信息存储或处理等;输入单元用于向处理器提供输入,例如可以为按键或触摸输入装置;电源用于向电子设备提供电力;显示器用于进行图像和文字等显示对象的显示,例如可为LCD显示器。通信模块即为经由天线发送和接收信号的发送机/接收机。通信模块(发送机/接收机)耦合到处理器,以提供输入信号和接收输出信号,这可以和常规移动通信终端的情况相同。基于不同的通信技术,在同一电子设备中,可以设置有多个通信模块,如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通信模块(发送机/接收机)还经由音频处理器耦合到扬声器和麦克风,以经由扬声器提供音频输出,并接收来自麦克风的音频输入,从而实现通常的电信功能。音频处理器可以包括任何合适的缓冲器、解码器、放大器等。另外,音频处理器还耦合到中央处理器,从而使得可以通过麦克风能够在本机上录音,且使得可以通过扬声器来播放本机上存储的声音。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的系统。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令系统的制造品,该指令系统实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
以上所述仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换等都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求书的保护范围为准。

Claims (12)

1.一种身份证影像质量检验方法及系统,其特征在于,包括:
S1、输入身份证正面图像以及身份证反面图像;
S2、对身份证正面图像以及身份证反面图像进行标准化处理;
S3、通过证件分类模型识别出图像为身份证正面图像或身份证反面图像;
S4、将识别后的身份证正面图像与识别后身份证反面图像通过角度粗分类模型进行角度粗矫正,得到角度粗矫正后的身份证正面图像与角度粗矫正后的身份证反面图像;
S5、对角度粗矫正后的身份证正面图像通过人脸特征点检测算法进行人脸特征检测,识别关键特征点,基于关键特征点对角度粗矫正后的身份证正面图像通过角度微调模型进行角度微调,得到角度微调后的身份证正面图像;
S6、对角度粗矫正后的身份证反面图像通过SIFT特征算子匹配算法对国徽区域进行特征检测、特征匹配以及角度微调,得到角度微调后的身份证反面图像;
S7、对角度微调后的身份证正面图像及角度微调后的身份证反面图像进行文本信息检验;
S8、对角度微调后的身份证正面图像及角度微调后的身份证反面图像进行一致性检验,判断角度微调后的身份证正面图像及角度微调后的身份证反面图像是否源于同一证件;
S9、输出文本信息检验以及一致性检验的结果。
2.如权利要求1所述的方法,其特征在于,所述关键特征点包括左眉毛、右眉毛、左眼睛、右眼睛、鼻子、嘴巴以及脸部轮廓。
3.如权利要求2所述的方法,其特征在于,所述S5包括分步骤:
S51、判断关键特征点是否完整;
S52、若关键特征点不完整,则输出关键特征点不完整并结束执行;
S53、若关键特征点完整,则基于左右眼睛特征点对角度粗矫正后的身份证正面图像通过角度微调模型进行角度微调,得到角度微调后的身份证正面图像。
4.如权利要求1所述的方法,其特征在于,所述S6包括分步骤:
S61、通过SIFT算法对标准身份证反面图像的国徽区域进行关键点提取,获得关键点特征算子;
S62、将关键点特征算子与角度粗矫正后的身份证反面图像进行关键点匹配;
S63、通过比率测试过滤异常匹配点,得到关键点匹配列表;
S64、判断关键点匹配列表的点对数量是否达到第一预设阈值;
S65、若关键点匹配列表的点对数量未达到预设阈值,则国徽区域未成功匹配;
S66、若关键点匹配列表的点对数量达到预设阈值,则根据匹配点对的映射关系,计算角度粗矫正后的身份证反面图像与标准身份证反面图像的单应矩阵;
S67、基于单应矩阵通过透视变换将角度粗矫正后的身份证反面图像与标准身份证反面图像对齐,对角度粗矫正后的身份证反面图像进行角度微调,得到角度微调后的身份证反面图像。
5.如权利要求1所述的方法,其特征在于,所述S7包括分步骤:
S71、对角度微调后的身份证正面图像进行光学字符识别,通过模版匹配方法提取身份证正面关键信息;
S72、对角度微调后的身份证反面图像进行光学字符识别,通过模版匹配方法提取身份证反面关键信息;
S73、若存在预存的用户身份信息,则将预存的用户身份信息与身份证正面关键信息及身份证反面关键信息进行核验;
S74、若预存的用户身份信息与身份证正面关键信息及身份证反面关键信息全部一致,则身份证正面关键信息及身份证反面关键信息检验通过;
S75、若预存的用户身份信息与身份证正面关键信息及身份证反面关键信息存在不一致,则身份证正面关键信息及身份证反面关键信息检验不通过;
S76、若不存在预存的用户身份信息,则通过证件自身文本信息校验方法对身份证正面关键信息及身份证反面关键信息进行核验。
6.如权利要求5所述的方法,其特征在于,所述身份证正面关键信息包括:姓名、民族、性别、出生日期、住址以及身份证号;所述身份证反面关键信息包括:签发机关和有效日期。
7.如权利要求1所述的方法,其特征在于,所述S8包括分步骤:
S81、检验身份证正面关键信息的住址与身份证反面关键信息的签发机关是否一致;
S82、通过神经网络构建风格相似度辨别模型对身份证正面图像与身份证反面图像的风格一致性进行检验。
8.如权利要求6所述的方法,其特征在于,所述S82包括分步骤:
S821、输入角度微调后的身份证正面图像及角度微调后的身份证反面图像;
S822、通过两个VGG19模型分别对角度微调后的身份证正面图像及角度微调后的身份证反面图像进行风格特征抽取,所述VGG19模型中有5个卷积层;
S823、通过每个卷积块的第一层卷积张量A计算风格矩阵,得到正面风格矩阵以及反面风格矩阵;
S824、将正面风格矩阵与反面风格矩阵进行点对点的差值运算,得到每个卷积层特征图的风格差异矩阵;
S825、将每个卷积层特征图的风格差异矩阵作为全连接层的输入,输出每个卷积层的差异得分;
S826、将个卷积层的差异得分综合计算,得到角度微调后的身份证正面图像及角度微调后的身份证反面图像的最终风格相似度值;
S827、若最终风格相似度值大于第二预设阈值时,则角度微调后的身份证正面图像及角度微调后的身份证反面图像来源于同一证件。
9.一种身份证影像质量检验系统,其特征在于,包括:
输入模块,用于输入身份证正面图像以及身份证反面图像;
标准化处理模块,用于对身份证正面图像以及身份证反面图像进行标准化处理;
分类识别模块,用于通过证件分类模型识别出图像为身份证正面图像或身份证反面图像;
角度粗矫正模块,用于将识别后的身份证正面图像与识别后身份证反面图像通过角度粗分类模型进行角度粗矫正,纠正拍摄方向导致的90、180以及270度旋转,得到角度粗矫正后的身份证正面图像与角度粗矫正后的身份证反面图像;
角度微调模块,用于对角度粗矫正后的身份证正面图像通过人脸特征点检测算法进行人脸特征检测,识别关键特征点,基于关键特征点对角度粗矫正后的身份证正面图像通过角度微调模型进行角度微调,得到角度微调后的身份证正面图像;
用于对角度粗矫正后的身份证反面图像通过SIFT特征算子匹配算法对国徽区域进行特征检测、特征匹配以及角度微调,得到角度微调后的身份证反面图像;
文本信息检验模块,用于对角度微调后的身份证正面图像及角度微调后的身份证反面图像进行文本信息检验;
同一证件检验模块,用于对角度微调后的身份证正面图像及角度微调后的身份证反面图像进行一致性检验,判断角度微调后的身份证正面图像及角度微调后的身份证反面图像是否源于同一证件;
输出模块,用于输出文本信息检验以及一致性检验的结果。
10.一种计算机可读存储介质,其特征在于,所述存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的身份证影像质量检验方法。
11.一种电子设备,其特征在于,包括处理器和存储器;
所述存储器,用于存储证件分类模型、角度粗分类模型以及角度微调模型;
所述处理器,用于通过调用证件分类模型、角度粗分类模型以及角度微调模型,执行权利要求1至8中任一项所述的身份证影像质量检验方法。
12.一种计算机程序产品,包括计算机程序和/或指令,其特征在于,该计算机程序和/或指令被处理器执行时实现权利要求1至8中任一项所述身份证影像质量检验方法的步骤。
CN202211548731.0A 2022-12-05 2022-12-05 一种身份证影像质量检验方法及系统 Pending CN116168407A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211548731.0A CN116168407A (zh) 2022-12-05 2022-12-05 一种身份证影像质量检验方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211548731.0A CN116168407A (zh) 2022-12-05 2022-12-05 一种身份证影像质量检验方法及系统

Publications (1)

Publication Number Publication Date
CN116168407A true CN116168407A (zh) 2023-05-26

Family

ID=86417181

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211548731.0A Pending CN116168407A (zh) 2022-12-05 2022-12-05 一种身份证影像质量检验方法及系统

Country Status (1)

Country Link
CN (1) CN116168407A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116580409A (zh) * 2023-07-14 2023-08-11 深圳市明泰智能技术有限公司 一种证件的自动识别方法、系统和终端

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116580409A (zh) * 2023-07-14 2023-08-11 深圳市明泰智能技术有限公司 一种证件的自动识别方法、系统和终端
CN116580409B (zh) * 2023-07-14 2023-09-19 深圳市明泰智能技术有限公司 一种证件的自动识别方法、系统和终端

Similar Documents

Publication Publication Date Title
WO2021027336A1 (zh) 基于印章和签名的身份验证方法、装置和计算机设备
US9946865B2 (en) Document authentication based on expected wear
US20170262472A1 (en) Systems and methods for recognition of faces e.g. from mobile-device-generated images of faces
CN110287971B (zh) 数据验证方法、装置、计算机设备及存储介质
US10043071B1 (en) Automated document classification
CN111275685B (zh) 身份证件的翻拍图像识别方法、装置、设备及介质
US20220029799A1 (en) System and method for creating one or more hashes for biometric authentication in real-time
US10403076B2 (en) Method for securing and verifying a document
CN111476268A (zh) 翻拍识别模型训练、图像识别方法、装置、设备及介质
CN111222433B (zh) 自动人脸稽核方法、系统、设备及可读存储介质
CN111784498A (zh) 身份认证方法、装置、电子设备及存储介质
CN106056083B (zh) 一种信息处理方法及终端
CN112507889A (zh) 一种校验证件与持证人的方法及系统
Raigonda Signature Verification System Using SSIM In Image Processing
CN113642639B (zh) 活体检测方法、装置、设备和存储介质
CN116168407A (zh) 一种身份证影像质量检验方法及系统
Dhanawade et al. Open CV based information extraction from cheques
US20240005691A1 (en) Validating identification documents
CN111178204B (zh) 一种视频数据编辑识别方法、装置、智能终端及存储介质
CN117237757A (zh) 一种人脸识别模型训练方法、装置、电子设备及介质
CN111881880A (zh) 一种基于新型网络的票据文本识别方法
CN109359616B (zh) 一种基于sift的伪拼接小尺寸指纹识别算法
CN110490149A (zh) 一种基于svm分类的人脸识别方法及装置
Gonzalez et al. Improving presentation attack detection for ID cards on remote verification systems
TWM603588U (zh) 具有多重身分認證與交易確認的保險交易資料處理裝置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination