CN111259891A - 一种自然场景下身份证识别方法、装置、设备和介质 - Google Patents

一种自然场景下身份证识别方法、装置、设备和介质 Download PDF

Info

Publication number
CN111259891A
CN111259891A CN202010059527.7A CN202010059527A CN111259891A CN 111259891 A CN111259891 A CN 111259891A CN 202010059527 A CN202010059527 A CN 202010059527A CN 111259891 A CN111259891 A CN 111259891A
Authority
CN
China
Prior art keywords
identity card
area
quadrilateral
image
card image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010059527.7A
Other languages
English (en)
Other versions
CN111259891B (zh
Inventor
袁蔡友
蓝立强
申心兰
张登峰
林志伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian Centerm Information Co Ltd
Original Assignee
Fujian Centerm Information Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujian Centerm Information Co Ltd filed Critical Fujian Centerm Information Co Ltd
Priority to CN202010059527.7A priority Critical patent/CN111259891B/zh
Publication of CN111259891A publication Critical patent/CN111259891A/zh
Application granted granted Critical
Publication of CN111259891B publication Critical patent/CN111259891B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/48—Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种自然场景下身份证识别方法、装置、设备和介质，方法包括接收输入的身份证图像，对身份证图像进行预处理；提取身份证图像中的纹理直线，拟合多组四边形区域，通过人脸检测和边缘色彩比对进行过滤，筛选出符合身份证的四边形区域；对符合身份证的四边形区域的内部进行版面分析，通过形态学处理连通字符区域，对连通区域的黑色像素进行纵向与横向投影，通过对投影直方图进行分析，一一确定身份证信息项的区域位置；截取身份证信息项的区域位置图像，将区域位置图像传入CRNN网络模型进行识别，返回识别结果。本发明优点：可以提高在各种自然场景下针对身份证定位的泛化能力，适用自然场景能力强，计算复杂小，识别精度高。

Description

一种自然场景下身份证识别方法、装置、设备和介质
技术领域
本发明涉及计算机技术领域，特别涉及一种自然场景下身份证识别方法、装置、设备和介质。
背景技术
身份证，又称居民身份证，由每个国家或者地区政府发行给予证件持有者的最基本的法定证件。身份证是可以作为每位公民的独一无二的身份证明证件，在日常的生活中，用途最为广泛，使用场景也较多，如：出行买票、安检检查、业务办理等等。在自然场景下，单纯靠人工去检测核实身份证存在数量大、速度慢、误检率高等问题，如果利用机器去自动核实则方便许多，所以研发一种针对自然场景下，身份证定位、识别的方法极为重要。
当然，现有技术中已存在有相关的身份证识别技术，目前常见的解决方案包括如下三种：第一种，申请日为2016.12.30，申请号为201611251750.1的中国发明专利公开了一种复杂背景下身份证号识别算法，该识别算法可以有效定位复杂图像中身份证的位置，并完成对身份证号的识别，然后通过区域中心直线拟合算法定位身份证上的身份证号位置，并实现字符分割，最后通过样本自生成算法生成大量不同尺度下的随机样本，并用生成的随机样本训练深度卷积神经网络，实现对身份证号码的识别。但是，该技术方案仅是对图像进行亮度和直线拟合处理，由于拍摄场景中直线干扰、边缘干扰对四边定位的影响甚大，因此，单纯靠亮度和直线拟合处理是很难断定拟合后的四边形是身份证，难以进行下一步操作；同时，该技术方案是直接利用标准字体库来生成字符集样本，而实际拍摄获取到的身份证的字符已经产生形变，因此，识别起来比较困难。
第二种，申请日为2019.04.18，申请号为201910311448.8的中国发明专利公开了一种用于配合拍照场景的快速高精度身份证文本识别算法，该技术方案通过在字符分割中定位头像，提出了基于行或列投影的头像快速定位方法，比传统的基于连通域的头像定位方法具有更低的时间复杂度。但是，该技术方案是不管传输的图像大小及身份证所占比率，直接压缩为960*600固定尺寸的图片，这会对图片质量产生较大影响；同时，通过投影法定位头像存在有准确率低的问题。
第三种，申请日为2017.12.20，申请号为201711388469.7的中国发明专利公开了一种基于人脸识别的身份证清晰度的判别方法和系统，该技术方案提供了一套高度自动化、高精度、高可靠性的身份证图片清晰度的检测应用程序，不仅节省了时间，更加克服了人工检测稳定性差、检测结果不可靠的弊端。但是，人脸检测的方法定位仅适用于读取身份证的正面信息，而在实际应用中，并不局限于读取身份证的正面信息，还需要读取反面信息进行识别鉴定。由上述可知，现有的身份证识别方法在自然场景下的定位识别准确率都较低，因此，亟需提供一种能够提高身份证定位识别的技术方案。
发明内容
本发明要解决的技术问题，在于提供一种自然场景下身份证识别方法、装置、设备和介质，解决现有身份证识别方法在自然场景下的定位识别准确率较低的问题。
第一方面，本发明提供了一种自然场景下身份证识别方法，所述方法包括：
接收输入的身份证图像，对身份证图像进行预处理操作；
提取身份证图像中的纹理直线，拟合多组四边形区域，并通过人脸检测和边缘色彩比对进行过滤，筛选出符合身份证的四边形区域；
对符合身份证的四边形区域的内部进行版面分析，通过形态学处理连通字符区域，并对连通区域的黑色像素进行纵向与横向投影，通过对投影直方图进行分析，一一确定身份证信息项的区域位置；
截取身份证信息项的区域位置图像，将截取的区域位置图像传入CRNN网络模型进行识别，并返回识别结果。
进一步的，所述的对身份证图像进行预处理操作具体为：
对输入的身份证图像进行灰度化和滤波处理，以过滤掉身份证图像中的噪声；对身份证图像中亮度不均匀的区域作均衡化处理，以改善亮度过曝或过暗区域的纹理特征；
接着，利用canny算子检测身份证图像的图像边缘信息，并对身份证图像的断层处进行像素扩充连接处理，以还原身份证图像的图像边缘纹理信息。
进一步的，所述的提取身份证图像中的纹理直线，拟合多组四边形具体为：使用HoughLines霍夫变换直线来检测出身份证图像中的纹理直线组，对检测出的纹理直线组进行拼接组合成复数个四边形区域。
进一步的，所述的通过人脸检测和边缘色彩比对进行过滤，筛选出符合身份证的四边形区域具体为：
依据身份证的尺寸规格来预设过滤阈值，并通过所述过滤阈值来对各个四边形区域进行过滤，以去除明显不符合身份证尺寸规格的四边形区域；
依据身份证的边界外与边界内之间的色差来筛选四边形区域的边界，具体包括：先对身份证图像进行色彩空间转换，即将RGB色彩转换为HSV空间；然后选取每一个四边形区域的四条边界的内外两侧区域以及四个边角的内外两侧区域，即共选取8个内外两侧区域，并分别提取出每个内外两侧区域的内区域和外区域的HSV平均值，对每个内外两侧区域的内区域和外区域的H、S、V的平均值进行一一比对，且如果内区域与外区域之间的色彩差大于设定的色彩阈值，则认定为符合边界条件；否则认定为不符合边界条件；最后，判断每一个四边形区域的每一条边界所对应的三处色彩判断中是否至少有两处色彩判断是符合边界条件的，如果是，则保留该四边形区域；如果否，则过滤掉该四边形区域；
利用人脸检测算法对四边形区域进行检测，得到人脸区域在四边形区域中的位置。
第二方面，本发明提供了一种自然场景下身份证识别装置，所述装置包括图像预处理模块、区域筛选模块、版面分析模块以及识别模块；
所述图像预处理模块，用于接收输入的身份证图像，对身份证图像进行预处理操作；
所述区域筛选模块，用于提取身份证图像中的纹理直线，拟合多组四边形区域，并通过人脸检测和边缘色彩比对进行过滤，筛选出符合身份证的四边形区域；
所述版面分析模块，用于对符合身份证的四边形区域的内部进行版面分析，通过形态学处理连通字符区域，并对连通区域的黑色像素进行纵向与横向投影，通过对投影直方图进行分析，一一确定身份证信息项的区域位置；
所述识别模块，用于截取身份证信息项的区域位置图像，将截取的区域位置图像传入CRNN网络模型进行识别，并返回识别结果。
进一步的，所述图像预处理模块具体为：对输入的身份证图像进行灰度化和滤波处理，以过滤掉身份证图像中的噪声；对身份证图像中亮度不均匀的区域作均衡化处理，以改善亮度过曝或过暗区域的纹理特征；
接着，利用canny算子检测身份证图像的图像边缘信息，并对身份证图像的断层处进行像素扩充连接处理，以还原身份证图像的图像边缘纹理信息。
进一步的，所述的提取身份证图像中的纹理直线，拟合多组四边形具体为：使用HoughLines霍夫变换直线来检测出身份证图像中的纹理直线组，对检测出的纹理直线组进行拼接组合成复数个四边形区域。
进一步的，所述的通过人脸检测和边缘色彩比对进行过滤，筛选出符合身份证的四边形区域具体为：
依据身份证的尺寸规格来预设过滤阈值，并通过所述过滤阈值来对各个四边形区域进行过滤，以去除明显不符合身份证尺寸规格的四边形区域；
依据身份证的边界外与边界内之间的色差来筛选四边形区域的边界，具体包括：先对身份证图像进行色彩空间转换，即将RGB色彩转换为HSV空间；然后选取每一个四边形区域的四条边界的内外两侧区域以及四个边角的内外两侧区域，即共选取8个内外两侧区域，并分别提取出每个内外两侧区域的内区域和外区域的HSV平均值，对每个内外两侧区域的内区域和外区域的H、S、V的平均值进行一一比对，且如果内区域与外区域之间的色彩差大于设定的色彩阈值，则认定为符合边界条件；否则认定为不符合边界条件；最后，判断每一个四边形区域的每一条边界所对应的三处色彩判断中是否至少有两处色彩判断是符合边界条件的，如果是，则保留该四边形区域；如果否，则过滤掉该四边形区域；
利用人脸检测算法对四边形区域进行检测，得到人脸区域在四边形区域中的位置。
第三方面，本发明提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面所述的方法。
第四方面，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面所述的方法。
本发明实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：
本发明采用图像处理的方式，可以提高在各种自然场景下针对身份证定位的泛化能力；通过在身份证边缘矩形检测中加入多重辅助判断方法(包括依据身份证的尺寸规格进行过滤、依据身份证内边界与外边界的色差筛选四边形区域的边界、利用人脸检测算法对四边形区域进行检测)，适用自然场景能力强，计算复杂小，识别精度高；OCR识别采用CRNN网络，针对身份证样本字符再训练得出，能够在一定程度上提高识别的准确率，同时OCR以HTTP形式提供服务，还可适用于服务器部署，能够在一定程度上减少硬件成本。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
下面参照附图结合实施例对本发明作进一步的说明。
图1为本发明实施例一中一种自然场景下身份证识别方法的执行流程图；
图2为本发明实施例中身份证尺寸规格的示意图。
图3为本发明实施例中身份证色差比对的示意图。
图4为本发明实施例二中一种自然场景下身份证识别装置的结构示意图；
图5为本发明实施例三中电子设备的结构示意图；
图6为本发明实施例四中介质的结构示意图。
具体实施方式
本申请实施例通过提供一种自然场景下身份证识别方法、装置、设备和介质，解决现有身份证识别方法在自然场景下的定位识别准确率较低的问题。
本申请实施例中的技术方案，总体思路如下：首先，对输入的身份证图像进行预处理操作；其次，提取身份证图像中的纹理直线，拟合出多组四边形区域，并通过人脸检测和边缘色彩比对进行过滤，筛选出符合身份证的四边形区域；接着，对符合身份证的四边形区域的内部进行版面分析，一一确定出身份证信息项的区域位置；最后，截取身份证信息项的区域位置图像，将截取的区域位置图像传入CRNN网络模型进行识别。
为了更好地理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
实施例一
本实施例提供一种自然场景下身份证识别方法，如图1所示，所述方法可应用于佩戴摄像机的PC机或移动设备上，所述方法包括：
接收输入的身份证图像，对身份证图像进行预处理操作；在具体实施时，需要通过摄像头设备来先获取自然场景下的身份证图像，并保存身份证图像，然后再输入身份证图像进行处理；
提取身份证图像中的纹理直线，拟合多组四边形区域(即矩形区域)，并通过人脸检测和边缘色彩比对进行过滤，筛选出符合身份证的四边形区域(即矩形区域)；
对符合身份证的四边形区域的内部进行版面分析，通过形态学处理(如对身份证图像进行腐蚀、膨胀等形态学处理)连通字符区域，并对连通区域的黑色像素进行纵向与横向投影，通过对投影直方图进行分析，一一确定身份证信息项的区域位置，例如，通过对直方图进行分析后，可以确定出身份证图像中姓名、性别、住址等信息项的区域位置；在具体实施时，对于符合身份证的四边形区域，可先将身份证的四边形区域先放射变换到1080*1712后，再对身份证的四边形区域的内部进行版面分析；
截取身份证信息项的区域位置图像(即对四边形区域的内部进行版面分割，以获取身份证各个信息项的区域位置图像)，将截取的区域位置图像传入CRNN网络模型进行识别，并返回识别结果。本发明采用针对身份证识别优化过的CRNN网络，通过HTTP形式来提供OCR服务，通过传入截取出的姓名、性别、住址等信息项的区域图片，经过针对身份证字符训练后的CRNN网络模型进行识别，并返回识别的字符串。在本发明中，由于传输的内容是身份证图像局部的区域图像，因此，不仅识别速度快、识别精确，且传输的区域图像的大小远远小于整张身份证图像的大小，能够有效提高传输速度。同时，CRNN网络模型也可以为其他服务或主机提供OCR服务，能够节约部署成本。
在本实施例中，所述的对身份证图像进行预处理操作具体为：
对输入的身份证图像进行灰度化和滤波处理，以过滤掉身份证图像中夹杂的噪声，使身份证图像更加纯净，还原真实拍摄样张；对身份证图像中亮度不均匀的区域作均衡化处理，以改善亮度过曝或过暗区域的纹理特征；
接着，利用canny算子检测身份证图像的图像边缘信息，并对身份证图像的断层处进行像素扩充连接处理，以还原身份证图像的图像边缘纹理信息。由于在具体实施时，一些纹理在经过canny算子后仍然存在有连接断裂问题，因此，本发明还对断层处进行像素扩充连接处理，从而能够很好的还原身份证图像的图像边缘纹理信息。
在本实施例中，所述的提取身份证图像中的纹理直线，拟合多组四边形具体为：使用HoughLines霍夫变换直线来检测出身份证图像中的纹理直线组，对检测出的纹理直线组进行拼接组合成复数个四边形区域。在具体实施时，可使用以下式(1)和式(2)来检测身份证图像中的纹理直线，式(1)和式(2)的表达式如下：
Figure BDA0002373991340000081
Figure BDA0002373991340000082
其中，ρ，θ就是一对hough空间的变量表示，如式(1)所示；若将ρ，θ看成直角坐标空间，那么一个点(x0,y0)就是一组关于ρ，θ的正弦曲线；同样的，直线上的其他点(xn,yn)也会构成一组关于ρ，θ的正弦曲线，这样势必会存在一个关于ρ，θ相交的点(即垂直点(r,θ))，一条直线能够通过在极坐标下寻找交于一点的曲线数量来检测，如果越多曲线交于一点，就意味着这个交点表示更多点组成，因此，可通过设定曲线交于一点的数量阈值来判断检测一条直线，如式(2)所示。
在本实施例中，所述的通过人脸检测和边缘色彩比对进行过滤，筛选出符合身份证的四边形区域具体为：
依据身份证的尺寸规格来预设过滤阈值，并通过所述过滤阈值来对各个四边形区域进行过滤，以去除明显不符合身份证尺寸规格的四边形区域；请参阅图2所示，例如，中国所使用的身份证的尺寸规格为长度85.60mm，宽度为54.00mm，那么，可以设定过滤阈值为长度在84.50mm-86.00mm之间，宽度为53.00mm-55.00mm之间，当四边形区域的尺寸不符合过滤阈值要求时，即四边形区域的长度不在84.50mm-86.00mm之间或者宽度不在53.00mm-55.00mm之间，就将对应的四边形区域过滤掉；
依据身份证的边界外与边界内之间的色差来筛选四边形区域的边界，具体包括：先对身份证图像进行色彩空间转换，即将RGB色彩转换为HSV空间，具体的转换公式如式(3)和式(4)所示，式(3)和式(4)表达式如下：
Figure BDA0002373991340000091
Figure BDA0002373991340000092
然后选取每一个四边形区域的四条边界的内外两侧区域以及四个边角的内外两侧区域，即共选取8个内外两侧区域，并分别提取出每个内外两侧区域的内区域和外区域的HSV平均值，对每个内外两侧区域的内区域和外区域的H、S、V的平均值进行一一比对，且如果内区域与外区域之间的色彩差大于设定的色彩阈值，则认定为符合边界条件；否则认定为不符合边界条件，如图3所示，在该图3中，1与1-1、3与3-3、5与5-5以及7与7-7即为四个边角的内外两侧区域，2与2-2、4与4-4、6与6-6以及8与8-8即为四条边界的内外两侧区域，那么，在进行色彩差比对时，就需要将1中的H、S、V的平均值与1-1中的H、S、V的平均值进行一一比对，同理，3与3-3、5与5-5、7与7-7、2与2-2、4与4-4、6与6-6以及8与8-8均需要进行一一比对过去；最后，判断每一个四边形区域的每一条边界所对应的三处色彩判断中是否至少有两处色彩判断是符合边界条件的，如果是，则保留该四边形区域；如果否，则过滤掉该四边形区域；也就是说，对于每一个四边形区域而言，其每一条边界都对应有3组色彩判断(即边界的内外两侧区域+该边界对应的2个边角的内外两侧区域)，当有一条边界存在2组色彩判断不符合边界条件时，就将该四边形区域过滤掉；例如，对于边界2与2-2，当2与2-2、1与1-1以及3与3-3中有2组不符合边界条件时，就将该四边形区域过滤掉；
利用人脸检测算法对四边形区域进行检测，得到人脸区域在四边形区域中的位置，通过使用人脸检测算法对四边形区域进行检测，一方面可以很好的判断出身份证的正反区域，另一方面还可以根据人脸区域在四边形区域中的位置来对身份证的外边界进行辅助矫正。
基于同一发明构思，本申请还提供了与实施例一中的方法对应的装置，详见实施例二。
实施例二
在本实施例中提供了一种自然场景下身份证识别装置，如图4所示，所述装置包括图像预处理模块、区域筛选模块、版面分析模块以及识别模块；
所述图像预处理模块，用于接收输入的身份证图像，对身份证图像进行预处理操作；在具体实施时，需要通过摄像头设备来先获取自然场景下的身份证图像，并保存身份证图像，然后再输入身份证图像进行处理；
所述区域筛选模块，用于提取身份证图像中的纹理直线，拟合多组四边形区域(即矩形区域)，并通过人脸检测和边缘色彩比对进行过滤，筛选出符合身份证的四边形区域(即矩形区域)；
所述版面分析模块，用于对符合身份证的四边形区域的内部进行版面分析，通过形态学处理(如对身份证图像进行腐蚀、膨胀等形态学处理)连通字符区域，并对连通区域的黑色像素进行纵向与横向投影，通过对投影直方图进行分析，一一确定身份证信息项的区域位置，例如，通过对直方图进行分析后，可以确定出身份证图像中姓名、性别、住址等信息项的区域位置；在具体实施时，对于符合身份证的四边形区域，可先将身份证的四边形区域先放射变换到1080*1712后，再对身份证的四边形区域的内部进行版面分析；
所述识别模块，用于截取身份证信息项的区域位置图像(即对四边形区域的内部进行版面分割，以获取身份证各个信息项的区域位置图像)，将截取的区域位置图像传入CRNN网络模型进行识别，并返回识别结果。本发明采用针对身份证识别优化过的CRNN网络，通过HTTP形式来提供OCR服务，通过传入截取出的姓名、性别、住址等信息项的区域图片，经过针对身份证字符训练后的CRNN网络模型进行识别，并返回识别的字符串。在本发明中，由于传输的内容是身份证图像局部的区域图像，因此，不仅识别速度快、识别精确，且传输的区域图像的大小远远小于整张身份证图像的大小，能够有效提高传输速度。同时，CRNN网络模型也可以为其他服务或主机提供OCR服务，能够节约部署成本。
在本实施例中，所述图像预处理模块具体为：
对输入的身份证图像进行灰度化和滤波处理，以过滤掉身份证图像中夹杂的噪声，使身份证图像更加纯净，还原真实拍摄样张；对身份证图像中亮度不均匀的区域作均衡化处理，以改善亮度过曝或过暗区域的纹理特征；
接着，利用canny算子检测身份证图像的图像边缘信息，并对身份证图像的断层处进行像素扩充连接处理，以还原身份证图像的图像边缘纹理信息。由于在具体实施时，一些纹理在经过canny算子后仍然存在有连接断裂问题，因此，本发明还对断层处进行像素扩充连接处理，从而能够很好的还原身份证图像的图像边缘纹理信息。
在本实施例中，所述的提取身份证图像中的纹理直线，拟合多组四边形具体为：使用HoughLines霍夫变换直线来检测出身份证图像中的纹理直线组，对检测出的纹理直线组进行拼接组合成复数个四边形区域。在具体实施时，可使用以下式(1)和式(2)来检测身份证图像中的纹理直线，式(1)和式(2)的表达式如下：
Figure BDA0002373991340000111
Figure BDA0002373991340000112
其中，ρ，θ就是一对hough空间的变量表示，如式(1)所示；若将ρ，θ看成直角坐标空间，那么一个点(x0,y0)就是一组关于ρ，θ的正弦曲线；同样的，直线上的其他点(xn,yn)也会构成一组关于ρ，θ的正弦曲线，这样势必会存在一个关于ρ，θ相交的点(即垂直点(r,θ))，一条直线能够通过在极坐标下寻找交于一点的曲线数量来检测，如果越多曲线交于一点，就意味着这个交点表示更多点组成，因此，可通过设定曲线交于一点的数量阈值来判断检测一条直线，如式(2)所示。
在本实施例中，所述的通过人脸检测和边缘色彩比对进行过滤，筛选出符合身份证的四边形区域具体为：
依据身份证的尺寸规格来预设过滤阈值，并通过所述过滤阈值来对各个四边形区域进行过滤，以去除明显不符合身份证尺寸规格的四边形区域；请参阅图2所示，例如，中国所使用的身份证的尺寸规格为长度85.60mm，宽度为54.00mm，那么，可以设定过滤阈值为长度在84.50mm-86.00mm之间，宽度为53.00mm-55.00mm之间，当四边形区域的尺寸不符合过滤阈值要求时，即四边形区域的长度不在84.50mm-86.00mm之间或者宽度不在53.00mm-55.00mm之间，就将对应的四边形区域过滤掉；
依据身份证的边界外与边界内之间的色差来筛选四边形区域的边界，具体包括：先对身份证图像进行色彩空间转换，即将RGB色彩转换为HSV空间，具体的转换公式如式(3)和式(4)所示，式(3)和式(4)表达式如下：
Figure BDA0002373991340000121
Figure BDA0002373991340000131
然后选取每一个四边形区域的四条边界的内外两侧区域以及四个边角的内外两侧区域，即共选取8个内外两侧区域，并分别提取出每个内外两侧区域的内区域和外区域的HSV平均值，对每个内外两侧区域的内区域和外区域的H、S、V的平均值进行一一比对，且如果内区域与外区域之间的色彩差大于设定的色彩阈值，则认定为符合边界条件；否则认定为不符合边界条件，如图3所示，在该图3中，1与1-1、3与3-3、5与5-5以及7与7-7即为四个边角的内外两侧区域，2与2-2、4与4-4、6与6-6以及8与8-8即为四条边界的内外两侧区域，那么，在进行色彩差比对时，就需要将1中的H、S、V的平均值与1-1中的H、S、V的平均值进行一一比对，同理，3与3-3、5与5-5、7与7-7、2与2-2、4与4-4、6与6-6以及8与8-8均需要进行一一比对过去；最后，判断每一个四边形区域的每一条边界所对应的三处色彩判断中是否至少有两处色彩判断是符合边界条件的，如果是，则保留该四边形区域；如果否，则过滤掉该四边形区域；也就是说，对于每一个四边形区域而言，其每一条边界都对应有3组色彩判断(即边界的内外两侧区域+该边界对应的2个边角的内外两侧区域)，当有一条边界存在2组色彩判断不符合边界条件时，就将该四边形区域过滤掉；例如，对于边界2与2-2，当2与2-2、1与1-1以及3与3-3中有2组不符合边界条件时，就将该四边形区域过滤掉；
利用人脸检测算法对四边形区域进行检测，得到人脸区域在四边形区域中的位置，通过使用人脸检测算法对四边形区域进行检测，一方面可以很好的判断出身份证的正反区域，另一方面还可以根据人脸区域在四边形区域中的位置来对身份证的外边界进行辅助矫正。
由于本发明实施例二所介绍的装置，为实施本发明实施例一的方法所采用的装置，故而基于本发明实施例一所介绍的方法，本领域所属人员能够了解该装置的具体结构及变形，故而在此不再赘述。凡是本发明实施例一的方法所采用的装置都属于本发明所欲保护的范围。
基于同一发明构思，本申请提供了实施例一对应的电子设备实施例，详见实施例三。
实施例三
本实施例提供了一种电子设备，如图5所示，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时，可以实现实施例一中任一实施方式。
由于本实施例所介绍的电子设备为实施本申请实施例一中方法所采用的设备，故而基于本申请实施例一中所介绍的方法，本领域所属技术人员能够了解本实施例的电子设备的具体实施方式以及其各种变化形式，所以在此对于该电子设备如何实现本申请实施例中的方法不再详细介绍。只要本领域所属技术人员实施本申请实施例中的方法所采用的设备，都属于本申请所欲保护的范围。
基于同一发明构思，本申请提供了实施例一对应的存储介质，详见实施例四。
实施例四
本实施例提供一种计算机可读存储介质，如图6所示，其上存储有计算机程序，该计算机程序被处理器执行时，可以实现实施例一中任一实施方式。
本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、装置、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本申请实施例中提供的技术方案，至少具有如下技术效果或优点：本发明采用图像处理的方式，可以提高在各种自然场景下针对身份证定位的泛化能力；通过在身份证边缘矩形检测中加入多重辅助判断方法(包括依据身份证的尺寸规格进行过滤、依据身份证内边界与外边界的色差筛选四边形区域的边界、利用人脸检测算法对四边形区域进行检测)，适用自然场景能力强，计算复杂小，识别精度高；OCR识别采用CRNN网络，针对身份证样本字符再训练得出，能够在一定程度上提高识别的准确率，同时OCR以HTTP形式提供服务，还可适用于服务器部署，能够在一定程度上减少硬件成本。
虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。

Claims (10)

1.一种自然场景下身份证识别方法，其特征在于：所述方法包括：
接收输入的身份证图像，对身份证图像进行预处理操作；
提取身份证图像中的纹理直线，拟合多组四边形区域，并通过人脸检测和边缘色彩比对进行过滤，筛选出符合身份证的四边形区域；
对符合身份证的四边形区域的内部进行版面分析，通过形态学处理连通字符区域，并对连通区域的黑色像素进行纵向与横向投影，通过对投影直方图进行分析，一一确定身份证信息项的区域位置；
截取身份证信息项的区域位置图像，将截取的区域位置图像传入CRNN网络模型进行识别，并返回识别结果。
2.根据权利要求1所述的一种自然场景下身份证识别方法，其特征在于：所述的对身份证图像进行预处理操作具体为：
对输入的身份证图像进行灰度化和滤波处理，以过滤掉身份证图像中的噪声；对身份证图像中亮度不均匀的区域作均衡化处理，以改善亮度过曝或过暗区域的纹理特征；
接着，利用canny算子检测身份证图像的图像边缘信息，并对身份证图像的断层处进行像素扩充连接处理，以还原身份证图像的图像边缘纹理信息。
3.根据权利要求1所述的一种自然场景下身份证识别方法，其特征在于：所述的提取身份证图像中的纹理直线，拟合多组四边形具体为：使用HoughLines霍夫变换直线来检测出身份证图像中的纹理直线组，对检测出的纹理直线组进行拼接组合成复数个四边形区域。
4.根据权利要求1所述的一种自然场景下身份证识别方法，其特征在于：所述的通过人脸检测和边缘色彩比对进行过滤，筛选出符合身份证的四边形区域具体为：
依据身份证的尺寸规格来预设过滤阈值，并通过所述过滤阈值来对各个四边形区域进行过滤，以去除明显不符合身份证尺寸规格的四边形区域；
依据身份证的边界外与边界内之间的色差来筛选四边形区域的边界，具体包括：先对身份证图像进行色彩空间转换，即将RGB色彩转换为HSV空间；然后选取每一个四边形区域的四条边界的内外两侧区域以及四个边角的内外两侧区域，即共选取8个内外两侧区域，并分别提取出每个内外两侧区域的内区域和外区域的HSV平均值，对每个内外两侧区域的内区域和外区域的H、S、V的平均值进行一一比对，且如果内区域与外区域之间的色彩差大于设定的色彩阈值，则认定为符合边界条件；否则认定为不符合边界条件；最后，判断每一个四边形区域的每一条边界所对应的三处色彩判断中是否至少有两处色彩判断是符合边界条件的，如果是，则保留该四边形区域；如果否，则过滤掉该四边形区域；
利用人脸检测算法对四边形区域进行检测，得到人脸区域在四边形区域中的位置。
5.一种自然场景下身份证识别装置，其特征在于：所述装置包括图像预处理模块、区域筛选模块、版面分析模块以及识别模块；
所述图像预处理模块，用于接收输入的身份证图像，对身份证图像进行预处理操作；
所述区域筛选模块，用于提取身份证图像中的纹理直线，拟合多组四边形区域，并通过人脸检测和边缘色彩比对进行过滤，筛选出符合身份证的四边形区域；
所述版面分析模块，用于对符合身份证的四边形区域的内部进行版面分析，通过形态学处理连通字符区域，并对连通区域的黑色像素进行纵向与横向投影，通过对投影直方图进行分析，一一确定身份证信息项的区域位置；
所述识别模块，用于截取身份证信息项的区域位置图像，将截取的区域位置图像传入CRNN网络模型进行识别，并返回识别结果。。
6.根据权利要求5所述的一种自然场景下身份证识别装置，其特征在于：所述图像预处理模块具体为：对输入的身份证图像进行灰度化和滤波处理，以过滤掉身份证图像中的噪声；对身份证图像中亮度不均匀的区域作均衡化处理，以改善亮度过曝或过暗区域的纹理特征；
接着，利用canny算子检测身份证图像的图像边缘信息，并对身份证图像的断层处进行像素扩充连接处理，以还原身份证图像的图像边缘纹理信息。
7.根据权利要求5所述的一种自然场景下身份证识别装置，其特征在于：所述的提取身份证图像中的纹理直线，拟合多组四边形具体为：使用HoughLines霍夫变换直线来检测出身份证图像中的纹理直线组，对检测出的纹理直线组进行拼接组合成复数个四边形区域。
8.根据权利要求5所述的一种自然场景下身份证识别装置，其特征在于：所述的通过人脸检测和边缘色彩比对进行过滤，筛选出符合身份证的四边形区域具体为：
依据身份证的尺寸规格来预设过滤阈值，并通过所述过滤阈值来对各个四边形区域进行过滤，以去除明显不符合身份证尺寸规格的四边形区域；
依据身份证的边界外与边界内之间的色差来筛选四边形区域的边界，具体包括：先对身份证图像进行色彩空间转换，即将RGB色彩转换为HSV空间；然后选取每一个四边形区域的四条边界的内外两侧区域以及四个边角的内外两侧区域，即共选取8个内外两侧区域，并分别提取出每个内外两侧区域的内区域和外区域的HSV平均值，对每个内外两侧区域的内区域和外区域的H、S、V的平均值进行一一比对，且如果内区域与外区域之间的色彩差大于设定的色彩阈值，则认定为符合边界条件；否则认定为不符合边界条件；最后，判断每一个四边形区域的每一条边界所对应的三处色彩判断中是否至少有两处色彩判断是符合边界条件的，如果是，则保留该四边形区域；如果否，则过滤掉该四边形区域；
利用人脸检测算法对四边形区域进行检测，得到人脸区域在四边形区域中的位置。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至4任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至4任一项所述的方法。
CN202010059527.7A 2020-01-19 2020-01-19 一种自然场景下身份证识别方法、装置、设备和介质 Active CN111259891B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010059527.7A CN111259891B (zh) 2020-01-19 2020-01-19 一种自然场景下身份证识别方法、装置、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010059527.7A CN111259891B (zh) 2020-01-19 2020-01-19 一种自然场景下身份证识别方法、装置、设备和介质

Publications (2)

Publication Number Publication Date
CN111259891A true CN111259891A (zh) 2020-06-09
CN111259891B CN111259891B (zh) 2023-04-18

Family

ID=70952364

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010059527.7A Active CN111259891B (zh) 2020-01-19 2020-01-19 一种自然场景下身份证识别方法、装置、设备和介质

Country Status (1)

Country Link
CN (1) CN111259891B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111784498A (zh) * 2020-06-22 2020-10-16 北京海益同展信息科技有限公司 身份认证方法、装置、电子设备及存储介质
CN111899270A (zh) * 2020-07-30 2020-11-06 平安科技（深圳）有限公司 卡片边框检测方法、装置、设备及可读存储介质
CN113239910A (zh) * 2021-07-12 2021-08-10 平安普惠企业管理有限公司 证件识别方法、装置、设备及存储介质
CN113420756A (zh) * 2021-07-28 2021-09-21 浙江大华技术股份有限公司 证件图像的识别方法和装置、存储介质及电子装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3163500A1 (en) * 2015-10-30 2017-05-03 Xiaomi Inc. Method and device for identifying region
CN106682629A (zh) * 2016-12-30 2017-05-17 佳都新太科技股份有限公司 一种复杂背景下身份证号识别算法
CN109117713A (zh) * 2018-06-27 2019-01-01 淮阴工学院 一种全卷积神经网络的图纸版面分析与文字识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3163500A1 (en) * 2015-10-30 2017-05-03 Xiaomi Inc. Method and device for identifying region
US20170124386A1 (en) * 2015-10-30 2017-05-04 Xiaomi Inc. Method, device and computer-readable medium for region recognition
CN106682629A (zh) * 2016-12-30 2017-05-17 佳都新太科技股份有限公司 一种复杂背景下身份证号识别算法
CN109117713A (zh) * 2018-06-27 2019-01-01 淮阴工学院 一种全卷积神经网络的图纸版面分析与文字识别方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111784498A (zh) * 2020-06-22 2020-10-16 北京海益同展信息科技有限公司 身份认证方法、装置、电子设备及存储介质
CN111899270A (zh) * 2020-07-30 2020-11-06 平安科技（深圳）有限公司 卡片边框检测方法、装置、设备及可读存储介质
WO2021151319A1 (zh) * 2020-07-30 2021-08-05 平安科技（深圳）有限公司 卡片边框检测方法、装置、设备及可读存储介质
CN111899270B (zh) * 2020-07-30 2023-09-05 平安科技（深圳）有限公司 卡片边框检测方法、装置、设备及可读存储介质
CN113239910A (zh) * 2021-07-12 2021-08-10 平安普惠企业管理有限公司 证件识别方法、装置、设备及存储介质
CN113239910B (zh) * 2021-07-12 2021-11-09 平安普惠企业管理有限公司 证件识别方法、装置、设备及存储介质
CN113420756A (zh) * 2021-07-28 2021-09-21 浙江大华技术股份有限公司 证件图像的识别方法和装置、存储介质及电子装置

Also Published As

Publication number Publication date
CN111259891B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
CN111259891B (zh) 一种自然场景下身份证识别方法、装置、设备和介质
CN105913093B (zh) 一种用于文字识别处理的模板匹配方法
CN104751142B (zh) 一种基于笔划特征的自然场景文本检测方法
CN108764352B (zh) 重复页面内容检测方法和装置
CN108090511B (zh) 图像分类方法、装置、电子设备及可读存储介质
CN109409355B (zh) 一种新型变压器铭牌识别的方法及装置
CN109948566B (zh) 一种基于权重融合与特征选择的双流人脸反欺诈检测方法
CN106991423A (zh) 识别规格图片中是否包含水印的方法及装置
CN113569863B (zh) 一种单据稽查的方法、系统、电子设备及存储介质
CN106485710A (zh) 一种元件错件检测方法和装置
CN111353485A (zh) 印章识别方法、装置、设备及介质
CN113283439B (zh) 基于图像识别的智能计数方法、装置及系统
CN114419008A (zh) 一种图像质量评估方法及系统
CN109635679B (zh) 一种实时的靶纸定位及环线识别方法
CN111008635A (zh) 一种基于ocr的多票据自动识别方法及识别系统
CN115619725A (zh) 电子元器件检测方法、装置、电子设备及自动质检设备
CN115410191A (zh) 文本图像识别方法、装置、设备和存储介质
CN112861861B (zh) 识别数码管文本的方法、装置及电子设备
CN111935480B (zh) 一种用于图像获取装置的检测方法及相关装置
CN113689378A (zh) 试纸带精准定位的判定方法、装置、存储介质及终端
CN114627457A (zh) 一种票面信息识别方法及装置
CN113159029A (zh) 一种图片中局部信息精准抓取的方法和系统
RU2774058C1 (ru) Способ определения (распознавания) факта предъявления цифровой копии документа в виде пересъемки экрана
CN111985483B (zh) 一种拍屏文件图片检测方法、装置及存储介质
CN110647948B (zh) 一种基于神经网络的图片拼接检测方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant