CN110119741A - 一种有背景的卡证图像信息识别方法 - Google Patents

Abstract

本发明公开了一种有背景的卡证图像信息识别方法，包括如下步骤：步骤一：终端设备采集不同类型的图像数据通过网络上传至图像处理服务器；步骤二：图像处理服务器对图像进行分析和处理，对文字信息进行识别，并和数据库中的信息进行比对和判断；步骤三：在显示器中显示正确的比对结果或识别的信息。本发明提供一种能够自适应不同纹理特征背景滤除、不同像素比例的证卡信息识别算法，极大提升信息识别的准确性，目标区域的捕获能力，通过对目标信息区域的捕获，提升识别的准确性，也能提高信息比对的难度。

Description

一种有背景的卡证图像信息识别方法

技术领域

本发明涉及数字图像处理领域，特别涉及一种有背景的卡证图像信息识别方法。

背景技术

随着科技的发展，现今社会，大多会将个人的信息进行录入至云端进行存储。在现有技术中，各种应用系统存在频繁的信息录入与比对需求，尤其需要对身份证、房产证、银行卡等用户基础信息的识别。在信息识别过程需要确保信息的完整性、一致性且实现用户信息采集的便利化，需要对多种来源的信息进行比对。

传统方式是通过人工逐一审核的方式确保信息的完整、可靠，但是这种方式存在多种弊端：(1)人工劳动强度大，人力资源成本也非常高；(2)大量人工识别难免会出差，造成数据不一致性，违背人工识别比对数据的初衷；(3)数据采集的时效性、客户满意度要求，时间非常紧，而人工识别与比对的时效性往往难以保证；(4)来源各异的图片质量千差万别，人工识别难度非常大；(5)图片的分辨率、图片的旋转角度差异、目标区域占整幅图片的比例差异非常等问题非常突出，显示和处理对人工识别的造成困扰。

发明内容

本发明所要解决的技术问题是：提供一种多背景特征下身份证信息识别与处理方法，提供一种能够自适应不同纹理特征背景滤除、不同像素比例的身份证信息识别算法，极大提升信息识别的准确性，目标区域的捕获能力。

本发明解决上述问题所采用的技术方案为：一种有背景的卡证图像信息识别方法，包括如下步骤：

步骤一：终端设备采集不同类型的图像数据通过网络上传至图像处理服务器；

步骤二：图像处理服务器对图像进行分析和处理，对文字信息进行识别，并和数据库中的信息进行比对和判断；

步骤三：在显示器中显示正确的比对结果或识别的信息。

优选的，图像处理服务器对图像进行分析和处理，具体包括如下步骤：

S1、读入待检测图像并判断为有效的图像读入后，先对图像进行伽马校正s＝cr^r,r∈[0,1]，将灰度过高或者灰度过低的图片进行修正，再对图像进行是否包含背景色进行判断；若判断图像是无背景图像，则无需进行背景剔除处理，执行步骤S2；若有，则进行步骤S3；

S2、若判断图像为无背景，分离出图像中标志性的颜色通道并提取相应部分，利用matchTemplate函数进行相似度对比，若相似度超过一定阈值，则认为是卡证的一面，根据相对位置提取ROI再利用tesseract-OCR识别并保存结果，反之则不是；

提取另一面的标志性位置，与模板相应位置进行比较，若两次模板比较均不通过，则将原图按带有背景的方法进行识别，执行步骤S3；

S3、若判断图像为带有背景，对图像进行灰度化处理并使用高斯滤波模糊图像，再使用自适应阈值化处理得到二值化图像，使用Canny()算法检测边缘，并降低检测到的轮廓数；

S4、寻找图像的轮廓点，将结果保存在一个向量中，使用近似多边形逼近的方法降低数据量，并根据证卡类型与背景的比例与卡证本身的比例寻找目标轮廓；

S5、利用仿射变换warpAffine()函数将整张图按倾角旋转，使得矩形水平；利用步骤S2中的方法判断是否为相应的证卡以及证卡的正反面，根据正反面提取相应ROI，并对ROI进行直方图和模板相应位置进行相似度计算，若误差在一定范围内，则视为正确ROI，进行OCR识别，获取最终的图片隐藏的文字信息保存，反之进入步骤S4，选取下一个符合的轮廓，重复步骤S4、S5直至找的ROI，若遍历结束还未找到，则视为识别失败。

优选的，在步骤S2中，根据证卡的恒定长宽比判断，若图像长度比与恒定长宽比误差在一定范围，则假设为无背景，利用霍夫变换剔除背景；若经霍夫变换后比例仍为恒定长宽比，使用resize函数缩小或者放大至模板大小。

优选的，在步骤S4中，寻找目标轮廓为寻找最小包围矩形，并利用minAreaRect类保存，将该矩形对象的成员变量提取出来单独保存，回到原图，在原图上画出最小包围矩形和预计旋转之后的最小包围矩形。

优选的，所述成员变量包括矩形倾角、矩形宽、矩形高和矩形中心。

优选的，在步骤S5中，利用矩形中心和矩形宽高画出旋转之后水平的矩形，将数据传入新建的矩形对象，并通过矩形截取出目标区域对象；再利用霍夫变换检测直线判断是否将背景截取进来，若有，则根据检测到的直线去除。

优选的，在步骤S3中，使用自适应阈值化处理得到二值化图像，具体的为：

利用自适应阈值对图像进行二值化处理，产生灰度图像，对图像进行发色处理，使二值化后的图像呈黑色底色；然后对图像进行形态学处理，对产生的二值图像进行腐蚀处理，再对其进行膨胀处理。

优选的，在步骤S5中，利用霍夫变换检测图像中的直线，具体的为：

对图像边缘中的每一点看成直线系映射到极坐标成为正弦曲线，然后用一个变量，求出每个取值后对应的rho，然后落入的二维数组的分组中加1，以此类推，当遍历所有的点后，二维数组最高的值或超过阈值的值，其数组的坐标为直角坐标检测出的直线。

与现有技术相比，本发明的优点在于：提供一种能够自适应不同纹理特征背景滤除、不同像素比例的证卡信息识别算法，极大提升信息识别的准确性，目标区域的捕获能力，通过对目标信息区域的捕获，提升识别的准确性，也能提高信息比对的难度。

附图说明

图1本发明系统结构示意图；

图2本发明图像信息数据处理识别流程图；

图3本发明图像处理服务器对身份证图像进行分析和处理流程图。

图中标号说明：1、图像信息采集终端设备，2、网络通信链路，3、图像处理分析服务器，4、数据库，5、显示器。

具体实施方式

下面结合附图对本发明的实施例作进一步描述。

如图1-3所示，本实施例涉及一种有背景的卡证图像信息识别方法，包括如下步骤：

步骤一：图像信息采集终端设备1采集不同类型的图像数据通过网络通信链路2上传至图像处理分析服务器3；

步骤二：图像处理分析服务器3对图像进行分析和处理，对文字信息进行识别，并和数据库4中的信息进行比对和判断；

步骤三：在显示器5中显示正确的比对结果或识别的信息。

本实施例中，读入待检测图像并判断为有效的图像读入之后，对图像进行是否包含背景色进行判断，对目标兴趣区域识别首先需要剔除图像的背景信息。如果判断图像是无背景图像，那么无需进行背景剔除处理；否则，需要对原始图像要剔除背景。针对步骤二中的图像处理分析服务器3对图像进行分析和处理，证卡以身份证为例，具体包括如下步骤：

S1、读入待检测图像并判断为有效的图像读入后，先对图像进行伽马校正s＝cr^r,r∈[0,1]，达到图像增强目的，再将灰度过高或者灰度过低的图片进行修正，降低由于拍摄时过曝(整体亮度值偏高)或者曝光不足(整体亮度值偏低)带来的识别误差影响，加强层次界限，突出细节，再对图像进行是否包含背景色进行判断。

若判断图像是无背景图像，则无需进行背景剔除处理，执行步骤S2；若有，则进行步骤S3。

S2、根据证卡的恒定长宽比判断，若图像长度比与恒定长宽比在一定范围，及图像长度比与恒定长宽比相差不大或者带有少量证卡背景，确切的说图像长度比与恒定长宽比占3％以下，或者证卡的背景占3％以下，则假设为无背景，利用霍夫变换剔除少量背景；若经霍夫变换后比例仍为恒定长宽比，使用resize函数缩小或者放大至模板大小。

若判断图像为无背景，分离出图像中标志性的颜色通道并提取相应部分，例如在身份证中国徽为红色，通过分离出图像的R通道分量，并提取左上角国徽部分与模板背面的相应的国徽部分，利用matchTemplate函数进行相似度对比，若相似度超过阈值，则认为是身份证背面，根据相对位置提取ROI再利用tesseract-OCR识别并保存结果，反之则不是；

提取另一面的标志性位置，比如提取身份证下方约4/5至底部的区域(身份证正面此区域内为身份证号码的区域，身份证号码恒定为18位且均为数字，不同身份证的此区域计算直方图的时候一般差距不会太大)与模板相应位置进行比较，若两次模板比较均不通过，则将原图按带有背景的方法进行识别，执行步骤S3；

S3、若判断图像为带有背景，对图像进行灰度化处理并使用高斯滤波模糊图像，再使用自适应阈值化处理adaptiveThreshold()得到二值化图像，使用Canny()算法检测边缘，并降低检测到的轮廓数，减少无关轮廓干扰，提高精确度；

S4、寻找图像的轮廓点，将结果保存在一个向量中。使用近似多边形逼近的方法降低数据量，并根据证卡类型与背景的大致比例(通过轮廓和背景的大致比例剔除过小的轮廓，身份证在这种轮廓中的可能性极低，即使出现了，也会因为身份证过小，文字模糊的原因无法识别)与卡证本身的比例寻找目标轮廓。

寻找目标轮廓为寻找最小包围矩形，并利用minAreaRect类保存，将该矩形对象的成员变量提取出来单独保存，回到原图，在原图上画出最小包围矩形和预计旋转之后的最小包围矩形。

其中，成员变量包括矩形倾角、矩形宽、矩形高和矩形中心。

S5、利用仿射变换warpAffine()函数将整张图按倾角旋转，使得矩形水平，利用矩形中心和矩形宽高画出旋转之后水平的矩形，将数据传入新建的矩形对象，并通过矩形截取出目标区域对象；再利用霍夫变换检测直线判断是否将背景截取进来，若有，则根据检测到的直线去除。

利用步骤S2中的方法判断是否为相应的证卡以及证卡的正反面，根据正反面提取相应ROI，并对ROI进行直方图和模板相应位置进行相似度计算，若误差在一定范围内，则视为正确ROI，进行OCR识别，获取最终的图片隐藏的文字信息并保存，反之进入步骤S4，选取下一个符合的轮廓，重复步骤S4、S5直至找的ROI，若遍历结束还未找到，则视为识别失败。

本实施例主要针对的是有背景信息的证卡识别，其核心任务是去除背景，找到目标待识别区域。核心思想是，由于证卡都是矩形的形状，因此其边缘都是直线。本方法就是通过寻找图像中直线，来发现目标区域的边缘。

在步骤S3中，使用自适应阈值化处理得到二值化图像，具体的为：

利用自适应阈值对图像进行二值化处理，产生灰度图像，对图像进行发色处理，使二值化后的图像呈黑色底色；然后对图像进行形态学处理，对产生的二值图像进行腐蚀处理，再对其进行膨胀处理。

在步骤S5中，利用霍夫变换检测图像中的直线，具体的为：

对图像边缘中的每一点看成直线系映射到极坐标成为正弦曲线，然后用一个变量，求出每个取值后对应的rho，然后落入的二维数组的分组中加1，以此类推，当遍历所有的点后，二维数组最高的值或超过阈值的值，其数组的坐标为直角坐标检测出的直线。通过对所有的直线进行过滤和排序，在直线中能找任意一条直线与其垂直或近似垂直的直线，那么认为该条直线是所在证卡边缘所探测的直线，负责任务是干扰的在线，会被丢弃，经过过滤后，会去除大部分的杂线。应用轮廓闭包，对直线所包含的区域进行闭包。

本发明的有益效果为：提供一种能够自适应不同纹理特征背景滤除、不同像素比例的证卡信息识别算法，极大提升信息识别的准确性，目标区域的捕获能力，通过对目标信息区域的捕获，提升识别的准确性，也能提高信息比对的难度。

上述说明示出并描述了本发明的若干优选实施例，但如前所述，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述发明构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (8)

1.一种有背景的卡证图像信息识别方法，其特征在于：包括如下步骤：

步骤一：图像信息采集终端设备采集不同类型的图像数据通过网络通信链路上传至图像处理服务器；

步骤二：图像处理服务器对图像进行分析和处理，对文字信息进行识别，并和数据库中的信息进行比对和判断；

步骤三：在显示器中显示正确的比对结果或识别的信息。

2.根据权利要求1所述的有背景的卡证图像信息识别方法，其特征在于：图像处理服务器对图像进行分析和处理，具体包括如下步骤：

S1、读入待检测图像并判断为有效的图像读入后，先对图像进行伽马校正s＝cr^r,r∈[0,1]，将灰度过高或者灰度过低的图片进行修正，再对图像进行是否包含背景色进行判断；若判断图像是无背景图像，则无需进行背景剔除处理，执行步骤S2；若有，则进行步骤S3；

S2、若判断图像为无背景，分离出图像中标志性的颜色通道并提取相应部分，利用matchTemplate函数进行相似度对比，若相似度超过阈值，则认为是卡证的一面，根据相对位置提取ROI再利用tesseract-OCR识别并保存结果，反之则不是；

提取另一面的标志性位置，与模板相应位置进行比较，若两次模板比较均不通过，则将原图按带有背景的方法进行识别，执行步骤S3；

S3、若判断图像为带有背景，对图像进行灰度化处理并使用高斯滤波模糊图像，再使用自适应阈值化处理得到二值化图像，使用Canny()算法检测边缘，并降低检测到的轮廓数；

S4、寻找图像的轮廓点，将结果保存在一个向量中，使用近似多边形逼近的方法降低数据量，并根据证卡类型与背景的比例与卡证本身的比例寻找目标轮廓；

S5、利用仿射变换warpAffine()函数将整张图按倾角旋转，使得矩形水平；利用步骤S2中的方法判断是否为相应的证卡以及证卡的正反面，根据正反面提取相应ROI，并对ROI进行直方图和模板相应位置进行相似度计算，若误差在一定范围内，则视为正确ROI，进行OCR识别，获取最终的图片隐藏的文字信息保存，反之进入步骤S4，选取下一个符合的轮廓，重复步骤S4、S5直至找的ROI，若遍历结束还未找到，则视为识别失败。

3.根据权利要求2所述的有背景的卡证图像信息识别方法，其特征在于：在步骤S2中，根据证卡的恒定长宽比判断，若图像长度比与恒定长宽比误差在一定范围，则假设为无背景，利用霍夫变换剔除背景；若经霍夫变换后比例仍为恒定长宽比，使用resize函数缩小或者放大至模板大小。

4.根据权利要求3所述的有背景的卡证图像信息识别方法，其特征在于：在步骤S4中，寻找目标轮廓为寻找最小包围矩形，并利用minAreaRect类保存，将该矩形对象的成员变量提取出来单独保存，回到原图，在原图上画出最小包围矩形和预计旋转之后的最小包围矩形。

5.根据权利要求4所述的有背景的卡证图像信息识别方法，其特征在于：所述成员变量包括矩形倾角、矩形宽、矩形高和矩形中心。

6.根据权利要求2所述的有背景的卡证图像信息识别方法，其特征在于：在步骤S5中，利用矩形中心和矩形宽高画出旋转之后水平的矩形，将数据传入新建的矩形对象，并通过矩形截取出目标区域对象；再利用霍夫变换检测直线判断是否将背景截取进来，若有，则根据检测到的直线去除。

7.根据权利要求3所述的有背景的卡证图像信息识别方法，其特征在于：在步骤S3中，使用自适应阈值化处理得到二值化图像，具体的为：

利用自适应阈值对图像进行二值化处理，产生灰度图像，对图像进行发色处理，使二值化后的图像呈黑色底色；然后对图像进行形态学处理，对产生的二值图像进行腐蚀处理，再对其进行膨胀处理。

8.根据权利要求3所述的有背景的卡证图像信息识别方法，其特征在于：在步骤S5中，利用霍夫变换检测图像中的直线，具体的为：

对图像边缘中的每一点看成直线系映射到极坐标成为正弦曲线，然后用一个变量，求出每个取值后对应的rho，然后落入的二维数组的分组中加1，以此类推，当遍历所有的点后，二维数组最高的值或超过阈值的值，其数组的坐标为直角坐标检测出的直线。