CN109886274A - 基于opencv和深度学习的社保卡识别方法及系统 - Google Patents

Abstract

本发明公开了基于opencv和深度学习的社保卡识别方法及系统，属于图像处理及文字识别，要解决的技术问题为如何准确的从社保卡图片中识别出社保卡信息；包括：以仅显示摆正放置的社会保障卡的图像为模板图像，通过模板匹配方法矫正待识别图像，并提取待识别图像中的文字区域；基于深度学习技术构建并训练CRNN模型，通过训练后CRNN模型对文字区域进行文字识别。其结构包括图像采集模块，用于对待识别图像进行预处理；矫正模块，用于通过模板匹配方法矫正待识别图像；文字区域提取模块，用于通过模板匹配方法提取待识别图像中的文字区域；文字识别模块，用于构建并训练CRNN模型，并通过训练后CRNN模型对文字区域进行文字识别。

Description

基于opencv和深度学习的社保卡识别方法及系统

技术领域

本发明涉及以图像处理及文字识别领域，具体地说是一种基于opencv和深度学习的社保卡识别方法。

背景技术

随着国家“互联网+政务服务”的不断深化，人工智能与政务的结合使得使政务服务更加人性化、便捷化及智能化，群众办事效率得到了很大提升，然而在资料填写过程中，仍存在很多情况需要人工录入，如社会保障卡信息的填写。近些年，随着人工智能技术的不断发展，其在机器视觉、图像处理、文字识别等各个领域都得到了广泛应用。

基于人工智能领域的图像处理技术及深度学习技术，如何简化群众提交社会保障卡信息流程，以实现只需要办事群众上传带有社保卡的图片，即可实时准确地识别出图片中社保卡基本信息的卡证智能识别方法，是需要解决的技术问题。

发明内容

本发明的技术任务是针对以上不足，提供一种基于opencv和深度学习的社保卡识别方法及系统，来解决如何准确的从社保卡图片中识别出社保卡信息的问题。

第一方面，本发明提供一种基于opencv和深度学习的社保卡识别方法，包括：

以仅显示摆正放置的社会保障卡的图像为模板图像，通过模板匹配方法矫正待识别图像，并提取待识别图像中的文字区域；

基于深度学习技术构建并训练CRNN模型，通过训练后CRNN模型对文字区域进行文字识别。

作为优选，通过模板匹配方法矫正待识别图像，包括：

通过SURF特征提取算法分别提取模板图像和待识别图像的特征描述子；

通过最近邻匹配算法计算模板图像与待识别图像的相似特征点；

通过Homography单应性变换计算模板图像和待识别图像之间的映射矩阵，并通过映射矩阵对待识别图像进行矫正。

作为优选，通过模板匹配方法提取待识别图像中的文字区域，包括：

从模板图像中截取感兴趣的文字区域为模板区域；

通过matchTemplate模版匹配算法将模板区域与矫正后的待识别图像进行匹配，从待识别图像中选取与模板区域相似度最高的区域为文字区域。

作为优选，基于深度学习技术构建并训练CRNN模型，通过训练后CRNN模型对文字区域进行文字识别，包括：

构建CRNN模型，所述CRNN模型包括卷积层、循环层和转录层；

以具有文字的图像数据集为训练样本，通过训练样本对构建的CRNN模型进行训练，得到训练后CRNN模型；

通过训练后CRNN模型对文字区域进行文字识别。

作为优选，通过模板匹配方法矫正待识别图像之前，对选取的待识别图像进行图像预处理，用于消除因光照和/或拍摄角度形成的干扰。

更优的，对待识别图像进行预处理包括：

对待识别图像进行滤波处理；

对待识别图像进行二值化处理。

第二方面，本发明提供一种基于opencv和深度学习的社保卡识别系统，包括：

图像采集模块，用于获取模板图像和待识别图像，并对待识别图像进行预处理；

矫正模块，用于从图像采集模块获取模板图像和待识别图像，并通过模板匹配方法矫正待识别图像；

文字区域提取模块，用于获取矫正后待识别图像以及从模板图像中截取模板区域，并用于通过模板匹配方法提取待识别图像中的文字区域；

文字识别模块，用于基于深度学习技术构建并训练CRNN模型，并用于通过训练后CRNN模型对文字区域进行文字识别，所述CRNN模型包括卷积层、循环层和转录层；

所述模板图像为仅显示摆正放置的社会保障卡的图像。

作为优选，矫正模块通过其模板匹配子模块矫正待识别图像，模板匹配子模块为具有如下功能的子模块：

通过SURF特征提取算法分别提取模板图像和待识别图像的特征描述子；

通过最近邻匹配算法计算模板图像与待识别图像的相似特征点；

通过Homography单应性变换计算模板图像和待识别图像之间的映射矩阵，并通过映射矩阵对待识别图像进行矫正。

作为优选，文字区域提取模块为具有如下功能的模块：

从矫正模块获取模板图像和矫正后待识别图像，并从模板图像中截取感兴趣的文字区域为模板区域；

通过matchTemplate模版匹配算法将模板区域与矫正后的待识别图像进行匹配，从待识别图像中选取与模板区域相似度最高的区域为文字区域。

作为优选，文字识别模块为具有如下功能的模块：

构建CRNN模型，所述CRNN模型包括卷积层、循环层和转录层；

以具有文字的图像数据集为训练样本，通过训练样本对构建的CRNN模型进行训练，得到训练后CRNN模型；

通过训练后CRNN模型对文字区域进行文字识别。

本发明的基于opencv和深度学习的社保卡识别方法及系统具有以下优点：基于opencv通过模板匹配方法矫正并提取待识别图像中的待识别文字区域，并通过训练后的CRNN模型对待识别文字区域进行文字识别，可实时准确的从群众上传的社保卡图像中获取社保卡信息，避免人工录入社保卡信息，简化了政务流程，也可避免人工录入出错的问题。

附图说明

为了更清除地说明本发明实施例中的技术方案，下面将对实施例中描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

下面结合附图对本发明进一步说明。

附图1为实施例1基于opencv和深度学习的社保卡识别方法流程框图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定，在不冲突的情况下，本发明实施例以及实施例中的技术特征可以相互结合。

本发明实施例提供一种基于opencv和深度学习的社保卡识别方法及系统，用于解决如何准确的从社保卡图片中识别出社保卡信息的技术问题。

实施例1：

本发明的基于opencv和深度学习的社保卡识别方法，包括如下步骤：

步骤S100、采集模板图像和待识别图像，并对待识别图像进行预处理，其中，以仅显示摆正放置的社会保障卡的图像为模板图像；

步骤S200、通过模板匹配方法矫正待识别图像，并提取待识别图像中的文字区域；

步骤S300、基于深度学习技术构建并训练CRNN(英文全称为ConvolutionalNeuralNetwork，中文翻译为卷积神经网络)模型，通过训练后CRNN模型对文字区域进行文字识别。

步骤S100中，为消除待识别图像在拍摄过程中由于光照、拍摄角度灯因素造成的干扰，对待识别图像进行滤波处理和二值化处理。

步骤S200中，通过模板匹配方法对待识别图像进行矫正，包括如下分步骤：

S211、利用opencv(英文全称为Open Source Computer Vision Library，中文翻译为开源计算机视觉库)中的SURF特征提取算法分别提取模版图片的特征描述子和待识别图片的特征描述子；

S212、利用opencv中的Flann-based matcher最近邻匹配算法计算模板图像与待识别图像的相似特征点；

S213、通过Homography单应性变换计算模板图像和待识别图像之间的映射矩阵，并通过映射矩阵对待识别图像进行矫正。

上述分步骤S212中，最近邻匹配算法的整体过程是：在匹配的时候选择两个和特征点最相似的点，如果这两个点之间的区别足够大，则选择最相似的那个点作为匹配点；对每个匹配返回两个最近邻的匹配，如果第一匹配和第二匹配向量距离足够远，则认为这是一个正确的匹配；按照上述方法，可以从待识别图像中查找出所有与模板图像中最相似的特征点。

分步骤S213中，映射矩阵是一个从一张图像到另一张图像映射关系的转换矩阵，具体原理为：步骤S212中已经获取了模板图像和待识别图像的特征点信息，即可以确定两张图像中对应特征点的位置坐标，因此可以求得映射矩阵H。由于模版图像中社保卡为摆正的图片，所以该模板图像的四个端点即对应着待识别图像中的社保卡的四个端点，模版图像的四个端点坐标是已知的，H矩阵也已经得到，所以可以得到待识别图像中社保卡的四个端点的坐标值，最后通过此坐标值和H矩阵进行透视变换就可以把倾斜的社保卡映射成摆正的样子。

步骤S200中，通过模板匹配方法提取待识别图像中的文字区域，包括如下分步骤：

S221、从模板图像中截取感兴趣的文字区域为模板区域；

S222、通过matchTemplate模版匹配算法将模板区域与矫正后的待识别图像进行匹配，从待识别图像中选取与模板区域相似度最高的区域为文字区域。

步骤S300包括如下分步骤：

S310、构建CRNN模型，所述CRNN模型包括卷积层、循环层和转录层；

S320、以具有文字的图像数据集为训练样本，通过训练样本对构建的CRNN模型进行训练，得到训练后CRNN模型；

S330、通过训练后CRNN模型对文字区域进行文字识别。

其中，CRNN模型中，卷积层的主要功能是提取一张图片中的特征，降低维数；循环层的功能是为整个神经网络增加记忆功能，能保存上一时刻的输入值；转录层就是将神经网络的输出转化为序列，进一步转换成待识别的文字结果。

步骤S330中，将待识别的文字区域作为图像输入训练后的CRNN模型，CRNN模型中卷积层对待识别的文字区域进行特征提取，最终将转录层输出识别结果。

本发明的基于opencv和深度学习的社保卡识别方法，可实时准确的识别群众上传的社保卡图像中社保卡信息，在电子政务流程中，避免社保卡的信息的人工录入，简化了工作流程，减少了出错了，提供了政务工作效率。

实施例2：

本发明基于opencv和深度学习的社保卡识别系统，包括图像采集模块、矫正模块、文字区域提取模块和文字识别模块，其中，图像采集模块用于获取模板图像和待识别图像，并对待识别图像进行预处理；矫正模块，用于从图像采集模块获取模板图像和待识别图像，并通过模板匹配方法矫正待识别图像；文字区域提取模块，用于获取矫正后待识别图像以及从模板图像中截取模板区域，并用于通过模板匹配方法提取待识别图像中的文字区域；文字识别模块，用于基于深度学习技术构建并训练CRNN模型，并用于通过训练后CRNN模型对文字区域进行文字识别，所述CRNN模型包括卷积层、循环层和转录层；所述模板图像为仅显示摆正放置的社会保障卡的图像。

矫正模块通过其模板匹配子模块矫正待识别图像，模板匹配子模块为具有如下功能的子模块：

通过SURF特征提取算法分别提取模板图像和待识别图像的特征描述子；

通过最近邻匹配算法计算模板图像与待识别图像的相似特征点；

通过Homography单应性变换计算模板图像和待识别图像之间的映射矩阵，并通过映射矩阵对待识别图像进行矫正。

文字区域提取模块为具有如下功能的模块：

从矫正模块获取模板图像和矫正后待识别图像，并从模板图像中截取感兴趣的文字区域为模板区域；

通过matchTemplate模版匹配算法将模板区域与矫正后的待识别图像进行匹配，从待识别图像中选取与模板区域相似度最高的区域为文字区域。

文字识别模块为具有如下功能的模块：

构建CRNN模型，所述CRNN模型包括卷积层、循环层和转录层；

以具有文字的图像数据集为训练样本，通过训练样本对构建的CRNN模型进行训练，得到训练后CRNN模型；

通过训练后CRNN模型对文字区域进行文字识别。

本发明的基于opencv和深度学习的社保卡识别系统，可执行实施例1公开的基于opencv和深度学习的社保卡识别方法。

以上所述实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。

Claims (10)

1.基于opencv和深度学习的社保卡识别方法，其特征在于包括：

以仅显示摆正放置的社会保障卡的图像为模板图像，通过模板匹配方法矫正待识别图像，并提取待识别图像中的文字区域；

基于深度学习技术构建并训练CRNN模型，通过训练后CRNN模型对文字区域进行文字识别。

2.根据权利要求1所述的基于opencv和深度学习的社保卡识别方法，其特征在于通过模板匹配方法矫正待识别图像，包括：

通过SURF特征提取算法分别提取模板图像和待识别图像的特征描述子；

通过最近邻匹配算法计算模板图像与待识别图像的相似特征点；

通过Homography单应性变换计算模板图像和待识别图像之间的映射矩阵，并通过映射矩阵对待识别图像进行矫正。

3.根据权利要求2所述的基于opencv和深度学习的社保卡识别方法，其特征在于通过模板匹配方法提取待识别图像中的文字区域，包括：

从模板图像中截取感兴趣的文字区域为模板区域；

通过matchTemplate模版匹配算法将模板区域与矫正后的待识别图像进行匹配，从待识别图像中选取与模板区域相似度最高的区域为文字区域。

4.根据权利要求1、2或3所述的基于opencv和深度学习的社保卡识别方法，其特征在于基于深度学习技术构建并训练CRNN模型，通过训练后CRNN模型对文字区域进行文字识别，包括：

构建CRNN模型，所述CRNN模型包括卷积层、循环层和转录层；

以具有文字的图像数据集为训练样本，通过训练样本对构建的CRNN模型进行训练，得到训练后CRNN模型；

通过训练后CRNN模型对文字区域进行文字识别。

5.根据权利要求1、2或3所述的基于opencv和深度学习的社保卡识别方法，其特征在于通过模板匹配方法矫正待识别图像之前，对选取的待识别图像进行图像预处理，用于消除因光照和/或拍摄角度形成的干扰。

6.根据权利要求5所述的基于opencv和深度学习的社保卡识别方法，其特征在于对待识别图像进行预处理包括：

对待识别图像进行滤波处理；

对待识别图像进行二值化处理。

7.基于opencv和深度学习的社保卡识别系统，其特征在于包括：

图像采集模块，用于获取模板图像和待识别图像，并对待识别图像进行预处理；

矫正模块，用于从图像采集模块获取模板图像和待识别图像，并通过模板匹配方法矫正待识别图像；

文字区域提取模块，用于获取矫正后待识别图像以及从模板图像中截取模板区域，并用于通过模板匹配方法提取待识别图像中的文字区域；

文字识别模块，用于基于深度学习技术构建并训练CRNN模型，并用于通过训练后CRNN模型对文字区域进行文字识别，所述CRNN模型包括卷积层、循环层和转录层；

所述模板图像为仅显示摆正放置的社会保障卡的图像。

8.根据权利要求7所述的基于opencv和深度学习的社保卡识别系统，其特征在于矫正模块通过其模板匹配子模块矫正待识别图像，模板匹配子模块为具有如下功能的子模块：

通过SURF特征提取算法分别提取模板图像和待识别图像的特征描述子；

通过最近邻匹配算法计算模板图像与待识别图像的相似特征点；

通过Homography单应性变换计算模板图像和待识别图像之间的映射矩阵，并通过映射矩阵对待识别图像进行矫正。

9.根据权利要求7或8所述的基于opencv和深度学习的社保卡识别系统，其特征在于文字区域提取模块为具有如下功能的模块：

从矫正模块获取模板图像和矫正后待识别图像，并从模板图像中截取感兴趣的文字区域为模板区域；

通过matchTemplate模版匹配算法将模板区域与矫正后的待识别图像进行匹配，从待识别图像中选取与模板区域相似度最高的区域为文字区域。

10.根据权利要求7所述的基于opencv和深度学习的社保卡识别系统，其特征在于文字识别模块为具有如下功能的模块：

构建CRNN模型，所述CRNN模型包括卷积层、循环层和转录层；

以具有文字的图像数据集为训练样本，通过训练样本对构建的CRNN模型进行训练，得到训练后CRNN模型；

通过训练后CRNN模型对文字区域进行文字识别。