CN111626274A - 一种社保卡识别方法及其识别系统 - Google Patents

一种社保卡识别方法及其识别系统 Download PDF

Info

Publication number
CN111626274A
CN111626274A CN202010748142.1A CN202010748142A CN111626274A CN 111626274 A CN111626274 A CN 111626274A CN 202010748142 A CN202010748142 A CN 202010748142A CN 111626274 A CN111626274 A CN 111626274A
Authority
CN
China
Prior art keywords
image
social security
face
security card
initial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010748142.1A
Other languages
English (en)
Other versions
CN111626274B (zh
Inventor
罗安
周聪俊
史鹏翔
许春霞
师改梅
何进
徐�明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Junyi Fudun Technology Co ltd
Original Assignee
Sichuan Junyi Fudun Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Junyi Fudun Technology Co ltd filed Critical Sichuan Junyi Fudun Technology Co ltd
Priority to CN202010748142.1A priority Critical patent/CN111626274B/zh
Publication of CN111626274A publication Critical patent/CN111626274A/zh
Application granted granted Critical
Publication of CN111626274B publication Critical patent/CN111626274B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明属于图像识别技术领域，公开了一种社保卡识别方法及其识别系统，所述识别方法包括如下步骤：S1：获取社保卡的原始图像，并对原始图像进行预处理，得到预处理后图像；S2：进行预处理后图像的初始倾斜校正；S3：进行人脸检测，人脸检测通过后，进行身份证号码检测；S4：进行最终倾斜校正，并进行身份证号码定位；S5：进行姓名定位；S6：进行文字识别，得到社保卡信息。本发明解决了现有技术存在的社保卡信息人工录入速度慢、办公效率低，并且缺乏能够适应不同分辨率、不同距离以及不同拍摄角度的社保卡信息识别技术的问题。

Description

一种社保卡识别方法及其识别系统
技术领域
本发明属于图像识别技术领域，具体涉及一种社保卡识别方法及其识别系统。
背景技术
居民社保卡作为个人享受社会福利重要凭证，在各个行业都需要对社保卡进行识别，如航空、银行、信用社、保险、医院等地方办理手续和业务时常需要录入社保卡信息，传统的PC端可以通过社保卡读卡器识别出社保卡信息，但随着移动互联的发展，越来越多的应用都移植到了移动端，在每个手机上配读卡器显然不可能，手工录入速度慢、办公效率太低是一大亟需解决的问题，整个流程下来非常麻烦，且花费大量时间，目前比较智能的方法是采用图像处理和识别技术，采用传统的OCR(即光学字符识别技术)识别技术开发，对图像、文字信息进行分析和管理。
在实现本发明的过程中，发明人发现现有技术中至少存在如下问题：
现有技术中，大量采用的方案是对社保卡信息进行人工录入，这种方法录入速度慢、办公效率低，并且缺乏一种能够适应不同分辨率、不同距离以及不同拍摄角度的识别社保卡信息的技术。
发明内容
本发明旨在于至少在一定程度上解决上述技术问题之一。
为此，本发明目的在于提供一种社保卡识别方法及其识别系统，用于解决现有技术存在的社保卡信息人工录入速度慢、办公效率低，并且缺乏能够适应不同分辨率、不同距离以及不同拍摄角度的社保卡信息识别技术的问题。
本发明所采用的技术方案为：
一种社保卡识别方法，包括如下步骤：
S1：获取社保卡的原始图像，并对原始图像进行预处理，得到预处理后图像；
S2：进行预处理后图像的初始倾斜校正，得到初始倾斜校正后图像；
S3：基于初始倾斜校正后图像进行人脸检测，人脸检测通过后，进行身份证号码检测；
S4：身份证号码检测通过后，进行初始倾斜校正后图像的最终倾斜校正，得到最终倾斜校正后图像，并基于最终倾斜校正后图像进行身份证号码定位，得到身份证号码精确位置；
S5：根据身份证号码精确位置，基于最终倾斜校正后图像进行姓名定位，得到姓名精确位置；
S6：根据身份证号码精确位置和姓名精确位置，基于最终倾斜校正后图像进行文字识别，得到社保卡信息。
进一步地，步骤S1中，预处理包括高斯滤波处理、灰度处理、二值化处理、闭运算处理、填充处理以及去噪处理。
进一步地，步骤S2的具体步骤为：
S2-1：提取预处理后图像的轮廓，并提取预处理后图像的轮廓的所有直线；
S2-2：获取直线的直线角度，将角度分布概率最大的直线角度作为预处理后图像的初始倾斜角度；
S2-3：根据初始倾斜角度进行预处理后图像的初始倾斜校正，得到初始倾斜校正后图像。
进一步地，步骤S2中，初始倾斜校正的公式为：
Figure DEST_PATH_IMAGE001
式中，∝、-∝均为初始倾斜角度；（x1，y1）为初始倾斜校正后图像坐标；（x，y）为预处理后图像坐标。
进一步地，步骤S3中，人脸检测的具体步骤为：
A-1：对初始倾斜校正后图像进行人脸检测，并使人脸检测参数face_angle=0，判断是否检测到人脸，若是则得到人脸位置，并进行身份证号码检测，否则进入步骤A-2；
A-2：将初始倾斜校正后图像顺时针旋转180度，进行人脸检测，并使人脸检测参数face_angle=1，判断是否检测到人脸，若是则得到人脸位置，并进行身份证号码检测，否则进入步骤A-3；
A-3：将原来的初始倾斜校正后图像顺时针旋转90度，进行人脸检测，并使人脸检测参数face_angle=2，判断是否检测到人脸，若是则得到人脸位置，并进行身份证号码检测，否则进入步骤A-4；
A-4：将原来的初始倾斜校正后图像逆时针旋转90度，进行人脸检测，并使人脸检测参数face_angle=3，判断是否检测到人脸，若是则得到人脸位置，并进行身份证号码检测，否则直接结束社保卡识别方法。
进一步地，步骤S3中，身份证号码检测的具体步骤为：
B-1：人脸检测通过后，根据初始倾斜校正后图像中人脸位置和身份证号码位置的固定位置关系，进行身份证号码检测，判断是否检测到身份证号码，若是则进入步骤S4，否则进入步骤B-2；
B-2：进行第一次人脸复检，判断是否检测到人脸，若是则进入步骤B-3，否则进入步骤B-4；
B-3：进行身份证号码检测，判断是否检测到身份证号码，若是则进入步骤S4，否则进入步骤B-4；
B-4：进行第二次人脸复检，判断是否检测到人脸，若是则进入步骤B-5，否则直接结束社保卡识别方法；
B-5：进行身份证号码检测，判断是否检测到身份证号码，若是则进入步骤S4，否则直接结束社保卡识别方法。
进一步地，步骤S4的具体步骤为：
S4-1：身份证号码检测通过后，提取初始倾斜校正后图像的轮廓，并获取轮廓的外接矩形；
S4-2：根据人脸检测获取的人脸位置、身份证号码的预设长宽比以及外接矩形，得到身份证号码矩形及其最终倾斜角度；
S4-3：根据最终倾斜角度进行初始倾斜校正后图像的最终倾斜校正，得到最终倾斜校正后图像；
S4-4：根据最终倾斜校正后图像和身份证号码矩形，进行身份证号码初始定位，得到身份证号码初始位置；
S4-5：根据身份证号码初始位置进行身份证号码精确定位，即根据身份证号码初始位置和最终倾斜校正后图像，使用投影法确定身份证号码的边界，并根据身份证号码的边界得到身份证号码精确位置。
进一步地，步骤S5的具体步骤为：
S5-1：根据身份证号码精确位置和最终倾斜校正后图像，获取姓名初始位置；
S5-2：根据姓名初始位置和最终倾斜校正后图像，使用投影法确定姓名的边界；
S5-3：根据姓名的边界得到姓名精确位置。
进一步地，步骤S6的具体步骤为：
S6-1：建立CRNN模型，对CRNN模型进行训练，得到文字识别模型；
S6-2：根据身份证号码精确位置和姓名精确位置，使用文字识别模型对最终倾斜校正后图像的对应位置进行文字识别，得到社保卡信息。
一种社保卡识别系统，应用于社保卡识别方法，识别系统包括社保卡图像采集单元、社保卡识别单元以及展示单元，社保卡图像采集单元、社保卡识别单元以及展示单元依次通信连接；
所述社保卡图像采集单元用于获取社保卡的原始图像，并将社保卡的原始图像发送至社保卡识别单元；
所述的社保卡识别单元用于接收社保卡的原始图像，并对原始图像进行预处理，得到预处理后图像，并进行预处理后图像的初始倾斜校正，得到初始倾斜校正后图像，然后基于初始倾斜校正后图像进行人脸检测，人脸检测通过后，进行身份证号码检测，且在身份证号码检测通过后，进行初始倾斜校正后图像的最终倾斜校正，得到最终倾斜校正后图像，并基于最终倾斜校正后图像进行身份证号码定位，得到身份证号码精确位置，接着根据身份证号码精确位置，基于最终倾斜校正后图像进行姓名定位，得到姓名精确位置，最后根据身份证号码精确位置和姓名精确位置，基于最终倾斜校正后图像进行文字识别，得到社保卡信息；
所述展示单元用于展示社保卡信息。
本发明的有益效果为：
本发明使用图像识别技术进行社保卡信息识别，避免了人工录入，提高了录入速度和办公效率，本发明通过对社保卡图像进行预处理并且进行多次检测和多次倾斜校正，提高了对不同分辨率、不同距离以及不同拍摄角度的图像的适应性，对身份证号码和姓名进行精确定位，提高了社保卡信息识别的准确度。
本发明的其他有益效果将在具体实施方式中进行详细说明。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是社保卡识别方法流程图；
图2是社保卡识别系统结构框图。
具体实施方式
下面结合附图及具体实施例来对本发明作进一步阐述。在此需要说明的是，对于这些实施例方式的说明虽然是用于帮助理解本发明，但并不构成对本发明的限定。本发明公开的功能细节仅用于描述本发明的示例实施例。然而，可用很多备选的形式来体现本发明，并且不应当理解为本发明限制在本发明阐述的实施例中。
应当理解，本发明使用的术语仅用于描述特定实施例，并不意在限制本发明的示例实施例。若术语“包括”、“包括了”、“包含”和/或“包含了”在本发明中被使用时，指定所声明的特征、整数、步骤、操作、单元和/或组件的存在性，并且不排除一个或多个其他特征、数量、步骤、操作、单元、组件和/或他们的组合存在性或增加。
应当理解，还应当注意到在一些备选实施例中，所出现的功能/动作可能与附图出现的顺序不同。例如，取决于所涉及的功能/动作，实际上可以实质上并发地执行，或者有时可以以相反的顺序来执行连续示出的两个图。
应当理解，在下面的描述中提供了特定的细节，以便于对示例实施例的完全理解。然而，本领域普通技术人员应当理解可以在没有这些特定细节的情况下实现示例实施例。例如可以在框图中示出系统，以避免用不必要的细节来使得示例不清楚。在其他实例中，可以不以不必要的细节来示出众所周知的过程、结构和技术，以避免使得示例实施例不清楚。
实施例1
如图1所示，本实施例提供一种社保卡识别方法，包括如下步骤：
S1：获取社保卡的原始图像，并对原始图像进行预处理，得到预处理后图像；
预处理包括高斯滤波处理、灰度处理、二值化处理、闭运算处理、填充处理以及去噪处理；
本实施例基于OpenCV对原始图像进行预处理：
OpenCV是一个基于伯克利软件套件BSD许可发行的跨平台计算机视觉和机器学习软件库；
1）对原始图像使用高斯滤波GaussianBlur函数进行高斯增强；
2）使用Sobel算子进行边缘检测，并进行灰度处理；
3）使用最大类间方差法OTSU进行二值化处理；
4）使用OpenCV的形态学结构进行闭运算；
5）使用泛洪算法FloodFill函数填充空洞；
6）对经过上述操作的原始图像进行去噪处理，去除小面积噪音，得到预处理后图像；
这一步骤中，消除了一些外部因素例如分辨率不高等造成的图像不清晰的问题，并且将原始图像转化成了便于后续步骤处理的格式，提高了图像识别的效率和准确度；
S2：进行预处理后图像的初始倾斜校正，得到初始倾斜校正后图像，具体步骤为：
S2-1：使用轮廓检索FindContours函数提取预处理后图像的轮廓，并提取轮廓的所有直线；
S2-2：获取直线的直线角度，将角度分布概率最大的直线角度作为预处理后图像的初始倾斜角度；
获取角度分布概率最大的直线角度的具体步骤为：将所有的直线角度进行概率分布排序，即分别统计直线角度处于倾角范围[0°,1°），[1°,2°），[2°,3°），…，[88°,89°）以及[89°,90°]内的直线的数量，将直线的数量分布最多的直线角度作为角度分布概率最大的直线角度；
S2-3：根据初始倾斜角度进行预处理后图像的初始倾斜校正，得到初始倾斜校正后图像；
当前初始倾斜角度为顺时针的
Figure 888603DEST_PATH_IMAGE002
度时，将预处理后图像进行逆时针的
Figure 976644DEST_PATH_IMAGE002
度旋转，同样的，当前初始倾斜角度为顺时针的
Figure 774836DEST_PATH_IMAGE004
度时，将预处理后图像进行顺时针的
Figure 319211DEST_PATH_IMAGE002
度旋转；
初始倾斜校正的公式为：
Figure DEST_PATH_IMAGE005
式中，∝、-∝均为初始倾斜角度；（x1，y1）为初始倾斜校正后图像坐标；（x，y）为预处理后图像坐标；
S3：基于初始倾斜校正后图像进行人脸检测，人脸检测通过后，进行身份证号码检测；
使用基于哈尔Haar特征的自适应增强Adaboost级联分类器进行初始倾斜校正后图像的人脸检测，检测到的人脸区域记为：
[face_x, face_y, face_w, face_h] ，其中，face_x、 face_y、 face_w、 face_h均为人脸区域的坐标参数，具体步骤为：
A-1：对初始倾斜校正后图像进行人脸检测，并使人脸检测参数face_angle=0，判断是否检测到人脸，若是则得到人脸位置，并进行身份证号码检测，否则进入步骤A-2；
A-2：将初始倾斜校正后图像顺时针旋转180度，进行人脸检测，并使人脸检测参数face_angle=1，判断是否检测到人脸，若是则得到人脸位置，并进行身份证号码检测，否则进入步骤A-3；
A-3：将原来的初始倾斜校正后图像顺时针旋转90度，进行人脸检测，并使人脸检测参数face_angle=2，判断是否检测到人脸，若是则得到人脸位置，并进行身份证号码检测，否则进入步骤A-4；
A-4：将原来的初始倾斜校正后图像逆时针旋转90度，进行人脸检测，并使人脸检测参数face_angle=3，判断是否检测到人脸，若是则得到人脸位置，并进行身份证号码检测，否则直接结束社保卡识别方法；
身份证号码检测的具体步骤为：
B-1：人脸检测通过后，根据初始倾斜校正后图像中人脸位置和身份证号码位置的固定位置关系，进行身份证号码检测，判断是否检测到身份证号码，若是则进入步骤S4，否则进入步骤B-2；
B-2：进行第一次人脸复检，判断是否检测到人脸，若是则进入步骤B-3，否则进入步骤B-4；
考虑到人脸检测环节有人脸检测误检的情况，因此需要根据人脸检测参数进行人脸复检，第一次人脸复检包括四种情况：
1）当人脸检测参数face_angle=3时，表示在人脸检测环节已经进行了初始倾斜校正后图像多个角度的旋转，不存在误检的情况，直接退出识别方法；
2）当人脸检测参数face_angle=2时，将原来的初始倾斜校正后图像逆时针旋转90度，进行人脸检测，判断是否检测到人脸，若是则进入步骤B-3，否则直接结束社保卡识别方法；
3）当人脸检测参数face_angle=1时，将原来的初始倾斜校正后图像顺时针旋转90度，进行人脸检测，判断是否检测到人脸，若是则进入步骤B-3，否则进入步骤B-4；
4）当人脸检测参数face_angle=0时，将初始倾斜校正后图像顺时针旋转180度，进行人脸检测，判断是否检测到人脸，若是则进入步骤B-3，否则进入步骤B-4；
B-3：进行身份证号码检测，判断是否检测到身份证号码，若是则进入步骤S4，否则进入步骤B-4；
B-4：进行第二次人脸复检，判断是否检测到人脸，若是则进入步骤B-5，否则直接结束社保卡识别方法；
第二次人脸复检包括两种情况：
1）当人脸检测参数face_angle=1时，将原来的初始倾斜校正后图像逆时针旋转90度，进行人脸检测，判断是否检测到人脸，若是则进入步骤B-3，否则直接结束社保卡识别方法；
2）当人脸检测参数face_angle=0时，将原来的初始倾斜校正后图像顺时针旋转90度，进行人脸检测，判断是否检测到人脸，若是则进入步骤B-3，否则更新当前人脸检测参数face_angle=1，返回步骤B-4；
B-5：进行身份证号码检测，判断是否检测到身份证号码，若是则进入步骤S4，否则直接结束社保卡识别方法；
S4：身份证号码检测通过后，进行初始倾斜校正后图像的最终倾斜校正，得到最终倾斜校正后图像，并基于最终倾斜校正后图像进行身份证号码定位，得到身份证号码精确位置，具体步骤为：
S4-1：身份证号码检测通过后，使用FindContours函数提取初始倾斜校正后图像的轮廓，并获取轮廓的外接矩形；
S4-2：根据人脸检测获取的人脸位置、身份证号码的预设长宽比以及外接矩形，得到身份证号码矩形及其最终倾斜角度；
由于社保卡中人脸位置和身份证号码的相对位置关系是固定的，已经定位到了人脸位置，为节约检测时间，将身份证号码的定位矩形限定在一个范围内，以免全图做身份证号码检测时太耗时，初始定位矩形表示为：
[rect_x, rect_y, rect_w, rect_h]，其中，rect_x、rect_y、 rect_w、 rect_h均为身份证号码的定位矩形的坐标参数，公式为：
Figure 581565DEST_PATH_IMAGE006
S4-3：根据最终倾斜角度进行初始倾斜校正后图像的最终倾斜校正，得到最终倾斜校正后图像；
对图像进行初始倾斜校正和最终倾斜校正，消除了由于拍摄角度和拍摄距离等因素造成的图像识别困难的问题，提高了识别的效率和准确度；
S4-4：根据最终倾斜校正后图像和身份证号码矩形，进行身份证号码初始定位，得到身份证号码初始位置；
S4-5：根据身份证号码初始位置进行身份证号码精确定位，即根据身份证号码初始位置和最终倾斜校正后图像，使用投影法确定身份证号码的边界，并根据身份证号码的边界得到身份证号码精确位置；
S5：根据身份证号码精确位置，基于最终倾斜校正后图像进行姓名定位，得到姓名精确位置，具体步骤为：
S5-1：根据身份证号码精确位置和最终倾斜校正后图像，获取姓名初始位置；
S5-2：根据姓名初始位置和最终倾斜校正后图像，使用投影法确定姓名的边界；
S5-3：根据姓名的边界得到姓名精确位置；
S6：根据身份证号码精确位置和姓名精确位置，基于最终倾斜校正后图像进行文字识别，得到社保卡信息，具体步骤为：
S6-1：建立卷积循环神经网络CRNN模型，对CRNN模型进行训练，得到文字识别模型；
1）将具有文字的图像进行预处理，预处理方法与步骤S1相同，得到预处理后图像；
2）将预处理后图像分为训练集和测试集，建立CRNN模型；
3）使用训练集对CRNN模型进行训练，得到初始文字识别模型；
4）使用测试集对初始文字识别模型进行优化，得到并输出最优文字识别模型；
S6-2：根据身份证号码精确位置和姓名精确位置，使用文字识别模型对最终倾斜校正后图像的对应位置进行文字识别，得到社保卡信息；
社保卡信息不仅包括了身份证号码和姓名，也包括了其他信息，例如地址信息。
实施例2：
本实施例提供一种社保卡识别系统，如图2所示，应用于社保卡识别方法，识别系统包括社保卡图像采集单元、社保卡识别单元以及展示单元，社保卡图像采集单元、社保卡识别单元以及展示单元依次通信连接；
社保卡图像采集单元用于获取社保卡的原始图像，并将社保卡的原始图像发送至社保卡识别单元；的社保卡识别单元用于接收社保卡的原始图像，并对原始图像进行预处理，得到预处理后图像，并进行预处理后图像的初始倾斜校正，得到初始倾斜校正后图像，然后基于初始倾斜校正后图像进行人脸检测，人脸检测通过后，进行身份证号码检测，且在身份证号码检测通过后，进行初始倾斜校正后图像的最终倾斜校正，得到最终倾斜校正后图像，并基于最终倾斜校正后图像进行身份证号码定位，得到身份证号码精确位置，接着根据身份证号码精确位置，基于最终倾斜校正后图像进行姓名定位，得到姓名精确位置，最后根据身份证号码精确位置和姓名精确位置，基于最终倾斜校正后图像进行文字识别，得到社保卡信息；展示单元用于展示社保卡信息。
具体的，社保卡图像采集单元负责通过手机或者市面上常用的摄像头拍摄社保卡图片，拍摄的图片保护背景信息，存在小角度的倾斜时，使用社保卡识别单元进行消除；
社保卡识别单元负责对采集单元采集到的图像进行社保卡号码定位，当定位到社保卡的身份证号码时，确定为社保卡，否则为非社保卡，然后进行社保卡各信息的分割及识别，识别后送入展示单元，本实施例中，主要为身份证号码和姓名，也可以包括社保卡上的其他信息，例如地址等；
展示单元负责对识别结果进行展示；
采用社保卡图像采集单元方便快捷的采集社保卡的图像，并且发送至社保卡识别单元进行识别，避免人工录入，提高了录入速度和办公效率，同时在展示单元将社保卡信息进行显示，方便使用者观察，并且该系统结构简单，节约了成本投入。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所描述的实施例仅仅是示意性的，若涉及到作为分离部件说明的单元，其可以是或者也可以不是物理上分开的；若涉及到作为单元显示的部件，其可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
本发明不局限于上述可选的实施方式，任何人在本发明的启示下都可得出其他各种形式的产品。上述具体实施方式不应理解成对本发明的保护范围的限制，本发明的保护范围应当以权利要求书中界定的为准，并且说明书可以用于解释权利要求书。

Claims (10)

1.一种社保卡识别方法，其特征在于：包括如下步骤：
S1：获取社保卡的原始图像，并对原始图像进行预处理，得到预处理后图像；
S2：进行预处理后图像的初始倾斜校正，得到初始倾斜校正后图像；
S3：基于初始倾斜校正后图像进行人脸检测，人脸检测通过后，进行身份证号码检测；
S4：身份证号码检测通过后，进行初始倾斜校正后图像的最终倾斜校正，得到最终倾斜校正后图像，并基于最终倾斜校正后图像进行身份证号码定位，得到身份证号码精确位置；
S5：根据身份证号码精确位置，基于最终倾斜校正后图像进行姓名定位，得到姓名精确位置；
S6：根据身份证号码精确位置和姓名精确位置，基于最终倾斜校正后图像进行文字识别，得到社保卡信息。
2.根据权利要求1所述的社保卡识别方法，其特征在于：所述步骤S1中，预处理包括高斯滤波处理、灰度处理、二值化处理、闭运算处理、填充处理以及去噪处理。
3.根据权利要求1所述的社保卡识别方法，其特征在于：所述步骤S2的具体步骤为：
S2-1：提取预处理后图像的轮廓，并提取预处理后图像的轮廓的所有直线；
S2-2：获取直线的直线角度，将角度分布概率最大的直线角度作为预处理后图像的初始倾斜角度；
S2-3：根据初始倾斜角度进行预处理后图像的初始倾斜校正，得到初始倾斜校正后图像。
4.根据权利要求1所述的社保卡识别方法，其特征在于：所述步骤S2中，初始倾斜校正的公式为：
Figure DEST_PATH_IMAGE002
式中，∝、-∝均为初始倾斜角度；（x1，y1）为初始倾斜校正后图像坐标；（x，y）为预处理后图像坐标。
5.根据权利要求1所述的社保卡识别方法，其特征在于：所述步骤S3中，人脸检测的具体步骤为：
A-1：对初始倾斜校正后图像进行人脸检测，并使人脸检测参数face_angle=0，判断是否检测到人脸，若是则得到人脸位置，并进行身份证号码检测，否则进入步骤A-2；
A-2：将初始倾斜校正后图像顺时针旋转180度，进行人脸检测，并使人脸检测参数face_angle=1，判断是否检测到人脸，若是则得到人脸位置，并进行身份证号码检测，否则进入步骤A-3；
A-3：将原来的初始倾斜校正后图像顺时针旋转90度，进行人脸检测，并使人脸检测参数face_angle=2，判断是否检测到人脸，若是则得到人脸位置，并进行身份证号码检测，否则进入步骤A-4；
A-4：将原来的初始倾斜校正后图像逆时针旋转90度，进行人脸检测，并使人脸检测参数face_angle=3，判断是否检测到人脸，若是则得到人脸位置，并进行身份证号码检测，否则直接结束社保卡识别方法。
6.根据权利要求1所述的社保卡识别方法，其特征在于：所述步骤S3中，身份证号码检测的具体步骤为：
B-1：人脸检测通过后，根据初始倾斜校正后图像中人脸位置和身份证号码位置的固定位置关系，进行身份证号码检测，判断是否检测到身份证号码，若是则进入步骤S4，否则进入步骤B-2；
B-2：进行第一次人脸复检，判断是否检测到人脸，若是则进入步骤B-3，否则进入步骤B-4；
B-3：进行身份证号码检测，判断是否检测到身份证号码，若是则进入步骤S4，否则进入步骤B-4；
B-4：进行第二次人脸复检，判断是否检测到人脸，若是则进入步骤B-5，否则直接结束社保卡识别方法；
B-5：进行身份证号码检测，判断是否检测到身份证号码，若是则进入步骤S4，否则直接结束社保卡识别方法。
7.根据权利要求5所述的社保卡识别方法，其特征在于：所述步骤S4的具体步骤为：
S4-1：身份证号码检测通过后，提取初始倾斜校正后图像的轮廓，并获取轮廓的外接矩形；
S4-2：根据人脸检测获取的人脸位置、身份证号码的预设长宽比以及外接矩形，得到身份证号码矩形及其最终倾斜角度；
S4-3：根据最终倾斜角度进行初始倾斜校正后图像的最终倾斜校正，得到最终倾斜校正后图像；
S4-4：根据最终倾斜校正后图像和身份证号码矩形，进行身份证号码初始定位，得到身份证号码初始位置；
S4-5：根据身份证号码初始位置进行身份证号码精确定位，即根据身份证号码初始位置和最终倾斜校正后图像，使用投影法确定身份证号码的边界，并根据身份证号码的边界得到身份证号码精确位置。
8.根据权利要求1所述的社保卡识别方法，其特征在于：所述步骤S5的具体步骤为：
S5-1：根据身份证号码精确位置和最终倾斜校正后图像，获取姓名初始位置；
S5-2：根据姓名初始位置和最终倾斜校正后图像，使用投影法确定姓名的边界；
S5-3：根据姓名的边界得到姓名精确位置。
9.根据权利要求1所述的社保卡识别方法，其特征在于：所述步骤S6的具体步骤为：
S6-1：建立CRNN模型，对CRNN模型进行训练，得到文字识别模型；
S6-2：根据身份证号码精确位置和姓名精确位置，使用文字识别模型对最终倾斜校正后图像的对应位置进行文字识别，得到社保卡信息。
10.一种基于权利要求1-9任一所述的社保卡识别方法的社保卡识别系统，应用于社保卡识别方法，其特征在于：所述识别系统包括社保卡图像采集单元、社保卡识别单元以及展示单元，所述社保卡图像采集单元、社保卡识别单元以及展示单元依次通信连接；
所述社保卡图像采集单元用于获取社保卡的原始图像，并将社保卡的原始图像发送至社保卡识别单元；
所述的社保卡识别单元用于接收社保卡的原始图像，并对原始图像进行预处理，得到预处理后图像，并进行预处理后图像的初始倾斜校正，得到初始倾斜校正后图像，然后基于初始倾斜校正后图像进行人脸检测，人脸检测通过后，进行身份证号码检测，且在身份证号码检测通过后，进行初始倾斜校正后图像的最终倾斜校正，得到最终倾斜校正后图像，并基于最终倾斜校正后图像进行身份证号码定位，得到身份证号码精确位置，接着根据身份证号码精确位置，基于最终倾斜校正后图像进行姓名定位，得到姓名精确位置，最后根据身份证号码精确位置和姓名精确位置，基于最终倾斜校正后图像进行文字识别，得到社保卡信息；
所述展示单元用于展示社保卡信息。
CN202010748142.1A 2020-07-30 2020-07-30 一种社保卡识别方法 Active CN111626274B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010748142.1A CN111626274B (zh) 2020-07-30 2020-07-30 一种社保卡识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010748142.1A CN111626274B (zh) 2020-07-30 2020-07-30 一种社保卡识别方法

Publications (2)

Publication Number Publication Date
CN111626274A true CN111626274A (zh) 2020-09-04
CN111626274B CN111626274B (zh) 2020-10-27

Family

ID=72272232

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010748142.1A Active CN111626274B (zh) 2020-07-30 2020-07-30 一种社保卡识别方法

Country Status (1)

Country Link
CN (1) CN111626274B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112017245A (zh) * 2020-10-19 2020-12-01 北京捷通华声科技股份有限公司 证件定位方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105528602A (zh) * 2015-10-30 2016-04-27 小米科技有限责任公司 区域识别方法及装置
CN105701488A (zh) * 2016-01-01 2016-06-22 广州恒巨信息科技有限公司 一种身份证识别方法
CN105844206A (zh) * 2015-01-15 2016-08-10 北京市商汤科技开发有限公司 身份认证方法及设备
CN106326888A (zh) * 2016-08-16 2017-01-11 北京旷视科技有限公司 图像识别方法和装置
CN107993192A (zh) * 2017-12-13 2018-05-04 北京小米移动软件有限公司 证件图像校正方法、装置和设备
CN109410026A (zh) * 2018-02-09 2019-03-01 深圳壹账通智能科技有限公司 基于人脸识别的身份认证方法、装置、设备和存储介质
CN109886274A (zh) * 2019-03-25 2019-06-14 山东浪潮云信息技术有限公司 基于opencv和深度学习的社保卡识别方法及系统
US10339374B1 (en) * 2018-08-20 2019-07-02 Capital One Services, Llc Detecting a fragmented object in an image
CN111340022A (zh) * 2020-02-24 2020-06-26 深圳市华云中盛科技股份有限公司 身份证信息识别方法、装置、计算机设备及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105844206A (zh) * 2015-01-15 2016-08-10 北京市商汤科技开发有限公司 身份认证方法及设备
CN105528602A (zh) * 2015-10-30 2016-04-27 小米科技有限责任公司 区域识别方法及装置
CN105701488A (zh) * 2016-01-01 2016-06-22 广州恒巨信息科技有限公司 一种身份证识别方法
CN106326888A (zh) * 2016-08-16 2017-01-11 北京旷视科技有限公司 图像识别方法和装置
CN107993192A (zh) * 2017-12-13 2018-05-04 北京小米移动软件有限公司 证件图像校正方法、装置和设备
CN109410026A (zh) * 2018-02-09 2019-03-01 深圳壹账通智能科技有限公司 基于人脸识别的身份认证方法、装置、设备和存储介质
US10339374B1 (en) * 2018-08-20 2019-07-02 Capital One Services, Llc Detecting a fragmented object in an image
CN109886274A (zh) * 2019-03-25 2019-06-14 山东浪潮云信息技术有限公司 基于opencv和深度学习的社保卡识别方法及系统
CN111340022A (zh) * 2020-02-24 2020-06-26 深圳市华云中盛科技股份有限公司 身份证信息识别方法、装置、计算机设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112017245A (zh) * 2020-10-19 2020-12-01 北京捷通华声科技股份有限公司 证件定位方法
CN112017245B (zh) * 2020-10-19 2021-02-05 北京捷通华声科技股份有限公司 证件定位方法

Also Published As

Publication number Publication date
CN111626274B (zh) 2020-10-27

Similar Documents

Publication Publication Date Title
CN110060237B (zh) 一种故障检测方法、装置、设备及系统
CN101908136B (zh) 一种表格识别处理方法及系统
CN106960208A (zh) 一种仪表液晶数字自动切分和识别的方法及系统
CN110119741A (zh) 一种有背景的卡证图像信息识别方法
CN113486828B (zh) 图像处理方法、装置、设备和存储介质
CN110781882A (zh) 一种基于yolo模型的车牌定位和识别方法
CN110135421A (zh) 车牌识别方法、装置、计算机设备及计算机可读存储介质
CN110781890A (zh) 身份证识别方法、装置、电子设备及可读取存储介质
CN105590112B (zh) 一种图像识别中倾斜文字判断方法
CN105184294B (zh) 一种基于像素追踪的倾斜文字判断识别方法
CN111898610A (zh) 卡片缺角检测方法、装置、计算机设备及存储介质
CN111626274B (zh) 一种社保卡识别方法
CN113111880A (zh) 证件图像校正方法、装置、电子设备及存储介质
CN116597466A (zh) 一种基于改进YOLOv5s的工程图纸文字检测识别方法及系统
CN112597940B (zh) 证件图像识别方法、装置及存储介质
CN113221897B (zh) 图像矫正方法、图像文本识别方法、身份验证方法及装置
CN112329597A (zh) 一种人脸识别的方法和装置
CN112288372B (zh) 一种可同时识别一维条码和三段码字符的快递单识别方法
Huang et al. Detection and recognition of speed limit signs
CN114926829A (zh) 一种证件检测方法、装置、电子设备及存储介质
CN112488110A (zh) 一种图片中局部信息精准抓取的方法和系统
CN112308061B (zh) 一种车牌字符识别方法及装置
CN114627457A (zh) 一种票面信息识别方法及装置
CN114359923A (zh) 证件字符识别方法、装置、计算机及存储介质
CN111368726A (zh) 建筑工地作业面人数统计方法、系统、存储介质及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant