CN110443184B - 身份证信息提取方法、装置及计算机存储介质 - Google Patents
身份证信息提取方法、装置及计算机存储介质 Download PDFInfo
- Publication number
- CN110443184B CN110443184B CN201910701381.9A CN201910701381A CN110443184B CN 110443184 B CN110443184 B CN 110443184B CN 201910701381 A CN201910701381 A CN 201910701381A CN 110443184 B CN110443184 B CN 110443184B
- Authority
- CN
- China
- Prior art keywords
- identity card
- image
- acquiring
- processed
- card information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
- G06V30/41—Analysis of document content
- G06V30/413—Classification of content, e.g. text, photographs or tables
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
Abstract
本发明提供一种身份证信息提取方法,方法包括:获取待处理图像;检测所述待处理图像中的人脸;基于所检测的人脸,确定身份证对应在所述待处理图像中的位置,并获取身份证图像;对所述身份证图像进行二值化处理,获得处理后图像;通过连通区搜索算法,获取所述处理后图像的连通区;根据连通区进行文字行切分,以及投影法进行文字的列切分;根据CNN网络模型进行字符识别;根据预设的身份证整合格式与所述字符识别结果,获取身份证信息。此外,本发明还公开了一种身份证信息提取装置及计算机存储介质。
Description
技术领域
本发明涉及图像处理技术领域,特别是涉及一种身份证信息提取方法、装置及计算机存储介质。
背景技术
身份证作为人口信息行之有效的管理工具,已经运用到了社会生活的方方面面。目前,身份证中的个人信息录入大多采用人工录入,这种方法不但耗时,效率低下,并且容易因为人工输入原因产生信息错录入,造成不必要的损失;而如果能够从图像处理的角度,让机器代替人工对图像的信息进行识别,将能解决人工录入问题。
现有技术中,通常利用人工审核,人工审核的缺点在于审核耗时长,费力又容易出错,最关键的是审核员接触大量的身份证信息,容易造成信息泄露。
发明内容
鉴于以上所述现有技术的缺点,本发明的目的在于提供一种身份证信息提取方法及装置,可以自动化地定位身份证位置,快速的对相关区域的文字信息进行定位和识别,从而高效获取身份证上的文本信息,并且识别准确性高、速度快并且具有良好的抗噪音干扰效果。
为实现上述目的及其他相关目的,本发明提供一种身份证信息提取方法,所述方法包括:
获取待处理图像;
检测所述待处理图像中的人脸;
基于所检测的人脸,确定身份证对应在所述待处理图像中的位置,并获取身份证图像;
对所述身份证图像进行二值化处理,获得处理后图像;
通过连通区搜索算法,获取所述处理后图像的连通区;
根据连通区进行文字行切分,以及投影法进行文字的列切分;
根据CNN网络模型进行字符识别;
根据预设的身份证整合格式与所述字符识别结果,获取身份证信息。
一种实现方式中,所述检测所述待处理图像中的人脸的步骤,包括:
采用Haar分类器检测所述待处理图像中的人脸以及人脸对应的位置。
一种实现方式中,所述基于所检测的人脸,确定身份证对应在所述待处理图像中的位置,并获取身份证图像的步骤,包括:
获取预设的人脸与身份证的比例关系;
根据与所述人脸和所述人脸位置,按照预设坐标关系,确定身份证位置;
其中,所述预设坐标关系包括:
其中,(xface1,yface1)和(xface2,yface2)为所述人脸位置的对角坐标,width是所述人脸所对应的宽度、height是所述人脸所对应的高度,(x1,y1),(x2,y2)为与所述人脸位置的对角坐标相对应的所述身份证图像的对角坐标。
一种实现方式中,所述对所述身份证图像进行二值化处理,获得处理后图像的步骤,包括:
获取噪声像素点;
设置搜索窗口,并获取搜索窗口中每一个像素点与噪声像素点的欧氏距离;
根据欧式距离获得像素点所对应的权重;
根据所获取的权重和所述搜索窗口中的像素值,替换噪声点的像素值;
获取原始灰度级,以及每一灰度级所对应的像素点个数,并进行归一化处理,获取归一化后的灰度直方图;
根据所述灰度直方图,根据像素点个数计算每一类像素点的概率以及平均灰度值;
获取每一类像素点的平均灰度值和累计灰度值以及任意两类像素点的内部方差;
获取每一类的灰度累计值;
根据灰度累计值,获取类间方差;
并根据雷剑方差获取阈值;
根据所述阈值进行二值化处理,获得处理后图像。
一种实现方式中,所述通过连通区搜索算法,获取所述处理后图像的连通区的步骤,包括:
通过预设的间隙阈值,判断两个连通区是否属于同一字符;
如果是,则合该两个连通区。
一种实现方式中,所述根据连通区进行文字行切分,以及投影法进行文字的列切分的步骤,包括:
将合并连通区域后的字符的外界矩形,按照中心坐标进行划分为多个组;
并获取每一组矩形的最大外接矩形作为一行的信息区域;
依据投影法进行文字的列切分。
一种实现方式中,所述根据CNN网络模型进行字符识别的步骤,包括:
将行切分和列切分后的图片进行归一化处理;
将归一化处理后的图片,根据预先训练好的CNN网络模型进行字符识别。
一种实现方式中,所述根据预设的身份证整合格式与所述字符识别结果,获取身份证信息的步骤包括:
获取身份证所包含的关键信息,其中,所述关键信息至少包括:姓名、性别、名族、出生、地址和公民身份证号码;根据所述关键信息确定所述身份证整合格式,
获取字符识别结果;
从所述字符识别结果与所述关键信息进行对比,获取身份证信息。
本发明还公开了一种身份证信息提取装置,所述装置包括处理器、以及通过通信总线与所述处理器连接的存储器;其中,
所述存储器,用于存储身份证信息提取程序;
所述处理器,用于执行所述身份证信息提取程序,以实现任一项所述的身份证信息提取步骤。
以及,还公开了一种计算机存储介质,所述计算机存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以使所述一个或者多个处理器执行任一项所述的身份证信息提取步骤。
如上所述,本发明实施例提供的一种身份证信息提取方法、装置及计算存储介质,可以自动化地定位身份证位置,快速的对相关区域的文字信息进行定位和识别,从而高效获取身份证上的文本信息,并且识别准确性高、速度快并且具有良好的抗噪音干扰效果。
附图说明
图1是本发明实施例的一种身份证信息提取方法的一种流程示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。
请参阅图1。需要说明的是,本实施例中所提供的图示仅以示意方式说明本发明的基本构想,遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的型态、数量及比例可为一种随意的改变,且其组件布局型态也可能更为复杂。
如图1所示,本发明实施例提供一种身份证信息提取方法,所述方法包括:
S101,获取待处理图像。
可以理解的,本发明实施例中的待处理图像为包含身份证的图像。
S102,检测所述待处理图像中的人脸。
本发明使用Haar分类器检测身份证中的人脸。Haar分类器由Haar特征提取、离散强分类器、强分类级联器组成。通过提取人脸的Haar特征,使用积分图对特征进行快速计算,然后挑选出少量关键特征,送入由强分类器组成的级联分类器进行迭代训练。
Haar-like矩形特征是用于物体检测的数字图像特征。这类矩形特征模板由两个或多个全等的黑白矩形相邻组合而成,而矩形特征值是白色矩形的灰度值的和减去黑色矩形的灰度值的和,矩形特征对一些简单的图形结构,如线段、边缘比较敏感。如果把这样的矩形放在一个非人脸区域,那么计算出的特征值应该和人脸特征值不一样,所以这些矩形就是为了把人脸特征量化,以区分人脸和非人脸。
之所以选择基于特征的方法而没有选择基于像素的方法是因为,在给定的有限的数据样本情况下,基于特征的检测不但能够编码特定区域的状态,而且通过基于特征设计的系统远比基于像素的系统快。脸部的特征能够由矩形特征简单地描绘,例如眼睛要比脸颊颜色深,鼻梁两侧要比鼻梁颜色深,嘴巴要比周围颜色深等。
在获得矩形特征后,要计算矩形特征的值。积分图被定义为坐标A(x,y)的积分图是其左上角的所有像素之和,这样对每个像素进行少量的计算得到的“积分图”可以在相同的时间里计算尺度大小不同的矩形特征值,因此大大提高计算速度。
对于图像内一个点A(x,y),定义其积分图ii(x,y)为:
其中,i(x',y')为点(x',y')处的像素值。
由此可知,要计算两个区域像素值之差(即计算矩形模板的特征值),只需要用特征区域端点的积分图来进行简单加减运行就可以了。用积分图的方法可以快速计算矩形特征的特征值。
S103,基于所检测的人脸,确定身份证对应在所述待处理图像中的位置,并获取身份证图像。
按照人脸占身份证的位置和比例找到身份证在图片中所占的位置,并将其缩放到同尺寸。
本发明实施例汇总,首先人脸照片所占身份证中的位置固定的特点,根据上一步检测到的人脸确定身份证的位置。假设检测到的人脸照片的左上和右下坐标分别为(xface1,yface1)和(xface2,yface2),人脸照片的宽度和长度分别为width,height,所求的身份证左上和右下的坐标为(x1,y1),(x2,y2),则:
S104,对所述身份证图像进行二值化处理,获得处理后图像。
在一个3*3的窗口中,根据一个中心像素点A的RGB值,与周围的8个点的RBG值比较,设定一个阈值N(0<N<8),当A的RGB值与周围8个点的RGB相等数小于N时,此点为噪点。
本发明使用NLM进行去噪。通过搜索窗口中的像素值的加权和来替换掉噪点,也就就是目标像素值。本发明实施例中设置:跟目标像素越相近的,权重越大。
上式i表示彩色图像的3个通道;p表示目标像素位置;B(p,r)表示中心为p的目标像素点,大小为(2r+1)*(2r+1)的搜索窗口;q表示位于搜索窗口的像素;w(p,q)表示像素点p与q的权重,一般是用欧氏距离衡量其相似度。C(p)表示权重归一化参数。
w通过一个指数函数求得;d:两个像素点的邻域的欧氏距离;
σ表示噪声的标准差,h表示跟σ相关的滤波参数,当噪声方差越大,h可以相应的增大。
为了求得可以替代q的像素值,先在窗口中计算窗口每一个像素p与q之间的权重,权重通过计算p的邻域与q的邻域对应像素点欧氏距离得到。
本发明使用Otsu自适应二值化算法将身份证图像二值化,Otsu算法是一种自适应的阈值确定方法。
设原始灰度级为M,灰度级为i的像素点个数为ni,对灰度直方图进行归一化:
对于两类像素C0,C1,每一类出现的概率分别为:
每一类的平均灰度值分别为:
其中w0μ0+w1μ1=μT,w0+w1=1。那么两类像素内部方差为:
为了衡量灰度级为t时的类间方差,定义如下所示:
S105,通过连通区搜索算法,获取所述处理后图像的连通区。
本发明使用opencv的findCountors函数找到身份证中的所有连通区。具体的,可以通过合并算法将小连通区并为单个汉字的外接矩形,通过预设好的间隙阈值递归判断两个小连通区是否属于同一个汉字,如果属于则合并。
将合并完的当个汉字的外接矩形按照其中心坐标,将中心坐标纵坐标相近的外界矩形划分进同一组,并求取每一组矩形的最大外接矩形作为该行的信息区域。
S106,根据连通区进行文字行切分,以及投影法进行文字的列切分。
首先,按照垂直投影法切出的单个汉字。
具体的,可以定义一个数组用来储存每一列像素中白色像素的个数。遍历二值化后的图片,将每一列中白色的(也就是数字区域)像素记录在数组中。
根据数组里的灰度值画出投影图,根据储存灰度值数组的内容来找到相邻字符间的分割点,按照垂直投影法切出的单个汉字,再将图中每个像素点除以255归一化。
S107,根据CNN网络模型进行字符识别。
整个网络都使用了同样大小的3*3卷积核尺寸和2*2最大池化尺寸,网络结果简洁。网络结构为:输入层,接受一幅64x64大小的二值化图片,接两个64x3x3的卷积层,接一个2x2的池化层和一个dropout层,dropout的激活率为0.25,接着再接两个128x3x3的卷积层,一层池化层,一层dropout层,然后两个256x3x3的卷积层,一层池化层,一层dropout层,接一层全连接层,一层sofmax得到网络的输出。
其中,所有层的激活函数均采用ReLU函数。
将汉字字库中的文字写入到文本文件中,并在同目录文件下成汉字字库文件。
把汉字字库中的字一个个保存成图片。
接着,构造卷积神经网络,卷积神经网络主要由输入层、卷积层、下采样层(池化层)、全连接层和输出层组成。其中,输入层接受一张64x64大小的二值化图片。
S108,根据预设的身份证整合格式与所述字符识别结果,获取身份证信息。
将识别结果整合成如下格式
本发明还公开了一种身份证信息提取装置,所述装置包括处理器、以及通过通信总线与所述处理器连接的存储器;其中,
所述存储器,用于存储身份证信息提取程序;
所述处理器,用于执行所述身份证信息提取程序,以实现任一项所述的身份证信息提取步骤。
以及,还公开了一种计算机存储介质,所述计算机存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以使所述一个或者多个处理器执行任一项所述的身份证信息提取步骤。
上述实施例仅例示性说明本发明的原理及其功效,而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下,对上述实施例进行修饰或改变。因此,举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本发明的权利要求所涵盖。
Claims (10)
1.一种身份证信息提取方法,其特征在于,所述方法包括:
获取待处理图像;
检测所述待处理图像中的人脸;
基于所检测的人脸,确定身份证对应在所述待处理图像中的位置,并获取身份证图像;
对所述身份证图像进行二值化处理,获得处理后图像;
通过连通区搜索算法,获取所述处理后图像的连通区;
根据连通区进行文字行切分,以及投影法进行文字的列切分;
根据CNN网络模型进行字符识别;
根据预设的身份证整合格式与所述字符识别结果,获取身份证信息。
2.根据权利要求1所述的身份证信息提取方法,其特征在于,所述检测所述待处理图像中的人脸的步骤,包括:
采用Haar分类器检测所述待处理图像中的人脸以及人脸对应的位置。
4.根据权利要求3所述的身份证信息提取方法,其特征在于,所述对所述身份证图像进行二值化处理,获得处理后图像的步骤,包括:
获取噪声像素点;
设置搜索窗口,并获取搜索窗口中每一个像素点与噪声像素点的欧氏距离;
根据欧式距离获得像素点所对应的权重;
根据所获取的权重和所述搜索窗口中的像素值,替换噪声点的像素值;
获取原始灰度级,以及每一灰度级所对应的像素点个数,并进行归一化处理,获取归一化后的灰度直方图;
根据所述灰度直方图,根据像素点个数计算每一类像素点的概率以及平均灰度值;
获取每一类像素点的平均灰度值和累计灰度值以及任意两类像素点的内部方差;
获取每一类的灰度累计值;
根据灰度累计值,获取类间方差;
并根据雷剑方差获取阈值;
根据所述阈值进行二值化处理,获得处理后图像。
5.根据权利要求1所述的身份证信息提取方法,其特征在于,所述通过连通区搜索算法,获取所述处理后图像的连通区的步骤,包括:
通过预设的间隙阈值,判断两个连通区是否属于同一字符;
如果是,则合该两个连通区。
6.根据权利要求5所述的身份证信息提取方法,其特征在于,所述根据连通区进行文字行切分,以及投影法进行文字的列切分的步骤,包括:
将合并连通区域后的字符的外界矩形,按照中心坐标进行划分为多个组;
并获取每一组矩形的最大外接矩形作为一行的信息区域;
依据投影法进行文字的列切分。
7.根据权利要求6所述的身份证信息提取方法,其特征在于,所述根据CNN网络模型进行字符识别的步骤,包括:
将行切分和列切分后的图片进行归一化处理;
将归一化处理后的图片,根据预先训练好的CNN网络模型进行字符识别。
8.根据权利要求7所述的身份证信息提取方法,其特征在于,所述根据预设的身份证整合格式与所述字符识别结果,获取身份证信息的步骤包括:
获取身份证所包含的关键信息,其中,所述关键信息至少包括:姓名、性别、名族、出生、地址和公民身份证号码;根据所述关键信息确定所述身份证整合格式,
获取字符识别结果;
从所述字符识别结果与所述关键信息进行对比,获取身份证信息。
9.一种身份证信息提取装置,其特征在于,所述装置包括处理器、以及通过通信总线与所述处理器连接的存储器;其中,
所述存储器,用于存储身份证信息提取程序;
所述处理器,用于执行所述身份证信息提取程序,以实现如权利要求1至8中任一项所述的身份证信息提取方法的 步骤。
10.一种计算机存储介质,其特征在于,所述计算机存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以使所述一个或者多个处理器执行如权利要求1至8中任一项所述的身份证信息提取方法的 步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910701381.9A CN110443184B (zh) | 2019-07-31 | 2019-07-31 | 身份证信息提取方法、装置及计算机存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910701381.9A CN110443184B (zh) | 2019-07-31 | 2019-07-31 | 身份证信息提取方法、装置及计算机存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110443184A CN110443184A (zh) | 2019-11-12 |
CN110443184B true CN110443184B (zh) | 2022-09-30 |
Family
ID=68432443
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910701381.9A Active CN110443184B (zh) | 2019-07-31 | 2019-07-31 | 身份证信息提取方法、装置及计算机存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110443184B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111275047A (zh) * | 2020-01-14 | 2020-06-12 | 珠海市华兴软件信息服务有限公司 | 一种身份证信息导入方法、系统、装置及存储介质 |
CN111428656A (zh) * | 2020-03-27 | 2020-07-17 | 信雅达系统工程股份有限公司 | 基于深度学习的移动端身份证识别方法、移动设备 |
CN111444876A (zh) * | 2020-04-08 | 2020-07-24 | 证通股份有限公司 | 一种图文处理方法、系统以及计算机可读存储介质 |
CN113095327B (zh) * | 2021-03-16 | 2022-10-14 | 深圳市雄帝科技股份有限公司 | 光学字符识别区域的定位方法、系统及其存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8724856B1 (en) * | 2013-03-28 | 2014-05-13 | Paycasso Verify Ltd | Method, system and computer program for comparing images |
CN109410026A (zh) * | 2018-02-09 | 2019-03-01 | 深圳壹账通智能科技有限公司 | 基于人脸识别的身份认证方法、装置、设备和存储介质 |
-
2019
- 2019-07-31 CN CN201910701381.9A patent/CN110443184B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8724856B1 (en) * | 2013-03-28 | 2014-05-13 | Paycasso Verify Ltd | Method, system and computer program for comparing images |
CN109410026A (zh) * | 2018-02-09 | 2019-03-01 | 深圳壹账通智能科技有限公司 | 基于人脸识别的身份认证方法、装置、设备和存储介质 |
Non-Patent Citations (1)
Title |
---|
基于深度学习的身份证号码识别方法;杨航等;《信息与电脑(理论版)》;20161108(第21期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN110443184A (zh) | 2019-11-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110443184B (zh) | 身份证信息提取方法、装置及计算机存储介质 | |
CN107609549B (zh) | 一种自然场景下证件图像的文本检测方法 | |
CN110414507B (zh) | 车牌识别方法、装置、计算机设备和存储介质 | |
CN107133622B (zh) | 一种单词的分割方法和装置 | |
US9367766B2 (en) | Text line detection in images | |
CN109241861B (zh) | 一种数学公式识别方法、装置、设备及存储介质 | |
CN110647882A (zh) | 图像校正方法、装置、设备及存储介质 | |
US20170178341A1 (en) | Single Parameter Segmentation of Images | |
CN109948521B (zh) | 图像纠偏方法和装置、设备及存储介质 | |
CN111680690B (zh) | 一种文字识别方法及装置 | |
Mukherjee et al. | Enhancement of image resolution by binarization | |
CN113781406B (zh) | 电子元器件的划痕检测方法、装置及计算机设备 | |
CN111626249B (zh) | 题目图像中几何图形的识别方法、装置和计算机存储介质 | |
CN109389115B (zh) | 文本识别方法、装置、存储介质和计算机设备 | |
CN110210297B (zh) | 报关单图像中文字定位与提取的方法 | |
CN112329756A (zh) | 一种印章提取及文字识别的方法及装置 | |
CN111178290A (zh) | 一种签名验证方法和装置 | |
CN112507782A (zh) | 文本图像的识别方法及装置 | |
CN112651953A (zh) | 图片相似度计算方法、装置、计算机设备及存储介质 | |
CN110796145B (zh) | 基于智能决策的多证件分割关联方法及相关设备 | |
CN111368632A (zh) | 一种签名识别方法及设备 | |
CN108960246B (zh) | 一种用于图像识别的二值化处理装置及方法 | |
CN113129298A (zh) | 文本图像的清晰度识别方法 | |
CN112733823A (zh) | 手势姿态识别关键帧提取方法、装置及可读存储介质 | |
CN117037082A (zh) | 一种停车行为的识别方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |