CN112837263B - 一种复杂背景下的身份证信息定位方法 - Google Patents

一种复杂背景下的身份证信息定位方法 Download PDF

Info

Publication number
CN112837263B
CN112837263B CN202011520174.2A CN202011520174A CN112837263B CN 112837263 B CN112837263 B CN 112837263B CN 202011520174 A CN202011520174 A CN 202011520174A CN 112837263 B CN112837263 B CN 112837263B
Authority
CN
China
Prior art keywords
vertex
image
coordinates
left corner
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011520174.2A
Other languages
English (en)
Other versions
CN112837263A (zh
Inventor
钟婧婷
杨词慧
邹伟军
朱勤武
缪小勇
许兴淼
鲍吴智达
郭建勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Zhiyu Information Technology Co ltd
Original Assignee
Shanghai Zhiyu Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Zhiyu Information Technology Co ltd filed Critical Shanghai Zhiyu Information Technology Co ltd
Priority to CN202011520174.2A priority Critical patent/CN112837263B/zh
Publication of CN112837263A publication Critical patent/CN112837263A/zh
Application granted granted Critical
Publication of CN112837263B publication Critical patent/CN112837263B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种复杂背景下的身份证信息定位方法，其特征在于，该方法包括以下步骤：图像纠偏；国徽面、人像面检测；边界检测；透视变换；信息定位。与现有技术相比，本发明的优点在于：该方法对于身份证图像拍摄背景和角度的不同，提供一种在复杂背景下裁剪身份证图像的方法，此方法裁剪精确度高，鲁棒性强，能极大提升信息定位的准确性，同时定位身份证信息区域的速度快，具有较好的应用前景。

Description

一种复杂背景下的身份证信息定位方法
技术领域
本发明属于计算机信息技术领域，具体涉及一种复杂背景下的身份证信息定位方法。
背景技术
身份证信息作为每个人重要的身份证明文件，在日常生活中起着重要作用。传统的身份证信息录入多采用人工输入的方式，这种方式不仅耗时耗力，而且开销大，不利于信息快速准确的输入。为了减少传统录入方式带来的不利影响，目前多采用拍摄身份证图像、自动识别身份证信息的方式实现对身份证信息的提取。如名称为“一种有背景的卡证图像信息识别方法”(公开号为CN110119741A)的专利文献，提供了一种多背景特征下身份证信息的识别与处理方法，它能够对不同纹理特征背景进行滤除。但是这种方法对背景有一定要求，如果背景干扰过多，噪声影响太大，则会导致信息识别的准确率下降。又如名称为“一种身份证信息读取方法及系统”(公开号为CN109783517A)的专利文献，通过OCR(OpticalCharacter Recognition,光学字符识别)技术识别模块，读取身份证信息。但这种方法仅适用于对裁剪好的身份证图像进行信息识别。
也有专利提出了对身份证图像中的身份证边界进行自动检测的方法，如名称为“证照图像裁剪方法及系统”(公开号为CN102592260A)的专利文献，先通过证照图像中瞳孔位置确定证照图像中人像的头顶、下巴与双耳位置；然后根据上述确定的头顶、下巴与双耳位置确定裁剪区域，并根据确定的裁剪区域对证照图像进行裁剪。该方法虽然可以找到身份证图像的边界位置，但仅用此方法定位边界，准确率不够高，会影响之后的信息区域定位。
发明内容
为解决上述技术问题，本发明提出一种复杂背景下的身份证信息定位方法，对不受背景约束的身份证图像进行信息定位。通过图像纠偏、身份证国徽面与人像面检测、边界检测、透视变换、信息区域预估等方法定位身份证各区域的信息。
本发明提出的一种复杂背景下的身份证信息定位方法，其特征在于，该方法包括以下步骤：
(1)图像纠偏。对输入的包含有身份证信息的原始图像I进行偏转角度检测，确定图像的偏转角度θ，并将原始图像I旋转-θ角度，得到纠偏结果图像I1。
(2)国徽面、人像面检测。根据标准的国徽图像，采用图像匹配算法，对纠偏结果图像I1进行国徽检测，检测图像中是否含有国徽。如果有国徽，则返回检测到的国徽左上角顶点、右上角顶点、右下角顶点和左下角顶点的坐标(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)，同时使用人脸识别算法对图像进行人脸检测，检测图像中是否含有人脸。如果有人脸，则返回人脸最小外接矩形左上角顶点、右上角顶点、右下角顶点和左下角顶点的坐标(m1,n1)、(m2,n2)、(m3,n3)、(m4,n4)。根据国徽检测和人脸检测的结果，判断纠偏结果图像I1是国徽面还是人像面。
(3)边界检测。若纠偏结果图像I1为国徽面，则采用国徽面边界检测算法对图像边界进行检测，获取身份证的四条边界线段l1、l2、l3、l4；若纠偏结果图像I1为人像面，则采用人像面边界检测算法对图像边界进行检测，获取身份证的四条边界线段l1、l2、l3、l4。
(4)透视变换。将边界检测得到的身份证的四条边界线段l1、l2、l3、l4分别延长，每两条相邻线段相交于一点，得到相交的四个角点d1、d2、d3、d4。将标准身份证的四条边界线段分别延长，每两条相邻线段相交于一点，得到相交的四个角点f1、f2、f3、f4，根据d1、d2、d3、d4和f1、f2、f3、f4计算透视变换矩阵M，采用透视变换矩阵M对纠偏结果图像I1进行透视变换，得到透视变换后的图像I4。
(5)信息定位。若图像I4为国徽面，则采用国徽面信息定位方法定位出信息区域的位置；若图像I4为人像面，则采用人像面信息定位方法定位出信息区域的位置。
上述步骤中采用的图像匹配是指通过一定的匹配算法在两幅或多幅图像之间识别同名点的方法，参见H.Li,J.Qin,X.Xiang,L.Pan,W.Ma and N.N.Xiong,An EfficientImage Matching Algorithm Based on Adaptive Threshold and RANSAC,in IEEEAccess,vol.6,pp.66963-66971,2018,doi:10.1109/ACCESS.2018.2878147。
上述步骤(1)对原始图像I进行偏转角度检测，确定图像的偏转角度θ，具体采用了以下方法：
(1.1)对输入的原始图像I进行角点检测，得到角点二值化图像I2。
上述步骤中采用的角点检测是一种比较常用的图像特征提取方法，参见R.Deriche and G.Giraudon,Accurate corner detection:an analytical study,[1990]Proceedings of the Third International Conference on Computer Vision,Osaka,Japan,1990,pp.66-70,doi:10.1109/ICCV.1990.139495。
(1.2)将图像I2沿顺时针方向旋转g次，第k次旋转k×a度，其中，0<a<＝30，g＝floor(180/a)，k＝1，2，...,g，floor(x)表示不大于x的最大整数，得到图像I2，k。
(1.3)对旋转得到的每一幅图像I2，k中的角点向y轴进行投影，得到角点投影图，在该图中，y轴每个坐标上的投影值表示的是图像I2，k中与该坐标所对应的行方向上的角点的个数，将投影图中的最大投影值记为Mk。
(1.4)将每一个Mk和对应的角度k×a组成键值对，将所有的键值对组成一个键值对集合，在所有的Mk中找出最大值Mmax，并在键值对集合中找出Mmax所对应的角度max×a，max×a即为我们所要求的偏转角度θ。
上述步骤(2)中判断纠偏结果图像I1是国徽面还是人像面的具体方法如下：
(2.1)以q表示图像中检测出国徽，
Figure BDA0002849219650000031
表示图像中未能检测到国徽，p表示图像中检测出人脸，
Figure BDA0002849219650000032
表示图像中检测不出人脸；
(2.2)如果纠偏结果图像I1属于以下集合P，则将纠偏结果图像I1判定为国徽面，否则，将纠偏结果图像I1判定为人像面：
Figure BDA0002849219650000033
上述步骤(3)具体采用以下方法对纠偏结果图像I1进行国徽面边界检测：
(3.1.1)根据步骤(2)检测到的国徽左上角顶点纵坐标y1和左下角顶点纵坐标y4的大小，对图像的旋转方向进行判断。如果y1＞y4，则图像旋转了180度，此时将图像顺时针旋转180度。
(3.1.2)计算国徽边框尺寸的最大阈值tmax和最小阈值tmin：
tmax＝max(h,w)*s*α (2)
tmin＝min(h,w)*s*β (3)
其中，h,w为原图像的高和宽，s表示标准身份证中国徽长度与身份证长度的比值，α、β分别为国徽尺寸范围系数。
(3.1.3)根据检测得到的国徽左上角顶点、右上角顶点、右下角顶点和左下角顶点的坐标(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)，采用以下公式计算国徽每一条边的长度li，其中，i＝1,2,3,4。
Figure BDA0002849219650000034
其中，
j＝mod(i+1,4) (5)
mod是求余函数，mod(u,v)表示u除以v得到的余数。
(3.1.4)将国徽每一条边的长度li与最大阈值tmax和最小阈值tmin进行比较，其中，i＝1,2,3,4。如果li满足
tmin＜li＜tmax (6)
则国徽检测成功。
(3.1.5)根据检测得到的国徽左上角顶点、右上角顶点、右下角顶点和左下角顶点的坐标(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)，计算身份证边界左上角顶点、右上角顶点、右下角顶点和左下角顶点的预估坐标(A1,B1)、(A2,B2)、(A3,B3)、(A4,B4)，计算公式如下：
Figure BDA0002849219650000041
Figure BDA0002849219650000042
其中，γ、ο、φ、κ分别为标准身份证中国徽左上角顶点到身份证上、右、下、左四条边界线的距离与国徽长度的比值。
(3.1.6)根据身份证边界左上角顶点、右上角顶点、右下角顶点和左下角顶点的预估坐标(A1,B1)、(A2,B2)、(A3,B3)、(A4,B4)，采用边界线检测方法检测得到身份证的四条边界线l1、l2、l3、l4。
上述步骤(3)具体采用以下方法对纠偏结果图像I1进行人像面边界检测：
(3.2.1)使用滤波算法对纠偏结果图像I1进行滤波去噪，得到滤波之后的图像Id，对Id进行轮廓检测，找到各个轮廓的外接矩形，选取长宽比在[hwmin,hwmax]范围内的矩形作为身份证号的候选区域，其中，hwmin和hwmax分别为身份证号长宽比的最小阈值和最大阈值。同时结合标准身份证中身份证号和人脸框的位置关系对身份证号区域进行进一步检测，如果轮廓的外接矩形左上角顶点的y坐标值s1、左下角顶点的y坐标值s2和人脸框左上角顶点的y坐标值n1、左下角顶点的y坐标值n4满足：
n4＜s1 (9)
n4+2(n4-n1)＞s2 (10)
则该轮廓的外接矩形是身份证号外接矩形框，并返回该身份证号外接矩形左上角顶点、右上角顶点、右下角顶点和左下角顶点的坐标(a1,b1)、(a2,b2)、(a3,b3)、(a4,b4)。
上述步骤中采用的滤波算法是一种比较常用的图像预处理方法，参见M.H.Ishak,N.N.Sofia Mohd Marzuki,M.F.Abdullah,Z.H.Che Soh,I.S.Isa and S.N.Sulaiman,Image Quality Assessment for Image Filtering Algorithm:Qualitative andQuantitative Analyses,2019 9th IEEE International Conference on ControlSystem,Computing and Engineering(ICCSCE),Penang,Malaysia,2019,pp.162-167,doi:10.1109/ICCSCE47578.2019.9068565.；轮廓检测是一种比较常用的目标边界检测方法，参见S.D.Lokmanwar and A.S.Bhalchandra,Contour detection based on gaussianfilter,2019 3rd International conference on Electronics,Communication andAerospace Technology(ICECA),Coimbatore,India,2019,pp.722-725,doi:10.1109/ICECA.2019.8822189。
(3.2.2)根据左眼、右眼的人脸特征点位置和身份证号左上角顶点坐标(a1,b1)，计算身份证边界左上角顶点、右上角顶点、右下角顶点和左下角顶点的预估坐标(p1,q1)、(p2,q2)、(p3,q3)、(p4,q4)，计算公式如下：
Figure BDA0002849219650000051
Figure BDA0002849219650000052
Figure BDA0002849219650000053
Figure BDA0002849219650000054
Figure BDA0002849219650000055
其中，(h1,w1)和(h2,w2)分别为左眼眼角坐标和右眼眼角坐标，c为标准身份证中左眼眼角到身份证下边界的距离与左眼眼角到身份证号外接矩形框上边界距离的比值。
(3.2.3)根据身份证边界左上角顶点、右上角顶点、右下角顶点和左下角顶点的预估坐标(p1,q1)、(p2,q2)、(p3,q3)、(p4,q4)，采用边界线检测方法得到身份证的四条边界线l1、l2、l3、l4。
上述(3.1.6)和(3.2.3)中提到的边界线检测方法，具体实施步骤如下：
(3.3.1)假设得到的身份证边界左上角顶点、右上角顶点、右下角顶点和左下角顶点的预估坐标为(U1,V1)、(U2,V2)、(U3,V3)、(U4,V4)。
(3.3.2)分别连接(U1,V1)和(U2,V2)、(U2,V2)和(U3,V3)、(U3,V3)和(U4,V4)、(U4,V4)和(U1,V1)，得到身份证的四条预估边界线。计算身份证预估外部区域左上角顶点、右上角顶点、右下角顶点和左下角顶点的坐标(U1-d,V1-d)、(U2+d,V2-d)、(U3+d,V3+d)、(U4-d,V4+d)，分别连接(U1-d,V1-d)和(U1+d,V1-d)、(U1+d,V1-d)和(U1+d,V1+d)、(U1+d,V1+d)和(U1-d,V1+d)、(U1-d,V1+d)和(U1-d,V1-d)，构成身份证预估外部区域S1。其中，d为身份证预估外部区域的上边界线与身份证的预估上边界线之间的距离。计算身份证预估内部区域左上角顶点、右上角顶点、右下角顶点和左下角顶点的坐标(U1+d,V1+d)、(U2-d,V2+d)、(U3-d,V3-d)、(U4+d,V4-d)，分别连接(U1+d,V1+d)和(U2-d,V2+d)、(U2-d,V2+d)和(U3-d,V3-d)、(U3-d,V3-d)和(U4+d,V4-d)、(U4+d,V4-d)和(U1+d,V1+d)，构成身份证预估内部区域S2。身份证预估边界线周边区域S定义为：
Figure BDA0002849219650000061
(3.3.3)分别连接(U1-d,V1-d)和(U2+d,V2-d)、(U2+d,V2-d)和(U3+d,V2+d)、(U3+d,V2+d)和(U3-d,V1+d)、(U3-d,V1+d)和(U1-d,V1-d)，构成身份证预估边界线周边上区域Su；分别连接(U3-d,V4-d)和(U3+d,V3-d)、(U3+d,V3-d)和(U3+d,V3+d)、(U3+d,V3+d)和(U3-d,V4+d)、(U3-d,V4+d)和(U3-d,V4-d)，构成身份证预估边界线周边下区域Sd；分别连接(U1-d,V1-d)和(U1+d,V1-d)、(U1+d,V1-d)和(U4+d,V4+d)、(U4+d,V4+d)和(U3-d,V4+d)、(U3-d,V4+d)和(U1-d,V1-d)，构成身份证预估边界线周边左区域Sl；分别连接(U2-d,V1-d)和(U2+d,V2-d)、(U2+d,V2-d)和(U3+d,V3+d)、(U3+d,V3+d)和(U3-d,V3+d)、(U3-d,V3+d)和(U2-d,V1-d)，构成身份证预估边界线周边右区域Sr。
分别在身份证预估边界线周边上区域Su、身份证预估边界线周边下区域Sd、身份证预估边界线周边左区域Sl、身份证预估边界线周边右区域Sr进行直线检测，分别得到直线线段集合Lu、Ld、Ll、Lr。
上述步骤中采用的直线检测是一种常用的图像检测方法，参见L.Zhang andX.Huang,"A straight line detection method based on edge following and linesegments integration,"2015 6th IEEE International Conference on SoftwareEngineering and Service Science(ICSESS),Beijing,2015,pp.297-300,doi:10.1109/ICSESS.2015.7339059。
(3.3.4)对于直线线段集合Lu、Ld中的每一条直线线段l，判断其斜率ks是否小于给定直线线段斜率阈值
Figure BDA0002849219650000071
即
Figure BDA0002849219650000072
其中，斜率ks按以下公式计算：
Figure BDA0002849219650000073
其中，(u1,v1)、(u2,v2)为直线线段l上的任意两个点。如果直线线段l的斜率ks小于给定直线线段斜率阈值
Figure BDA0002849219650000074
则在直线线段集合Lu或Ld中将直线线段l移除。
对于直线线段集合Ll、Lr中的每一条直线线段l，判断其斜率ks是否大于给定直线线段斜率阈值ω，即
ks＞ω (19)
如果直线线段l的斜率ks大于给定直线线段斜率阈值ω，则在直线线段集合Ll或Lr中将直线线段l移除。
(3.3.4)采用直线线段拟合方法对直线线段集合Lu中的所有直线线段进行拟合，得到lu，采用直线线段拟合方法对直线线段集合Ld中的所有直线线段进行拟合，得到ld，采用直线线段拟合方法对直线线段集合Ll中的所有直线线段进行拟合，得到ll，采用直线线段拟合方法对直线线段集合Lr中的所有直线线段进行拟合，得到lr。这里的直线线段拟合方法具体如下：
a)取出直线线段集合中所有直线线段的两个端点，将这些端点组成点集Q；
b)采用最小二乘法对点集Q中的数据进行拟合，得到一条拟合直线线段。
其中，最小二乘法是一种常用的数据拟合方法，参见O.Bretscher,Linearalgebra with applications,3rd ed.New York:Prentice Hall,1995。
(3.3.5)将得到的四条直线线段lu、ld、ll、lr分别延长，直线线段Ll和直线线段lu相交于点P1，直线线段lu和直线线段Lr相交于点P2，直线线段Lr和直线线段Ld相交于点P3，直线线段Ld和直线线段Ll相交于点P4，分别连接点P1和P2、P2和P3、P3和P4、P4和P1，构成身份证的四条边界线。
上述步骤(5)具体采用了以下方法对图像I4进行国徽面信息定位：
(5.1.1)对图像I4进行轮廓检测，满足以下两个条件的两个轮廓为国徽面信息区域：
a)轮廓面积Sarea＞SI、宽高比e在[tsmin,tsmax]范围内；
b)轮廓满足集合L。
其中SI为设定的信息区域轮廓面积阈值，tsmin和tsmax分别为宽高比的最小阈值和最大阈值，集合L表示为：
Figure BDA0002849219650000081
其中，(x,y)为轮廓上点的坐标，X1和Y1分别为图像I4的左上角顶点的x、y坐标，X2为图像I4的右上角顶点的x坐标，Y4为图像I4的左下角顶点的y坐标。
上述步骤(5)具体采用了以下方法对图像I4进行人像面信息定位：
(5.2.1)根据所得到的人脸最小外接矩形左上角顶点、右上角顶点、右下角顶点和左下角顶点的坐标(m1,n1)、(m2,n2)、(m3,n3)、(m4,n4)，以及身份证号外接矩形左上角顶点、右上角顶点、右下角顶点和左下角顶点的坐标(a1,b1)、(a2,b2)、(a3,b3)、(a4,b4)，估算只包含姓名、性别、出生、地址四个信息的信息区域S3的左上角顶点、右上角顶点、右下角顶点和左下角顶点的坐标(k1,j1)、(k2,j2)、(k3,j3)、(k4,j4)，计算方式如下：
Figure BDA0002849219650000091
Figure BDA0002849219650000092
其中，θ1、θ2、θ3、θ4分别为距离阈值。
(5.2.2)分别连接(k1,j1)和(k2,j2)、(k2,j2)和(k3,j3)、(k3,j3)和(k4,j4)、(k4,j4)和(k1,j1)，得到信息区域S3的四条边界线，构成信息区域S3。
(5.2.3)对信息区域S3进行膨胀腐蚀和自适应二值化操作，再对其进行轮廓检测，得到一些轮廓区域。结合标准身份证中信息的位置从上到下分别定位姓名、性别、出生、地址四个信息区域的大致位置，得到姓名、性别、出生、地址四个信息区域左上角顶点坐标分别为(Xnlt,Ynlt)、(Xslt,Yslt)、(Xblt,Yblt)、(Xalt,Yalt)。同时，以地址框的左边界线x坐标Xalt为基准，分别确定姓名、性别、出生三个信息区域的左边界线x坐标Xnlt、Xslt、Xblt，公式如下所示：
Figure BDA0002849219650000093
上述步骤中使用的膨胀腐蚀是一种比较常用的图像形态学方法，参见AndreasKleefeld,Sophia Vorderwülbecke,Bernhard Burgeth,Anomalous diffusion,dilation,and erosion in image processing[J].International Journal of ComputerMathematics,2018,95(6-7)。自适应二值化是一种常用的图像处理方法，参见XianfaChen,Kai Wang,Qingren Wang Nankai Institute of Machine Intelligence,NankaiUniversity,Tianjin,P.R.China."An Adaptive Binarization Method for Camerabased Document Image".Proceedings of 2010International Conference on ServicesScience,Management and Engineering(Volume 1).Ed.Xinfeng Zhu、JunwuZhu.Institute of Electrical and Electronics Engineers,Inc.,2010,531-534。
(5.2.4)人像面信息定位主要使用坐标定位方法，即确定左上角顶点坐标，同时根据标准身份证中的先验信息将长和宽设置为一固定值，估算右上角顶点坐标、右下角顶点坐标与左下角顶点坐标，公式如下：
Figure BDA0002849219650000101
Figure BDA0002849219650000102
Figure BDA0002849219650000103
Figure BDA0002849219650000104
Figure BDA0002849219650000105
Figure BDA0002849219650000106
Figure BDA0002849219650000107
Figure BDA0002849219650000108
其中，Xnlt和Ynlt分别为姓名信息区域的左上角顶点的x、y坐标，Xalt和Yalt分别为地址信息区域的左上角顶点的x、y坐标，Xnrt和Ynrt分别为估算的姓名信息区域右上角顶点的x、y坐标，Xnrd和Ynrd分别为估算的姓名信息区域右下角顶点的x、y坐标，Xnld和Ynld分别为估算的姓名信息区域左下角顶点的x、y坐标，Xart和Yart分别为估算的地址信息区域右上角顶点的x、y坐标，Xard和Yard分别为估算的地址信息区域右下角顶点的x、y坐标，Xald和Yald分别为估算的地址信息区域左下角顶点的x、y坐标，wn、hn分别为姓名信息区域长宽设置的固定值，wa、ha分别为地址信息区域长宽设置的固定值。Xslt和Yslt分别为性别信息区域的左上角顶点的x、y坐标，Xblt和Yblt分别为出生信息区域的左上角顶点的x、y坐标，Xsrt和Ysrt分别为估算的性别信息区域右上角顶点的x、y坐标，Xsrd和Ysrd分别为估算的性别信息区域右下角顶点的x、y坐标，Xsld和Ysld分别为估算的性别信息区域左下角顶点的x、y坐标，Xbrt和Ybrt分别为估算的出生信息区域右上角顶点的x、y坐标，Xbrd和Ybrd分别为估算的出生信息区域右下角顶点的x、y坐标，Xbld和Ybld分别为估算的出生信息区域左下角顶点的x、y坐标，ws、hs分别为性别信息区域长宽设置的固定值，wb、hb分别为出生信息区域长宽设置的固定值。其中，性别信息区域包括性别和民族信息，出生信息区域包括出生年、月、日信息。
(5.2.5)连接点(Xnlt,Ynlt)和(Xnrt,Ynrt)、(Xnrt,Ynrt)和(Xnrd,Ynrd)、(Xnrd,Ynrd)和(Xnld,Ynld)、(Xnld,Ynld)和(Xnlt,Ynlt)，得到姓名信息区域。连接点(Xalt,Yalt)和(Xart,Yart)、(Xart,Yart)和(Xard,Yard)、(Xard,Yard)和(Xald,Yald)、(Xald,Yald)和(Xalt,Yalt)，得到地址信息区域。连接点(Xslt,Yslt)和(Xsrt,Ysrt)、(Xsrt,Ysrt)和(Xsrd,Ysrd)、(Xsrd,Ysrd)和(Xsld,Ysld)、(Xsld,Ysld)和(Xslt,Yslt)，得到性别信息区域。连接点(Xblt,Yblt)和(Xbrt,Ybrt)、(Xbrt,Ybrt)和(Xbrd,Ybrd)、(Xbrd,Ybrd)和(Xbld,Ybld)、(Xbld,Ybld)和(Xblt,Yblt)，得到出生信息区域。
与现有技术相比，本发明的创新之处在于：该方法对于身份证图像拍摄背景和角度的不同，提供一种多边界检测算法结合使用的方法，此方法裁剪精确度高，鲁棒性强，能极大提升信息定位的准确性。同时充分利用特征之间的相对位置关系和先验信息预估边界线与信息位置，提升图像分割的准确率。
附图说明
下面结合附图和具体实施方式对本发明作进一步的详细说明。
图1是本发明实施例的方法流程图；
图2是包含有国徽面身份证信息的原始图像；
图3是包含有人像面身份证信息的原始图像；
图4是国徽面角点二值化图像；
图5是人像面角点二值化图像；
图6是国徽面边界检测图像；
图7是人像面边界检测图像；
图8是国徽面透视变换图像；
图9是人像面透视变换图像；
图10是国徽面信息区域图像；
图11是国徽面信息定位图像；
图12是人像面信息区域图像；
图13是人像面信息定位图像。
具体实施方式
下面将结合本发明实施例中的附图，对本发明的具体实施方式作进一步详细说明。需要注意的是，此处根据本发明一种复杂背景下的身份证信息定位方法的具体实施例仅作为举例，并不用于限定本发明。
本实施例结合包含有身份证信息的原始图像I，对身份证信息定位算法进行说明，如图2和图3所示。如图1方法流程图所示，本发明采用以下步骤对身份证图像进行信息定位：
(1)图像纠偏。对输入的包含有身份证信息的原始图像I进行偏转角度检测，确定图像的偏转角度θ，并将原始图像I旋转-θ角度，得到纠偏结果图像I1。
(2)国徽面、人像面检测。根据标准的国徽图像，采用FLANN单应性匹配算法，对纠偏结果图像I1进行国徽检测，检测图像中是否含有国徽。如果有国徽，则返回检测到的国徽左上角顶点、右上角顶点、右下角顶点和左下角顶点的坐标(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)，同时使用Haar Cascade和HOG人脸识别算法对图像进行人脸检测，检测图像中是否含有人脸。如果有人脸，则返回人脸最小外接矩形左上角顶点、右上角顶点、右下角顶点和左下角顶点的坐标(m1,n1)、(m2,n2)、(m3,n3)、(m4,n4)。根据国徽检测和人脸检测的结果，判断纠偏结果图像I1是国徽面还是人像面。
上述步骤中采用的FLANN单应性匹配算法是一种常用的匹配方法，参见Vijayan,Vineetha and Pushpalatha Kp.“FLANN Based Matching with SIFT Descriptors forDrowsy Features Extraction.”2019Fifth International Conference on ImageInformation Processing(ICIIP)(2019):600-605。Haar Cascade和HOG人脸识别算法是常用的人脸检测方法,分别参见Viola,P.and Michael J.Jones.“Rapid object detectionusing a boosted cascade of simple features.”Proceedings of the 2001IEEEComputer Society Conference on Computer Vision and Pattern Recognition.CVPR2001 1(2001):I-I.，和Dalal,N.and B.Triggs.“Histograms of oriented gradientsfor human detection.”2005IEEE Computer Society Conference on Computer Visionand Pattern Recognition(CVPR'05)1(2005):886-893vol.1。
(3)边界检测。若纠偏结果图像I1为国徽面，则采用国徽面边界检测算法对图像边界进行检测，获取身份证的四条边界线段l1、l2、l3、l4；若纠偏结果图像I1为人像面，则采用人像面边界检测算法对图像边界进行检测，获取身份证的四条边界线段l1、l2、l3、l4。
(4)透视变换。将边界检测得到的身份证的四条边界线段l1、l2、l3、l4分别延长，每两条相邻线段相交于一点，得到相交的四个角点d1、d2、d3、d4。将标准身份证的四条边界线段分别延长，每两条相邻线段相交于一点，得到相交的四个角点f1、f2、f3、f4，根据d1、d2、d3、d4和f1、f2、f3、f4计算透视变换矩阵M，采用透视变换矩阵M对纠偏结果图像I1进行透视变换，得到透视变换后的图像I4，如图8和图9所示。
(5)信息定位。若图像I4为国徽面，则采用国徽面信息定位方法定位出信息区域的位置；若图像I4为人像面，则采用人像面信息定位方法定位出信息区域的位置。
上述步骤(1)中对原始图像I进行偏转角度检测，主要采用Good Feature ToTrack角点检测与水平投影结合的方法，具体方法如下：
(1.1)对输入的原始图像I采用Good Feature To Track方法进行角点检测，得到角点二值化图像I2，如图4和图5所示。
上述步骤中采用的Good Feature To Track方法是一种常用的角点检测方法，参见Shi,J.and Carlo Tomasi.“Good features to track.”1994Proceedings of IEEEConference on Computer Vision and Pattern Recognition(1994):593-600。
(1.2)设置图像I2沿顺时针方向旋转的次数g＝180，每次旋转的度数a＝1。将图像I2沿顺时针方向旋转180次，则第k次旋转k×1度(k＝1，2，...,180)，得到图像I2，k。
(1.3)对旋转得到的每一幅图像I2，k中的角点向y轴进行投影，得到角点投影图，在该图中，y轴每个坐标上的投影值表示的是图像I2，k中与该坐标所对应的行方向上的角点的个数，将投影图中的最大投影值记为Mk。
(1.4)将每一个Mk和对应的角度k×1组成键值对，将所有的键值对组成一个键值对集合，在所有的Mk中找出最大值Mmax，并在键值对集合中找出Mmax所对应的角度max×1，max×1即为我们所要求的偏转角度θ。
上述步骤(2)中判断纠偏结果图像I1是国徽面还是人像面的具体方法如下：
(2.1)以q表示图像中检测出国徽，
Figure BDA0002849219650000141
表示图像中未能检测到国徽，p表示图像中检测出人脸，
Figure BDA0002849219650000142
表示图像中检测不出人脸；
(2.2)如果纠偏结果图像I1属于以下集合P，则将纠偏结果图像I1判定为国徽面，否则，将纠偏结果图像I1判定为人像面；
Figure BDA0002849219650000143
上述步骤(3)具体采用以下方法对纠偏结果图像I1进行国徽面边界检测：
(3.1.1)根据步骤(2)检测到的国徽左上角顶点纵坐标y1和左下角顶点纵坐标y4的大小，对图像的旋转方向进行判断。如果y1＞y4，则图像旋转了180度，此时将图像顺时针旋转180度。
(3.1.2)设置标准身份证中国徽长度与身份证长度的比值s＝0.2，国徽尺寸范围系数α＝0.3，β＝1.3。计算国徽边框尺寸的最大阈值tmax和最小阈值tmin：
tmax＝max(h,w)*s*α (2)
tmin＝min(h,w)*s*β (3)
其中，h,w为原图像的高和宽。
(3.1.3)根据检测得到的国徽左上角顶点、右上角顶点、右下角顶点和左下角顶点的坐标(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)，采用以下公式计算国徽每一条边的长度li，其中，i＝1,2,3,4。
Figure BDA0002849219650000144
其中，
j＝mod(i+1,4) (5)
mod是求余函数，mod(u,v)表示u除以v得到的余数。
(3.1.4)将国徽每一条边的长度li与最大阈值tmax和最小阈值tmin进行比较，其中，i＝1,2,3,4。如果li满足
tmin＜li＜tmax (6)
则国徽检测成功。
(3.1.5)设置标准身份证中国徽左上角顶点到身份证四条边界线的距离与国徽长度的比值φ＝0.18、γ＝2.86、κ＝0.24、ο＝4.89。根据检测得到的国徽左上角顶点、右上角顶点、右下角顶点和左下角顶点的坐标(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)，计算身份证边界左上角顶点、右上角顶点、右下角顶点和左下角顶点的预估坐标(A1,B1)、(A2,B2)、(A3,B3)、(A4,B4)，计算公式如下：
Figure BDA0002849219650000151
Figure BDA0002849219650000152
(3.1.6)根据身份证边界左上角顶点、右上角顶点、右下角顶点和左下角顶点的预估坐标(A1,B1)、(A2,B2)、(A3,B3)、(A4,B4)，采用边界线检测方法检测得到身份证的四条边界线l1、l2、l3、l4，如图6所示。
上述步骤(3)具体采用以下方法对纠偏结果图像I1进行人像面边界检测：
(3.2.1)设置身份证号长宽比的最小阈值hwmin＝15，身份证号长宽比的最大阈值hwmax＝17。使用高斯滤波算法对纠偏结果图像I1进行滤波去噪，得到滤波之后的图像Id，对Id进行轮廓检测，找到各个轮廓的外接矩形，选取长宽比在[hwmin,hwmax]范围内的矩形作为身份证号的候选区域。同时结合标准身份证中身份证号和人脸框的位置关系对身份证号区域进行进一步检测，如果轮廓的外接矩形左上角顶点的y坐标值s1、左下角顶点的y坐标值s2和人脸框左上角顶点的y坐标值n1、左下角顶点的y坐标值n4满足：
n4＜s1 (9)
n4+2(n4-n1)＞s2 (10)
则该轮廓的外接矩形是身份证号外接矩形框，并返回该身份证号外接矩形左上角顶点、右上角顶点、右下角顶点和左下角顶点的坐标(a1,b1)、(a2,b2)、(a3,b3)、(a4,b4)。
上述步骤中采用的高斯滤波算法是一种比较常用的图像预处理方法，参见Wüthrich,Manuel et al.“Robust Gaussian Filtering.”ArXiv abs/1509.04072(2015):n.pag。
(3.2.2)设置标准身份证中左眼眼角到身份证下边界的距离与左眼眼角到身份证号外接矩形框上边界距离的比值c∈[1.2,1.5]。根据左眼、右眼的人脸特征点位置和身份证号左上角顶点坐标(a1,b1)，计算身份证边界左上角顶点、右上角顶点、右下角顶点和左下角顶点的预估坐标(p1,q1)、(p2,q2)、(p3,q3)、(p4,q4)，计算公式如下：
Figure BDA0002849219650000161
Figure BDA0002849219650000162
Figure BDA0002849219650000163
Figure BDA0002849219650000164
Figure BDA0002849219650000165
其中，(h1,w1)和(h2,w2)分别为左眼眼角坐标和右眼眼角坐标。
(3.2.3)根据身份证边界左上角顶点、右上角顶点、右下角顶点和左下角顶点的预估坐标(p1,q1)、(p2,q2)、(p3,q3)、(p4,q4)，采用边界线检测方法得到身份证的四条边界线l1、l2、l3、l4，如图7所示。
上述(3.1.6)和(3.2.3)中提到的边界线检测方法，具体实施步骤如下：
(3.3.1)假设得到的身份证边界左上角顶点、右上角顶点、右下角顶点和左下角顶点的预估坐标为(U1,V1)、(U2,V2)、(U3,V3)、(U4,V4)。
(3.3.2)设置身份证预估外部区域的上边界线与身份证的预估上边界线之间的距离d＝30。分别连接(U1,V1)和(U2,V2)、(U2,V2)和(U3,V3)、(U3,V3)和(U4,V4)、(U4,V4)和(U1,V1)，得到身份证的四条预估边界线。计算身份证预估外部区域左上角顶点、右上角顶点、右下角顶点和左下角顶点的坐标(U1-d,V1-d)、(U2+d,V2-d)、(U3+d,V3+d)、(U4-d,V4+d)，分别连接(U1-d,V1-d)和(U1+d,V1-d)、(U1+d,V1-d)和(U1+d,V1+d)、(U1+d,V1+d)和(U1-d,V1+d)、(U1-d,V1+d)和(U1-d,V1-d)，构成身份证预估外部区域S1。计算身份证预估内部区域左上角顶点、右上角顶点、右下角顶点和左下角顶点的坐标(U1+d,V1+d)、(U2-d,V2+d)、(U3-d,V3-d)、(U4+d,V4-d)，分别连接(U1+d,V1+d)和(U2-d,V2+d)、(U2-d,V2+d)和(U3-d,V3-d)、(U3-d,V3-d)和(U4+d,V4-d)、(U4+d,V4-d)和(U1+d,V1+d)，构成身份证预估内部区域S2。身份证预估边界线周边区域S定义为：
Figure BDA0002849219650000171
(3.3.3)分别连接(U1-d,V1-d)和(U2+d,V2-d)、(U2+d,V2-d)和(U3+d,V2+d)、(U3+d,V2+d)和(U3-d,V1+d)、(U3-d,V1+d)和(U1-d,V1-d)，构成身份证预估边界线周边上区域Su；分别连接(U3-d,V4-d)和(U3+d,V3-d)、(U3+d,V3-d)和(U3+d,V3+d)、(U3+d,V3+d)和(U3-d,V4+d)、(U3-d,V4+d)和(U3-d,V4-d)，构成身份证预估边界线周边下区域Sd；分别连接(U1-d,V1-d)和(U1+d,V1-d)、(U1+d,V1-d)和(U4+d,V4+d)、(U4+d,V4+d)和(U3-d,V4+d)、(U3-d,V4+d)和(U1-d,V1-d)，构成身份证预估边界线周边左区域Sl；分别连接(U2-d,V1-d)和(U2+d,V2-d)、(U2+d,V2-d)和(U3+d,V3+d)、(U3+d,V3+d)和(U3-d,V3+d)、(U3-d,V3+d)和(U2-d,V1-d)，构成身份证预估边界线周边右区域Sr。
分别在身份证预估边界线周边上区域Su、身份证预估边界线周边下区域Sd、身份证预估边界线周边左区域Sl、身份证预估边界线周边右区域Sr进行直线检测，分别得到直线线段集合Lu、Ld、Ll、Lr。
(3.3.4)设置直线线段斜率阈值
Figure BDA0002849219650000181
对于直线线段集合Lu、Ld中的每一条直线线段l，判断其斜率ks是否小于给定直线线段斜率阈值
Figure BDA0002849219650000182
即
Figure BDA0002849219650000183
其中，斜率ks按以下公式计算：
Figure BDA0002849219650000184
其中，(u1,v1)、(u2,v2)为直线线段l上的任意两个点。如果直线线段l的斜率ks小于给定直线线段斜率阈值
Figure BDA0002849219650000185
则在直线线段集合Lu或Ld中将直线线段l移除。
设置直线线段斜率阈值ω＝1.4。对于直线线段集合Ll、Lr中的每一条直线线段l，判断其斜率ks是否大于给定直线线段斜率阈值ω，即
ks＞ω (19)
如果直线线段l的斜率ks大于给定直线线段斜率阈值ω，则在直线线段集合Ll或Lr中将直线线段l移除。
(3.3.4)采用直线线段拟合方法对直线线段集合Lu中的所有直线线段进行拟合，得到lu，采用直线线段拟合方法对直线线段集合Ld中的所有直线线段进行拟合，得到ld，采用直线线段拟合方法对直线线段集合Ll中的所有直线线段进行拟合，得到ll，采用直线线段拟合方法对直线线段集合Lr中的所有直线线段进行拟合，得到lr。这里的直线线段拟合方法具体如下：
a)取出直线线段集合中所有直线线段的两个端点，将这些端点组成点集Q；
b)采用最小二乘法对点集Q中的数据进行拟合，得到一条拟合直线线段。
(3.3.5)将得到的四条直线线段lu、ld、ll、lr分别延长，直线线段Ll和直线线段lu相交于点P1，直线线段lu和直线线段Lr相交于点P2，直线线段Lr和直线线段Ld相交于点P3，直线线段Ld和直线线段Ll相交于点P4，分别连接点P1和P2、P2和P3、P3和P4、P4和P1，构成身份证的四条边界线。
针对步骤(5)对图像I4进行国徽面信息定位，具体采用了以下方法：
(5.1.1)设置信息区域轮廓面积阈值SI＝800，宽高比的最小阈值tsmin＝4、宽高比的最大阈值tsmax＝20。对图像I4进行轮廓检测，满足以下两个条件的两个轮廓为国徽面信息区域，如图11所示：
a)轮廓面积Sarea＞SI、宽高比e在[tsmin,tsmax]范围内；
b)轮廓满足集合L，如图10所示。
集合L表示为：
Figure BDA0002849219650000191
其中，(x,y)为轮廓上点的坐标，X1和Y1分别为图像I4的左上角顶点的x、y坐标，X2为图像I4的右上角顶点的x坐标，Y4为图像I4的左下角顶点的y坐标。
针对上述步骤(5)对图像I4进行人像面信息定位，具体采用了以下方法：
(5.2.1)设置距离阈值θ1＝10、θ2＝10、θ3＝10、θ4＝10。根据所得到的人脸最小外接矩形左上角顶点、右上角顶点、右下角顶点和左下角顶点的坐标(m1,n1)、(m2,n2)、(m3,n3)、(m4,n4)，以及身份证号外接矩形左上角顶点、右上角顶点、右下角顶点和左下角顶点的坐标(a1,b1)、(a2,b2)、(a3,b3)、(a4,b4)，估算只包含姓名、性别、出生、地址四个信息的信息区域S3的左上角顶点、右上角顶点、右下角顶点和左下角顶点的坐标(k1,j1)、(k2,j2)、(k3,j3)、(k4,j4)，计算方式如下：
Figure BDA0002849219650000192
Figure BDA0002849219650000201
(5.2.2)分别连接(k1,j1)和(k2,j2)、(k2,j2)和(k3,j3)、(k3,j3)和(k4,j4)、(k4,j4)和(k1,j1)，得到信息区域S3的四条边界线，构成信息区域S3，如图12。
(5.2.3)对信息区域S3进行膨胀腐蚀和自适应二值化操作，再对其进行轮廓检测，得到一些轮廓区域。结合标准身份证中信息的位置从上到下分别定位姓名、性别、出生、地址四个信息区域的大致位置，得到姓名、性别、出生、地址四个信息区域左上角顶点坐标分别为(Xnlt,Ynlt)、(Xslt,Yslt)、(Xblt,Yblt)、(Xalt,Yalt)。同时，以地址框的左边界线x坐标Xalt为基准，分别确定姓名、性别、出生三个信息区域的左边界线x坐标Xnlt、Xslt、Xblt，公式如下所示：
Figure BDA0002849219650000202
(5.2.4)设置姓名信息区域长、宽的固定值wn＝185、hn＝37，地址信息区域长、宽的固定值wa＝343、ha＝139，性别信息区域长、宽的固定值ws＝204、hs＝37，出生信息区域长、宽的固定值wb＝278、hb＝37。人像面信息定位主要使用坐标定位方法，即确定左上角顶点坐标，同时根据标准身份证中的先验信息将长和宽设置为一固定值，估算右上角顶点坐标、右下角顶点坐标与左下角顶点坐标，公式如下：
Figure BDA0002849219650000203
Figure BDA0002849219650000204
Figure BDA0002849219650000211
Figure BDA0002849219650000212
Figure BDA0002849219650000213
Figure BDA0002849219650000214
Figure BDA0002849219650000215
Figure BDA0002849219650000216
其中，Xnlt和Ynlt分别为姓名信息区域的左上角顶点的x、y坐标，Xalt和Yalt分别为地址信息区域的左上角顶点的x、y坐标，Xnrt和Ynrt分别为估算的姓名信息区域右上角顶点的x、y坐标，Xnrd和Ynrd分别为估算的姓名信息区域右下角顶点的x、y坐标，Xnld和Ynld分别为估算的姓名信息区域左下角顶点的x、y坐标，Xart和Yart分别为估算的地址信息区域右上角顶点的x、y坐标，Xard和Yard分别为估算的地址信息区域右下角顶点的x、y坐标，Xald和Yald分别为估算的地址信息区域左下角顶点的x、y坐标。Xslt和Yslt分别为性别信息区域的左上角顶点的x、y坐标，Xblt和Yblt分别为出生信息区域的左上角顶点的x、y坐标，Xsrt和Ysrt分别为估算的性别信息区域右上角顶点的x、y坐标，Xsrd和Ysrd分别为估算的性别信息区域右下角顶点的x、y坐标，Xsld和Ysld分别为估算的性别信息区域左下角顶点的x、y坐标，Xbrt和Ybrt分别为估算的出生信息区域右上角顶点的x、y坐标，Xbrd和Ybrd分别为估算的出生信息区域右下角顶点的x、y坐标，Xbld和Ybld分别为估算的出生信息区域左下角顶点的x、y坐标。其中，性别信息区域包括性别和民族信息，出生信息区域包括出生年、月、日信息。
(5.2.5)连接点(Xnlt,Ynlt)和(Xnrt,Ynrt)、(Xnrt,Ynrt)和(Xnrd,Ynrd)、(Xnrd,Ynrd)和(Xnld,Ynld)、(Xnld,Ynld)和(Xnlt,Ynlt)，得到姓名信息区域。连接点(Xalt,Yalt)和(Xart,Yart)、(Xart,Yart)和(Xard,Yard)、(Xard,Yard)和(Xald,Yald)、(Xald,Yald)和(Xalt,Yalt)，得到地址信息区域。连接点(Xslt,Yslt)和(Xsrt,Ysrt)、(Xsrt,Ysrt)和(Xsrd,Ysrd)、(Xsrd,Ysrd)和(Xsld,Ysld)、(Xsld,Ysld)和(Xslt,Yslt)，得到性别信息区域。连接点(Xblt,Yblt)和(Xbrt,Ybrt)、(Xbrt,Ybrt)和(Xbrd,Ybrd)、(Xbrd,Ybrd)和(Xbld,Ybld)、(Xbld,Ybld)和(Xblt,Yblt)，得到出生信息区域，如图13所示。
本发明针对的是复杂背景下的身份证图像边界检测，其核心在于结合多种边界检测方法将身份证图像从背景中分离出来。本发明的优点在于充分利用特征之间的相对位置关系和先验信息预估边界线与信息位置，能极大的提升图像分割的准确率与信息的定位的精确度。
以上所述为本发明的较佳实例，但本发明不应该局限于该实例和附图所公开的内容。所以凡是不脱离本发明所公开的精神下完成的等效或修改，都落入本发明保护的范围。

Claims (7)

1.一种复杂背景下的身份证信息定位方法，其特征在于，该方法包括以下步骤：
(1)图像纠偏；对输入的包含有身份证信息的原始图像I进行偏转角度检测，确定图像的偏转角度θ，并将原始图像I旋转-θ角度，得到纠偏结果图像I1；
(2)国徽面、人像面检测；根据标准的国徽图像，采用图像匹配算法，对纠偏结果图像I1进行国徽检测，检测图像中是否含有国徽；如果有国徽，则返回检测到的国徽左上角顶点、右上角顶点、右下角顶点和左下角顶点的坐标(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)；同时使用人脸识别算法对图像进行人脸检测，检测图像中是否含有人脸；如果有人脸，则返回人脸最小外接矩形左上角顶点、右上角顶点、右下角顶点和左下角顶点的坐标(m1,n1)、(m2,n2)、(m3,n3)、(m4,n4)；根据国徽检测和人脸检测的结果，判断纠偏结果图像I1是国徽面还是人像面；
(3)边界检测；若纠偏结果图像I1为国徽面，则采用国徽面边界检测算法对图像边界进行检测，获取身份证的四条边界线段l1、l2、l3、l4；若纠偏结果图像I1为人像面，则采用人像面边界检测算法对图像边界进行检测，获取身份证的四条边界线段l1、l2、l3、l4；
(4)透视变换；将边界检测得到的身份证的四条边界线段l1、l2、l3、l4分别延长，每两条相邻线段相交于一点，得到相交的四个角点d1、d2、d3、d4；将标准身份证的四条边界线段分别延长，每两条相邻线段相交于一点，得到相交的四个角点f1、f2、f3、f4，根据d1、d2、d3、d4和f1、f2、f3、f4计算透视变换矩阵M，采用透视变换矩阵M对纠偏结果图像I1进行透视变换，得到透视变换后的图像I4；
(5)信息定位；若图像I4为国徽面，则采用国徽面信息定位方法定位出信息区域的位置；若图像I4为人像面，则采用人像面信息定位方法定位出信息区域的位置。
2.根据权利要求1所述的一种复杂背景下的身份证信息定位方法，其特征在于，上述步骤(1)对原始图像I进行偏转角度检测，确定图像的偏转角度θ，具体采用了以下方法：
第一步，对输入的原始图像I进行角点检测，得到角点二值化图像I2；
第二步，将图像I2沿顺时针方向旋转g次，第k次旋转k×a度，其中，0<a<＝30，g＝floor(180/a)，k＝1，2，...,g，floor(x)表示不大于x的最大整数，得到图像I2，k；
第三步，对旋转得到的每一幅图像I2，k中的角点向y轴进行投影，得到角点投影图，在该图中，y轴每个坐标上的投影值表示的是图像I2，k中与该坐标所对应的行方向上的角点的个数，将投影图中的最大投影值记为Mk；
第四步，将每一个Mk和对应的角度k×a组成键值对，将所有的键值对组成一个键值对集合，在所有的Mk中找出最大值Mmax，并在键值对集合中找出Mmax所对应的角度max×a，max×a即为我们所要求的偏转角度θ。
3.根据权利要求1所述的一种复杂背景下的身份证信息定位方法，其特征在于，上述步骤(2)中判断纠偏结果图像I1是国徽面还是人像面的具体方法如下：
第一步，以q表示图像中检测出国徽，
Figure FDA0003498642930000021
表示图像中未能检测到国徽，p表示图像中检测出人脸，
Figure FDA0003498642930000022
表示图像中检测不出人脸；
第二步，如果纠偏结果图像I1属于以下集合P，则将纠偏结果图像I1判定为国徽面，否则，将纠偏结果图像I1判定为人像面：
Figure FDA0003498642930000023
4.根据权利要求1所述的一种复杂背景下的身份证信息定位方法，其特征在于，上述步骤(3)国徽面边界检测算法具体采用以下方法对纠偏结果图像I1进行国徽面边界检测：
第一步，根据步骤(2)检测到的国徽左上角顶点纵坐标y1和左下角顶点纵坐标y4的大小，对图像的旋转方向进行判断；如果y1＞y4，则图像旋转了180度，此时将图像顺时针旋转180度；
第二步，计算国徽边框尺寸的最大阈值tmax和最小阈值tmin：
tmax＝max(h,w)*s*α (2)
tmin＝min(h,w)*s*β (3)
其中，h,w为原图像的高和宽，s表示标准身份证中国徽长度与身份证长度的比值，α、β分别为国徽尺寸范围系数；
第三步，根据检测得到的国徽左上角顶点、右上角顶点、右下角顶点和左下角顶点的坐标(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)，采用以下公式计算国徽每一条边的长度li，其中，i＝1,2,3,4；
Figure FDA0003498642930000031
其中，
j＝mod(i+1,4) (5)
mod是求余函数，mod(u,v)表示u除以v得到的余数；
第四步，将国徽每一条边的长度li与最大阈值tmax和最小阈值tmin进行比较，其中，i＝1,2,3,4；如果li满足
tmin＜li＜tmax (6)
则国徽检测成功；
第五步，根据检测得到的国徽左上角顶点、右上角顶点、右下角顶点和左下角顶点的坐标(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)，计算身份证边界左上角顶点、右上角顶点、右下角顶点和左下角顶点的预估坐标(A1,B1)、(A2,B2)、(A3,B3)、(A4,B4)，计算公式如下：
Figure FDA0003498642930000041
Figure FDA0003498642930000042
其中，γ、ο、φ、κ分别为标准身份证中国徽左上角顶点到身份证上、右、下、左四条边界线的距离与国徽长度的比值；
第六步，根据身份证边界左上角顶点、右上角顶点、右下角顶点和左下角顶点的预估坐标(A1,B1)、(A2,B2)、(A3,B3)、(A4,B4)，采用边界线检测方法检测得到身份证的四条边界线l1、l2、l3、l4。
5.根据权利要求1所述的一种复杂背景下的身份证信息定位方法，其特征在于，上述步骤(3)人像面边界检测算法具体采用以下方法对纠偏结果图像I1进行人脸面边界检测：
第一步，使用滤波算法对纠偏结果图像I1进行滤波去噪，得到滤波之后的图像Id，对Id进行轮廓检测，找到各个轮廓的外接矩形，选取长宽比在[hwmin,hwmax]范围内的矩形作为身份证号的候选区域，其中，hwmin和hwmax分别为身份证号长宽比的最小阈值和最大阈值；同时结合标准身份证中身份证号和人脸框的位置关系对身份证号区域进行进一步检测，如果轮廓的外接矩形左上角顶点的y坐标值s1、左下角顶点的y坐标值s2和人脸框左上角顶点的y坐标值n1、左下角顶点的y坐标值n4满足：
n4＜s1 (9)
n4+2(n4-n1)＞s2 (10)
则该轮廓的外接矩形是身份证号外接矩形框，并返回该身份证号外接矩形左上角顶点、右上角顶点、右下角顶点和左下角顶点的坐标(a1,b1)、(a2,b2)、(a3,b3)、(a4,b4)；
第二步，根据左眼、右眼的人脸特征点位置和身份证号左上角顶点坐标(a1,b1)，计算身份证边界左上角顶点、右上角顶点、右下角顶点和左下角顶点的预估坐标(p1,q1)、(p2,q2)、(p3,q3)、(p4,q4)，计算公式如下：
Figure FDA0003498642930000051
Figure FDA0003498642930000052
Figure FDA0003498642930000053
Figure FDA0003498642930000054
Figure FDA0003498642930000055
其中，(h1,w1)和(h2,w2)分别为左眼眼角坐标和右眼眼角坐标，c为标准身份证中左眼眼角到身份证下边界的距离与左眼眼角到身份证号外接矩形框上边界距离的比值；
第三步，根据身份证边界左上角顶点、右上角顶点、右下角顶点和左下角顶点的预估坐标(p1,q1)、(p2,q2)、(p3,q3)、(p4,q4)，采用边界线检测方法得到身份证的四条边界线l1、l2、l3、l4。
6.根据权利要求1所述的一种复杂背景下的身份证信息定位方法，其特征在于，上述步骤(5)国徽面信息定位方法具体采用了以下方法对图像I4进行国徽面信息定位：
对图像I4进行轮廓检测，满足以下两个条件的两个轮廓为国徽面信息区域：
a)轮廓面积Sarea＞SI、宽高比e在[tsmin,tsmax]范围内；
b)轮廓满足集合L；
其中SI为设定的信息区域轮廓面积阈值，tsmin和tsmax分别为宽高比的最小阈值和最大阈值，集合L表示为：
Figure FDA0003498642930000061
其中，(x,y)为轮廓上点的坐标，X1和Y1分别为图像I4的左上角顶点的x、y坐标，X2为图像I4的右上角顶点的x坐标，Y4为图像I4的左下角顶点的y坐标。
7.根据权利要求1所述的一种复杂背景下的身份证信息定位方法，其特征在于，
上述步骤(5)人像面信息定位方法具体采用了以下方法对图像I4进行人像面信息定位：
第一步，根据所得到的人脸最小外接矩形左上角顶点、右上角顶点、右下角顶点和左下角顶点的坐标(m1,n1)、(m2,n2)、(m3,n3)、(m4,n4)，以及身份证号外接矩形左上角顶点、右上角顶点、右下角顶点和左下角顶点的坐标(a1,b1)、(a2,b2)、(a3,b3)、(a4,b4)，估算只包含姓名、性别、出生、地址四个信息的信息区域S3的左上角顶点、右上角顶点、右下角顶点和左下角顶点的坐标(k1,j1)、(k2,j2)、(k3,j3)、(k4,j4)，计算方式如下：
Figure FDA0003498642930000062
Figure FDA0003498642930000063
其中，θ1、θ2、θ3、θ4分别为距离阈值；
第二步，分别连接(k1,j1)和(k2,j2)、(k2,j2)和(k3,j3)、(k3,j3)和(k4,j4)、(k4,j4)和(k1,j1)，得到信息区域S3的四条边界线，构成信息区域S3；
第三步，对信息区域S3进行膨胀腐蚀和自适应二值化操作，再对其进行轮廓检测，得到一些轮廓区域；结合标准身份证中信息的位置从上到下分别定位姓名、性别、出生、地址四个信息区域的大致位置，得到姓名、性别、出生、地址四个信息区域左上角顶点坐标分别为(Xnlt,Ynlt)、(Xslt,Yslt)、(Xblt,Yblt)、(Xalt,Yalt)；同时，以地址框的左边界线x坐标Xalt为基准，分别确定姓名、性别、出生三个信息区域的左边界线x坐标Xnlt、Xslt、Xblt，公式如下所示：
Figure FDA0003498642930000071
第四步，人像面信息定位主要使用坐标定位方法，即确定左上角顶点坐标，同时根据标准身份证中的先验信息将长和宽设置为一固定值，估算右上角顶点坐标、右下角顶点坐标与左下角顶点坐标，公式如下：
Figure FDA0003498642930000072
Figure FDA0003498642930000073
Figure FDA0003498642930000074
Figure FDA0003498642930000081
Figure FDA0003498642930000082
Figure FDA0003498642930000083
Figure FDA0003498642930000084
Figure FDA0003498642930000085
其中，Xnlt和Ynlt分别为姓名信息区域的左上角顶点的x、y坐标，Xalt和Yalt分别为地址信息区域的左上角顶点的x、y坐标，Xnrt和Ynrt分别为估算的姓名信息区域右上角顶点的x、y坐标，Xnrd和Ynrd分别为估算的姓名信息区域右下角顶点的x、y坐标，Xnld和Ynld分别为估算的姓名信息区域左下角顶点的x、y坐标，Xart和Yart分别为估算的地址信息区域右上角顶点的x、y坐标，Xard和Yard分别为估算的地址信息区域右下角顶点的x、y坐标，Xald和Yald分别为估算的地址信息区域左下角顶点的x、y坐标，wn、hn分别为姓名信息区域长宽设置的固定值，wa、ha分别为地址信息区域长宽设置的固定值；Xslt和Yslt分别为性别信息区域的左上角顶点的x、y坐标，Xblt和Yblt分别为出生信息区域的左上角顶点的x、y坐标，Xsrt和Ysrt分别为估算的性别信息区域右上角顶点的x、y坐标，Xsrd和Ysrd分别为估算的性别信息区域右下角顶点的x、y坐标，Xsld和Ysld分别为估算的性别信息区域左下角顶点的x、y坐标，Xbrt和Ybrt分别为估算的出生信息区域右上角顶点的x、y坐标，Xbrd和Ybrd分别为估算的出生信息区域右下角顶点的x、y坐标，Xbld和Ybld分别为估算的出生信息区域左下角顶点的x、y坐标，ws、hs分别为性别信息区域长宽设置的固定值，wb、hb分别为出生信息区域长宽设置的固定值；其中，性别信息区域包括性别和民族信息，出生信息区域包括出生年、月、日信息；
第五步，连接点(Xnlt,Ynlt)和(Xnrt,Ynrt)、(Xnrt,Ynrt)和(Xnrd,Ynrd)、(Xnrd,Ynrd)和(Xnld,Ynld)、(Xnld,Ynld)和(Xnlt,Ynlt)，得到姓名信息区域；连接点(Xalt,Yalt)和(Xart,Yart)、(Xart,Yart)和(Xard,Yard)、(Xard,Yard)和(Xald,Yald)、(Xald,Yald)和(Xalt,Yalt)，得到地址信息区域；连接点(Xslt,Yslt)和(Xsrt,Ysrt)、(Xsrt,Ysrt)和(Xsrd,Ysrd)、(Xsrd,Ysrd)和(Xsld,Ysld)、(Xsld,Ysld)和(Xslt,Yslt)，得到性别信息区域；连接点(Xblt,Yblt)和(Xbrt,Ybrt)、(Xbrt,Ybrt)和(Xbrd,Ybrd)、(Xbrd,Ybrd)和(Xbld,Ybld)、(Xbld,Ybld)和(Xblt,Yblt)，得到出生信息区域。
CN202011520174.2A 2020-12-21 2020-12-21 一种复杂背景下的身份证信息定位方法 Active CN112837263B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011520174.2A CN112837263B (zh) 2020-12-21 2020-12-21 一种复杂背景下的身份证信息定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011520174.2A CN112837263B (zh) 2020-12-21 2020-12-21 一种复杂背景下的身份证信息定位方法

Publications (2)

Publication Number Publication Date
CN112837263A CN112837263A (zh) 2021-05-25
CN112837263B true CN112837263B (zh) 2022-03-22

Family

ID=75923681

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011520174.2A Active CN112837263B (zh) 2020-12-21 2020-12-21 一种复杂背景下的身份证信息定位方法

Country Status (1)

Country Link
CN (1) CN112837263B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113505793B (zh) * 2021-07-06 2022-03-04 上海致宇信息技术有限公司 复杂背景下的矩形目标检测方法
CN113449686A (zh) * 2021-07-19 2021-09-28 成都新希望金融信息有限公司 一种身份证造假的识别方法、装置、设备和介质
JP7197042B1 (ja) 2022-03-18 2022-12-27 凸版印刷株式会社 教師データ自動生成装置、教師データ自動生成方法および教師データ自動生成プログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104680161A (zh) * 2015-01-09 2015-06-03 安徽清新互联信息科技有限公司 一种身份证数字识别方法
CN104680130A (zh) * 2015-01-09 2015-06-03 安徽清新互联信息科技有限公司 一种身份证汉字识别方法
CN106682629B (zh) * 2016-12-30 2019-12-13 佳都新太科技股份有限公司 一种复杂背景下身份证号识别算法
CN110119741B (zh) * 2019-04-08 2022-09-27 浙江大学宁波理工学院 一种有背景的卡证图像信息识别方法
CN110008909B (zh) * 2019-04-09 2020-09-15 浩鲸云计算科技股份有限公司 一种基于ai的实名制业务实时稽核系统
CN111783757A (zh) * 2020-06-01 2020-10-16 成都科大极智科技有限公司 一种基于ocr技术的复杂场景下身份证识别方法

Also Published As

Publication number Publication date
CN112837263A (zh) 2021-05-25

Similar Documents

Publication Publication Date Title
CN112837263B (zh) 一种复杂背景下的身份证信息定位方法
Liu et al. Detecting wide lines using isotropic nonlinear filtering
Gonçalves et al. HAIRIS: A method for automatic image registration through histogram-based image segmentation
US7460693B2 (en) Method and apparatus for the automatic detection of facial features
CN110119741B (zh) 一种有背景的卡证图像信息识别方法
US20120082385A1 (en) Edge based template matching
WO2006087580A1 (en) Fast method of object detection by statistical template matching
US20120269443A1 (en) Method, apparatus, and program for detecting facial characteristic points
CN109409356B (zh) 一种基于swt的多方向中文印刷体文字检测方法
CN111680699B (zh) 一种基于背景抑制的空地红外时敏弱小目标检测方法
CN112037287B (zh) 相机标定方法、电子设备及存储介质
US11475707B2 (en) Method for extracting image of face detection and device thereof
Gargesha et al. A hybrid technique for facial feature point detection
Choi et al. Fingerprint image mosaicking by recursive ridge mapping
CN113936303B (zh) 一种手部图像最大内接矩形确定方法及图像识别方法
CN114970590A (zh) 一种条码的检测方法
CN113781523A (zh) 一种足球检测跟踪方法及装置、电子设备、存储介质
CN115359249B (zh) 一种手掌图像roi区域提取方法及系统
CN112926516A (zh) 一种鲁棒的手指静脉图像感兴趣区域提取方法
CN117372487A (zh) 图像配准方法、装置、计算机设备和存储介质
CN116309780A (zh) 一种基于目标检测的水尺水位识别方法
CN113936305B (zh) 一种手掌识别过程中的中指位置确认方法及特征提取方法
CN113379639B (zh) 一种复杂环境中红外目标抗干扰检测跟踪方法
CN113409334B (zh) 一种基于质心的结构光角点检测方法
CN112085683B (zh) 一种显著性检测中的深度图可信度检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A Method for Locating ID Card Information in Complex Background

Effective date of registration: 20230814

Granted publication date: 20220322

Pledgee: Shanghai Pudong Development Bank Co.,Ltd. Zhabei Sub branch

Pledgor: SHANGHAI ZHIYU INFORMATION TECHNOLOGY CO.,LTD.

Registration number: Y2023310000462

PE01 Entry into force of the registration of the contract for pledge of patent right