CN116189181B - 一种身份证ocr的图像规范化方法及系统 - Google Patents

Abstract

本申请公开了一种身份证OCR的图像规范化方法及系统，其中，方法包括以下步骤：分析身份证图像的文字块外接包围盒的长宽比信息得到方向信息，校正所述身份证图像到水平方向得到第一身份证图像；分析所述第一身份证图像以及其上下翻转后图像的字符置信度，把总置信度大的身份证图像作为第二身份证图像；设置身份证关键字集，采用所述第二身份证图像的OCR结果与所述关键字集进行匹配,确定所述第二身份证图像属于正面还是反面；分别设置身份证正面和反面模板，根据模板对所述第二身份证图像进行校正，得到规范化的身份证图像。本发明进行推广后，可以应用于身份证OCR系统中，大大提高了身份证版面分析的效率和身份证OCR识别效果。

Description

一种身份证OCR的图像规范化方法及系统

技术领域

本发明涉及身份证OCR领域，具体涉及一种身份证OCR的图像规范化方法及系统。

背景技术

随着手机等移动终端设备的广泛应用，很多服务都可以在线上办理，给用户带来了便捷。不少线上系统通过拍摄身份证照片作为认证用户信息的一种手段。对于系统中这些大量拍摄的身份证图像数据，通过OCR识别技术识别身份证卡面信息，核对其内容的真实性并录入到系统中是非常必要的。由于不同的用户拍摄的身份证图像质量很难保证，所拍摄的图像的尺寸、角度、光线、背景各不相同，这不但会影响身份证OCR的识别效果，而且上传到系统中展示视觉效果非常凌乱。

为了解决上述问题，采用对身份证图像进行规范化的方式，以降低图像尺寸、角度、背景的影响。根据身份证板面的特点，通过多次迭代识别的方式实现对任意角度拍摄的身份证图像进行主方向的校正。利用身份证版面上的关键字信息，以投票的方式确定身份证图像是属于正面还是反面。并根据板面关键字中字符的坐标，求解仿射变换矩阵，把身份证图像统一规范化到固定的尺寸上。规范化的身份证图像不但视觉上统一、美观，而且规范化的身份证图像版式一致，简化了光照的统一处理。处理后的规范化身份证图像可以再次做OCR识别，提高OCR识别的准确率，也方便简化身份证图像的板面解析。

发明内容

本申请公开了一种身份证OCR的图像规范化方法及系统，对任意角度拍摄的身份证图像进行图像规范化处理。

为达到上述目的，本申请提供了以下方案：

一种身份证OCR的图像规范化方法，包括以下步骤：

S1.采集身份证图像；

S2.对所述身份证图像进行OCR识别，得到字符的坐标和置信度；通过形态学运算和连通区域分析得到文字块的外接包围盒，分析外接包围盒的长宽比信息得到所述身份证图像属于水平还是垂直方向；校正所述身份证图像到水平方向得到第一身份证图像；

S3.对所述第一身份证图像进行OCR识别，得到字符的置信度；累加数值大于预设阈值的置信度，得到第一总置信度；上下翻转第一身份证图像，得到翻转后的身份证图像，并对所述翻转后的身份证图像进行OCR识别，得到字符的置信度；累加数值大于预设阈值的置信度，得到第二总置信度；比较所述第一总置信度与所述第二总置信度的大小，把比较结果大的身份证图像作为第二身份证图像；

S4.分别设置身份证正面和反面关键字集，采用所述第二身份证图像的OCR结果与所述关键字集进行匹配，得到关键字匹配结果；根据关键字匹配结果确定所述第二身份证图像属于正面还是反面；

S5.分别设置身份证正面和反面模板，并把对应关键字集中的字符坐标作为模板的锚点；根据所述关键字匹配结果把所述第二身份证图像的字符坐标与模板的锚点进行关联，根据关联信息对所述第二身份证图像进行校正，得到规范化的身份证图像。

优选的，所述S2中，得到第一身份证图像的方法包括：

对所述身份证图像进行OCR识别，得到所述身份证图像上每个字符的坐标和置信度；

创建一张与所述身份证图像相等尺寸的二值掩码图像并把所有像素初始化为黑色；选定置信度大于预设阈值的字符，根据其坐标在二值掩码图像中对应位置填充白色矩形；

对所述二值掩码图像作形态学闭运算，通过连通区域分析算法得到连通区域的外接包围盒；

统计长度和宽度的差值大于0的外接包围盒的数量，并与外接包围盒的总数量进行比较，判断身份证图像是属于水平还是垂直方向；

根据身份证图像的方向信息，把所述身份证图像校正到水平方向，生成第一身份证图像。

优选的，得到第二身份证图像的正反面信息的方法包括：

分别设置身份证正面和反面关键字集；

根据所述身份证正面和反面关键字集中的关键字与所述第二身份证图像的OCR的识别结果进行匹配，得到匹配得分；

正面关键字集与OCR识别结果进行匹配，得到正面关键字匹配总得分ss1；

反面关键字集与OCR识别结果进行匹配，得到反面关键字匹配总得分ss2；

根据比较正面关键字匹配总得分ss1与反面关键字匹配总得分ss2的大小，得到第二身份证图像的正反面信息。

优选的，得到关键字匹配得分的方法包括：

令K为一个关键字，K(i)为关键字中的第i个字符，Q为一条OCR识别结果，Q(j)为识别结果中的第j个字符；

初始化命中得分s＝0，前一次命中位置L＝-1，字符命中位置对集合，K从第一个字符开始，到最后一个字符；

K(i)与Q的每个字符进行逐个比较，当K(i)与Q(j)相等时，则令L＝j，s＝s+Conf(j),其中Conf(j)为字符Q(j)的OCR识别置信度，并把(i,j)插入到字符命中位置对集合中；

当K(i)与Q(j)不相等时，如果L等于-1，则不操作；否则判断j-L是否大于6，如果是，则结束整个匹配过程，并把命中得分s除以关键字字符数，得到关键字匹配得分。

优选的，根据所述匹配得分与OCR识别得到正面关键字匹配得分ss1、反面关键字匹配得分ss2的方法包括：

初始化关键字匹配得分，关键字字符命中位置对集合；

对身份证正面关键字集合按照所述关键字匹配得分方法与OCR识别结果逐条匹配，若最高匹配得分maxs大于预设阈值，则ss1＝ss1+maxs,并根据匹配字符命中位置对集合和关键字结合成一个元素插入到关键字字符命中位置对集合中；

对身份证反面关键字集合按照所述关键字匹配得分方法与OCR识别结果逐条匹配，若最高匹配得分maxs大于预设阈值，则ss2＝ss2+maxs，并根据匹配字符命中位置对集合和关键字结合成一个元素插入到关键字字符命中位置对集合中。

优选的，得到规范化的身份证图像方法包括：

分别设置身份证正面和反面模板，并把对应关键字集中的字符坐标作为模板的锚点；

根据所述关键字字符命中位置对集合得到模板的锚点与第二身份证图像的字符坐标，组成坐标对集合；从坐标对集合中选取四个坐标对，根据四个坐标对得到仿射变换矩阵；

利用仿射变换矩阵对所述第二身份证图像进行仿射变换，得到规范化的身份证图像。

优选的，从坐标对集合中选取四个坐标对的方法包括：

计算坐标对集合中每个坐标对中锚点的模；

选取模最小的坐标对作为第一坐标对；

选取与第一坐标对欧式距离最大的坐标对作为第二坐标对；

选取与第一坐标对以及第二坐标对欧式距离之和最大的坐标对作为第三坐标对；

选取与第一坐标对、第二坐标对以及第三坐标对的欧式距离之和最大的坐标对作为第四坐标对。

本申请还包括一种身份证OCR的图像规范化系统，其特征在于，包括：身份证图像采集模块、身份证图像水平垂直分析模块、身份证图像上下翻转分析模块、身份证图像正反面分析模块、身份证图像规范化模块；

身份证图像采集模块用于采集身份证图像；

身份证图像水平垂直分析模块用于对所述身份证图像进行OCR识别，得到字符的坐标和置信度；通过形态学运算和连通区域分析得到文字块的外接包围盒，分析外接包围盒的长宽比信息得到所述身份证图像属于水平还是垂直方向；校正所述身份证图像到水平方向得到第一身份证图像；

身份证图像上下翻转分析模块：对所述第一身份证图像进行OCR识别，得到字符的置信度；累加数值大于预设阈值的置信度，得到第一总置信度；上下翻转第一身份证图像，并对所述翻转后的身份证图像进行OCR识别，得到字符的置信度；累加数值大于预设阈值的置信度，得到第二总置信度；比较第一总置信度与第二总置信度大小，把总置信度大的身份证图像作为第二身份证图像；

身份证图像正反面分析模块用于分别设置身份证正面和反面关键字集，采用所述第二身份证图像的OCR结果与所述关键字集进行匹配；根据关键字匹配结果确定所述第二身份证图像属于正面还是反面；

身份证图像规范化模块用于分别设置身份证正面和反面模板，并把对应关键字集中的字符坐标作为该模板的锚点；根据关键字的匹配结果把所述第二身份证图像的字符坐标与模板的锚点进行关联，根据关联信息对所述第二身份证图像进行校正，得到规范化的身份证图像。

有益效果

本申请公开了一种身份证OCR的图像规范化方法及系统，包括采集身份证图像；对身份证图像进行OCR识别，得到字符的坐标和置信度；通过外接包围盒，分析外接包围盒的长宽比信息得到第一身份证图像；对第一身份证图像进行OCR识别，得到第二身份证图像；分别设置身份证正面和反面关键字集，采用所述第二身份证图像的OCR结果与所述关键字集进行匹配，得到关键字匹配结果；根据关键字匹配结果确定所述第二身份证图像属于正面还是反面；关键字匹配结果把所述第二身份证图像的字符坐标与所述模板的锚点进行关联，根据关联信息对所述第二身份证图像进行校正，得到规范化的身份证图像。本发明进行推广后，可以应用于身份证OCR系统中，大大提高了身份证版面分析的效率和身份证OCR识别效果。

附图说明

为了更清楚地说明本申请的技术方案，下面对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例一种身份证OCR的图像规范化方法的流程示意图；

图2为本申请实施例一种身份证OCR的图像规范化系统的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。

实施例一

在本实施例一中，如图1所示，一种身份证OCR的图像规范化方法，包括以下步骤：

S1.采集身份证图像。

采集身份证图像信息的方法具体包括：

S101：通过带有摄像功能的工具拍摄身份证图片；

S102：对身份证图片通过图片格式转换器转换为JPG格式；

S103：根据拍摄的身份证图像格式信息得到身份证图像信息。

S2.对所述身份证图像进行OCR识别，得到字符的坐标和置信度。通过形态学运算和连通区域分析得到文字块的外接包围盒，分析外接包围盒的长宽比信息得到所述身份证图像属于水平还是垂直方向。校正所述身份证图像到水平方向得到第一身份证图像。

其中，得到第一身份证图像的方法包括：

S201：对身份证图像信息进行OCR识别，得到图像上每个字符的矩形坐标和识别置信度，根据字符的识别置信度，把置信度大于0.7的字符矩形坐标存入到字符矩形坐标R中；

S202：创建一张与身份证图像相等尺寸的二值图像M，并把其所有像素初始化为0；对于字符矩形坐标集R的每个元素，根据其矩形坐标在二值图像M上的位置把矩形内所有像素值设置为255；再对二值图像M作形态学闭运算，并通过连通区域分析算法得到所有连通区域的外接包围盒集B；

S203：由身份证版面布局的先验知识可知，根据外接包围盒集B的长度和宽度之间的关系可以确定身份证图像是水平还是垂直；根据单个外接包围盒的长度和宽度之差来判断身份证图像属于水平或者垂直方向；

单个外接包围盒的长度与宽度之差为：

d＝max(X)+min(Y)-min(X)-max(Y)其中X和Y分别为外界包围盒中4个顶点的xy坐标值。当d>0时，身份证图像为正常水平角度的可能性很大；当d<0时，身份证图像为垂直角度的可能性很大。

S204：为了增加判断的稳定性，通过对外接包围盒集B中所有外接包围盒计算长度和宽度之差d，并以投票的方式来确定身份证图像是属于水平或者垂直方向：

其中I(·)为指示函数，表示满足d>0时，函数值为1，否则函数值为0，D为外接包装盒集B中长度和宽度之差的集合。

S205：当o的值大于D元素个数一半以时，则身份证图像为水平方向，把身份证图像作为第一身份证图像；否则身份证图像为垂直方向，把身份证图像顺时针旋转90度，把旋转后的身份证图像作为第一身份证图像。

S3.对所述第一身份证图像进行OCR识别，得到字符的置信度。累加数值大于预设阈值的置信度，得到第一总置信度；上下翻转第一身份证图像，并对所述翻转后的身份证图像进行OCR识别，得到字符的置信度。累加数值大于预设阈值的置信度，得到第二总置信度；比较第一总置信度与第二总置信度大小，把总置信度大的身份证图像作为第二身份证图像。

得到第二身份证图像的具体方法包括：

S301：对第一身份证图像进行OCR识别，得到图像上每个字符的识别置信度；累加置信度大于N的字符的置信度，得到字符置信度的总和tc1，本实施例中，N为0.7；

S302：上下翻转第一身份证图像，并进行OCR识别，得到图像上每个字符的识别置信度；累加置信度大于N的字符置信度，得到字符置信度的总和tc2，本实施例中，N为0.7；

S303：当tc1<tc2，则将上下翻转后的第一身份证图像作为第二身份证图像，否则将第一身份证图像作为第二身份证图像。对应的OCR识别结果为Ω。

S4.分别设置身份证正面和反面关键字集，采用所述第二身份证图像的OCR结果与所述关键字集进行匹配。根据关键字匹配结果确定所述第二身份证图像属于正面还是反面。

基于对翻转后的第一身份证图像进行OCR识别得到的识别结果，设立两组关键字集合，通过关键字匹配信息来判断是身份证图像属于正面还是反面。身份证的正面关键字集合FK为姓名，性别，民族，出生年月日，住址，公民身份号码}。身份证的反面关键字集合BK为{中华人民共和国，居民身份证，签发机关，公安局，有效期限}。

令K为一个关键字，K(i)为关键字中的第i个字符，Q为一条OCR识别结果，Q(j)为识别结果中的第j个字符；

初始化命中得分s＝0，前一次命中位置L＝-1，字符命中位置对集合P＝{}。K从第一个字符开始，一直到最后一个字符；

K(i)与Q的每个字符进行逐个比较，当K(i)与Q(j)相等时，则令L＝j，s＝s+Conf(j),其中Conf(j)为字符Q(j)的OCR识别置信度，并把(i,j)插入到字符命中位置对集合P中；

当K(i)与Q(j)不相等时，如果L等于-1，则不操作；否则判断j-L是否大于6，如果是，则结束整个匹配过程，并把命中得分s除以关键字字符数作为本次匹配的得分。初始化关键字匹配得分，关键字字符命中位置对集合PP＝{}；

对身份证正面关键字集合按照所述匹配方法与OCR识别结果逐条匹配，若最高匹配得分maxs大于M，则ss1＝ss1+maxs,并根据匹配字符命中位置对集合P和关键字结合成一个元素插入到关键字字符命中位置对集合PP中；

对身份证反面关键字集合按照所述匹配方法与OCR识别结果逐条匹配，若最高匹配得分maxs大于M，则ss2＝ss2+maxs，并根据匹配字符命中位置对集合P和关键字结合成一个元素插入到关键字字符命中位置对集合PP中。

S5.分别设置身份证正面和反面模板，并把对应关键字集中的字符坐标作为该模板的锚点。根据关键字的匹配结果把所述第二身份证图像的字符坐标与模板的锚点进行关联，根据关联信息对所述第二身份证图像进行校正，得到规范化的身份证图像。

先为身份证的正反面各建立一张大小为1280×800的模板图像，该模板图像要求身份证版面内容无畸变。再根据身份证正面模板图像，记录正面关键字集合FK中每个关键字中每个字符的中心点在图像中的坐标，每个字符的中心点在图像中的坐标基于对翻转后的第一身份证图像进行OCR识别得到的每个字符的矩形坐标；该坐标集合记作FC；根据身份证反面模板图像，记录反面关键字集合BK中每个关键字中每个字符的中心点在图像中的坐标，该坐标集合记作BC。在上一节的判断身份证正反面过程中，可以确定身份证是属于哪一面，同时还可以得到关键字字符命中位置对集合PP，通过该集合信息可以进一步得到模板图像中字符与第二身份证图像中对应字符的坐标对集合PPC。

为了提高稳定性，采用下面的方法在坐标对集合PPC中选取4个坐标对，用于计算仿射变换矩阵T。选取4个坐标点的方法为：首先计算坐标对集合PPC中模板图像部分的各个字符坐标的模，选取模最小对应的坐标对作为第1坐标对；然后选取与第1坐标对欧式距离最大的坐标对作为第2坐标对；再选取与第1坐标对以及第2坐标对欧式距离之和最大的坐标对作为第3坐标对。最后，在选取与第1坐标对、第2坐标对以及第3坐标对的欧式距离之和最大的坐标对作为第4坐标对。获得4个坐标对之后，可以根据这4个坐标映射对求解出其仿射变换矩阵T。利用该仿射变换矩阵T对第二身份证图像进行仿射变换，可得规范化的身份证图像。

实施例二

在本实施例二中，如图2所示，一种身份证OCR的图像规范化系统，其特征在于，包括：身份证图像采集模块、身份证图像水平垂直分析模块、身份证图像上下翻转分析模块、身份证图像正反面分析模块、身份证图像规范化模块；

身份证图像采集模块用于采集身份证的图像信息；

身份证图像水平垂直分析模块用于对所述身份证图像进行OCR识别，得到字符的坐标和置信度。通过形态学运算和连通区域分析得到文字块的外接包围盒，分析外接包围盒的长宽比信息得到所述身份证图像属于水平还是垂直方向。校正所述身份证图像到水平方向得到第一身份证图像；对身份证图像信息进行OCR识别，得到图像上每个字符的矩形坐标和识别置信度，根据字符的识别置信度，把置信度大于0.7的字符矩形坐标存入到字符矩形坐标R中；创建一张与身份证图像相等尺寸的二值图像M，并把其所有像素初始化为0；对于字符矩形坐标集R的每个元素，根据其矩形坐标在二值图像M上的位置把矩形内所有像素值设置为255；再对二值图像M作形态学闭运算，并通过连通区域分析算法得到所有连通区域的外接包围盒集B；由身份证版面布局的先验知识可知，根据外接包围盒集B的长度和宽度之间的关系可以确定身份证图像是水平还是垂直；根据单个外接包围盒的长度和宽度之差来判断身份证图像属于水平或者垂直方向；

单个外接包围盒的长度与宽度之差为：

d＝max(X)+min(Y)-min(X)-max(Y)

其中X和Y分别为该外界包围盒中4个顶点的xy坐标值。当d>0时，身份证图像为正常水平角度的可能性很大；当d<0时，身份证图像为垂直角度的可能性很大。为了增加判断的稳定性，通过对外接包围盒集B中所有外接包围盒计算长度和宽度之差d，并以投票的方式来确定该身份证图像是属于水平或者垂直方向：

其中I(·)为指示函数，表示满足d>0时，函数值为1，否则函数值为0，D为外接包装盒集B中长度和宽度之差的集合。当o的值大于D元素个数一半以时，则身份证图像为水平方向，把身份证图像作为第一身份证图像；否则身份证图像为垂直方向，把身份证图像顺时针旋转90度，把旋转后的身份证图像作为第一身份证图像。

身份证图像上下翻转分析模块用于对所述第一身份证图像进行OCR识别，得到字符的置信度。累加数值大于预设阈值的置信度，得到第一总置信度；上下翻转第一身份证图像，并对所述翻转后的身份证图像进行OCR识别，得到字符的置信度。累加数值大于预设阈值的置信度，得到第二总置信度；比较第一总置信度与第二总置信度大小，把总置信度大的身份证图像作为第二身份证图像；对第一身份证图像进行OCR识别，得到图像上每隔字符的矩形坐标、识别结果和识别置信度；累加置信度大于0.7的字符的置信度，得到字符置信度的总和tc1；上下翻转第一身份证图像，并进行OCR识别，得到图像上每个字符的矩形坐标、识别结果和识别置信度；累加置信度大于0.7的字符置信度，得到字符置信度的总和tc2；当tc1<tc2，则将上下翻转后的第一身份证图像作为第二身份证图像，否则将第一身份证图像作为第二身份证图像。对应的OCR识别结果为Ω。

身份证图像正反面分析模块用于分别设置身份证正面和反面关键字集，采用所述第二身份证图像的OCR结果与所述关键字集进行匹配。根据关键字匹配结果确定所述第二身份证图像属于正面还是反面；根据身份证的版面特点，可以设立两组关键字集合，通过关键字匹配信息来判断是身份证图像属于正面还是反面。身份证的正面关键字集合FK为姓名，性别，民族，出生年月日，住址，公民身份号码}。身份证的反面关键字集合BK为{中华人民共和国，居民身份证，签发机关，公安局，有效期限}。令K为一个关键字，K(i)为关键字中的第i个字符，Q为一条OCR识别结果，Q(j)为识别结果中的第j个字符；

初始化命中得分s＝0，前一次命中位置L＝-1，字符命中位置对集合P＝{}。K从第一个字符开始，一直到最后一个字符；

K(i)与Q的每个字符进行逐个比较，当K(i)与Q(j)相等时，则令L＝j，s＝s+Conf(j),其中Conf(j)为字符Q(j)的OCR识别置信度，并把(i,j)插入到字符命中位置对集合P中；当K(i)与Q(j)不相等时，如果L等于-1，则不操作；否则判断j-L是否大于6，如果是，则结束整个匹配过程，并把命中得分s除以关键字字符数作为该次匹配的得分。初始化关键字匹配得分，关键字字符命中位置对集合PP＝{}；对身份证正面关键字集合按照所述匹配方法与OCR识别结果逐条匹配，若最高匹配得分maxs大于M，则ss1＝ss1+maxs,并根据该次匹配字符命中位置对集合P和关键字结合成一个元素插入到关键字字符命中位置对集合PP中；

对身份证反面关键字集合按照所述匹配方法与OCR识别结果逐条匹配，若最高匹配得分maxs大于M，则ss2＝ss2+maxs，并根据该次匹配字符命中位置对集合P和关键字结合成一个元素插入到关键字字符命中位置对集合PP中。

身份证图像规范化模块用于分别设置身份证正面和反面模板，并把对应关键字集中的字符坐标作为该模板的锚点。根据关键字的匹配结果把所述第二身份证图像的字符坐标与模板的锚点进行关联，根据关联信息对所述第二身份证图像进行校正，得到规范化的身份证图像；先为身份证的正反面各建立一张大小为1280×800的模板图像，该模板图像要求身份证版面内容无畸变。再根据身份证正面模板图像，记录正面关键字集合FK中每个关键字中每个字符的中心点在图像中的坐标，该坐标集合记作FC；根据身份证反面模板图像，记录反面关键字集合BK中每个关键字中每个字符的中心点在图像中的坐标，该坐标集合记作BC。在上一节的判断身份证正反面过程中，可以确定身份证是属于哪一面，同时还可以得到关键字字符命中位置对集合PP，通过该集合信息可以进一步得到模板图像中字符与第二身份证图像中对应字符的坐标对集合PPC。

为了提高稳定性，采用下面的方法在坐标对集合PPC中选取4个坐标对，用于计算仿射变换矩阵T。选取4个坐标点的方法为：首先计算坐标对集合PPC中模板图像部分的各个字符坐标的模，选取模最小对应的坐标对作为第1坐标对；然后选取与第1坐标对欧式距离最大的坐标对作为第2坐标对；再选取与第1坐标对以及第2坐标对欧式距离之和最大的坐标对作为第3坐标对。最后，选取与第1坐标对、第2坐标对以及第3坐标对的欧式距离之和最大的坐标对作为第4坐标对。获得4个坐标对之后，可以根据这4个坐标映射对求解出其仿射变换矩阵T。利用该仿射变换矩阵T对第二身份证图像进行仿射变换，可得规范化的身份证图像。

以上所述的实施例仅是对本申请优选方式进行的描述，并非对本申请的范围进行限定，在不脱离本申请设计精神的前提下，本领域普通技术人员对本申请的技术方案做出的各种变形和改进，均应落入本申请权利要求书确定的保护范围内。

Claims (6)

1.一种身份证OCR的图像规范化方法，其特征在于，包括以下步骤：

S1.采集身份证图像；

S2.对所述身份证图像进行OCR识别，得到字符的坐标和置信度；通过形态学运算和连通区域分析得到文字块的外接包围盒，分析外接包围盒的长宽比信息得到所述身份证图像属于水平还是垂直方向；校正所述身份证图像到水平方向得到第一身份证图像；

S3.对所述第一身份证图像进行OCR识别，得到字符的置信度；累加数值大于预设阈值的置信度，得到第一总置信度；上下翻转第一身份证图像，得到翻转后的身份证图像，并对所述翻转后的身份证图像进行OCR识别，得到字符的置信度；累加数值大于预设阈值的置信度，得到第二总置信度；比较所述第一总置信度与所述第二总置信度的大小，把比较结果大的身份证图像作为第二身份证图像；

S4.分别设置身份证正面和反面关键字集，采用所述第二身份证图像的OCR结果与所述关键字集进行匹配，得到关键字匹配结果；根据关键字匹配结果确定所述第二身份证图像属于正面还是反面；

S5.分别设置身份证正面和反面模板，并把对应关键字集中的字符坐标作为模板的锚点；根据所述关键字匹配结果把所述第二身份证图像的字符坐标与模板的锚点进行关联，根据关联信息对所述第二身份证图像进行校正，得到规范化的身份证图像；

得到第二身份证图像的正反面信息的方法包括：

分别设置身份证正面和反面关键字集；

根据所述身份证正面和反面关键字集中的关键字与所述第二身份证图像的OCR的识别结果进行匹配，得到匹配得分；

正面关键字集与OCR识别结果进行匹配，得到正面关键字匹配总得分ss1；

反面关键字集与OCR识别结果进行匹配，得到反面关键字匹配总得分ss2；

根据比较正面关键字匹配总得分ss1与反面关键字匹配总得分ss2的大小，得到第二身份证图像的正反面信息；

得到关键字匹配得分的方法包括：

令K为一个关键字，K(i)为关键字中的第i个字符，Q为一条OCR识别结果，Q(j)为识别结果中的第j个字符；

初始化命中得分s＝0，前一次命中位置L＝-1，字符命中位置对集合，K从第一个字符开始，到最后一个字符；

K(i)与Q的每个字符进行逐个比较，当K(i)与Q(j)相等时，则令L＝j，s＝s+Conf(j),其中Conf(j)为字符Q(j)的OCR识别置信度，并把(i,j)插入到字符命中位置对集合中；

当K(i)与Q(j)不相等时，如果L等于-1，则不操作；否则判断j-L是否大于6，如果是，则结束整个匹配过程，并把命中得分s除以关键字字符数，得到关键字匹配得分。

2.根据权利要求1所述一种身份证OCR的图像规范化方法，其特征在于，所述S2中，得到第一身份证图像的方法包括：

对所述身份证图像进行OCR识别，得到所述身份证图像上每个字符的坐标和置信度；

创建一张与所述身份证图像相等尺寸的二值掩码图像并把所有像素初始化为黑色；选定置信度大于预设阈值的字符，根据其坐标在二值掩码图像中对应位置填充白色矩形；

对所述二值掩码图像作形态学闭运算，通过连通区域分析算法得到连通区域的外接包围盒；

统计长度和宽度的差值大于0的外接包围盒的数量，并与外接包围盒的总数量进行比较，判断身份证图像是属于水平还是垂直方向；

根据身份证图像的方向信息，把所述身份证图像校正到水平方向，生成第一身份证图像。

3.根据权利要求1所述一种身份证OCR的图像规范化方法，其特征在于，包括：根据所述匹配得分与OCR识别得到正面关键字匹配得分ss1、反面关键字匹配得分ss2的方法包括：

初始化关键字匹配得分，关键字字符命中位置对集合；

对身份证正面关键字集合按照所述关键字匹配得分方法与OCR识别结果逐条匹配，若最高匹配得分maxs大于预设阈值，则ss1＝ss1+maxs,并根据匹配字符命中位置对集合和关键字结合成一个元素插入到关键字字符命中位置对集合中；

对身份证反面关键字集合按照所述关键字匹配得分方法与OCR识别结果逐条匹配，若最高匹配得分maxs大于预设阈值，则ss2＝ss2+maxs，并根据匹配字符命中位置对集合和关键字结合成一个元素插入到关键字字符命中位置对集合中。

4.根据权利要求1所述一种身份证OCR的图像规范化方法，其特征在于，得到规范化的身份证图像方法包括：

分别设置身份证正面和反面模板，并把对应关键字集中的字符坐标作为模板的锚点；

根据所述关键字字符命中位置对集合得到模板的锚点与第二身份证图像的字符坐标，组成坐标对集合；从坐标对集合中选取四个坐标对，根据四个坐标对得到仿射变换矩阵；

利用仿射变换矩阵对所述第二身份证图像进行仿射变换，得到规范化的身份证图像。

5.根据权利要求4所述一种身份证OCR的图像规范化方法，其特征在于，从坐标对集合中选取四个坐标对的方法包括：

计算坐标对集合中每个坐标对中锚点的模；

选取模最小的坐标对作为第一坐标对；

选取与第一坐标对欧式距离最大的坐标对作为第二坐标对；

选取与第一坐标对以及第二坐标对欧式距离之和最大的坐标对作为第三坐标对；

选取与第一坐标对、第二坐标对以及第三坐标对的欧式距离之和最大的坐标对作为第四坐标对。

6.一种身份证OCR的图像规范化系统，用于实现权利要求1-5任一一项所述的图像规范化方法，其特征在于，包括：身份证图像采集模块、身份证图像水平垂直分析模块、身份证图像上下翻转分析模块、身份证图像正反面分析模块、身份证图像规范化模块；

身份证图像采集模块用于采集身份证图像；

身份证图像水平垂直分析模块用于对所述身份证图像进行OCR识别，得到字符的坐标和置信度；通过形态学运算和连通区域分析得到文字块的外接包围盒，分析外接包围盒的长宽比信息得到所述身份证图像属于水平还是垂直方向；校正所述身份证图像到水平方向得到第一身份证图像；

身份证图像上下翻转分析模块：对所述第一身份证图像进行OCR识别，得到字符的置信度；累加数值大于预设阈值的置信度，得到第一总置信度；上下翻转第一身份证图像，并对所述翻转后的身份证图像进行OCR识别，得到字符的置信度；累加数值大于预设阈值的置信度，得到第二总置信度；比较第一总置信度与第二总置信度大小，把总置信度大的身份证图像作为第二身份证图像；

身份证图像正反面分析模块用于分别设置身份证正面和反面关键字集，采用所述第二身份证图像的OCR结果与所述关键字集进行匹配；根据关键字匹配结果确定所述第二身份证图像属于正面还是反面；

身份证图像规范化模块用于分别设置身份证正面和反面模板，并把对应关键字集中的字符坐标作为该模板的锚点；根据关键字的匹配结果把所述第二身份证图像的字符坐标与模板的锚点进行关联，根据关联信息对所述第二身份证图像进行校正，得到规范化的身份证图像；

得到第二身份证图像的正反面信息的方法包括：

分别设置身份证正面和反面关键字集；

根据所述身份证正面和反面关键字集中的关键字与所述第二身份证图像的OCR的识别结果进行匹配，得到匹配得分；

正面关键字集与OCR识别结果进行匹配，得到正面关键字匹配总得分ss1；

反面关键字集与OCR识别结果进行匹配，得到反面关键字匹配总得分ss2；

根据比较正面关键字匹配总得分ss1与反面关键字匹配总得分ss2的大小，得到第二身份证图像的正反面信息；

得到关键字匹配得分的方法包括：

令K为一个关键字，K(i)为关键字中的第i个字符，Q为一条OCR识别结果，Q(j)为识别结果中的第j个字符；

初始化命中得分s＝0，前一次命中位置L＝-1，字符命中位置对集合，K从第一个字符开始，到最后一个字符；

K(i)与Q的每个字符进行逐个比较，当K(i)与Q(j)相等时，则令L＝j，s＝s+Conf(j),其中Conf(j)为字符Q(j)的OCR识别置信度，并把(i,j)插入到字符命中位置对集合中；

当K(i)与Q(j)不相等时，如果L等于-1，则不操作；否则判断j-L是否大于6，如果是，则结束整个匹配过程，并把命中得分s除以关键字字符数，得到关键字匹配得分。