CN116824597A - 动态图像分割及并行学习手写身份证数字及身份识别方法 - Google Patents

Abstract

基于动态图像分割及深度学习的手写身份证数字识别方法，首先提出一种动态的图像分割方法，对于手写身份证人们习惯在地址码、生日码、顺序码、效验码之间存在更大的数字间隔，因此在第一次图像分割时，采用一种较大间距进行图像分割，区别出地址码、生日码、顺序码以及效验码。然后第二次图像分割时采用小间距区分出单个数字。此外本次申请在深度学习识别手写身份证数字时，基于上述地址码、生日码、顺序码、校验码被区分开，对各区域最大可能存在的数字以及其中关联进行加权判定，并且各区域模型采用并行运算，区域本身采用顺序模型运算，进而整体提升手写身份证数字识别速度与准确性。

Description

动态图像分割及并行学习手写身份证数字及身份识别方法

技术领域

本发明涉及图像分割领域及数字识别领域，，具体为基于动态图像分割及深度学习的手写身份证数字识别方法。

背景技术

近些年来，随着线下登记和填写表格申请的需求增加，手写身份证号码成为常见情景。然而，传统的图像分割方法只能单独对每个数字进行分割和识别，容易受到个人书写风格的主观因素影响，并未充分利用身份证上的书写风格和逻辑关系。因此，迫切需要一种新的识别方法，以提高手写身份证号码的识别速度和准确性，并充分发掘手写身份证号码中存在的特点和潜力。

发明内容

为了解决以上问题，本发明提出了基于动态图像分割及深度学习的手写身份证数字识别方法，，能够较快并且高精度的实现手写身份证号码的识别。

为实现上述目的，本发明采取的技术方案是：

基于动态图像分割及深度学习的手写身份证数字识别方法，包括如下步骤，其特征在于：

1)图像前置处理；

在进行图像分割前，对输入的图片资源进行前置处理，包括统一大小、灰度化、二值化、确定位置边界以及提取轮廓；

2)基于手写身份证风格图像初次分割；

首先对手写身份证号码风格的图像按照初次分割公式进行分割，其中初次分割的依据为分析水平投影图其间最大的三个间距；

3)图像小间距二次分割；

对初次分割完毕的图像进行单个数字划分，其分割依照S集合排除最大三个间距外的各间隔值所处位置即可。

4)分区域多模型加权数字识别；

对每个区域单独建立卷积神经网络模型进行加权数字识别，并充分利用各区域本身信息以及前后文联系来提升运行速度与准确性；

5)区域加权识别；

针对区域码本身所拥有的特性进行特定加权识别，其中对高概率以及低概率数字按照阈值调整公式进行分类阈值调整；

6)前后加权识别；

各区域自身存在前后文逻辑关系，因此根据置信度调整公式进行模型分类置信度调节，进行数字识别；

7)算法层级设计；

此次对一般卷积分类神经网络最后一层SoftMax分类层，进行重新设计，设计内容为加一层置信度调整网络结果在SoftMax网络层后，并延伸一层S5步骤中的阈值设定层，其中后续置信度调整层以及阈值设定层不参与权重更新和反向迭代；

8)模型运行结构设定；

设计并采用并行网络结构与顺序网络结构共存的方式运行，统筹兼顾识别速度与准确性。

作为本发明进一步改进，所述步骤2)中初次分割公式表示为：

首先提出基于手写身份证风格进行图像分割，其中初次分割公式如下所示：

y₁＝max(S) (1)

y₂＝max(S\{y₁}) (2)

y₃＝max(S\{y₁,y₂}) (3)

S＝{x₁,x₂,x₃,…,x₁₇} (4)

其中，S为利用水平投影并进行分析水平投影图，18位身份证号码间的17割间隔大小的集合x₁,x₂,…,x₁₇，y₁，y₂,y₃则表示S集合中前三个最大值，即身份证号码中最大的三个间隔；

初次分割便采用上述y₁，y₂,y₃所在位置，将18位身份证号码划分出地址码、生日码、顺序码和校验码。

作为本发明进一步改进，所述步骤5)中阈值调整公式表示为：

针对这些区域码所拥有的特性进行阈值调整：

θ₁＝α*P,0<α<1 (5)

θ₂＝β*P,1<β (6)

其中，θ₁与θ₂分别为高概率数字的分类阈值与低概率数字分类阈值，P为原设定阈值，α为高概率数字的分类阈值调定参数，β则为低概率数字的分类阈值调定参数。

作为本发明进一步改进，所述步骤6)中置信度调整公式表示为：

利用前后文逻辑关系，调整模型分类置信度，进行数字识别。

其中调整模型分类置信度公式如下：

其中，K为可能出现手写数字的最终输出置信度，k为可能出现的手写数字算法模型置信度，M为较低可能出现手写数字的最终输出置信度，m为较低可能出现的手写数字算法模型置信度，t为前文值确定后，较低可能或者不可能出现的手写数字的数量。通过该方法可以达到利用前后文关系对高概率的数字进行加权识别。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

本申请提供的一种的基于动态图像分割及深度学习的手写身份证数字识别方法采用卷积神经网络进行数字识别，能够快速且精确的识别出手写身份证号码；

本申请提供的一种的基于动态图像分割及深度学习的手写身份证数字识别方法，采用基于手写身份证风格的图像初次分割划分多区域，并进行按区域加权数字识别，提高了识别的准确性与速度。

本申请提供的一种的基于动态图像分割及深度学习的手写身份证数字识别方法充分利用身份证号码中存在的上下文信息进行数字识别，大大提高识别的准确性。

本申请提供的一种的基于动态图像分割及深度学习的手写身份证数字识别方法采用多模型并行运行，单模型顺序运行结构，能在提升速度与保证准确性之间达到较好的平衡。

附图说明

图1根据本申请实施例提供的基于动态图像分割及深度学习的手写身份证数字识别方法流程图；

图2根据本申请实施例提供的基于动态图像分割及深度学习的手写身份证数字识别方法一般卷积网络结构示意图。

图3根据本申请实施例提供的基于动态图像分割及深度学习的手写身份证数字识别方法卷积网络层级示意图。

图4根据本申请实施例提供的基于动态图像分割及深度学习的手写身份证数字识别方法各激活函数示意图。

图5根据本申请实施例提供的基于动态图像分割及深度学习的手写身份证数字识别方法身份证号码区域分割以及特定标识数字示意图；

图6根据本申请实施例提供的基于动态图像分割及深度学习的手写身份证数字识别方法算法层级示意图；

图7根据本申请实施例提供的基于动态图像分割及深度学习的手写身份证数字识别方法模型运行结构示意图。

具体实施方式

下面结合附图与具体实施方式对本发明作进一步详细描述：

如图1所示为本申请提供的基于动态图像分割及深度学习的手写身份证数字识别方法流程图。

步骤S1：图像前置处理。

在进行图像分割前，需要对输入的图片资源进行前置处理。首先将图像统一大小，并进行灰度化以及二值化操作。此外本次申请中利用Canny边缘检测来确定数字的位置和边界，并利用OpenCV进行轮廓提取，为了确保数字的轮廓被保留，根据数字的形状和尺寸特征，对提取的轮廓进行过滤和筛选。

步骤S2：基于手写身份证风格图像初次分割。

本次申请首先提出基于手写身份证风格进行图像分割，其中初次分割公式如下所示：

y₁＝max(S) (1)

y₂＝max(S\{y₁}) (2)

y₃＝max(S\{y₁,y₂}) (3)

S＝{x₁,x₂,x₃,…,x₁₇} (4)

其中，S为利用水平投影并进行分析水平投影图，18位身份证号码间的17割间隔大小的集合(x₁,x₂,…,x₁₇)，y₁，y₂,y₃则表示S集合中前三个最大值，即身份证号码中最大的三个间隔。

初次分割便采用上述y₁，y₂,y₃所在位置，将18位身份证号码划分出地址码、生日码、顺序码、校验码。

步骤S3：图像小间距二次分割。

在步骤S2中依照S集合中前三个最大值进行初次分割，在本步骤S3中则需要对每个区域进行单个数字划分，便于后续进行图像识别，其中图像分割依据依照S集合各间隔值所处位置即可。

步骤S4：分区域多模型加权数字识别。

如图2所示为本申请提供的基于动态图像分割及深度学习的手写身份证数字识别方法一般卷积网络结构示意图。

如图3所示为本申请提供的基于动态图像分割及深度学习的手写身份证数字识别方法卷积网络层级示意图。

在步骤S2以及步骤S3中完成了图像的初次分割以及二次分割。但各个区域本身以及各个区域前后文都存在着内在逻辑关系以及可以利用的信息，因此在本次申请中，将对每个区域单独建立卷积神经网络模型进行加权数字识别，以提高模型的运行速度与准确性。

其中卷积神经网络(Convolutional Neural Networks，简称CNN)是一种具有局部连接、权值共享等特点的深层前馈神经网络(Feedforward Neural Networks)，是深度学习(deep learning)的代表算法之一，擅长处理图像特别是图像识别等相关机器学习问题，比如图像分类、目标检测、图像分割等各种视觉任务中都有显著的提升效果，是目前应用最广泛的模型之一。并且卷积神经网络具有表征学习(representation learning)能力，能够按其阶层结构对输入信息进行平移不变分类(shift-invariant classification)，可以进行监督学习和非监督学习，其隐含层内的卷积核参数共享和层间连接的稀疏性使得卷积神经网络能够以较小的计算量对格点化(grid-like topology)特征，例如像素和音频进行学习、有稳定的效果且对数据没有额外的特征工程(feature engineering)要求，并被大量应用于计算机视觉领域。

卷积神经网络的基本结构大致包括：卷积层、激活函数、池化层、全连接层、输出层等。

卷积层(Convolutional layer)，这一层就是卷积神经网络最重要的一个层次，也是“卷积神经网络”的名字来源。卷积神经网路中每层卷积层由若干卷积单元组成，每个卷积单元的参数都是通过反向传播算法优化得到的。

步骤S5：区域加权识别。

如图4所示为本申请提供的基于动态图像分割及深度学习的手写身份证数字识别方法各激活函数示意图。

首先，针对区域本身所存在的特性需要设定特定的加权卷积算法模型。例如在地址码450481中，其中45是省级行政区域地址，04，81则分别代表地级行政区域与县级行政区域在目前行政区域地址码中，有些数字出现的概率是远远高于其他数字的。此外亦如生日码19780423中，前四个代表年份，后四位分别代表月份与日期，1978中第一位只可能出现1和2，第二位只可能出现9和0，第三位中2和3出现在手写身份证号码中的可能性较低，0423中第一位只可能有0和1，第三位只可能存在0，1，2以及3。因此可以针对这些区域码所拥有的特性进行阈值调整：

θ₁＝α*P,0<α<1 (5)

θ₂＝β*P,1<β (6)

其中，θ₁与θ₂分别为高概率数字的分类阈值与低概率数字分类阈值，P为原设定阈值，α为高概率数字的分类阈值调定参数，β则为低概率数字的分类阈值调定参数。

通过该公式，我们可以做到针对各区域自身所具备的一些特性进行数字加权识别，让高概率的数字能够更容易的通过算法识别模型被输出，低概率或者不可能出现的数字难以输出。

步骤S6：前后加权识别。

如图5所示为本申请提供的基于动态图像分割及深度学习的手写身份证数字识别方法流程图。

在此次手写身份证识别算法模型中，除了区域本身存在一些特性，我们通过算法模型利用来提升识别准确性。上下文信息也被利用来提升模型识别性能。例如在省级行政地址码当中，当第一个开头为6时，第二位数字为1，2，3，4，5的概率远高于其余手写数字。在生日码当中，当第一位数字为1的时候，第二位仅可能为9。因此我们可以利用这种前后文逻辑关系，调整模型分类置信度，进行数字识别。

本次申请在中间隐藏层主要用的是Relu函数(即线性整流层(Rectified LinearUnits layer,简称ReLU layer))，Relu函数是一个线性函数，它对负数取0，正数则为y＝x(即输入等于输出)，即f(x)＝max(0,x)，它的特点是收敛快，求梯度简单，但较脆弱。

由于经过Relu函数激活后的数据0值一下都变成0，而这部分数据难免有一些我们需要的数据被强制取消，所以为了尽可能的降低损失，我们就在激活层的前面，卷积层的后面加上一个偏置向量，对数据进行一次简单的线性加法，使得数据的值产生一个横向的偏移，避免被激活函数过滤掉更多的信息。

此外对于最终SoftMax分类后的结果本次申请采用一种新的激活函数进行调整。

其中调整模型分类置信度公式如下：

其中，K为可能出现手写数字的最终输出置信度，k为可能出现的手写数字算法模型置信度，M为较低可能出现手写数字的最终输出置信度，m为较低可能出现的手写数字算法模型置信度，t为前文值确定后，较低可能或者不可能出现的手写数字的数量。通过该方法可以达到利用前后文关系对高概率的数字进行加权识别。

步骤S7：算法层级设计。

如图6所示为本申请提供的基于动态图像分割及深度学习的手写身份证数字识别方法算法层级示意图。

在步骤S5中，对区域码所拥有的特性进行特定加权识别以及，而在步骤S6中对上下文信息联系进行了利用并对最终置信度进行了调整。这两种方式在许多区域可以共同赋能并进行加持运行，例如在生日码中1978，在步骤S5中对第二位数字进行了阈值调整，在步骤S6中则对第二位进行了则对置信度调整，因此可以在算法模型中同时应用上述方法。具体可以表现为，在最后一层SoftMax分类层后，再加一层置信度调整网络结果，并延伸一层S5步骤中的阈值设定层。其中后续置信度调整层以及阈值设定层不参与权重更新，反向迭代等。

步骤S8：模型运行结构设定。

如图7所示为本申请提供的基于动态图像分割及深度学习的手写身份证数字识别方法模型运行结构示意图。

在本次申请中，对各区域进行了划分，因此本次可将整个模型运行结构先划分为四个区域，这四个区域并行运行，互不干扰，待所有区域结果识别完毕，便可一起组合直接输出。此外本次申请在步骤S6中利用区域内部前后文信息，进行加权模式识别，因此存在一种串联关系在模型内部，故对于各区域模型本身，此次运行结构采用顺序进行，从左往右依次进行手写数字识别。

以上所述，仅是本发明的较佳实施例而已，并非是对本发明作任何其他形式的限制，而依据本发明的技术实质所作的任何修改或者等同变化，仍属于本发明所要求保护的范围。

Claims (4)

1.基于动态图像分割及深度学习的手写身份证数字识别方法，包括如下步骤，其特征在于：

1)图像前置处理；

在进行图像分割前，对输入的图片资源进行前置处理，包括统一大小、灰度化、二值化、确定位置边界以及提取轮廓；

2)基于手写身份证风格图像初次分割；

首先对手写身份证号码风格的图像按照初次分割公式进行分割，其中初次分割的依据为分析水平投影图其间最大的三个间距；

3)图像小间距二次分割；

对初次分割完毕的图像进行单个数字划分，其分割依照S集合排除最大三个间距外的各间隔值所处位置即可。

4)分区域多模型加权数字识别；

对每个区域单独建立卷积神经网络模型进行加权数字识别，并充分利用各区域本身信息以及前后文联系来提升运行速度与准确性；

5)区域加权识别；

针对区域码本身所拥有的特性进行特定加权识别，其中对高概率以及低概率数字按照阈值调整公式进行分类阈值调整；

6)前后加权识别；

各区域自身存在前后文逻辑关系，因此根据置信度调整公式进行模型分类置信度调节，进行数字识别；

7)算法层级设计；

此次对一般卷积分类神经网络最后一层SoftMax分类层，进行重新设计，设计内容为加一层置信度调整网络结果在SoftMax网络层后，并延伸一层S5步骤中的阈值设定层，其中后续置信度调整层以及阈值设定层不参与权重更新和反向迭代；

8)模型运行结构设定；

设计并采用并行网络结构与顺序网络结构共存的方式运行，统筹兼顾识别速度与准确性。

2.根据权利要求1所述的基于动态图像分割及深度学习的手写身份证数字识别方法，其特征在于：

所述步骤2)中初次分割公式表示为：

首先提出基于手写身份证风格进行图像分割，其中初次分割公式如下所示：

y₁＝max(S) (1)

y₂＝max(S\{y₁}) (2)

y₃＝max(S\{y₁,y₂}) (3)

S＝{x₁,x₂,x₃,…,x₁₇} (4)

其中，S为利用水平投影并进行分析水平投影图，18位身份证号码间的17割间隔大小的集合x₁,x₂,…,x₁₇，y₁，y₂,y₃则表示S集合中前三个最大值，即身份证号码中最大的三个间隔；

初次分割便采用上述y₁，y₂,y₃所在位置，将18位身份证号码划分出地址码、生日码、顺序码和校验码。

3.根据权利要求1所述的基于动态图像分割及深度学习的手写身份证数字识别方法，其特征在于：

所述步骤5)中阈值调整公式表示为：

针对这些区域码所拥有的特性进行阈值调整：

θ₁＝α*P,0<α<1 (5)

θ₂＝β*P,1<β (6)

其中，θ₁与θ₂分别为高概率数字的分类阈值与低概率数字分类阈值，P为原设定阈值，α为高概率数字的分类阈值调定参数，β则为低概率数字的分类阈值调定参数。

4.根据权利要求1所述的基于动态图像分割及深度学习的手写身份证数字识别方法，其特征在于：

所述步骤6)中置信度调整公式表示为：

利用前后文逻辑关系，调整模型分类置信度，进行数字识别。

其中调整模型分类置信度公式如下：

其中，K为可能出现手写数字的最终输出置信度，k为可能出现的手写数字算法模型置信度，M为较低可能出现手写数字的最终输出置信度，m为较低可能出现的手写数字算法模型置信度，t为前文值确定后，较低可能或者不可能出现的手写数字的数量。