CN113553918B - 一种基于脉冲主动学习的机打发票字符识别方法 - Google Patents

Abstract

本发明公开了一种基于脉冲主动学习的机打发票字符识别方法，该方法包括构建可直接训练的深度脉冲神经网络模型ResNet‑18和CIFARNet，并且设计了脉冲主动学习的具体步骤。主动学习用于挑选出能够给模型提供更多信息量的有效样本，使得用最少的数据量训练模型并达到最好的效果。我们在识别机打发票的项目中对脉冲主动学习算法进行字符识别应用，将机打发票的文字部分进行提取，并将提取的中文、英文、数字进行单字分割，最后把分割好的单个字符样本输入模型训练，模型能够筛选信息量最大的样本，我们只对模型挑选出的样本做人工标记。

Description

一种基于脉冲主动学习的机打发票字符识别方法

技术领域

本发明属于人工智能技术领域，涉及一种基于脉冲主动学习的机打发票字符识别方法。

背景技术

机打票据图像在日常生活中普遍存在。对于使用者来说，每天都有大量的票据信息采集和处理工作，传统的人手工录入信息效率低下且人力成本高昂；训练神经网络进行票据识别，需要对切割出的每一个字符人工标注，成本高昂且耗时。

在机器学习任务中，由于数据标注代价高昂，研究人员面临着如何以最少量的样本，来获得最有效学习模型的问题，针对这个问题，学术界提出了主动学习这一研究方向。主动学习针对具体任务制定“选择策略”，挑选出最有利于模型训练的样本让相关领域的专家进行标注，通过用这些“优选”的标记数据训练模型，达到在整体数据集上训练的效果。主动学习作为机器学习的一个分支，其主要是针对图像数据标签较少或为图像数据打标签代价较高这一场景而设计的。如果能够从脉冲神经网络的任务出发，针对脉冲神经网络特性和对任务的理解来制定标准，挑选有价值的样本，只针对部分图像数据进行标注，将大大减少脉冲神经网络监督学习的代价，降低模型训练过程中的信息交互负荷。

脉冲神经网络被誉为“第三代神经网络”，作为一种模拟生物神经元机制的神经网络，它判断累加的神经元膜电位是否达到阈值来决定是否发送信号，并通过发射、接收离散的脉冲信号在网络中传递信息。理论上，脉冲神经网络这种异步驱动机制在基于事件的现实场景中比第二代人工神经网络更具优势，能够为强人工智能提供更好的依托，但目前却没有得到很好的发展和应用。其中一个重要的原因是训练一个脉冲神经网络模型需要大量的标记数据，但目前缺乏针对脉冲神经网络的专门基准测试集较少，从真实场景中得到能够用于训练的图像数据再经过标注代价极高。

LIF模型是目前研究生物神经系统使用最广泛和最典型的模型之一，该模型对生物神经系统进行了高层次的抽象，忽略了树突相关的神经元空间结构和精确的离子活动机制。模型主要思想是：前神经元的突触接收到的脉冲会在轴突上经过一个低通滤波器转变为电流信号，通过电流来模拟神经元的膜电位，当膜电位达到设定的阈值θ时，前神经元发射一个动作电位经由其他神经元突触送往后神经元，同时对前神经元膜电位进行电位重置，并让它静止一小段时间再累计电压，该现象被称为膜的绝对不应期。突触前神经元在时间t的电位表示为：

其中，τ_m被称为细胞膜时间常数，它与膜电位的电容Cm和泄漏电阻Rm之间存在τ m＝RmCm的关系，且二者均为常数。

正向传播时，脉冲响应函数定义为：其中x表示当前时刻膜电位，脉冲响应函数是Heaviside阶跃函数，当x≥0时设置为1，否则为0。反向传播时，梯度替代函数定义为：/>其中α用于控制函数的平滑程度。

目前，基于脉冲神经网络的深层训练模型与算法等已经取得了诸多阶段性成果。然而，现有方法主要借鉴了生物神经元的脉冲点火机制，而忽略了认知学习过程中的信息交互负荷以及标注代价等因素。

发明内容

本发明的目的在于：在机打发票的字符识别任务中，为切割的每个单字字符图像数据进行人工标代价极高，为了解决训练脉冲神经网络模型成本过高的问题，我们将主动学习的思想应用在脉冲神经网络中筛选具有代表性的训练样本，以此来降低训练脉冲神经网络模型的代价并且用尽可能少的数据来使模型达到较好的性能。本发明提供一种基于脉冲主动学习的机打发票字符识别方法，该方法适应于脉冲神经网络离散脉冲的特性，能够筛选有利于脉冲神经网络模型的图像进行人工标注并用于模型训练，从而用最低标注成本使模型达到预期效果。

本发明采用的技术方案如下：

一种基于脉冲主动学习的机打发票字符识别方法，步骤1：将机打发票的文字部分进行提取，并将提取的中文、英文、数字进行单字分割，最后把分割好的单个字符样本作为未标记训练集；

步骤2：基于LIF神经元构建可直接训练的脉冲神经网络模型；

步骤3：基于脉冲神经网络隐藏层输出的特征图构建脉冲主动损失预测模型；

步骤4：初始化模型参数，在未标记图像中随机筛选第一批数据交由人工标记，作为初始训练集，设置主动学习迭代轮数CYCLES和动态学习率初始值lr；

步骤5：将脉冲主动学习模型附加在目标脉冲神经网络模型上同时进行训练，构建可同时反传loss的损失函数；

步骤6：每轮主动学习迭代结束之后，将未标记字符集作为主动损失预测模型的测试集，得到每个数据的损失值进行排序，选出K个损失值最高的数据进行人工标注并加入训练集参与下一轮训练；

步骤7：当主动学习轮次小于CYCLES时，重复步骤5、6，利用变体的反向传播算法对深度脉冲神经元模型和主动损失预测模型进行训练，更新参数，直至主动学习轮次结束，完成训练；得到训练好的基于脉冲神经网络的图像分类模型；

步骤8：将待识别的发票字符数据集输入训练好的图像分类模型，进行字符识别，最后将识别结果拼接得到机打发票文字识别结果。

进一步地，所述步骤2中，基于LIF神经元构建训练脉冲神经网络模型的过程为：

LIF神经元首先累积一段时间内前神经元发射的脉冲信号，神经元的突触接收到的脉冲会在轴突上经过一个低通滤波器转变为电流信号，该电流作为输入进入神经元内部，通过给电容器充电能够产生模电位V(t)，当膜电位达到预设的阈值θ时电容放电，神经元产生一个动作电位并进入绝对不应期，膜电位会在一小段时间后逐渐恢复为静息电位Vreset，然后重新启动泄露整合的整个过程，模电位V(t)为：

可直接训练的脉冲神经网络在前向传播时，使用脉冲响应函数G(x)参与计算，该函数的输出是离散的0和1，而反向传播时，使用梯度替代函数δ(αx)的梯度来代替脉冲函数的梯度，其中α用于控制函数的平滑程度；脉冲响应函数G(x)为：

进一步地，所述步骤3中，基于深度脉冲神经网络隐藏层输出的特征图构建脉冲主动损失预测模型的过程为：

脉冲主动损失预测模块的各个功能层，包含平均池化、全连接和LIFNode层，使得网络能够捕获脉冲神经网络模型隐藏层输出的特征图，从脉冲神经网络隐藏层抽取到的特征图能够同时具备时、空两个维度的信息；

脉冲信息在损失预测模块各个功能层间传递时同样需要点火机制来激活，最后经过各个功能层的处理得到一个标量的损失值，用于参与损失函数的计算。

进一步地，所述步骤5中，将脉冲主动学习模型附加在目标分类脉冲神经网络模型上同时进行训练，构建可同时反传loss的损失函数；整体模型的损失函数定义为：

在脉冲神经网络目标模型上使用均方差作为损失函数，是脉冲神经网络目标分类任务的损失值，将其做为主动损失预测模块预测的真实值，而损失预测模块得到标量特征l的作为预测值，使用均方差作为损失函数对二者做最小化处理。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

1.本发明是一种基于脉冲主动学习的机打发票字符识别方法，该主动学习算法适用于视觉领域的图像分类任务。能够从深度脉冲神经网络的任务出发，针对脉冲神经网络特性和对任务的理解来制定主动学习选择数据的标准，挑选对训练脉冲神经网络模型更有价值的样本，从而大大减少脉冲神经网络在图像监督学习的数据量，降低模型训练的成本；

2.本发明在机打发票的字符识别任务中具有良好的性能，可以在有限的标记数据集上有效的提高图像分类准确率。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图，其中：

图1是按行提取机打发票文字部分示意图；

图2是单行机打发票文字切割示意图；

图3是经过处理后的切割单字组成训练集示意图；

图4是本发明具体实施方式的方法流程示意图；

图5是本发明具体实施方式的主动学习算法训练深度脉冲模型的流程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明，即所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

下面结合实施例对本发明的特征和性能作进一步的详细描述。

实施例一

如图1-5所示，本实施例提供基于脉冲主动学习的机打发票字符识别方法，它能够应用于视觉图像的分类任务中，包括如下步骤：

S1：生成脉冲主动学习模型的训练集，将机打发票的文字部分进行提取，并将提取的中文、英文、数字进行单字分割，最后把分割好的单个字符样本作为未标记训练集，如图1、2、 3所示；

S2：基于LIF神经元构建可直接训练的脉冲神经网络模型。

LIF神经元的突触接收到的脉冲会在轴突上经过一个低通滤波器转变为电流信号，该电流作为输入给电容器充电能够产生模电位V(t)，当膜电位达到预设的阈值θ时电容放电，神经元产生一个动作电位并进入绝对不应期，膜电位会在一小段时间后逐渐恢复为静息电位 Vreset，然后重新启动泄露整合的过程。

可直接训练的脉冲神经网络在前向传播时，使用脉冲响应函数G(x)参与计算，该函数的输出是离散的0和1，而反向传播时，使用梯度替代函数δ(αx)的梯度来代替脉冲函数的梯度，其中α用于控制函数的平滑程度。

S3：基于深度脉冲神经网络隐藏层输出的特征图构建主动损失预测模型：

我们设计了主动损失预测模块的各个功能层，包含平均池化、全连接和LIFNode层。这些功能层使得网络能够捕获脉冲神经网络模型隐藏层输出的特征图，从脉冲神经网络隐藏层抽取到的特征图能够同时具备时、空两个维度的信息。脉冲信息在损失预测模块各个功能层间传递时同样需要点火机制来激活，最后经过各个功能层的处理得到一个标量的损失值，用于参与损失函数的计算。

S4：我们在生成的机打发票字符集上进行字符识别。初始化模型参数，从数据集中随机筛选第一批数据(K＝1000)作为初始训练集，设置主动学习迭代轮数CYCLES＝10和动态学习率初始值lr＝0.0002；为避免训练后期loss出现震荡现象影响模型的收敛，在epoch分别为 110和140时对当前的学习率乘以0.1。

S5：将主动学习模型附加在目标脉冲神经网络模型上同时进行训练，构建可同时反传loss 的损失函数。整体模型的损失函数定义为：

我们在脉冲神经网络目标模型上仍旧使用均方差作为损失函数，是脉冲神经网络目标分类任务的损失值，将其做为主动损失预测模块预测的真实值，而损失预测模块得到标量特征l的作为预测值，使用均方差(MSE)作为损失函数对二者做最小化处理。

S6：当主动学习轮次小于CYCLES时，首先更新训练集并将图像数据做脉冲编码作为脉冲神经网络的输入数据，然后在网络中用累积的膜电位实值代替二进制进行变体反向传播训练模型，更新权重矩阵的相关参数，直至主动学习轮次结束，完成训练；

S7：每轮主动学习迭代结束之后，对未标记字符集做损失价值排序。

将未标记数据集作为主动损失预测模型的测试集，得到每个数据的损失价值预测，选出 K个损失值最高的数据进行人工标注并加入训练集参与下一轮训练；

S8：将待识别的发票字符数据集输入训练好的模型，进行字符识别，最后将识别结果拼接得到机打发票文字识别结果。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明的保护范围，任何熟悉本领域的技术人员在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种基于脉冲主动学习的机打发票字符识别方法，其特征在于：

步骤1：将机打发票的文字部分进行提取，并将提取的中文、英文、数字进行单字分割，最后把分割好的单个字符样本作为未标记训练集；

步骤2：基于LIF神经元构建可直接训练的脉冲神经网络模型；

步骤3：基于脉冲神经网络隐藏层输出的特征图构建脉冲主动损失预测模型；

步骤4：初始化模型参数，在未标记图像中随机筛选第一批数据交由人工标记，作为初始训练集，设置主动学习迭代轮数CYCLES和动态学习率初始值lr；

步骤5：将脉冲主动学习模型附加在目标脉冲神经网络模型上同时进行训练，构建可同时反传loss的损失函数；

步骤6：每轮主动学习迭代结束之后，将未标记字符集作为主动损失预测模型的测试集，得到每个数据的损失值进行排序，选出K个损失值最高的数据进行人工标注并加入训练集参与下一轮训练；

步骤7：当主动学习轮次小于CYCLES时，重复步骤5、6，利用变体的反向传播算法对深度脉冲神经元模型和主动损失预测模型进行训练，更新参数，直至主动学习轮次结束，完成训练；得到训练好的基于脉冲神经网络的图像分类模型；

步骤8：将待识别的发票字符数据集输入训练好的图像分类模型，进行字符识别，最后将识别结果拼接得到机打发票文字识别结果；

所述步骤3中，基于深度脉冲神经网络隐藏层输出的特征图构建脉冲主动损失预测模型的过程为：

脉冲主动损失预测模块的各个功能层，包含平均池化、全连接和LIFNode层，使得网络能够捕获脉冲神经网络模型隐藏层输出的特征图，从脉冲神经网络隐藏层抽取到的特征图能够同时具备时、空两个维度的信息；

脉冲信息在损失预测模块各个功能层间传递时同样需要点火机制来激活，最后经过各个功能层的处理得到一个标量的损失值，用于参与损失函数的计算；

所述步骤5中，将脉冲主动学习模型附加在目标分类脉冲神经网络模型上同时进行训练，构建可同时反传loss的损失函数；整体模型的损失函数定义为：

在脉冲神经网络目标模型上使用均方差作为损失函数，是脉冲神经网络目标分类任务的损失值，将其做为主动损失预测模块预测的真实值，而损失预测模块得到标量特征l的作为预测值，使用均方差作为损失函数对二者做最小化处理。

2.根据权利要求1所述的一种基于脉冲主动学习的机打发票字符识别方法，其特征在于：所述步骤2中，基于LIF神经元构建训练脉冲神经网络模型的过程为：

LIF神经元首先累积一段时间内前神经元发射的脉冲信号，神经元的突触接收到的脉冲会在轴突上经过一个低通滤波器转变为电流信号，该电流作为输入进入神经元内部，通过给电容器充电能够产生膜电位V(t)，当膜电位达到预设的阈值θ时电容放电，神经元产生一个动作电位并进入绝对不应期，膜电位会在一小段时间后逐渐恢复为静息电位Vreset，然后重新启动泄漏整合的整个过程，膜电位V(t)为：

直接训练的脉冲神经网络在前向传播时，使用脉冲响应函数G(x)参与计算，该函数的输出是离散的0和1，而反向传播时，使用梯度替代函数δ(αx)的梯度来代替脉冲函数的梯度，其中α用于控制函数的平滑程度；脉冲响应函数G(x)为：

。