CN110647824B

CN110647824B - 基于计算机视觉技术的增值税发票版面提取方法

Info

Publication number: CN110647824B
Application number: CN201910825935.6A
Authority: CN
Inventors: 王俊峰; 唐鹏; 高琳; 李征
Original assignee: Sichuan University
Current assignee: Sichuan University
Priority date: 2019-09-03
Filing date: 2019-09-03
Publication date: 2022-06-28
Anticipated expiration: 2039-09-03
Also published as: CN110647824A

Abstract

本发明公开了一种基于计算机视觉技术的增值税发票版面提取方法，包括以下步骤：读取尺寸、格式和角度各异的发票扫描数字图像，采用自适应轮廓线分析提取显著的直线段集合，再遍历直线段集合找出相邻直线段对，计算其交点构造交点集合，然后对交点集合用DB‑SCAN算法聚类获取聚类中心，最后计算聚类中心的最小面积外接矩形作为线框匹配的初始状态，更新匹配参数，实现精确提取。本发明提高了增值税发票票面分析的鲁棒性，同时降低了财务人员的工作负担，支撑财务票据系统信息录入的智能化程度进一步提升，有利于打通纸质发票和电子化税务的界限，实现智能化发票识别技术推广。

Description

基于计算机视觉技术的增值税发票版面提取方法

技术领域

本发明涉及发票图像自动化处理领域，特别是一种基于计算机视觉技术的增值税发票版面提取方法。

背景技术

发票是指一切单位和个人在购销商品、提供或接受服务以及从事其他经营活动中，所开具和收取的业务凭证，是会计核算的原始依据，也是审计机关、税务机关执法检查的重要依据。中国会计制度规定有效的购买产品或服务的发票称为税务发票。政府部门收费、征款的凭证各个时期和不同收费征款项目称呼不一样，但多被统称为行政事业收费收款收据。为内部审计及核数，每一张发票都必须有独一无二的流水账号码，防止发票重复或跳号。在当前，增值税发票是记录商品在流转过程中产生的增值额作为计税依据而征收的一种流转税发票，在国家经济发展建设过程中发挥了重要作业。增值税发票报销工作任务巨大，其自动化的版面分析和内容识别已成为亟待解决的技术问题。

在经济流动性增强的社会大形势下，针对财务自动化的发票识别应用的需求迫在眉睫。据调查，目前绝大多数企业在交易等经济活动中所面临的大量的发票等单据中，增值税发票、电子发票等占了绝大多数。而在现阶段增值税发票信息的采集，依然采用传统的手工采集录入方式，而手工采集录入需要投入大量的成本和时间，不仅抬高了运营成本，而且效率低下，导致发票信息不能及时有效传递，造成不必要的资金流出，影响企业效益。应用发票扫描识别接口后，企业可在产生或收到发票的第一时间，将发票的数据自动采集录入到ERP、SAP等企业管理系统中，做到实时的效果，节省了大量的时间和成本，是未来人工智能时代，企业必备的刚需选择。但在国内到目前为止，尚未有面向增值税发票的版面分析的类似技术。

发明内容

本发明所要解决的技术问题是提供一种基于计算机视觉技术的增值税发票版面提取方法，以解决目前当前财务系统中录入大量发票依赖人工采集继而效率低下错误频发的问题。它能适应多个省份不同时期形制上些微差异的多种增值税发票，能够在复杂的扫描背景和倾斜的扫描角度情况下自动处理，利用了智能数字图像处理的相关方法，为提高发票信息录入效率奠定了技术基础，同时降低了发票扫描维护工作的负担，使参与者的体验比传统方法更好，更容易推广应用，因而更有利于针对发票自主OCR识别的常态化和规范化推广应用。

为解决上述技术问题，本发明采用的技术方案是：

一种基于计算机视觉技术的增值税发票版面提取方法，包括以下步骤：

步骤1：读取扫描仪上传的发票光电采样数字图像；

步骤2：对数字图像进行预处理，包括去噪声和平滑滤波；

步骤3：将彩色的数字图像转换为灰度的数字图像；

步骤4：计算二值化图像；

步骤5：对二值化图像求逆运算，使黑白色翻转；

步骤6：使用连通体检测算法计算二值化图像中的白色连通体区域；

步骤7：遍历每个连通体像素，按照逆时针次序记录连通体区域边界上的点到边界点链表；

步骤8：对连通体边界上的点集进行简化，简化原则为：若某点位于其前后两点所构成的直线上，则从边界点链表中删除该点；

步骤9：对每个轮廓遍历其中的点，删除直线段长度过小的线段，保留较长的直线段；在判断直线段长度是否过小时，是用预先设置的阈值和直线段的长度做比较；

步骤10：找出相邻直线段对，即遍历线段集中的每个直线，任取两条线段做比较，若其中一个直线段的某一个端点靠近另一个直线段的任意部分，且两条直线的夹角趋近于90度则为相邻直线段；

步骤11：遍历所有相邻直线段对，对每组相邻直线段对计算交点，将交点加入交点集合；

步骤12：交点用DB-SCAN算法做聚类，并用每个聚合类别的重心作为中心，作为原有的交点集合的简化；在聚类过程中，删除聚合类别中交点个数少于3个的中心，获得中心点集合；

步骤13：计算中心点集合的外接最小面积矩形；

步骤14：遍历最小面积矩形框的每条边，再遍历所有交点，获取该边上的交点个数；

步骤15：统计最小面积矩形框的每条边上交点个数，如果仅有一个，则删除该交点，重新返回步骤13计算；如果每条边都满足包含多个交点的条件，则进入步骤16；

步骤16：根据最小面积外接矩形，读取线框模板，用线框模板和交点进行匹配，获取每个具体表格的范围；将线框表格输出给后续的支付识别模块，以识别发票内容。

进一步的，还包括步骤17：等待用户退出指令，若在一定时间内未接受到退出指令则返回步骤1，否则退出增值税发票版面提取过程。

进一步的，在步骤10中，判断相邻直线段的过程为：取其中一个直线段的某个端点，计算该端点在第二条直线段及其延长线的投影，若投影点在另一条直线段的内部或端点上，则计算该点到直线的距离作为该点到直线段的距离；否则计算该点到另一条直线段的两端点欧式距离的最小值，作为该点到直线段的距离；

如果该距离小于预先设定的阈值，则计算此两直线段对应方向矢量的内积，如果也小于设定的阈值，那么此两直线段属于相邻直线段，将其加入相邻直线段对；如果不满足，则计算另一个端点；若还是不满足，则交换两条直线段的身份，重新判别。

进一步的，在步骤14中，遍历交点具体为：若该交点在该边的垂直投影在直线段范围内，则再计算该点到直线的距离，如果距离小于阈值，则该点近似的在该边上。

进一步的，在步骤16中，匹配方法具体为：

1)、从先验参数值中读取线框各行的高度比例，将其存入行高比例变量数组；

2)、根据当前的行高比例变量数组计算线框的各行位置；

3)、遍历所有交点中心，计算交点距离其最近的行的距离平方之和；

4)、对所有点到最近行距离平方和作为损失函数，计算其导数，利用反向传播算法计算行高比例变量数组的梯度值；

5)、对行高比例变量数组进行动态更新，若更新幅度较大则返回步骤3)再次计算，否则进入步骤6)；

6)、按照如上规则，对每一行的列线框分别再次进行动态更新优化。

与现有技术相比，本发明的有益效果是：

1、本发明可以在部分遮挡和污损的情况下提高增值税发票票面区域的定位和提取准确率。

2、本发明可以适应发票的方向变化和发票模板的细微变动，具有一定的弹性处理能力，因此对发票逐年细微改版能够自主适应。

3、本发明的处理在识别的流程之前，可以进一步精确化识别处理的图形范围，降低识别的算法负担，从宏观上改进效率。

4、本发明方法可扩展应用到其他具有线框形式发票类型。

5、本发明不存在复杂的机械设备，可有效利用现有扫描设备，利用算法模块扩展现有功能。

附图说明

图1为增值税发票票面示意图。

图2为增值税发票版面的线框模板示意图。

图3为增值税发票版面提取流程示意图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步详细的说明。

本发明针对数字扫描仪获取的增值税发票数字图像，利用发票版面识别软件形成版面提取接口。版面分析软件在后台运行，无需人机交互界面。软件在后台侦测扫描仪输出的目录，当出现新的未识别的jpg文件后，则对其分析处理，并将文件移动至标记为分析完成的目录。所有处理可在系统后台自动执行，为发票内容自动识别提供宝贵的技术基础。

本发明以从发票扫描数字图像中定位提取增值税发票票面区域并检索特定项目子图像区域为目标，为了提高使用效率并同时增强对不同扫描数字图像的适应性，本发明通过分区域的局部信息自适应地二值化视频采集的图片，提取二值化轮廓中的线段，遍历所有直线找出相邻且近似垂直的直线段对，并计算其相交的交点计入交点集合；计算角点集合中所有点的最小面积外接矩形框，对最小面积外接矩形框每条边，根据点到直线段距离，判断其上的交点个数，如果仅含有一个交点，则删除该交点重新计算最小面积外接矩形框，如此重复直至最小面积外接矩形框的每个边上都有不少于1个交点。

本发明可以集成于专用的发票扫描设备，也可利用现有广泛使用的办公扫描仪设备资源，在光电信号采集的基础上对观测到的增值税发票图形进行智能化的处理。

本发明基于计算机视觉技术的增值税发票版面提取方法具体步骤如下：

1)、读取扫描仪上传的发票光电采样数字图像；

2)、对数字图像进行预处理，包括去噪声和平滑滤波；

3)、将彩色的数字图像转换为灰度的数字图像；

4)、计算二值化图像；

5)、对二值化图像求逆运算，使黑白色翻转；

6)、使用连通体检测算法计算二值化图像中的白色连通体区域；

7)、遍历每个连通体像素，按照逆时针次序记录连通体区域边界上的点到边界点链表；由于链表中的点按照逆时针次序记录，因此相邻边界点之间始终存在前后关系，由相邻边界点定义的线段可以认为是从前一个点指向后一个点，在此称其为直线段。在本发明中，每个直线段皆由其前后端点来描述。

8)、对连通体边界上的点集进行简化，简化原则为：若某点位于其前后两点所构成的直线上，则可以从边界点链表中删除该点，因为删除改点不会对轮廓形状产生影响。

9)、对每个轮廓遍历其中的点，删除直线段长度过小的线段，保留较长的直线段，该步骤将封闭的轮廓转化为若干直线段。在判断直线段长度是否过小时，是用预先设置的阈值和直线段的长度做比较，直线长度为两端点的欧氏距离。如果直线段长度大于阈值，则该直线段很可能是发票线框，故而需保留；若不满足则说明该直线段不能代表发票中的线框，需删除。其中，长度阈值通过预先的样本统计获取，并在程序中设置固定。由此，建立轮廓上清晰线段的集合，并且建立线段集与端点集的元素间映射关系。

10)、找出相邻直线段对。具体做法为，遍历线段集中的每个直线，任取两条线段做比较，若其中一个直线段的某一个端点靠近另一个直线段的任意部分，且两条直线的夹角趋近于90度则认为是相邻直线段。

具体而言，判断相邻直线段的过程为：取其中一个直线段的某个端点，计算该端点在第二条直线段及其延长线的投影，若投影点在另一条直线段的内部或端点上，则计算该点到直线的距离作为该点到直线段的距离；否则计算该点到另一条直线段的两端点欧式距离的最小值，作为该点到直线段的距离。如果该距离小于预先设定的阈值，则计算此两直线段对应方向矢量的内积，如果也小于设定的阈值，那么此两直线段属于相邻直线段，将其加入相邻直线段对。如果不满足，则计算另一个端点。若还是不满足，则交换两条直线段的身份，重新判别。其中，距离阈值和内积计算阈值都通过预先的样本统计获取，并在程序中设置固定。

11)、遍历所有的相邻直线段对，对每组相邻直线段对计算交点。交点计算过程即为直线段及其延长线的交点，将交点加入交点集合。因为是相邻直线段，因此可以确保交点与相对应的两个直线段相距不远。

12)、交点用DB-SCAN(Density-Based Spatial Clustering of Applicationswith Noise)算法做聚类，并用每个聚合类别的重心作为中心，作为原有的交点集合的简化。在聚类过程中，需删除聚合类别中交点个数少于3个的中心。由此获得中心点集合。

13)、计算中心点集合的外接最小面积矩形。

14)、遍历最小面积矩形框的每条边，再遍历所有的交点。若该交点在该边的垂直投影在直线段范围内，则进一步计算该点到直线的距离。如果距离小于阈值，则可以认为该点近似的在该边上。如此遍历所有点，获取该边上的交点个数。需说明，一个点如果刚好在外接矩形框的顶点处，则可能从属于多个边。

15)、统计最小面积矩形框的每条边上交点个数，如果仅有一个，则删除该交点，重新返回步骤13)计算。如果每条边都满足包含多个交点的条件，则进入步骤16)。

16)、根据最小面积外接矩形，读取线框模板，用线框模板和交点进行匹配，获取每个具体表格的范围。将线框表格输出给后续的支付识别模块，以识别发票内容。

17)、等待用户退出指令，若在一定时间内未接受到退出指令则返回步骤1)；否则退出。

其中，步骤16)以最小面积外接矩形和交点中心，对增值税发票的线框模板进行了弹性匹配，包括线框的各个行和各行中的列。其匹配过程如下：

(1)、从先验参数值中读取线框各行的高度比例，将其存入行高比例变量数组。由于增值税发票的模板类似，因此该先验参数值由事先收集的发票样本中测量取均值而获取，并存储以备后续使用。

(2)、根据当前的行高比例变量数组计算线框的各行位置。

(3)、遍历所有的交点中心，计算交点距离其最近的行的距离平方之和；距离采用点到直线的距离。

(4)、对所有点到最近行距离平方和作为损失函数，计算其导数，利用反向传播算法计算行高比例变量数组的梯度值。

(5)、用一定的学习速率对行高比例变量数组进行动态更新。如果更新幅度较大则返回步骤(3)再次计算，否则进入步骤(6)。

(6)、按照如上规则，对每一行的列线框分别再次进行动态更新优化。

由于发票版面分析是在高分辨率图像中直接处理的，因此处理结果可以直接用户后继的发票识别模块。发票字符识别的范围由全图像搜索简化为指定区域搜索，计算复杂度大为降低，加速了发票识别过程。尽管高质量的版面分析过程会适当增加运算量，但由于提高了命中率，因此从全局看仍然是提高了识别速率。

本发明中应用的硬件列表如表1所示。

表1

名称	型号
		数字高速自动送纸扫描仪	富士通(Fujitsu)ix1500扫描仪
显示屏	17inch液晶
		发票识别计算机	I5 8G
用户提示装置	FM蜂鸣器

硬件连接说明：发票扫描仪通过USB线与发票识别计算机模块相连。计算机安装有发票扫描仪的驱动程序和应用程序。发票内容在扫描仪内部通过光信号AD装换后输出为数字图像，并通过设备控制器和驱动程序在扫描完成后自动的上传至发票识别计算机的指定目录，按时间序列存储为jpg格式文件。发票识别计算机从中读取并调用版面分析模块进行处理。

Claims

1.一种基于计算机视觉技术的增值税发票版面提取方法，其特征在于，包括以下步骤：

步骤1：读取扫描仪上传的发票光电采样数字图像；

步骤2：对数字图像进行预处理，包括去噪声和平滑滤波；

步骤3：将彩色的数字图像转换为灰度的数字图像；

步骤4：计算二值化图像；

步骤5：对二值化图像求逆运算，使黑白色翻转；

步骤13：计算中心点集合的外接最小面积矩形；

2.根据权利要求1所述的基于计算机视觉技术的增值税发票版面提取方法，其特征在于，还包括步骤17：等待用户退出指令，若在一定时间内未接受到退出指令则返回步骤1，否则退出增值税发票版面提取过程。

3.根据权利要求1所述的基于计算机视觉技术的增值税发票版面提取方法，其特征在于，在步骤10中，判断相邻直线段的过程为：取其中一个直线段的某个端点，计算该端点在第二条直线段及其延长线的投影，若投影点在另一条直线段的内部或端点上，则计算该点到直线的距离作为该点到直线段的距离；否则计算该点到另一条直线段的两端点欧式距离的最小值，作为该点到直线段的距离；

4.根据权利要求1所述的基于计算机视觉技术的增值税发票版面提取方法，其特征在于，在步骤14中，遍历交点具体为：若该交点在该边的垂直投影在直线段范围内，则再计算该点到直线的距离，如果距离小于阈值，则该点近似的在该边上。

5.根据权利要求1所述的基于计算机视觉技术的增值税发票版面提取方法，其特征在于，在步骤16中，匹配方法具体为：

1）、从先验参数值中读取线框各行的高度比例，将其存入行高比例变量数组；

2）、根据当前的行高比例变量数组计算线框的各行位置；

3）、遍历所有交点中心，计算交点距离其最近的行的距离平方之和；

4）、对所有点到最近行距离平方和作为损失函数，计算其导数，利用反向传播算法计算行高比例变量数组的梯度值；

5）、对行高比例变量数组进行动态更新，若更新幅度超过设定阈值则返回步骤3）再次计算，否则进入步骤6）；

6）、按照如上规则，对每一行的列线框分别再次进行动态更新优化。