CN108537219A - 一种用于财务报表外框的智能检测方法及装置 - Google Patents

Abstract

本发明公开了一种用于财务报表外框的智能检测方法及装置，包括：从服务器下载财务报表的表格图像；采用基于深度学习的表头目标检测模型检测所述表格图像，并判断所述表格图像的表头正方向；对表头倾斜的表格图像，进行图像倾斜校正；采用基于深度学习的表格外框目标检测模型检测校正后的表格图像，并获得表格外框粗定位区域；在所述表格外框粗定位区域精定位表格外框。本发明实现了财务报表外框智能检测，是财务单据表报表电子化的前提。实现各类财务报表、单据等纸质扫描文件的快速识别和结构化入库，帮助行业客户解决大量的纸质单据录入的问题，节省人力成本，提高企业效率。

Description

一种用于财务报表外框的智能检测方法及装置

技术领域

本发明涉及财务单据电子化处理技术领域，特别涉及一种用于财务报表外框的智能检测方法及装置。

背景技术

当前，财务报表的数据分析基本上还是基于人工阅读审核的方式，效率低，无法实现审批自动化。银行的信审部分，传统的人工审核方式已经严重阻碍了银行信审的效率和业务开展。其实，信审的依据是财务报表上的核心数据，只要提高财务报表数据的采集工作，银行信审的效率就会大幅提高，财务单据表报表电子化帮助银行、税务、审计等提高效率，构建自动化的信审系统。如何准确、快速地对财务单据表报表电子化，同时避免人工核对成本高，易疲劳，易疏忽等弊端，是急需解决的技术问题。

发明内容

本发明的目的是：提出一种用于财务报表外框的智能检测方法及装置，其可以精确定位财务报表外框，是表格单元格提取的前提，以实现财务单据表报表电子化。

本发明解决其技术问题所采用的技术方案是：

一种用于财务报表外框的智能检测方法，包括：

S1、从服务器下载财务报表的表格图像；

S2、采用基于深度学习的表头目标检测模型检测所述表格图像，并判断所述表格图像的表头正方向；

S3、对表头倾斜的表格图像，进行图像倾斜校正；

S4、采用基于深度学习的表格外框目标检测模型检测校正后的表格图像，并获得表格外框粗定位区域；

S5、在所述表格外框粗定位区域精定位表格外框。

进一步，所述表头正方向的具体判断方法如下：

S21、收集不同种类、不同拍摄角度和不同的倾斜角度的报表图像，并截取上半部分填冲训练样本库；

S22、采用矩形框在报表图像上标注财务报表的表头字段的位置，如资产负债表，利润表等；

S23、使用标注好的表头字段数据训练目标检测深度神经网络模型，获得表头目标检测模型；

S24、对输入的财务报表图像截取上半部分，并用表头目标检测模型检测表头，依次旋转90度，取分值最大的为表格正方向，若最大分值低于阈值，则提示用户输入正确的图片。

进一步，所述图像倾斜校正的方法如下：

S31、采用canny边缘检测算法提取表格图像边缘信息；

S32、采用Hough直线检测算法获得表格图像边缘直线的倾斜角；

S33、根据倾斜角获得旋转矩阵，并对表格图像进行仿射变换校正表格图像。

进一步，所述表格外框目标检测模型的获取方法如下：

S41、准备不同拍摄光照、不同样式的财务表格样本图像，并用图像倾斜校正的方法校正样本图像；

S42、用矩形框标注样本图像的表格外框的位置。

S43、使用标注好的数据训练目标检测深度神经网络模型，获得表格外框目标检测模型。

进一步，所述表格区域精定位表格外框方法步骤如下：

S51、构造水平核函数，且其长度大于表格线横线长度的一半；构造竖直核函数，其长度大于表格竖直长度的一半；

S52、分别用水平和竖直核函数对表格二值图像进行腐蚀膨胀操作；

S53、用opencv的findcontours函数分别在水平和竖直二值图上寻找轮廓，用表格边界，RotatedRect函数来获得直线的旋转外接矩形，并以最接近粗定位的表格外框的旋转外接矩形为表格精确定位的输出。

一种用于财务报表外框的智能检测装置，包括表头区域检测模块、图像倾斜校正模块、表格外框粗定位模块和表格外框精定位模块；

所述表头区域检测模块，用于采用基于深度学习的表头目标检测模型检测表格图像，并判断表格图像的表头正方向；

所述图像倾斜校正模块，用于检测表格图像倾斜度，并利用仿射变换的方法校正表格图像；

所述表格外框粗定位模块，用于采用基于深度学习的表格外框目标检测模型检测校正后的表格图像，并获得表格外框粗定位区域；

所述表格外框精定位模块，用于在获得的表格外框粗定位区域图像上，分别构造水平和竖直核函数获取水平和竖直二值图，并在该二值图上，以RotatedRect函数来精确定位表格外框区域。

本发明的有益效果是：本发明实现了财务报表外框智能检测，是财务单据表报表电子化的前提。实现各类财务报表、单据等纸质扫描文件的快速识别和结构化入库，帮助行业客户解决大量的纸质单据录入的问题，节省人力成本，提高企业效率。

附图说明

图1是本发明的智能检测方法流程图。

图2是本发明的智能检测装置的结构示意图。

具体实施方式

以下结合附图。对本发明做进一步说明。

图1所示的是本发明的智能检测方法流程图，其具体实施步骤如下：

S1、从服务器下载财务报表的表格图像；

S2、采用基于深度学习的表头目标检测模型检测所述表格图像，并判断所述表格图像的表头正方向；

其中，表头正方向的具体判断方法如下：

S21、收集不同种类、不同拍摄角度和不同的倾斜角度的报表图像，并截取上半部分填冲训练样本库；

S22、采用矩形框在报表图像上标注财务报表的表头字段的位置，如资产负债表，利润表等；

S23、使用标注好的表头字段数据训练目标检测深度神经网络模型，获得表头目标检测模型；

S24、对输入的财务报表图像截取上半部分，并用表头目标检测模型检测表头，依次旋转90度，取分值最大的为表格正方向，若最大分值低于阈值，则提示用户输入正确的图片；

S3、对表头倾斜的表格图像，进行图像倾斜校正；

其中，图像倾斜校正的方法如下：

S31、采用canny边缘检测算法提取表格图像边缘信息；

S32、采用Hough直线检测算法获得表格图像边缘直线的倾斜角；

S33、根据倾斜角获得旋转矩阵，并对表格图像进行仿射变换校正表格图像；

S4、采用基于深度学习的表格外框目标检测模型检测校正后的表格图像，并获得表格外框粗定位区域；

其中，表格外框目标检测模型的获取方法如下：

S41、准备不同拍摄光照、不同样式的财务表格样本图像，并用图像倾斜校正的方法校正样本图像；

S42、用矩形框标注样本图像的表格外框的位置。

S43、使用标注好的数据训练目标检测深度神经网络模型，获得表格外框目标检测模型；

S5、在所述表格外框粗定位区域精定位表格外框；

其中，表格区域精定位表格外框方法步骤如下：

S51、构造水平核函数，且其长度大于表格线横线长度的一半；构造竖直核函数，其长度大于表格竖直长度的一半；

S52、分别用水平和竖直核函数对表格二值图像进行腐蚀膨胀操作；

S53、用opencv的findcontours函数分别在水平和竖直二值图上寻找轮廓，用表格边界，RotatedRect函数来获得直线的旋转外接矩形，并以最接近粗定位的表格外框的旋转外接矩形为表格精确定位的输出。

本发明的智能检测装置的结构如图2所示，包括表头区域检测模块、图像倾斜校正模块、表格外框粗定位模块和表格外框精定位模块。

具体的讲，表头区域检测模块，用于采用基于深度学习的表头目标检测模型检测表格图像，并判断表格图像的表头正方向。

其具体的判断方法如下：基于深度学习的表头目标检测模型确定财务报表表格的正方向。要训练表头目标检测模型首先需要训练样本。财务报表样本的收集要尽可能的丰富，要包括拍摄的不同角度，不同光照的表格图片，表格的形式尽可能的多，保证训练样本的多样性。截取样本的上半部分作为表头模型的训练样本。因为图片上半部分已经包含了表头信息，图片大小降低可以减小检测的时间和显存。给每个训练样本标记表头区域的矩形框。注意矩形框应贴合表头区域。使用标注好的数据训练目标检测深度神经网络模型，获得表头目标检测模型(公知常识，兹不赘述)。对输入图片的上半部分用表头模型检测会得到一个一维向量[c,s,x,y,w,h]，c代表类别class，本例中表头的标签为1，背景为0；s代表得分score，score取值范围是0到1，分值越大表示得到的表头位置置信度越高；x，y分别代表得到矩形框左上顶点坐标；w代表矩形的宽width；h代表矩形的高度height。

注意，所得到的矩形框可能会超过原图大小范围，使用的时候需要拉回适应原图的大小。

因为不知道用户的表格是倒放、正放还是左右侧放，所以在工程应用模型检测表头的时候，需要把检测图片旋转4个90°，用模型分别检测，以检测的得分最大位置作为财务报表正方向。若最大得分小于阈值退出并提示用户输入正确的图片。

图像倾斜校正模块，用于检测表格图像倾斜度，并利用仿射变换的方法校正表格图像；

其具体校正方法：采用霍夫直线倾斜校正图片。在canny二值图上用HoughLine函数检测直线，由于检测的直线过多，采用投票思想获得感兴趣直线，并以此确定图片倾斜角度。注意这里的倾斜角度是图片与水平方向夹角。根据倾斜角度获得旋转矩阵，对图片用仿射变换校正图片。

表格外框粗定位模块，用于采用基于深度学习的表格外框目标检测模型检测校正后的表格图像，并获得表格外框粗定位区域。

其具体粗定位方法：准备不同拍摄光照、不同样式的财务表格样本。用如上所述的倾斜校正方法校正样本图像。用矩形框标注图片表格外框位置。注意标注的矩形框略大于外框。使用标注好的数据训练目标检测深度神经网络模型，获得表格外框目标检测模型(公知常识，兹不赘述)。

对输入财务报表图片用表格外框模型检测会得到一个一维向量 [c,s,x,y,w,h]，c代表类别class，本例中表头的标签为1，背景为 0；s代表得分score，score取值范围是0到1，分值越大表示得到的表格外框位置置信度越高；x，y分别代表得到矩形框左上顶点坐标；w代表矩形的宽width；h代表矩形的高度height。

注意，所得到的矩形框可能会超过原图大小范围，使用的时候需要拉回适应原图的大小。若检测最大分值小于阈值，退出提示用户输入正确图片。

表格外框精定位模块，用于在获得的表格外框粗定位区域图像上，分别构造水平和竖直核函数获取水平和竖直二值图，并用该二值图上，以RotatedRect函数来精确定位表格外框区域。

其具体精定位方法如下：因为用表格外框目标检测模型定位的表格区域不是精确的，需要再粗定位外框基础之上再结合传统方法精确定位表格外框。分别构造水平和竖直核函数，其长度分别大于表格水平横线和竖直横线的一半以上，这样的核函数可以过滤文字而保留表格线。分别用水平和竖直核函数对表格二值图像腐蚀膨胀操作，可以得到水平和竖直二值图。用opencv的findcontours函数分别在水平和竖直二值图上寻找轮廓，用表格边界，RotatedRect来获得直线的旋转外接矩形，并以最接近粗定位的表格外框的旋转外接矩形为表格精确定位的输出。

以上显示和描述了本方案的基本原理和主要特征和本方案的优点。本行业的技术人员应该了解，本方案不受上述实施例的限制，上述实施例和说明书中描述的只是说明本方案的原理，在不脱离本方案精神和范围的前提下，本方案还会有各种变化和改进，这些变化和改进都落入要求保护的本方案范围内。本方案要求保护范围由所附的权利要求书及其等效物界定。

Claims (6)

1.一种用于财务报表外框的智能检测方法，其特征在于，包括：

S1、从服务器下载财务报表的表格图像；

S2、采用基于深度学习的表头目标检测模型检测所述表格图像，并判断所述表格图像的表头正方向；

S3、对表头倾斜的表格图像，进行图像倾斜校正；

S4、采用基于深度学习的表格外框目标检测模型检测校正后的表格图像，并获得表格外框粗定位区域；

S5、在所述表格外框粗定位区域精定位表格外框。

2.如权利要求1所述的智能检测方法，其特征在于，所述表头正方向的具体判断方法如下：

S21、收集不同种类、不同拍摄角度和不同的倾斜角度的报表图像，并截取上半部分填冲训练样本库；

S22、采用矩形框在报表图像上标注财务报表的表头字段的位置；

S23、使用标注好的表头字段数据训练目标检测深度神经网络模型，获得表头目标检测模型；

S24、对输入的财务报表图像截取上半部分，并用表头目标检测模型检测表头，依次旋转90度，取分值最大的为表格正方向，若最大分值低于阈值，则提示用户输入正确的图片。

3.如权利要求1所述的智能检测方法，其特征在于，所述图像倾斜校正的方法如下：

S31、采用canny边缘检测算法提取表格图像边缘信息；

S32、采用Hough直线检测算法获得表格图像边缘直线的倾斜角；

S33、根据倾斜角获得旋转矩阵，并对表格图像进行仿射变换校正表格图像。

4.如权利要求1所述的智能检测方法，其特征在于，所述表格外框目标检测模型的获取方法如下：

S41、准备不同拍摄光照、不同样式的财务表格样本图像，并用图像倾斜校正的方法校正样本图像；

S42、用矩形框标注样本图像的表格外框的位置。

S43、使用标注好的数据训练目标检测深度神经网络模型，获得表格外框目标检测模型。

5.如权利要求1所述的智能检测方法，其特征在于，所述表格区域精定位表格外框方法步骤如下：

S51、构造水平核函数，且其长度大于表格线横线长度的一半；构造竖直核函数，其长度大于表格竖直长度的一半；

S52、分别用水平和竖直核函数对表格二值图像进行腐蚀膨胀操作；

S53、用opencv的findcontours函数分别在水平和竖直二值图上寻找轮廓，用表格边界，RotatedRect函数来获得直线的旋转外接矩形，并以最接近粗定位的表格外框的旋转外接矩形为表格精确定位的输出。

6.一种用于财务报表外框的智能检测装置，其特征在于，包括表头区域检测模块、图像倾斜校正模块、表格外框粗定位模块和表格外框精定位模块；

所述表头区域检测模块，用于采用基于深度学习的表头目标检测模型检测表格图像，并判断表格图像的表头正方向；

所述图像倾斜校正模块，用于检测表格图像倾斜度，并利用仿射变换的方法校正表格图像；

所述表格外框粗定位模块，用于采用基于深度学习的表格外框目标检测模型检测校正后的表格图像，并获得表格外框粗定位区域；

所述表格外框精定位模块，用于在获得的表格外框粗定位区域图像上，分别构造水平和竖直核函数获取水平和竖直二值图，并在该二值图上，以RotatedRect函数来精确定位表格外框区域。