CN108491788A - 一种用于财务报表单元格的智能提取方法及装置 - Google Patents

Abstract

本发明公开了一种用于财务报表单元格的智能提取方法及装置，包括如下步骤：从服务器下载财务报表的目标表格图像；对目标表格图像进行图像倾斜校正；采用基于深度学习的表格外框目标检测模型检测目标表格图像的表格区域，并获得表格区域图像；在获取的表格区域图像上，采用基于深度学习的表格交点场景分割模型定位表格交点；对表格交点的坐标进行排序、筛选和重组，从而获取每个表格单元格。本方案能够准确而快速地提取出财务报表单元格，并利用算法准确识别；采用本方案能够大大提高财务报表审核的工作效率，降低人工成本，降低错误率。

Description

一种用于财务报表单元格的智能提取方法及装置

技术领域

本发明涉及财务报表审核的人工智能判断技术领域，特别涉及一种用于财务报表单元格的智能提取方法及装置。

背景技术

随着社会经济的不断发展和人民生活水平的持续提高，银行对于识别财务报表的需求越来越大。传统的财务报表审核主要是通过人工识别，该方法人工成本较高，效率较低，且长时间重复性校验操作容易产生疲劳，疏忽等不良状态，影响校验准确率。

如何准确、快速地提取财务报表单元格，利用算法识别，避免人工识别成本高，易疲劳，易疏忽等弊端，是急需解决的技术问题。

发明内容

本发明的目的是：提出一种用于财务报表单元格的智能提取方法及装置，其能够自动提取财务报表中的单元格，以满足如今对财务报表识别工作中效率、准确率的需求。

本发明解决其技术问题所采用的技术方案是：

一种用于财务报表单元格的智能提取方法，包括如下步骤：

S1、从服务器下载财务报表的目标表格图像；

S2、对所述目标表格图像进行图像倾斜校正；

S3、在校正后的所述目标表格图像的表格区域上，采用基于深度学习的表格外框目标检测模型进行检测，并获得表格区域图像；

S4、在获取的所述表格区域图像上，采用基于深度学习的表格交点场景分割模型定位表格交点，并获得表格交点坐标；

S5、对所述表格交点坐标进行表格交点重组，从而获取每个表格单元格。

进一步，所述图像倾斜校正的方法步骤如下：

S21、采用高斯模糊对输入图像进行去噪，然后采用直方图均衡化算法以及伽马变换对去噪后的图像进行对比度拉伸，实现图像增强，然后采用自适应二值法得到二值图像；

S22、在S21中得到的所述二值图像上，采用Hough直线法检测直线，将所有检测直线根据长度排序，取最大的前50条直线，若不足50则取全部直线，进行斜率统计，取出现次数最多的斜率对应的角度做为图片倾斜角度，构造相应变换矩阵对图像进行校正。

进一步，所述表格外框目标检测模型的获取步骤如下：

S31、准备一批不同拍摄角度、不同光照和不同类型的财务报表的样本表格图像；

S32、用所述图像倾斜校正方法对所述样本表格图像进行校正；

S33、用矩形框标注所述样本表格图像的区域位置；

S34、使用标注好的数据训练目标检测深度神经网络模型，获得表格外框目标检测模型。

进一步，所述表格交点场景分割模型获取步骤如下：

S4-A1、获取表格区域图像样本；

S4-A2、标注表格区域图像样本中所有像素点类别，交点区域所在像素类别为1，其他像素类别为0；

S4-A3、使用标注好的数据训练训练场景分割深度神经网络模型，获得表格交点场景分割模型。

进一步，所述定位表格交点坐标的方法步骤如下：

S4-B1、将所述表格交点场景分割模型输出的多通道彩色图转化为二值图，交点处的像素值置为255，其他像素点值均置为0；

S4-B2、对得到的二值图进行形态学开操作，消除噪点；

S4-B3、在S4-B1输出的二值图上进行轮廓检测，找到所有交点区域的外接矩形框，以矩形框中心坐标作为该区域对应的表格交点的坐标。

进一步，所述表格交点重组的方法步骤如下：

S51、采用C++标准模版库中的二维Vector数据结构存放根据行列坐标排序好的交点坐标；

S52、自定义数据结构unit，其基本元素包含4组坐标，以及OPENCV中的Rect类；

S52、依次遍历S51中存放交点坐标的二维Vector，每次取出四组交点，并根据坐标计算外接矩形框，将其赋值给unit，由此得到与表格对应的单元格表征。

为了实现上述目的，本申请的另一方面，提供一种用于财务报表单元格的智能提取装置，包括表格检测模块和单元格检测模块；其中，所述表格检测模块包括图像校正单元和表格检测单元；所述单元格检测模块包括交点检测单元和交点组合单元；

所述图像校正单元，用于对获取的目标表格图像，进行图像倾斜校正，并将校正后的目标表格图像传入所述表格检测单元；

所述表格检测单元，用于在目标表格图像上采用基于深度学习的表格外框目标检测模型检测表格区域，获得表格区域图像，并将其传入所述单元格检测模块；

所述交点检测单元，用于在目标表格图像上采用基于深度学习的表格交点检测模型定位表格交点坐标；

所述交点组合单元，用于对所述表格交点坐标进行坐标排序、筛选和重组，从而得到每个表格单元格。

本发明的有益效果是：本方案能够准确而快速地提取出财务报表单元格，并利用算法准确识别；采用本方案能够大大提高财务报表审核的工作效率，降低人工成本，降低错误率。

附图说明

图1是本发明的智能提取方法的流程图。

图2是本发明的智能提取装置的结构示意图。

具体实施方式

以下结合附图，对本发明做进一步说明。

本发明的具体实施流程如图1所示，一种用于财务报表单元格的智能提取方法，包括如下步骤：

S1、从服务器下载财务报表的目标表格图像；

S2、对目标表格图像进行图像倾斜校正；

其中，图像倾斜校正的具体方法如下：

S21、采用高斯模糊对输入图像进行去噪，然后采用直方图均衡化算法以及伽马变换对去噪后的图像进行对比度拉伸，实现图像增强，然后采用自适应二值法得到二值图像；

S22、在S21中得到的二值图像上采用Hough直线法检测直线，将所有检测直线根据长度排序，取最大的前50条直线，若不足50则取全部直线，进行斜率统计，取出现次数最多的斜率对应的角度做为图片倾斜角度，构造相应变换矩阵对图像进行校正。

S3、在校正后的所述目标表格图像的表格区域上，采用基于深度学习的表格外框目标检测模型进行检测，并获得表格区域图像；

其中，表格外框目标检测模型的获取步骤如下：

S31、准备一批不同拍摄角度、不同光照和不同类型的财务报表的样本表格图像；

S32、用如上所述的图像倾斜校正方法对样本表格图像进行校正；

S33、用矩形框标注样本表格图像的区域位置；

S34、使用标注好的数据训练目标检测深度神经网络模型，获得表格外框目标检测模型。

S4、在获取的所述表格区域图像上，采用基于深度学习的表格交点场景分割模型定位表格交点，并获得表格交点坐标；

表格交点场景分割模型获取步骤如下：

S4-A1、获取表格区域图像样本；(获取不同内容、不同光照、不同格式以及不同视角拍摄的财务报表图像，采用训练好的表格区域检测模型批量处理上述图像，得到表格区域图像。)

S4-A2、标注表格区域图像样本中所有像素点类别，交点区域所在像素类别为1，其他像素类别为0；

其中，标注表格的具体方法是：

S4-A21、将表格区域图像中所有的表格交点进行标记，记录相应的表格交点坐标；

S4-A22、遍历S421中标记的表格交点坐标，分别以每个交点为中心，采用高斯核函数，选出适当的sigma值(高斯分布的均方差)将所有距离小于3*sigma的像素点标记为类别1，表示是交点，其余点标签为0；

S423、生成一张与原图大小相同的灰度图，统计S422中所有类别为1的点的位置，其对应像素点的灰度值置为1，其余像素点的灰度值置为0，以此灰度图作为标签图；

S43、使用标注好的数据训练训练场景分割深度神经网络模型，获得表格交点场景分割模型。

定位表格交点坐标的方法步骤如下：

S4-B1、将所述表格交点场景分割模型输出的多通道彩色图转化为二值图，交点处的像素值置为255，其他像素点值均置为0；

S4-B2、对得到的二值图进行形态学开操作，消除噪点；

S4-B3、在S4-B1输出的二值图上进行轮廓检测，找到所有交点区域的外接矩形框，以矩形框中心坐标作为该区域对应的表格交点的坐标。

S5、对所述表格交点坐标进行表格交点重组，从而获取每个表格单元格。

表格交点重组的方法如下：

S51、采用C++标准模版库中的二维Vector数据结构存放根据行列坐标排序好的交点；

S52、自定义数据结构unit，其基本元素包含4组坐标，以及OPENCV中的Rect类；

S52、依次遍历S51中存放交点坐标的二维Vector，每次取出四组交点，并根据坐标计算外接矩形框，将其赋值给unit，由此得到与表格对应的单元格表征。

本发明的智能提取装置的结构如图2所示，包括表格检测模块和单元格检测模块；其中，所述表格检测模块包括图像校正单元和表格检测单元；所述单元格检测模块包括交点检测单元和交点组合单元；

所述图像校正单元，用于对获取的目标表格图像，进行图像倾斜校正，并将校正后的目标表格图像传入所述表格检测单元；

所述表格检测单元，用于在目标表格图像上采用基于深度学习的表格外框目标检测模型检测表格区域，获得表格区域图像，并将其传入所述单元格检测模块；

所述交点检测单元，用于在目标表格图像上采用基于深度学习的表格交点检测模型定位表格交点坐标；

所述交点组合单元，用于对所述表格交点坐标进行坐标排序、筛选和重组，从而得到每个表格单元格。

其中，交点组合单元的具体处理方法如下：

S1、场景分割模型输出结果预处理：将交点场景分割模型输出的多通道彩色图转化为二值图，交点处的像素值置为255，其他像素点值均置为0。对得到的二值图进行形态学开操作，消除噪点；

S2、在S1输出的二值图上进行轮廓检测，找到所有交点区域的外接矩形框，以矩形框中心坐标作为该区域对应的交点的坐标；

S3、首先对S2得到的交点按行方向坐标分类，将同类交点存入C++标准模版库的vector容器，并按列方向进行排序，由此得到多个1维vector，将不同类别的vector组合得到二维vector；

S4、自定义数据结构unit，其基本元素包含4组坐标，以及OPENCV中的Rect类，依次遍历S3中存放交点坐标的二维Vector，每次取出四组交点，并根据坐标计算外接矩形框，将其赋值给unit，由此得到与表格对应的单元格表征，单元格提取结果。

以上显示和描述了本方案的基本原理和主要特征和本方案的优点。本行业的技术人员应该了解，本方案不受上述实施例的限制，上述实施例和说明书中描述的只是说明本方案的原理，在不脱离本方案精神和范围的前提下，本方案还会有各种变化和改进，这些变化和改进都落入要求保护的本方案范围内。本方案要求保护范围由所附的权利要求书及其等效物界定。

Claims (7)

1.一种用于财务报表单元格的智能提取方法，其特征在于，包括如下步骤：

S1、从服务器下载财务报表的目标表格图像；

S2、对所述目标表格图像进行图像倾斜校正；

S3、在校正后的所述目标表格图像的表格区域上，采用基于深度学习的表格外框目标检测模型进行检测，并获得表格区域图像；

S4、在获取的所述表格区域图像上，采用基于深度学习的表格交点场景分割模型定位表格交点，并获得表格交点坐标；

S5、对所述表格交点坐标进行表格交点重组，从而获取每个表格单元格。

2.如权利要求1所述的智能提取方法，其特征在于，所述图像倾斜校正的方法步骤如下：

S21、采用高斯模糊对输入图像进行去噪，然后采用直方图均衡化算法以及伽马变换对去噪后的图像进行对比度拉伸，实现图像增强，然后采用自适应二值法得到二值图像；

S22、在S21中得到的所述二值图像上，采用Hough直线法检测直线，将所有检测直线根据长度排序，取最大的前50条直线，若不足50则取全部直线，进行斜率统计，取出现次数最多的斜率对应的角度做为图片倾斜角度，构造相应变换矩阵对图像进行校正。

3.如权利要求2所述的智能提取方法，其特征在于，所述表格外框目标检测模型的获取步骤如下：

S31、准备一批不同拍摄角度、不同光照和不同类型的财务报表的样本表格图像；

S32、用所述图像倾斜校正方法对所述样本表格图像进行校正；

S33、用矩形框标注所述样本表格图像的区域位置；

S34、使用标注好的数据训练目标检测深度神经网络模型，获得表格外框目标检测模型。

4.如权利要求1所述的智能提取方法，其特征在于，所述表格交点场景分割模型获取步骤如下：

S4-A1、获取表格区域图像样本；

S4-A2、标注表格区域图像样本中所有像素点类别，交点区域所在像素类别为1，其他像素类别为0；

S4-A3、使用标注好的数据训练训练场景分割深度神经网络模型，获得表格交点场景分割模型。

5.如权利要求1所述的智能提取方法，其特征在于，所述定位表格交点坐标的方法步骤如下：

S4-B1、将所述表格交点场景分割模型输出的多通道彩色图转化为二值图，交点处的像素值置为255，其他像素点值均置为0；

S4-B2、对得到的二值图进行形态学开操作，消除噪点；

S4-B3、在S4-B1输出的二值图上进行轮廓检测，找到所有交点区域的外接矩形框，以矩形框中心坐标作为该区域对应的表格交点的坐标。

6.如权利要求1所述的智能提取方法，其特征在于，所述表格交点重组的方法步骤如下：

S51、采用C++标准模版库中的二维Vector数据结构存放根据行列坐标排序好的交点坐标；

S52、自定义数据结构unit，其基本元素包含4组坐标，以及OPENCV中的Rect类；

S52、依次遍历S51中存放交点坐标的二维Vector，每次取出四组交点，并根据坐标计算外接矩形框，将其赋值给unit，由此得到与表格对应的单元格表征。

7.一种用于财务报表单元格的智能提取装置，其特征在于，包括表格检测模块和单元格检测模块；其中，所述表格检测模块包括图像校正单元和表格检测单元；所述单元格检测模块包括交点检测单元和交点组合单元；

所述图像校正单元，用于对获取的目标表格图像，进行图像倾斜校正，并将校正后的目标表格图像传入所述表格检测单元；

所述表格检测单元，用于在目标表格图像上采用基于深度学习的表格外框目标检测模型检测表格区域，获得表格区域图像，并将其传入所述单元格检测模块；

所述交点检测单元，用于在目标表格图像上采用基于深度学习的表格交点检测模型定位表格交点坐标；

所述交点组合单元，用于对所述表格交点坐标进行坐标排序、筛选和重组，从而得到每个表格单元格。