CN110033471B - 一种基于连通域分析和形态学操作的框线检测方法 - Google Patents

Abstract

本发明涉及一种基于连通域分析和形态学操作的框线检测方法。首先对读入的待检测表格文档图像进行灰度化，将得到的灰度图像二值化；然后对得到的二值图像进行形态学膨胀操作，对膨胀操作之后的二值图像进行连通域检测，接下来对得到的框线轮廓内部进行填充操作，最后对框线增强之后的图像进行基于深度学习方法的图像去噪；对经过框线增强操作后的表格文档图像，分别定义两个结构元素作为形态学腐蚀和膨胀操作的内核矩阵参数，经过形态学腐蚀和膨胀操作之后把表格文档的横框线和竖框线分别检测并提取出来，然后采用基于NPcanny的直线检测算法对图像中的直线进行再次检测，将提取出来的横纵框线进行交叉，得到表格文档图像中完整的框线结构。

Description

一种基于连通域分析和形态学操作的框线检测方法

技术领域

本发明涉及形态学和计算机视觉领域，特别是一种基于连通域分析和形态学操作的框线检测方法。

背景技术

保险行业每天都会产生包括人寿保险投保单、税优健康保险投保单、保全高额付费审批表等在内的大量的包含客户信息的表格文档，如何准确地对这些表格文档进行分类，并提取出表格文档中的重要信息是保险公司亟待解决的问题。采用人工分析不仅耗时、耗力，分析结果的准确率也难以得到保证，低效率的表格文档分析会直接影响到保险公司的工作效率的提高，进而影响公司效益和行业内竞争力。

由于基于框线的表格文档分类方法通用性较好，我们将框线特征作为表格文档的分类特征，传统的基于霍夫变换的直线检测算法不仅时间复杂度高，运行速度较慢，对于质量较差的读入图像检测效果也不理想，在检测直线之前还需要进行去除字符的操作，步骤比较繁琐，实现复杂度较大。

发明内容

本发明的目的在于提供一种基于连通域分析和形态学操作的框线检测方法，该方法能够准确有效地对表格文档图像中的框线进行检测和提取。

为实现上述目的，本发明的技术方案是：一种基于连通域分析和形态学操作的框线检测方法，包括如下步骤：

步骤S1、对读入的待检测图像先进行灰度化处理，而后对得到的灰度图像进行二值化处理，得到原图像的二值图像；

步骤S2、对步骤S1中得到的二值图像进行形态学膨胀操作，然后对膨胀操作后的二值图像进行连通域检测，最后将检测到的连通域内部进行填充，得到框线增强的图像；

步骤S3：对框线增强后的图像进行基于深度学习方法的图像去噪；

步骤S4：对经步骤S3处理后的图像分别定义两个不同的结构元素进行先腐蚀后膨胀的形态学操作，以分别得到表格图像的横纵框线，而后将得到的横纵框线进行交叉，最终得到完整的框线结构图。

在本发明一实施例中，所述步骤S1具体包括如下步骤：

步骤S11、读入三通道RGB彩色图像；

步骤S12、对读入图像的颜色空间进行转换，使之转换为只有单通道灰度图像，三通道RGB图像经过灰度化处理，变为单通道灰度图像的所用的公式为：

Y＝0.299×R+0.587×G+0.114×B

其中，其中Y代表亮度，即灰度值，R、G、B是图像中每一个像素的三个颜色分量；

步骤S13、选取阈值对单通道灰度图像进行处理，获得能反映出图像特征的二值图像，局部自适应阈值法的二值化阈值可变，像素的邻域块像素值的分布情况决定阈值的选取，图像进行二值化操作时，二值化阈值根据图像区域的特征自动调整，自适应阈值算法将灰度图像变换为二值图像所用的公式为：

其中，src(u,v)为原始值，dst(u,v)为输出值，T(u,v)为自适应阈值，max_value是自适应灰度值；

步骤S14、输出原图像对应的二值化图像。

在本发明一实施例中，所述步骤S2具体包括如下步骤：

步骤S21：将原图的二值化图像进行形态学膨胀操作，将图形A与核B卷积，计算核B覆盖的区域的像素点的最大值，并把这个最大值赋值给参考点指定的像素，膨胀操作公式为：

其中，Z和B是进行膨胀操作的两个结构元素，z是结构元素B平移的距离，B[z]是结构元素平移z后得到的点，φ是空集符号；

步骤S22、读入膨胀后的二值图像并进行扫描，当扫描到的像素点(i，j)是外边界或者孔边界时停止扫描，如果像素点(i，j)既是外边界又是孔边界时，将此像素点设置为外边界起始点，并且把最新发现的边界单独赋值并编号，边界的序列号称为NBD，根据给出的规则确定边界的母边界，从起始点开始跟踪已检测到的边界，扫描到最后一个像素点时结束；

步骤S23、将检测到的连通域内部用黑色像素进行填充。

在本发明一实施例中，所述步骤S3具体包括如下步骤：

步骤S31、收集高质量噪声图像数据，拍摄15个静态场景的训练图像，每个场景800张jpeg图像，并计算每个场景的平均图像，生成无噪音的地面真实图像，对于每个数据集，每个像素的协方差与其(R,G,B)值和8×8×4补丁信息一起输入模型，其中95％的图像数据用于训练，5％的图像数据用于验证；

步骤S32、通过多层感知器训练向量值输入层的非线性变换，输入层通过几个隐藏层映射到输出层，得到图像中的噪声分布情况，MLPs的定义式为：

x⁽ⁿ⁺¹⁾＝g(b⁽ⁿ⁾+W⁽ⁿ⁾x⁽ⁿ⁾)

其中，x⁽ⁿ⁺¹⁾是第n+1层到该层的值且x⁽ⁿ⁾是第n层到该层的值，x⁽¹⁾是输入层，W⁽ⁿ⁾是可训练权重，b⁽ⁿ⁾是可训练偏差，g是非线性激活函数；

步骤S33、根据得到的噪声分布情况，用贝叶斯非局部均值滤波器去除图像噪声，输出去除噪声之后的图像。

在本发明一实施例中，所述步骤S4具体包括如下步骤：

步骤S41、提取表格横框线，形态学操作区域的width大于图像中字符等干扰项的横向线段的长度，height设置为1；提取表格竖框线，形态学操作区域的height大于图像中字符等干扰项的竖直线段的长度，width设置为1，同时根据读入的表格文档图像的分辨率动态地设置width和height：

检测横框线时，定义结构元素Hstructuring：

Hsize＝horimage.cols/scale1

Hstructuring＝getStructuringElement(MORPH_RECT,size(Hsize,1))

检测竖框线时，定义结构元素Vstructuring：

Vsize＝verimage.rows/scale2

Vstructuring＝getStructuringElement(MORPH_RECT,size(1,Vsize))

其中horimage.cols和verimage.rows分别为读入图像的行列值，scale1和scale2为整数，getStructuringElement()是内核矩阵函数，MORPH_RECT代表矩形，size(Hsize,1)和size(1,Vsize)表示内核尺寸；

步骤S42、用结构元素Hstructuring对图像先进行腐蚀操作再进行膨胀操作，完整地提取出每条横框线并去除图像中的字符等干扰项；

步骤S43、用结构元素Vstructuring对图像先进行腐蚀操作再进行膨胀操作，完整地提取出每条纵框线并去除图像中的字符等干扰项；

步骤S44、NPcanny边缘检测器根据输入图像的梯度大小，自适应地调整canny操作的高低阈值，从输入图像中提取边缘映射的同时，保证图像结构信息的完整性，然后从梯度幅度最大的边缘像素开始，在边缘地图上收集具有方向控制的像素，将线段向两个方向扩展，收集更多的边缘像素，并与周围的其他共线线段合并，对漏检的线段进行二次检测和补充提取；

步骤S45、采用基于赫尔姆霍兹原理的线段验证方法，对检测到的直线进行验证；

步骤S46、将得到的横纵框线交叉，得到完整的框线结构图。

在本发明一实施例中，所述步骤S41中，scale1和scale2的值分别设为2和26。

相较于现有技术，本发明具有以下有益效果：

1、本发明构建的基于连通域分析和形态学操作的框线检测方法能够有效地对表格文档图像进行框线检测和提取，提升了框线检测的效果；

2、本发明能够对图像质量较差的表格文档图像进行框线检测和提取；

3、针对图像质量较差的表格文档图像，本发明提出了一种基于连通域分析的表格框线结构增强方法，起到了增强表格框线结构的作用，切实有效地改善并提升了图像质量，对于图像中存在的噪点，采用了基于深度学习方法的图像去噪，减少了噪点对框线检测的影响，有效提高了框线检测的准确率；

4、针对图像处理中常用的直线检测算法在在图像背景比较复杂的情况下，检测表格文档图像的框线时会出现漏检、误检、线段中断、线段重叠等各种问题，本发明提出了先将表格文档图像进行基于连通域分析的框线增强，然后利用形态学操作提取框线的方法，并采用基于NPcanny的直线检测方法对漏检的线段进行二次检测和提取，在有效去除图像中的字符等干扰项的同时，有效检测并提取出表格文档图像中的框线结构。

附图说明

图1为本发明的原理示意图。

具体实施方式

下面结合附图，对本发明的技术方案进行具体说明。

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

如图1所示，本实施例提供了一种基于纯度检测和空间注意力网络的人脸聚类方法，具体包括以下步骤：

步骤S1、对读入的待检测图像先进行灰度化处理，而后对得到的灰度图像进行二值化处理，得到原图像的二值图像；

步骤S2、对步骤S1中得到的二值图像进行形态学膨胀操作，然后对膨胀操作后的二值图像进行连通域检测，最后将检测到的连通域内部进行填充，得到框线增强的图像；

步骤S3：对框线增强后的图像进行基于深度学习方法的图像去噪；

步骤S4：对经步骤S3处理后的图像分别定义两个不同的结构元素进行先腐蚀后膨胀的形态学操作，以分别得到表格图像的横纵框线，而后将得到的横纵框线进行交叉，最终得到完整的框线结构图。

在本实施例中，所述步骤S1具体包括如下步骤：

步骤S11、读入三通道RGB彩色图像；

步骤S12、对读入图像的颜色空间进行转换，使之转换为只有单通道灰度图像，三通道RGB图像经过灰度化处理，变为单通道灰度图像的所用的公式为：

Y＝0.299×R+0.587×G+0.114×B

其中，其中Y代表亮度，即灰度值，R、G、B是图像中每一个像素的三个颜色分量；

步骤S13、选取阈值对单通道灰度图像进行处理，获得能反映出图像特征的二值图像，局部自适应阈值法的二值化阈值可变，像素的邻域块像素值的分布情况决定阈值的选取，图像进行二值化操作时，二值化阈值根据图像区域的特征自动调整，自适应阈值算法将灰度图像变换为二值图像所用的公式为：

其中，src(u,v)为原始值，dst(u,v)为输出值，T(u,v)为自适应阈值，max_value是自适应灰度值；

步骤S14、输出原图像对应的二值化图像。

在本发明一实施例中，所述步骤S2具体包括如下步骤：

步骤S21：将原图的二值化图像进行形态学膨胀操作，将图形A与核B卷积，计算核B覆盖的区域的像素点的最大值，并把这个最大值赋值给参考点指定的像素，膨胀操作公式为：

其中，Z和B是进行膨胀操作的两个结构元素，z是结构元素B平移的距离，B[z]是结构元素平移z后得到的点，φ是空集符号；

步骤S22、读入膨胀后的二值图像并进行扫描，当扫描到的像素点(i，j)是外边界或者孔边界时停止扫描，如果像素点(i，j)既是外边界又是孔边界时，将此像素点设置为外边界起始点，并且把最新发现的边界单独赋值并编号，边界的序列号称为NBD，根据给出的规则确定边界的母边界，从起始点开始跟踪已检测到的边界，扫描到最后一个像素点时结束；

步骤S23、将检测到的连通域内部用黑色像素进行填充。

在本发明一实施例中，所述步骤S3具体包括如下步骤：

步骤S31、收集高质量噪声图像数据，拍摄15个静态场景的训练图像，每个场景800张jpeg图像，并计算每个场景的平均图像，生成无噪音的地面真实图像，对于每个数据集，每个像素的协方差与其(R,G,B)值和8×8×4补丁信息一起输入模型，其中95％的图像数据用于训练，5％的图像数据用于验证；

步骤S32、通过多层感知器训练向量值输入层的非线性变换，输入层通过几个隐藏层映射到输出层，得到图像中的噪声分布情况，MLPs的定义式为：

x⁽ⁿ⁺¹⁾＝g(b⁽ⁿ⁾+W⁽ⁿ⁾x⁽ⁿ⁾)

其中，x⁽ⁿ⁺¹⁾是第n+1层到该层的值且x⁽ⁿ⁾是第n层到该层的值，x⁽¹⁾是输入层，W⁽ⁿ⁾是可训练权重，b⁽ⁿ⁾是可训练偏差，g是非线性激活函数；

步骤S33、根据得到的噪声分布情况，用贝叶斯非局部均值滤波器去除图像噪声，输出去除噪声之后的图像。

在本发明一实施例中，所述步骤S4具体包括如下步骤：

步骤S41、提取表格横框线，形态学操作区域的width大于图像中字符等干扰项的横向线段的长度，height设置为1；提取表格竖框线，形态学操作区域的height大于图像中字符等干扰项的竖直线段的长度，width设置为1，同时根据读入的表格文档图像的分辨率动态地设置width和height：

检测横框线时，定义结构元素Hstructuring：

Hsize＝horimage.cols/scale1

Hstructuring＝getStructuringElement(MORPH_RECT,size(Hsize,1))

检测竖框线时，定义结构元素Vstructuring：

Vsize＝verimage.rows/scale2

Vstructuring＝getStructuringElement(MORPH_RECT,size(1,Vsize))

其中horimage.cols和verimage.rows分别为读入图像的行列值，scale1和scale2为整数，getStructuringElement()是内核矩阵函数，MORPH_RECT代表矩形，size(Hsize,1)和size(1,Vsize)表示内核尺寸；

步骤S42、用结构元素Hstructuring对图像先进行腐蚀操作再进行膨胀操作，完整地提取出每条横框线并去除图像中的字符等干扰项；

步骤S43、用结构元素Vstructuring对图像先进行腐蚀操作再进行膨胀操作，完整地提取出每条纵框线并去除图像中的字符等干扰项；

步骤S44、NPcanny边缘检测器根据输入图像的梯度大小，自适应地调整canny操作的高低阈值，从输入图像中提取边缘映射的同时，保证图像结构信息的完整性，然后从梯度幅度最大的边缘像素开始，在边缘地图上收集具有方向控制的像素，将线段向两个方向扩展，收集更多的边缘像素，并与周围的其他共线线段合并，对漏检的线段进行二次检测和补充提取；

步骤S45、采用基于赫尔姆霍兹原理的线段验证方法，对检测到的直线进行验证；

步骤S46、将得到的横纵框线交叉，得到完整的框线结构图。

在本实施例中，步骤S41中scale1和scale2的值分别设为2和26。

特别的，本实施例针对图像质量较差的表格文档图像，提出了一种基于连通域分析的表格框线结构增强方法，起到了增强表格框线结构的作用，切实有效地改善并提升了图像质量，同时采用了基于深度学习方法的图像去噪，减少了噪点对框线检测的影响。针对图像处理中常用的直线检测算法在在图像背景比较复杂的情况下，检测表格文档图像的框线时会出现漏检、误检、线段中断、线段重叠等各种问题，本发明提出了先将表格文档图像进行基于连通域分析的框线增强，然后利用形态学操作和基于Npcanny的框线提取方法，在有效去除图像中的字符等干扰项的同时，有效检测并提取出表格文档图像中的框线结构。

以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (3)

1.一种基于连通域分析和形态学操作的框线检测方法，其特征在于，包括如下步骤：

步骤S1、对读入的待检测图像先进行灰度化处理，而后对得到的灰度图像进行二值化处理，得到原图像的二值图像；

步骤S2、对步骤S1中得到的二值图像进行形态学膨胀操作，然后对膨胀操作后的二值图像进行连通域检测，最后将检测到的连通域内部进行填充，得到框线增强的图像；

步骤S3：对框线增强后的图像进行基于深度学习方法的图像去噪；

步骤S4：对经步骤S3处理后的图像分别定义两个不同的结构元素进行先腐蚀后膨胀的形态学操作，以分别得到表格图像的横纵框线，而后将得到的横纵框线进行交叉，最终得到完整的框线结构图；

所述步骤S1具体包括如下步骤：

步骤S11、读入三通道RGB彩色图像；

步骤S12、对读入图像的颜色空间进行转换，使之转换为只有单通道灰度图像，三通道RGB图像经过灰度化处理，变为单通道灰度图像的所用的公式为：

Y＝0.299×R+0.587×G+0.114×B

其中，其中Y代表亮度，即灰度值，R、G、B是图像中每一个像素的三个颜色分量；

步骤S13、选取阈值对单通道灰度图像进行处理，获得能反映出图像特征的二值图像，局部自适应阈值法的二值化阈值可变，像素的邻域块像素值的分布情况决定阈值的选取，图像进行二值化操作时，二值化阈值根据图像区域的特征自动调整，自适应阈值算法将灰度图像变换为二值图像所用的公式为：

其中，src(u,v)为原始值，dst(u,v)为输出值，T(u,v)为自适应阈值，max_value是自适应灰度值；

步骤S14、输出原图像对应的二值化图像；

所述步骤S2具体包括如下步骤：

步骤S21：将原图的二值化图像进行形态学膨胀操作，将图形A与核B卷积，计算核B覆盖的区域的像素点的最大值，并把这个最大值赋值给参考点指定的像素，膨胀操作公式为：

其中，Z和B是进行膨胀操作的两个结构元素，z是结构元素B平移的距离，B[z]是结构元素平移z后得到的点，φ是空集符号；

步骤S22、读入膨胀后的二值图像并进行扫描，当扫描到的像素点(i，j)是外边界或者孔边界时停止扫描，如果像素点(i，j)既是外边界又是孔边界时，将此像素点设置为外边界起始点，并且把最新发现的边界单独赋值并编号，边界的序列号称为NBD，根据给出的规则确定边界的母边界，从起始点开始跟踪已检测到的边界，扫描到最后一个像素点时结束；

步骤S23、将检测到的连通域内部用黑色像素进行填充；

所述步骤S3具体包括如下步骤：

步骤S31、收集高质量噪声图像数据，拍摄15个静态场景的训练图像，每个场景800张jpeg图像，并计算每个场景的平均图像，生成无噪音的地面真实图像，对于每个数据集，每个像素的协方差与其(R,G,B)值和8×8×4补丁信息一起输入模型，其中95％的图像数据用于训练，5％的图像数据用于验证；

步骤S32、通过多层感知器训练向量值输入层的非线性变换，输入层通过几个隐藏层映射到输出层，得到图像中的噪声分布情况，MLPs的定义式为：

x⁽ⁿ⁺¹⁾＝g(b⁽ⁿ⁾+W⁽ⁿ⁾x⁽ⁿ⁾)

其中，x⁽ⁿ⁺¹⁾是第n+1层到该层的值且x⁽ⁿ⁾是第n层到该层的值，x⁽¹⁾是输入层，W⁽ⁿ⁾是可训练权重，b⁽ⁿ⁾是可训练偏差，g是非线性激活函数；

步骤S33、根据得到的噪声分布情况，用贝叶斯非局部均值滤波器去除图像噪声，输出去除噪声之后的图像。

2.根据权利要求1所述的一种基于连通域分析和形态学操作的框线检测方法，其特征在于，所述步骤S4具体包括如下步骤：

步骤S41、提取表格横框线，形态学操作区域的width大于图像中字符等干扰项的横向线段的长度，height设置为1；提取表格竖框线，形态学操作区域的height大于图像中字符等干扰项的竖直线段的长度，width设置为1，同时根据读入的表格文档图像的分辨率动态地设置width和height：

检测横框线时，定义结构元素Hstructuring：

Hsize＝horimage.cols/scale1

Hstructuring＝getStructuringElement(MORPH_RECT,size(Hsize,1))

检测竖框线时，定义结构元素Vstructuring：

Vsize＝verimage.rows/scale2

Vstructuring＝getStructuringElement(MORPH_RECT,size(1,Vsize))

其中horimage.cols和verimage.rows分别为读入图像的行列值，scale1和scale2为整数，getStructuringElement()是内核矩阵函数，MORPH_RECT代表矩形，size(Hsize,1)和size(1,Vsize)表示内核尺寸；

步骤S42、用结构元素Hstructuring对图像先进行腐蚀操作再进行膨胀操作，完整地提取出每条横框线并去除图像中的字符等干扰项；

步骤S43、用结构元素Vstructuring对图像先进行腐蚀操作再进行膨胀操作，完整地提取出每条纵框线并去除图像中的字符等干扰项；

步骤S44、NPcanny边缘检测器根据输入图像的梯度大小，自适应地调整canny操作的高低阈值，从输入图像中提取边缘映射的同时，保证图像结构信息的完整性，然后从梯度幅度最大的边缘像素开始，在边缘地图上收集具有方向控制的像素，将线段向两个方向扩展，收集更多的边缘像素，并与周围的其他共线线段合并，对漏检的线段进行二次检测和补充提取；

步骤S45、采用基于赫尔姆霍兹原理的线段验证方法，对检测到的直线进行验证；

步骤S46、将得到的横纵框线交叉，得到完整的框线结构图。

3.根据权利要求2所述的一种基于连通域分析和形态学操作的框线检测方法，其特征在于，所述步骤S41中，scale1和scale2的值分别设为2和26。

Images