CN112330659A - 结合lsd直线检测和连通域标记法的几何公差符号分割方法 - Google Patents

Abstract

本发明公开了一种结合LSD直线检测和连通域标记法的几何公差符号分割方法，该方法包括采集几何公差标注块图像并进行图像预处理，对预处理后图像中的几何公差框进行定位，对定位得到的几何公差框的上下框线进行去除处理，采用LSD直线检测和连通域标记法对几何公差标注块图像中的几何公差符号进行分割。本发明首先对几何公差标注块图像进行图像预处理，以减少图像中的干扰，再使用深度学习目标检测方法对几何公差标注块进行定位，然后去除几何公差框的上下框线，最后利用LSD直线检测和连通域标记法对几何公差框进行分割，提取出几何公差符号，解决了现有技术中存在的几何公差定位不准确、几何公差符号分割空白的问题，实现了几何公差符号的准确分割。

Description

结合LSD直线检测和连通域标记法的几何公差符号分割方法

技术领域

本发明涉及几何公差符号机器视觉识别技术领域，具体涉及一种结合深度学习网络、LSD直线检测和连通域标记法的几何公差符号分割方法。

背景技术

在机械产品图纸中，几何公差符号可以直观地表达出生产成本与机械零件质量的平衡，因此几何公差符号是机械工程中使用的一种基础符号语言。几何公差符号是一组带有预定义属性和特定语义信息的符号，通常由工程师手工构造，由于缺乏相关的领域知识，会导致许多普通工人难以完全正确解读设计图样上的几何公差符号。其次，以前由手工构造的机械工程图纸仍是无数前辈们留下来的宝贵财富，如何实现机械工程图纸的自动数字化处理、计算机化管理与智能识别是一个亟待解决的问题。

冯奂根据几何公差符号的构造特点和具有标注字符这一重要特征，提出一种基于关键图形特征和标注字符相结合的几何公差符号识别算法。该算法首先确定一个关键元素，然后由关键元素引导，逐步搜索其他构成元素，最后再由几何公差内部的字符信息对识别结果的有效性进行验证。该方法没有考虑机械工程标注图线对其的干扰，且只是简单地将几何公差从图像中定位出来，并没有对几何公差符号标注块进行提取与分割处理。

发明内容

针对现有技术中的上述不足，本发明提供了一种结合LSD直线检测和连通域标记法的几何公差符号分割方法。

为了达到上述发明目的，本发明采用的技术方案为：

一种结合LSD直线检测和连通域标记法的几何公差符号分割方法，包括以下步骤：

S1、采集几何公差标注块图像并进行图像预处理；

S2、采用深度学习目标检测方法对步骤S1预处理后图像中的几何公差框进行定位；

S3、对步骤S2定位得到的几何公差框的上下框线进行去除处理；

S4、采用LSD直线检测和连通域标记法对步骤S3处理后的几何公差标注块图像中的几何公差符号进行分割。

本方案的有益效果是：本发明首先对几何公差标注块图像进行图像预处理，以减少图像中的干扰，再使用深度学习目标检测方法对几何公差标注块进行定位，然后去除几何公差框的上下框线，最后利用LSD直线检测和连通域标记法对几何公差框进行分割，提取出其中的几何公差符号，解决了现有技术中存在的几何公差定位不准确、几何公差符号分割空白的问题，实现了几何公差符号的准确分割。

进一步地，所述步骤S1采用形态学操作对几何公差标注块图像进行图像预处理，具体包括：

在水平方向和竖直方向进行第一个数像素的闭运算，再进行第二个数像素的开运算，最后再进行第三个数和第四个数像素的开运算；

其中开运算为先进行腐蚀操作，后进行膨胀操作；闭运算为先进行膨胀操作，再进行腐蚀操作。

该进一步方案的有益效果是：能够有效去除几何公差标注块图像中标注线的干扰，为后续几何公差符号的提取提供数据基础。

进一步地，所述步骤S2具体包括：

采用深度学习网络YOLOv3对步骤S1预处理后图像中的几何公差框进行定位，首先采用416×416的图像作为模型的训练数据；然后在中间层主干网络采用YOLOv3的深度卷积神经网络Darknet-53，其包括52个卷积层和1个全连接层，各卷积层之间采用残差进行跳层连接，并采用卷积层进行下采样，其中52个卷积层用于进行图像特征提取，即采用13×13、26×26、52×52三种不同尺寸的特征图提取几何公差框特征，最后输出层输出每个预测为几何公差框的特征，在3条预测支路上采用步长为2的上采样提取深层特征，并与特征层进行融合，在多个scale的feature map上检测几何公差框的特征。

该进一步方案的有益效果是：利用YOLOv3对几何公差框进行定位，采用类似特征金字塔网络的上采样和融合方法，引入了多尺度预测，在网络预测的最后某些层进行上采样拼接操作，能够更好地学习图像特征，对于小目标的检测效果明显提升。

进一步地，所述步骤S3具体包括以下分步骤：

S31、对步骤S2定位得到的几何公差框的上下框线进行霍夫直线检测，检测得到几何公差框的上下框线；

S32、对步骤S31检测得到几何公差框的上下框线进行去除处理。

进一步地，所述步骤S32具体包括：

将步骤S31检测后的几何公差标注块图像转换到HSV颜色空间，提取步骤S31检测的标记部分，制作图像掩膜，将图像掩膜与步骤S2定位得到的几何公差框图像进行相与操作，得到去除上下框线的几何公差标注块图像。

该进一步方案的有益效果是：使用霍夫直线检测，能够较好地检测出几何公差框的上下框线，利用掩膜去除上下框线，使得图像分割时能够得到一个标准的符号。

进一步地，所述步骤S4具体包括以下分步骤：

S41、采用LSD直线检测方法提取几何公差框内框线的像素点位置对几何公差标注块图像进行粗分割；

S42、采用连通域标记法对步骤S41粗分割后的几何公差标注块图像的像素序列进行标记，分割得到几何公差符号。

该进一步方案的有益效果是：能够解决几何公差符号分割不当的问题，得到单个的几何公差符号。

进一步地，所述步骤S41具体包括：

首先计算图像中每个像素点的梯度大小和方向，然后将梯度方向变化小于设定阈值且相邻的点作为一个连通域，再根据每一个域的矩形度判断是否需要按照设定规则将其断开以形成多个矩形度较大的域，最后对生成的所有的域进行筛选，保留其中满足设定条件的域，获得最终的直线检测结果；

根据直线检测结果提取行方向上设定颜色像素点位置，得到几何公差框内框线的像素点位置对几何公差标注块图像进行粗分割。

该进一步方案的有益效果是：能够对几何公差框进行粗分割，按照几何公差框线得到一个初步的分割结果。

进一步地，所述步骤S42具体包括：

对步骤S3处理后的几何公差标注块图像的二值图像进行逐行扫描，将每一行中连续像素为0的像素点组成一个序列，作为一个集合，并记下起点和终点以及行号；若每一行中所有的集合与上一行一个集合有重合区域，则将上一行的标号赋给该集合；若每一行中所有的集合与上一行2个以上的集合有重叠区域，则对该集合赋一个相连集合的最小标号，并将上一行的这几个集合写入等价对，将等价对转换为等价序列，并对每一个序列标记一个相同的标号；从1开始，对每个等价序列标记一个标号，遍历每个集合的标记，查找等价序列，标记新的标记，得到对应的连通域对几何公差符号进行分割。

该进一步方案的有益效果是：能够对前面得到的粗分割结果进行细化，对同一框格内的几何公差符号进行分割。

附图说明

图1为本发明结合LSD直线检测和连通域标记法的几何公差符号分割方法流程示意图；

图2为本发明实施例中几何公差标注块示意图；

图3为本发明实施例中闭运算结果示意图；

图4为本发明实施例中开运算结果示意图；

图5为本发明实施例中定位结果示意图；

图6为本发明实施例中YOLOv3网络结构示意图；

图7为本发明实施例中几何公差标注框霍夫直线检测示意图；

图8为本发明实施例中去除上下框线的几何公差标注块示意图；

图9为本发明实施例中LSD直线检测示意图；

图10为本发明实施例中连通域标记法示意图；

图11为本发明实施例中分割得到的几何公差符号示意图。

具体实施方式

下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

参照图1，本发明实施例提供了一种结合LSD直线检测和连通域标记法的几何公差符号分割方法，包括以下步骤S1至S4：

S1、采集几何公差标注块图像并进行图像预处理；

本实施例中，本发明从机械工程图纸中采集几何公差标注块图像数据集，并将其大小统一为长为300，宽为150的图片，如图2所示。

针对采集到几何公差标注块图像中存在许多标注线的干扰，会影响后续准确定位出几何公差框，因此本发明对几何公差标注块图像进行图像预处理。具体而言，本发明采用形态学操作对几何公差标注块图像进行图像预处理，具体包括：

在水平方向和竖直方向进行第一个数像素的闭运算，再进行第二个数像素的开运算，最后再进行第三个数和第四个数像素的开运算；例如在水平方向和竖直方向进行20个像素的闭运算，其结果如图3所示，其次进行5,5个像素的开运算，最后再进行10,20个像素的开运算，其结果如图4所示。

其中开运算为先进行腐蚀操作，后进行膨胀操作，可以消除细小的噪声区域，使大物体边缘变得平滑；闭运算为先进行膨胀操作，再进行腐蚀操作，从而填补物体的细小空洞，使邻近区域相连。

膨胀是使物体边界向外扩展，可以通过膨胀操作连接两个比较近的区域，也可以去掉物体内部细小的空洞，其定义为

其含义为，二值图像R是N腐蚀M后产生的，它是满足以下条件的点(p,q)的集合：如果N的原点平移到点(p,q)，那么它与M的交集非空。

腐蚀可以使边界向内收敛，消除二值化图像中的边界点，也可以用来消除小的噪声点，其定义为

其含义为，二值图像H是N腐蚀M后产生的，它是满足以下条件的点(p,q)的集合：如果N的原点平移到点(p,q)，那么N将完全包含与M中。

S2、采用深度学习目标检测方法对步骤S1预处理后图像中的几何公差框进行定位；

本实施例中，由于一个几何公差框内由多个几何公差符号组成，且其格式、大小不固定、内容多样，且机械工程图纸上的一些标注会对图像预处理结果造成较大的影响，无法做到仅仅依靠图像预处理定位出准确的几何公差框位置。因此本发明采用深度学习网络YOLOv3对步骤S1预处理后图像中的几何公差框进行定位，首先采用416×416的图像作为模型的训练数据；然后在中间层主干网络采用YOLOv3的深度卷积神经网络Darknet-53，其包括52个卷积层和1个全连接层，各卷积层之间采用残差进行跳层连接，并且为了降低池化带来的梯度负面效果直接舍弃池化层而采用卷积层的stride进行下采样，YOLOv3的网络结构如图6所示，其中52个卷积层用于进行图像特征提取，即采用13×13、26×26、52×52三种不同尺寸的特征图提取几何公差框特征，13×13的小特征图可以检测在图片中占据位置比较大的几何公差框特征，而52×52的大特征图可以检测到在图片中占据位置比较小的几何公差框特征，采用这种多尺寸的特征图能够增强模型的普适性和准确性；最后输出层输出每个预测为几何公差框的特征，为了加强对小目标检测的精确度，在3条预测支路上采用步长为2的上采样提取深层特征，并与特征层进行融合，在多个scale的feature map上检测几何公差框的特征。

其中输出层进行的三次检测分别是在32倍降采样，16倍降采样，8倍降采样时进行检测。在网络中使用up-sample(上采样)的原因是网络越深的特征表达效果越好，比如在进行16倍降采样检测，如果直接使用第四次下采样的特征来检测，这样就使用了浅层特征，这样效果一般并不好。如果想使用32倍降采样后的特征，但深层特征的大小太小，因此使用了YOLOv3的步长为2的up-sample(上采样)，把32倍降采样得到的feature map的大小提升一倍，也就成了16倍降采样后的维度。同理8倍采样也是对16倍降采样的特征进行步长为2的上采样，这样就可以使用深层特征进行detection。通过上采样将深层特征提取，其维度是与将要融合的特征层维度相同的(channel不同)。85层将13×13×256的特征上采样得到26×26×256，再将其与61层的特征拼接起来得到26×26×768。为了得到channel255，还需要进行一系列的3×3，1×1卷积操作，这样既可以提高非线性程度，增加泛化性能，提高网络精度，又能减少参数提高实时性。52×52×255的特征也是类似的过程。

几何公差框定位效果如图5所示，虚线框部分为正确定位部分，粗线矩形框部分为不满足面积和长宽比的部分。本发明通过两次筛选能够较好地保证准确定位出几何公差框。

S3、对步骤S2定位得到的几何公差框的上下框线进行去除处理；

本实施例中，步骤S3具体包括以下分步骤：

S31、对步骤S2定位得到的几何公差框的上下框线进行霍夫直线检测，检测得到几何公差框的上下框线；

本发明采用霍夫直线检测，将几何公差框的上下框线进行标记，如图7所示，用黑色粗实线表示。

S32、对步骤S31检测得到几何公差框的上下框线进行去除处理。

本发明将步骤S31检测后的几何公差标注块图像转换到HSV颜色空间，提取步骤S31检测的标记部分，制作图像掩膜，将图像掩膜与步骤S2定位得到的几何公差框图像进行相与操作，得到去除上下框线的几何公差标注块图像，如图8所示。

S4、采用LSD直线检测和连通域标记法对步骤S3处理后的几何公差标注块图像中的几何公差符号进行分割。

本实施例中，在定位几何公差框后，由于并不知道几何公差框内几何公差符号的数量以及它们的相对位置关系，所以无法准确地对其进行符号分割。本发明为了解决这一技术问题，采用LSD直线检测和连通域标记法对步骤S3处理后的几何公差标注块图像中的几何公差符号进行分割，具体包括以下分步骤：

S41、采用LSD直线检测方法提取几何公差框内框线的像素点位置对几何公差标注块图像进行粗分割；

由于几何公差标注本身的特性，有多条垂直的竖线，因此本发明采用LSD直线检测方法对其进行分割，首先计算图像中每个像素点的梯度大小和方向，然后将梯度方向变化小于设定阈值且相邻的点作为一个连通域，再根据每一个域的矩形度判断是否需要按照设定规则将其断开以形成多个矩形度较大的域，最后对生成的所有的域进行筛选，保留其中满足设定条件的域，获得最终的直线检测结果；

根据直线检测结果提取行方向上设定颜色像素点位置，得到几何公差框内框线的像素点位置对几何公差标注块图像进行粗分割。LSD直线检测如图9所示，通过在行方向上统计设定颜色像素点位置，就能得到几何公差框内框线的像素点位置。

S42、采用连通域标记法对步骤S41粗分割后的几何公差标注块图像的像素序列进行标记，分割得到几何公差符号。

由于有的几何公差框格内可能有多个几何公差符号，LSD直线检测得到几何公差框里面的框线像素点位置只能做到对几何公差标注块图像进行粗分割，因此本发明采用连通域标记法对步骤S41粗分割后的几何公差标注块图像进行二次分割。

连通是指对于集合中的任意两个点，它们之间都存在完全属于该集合的连通路径。对于图像来说，连通分为4连通和8连通。4连通即是从区域内某一像素点开始，在区域中四个方向(上、下、左、右)上进行移动，之后到达区域内的任意像素点位置；8连通即是从区域中的某一像素点开始，经过在该区域中八个方向(上、下、左、右、左上、左下、右上、右下)上的移动，进而访问到该区域内的任意像素点位置，即

式中，像素点dq(i,j)的上、下、左、右四个相邻的像素点分别为tt(i-1,j),bb(i+1,j),ll(i,j-1),rr(i,j+1)；像素点dq(i,j)的上、下、左、右、左上、左下、右上、右下这八个相邻的像素点分别为：

tt(i-1,j),bb(i+1,j),ll(i,j-1),rr(i,j+1),lt(i-1,j-1),rt(i-1,j+1),lb(i+1,j-1),rb(i+1,j+1)。

本发明采用连通域标记法首先对步骤S3处理后的几何公差标注块图像的二值图像进行逐行扫描，将每一行中连续像素为0的像素点组成一个序列，作为一个集合，并记下起点和终点以及行号；若每一行中所有的集合与上一行一个集合有重合区域，则将上一行的标号赋给该集合；若每一行中所有的集合与上一行2个以上的集合有重叠区域，则对该集合赋一个相连集合的最小标号，并将上一行的这几个集合写入等价对，将等价对转换为等价序列，并对每一个序列标记一个相同的标号；从1开始，对每个等价序列标记一个标号，遍历每个集合的标记，查找等价序列，标记新的标记，每种不同颜色表示一个连通域，从而得到对应的连通域对几何公差符号进行分割，如图10和11所示。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (8)

1.一种结合LSD直线检测和连通域标记法的几何公差符号分割方法，其特征在于，包括以下步骤：

S1、采集几何公差标注块图像并进行图像预处理；

S2、采用深度学习目标检测方法对步骤S1预处理后图像中的几何公差框进行定位；

S3、对步骤S2定位得到的几何公差框的上下框线进行去除处理；

S4、采用LSD直线检测和连通域标记法对步骤S3处理后的几何公差标注块图像中的几何公差符号进行分割。

2.根据权利要求1所述的结合LSD直线检测和连通域标记法的几何公差符号分割方法，其特征在于，所述步骤S1采用形态学操作对几何公差标注块图像进行图像预处理，具体包括：

在水平方向和竖直方向进行第一个数像素的闭运算，再进行第二个数像素的开运算，最后再进行第三个数和第四个数像素的开运算；

其中开运算为先进行腐蚀操作，后进行膨胀操作；闭运算为先进行膨胀操作，再进行腐蚀操作。

3.根据权利要求2所述的结合LSD直线检测和连通域标记法的几何公差符号分割方法，其特征在于，所述步骤S2具体包括：

采用深度学习网络YOLOv3对步骤S1预处理后图像中的几何公差框进行定位，首先采用416×416的图像作为模型的训练数据；然后在中间层主干网络采用YOLOv3的深度卷积神经网络Darknet-53，其包括52个卷积层和1个全连接层，各卷积层之间采用残差进行跳层连接，并采用卷积层进行下采样，其中52个卷积层用于进行图像特征提取，即采用13×13、26×26、52×52三种不同尺寸的特征图提取几何公差框特征，最后输出层输出每个预测为几何公差框的特征，在3条预测支路上采用步长为2的上采样提取深层特征，并与特征层进行融合，在多个scale的feature map上检测几何公差框的特征。

4.根据权利要求3所述的结合LSD直线检测和连通域标记法的几何公差符号分割方法，其特征在于，所述步骤S3具体包括以下分步骤：

S31、对步骤S2定位得到的几何公差框的上下框线进行霍夫直线检测，检测得到几何公差框的上下框线；

S32、对步骤S31检测得到几何公差框的上下框线进行去除处理。

5.根据权利要求4所述的结合LSD直线检测和连通域标记法的几何公差符号分割方法，其特征在于，所述步骤S32具体包括：

将步骤S31检测后的几何公差标注块图像转换到HSV颜色空间，提取步骤S31检测的标记部分，制作图像掩膜，将图像掩膜与步骤S2定位得到的几何公差框图像进行相与操作，得到去除上下框线的几何公差标注块图像。

6.根据权利要求5所述的结合LSD直线检测和连通域标记法的几何公差符号分割方法，其特征在于，所述步骤S4具体包括以下分步骤：

S41、采用LSD直线检测方法提取几何公差框内框线的像素点位置对几何公差标注块图像进行粗分割；

S42、采用连通域标记法对步骤S41粗分割后的几何公差标注块图像的像素序列进行标记，分割得到几何公差符号。

7.根据权利要求6所述的结合LSD直线检测和连通域标记法的几何公差符号分割方法，其特征在于，所述步骤S41具体包括：

首先计算图像中每个像素点的梯度大小和方向，然后将梯度方向变化小于设定阈值且相邻的点作为一个连通域，再根据每一个域的矩形度判断是否需要按照设定规则将其断开以形成多个矩形度较大的域，最后对生成的所有的域进行筛选，保留其中满足设定条件的域，获得最终的直线检测结果；

根据直线检测结果提取行方向上设定颜色像素点位置，得到几何公差框内框线的像素点位置对几何公差标注块图像进行粗分割。

8.根据权利要求7所述的结合LSD直线检测和连通域标记法的几何公差符号分割方法，其特征在于，所述步骤S42具体包括：

对步骤S3处理后的几何公差标注块图像的二值图像进行逐行扫描，将每一行中连续像素为0的像素点组成一个序列，作为一个集合，并记下起点和终点以及行号；若每一行中所有的集合与上一行一个集合有重合区域，则将上一行的标号赋给该集合；若每一行中所有的集合与上一行2个以上的集合有重叠区域，则对该集合赋一个相连集合的最小标号，并将上一行的这几个集合写入等价对，将等价对转换为等价序列，并对每一个序列标记一个相同的标号；从1开始，对每个等价序列标记一个标号，遍历每个集合的标记，查找等价序列，标记新的标记，得到对应的连通域对几何公差符号进行分割。

Images