CN116168208A - 绘图线的提取方法和装置 - Google Patents

Abstract

本发明提供了一种绘图线的提取方法和装置，其中，可以获取待处理的图像；对图像进行二值化处理，得到二值化图像；对二值化图像进行直线检测，得到所述二值化图像的线段集合；对线段集合执行第一操作，以获得插值处理得到的各个目标线段，在执行第一操作的次数未到达预设的次数阈值的情况下，将当前执行第一操作得到的各个目标线段组成新的线段集合，并对新的线段集合重新执行第一操作，直至执行第一操作的次数到达预设的次数阈值；将最后一次执行第一操作得到的目标线段作为所述图像的绘图线。应用本发明提供的绘图线的提取方法，能够精准的提取出图像的绘图线。

Description

绘图线的提取方法和装置

技术领域

本发明涉及图像处理技术领域，特别涉及一种绘图线的提取方法和装置。

背景技术

在工业控制领域中，为实现生产过程可视化、数字化，往往需要绘制相应工况的组态流程图。其中，部分生产流程的场景往往比较类似，重复绘制该部分的组态流程图会增加不必要的人工成本。

针对这一问题，在实际应用中往往通过复用组态文件来降低人工成本。然而由于各个工厂所使用的系统差异较大，所对应的组态文件格式也各有不同，难以重复利用组态流程图文件。

因此，目前通常使用机器视觉的方法对图片中的直线进行提取，进而可以直接生成相应的流程图。然而，由于组态流程图的复杂性，仅仅使用机器视觉中的直线提取方法，容易受图像噪声、线条粗细等因素导致提取到的直线精度低。

发明内容

本发明所要解决的技术问题是提供一种绘图线的提取方法，能够精准的提取出图像的绘图线。

本发明还提供了一种绘图线的提取装置，用以保证上述方法在实际中的实现及应用。

一种绘图线的提取方法，包括：

获取待处理的图像；

对所述图像进行二值化处理，得到二值化图像；

对所述二值化图像进行直线检测，得到所述二值化图像的线段集合；

对所述线段集合执行第一操作；

所述第一操作，包括：在所述线段集合中的各个线段中选取出基准线段；确定所述线段集合中是否存在所述基准线段对应的候选线段；在所述线段集合中存在所述基准线段对应的候选线段的情况下，对所述基准线段以及候选线段进行标记，并通过各个候选线段对所述基准线段进行插值处理，得到所述基准线段对应的目标线段；检测所述线段集合中是否存在未标记的线段；若所述线段集合中存在未标记的线段，则在所述未标记的线段中重新选取出基准线段，以获得该基准线段对应的目标线段，直至所述线段集合中的所有线段均已被标记；

在执行所述第一操作的次数未到达预设的次数阈值的情况下，将当前执行所述第一操作得到的各个所述目标线段组成新的线段集合，并对所述新的线段集合重新执行所述第一操作，直至执行第一操作的次数到达预设的次数阈值；

将最后一次执行所述第一操作得到的目标线段作为所述图像的绘图线。

上述的方法，可选的，所述确定所述线段集合中是否存在所述基准线对应的候选线段，包括：

获取所述基准线与所述线段集合中除该基准线以外的每一未标记的线段的关系参数；所述关系参数包括所述基准线与线段之间的夹角、所述基准线的中点与线段之间的距离和所述基准线的中点与线段的垂足；

根据所述基准线与所述线段集合中除所述基准线以外的每一未标记的线段的关系参数，确定所述线段集合中是否存在所述基准线对应的候选线段；

对于每一未标记的线段，若所述线段与基准线的夹角处于预设的角度范围内、所述线段到所述基准线的中点的距离处于预设的距离范围内且所述基准线的中点与所述线段的垂足处于预设的位置范围内，则确定所述线段为所述基准线对应的候选线段，否则，确定所述线段不为所述基准线段对应的候选线段。

上述的方法，可选的，所述通过各个候选线段对所述基准线段进行插值处理，得到所述基准线段对应的目标线段，包括：

确定所述基准线的中点与各个所述候选线段的垂足的平均坐标点，以及以及各个所述候选线段的平均角度；

依据所述平均坐标点和所述平均角度，确定目标直线的直线方程；

基于所述平均角度确定所述目标直线的类型；

若所述目标直线的类型为第一类型，则按各个所述候选线段的端点的纵坐标由小至大的顺序对各个所述端点进行排序；若排序后的前两个端点的纵坐标的距离大于或等于预设的第一距离阈值，则将排序后的首个端点的纵坐标作为起点纵坐标；若所述前两个端点的纵坐标小于所述第一距离阈值，则将所述前两个端点的纵坐标的平均值作为起点纵坐标；若排序后的后两个端点的纵坐标的距离大于或等于预设的第二距离阈值，则将排序后的最后一个端点的纵坐标作为终点纵坐标；若所述后两个端点的纵坐标的距离小于所述第二距离阈值，则将所述后两个端点的纵坐标的平均值作为终点纵坐标；将已获得的所述起点纵坐标和所述终点纵坐标分别代入所述直线方程，得到起点横坐标和终点横坐标；根据所述起点横坐标、起点纵坐标、终点横坐标和终点纵坐标确定所述基准线段对应的目标线段；

若所述目标直线为第二类型，则按各个所述候选线段的端点的横坐标由小至大的顺序对各个所述端点进行排序；若排序后的前两个端点的横坐标的距离大于或等于预设的第三距离阈值，则将排序后的首个端点的横坐标作为起点横坐标；若所述前两个端点的横坐标小于所述第三距离阈值，则将所述前两个端点的横坐标的平均值作为起点横坐标；若排序后的后两个端点的横坐标的距离大于或等于预设的第四距离阈值，则将排序后的最后一个端点的横坐标作为终点横坐标；若所述后两个端点的横坐标的距离小于所述第四距离阈值，则将所述后两个端点的横坐标的平均值作为终点横坐标；将已获得的所述起点横坐标和所述终点横坐标分别代入所述直线方程，得到起点纵坐标和终点纵坐标；根据所述起点横坐标、起点纵坐标、终点横坐标和终点纵坐标确定所述基准线段对应的目标线段。

上述的方法，可选的，所述将最后一次执行所述第一操作得到的目标线段作为所述图像的绘图线之后，还包括：

确定各个所述绘图线是否满足预设的水平微调条件和垂直微调条件；

对于满足所述垂直微调条件的绘图线，计算所述绘图线的起点横坐标和终点横坐标的横坐标平均值；将所述横坐标平均值作为所述绘图线的新的起点横坐标和新的终点横坐标；

对于满足所述水平微调条件的绘图线，计算所述绘图线的起点纵坐标和终点纵坐标的纵坐标平均值，将所述纵坐标平均值作为所述绘图线的新的起点纵坐标和新的终点纵坐标。

上述的方法，可选的，所述将最后一次执行所述第一操作得到的目标线段作为所述图像的绘图线之后，还包括：

响应于图像绘制指令，利用所述绘图线进行绘图。

一种绘图线的提取装置，包括：

获取单元，用于获取待处理的图像；

二值化处理单元，用于对所述图像进行二值化处理，得到二值化图像；

直线检测单元，用于对所述二值化图像进行直线检测，得到所述二值化图像的线段集合；

第一执行单元，用于对所述线段集合执行第一操作；所述第一操作，包括：在所述线段集合中的各个线段中选取出基准线段；确定所述线段集合中是否存在所述基准线段对应的候选线段；在所述线段集合中存在所述基准线段对应的候选线段的情况下，对所述基准线段以及候选线段进行标记，并通过各个候选线段对所述基准线段进行插值处理，得到所述基准线段对应的目标线段；检测所述线段集合中是否存在未标记的线段；若所述线段集合中存在未标记的线段，则在所述未标记的线段中重新选取出基准线段，以获得该基准线段对应的目标线段，直至所述线段集合中的所有线段均已被标记；

第二执行单元，用于在执行所述第一操作的次数未到达预设的次数阈值的情况下，将当前执行所述第一操作得到的各个所述目标线段组成新的线段集合，并对所述新的线段集合重新执行所述第一操作，直至执行第一操作的次数到达预设的次数阈值；

第三执行单元，用于将最后一次执行所述第一操作得到的目标线段作为所述图像的绘图线。

上述的装置，可选的，所述第一执行单元，包括：

获取子单元，用于获取所述基准线与所述线段集合中除该基准线以外的每一未标记的线段的关系参数；所述关系参数包括所述基准线与线段之间的夹角、所述基准线的中点与线段之间的距离和所述基准线的中点与线段的垂足；

第一确定子单元，用于根据所述基准线与所述线段集合中除所述基准线以外的每一未标记的线段的关系参数，确定所述线段集合中是否存在所述基准线对应的候选线段；

第二确定子单元，用于对于每一未标记的线段，若所述线段与基准线的夹角处于预设的角度范围内、所述线段到所述基准线的中点的距离处于预设的距离范围内且所述基准线的中点与所述线段的垂足处于预设的位置范围内，则确定所述线段为所述基准线对应的候选线段，否则，确定所述线段不为所述基准线段对应的候选线段。

上述的装置，可选的，所述第一执行子单元，包括：

第三确定子单元，用于确定所述基准线的中点与各个所述候选线段的垂足的平均坐标点，以及以及各个所述候选线段的平均角度；

第四确定子单元，用于依据所述平均坐标点和所述平均角度，确定目标直线的直线方程；

第五确定子单元，用于基于所述平均角度确定所述目标直线的类型；

第六确定子单元，用于若所述目标直线的类型为第一类型，则按各个所述候选线段的端点的纵坐标由小至大的顺序对各个所述端点进行排序；若排序后的前两个端点的纵坐标的距离大于或等于预设的第一距离阈值，则将排序后的首个端点的纵坐标作为起点纵坐标；若所述前两个端点的纵坐标小于所述第一距离阈值，则将所述前两个端点的纵坐标的平均值作为起点纵坐标；若排序后的后两个端点的纵坐标的距离大于或等于预设的第二距离阈值，则将排序后的最后一个端点的纵坐标作为终点纵坐标；若所述后两个端点的纵坐标的距离小于所述第二距离阈值，则将所述后两个端点的纵坐标的平均值作为终点纵坐标；将已获得的所述起点纵坐标和所述终点纵坐标分别代入所述直线方程，得到起点横坐标和终点横坐标；根据所述起点横坐标、起点纵坐标、终点横坐标和终点纵坐标确定所述基准线段对应的目标线段；

第七确定子单元，用于若所述目标直线为第二类型，则按各个所述候选线段的端点的横坐标由小至大的顺序对各个所述端点进行排序；若排序后的前两个端点的横坐标的距离大于或等于预设的第三距离阈值，则将排序后的首个端点的横坐标作为起点横坐标；若所述前两个端点的横坐标小于所述第三距离阈值，则将所述前两个端点的横坐标的平均值作为起点横坐标；若排序后的后两个端点的横坐标的距离大于或等于预设的第四距离阈值，则将排序后的最后一个端点的横坐标作为终点横坐标；若所述后两个端点的横坐标的距离小于所述第四距离阈值，则将所述后两个端点的横坐标的平均值作为终点横坐标；将已获得的所述起点横坐标和所述终点横坐标分别代入所述直线方程，得到起点纵坐标和终点纵坐标；根据所述起点横坐标、起点纵坐标、终点横坐标和终点纵坐标确定所述基准线段对应的目标线段。

上述的装置，可选的，还包括：

确定单元，用于确定各个所述绘图线是否满足预设的水平微调条件和垂直微调条件；

第一调整单元，用于对于满足所述垂直微调条件的绘图线，计算所述绘图线的起点横坐标和终点横坐标的横坐标平均值；将所述横坐标平均值作为所述绘图线的新的起点横坐标和新的终点横坐标；

第二调整单元，用于对于满足所述水平微调条件的绘图线，计算所述绘图线的起点纵坐标和终点纵坐标的纵坐标平均值，将所述纵坐标平均值作为所述绘图线的新的起点纵坐标和新的终点纵坐标。

上述的装置，可选的，还包括：

绘制单元，用于响应图像绘制指令，利用所述绘图线进行绘图。

与现有技术相比，本发明包括以下优点：

本发明提供了一种绘图线的提取方法和装置，其中，可以获取待处理的图像；对图像进行二值化处理，得到二值化图像；对二值化图像进行直线检测，得到所述二值化图像的线段集合；对线段集合执行第一操作；第一操作，包括：在线段集合中的各个线段中选取出基准线段；确定线段集合中是否存在基准线段对应的候选线段；在线段集合中存在基准线段对应的候选线段的情况下，对基准线段以及候选线段进行标记，并通过各个候选线段对基准线段进行插值处理，得到基准线段对应的目标线段；检测线段集合中是否存在未标记的线段；若线段集合中存在未标记的线段，则在未标记的线段中重新选取出基准线段，以获得该基准线段对应的目标线段，直至线段集合中的所有线段均已被标记；在执行第一操作的次数未到达预设的次数阈值的情况下，将当前执行第一操作得到的各个目标线段组成新的线段集合，并对新的线段集合重新执行第一操作，直至执行第一操作的次数到达预设的次数阈值；将最后一次执行第一操作得到的目标线段作为所述图像的绘图线。应用本发明提供的绘图线的提取方法，能够精准的提取出图像的绘图线，大大节省人工成本，提高了绘图线的复用性，从而提高了绘图效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明提供的一种绘图线的提取方法的方法流程图；

图2为本发明提供的一种确定线段集合中是否存在基准线对应的候选线段的过程的流程图；

图3为本发明提供的一种直线插值的一示例图；

图4为本发明提供的一种直线插值的又一示例图；

图5为本发明提供的一种提取工业组态流程图的绘图线的流程示意图；

图6为本发明提供的一种基于邻域空间关系的直线插值过程的流程图；

图7为本发明提供的一种绘图线的提取装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前，通过机器视觉的方法对图片中的直线进行提取，进而可以直接生成相应的流程图，大大节省人工成本，提高其复用性由于组态流程图的复杂性。

然而，仅仅使用机器视觉中最基本的直线提取方法难以获得理想的效果。主要表现在以下几个方面：1)线条颜色类型不一致，最基本的阈值二值化方法会缺失部分直线。2)由于线条粗细的缘故，使得获取的直线为双侧边缘线而非所需的中心线。3)受噪声干扰，使得获取的部分直线不连续；4)受邻域像素影响，使得获取的水平、垂直直线略有倾斜。

基于此，本发明实施例提供了一种绘图线的提取方法，该方法可以应用电子设备中，电子设备可以为计算机终端或各种移动设备，所述方法的方法流程图如图1所示，具体包括：

S101：获取待处理的图像。

在本实施例中，该图像可以为各种类型的图像，例如，可以为工业控制领域的组态流程图。

S102：对图像进行二值化处理，得到二值化图像。

在本实施例中，对图像进行二值化处理的方式可以是将图像中的每一像素与该像素对应的像素阈值进行比较，若该像素大于该像素阈值，则可以将该像素设置为1，若该像素未大于该像素阈值，则可以将该像素设置为0，从而完成对该图像的二值化处理，得到二值化图像。其中，每个像素对应的像素阈值可以是该像素所处的预设尺寸的图像区域内的所有像素的均值。该图像区域可以根据滑窗确定。通过设置局部像素阈值的方式，可以避免因光照、阴影等影响图像而导致的二值化过程中直线丢失的情况，提升算法的稳定性。

S103：对二值化图像进行直线检测，得到二值化图像的线段集合。

在本实施例中，对二值化图像进行直线检测的一种可行的方式是，计算二值化图像中的每个像素点的梯度，从具有较大梯度的目标像素点(角点)开始，沿着该目标像素点的方向，将附近8邻域内与目标像素点方向相近(角度差小于预设的角度阈值)的像素加入到集合当中。确定包含该集合所有的点的最小外接矩形，计算矩阵主轴方向，若矩形内与矩形主轴方向相近(角度差小于角度阈值)的像素点个数所占总体个数的比例满足条件，则取其主轴端点作为线段的坐标。可选的，该角度阈值可以由技术人员依据实际需求设置为任意数值，例如，可以设置为22.5度。

其中，通过直线检测得到的线段集合中包括多个线段，各个线段处于未标记的状态。

S104：对线段集合执行第一操作。第一操作，包括：在线段集合中的各个线段中选取出基准线段；确定线段集合中是否存在基准线段对应的候选线段；在线段集合中存在基准线段对应的候选线段的情况下，对基准线段以及候选线段进行标记，并通过各个候选线段对基准线段进行插值处理，得到基准线段对应的目标线段；检测线段集合中是否存在未标记的线段；若线段集合中存在未标记的线段，则在未标记的线段中重新选取出基准线段，以获得该基准线段对应的目标线段，直至线段集合中的所有线段均已被标记。

在本实施例中，在线段集合中不存在基准线段对应的候选线段的情况下，可以对该基准线段进行标记，并将该基准线段作为目标线段。

S105：在执行第一操作的次数未到达预设的次数阈值的情况下，将当前执行第一操作得到的各个目标线段组成新的线段集合，并对新的线段集合重新执行第一操作，直至执行第一操作的次数到达预设的次数阈值。

在本实施例中，将当前执行第一操作后获得的各个目标线段组成新的线段集合后，返回对线段集合执行第一操作的步骤。

S106：将最后一次执行所述第一操作得到的目标线段作为所述图像的绘图线。

在本实施例中，可以应用该绘图线绘制图像，例如，可以用于绘制与所述待处理的图像的应用场景相同或相似的场景的组态流程图。

在一些实施例中，可以先对目标线段进行微调，再将微调后的目标线段作为图像的绘图线。

应用本发明提供的绘图线的提取方法，能够精准的提取出图像的绘图线，大大节省人工成本，提高了绘图线的复用性，从而提高了绘图效率。

在本发明实施例中，基于上述的实施过程，可选的，第一操作中的确定线段集合中是否存在所述基准线对应的候选线段的过程，如图2所示，具体包括：

S201：获取基准线与线段集合中除该基准线以外的每一未标记的线段的关系参数。其中，关系参数包括基准线与线段之间的夹角、基准线的中点与线段之间的距离和基准线的中点与线段的垂足中的至少一种。

在本实施例中，可以计算基准线与每一未标记的线段的夹角cosine、基准线的中点与每一未标记的线段之间的距离dist和基准线的中点与线段的垂足foot。

S202：根据所述基准线与所述线段集合中除所述基准线以外的每一未标记的线段的关系参数，确定所述线段集合中是否存在所述基准线对应的候选线段。

在本实施例中，根据基准线与每一未标记的线段的关系参数，确定各个未标记的线段中是否存在基准线对应的候选线段。

S203：对于每一未标记的线段，若该线段与基准线的夹角处于预设的角度范围内、该线段到基准线中点的距离处于预设的距离范围内且基准线的中点与该线段的垂足处于预设的位置范围内，则确定该线段为基准线对应的候选线段，否则，确定线段不为基准线段对应的候选线段。

在本实施例中，若该线段与基准线的夹角未处于预设的角度范围内、该线段到基准线的中点的距离未处于预设的距离范围内、或者基准线的中点与该线段的垂足未处于预设的位置范围内，确定该线段不为基准线段对应的候选线段。

可选的，将夹角cosine与预设的夹角阈值COS进行比较，若|cosine|>COS，则确定夹角处于预设的角度范围内，否则，确定夹角未处于预设的角度范围内，夹角阈值可以根据实际需求设置为任意数值，例如，可以为0.995。

可以将基准线的中点与线段之间的距离dist与预设的距离阈值DIST进行比较，若|dist|<DIST，则确定基准线的中点处于预设的距离范围内，否则，确定基准线的中点未处于预设的距离范围内，该距离阈值可以设置为10。

可以确定基准线的中点与该线段line的垂足foot是否处于线段line上，或者，是否靠近线段的两端，若foot∈line±Δ，则确定线段处于预设的位置范围内，否则，确定线段未处于预设的位置范围内，其中，通过设置Δ可以将断断续续的线列入候选线。

在本发明实施例中，基于上述的实施过程，可选的，第一操作中的通过各个候选线段对所述基准线段进行插值处理，得到所述基准线段对应的目标线段的过程，包括：

确定基准线的中点与各个候选线段的垂足的平均坐标点，以及各个候选线段的平均角度；

依据平均坐标点和平均角度，确定目标直线的直线方程；

基于平均角度确定目标直线的类型；

若目标直线的类型为第一类型，则按各个候选线段的端点的纵坐标由小至大的顺序对各个端点进行排序；若排序后的前两个端点的纵坐标的距离大于或等于预设的第一距离阈值，则将排序后的首个端点的纵坐标作为起点纵坐标；若前两个端点的纵坐标小于第一距离阈值，则将前两个端点的纵坐标的平均值作为起点纵坐标；若排序后的后两个端点的纵坐标的距离大于或等于预设的第二距离阈值，则将排序后的最后一个端点的纵坐标作为终点纵坐标；若后两个端点的纵坐标的距离小于第二距离阈值，则将后两个端点的纵坐标的平均值作为终点纵坐标；将已获得的起点纵坐标和终点纵坐标分别代入直线方程，得到起点横坐标和终点横坐标；根据起点横坐标、起点纵坐标、终点横坐标和终点纵坐标确定基准线段对应的目标线段；

若目标直线为第二类型，则按各个候选线段的端点的横坐标由小至大的顺序对各个端点进行排序；若排序后的前两个端点的横坐标的距离大于或等于预设的第三距离阈值，则将排序后的首个端点的横坐标作为起点横坐标；若前两个端点的横坐标小于第三距离阈值，则将前两个端点的横坐标的平均值作为起点横坐标；若排序后的后两个端点的横坐标的距离大于或等于预设的第四距离阈值，则将排序后的最后一个端点的横坐标作为终点横坐标；若后两个端点的横坐标的距离小于第四距离阈值，则将后两个端点的横坐标的平均值作为终点横坐标；将已获得的起点横坐标和终点横坐标分别代入直线方程，得到起点纵坐标和终点纵坐标；根据起点横坐标、起点纵坐标、终点横坐标和终点纵坐标确定基准线段对应的目标线段。

在本实施例中，每一候选线段均有一个角度，对各个候选线段的角度进行求平均，可以得到各个候选线段的平均角度θ，若

则可以确定目标直线为第一类型，若

则可以确定目标直线为第二类型。

可选的，第一距离阈值、第二距离阈值、第三距离阈值和第四距离阈值可以相同或不同。

具体的，可以将平均坐标点作为目标直线上的点，可以将平均角度作为目标直线的斜率，确定目标直线的直线方程。根据目标直线的斜率确定目标直线的类型，根据目标直线的类型确定出目标线段。

例如，在目标直线为第一类型的情况下，参见图3，L1和L3为候选线段，中间的L2为目标线段。P2和P4为L1的端点，P1和P3为L3的端点；在P1和P2的纵坐标的距离小于第一距离阈值的情况下，对P1的纵坐标和P2的纵坐标求平均，得到L2的起点纵坐标，在P3和P4的纵坐标小于第二距离阈值的情况下，对P3的纵坐标和P4的纵坐标进行求平均，得到L2的终点纵坐标，将起点纵坐标和终点纵坐标分别代入直线方程，可以得到L2的起点横坐标和终点横坐标，从而确定出目标线段L2。

在目标直线为第二类型的情况下，参见图4，在P1和P2的横坐标的距离小于第三距离阈值的情况下，对P1的横坐标和P2的横坐标求平均，得到L2的起点横坐标，在P3和P4的横坐标小于第四距离阈值的情况下，对P3的横坐标和P4的横坐标进行求平均，得到L2的终点横坐标，将起点横坐标和终点横坐标分别代入直线方程，可以得到L2的起点纵坐标和终点纵坐标，从而确定出目标线段L2。

在本发明实施例中，基于上述的实施过程，可选的，所述将最后一次执行所述第一操作得到的目标线段作为所述图像的绘图线之后，还包括：

确定各个所述绘图线是否满足预设的水平微调条件和垂直微调条件；

对于满足所述垂直微调条件的绘图线，计算所述绘图线的起点横坐标和终点横坐标的横坐标平均值；将所述横坐标平均值作为所述绘图线的新的起点横坐标和新的终点横坐标；

对于满足所述水平微调条件的绘图线，计算所述绘图线的起点纵坐标和终点纵坐标的纵坐标平均值，将所述纵坐标平均值作为所述绘图线的新的起点纵坐标和新的终点纵坐标。

在本实施例中，可以确定各个绘图线的角度θ₁，若|θ₁-90|≤N，则可以确定绘图线满足垂直微调条件，可以将绘图线的横坐标取平均作为起始、终止点的横坐标，纵坐标不变；若|θ₁|≤N，则可以确定绘图线满足水平微调条件，可以将纵坐标取平均作为起始、终止点的纵坐标，横坐标不变，N可以为任意的值，例如可以为5。

在本发明实施例中，基于上述的实施过程，可选的，所述将最后一次执行所述第一操作得到的目标线段作为所述图像的绘图线之后，还包括：

响应于图像绘制指令，利用所述绘图线进行绘图。

本发明实施例提供的绘图线的提取方法，可以应用于各个领域之中，例如，可以应用于工业控制领域中，对工业组态流程图的绘图线提取，便于对相似场景下的组态流程图进行快速绘制。参见图5，为本发明实施例提供的一种提取工业组态流程图的绘图线的流程示意图，具体包括如下步骤：

步骤一，获取用户输入的流程图图像。

步骤二，对流程图图像基于自适应阈值的二值化预处理，得到二值化图像。

在本实施例中，由于直线的亮暗类型不同，本实施例使用了基于自适应阈值二值化预处理方法，通过局部均值的关系来确定阈值，使用像素与阈值的对比关系来实现二值化，从而克服不同亮度所带来的问题。

具体的，对二值化图像的每个像素，若该像素大于其周围给定尺寸滑窗区域内所有像素的均值，则设为1，否则为0；由于光照、阴影会影响图像全局的阈值，造成二值过程中丢失部分直线，使用局部阈值是为了降低光照、阴影等因素的影响，提升算法的稳定性。

步骤三，利用LSD算法对二值化图像进行直线检测。

在本实施例中，利用LSD算法可以快速检测图像中的直线段，通过合并像素形成局部轮廓，通过对这组轮廓外接矩形进行判断，最终得到一系列直线段的端点坐标。

步骤四，基于邻域空间关系的直线插值。

在本实施例中，基于邻域空间关系的直线插值的过程，可以参见图6，可以先由步骤三识别得到的各个直线组成直线集合，在直线集合中选取未被标记的基准线段的基准点，计算基准线段与直线集合中的未被标记的候选线的关系参数，即，候选线与基准线的夹角cosine、基准点到候选线的距离dist、基准点到候选线的垂足foot。根据关系参数选取出符合条件的候选线，并标记，然后将候选线坐标排序，并插值生成新的直线；若直线集合中存在未被标记的直线的情况下，可以重新在直线集合中选取基准线段，以插值生成新的直线；在直线集合中所有直线均已被标记的情况下，确定是否达到最大迭代次数，若未达到最大迭代次数，则根据新生成的直线组成新的直线集合，并在新的直线结合中重新选取基准线段，以插值生成新的直线。若已达到最大迭代次数，则将当前生成的新的直线作为绘图线。

步骤五，基于角度的直线微调。

在本实施例中，由于图像的离散性，使得在接近水平或者垂直方向上，插值所得的直线呈现锯齿状，因此进行加入基于角度的直线微调处理。对接近水平垂直的直线分别进行处理。

与图1所述的方法相对应，本发明实施例还提供了一种绘图线的提取装置，用于对图1中方法的具体实现，本发明实施例提供的绘图线的提取装置可以应用于电子设备中，其结构示意图如图7所示，具体包括：

获取单元701，用于获取待处理的图像；

二值化处理单元702，用于对所述图像进行二值化处理，得到二值化图像；

直线检测单元703，用于对所述二值化图像进行直线检测，得到所述二值化图像的线段集合；

第一执行单元704，用于对所述线段集合执行第一操作；所述第一操作，包括：在所述线段集合中的各个线段中选取出基准线段；确定所述线段集合中是否存在所述基准线段对应的候选线段；在所述线段集合中存在所述基准线段对应的候选线段的情况下，对所述基准线段以及候选线段进行标记，并通过各个候选线段对所述基准线段进行插值处理，得到所述基准线段对应的目标线段；检测所述线段集合中是否存在未标记的线段；若所述线段集合中存在未标记的线段，则在所述未标记的线段中重新选取出基准线段，以获得该基准线段对应的目标线段，直至所述线段集合中的所有线段均已被标记；

第二执行单元705，用于在执行所述第一操作的次数未到达预设的次数阈值的情况下，将当前执行所述第一操作得到的各个所述目标线段组成新的线段集合，并对所述新的线段集合重新执行所述第一操作，直至执行第一操作的次数到达预设的次数阈值；

第三执行单元706，用于将最后一次执行所述第一操作得到的目标线段作为所述图像的绘图线。

在本发明提供的一实施例中，基于上述的实施过程，具体的，所述第一执行单元703，包括：

获取子单元，用于获取所述基准线与所述线段集合中除该基准线以外的每一未标记的线段的关系参数；所述关系参数包括所述基准线与线段之间的夹角、所述基准线的中点与线段之间的距离和所述基准线的中点与线段的垂足；

第一确定子单元，用于根据所述基准线与所述线段集合中除所述基准线以外的每一未标记的线段的关系参数，确定所述线段集合中是否存在所述基准线对应的候选线段；

第二确定子单元，用于对于每一未标记的线段，若所述线段与基准线的夹角处于预设的角度范围内、所述线段到所述基准线的中点的距离处于预设的距离范围内且所述基准线的中点与所述线段的垂足处于预设的位置范围内，则确定所述线段为所述基准线对应的候选线段，否则，确定所述线段不为所述基准线段对应的候选线段。

在本发明提供的一实施例中，基于上述的实施过程，具体的，所述第一执行子单元703，包括：

第三确定子单元，用于确定所述基准线的中点与各个所述候选线段的垂足的平均坐标点，以及以及各个所述候选线段的平均角度；

第四确定子单元，用于依据所述平均坐标点和所述平均角度，确定目标直线的直线方程；

第五确定子单元，用于基于所述平均角度确定所述目标直线的类型；

第六确定子单元，用于若所述目标直线的类型为第一类型，则按各个所述候选线段的端点的纵坐标由小至大的顺序对各个所述端点进行排序；若排序后的前两个端点的纵坐标的距离大于或等于预设的第一距离阈值，则将排序后的首个端点的纵坐标作为起点纵坐标；若所述前两个端点的纵坐标小于所述第一距离阈值，则将所述前两个端点的纵坐标的平均值作为起点纵坐标；若排序后的后两个端点的纵坐标的距离大于或等于预设的第二距离阈值，则将排序后的最后一个端点的纵坐标作为终点纵坐标；若所述后两个端点的纵坐标的距离小于所述第二距离阈值，则将所述后两个端点的纵坐标的平均值作为终点纵坐标；将已获得的所述起点纵坐标和所述终点纵坐标分别代入所述直线方程，得到起点横坐标和终点横坐标；根据所述起点横坐标、起点纵坐标、终点横坐标和终点纵坐标确定所述基准线段对应的目标线段；

第七确定子单元，用于若所述目标直线为第二类型，则按各个所述候选线段的端点的横坐标由小至大的顺序对各个所述端点进行排序；若排序后的前两个端点的横坐标的距离大于或等于预设的第三距离阈值，则将排序后的首个端点的横坐标作为起点横坐标；若所述前两个端点的横坐标小于所述第三距离阈值，则将所述前两个端点的横坐标的平均值作为起点横坐标；若排序后的后两个端点的横坐标的距离大于或等于预设的第四距离阈值，则将排序后的最后一个端点的横坐标作为终点横坐标；若所述后两个端点的横坐标的距离小于所述第四距离阈值，则将所述后两个端点的横坐标的平均值作为终点横坐标；将已获得的所述起点横坐标和所述终点横坐标分别代入所述直线方程，得到起点纵坐标和终点纵坐标；根据所述起点横坐标、起点纵坐标、终点横坐标和终点纵坐标确定所述基准线段对应的目标线段。

在本发明提供的一实施例中，基于上述的方案，可选的，所述绘图线的提取装置还包括：

确定单元，用于确定各个所述绘图线是否满足预设的水平微调条件和垂直微调条件；

第一调整单元，用于对于满足所述垂直微调条件的绘图线，计算所述绘图线的起点横坐标和终点横坐标的横坐标平均值；将所述横坐标平均值作为所述绘图线的新的起点横坐标和新的终点横坐标；

第二调整单元，用于对于满足所述水平微调条件的绘图线，计算所述绘图线的起点纵坐标和终点纵坐标的纵坐标平均值，将所述纵坐标平均值作为所述绘图线的新的起点纵坐标和新的终点纵坐标。

在本发明提供的一实施例中，基于上述的方案，可选的，所述绘图线的提取装置还包括：

绘制单元，用于响应图像绘制指令，利用所述绘图线进行绘图。

上述本发明实施例公开的绘图线的提取装置中的各个单元和模块具体的原理和执行过程，与上述本发明实施例公开的绘图线的提取方法相同，可参见上述本发明实施例提供的绘图线的提取方法中相应的部分，这里不再进行赘述。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本发明时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

以上对本发明所提供的一种绘图线的提取方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种绘图线的提取方法，其特征在于，包括：

获取待处理的图像；

对所述图像进行二值化处理，得到二值化图像；

对所述二值化图像进行直线检测，得到所述二值化图像的线段集合；

对所述线段集合执行第一操作；

所述第一操作，包括：在所述线段集合中的各个线段中选取出基准线段；确定所述线段集合中是否存在所述基准线段对应的候选线段；在所述线段集合中存在所述基准线段对应的候选线段的情况下，对所述基准线段以及候选线段进行标记，并通过各个候选线段对所述基准线段进行插值处理，得到所述基准线段对应的目标线段；检测所述线段集合中是否存在未标记的线段；若所述线段集合中存在未标记的线段，则在所述未标记的线段中重新选取出基准线段，以获得该基准线段对应的目标线段，直至所述线段集合中的所有线段均已被标记；

在执行所述第一操作的次数未到达预设的次数阈值的情况下，将当前执行所述第一操作得到的各个所述目标线段组成新的线段集合，并对所述新的线段集合重新执行所述第一操作，直至执行第一操作的次数到达预设的次数阈值；

将最后一次执行所述第一操作得到的目标线段作为所述图像的绘图线。

2.根据权利要求1所述的方法，其特征在于，所述确定所述线段集合中是否存在所述基准线对应的候选线段，包括：

获取所述基准线与所述线段集合中除该基准线以外的每一未标记的线段的关系参数；所述关系参数包括所述基准线与线段之间的夹角、所述基准线的中点与线段之间的距离和所述基准线的中点与线段的垂足；

根据所述基准线与所述线段集合中除所述基准线以外的每一未标记的线段的关系参数，确定所述线段集合中是否存在所述基准线对应的候选线段；

对于每一未标记的线段，若所述线段与基准线的夹角处于预设的角度范围内、所述线段到所述基准线的中点的距离处于预设的距离范围内且所述基准线的中点与所述线段的垂足处于预设的位置范围内，则确定所述线段为所述基准线对应的候选线段，否则，确定所述线段不为所述基准线段对应的候选线段。

3.根据权利要求1所述的方法，其特征在于，所述通过各个候选线段对所述基准线段进行插值处理，得到所述基准线段对应的目标线段，包括：

确定所述基准线的中点与各个所述候选线段的垂足的平均坐标点，以及以及各个所述候选线段的平均角度；

依据所述平均坐标点和所述平均角度，确定目标直线的直线方程；

基于所述平均角度确定所述目标直线的类型；

若所述目标直线的类型为第一类型，则按各个所述候选线段的端点的纵坐标由小至大的顺序对各个所述端点进行排序；若排序后的前两个端点的纵坐标的距离大于或等于预设的第一距离阈值，则将排序后的首个端点的纵坐标作为起点纵坐标；若所述前两个端点的纵坐标小于所述第一距离阈值，则将所述前两个端点的纵坐标的平均值作为起点纵坐标；若排序后的后两个端点的纵坐标的距离大于或等于预设的第二距离阈值，则将排序后的最后一个端点的纵坐标作为终点纵坐标；若所述后两个端点的纵坐标的距离小于所述第二距离阈值，则将所述后两个端点的纵坐标的平均值作为终点纵坐标；将已获得的所述起点纵坐标和所述终点纵坐标分别代入所述直线方程，得到起点横坐标和终点横坐标；根据所述起点横坐标、起点纵坐标、终点横坐标和终点纵坐标确定所述基准线段对应的目标线段；

若所述目标直线为第二类型，则按各个所述候选线段的端点的横坐标由小至大的顺序对各个所述端点进行排序；若排序后的前两个端点的横坐标的距离大于或等于预设的第三距离阈值，则将排序后的首个端点的横坐标作为起点横坐标；若所述前两个端点的横坐标小于所述第三距离阈值，则将所述前两个端点的横坐标的平均值作为起点横坐标；若排序后的后两个端点的横坐标的距离大于或等于预设的第四距离阈值，则将排序后的最后一个端点的横坐标作为终点横坐标；若所述后两个端点的横坐标的距离小于所述第四距离阈值，则将所述后两个端点的横坐标的平均值作为终点横坐标；将已获得的所述起点横坐标和所述终点横坐标分别代入所述直线方程，得到起点纵坐标和终点纵坐标；根据所述起点横坐标、起点纵坐标、终点横坐标和终点纵坐标确定所述基准线段对应的目标线段。

4.根据权利要求1所述的方法，其特征在于，所述将最后一次执行所述第一操作得到的目标线段作为所述图像的绘图线之后，还包括：

确定各个所述绘图线是否满足预设的水平微调条件和垂直微调条件；

对于满足所述垂直微调条件的绘图线，计算所述绘图线的起点横坐标和终点横坐标的横坐标平均值；将所述横坐标平均值作为所述绘图线的新的起点横坐标和新的终点横坐标；

对于满足所述水平微调条件的绘图线，计算所述绘图线的起点纵坐标和终点纵坐标的纵坐标平均值，将所述纵坐标平均值作为所述绘图线的新的起点纵坐标和新的终点纵坐标。

5.根据权利要求1所述的方法，其特征在于，所述将最后一次执行所述第一操作得到的目标线段作为所述图像的绘图线之后，还包括：

响应于图像绘制指令，利用所述绘图线进行绘图。

6.一种绘图线的提取装置，其特征在于，包括：

获取单元，用于获取待处理的图像；

二值化处理单元，用于对所述图像进行二值化处理，得到二值化图像；

直线检测单元，用于对所述二值化图像进行直线检测，得到所述二值化图像的线段集合；

第一执行单元，用于对所述线段集合执行第一操作；所述第一操作，包括：在所述线段集合中的各个线段中选取出基准线段；确定所述线段集合中是否存在所述基准线段对应的候选线段；在所述线段集合中存在所述基准线段对应的候选线段的情况下，对所述基准线段以及候选线段进行标记，并通过各个候选线段对所述基准线段进行插值处理，得到所述基准线段对应的目标线段；检测所述线段集合中是否存在未标记的线段；若所述线段集合中存在未标记的线段，则在所述未标记的线段中重新选取出基准线段，以获得该基准线段对应的目标线段，直至所述线段集合中的所有线段均已被标记；

第二执行单元，用于在执行所述第一操作的次数未到达预设的次数阈值的情况下，将当前执行所述第一操作得到的各个所述目标线段组成新的线段集合，并对所述新的线段集合重新执行所述第一操作，直至执行第一操作的次数到达预设的次数阈值；

第三执行单元，用于将最后一次执行所述第一操作得到的目标线段作为所述图像的绘图线。

7.根据权利要求6所述的装置，其特征在于，所述第一执行单元，包括：

获取子单元，用于获取所述基准线与所述线段集合中除该基准线以外的每一未标记的线段的关系参数；所述关系参数包括所述基准线与线段之间的夹角、所述基准线的中点与线段之间的距离和所述基准线的中点与线段的垂足；

第一确定子单元，用于根据所述基准线与所述线段集合中除所述基准线以外的每一未标记的线段的关系参数，确定所述线段集合中是否存在所述基准线对应的候选线段；

第二确定子单元，用于对于每一未标记的线段，若所述线段与基准线的夹角处于预设的角度范围内、所述线段到所述基准线的中点的距离处于预设的距离范围内且所述基准线的中点与所述线段的垂足处于预设的位置范围内，则确定所述线段为所述基准线对应的候选线段，否则，确定所述线段不为所述基准线段对应的候选线段。

8.根据权利要求6所述的装置，其特征在于，所述第一执行子单元，包括：

第三确定子单元，用于确定所述基准线的中点与各个所述候选线段的垂足的平均坐标点，以及以及各个所述候选线段的平均角度；

第四确定子单元，用于依据所述平均坐标点和所述平均角度，确定目标直线的直线方程；

第五确定子单元，用于基于所述平均角度确定所述目标直线的类型；

第六确定子单元，用于若所述目标直线的类型为第一类型，则按各个所述候选线段的端点的纵坐标由小至大的顺序对各个所述端点进行排序；若排序后的前两个端点的纵坐标的距离大于或等于预设的第一距离阈值，则将排序后的首个端点的纵坐标作为起点纵坐标；若所述前两个端点的纵坐标小于所述第一距离阈值，则将所述前两个端点的纵坐标的平均值作为起点纵坐标；若排序后的后两个端点的纵坐标的距离大于或等于预设的第二距离阈值，则将排序后的最后一个端点的纵坐标作为终点纵坐标；若所述后两个端点的纵坐标的距离小于所述第二距离阈值，则将所述后两个端点的纵坐标的平均值作为终点纵坐标；将已获得的所述起点纵坐标和所述终点纵坐标分别代入所述直线方程，得到起点横坐标和终点横坐标；根据所述起点横坐标、起点纵坐标、终点横坐标和终点纵坐标确定所述基准线段对应的目标线段；

第七确定子单元，用于若所述目标直线为第二类型，则按各个所述候选线段的端点的横坐标由小至大的顺序对各个所述端点进行排序；若排序后的前两个端点的横坐标的距离大于或等于预设的第三距离阈值，则将排序后的首个端点的横坐标作为起点横坐标；若所述前两个端点的横坐标小于所述第三距离阈值，则将所述前两个端点的横坐标的平均值作为起点横坐标；若排序后的后两个端点的横坐标的距离大于或等于预设的第四距离阈值，则将排序后的最后一个端点的横坐标作为终点横坐标；若所述后两个端点的横坐标的距离小于所述第四距离阈值，则将所述后两个端点的横坐标的平均值作为终点横坐标；将已获得的所述起点横坐标和所述终点横坐标分别代入所述直线方程，得到起点纵坐标和终点纵坐标；根据所述起点横坐标、起点纵坐标、终点横坐标和终点纵坐标确定所述基准线段对应的目标线段。

9.根据权利要求6所述的装置，其特征在于，还包括：

确定单元，用于确定各个所述绘图线是否满足预设的水平微调条件和垂直微调条件；

第一调整单元，用于对于满足所述垂直微调条件的绘图线，计算所述绘图线的起点横坐标和终点横坐标的横坐标平均值；将所述横坐标平均值作为所述绘图线的新的起点横坐标和新的终点横坐标；

第二调整单元，用于对于满足所述水平微调条件的绘图线，计算所述绘图线的起点纵坐标和终点纵坐标的纵坐标平均值，将所述纵坐标平均值作为所述绘图线的新的起点纵坐标和新的终点纵坐标。

10.根据权利要求6所述的装置，其特征在于，还包括：

绘制单元，用于响应图像绘制指令，利用所述绘图线进行绘图。

Images