CN116188512A

CN116188512A - 图像处理用直线边缘提取方法、系统及电子设备

Info

Publication number: CN116188512A
Application number: CN202310468327.0A
Authority: CN
Inventors: 殷亚祥; 邵云峰; 曹桂平; 董宁
Original assignee: Hefei Eko Photoelectric Technology Co ltd
Current assignee: Hefei Eko Photoelectric Technology Co ltd
Priority date: 2023-04-27
Filing date: 2023-04-27
Publication date: 2023-05-30
Anticipated expiration: 2043-04-27
Also published as: CN116188512B

Abstract

本发明的一种图像处理用直线边缘提取方法、系统及电子设备，该系统选取包含直线边缘的单色图像或处理得到的单色图像，包括：计算边缘区域像素点边缘方向投影的投影向量的梯度与极值点；筛选极值点，并根据边缘筛选参数，通过投影向量与极值点，从区域边缘点筛选出候选边缘点；聚类相邻两个候选边缘点的差值向量，对聚类数目最多的类对应的点集直线拟合，并输出边缘直线表达式；本发明通过合理的边缘筛选参数配置，在附近存在梯度较大的直线边缘，依然能找出梯度较小的弱直线边缘；通过边缘筛选参数配置，从多条直线边缘中，输出任一直线边缘。

Description

图像处理用直线边缘提取方法、系统及电子设备

技术领域

本发明涉及数字图像处理领域，特别涉及一种图像处理用直线边缘提取方法、系统及电子设备。

背景技术

工业生产中，直线度、平行度或直线间距是常见的产品质量控制参数，采用在线测量设备，监控制造产品的直线度、平行度或直线间距，是常用且重要的产品质量控制手段。直线度、平行度、直线间距计算的前提是准确提取测量图像中的边缘位置，寻边算法的可靠性是实现直线度、平行度、直线间距准确可靠计算的前提。此外，为了满足工业现场快速生产节拍的需求，寻边算法朝边缘计算与并行计算的方向发展，利用嵌入式设备如FPGA而非PC实现快速的边缘提取。

现有的基于FPGA实现的寻边算法基本都以局部梯度最大值为目标进行边缘检测，如采用sobel算子或者改进的canny算子进行边缘检测，缺少边缘筛选过程，输出边缘一般是梯度幅值较大的边缘。

对于直线边缘，传统寻边检测算法需要相机先获取完整的图像，再通过上位机软件进行边缘检测，效率较低。为了加快边缘检测效率，考虑利用FPGA并行计算优势将寻边算法内嵌至相机内部。然而，实际图像边缘形态各异，待寻边缘附近可能存在其他多条边缘，FPGA内嵌简单的滤波算法（如sobel算子）等难以适应实际检测的复杂要求。现有的基于FPGA实现的寻边算法基本都以局部梯度最大值为目标，进行边缘检测。如果一条梯度较强的边缘附近存在一条梯度较弱的边缘，则弱边缘难以检测到。现有的边缘筛选算法主要针对强边缘附近存在噪声点的情况，采用边缘点聚类算法剔除噪声点进行边缘拟合，也不能检测梯度较强的边缘附近存在的弱边缘。

为了增加FPGA寻边算法的灵活性，本发明提出一种多边缘筛选的FPGA寻边算法，既可以加速寻边计算过程，也可以适应实际寻边的复杂情况，尤其是待寻边缘附近存在多条其他边缘的情况，能够检测强边缘附近存在的弱边缘。

发明内容

本发明提出的一种图像处理用直线边缘提取方法、系统及电子设备，可至少解决上述技术问题之一。

为实现上述目的，本发明提出了以下技术方案：

一种图像处理用直线边缘提取方法，选取包含直线边缘的单色图像或处理得到的单色图像，包括：

计算边缘区域像素点边缘方向投影的投影向量的梯度与极值点；

筛选极值点，并根据边缘筛选参数，通过投影向量与极值点，从区域边缘点筛选出候选边缘点；

聚类相邻两个候选边缘点的差值向量，对聚类数目最多的类对应的点集直线拟合，并输出边缘直线表达式；

其中，所述边缘筛选参数为梯度阈值、梯度正负、计数方向、边缘计数；

所述梯度阈值筛选与所述梯度正负筛选后剩下的区域边缘点，经所述计数方向、所述边缘计数组合筛选，选择输出候选边缘点。

进一步地，所述边缘区域为沿所述边缘方向等间隔矩形区域。

进一步地，所述筛选极值点，筛选出局部极值点作为第一候选边缘点。

进一步地，所述并根据边缘筛选参数，通过投影向量与极值点，从区域边缘点筛选出候选边缘点，包括：

梯度阈值筛选，仅保留梯度绝对值大于梯度阈值的第二候选边缘点；

梯度正负筛选，选择梯度为正的区域边缘点，或梯度为负的第三候选边缘点；

计数方向筛选，选择某一方向的垂直于边缘法向的第四候选边缘点；

边缘计数筛选，选择第N个区域边缘点作为候选边缘点。

进一步地，所述投影向量为每个所述边缘区域的像素点沿所述边缘方向投影，形成垂直于边缘方向的一维向量。

进一步地，所述投影向量的梯度计算方法，包括：

；

其中，vector为投影向量，L为向量长度。

进一步地，所述极值点的计算方法，包括：

；

其中，abs为绝对值，g为梯度。

基于同一发明构思，本发明第二方面提供一种图像处理用直线边缘提取系统，该系统用于直线度、平行度检测或直线间距测量，包括：

采样投影模块，采集沿所在边缘方向等间隔矩形区域的像素点，并获取像素点对边缘的投影向量；

梯度极值模块，计算所述投影向量的梯度与极值；

极值筛选模块，根据边缘筛选参数进行边缘筛选；所述边缘筛选，经过梯度阈值筛选与梯度正负筛选，再经计数方向、边缘计数组合筛选，再从多个候选边缘点中，选择输出候选边缘点；

聚类拟合模块，聚类相邻两个候选边缘点的差值向量，并对聚类数目最多的点直线拟合，并输出边缘直线表达式。

进一步地，还包括：自动寻边模块，配置多套边缘筛选参数，输出部分或全部边缘直线表达式。

进一步地，自动寻边模块还内置卷积神经网络，深度学习训练寻边参数，用于自动配置寻边参数。

基于同一发明构思，本发明第三方面提供一种电子设备，其特征在于，包括：

处理器；

存储器，包括一个或多个计算机程序指令；

其中，所述一个或多个计算机程序指令被存储在所述存储器中，并由所述处理器执行时实现所述的图像处理用直线边缘提取方法的指令。

相对于现有技术，本发明的有益效果如下：

本发明通过投影向量，消除或减弱生产设备抖动，提高提取直线边缘的精准度；通过极值筛选，确保计算得到的直线边缘是实际需要的直线边缘，而非条纹噪声；通过计数方向筛选，兼容条纹非贯穿整张图像，满足边缘筛选参数的计数候选边缘点的个数在不同矩形区域内可能不同，以确保属于同一条直线边缘的候选边缘点即使在不同矩形区域内，具有正确的指向性；通过聚类算法将相邻点坐标差值加梯度差值向量，以进一步降低噪声点对直线拟合的影响；通过合理的边缘筛选参数配置，在附近存在梯度较大的直线边缘，依然能找出梯度较小的弱直线边缘；通过边缘筛选参数配置，从多条直线边缘中，输出任一直线边缘；通过候选边缘点聚类的方式筛除噪声点，提高边缘拟合的鲁棒性，减少附近强噪声的影响。

附图说明

图1是本发明一种图像处理用直线边缘提取方法的流程图；

图2是本发明的等间隔矩形区域的示意图；

图3是本发明实施例的波浪边缘示意图；

图4是本发明实施例的配置不同边缘筛选参数对应提取不同边缘的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。

本实施例首先提供了一种图像处理用直线边缘提取方法，如图1所示，选取包含直线边缘的单色图像或处理得到的单色图像，采用单色图像以区分更多灰度差距不大的彩色可区分边缘，包括以下步骤：

S1：计算边缘区域像素点边缘方向投影的投影向量的梯度与极值点；如图2所示，所述边缘区域为沿所述边缘方向等间隔矩形区域。投影消除降低噪声的影响，包括环境光干扰、电子学噪声。高精度测量时，待检测产品可能产生抖动，如图3所示，使直线边缘形成波浪边缘。抖动是一个高频信号，通过投影求平均的方式消除或者减弱抖动，得到真实的边缘位置点，以提高提取直线边缘的精准度。

S2：筛选极值点，并根据边缘筛选参数，通过投影向量与极值点，从区域边缘点筛选出候选边缘点；所述边缘筛选参数为梯度阈值、梯度正负、计数方向、边缘计数；所述梯度阈值筛选与所述梯度正负筛选后剩下的区域边缘点，经所述计数方向、所述边缘计数组合筛选，选择输出候选边缘点。直线边缘的理想边缘模型通常的阶跃信号为台阶信号，而大多直线边缘的实际边缘模型的阶跃信号，经过噪声干扰，形成斜坡信号，采用局部极值点代表真正的边缘位置，兼容阶跃信号模型与斜坡信号模型。

S3：聚类相邻两个候选边缘点的差值向量，对聚类数目最多的类对应的点集直线拟合，并输出边缘直线表达式。

进一步地，在步骤S1中，所述投影向量为每个所述边缘区域的像素点沿所述边缘方向投影，形成垂直于边缘方向的一维向量。

所述投影向量的梯度计算方法，包括：

；

其中，vector为投影向量，L为向量长度。

梯度计算采用中心差分计算方法，对于向量起点，其梯度等于其右侧相邻像素灰度减去起点灰度。对于向量终点，其梯度等于其左侧相邻像素灰度减去终点灰度；对于向量中间点，其梯度等于其右侧相邻像素灰度减去其左侧相邻像素灰度再除以2。两端边缘区域像素点的极值点梯度为：

；/>

；

极值点一般定义为局部极大值点与局部极小值点，局部极大值点既大于其左侧相邻点也大于其右侧相邻点，局部极小值点既小于其左侧相邻点也小于其右侧相邻点。对于实际图像，边缘一般有若干个像素宽度，且边缘点梯度正负相同，因此可以将极大值点与极小值点统一成梯度绝对值的极大值点。所述极值点的计算方法，包括：

；

其中，abs为绝对值，g为梯度。

在步骤S2中，所述筛选极值点，筛选出局部极值点作为第一候选边缘点。

进一步地，在步骤S2中，所述并根据边缘筛选参数，通过投影向量与极值点，从区域边缘点筛选出候选边缘点，包括：

梯度阈值筛选，保留梯度绝对值大于梯度阈值的第二候选边缘点。

边缘计数筛选，选择第N个区域边缘点作为候选边缘点。

其中，计数方向筛选、边缘计数筛选组合筛选。

待检边缘附近可能存在强条纹噪声干扰，但是为了应对生产过程中直线边缘的条纹位置可能发生的波动，感兴趣区域ROI必须设置足够的宽度，当直线边缘波动范围超过直线边缘与附近条纹的距离时，感兴趣区域ROI内必然包含不止一条直线边缘。采用极值筛选，确保计算得到的直线边缘是实际需要的直线边缘，而非条纹噪声。

采用计数方向，设置两个方向，兼容条纹非贯穿整张图像，满足边缘筛选参数的计数候选边缘点的个数在不同矩形区域内可能不同，以确保属于同一条直线边缘的候选边缘点即便在不同矩形区域内，具有正确的指向性。

具体地，梯度阈值表示梯度绝对值阈值，只有梯度绝对值大于梯度阈值的边缘点会被保留，其他边缘点删除。梯度正负表示梯度正负，采用0-1编码，0表示正梯度，1表示负梯度，当设置筛选条件梯度正负为0时，只有梯度为正的边缘点会被保留，其他边缘点删除，反之则只保留梯度为负的边缘点。计数方向采用0-1编码表示垂直于边缘的两个法向之一；边缘计数从1开始计数。经过梯度阈值筛选与正负筛选后剩下的边缘候选点可能不止一个，通过计数方向与边缘计数参数组合，可以实现任意一个候选边缘点的输出。

具体地，梯度向量计算极值点以及筛选示例：输入参数梯度阈值为5，梯度正负为1，边缘计数为2，计数方向为1。

假设图像一块区域的梯度向量g如下：（注：筛选后发生变化的边缘点加粗标记）

极值筛选，非极值置0，极值保留，只有局部极值点是候选边缘点。

筛选后向量为：

梯度阈值筛选，只保留梯度绝对值大于等于阈值的点。

筛选后向量为：

梯度正负筛选，本示例中梯度正负为1，只保留负梯度，删除正梯度边缘点。

筛选后向量为：

边缘计数筛选，本示例中计数方向为1表示从右往左数，边缘计数为2表示第2个满足筛选条件的边缘点。输出-9所在的位置为边缘点。通过其他参数配置也可以输出4，-8，8当中任意一个边缘点坐标。

进一步地，在步骤S3中，所述聚类算法为均值漂移算法、DBSCAN等基于密度的聚类算法中的一种。

经过步骤S1、步骤S2后，依然可能存在噪声点。采用聚类算法将相邻点坐标差值加梯度差值向量进行聚类，只对聚类数目最多的点集进行直线拟合，以进一步降低噪声点对直线拟合的影响。

若直线拟合的候选边缘点均位于直线边缘上，则候选边缘点的梯度彼此近似，候选边缘点也为等间距，其相邻两个候选边缘点的梯度差值向量在参数空间中彼此接近，聚为一类。候选边缘点中的异常点或噪声点，在坐标上或者梯度上某一维度存在较大差异，而其梯度差值向量会放大异常点与正常点在该维度上的差异，从而便于分类识别候选边缘点中的异常点或噪声点。

由于聚类数目事先不可知，故需要指定聚类数目的聚类算法不满足本方法中的聚类算法要求，如K-means算法：

采用K-means算法时，聚类数目确定条件，包括：

若没有异常点或噪声点，聚类数目为1；

若异常点或噪声点位于边缘的首点或尾点，聚类数目为2；

若异常点或噪声点出现产生两种异常向量首点或尾点，且非边缘的首点或尾点，一种是正常点指向异常点或噪声点，另一种是异常点或噪声点指向正常点或噪声点，聚类数据为3。

而采用均值漂移或DBSCAN等基于密度的聚类算法时，仅最终选取聚类数目最多或密度最大的类参与直线拟合即可，无需要指定聚类数目。

所述直线拟合方法包括：最小二乘法。

通过设置合适的边缘筛选参数，该图像处理用直线边缘提取方法可寻找到多条边缘，且与边缘个数以及边缘之间的距离无关。通过配置多套边缘筛选参数，可以提取，感兴趣区域ROI内，部分或全部边缘信息。

具体地，如图4所示，通过配置合适的边缘筛选参数，从四条边缘中提取任一边缘。

第一边缘的提取条件为梯度阈值为1，梯度正负为1，边缘计数为1, 计数方向为0；

第二边缘的提取条件为梯度阈值为1，梯度正负为1，边缘计数为2，计数方向为0；

第三边缘的提取条件为梯度阈值为1，梯度正负为1，边缘计数为3，计数方向为0；

第四边缘的提取条件为梯度阈值为1，梯度正负为1，边缘计数为4，计数方向为0。

通过为实际场景的图像添加ROI标签以及边缘筛选参数标签，结合卷积神经网络进行深度学习训练，可以自动配置寻边参数，实现边缘提取的完全自动化与智能化。

基于同一发明构思，本发明第二方面提供一种与该图像处理用直线边缘提取方法对应的图像处理用直线边缘提取系统，由于本发明实施例中的系统解决问题的原理与本发明实施例的图像处理用直线边缘提取方法相似，因此，系统的实施可以参见方法的实施，重复之处不再赘述，该系统用于直线度、平行度检测或直线间距测量，所述系统包括：

梯度极值模块，计算所述投影向量的梯度与极值；

基于同一发明构思，本发明第三方面提供一种电子设备，包括处理器；

存储器，包括一个或多个计算机程序指令；

其中，所述一个或多个计算机程序指令被存储在所述存储器中，并由所述处理器执行时实现上述图像处理用直线边缘提取方法的指令；

该设备可测量直线度、平行度检测或直线间距，用于产品、工艺、材料的测量或分析领域。

综上所述，本发明提出了图像处理用直线边缘提取方法、系统及电子设备，提取包含直线边缘的单色图像或处理得到的单色图像，本发明通过投影向量，消除或减弱生产设备抖动，提高提取直线边缘的精准度；通过极值筛选，确保计算得到的直线边缘是实际需要的直线边缘，而非条纹噪声；通过计数方向筛选，兼容条纹非贯穿整张图像，满足边缘筛选参数的计数候选边缘点的个数在不同矩形区域内可能不同，以确保属于同一条直线边缘的候选边缘点即使在不同矩形区域内，具有正确的指向性；通过聚类算法将相邻点坐标差值加梯度差值向量，以进一步降低噪声点对直线拟合的影响；通过合理的边缘筛选参数配置，在附近存在梯度较大的直线边缘，依然能找出梯度较小的弱直线边缘；通过边缘筛选参数配置，从多条直线边缘中，输出任一直线边缘；通过候选边缘点聚类的方式筛除噪声点，提高边缘拟合的鲁棒性，减少附近强噪声的影响。

因此，本发明提出的图像处理用直线边缘提取方法、系统及电子设备具有提取直线边缘的精准度高，识别弱直线边缘，输出任一直线边缘的优点。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims

1.一种图像处理用直线边缘提取方法，选取包含直线边缘的单色图像或处理得到的单色图像，其特征在于，包括：

2.根据权利要求1所述的图像处理用直线边缘提取方法，其特征在于，所述边缘区域为沿所述边缘方向等间隔矩形区域。

3.根据权利要求1所述的图像处理用直线边缘提取方法，其特征在于，所述筛选极值点，筛选出局部极值点作为第一候选边缘点。

4.根据权利要求1-3中任一所述的图像处理用直线边缘提取方法，其特征在于，所述并根据边缘筛选参数，通过投影向量与极值点，从区域边缘点筛选出候选边缘点，包括：

边缘计数筛选，选择第N个区域边缘点作为候选边缘点。

5.根据权利要求1或2所述的图像处理用直线边缘提取方法，其特征在于，所述投影向量为每个所述边缘区域的像素点沿所述边缘方向投影，形成垂直于边缘方向的一维向量。

6.根据权利要求1所述的图像处理用直线边缘提取方法，其特征在于，所述投影向量的梯度计算方法，包括：

；

其中，vector为投影向量，L为向量长度，g表示梯度向量，与投影向量长度一致。

7.根据权利要求1所述的图像处理用直线边缘提取方法，其特征在于，所述极值点的计算方法，包括：

；

其中，abs为绝对值，g为梯度。

8.一种图像处理用直线边缘提取系统，该系统用于直线度、平行度检测或直线间距测量，其特征在于，包括：

梯度极值模块，计算所述投影向量的梯度与极值；

9.根据权利要求8所述的图像处理用直线边缘提取系统，其特征在于，还包括：

自动寻边模块，配置多套边缘筛选参数，输出部分或全部边缘直线表达式。

10.根据权利要求9所述的图像处理用直线边缘提取系统，其特征在于，自动寻边模块还内置卷积神经网络，深度学习训练寻边参数，用于自动配置寻边参数。

11.一种电子设备，其特征在于，包括：

处理器；

存储器，包括一个或多个计算机程序指令；

其中，所述一个或多个计算机程序指令被存储在所述存储器中，并由所述处理器执行时实现权利要求1-7任一项所述的图像处理用直线边缘提取方法的指令。