CN113802227B - 一种面向环锭纺细纱在线检测的视觉系统校准方法 - Google Patents

Abstract

本发明涉及一种面向环锭纺细纱在线检测的视觉系统校准方法，该方法利用大津法和清晰度评价函数对图像进行处理，获取每张图像的清晰度及对应的纱线位置；通过热力图对二者相关性进行分析，计算得到最佳焦平面位置参数并校准视觉系统。本发明提供的方法结合对纱线的运动学分析，针对纱线运动导致的离焦模糊问题，对视觉系统的参数进行优化校准，大大提高了采集图像的质量，为环锭纺细纱在线检测奠定了基础。

Description

一种面向环锭纺细纱在线检测的视觉系统校准方法

技术领域

本发明涉及一种面向环锭纺细纱在线检测的视觉系统校准方法，属于机器视觉系统校准领域，特别是涉及图形图像处理领域。

背景技术

环锭纺纱的质量检测及生产监控等问题对提高纺织品的质量有着重要的意义，机器视觉是常用的技术手段，而使用细纱图像采集系统实现稳定的在线观测则是其重要的应用基础。环锭纺细纱机运转时，纱线运动脱离焦平面使得图像出现离焦模糊，导致系统采集的图像质量较差。如何提高在线采集图像的质量亟待解决。

离焦模糊问题产生的根本原因是物距、像距、焦距三者间关系不再满足高斯成像公式。对于此类问题的解决有两个思路：一是研究去模糊算法，将离焦模糊图像恢复成清晰图像；二是采集时随动调节物距，从根源上消除离焦模糊。去模糊算法不可避免得存在图像失真，相比之下第二个思路更具优势。

随动拍摄的核心在于准确建立描述待拍摄物体的运动的模型，根据运动模型计算最佳焦平面位置并校准视觉系统。对于纺纱段纱线而言，其难点在于纱线为柔性体，受张力变化的影响自身存在振动。且环锭纺细纱机的锭速在12000r/min以上，无法快速精确地跟踪每一个位置进行校准拍摄。如何建立纱线运动模型，并据此建立视觉系统校准模型，快速、精确搜索最佳焦平面位置，是提高系统采集的图像质量的关键。

发明内容

本发明的目的是：针对纱线运动导致的离焦模糊问题，优化校准系统参数，提高系统采集图像的质量。

为了达到上述目的，本发明的技术方案是提供了一种面向环锭纺细纱在线检测的视觉系统校准方法，其特征在于，包括以下步骤：

S000、在一个采样周期T内，利用正面摄像头及侧面摄像头同时采集同一根纱线的N组正面图像及侧面图像，共采集得到2N张图像；

S100、对N组正面图像及侧面图像进行处理获得N个纱线位置坐标，其中，对任意一组正面图像及侧面图像进行处理包括以下步骤：

S101、从正面图像及侧面图像中分割出纱线条干，获得正面纱线条干图像以及侧面纱线条干图像；

S102、去除正面纱线条干图像以及侧面纱线条干图像的噪点、平滑边界、填补区域空洞；

S103、获取纱线轮廓角点坐标：(x₁,y₁)、(x₂,y₂)、(x₃,y₃)、(x₄,y₄)，剪裁经过步骤S102处理的正面纱线条干图像以及侧面纱线条干图像获取正面ROI区域以及侧面ROI区域，选定公式为：

上式中，RangeH为正面ROI区域或侧面ROI区域的高度，RangeW为正面ROI区域或侧面ROI区域的宽度，H为正面纱线条干图像或侧面纱线条干图像的高度，X₁为正面ROI区域或侧面ROI区域的左边界坐标，X₂为正面ROI区域或侧面ROI区域的右边界坐标；以上变量的单位均为pixel；

S104、以正面ROI区域及侧面ROI区域的中心代表纱线在图像中的位置，则有：

纱线在正面图像的位置坐标为

X_1z、X_2z为正面ROI区域的左边界坐标及右边界坐标；

纱线在侧面图像的位置坐标为

X_1c、X_2c为侧面ROI区域的左边界坐标及右边界坐标；

由此得到纱线的空间位置坐标为(x,y)；

S200、去除通过步骤S100得到的N个空间位置坐标数据点中的离群点，基于最小二乘法拟合纱线运动边界模型，具体包括以下步骤：

S201、去除N个空间位置坐标数据点中的离群点；

S202、扫描剩余空间位置坐标数据点中的边界点并基于最小二乘法拟合边界函数，目标函数F(A,B,C,D,E)为：

式中，A、B、C、D、E为未知参数，N′为边界点的数量，(X_i,Y_i)为第i个边界点的坐标；

为使目标函数最小有:

由此解出边界函数中的五个未知参数，得到边界函数有：

S300、针对图像的梯度信息对步骤S103中剪裁获得的正面ROI区域的清晰度进行评价，结合空间位置坐标数据进行图像清晰度与纱线位置的关联分析，具体步骤为：

S301、使用如下清晰度函数D(f)对步骤S103中剪裁获得的正面ROI区域进行评价：

式中，n、m分别为正面ROI区域像素行数和列数，f(x_i,y_i)为正面ROI区域中第(i,j)位像素点的灰度值，u为正面ROI区域灰度均值；

S302、以纱线位置坐标为圆心并以固定长度为半径画圆，该位置纱线图像清晰度函数值映射为填充色，基于步骤S202中求得的纱线运动边界函数确定热力图边界，绘制出表示图像清晰度分布的热力图；

S400、确定热力图中的最佳图像清晰度分布区域，根据该最佳图像清晰度分布区域确定可采集清晰图像的最大离焦范围R，以宽度为2R的搜索框搜索计算出用于拍摄正面图像的CMOS相机的最佳焦平面的位置参数，搜索流程为：

S401、设焦平面初始位置为P₀，P₀＝y_min+R，y_min为纱线运动边界最小纵坐标，即除离群点后所有空间位置坐标数据点的最小纵坐标值，沿Y轴移动搜索框使焦平面与搜索框的水平中线重合，根据步骤S104的空间位置坐标，计算剔除离群点后所有空间位置坐标数据点落入搜索框内的点数以及根据焦平面当前所处的Y轴坐标计算步骤S302得到热力图位于搜索框内部分的清晰度平均值，分别记为n₀和D₀；

S402、沿Y轴向上移动搜索框，步长为L，在不同焦平面位置分别计算点数及清晰度平均值，直至焦平面位置为y_max-R，y_max为纱线运动边界最大纵坐标，即除离群点后所有空间位置坐标数据点的最大纵坐标值；

设第i个焦平面位置为P_i，P_i＝y_min+R+i*L，i＝0,1,……，计算得到的像素点数及清晰度平均值分别记为n_i、D_i；

S403、计算每个焦平面位置所对应的V值，其中，第i个焦平面位置对应的V值为V_i，V_i＝n_i×Q+D_i×(1-Q)，式中，Q为权重，由不同纺纱参数下，纱线振动决定，振动频率越高，Q越小；所有V值中的最大值V_max对应的焦平面位置为最佳焦平面位置；

S500、根据最佳焦平面位置调节用于拍摄正面图像的CMOS相机的位置，完成该相机的校准过程。

优选的，步骤S101中，采用Python将所述正面图像及所述侧面图像转化为正面二维矩阵图像以及侧面二维矩阵图像，随后基于大津法对正面二维矩阵图像以及侧面二维矩阵图像进行二值化处理，分割出纱线条干，获得所述正面纱线条干图像以及所述侧面纱线条干图像。

优选的，步骤S102中，通过开、闭运算处理所述正面纱线条干图像以及所述侧面纱线条干图像，以去除噪点、平滑边界、填补区域空洞。

优选的，步骤S201中，使用LOF算法计算局部异常因子去除N个空间位置坐标数据点中的离群点。

本发明结合在环锭纺细纱机运转时，对纺纱段纱线的运动学分析，计算最佳焦平面的位置参数。与现有技术相比，本发明具有如下优点：

(1)评价清晰度的对象为剪裁的纱线条干图像，排除背景对函数值的干扰。

(2)所使用的清晰度评价函数为Variance函数与图像像素个数的比值，排除了图像尺寸对结果的干扰。

(3)结合对纺纱段纱线的动力学分析，计算最佳焦平面的位置参数，提高了其准确性。

附图说明

图1是本发明提供的面向环锭纺细纱在线检测的视觉系统校准方法流程图；

图2是采集图像使用的视觉系统硬件平台；

图3是采集的纱线正、侧面原始图像；

图4是剪裁纱线条干区域图像；

图5是坐标数据离群点检测图；

图6是纱线图像清晰度热力图；

图7是最佳焦平面搜索示意图。

具体实施方式

下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

如图1所示，本实施例公开的一种面向环锭纺细纱在线检测的视觉系统校准方法包括以下步骤：

S000、搭建硬件平台，在一个采样周期T内，同时采集同一根纱线的N组正面图像及侧面图像，共采集得到2N张图像。本实施例中，所使用的硬件平台如图2所示，包括两台相同型号的CMOS相机，分别于纺纱段纱线的正面和侧面进行图像采集，采集到的图像如图3所示。相机的安装高度和参数设置完全相同，通过外部触发信号控制，同时进行图像采集。

S100、对N组正面图像及侧面图像进行处理获得N个纱线位置坐标，其中，对任意一组正面图像及侧面图像进行处理包括以下步骤：

S101、采用Python将正面图像及侧面图像转化为正面二维矩阵图像以及侧面二维矩阵图像，随后基于大津法对正面二维矩阵图像以及侧面二维矩阵图像进行二值化处理，分割出纱线条干，获得正面纱线条干图像以及侧面纱线条干图像；

S102、通过开、闭运算处理正面纱线条干图像以及侧面纱线条干图像，以去除噪点、平滑边界、填补区域空洞，其中，闭运算使用的核大小为2×2，开运算使用的核大小为30×30；

S103、获取纱线轮廓角点坐标：(x₁,y₁)、(x₂,y₂)、(x₃,y₃)、(x₄,y₄)，剪裁经过开、闭运算处理的正面纱线条干图像以及侧面纱线条干图像获取正面ROI区域以及侧面ROI区域，选定公式为：

上式中，RangeH为正面ROI区域或侧面ROI区域的高度，RangeW为正面ROI区域或侧面ROI区域的宽度，H为正面纱线条干图像或侧面纱线条干图像的高度，X₁为正面ROI区域或侧面ROI区域的左边界坐标，X₂为正面ROI区域或侧面ROI区域的右边界坐标；以上变量的单位均为pixel；

S104、以正面ROI区域及侧面ROI区域的中心代表纱线在图像中的位置，则有：

纱线在正面图像的位置坐标为

X_1z、X_2z为正面ROI区域的左边界坐标及右边界坐标；

纱线在侧面图像的位置坐标为

X_1c、X_2c为侧面ROI区域的左边界坐标及右边界坐标；

由此得到纱线的空间位置坐标为(x,y)。

上述步骤中，剪裁出的纱线条干图像如图4所示。在此选用的开、闭运算的核的大小可根据环锭纺细纱机的不同型号、工艺参数所采集图像中纱线毛羽、条干差异进行调整，以获得更准确的纱线条干轮廓坐标。

S200、去除通过步骤S100得到的N个空间位置坐标数据点中的离群点，基于最小二乘法拟合纱线运动边界模型，具体包括以下步骤：

S201、使用LOF算法计算局部异常因子去除N个空间位置坐标数据点中的离群点，离群点比例为7.5％；

S202、扫描剩余空间位置坐标数据点中的边界点并基于最小二乘拟合边界函数，目标函数F(A,B,C,D,E)为：

式中，A、B、C、D、E为未知参数，N′为边界点的数量，(X_i,Y_i)为第i个边界点的坐标；

为使目标函数最小有:

由此解出边界函数中的五个未知参数，得到边界函数有：

离群点检测结果如图5所示，根据对纱线的运动学分析可以得到其运动轮廓为前后移动的椭圆，依此基于最小二乘法拟合椭圆获得纱线运动的整体边界函数。本实施例中共采集正、侧面图像各1137张，获得坐标数据1137组，离群点占比7.5％。

S300、针对图像的梯度信息对步骤S103中剪裁获得的正面ROI区域的清晰度进行评价，结合坐标数据进行图像清晰度与纱线位置的关联分析，具体步骤为：

S301、使用如下清晰度函数D(f)对步骤S103中剪裁获得的正面ROI区域进行评价：

式中，n、m分别为正面ROI区域像素行数和列数，f(x_i,y_i)为正面ROI区域中第(i,j)位像素点的灰度值，u为正面ROI区域灰度均值；

S302、以纱线位置坐标为圆心，150pixel为半径画圆，该位置纱线图像清晰度函数值映射为填充色，基于步骤S202中求得的纱线运动边界函数确定热力图边界，绘制出表示图像清晰度分布的热力图。

本实施例提出的清晰度评价函数是Variance函数与待评价图像像素点个数的比值，Variance函数通过计算图像灰度变化来衡量图像的清晰度，但其值大小还会受到图像尺寸的影响，对于本实施例中待评价图像为正面ROI区域，大小受纱线条干影响并不相同，为去除图像尺寸的影响计算Variance函数与像素点个数的比值评价图像清晰度。

热力图如图6所示，此热力图表示纱线在实际三维空间的位置即对应采集图像的清晰度，颜色越亮表明该区域图像清晰度值越大。

S400、根据热力图中红色区域(即最佳图像清晰度分布区域)确定可采集清晰图像的最大离焦范围R，以宽度为2R的搜索框搜索计算出用于拍摄正面图像的CMOS相机的最佳焦平面的位置参数，搜索流程为：

S401、设焦平面初始位置为P₀，P₀＝y_min+R，y_min为纱线运动边界最小纵坐标，即除离群点后所有空间位置坐标数据点的最小纵坐标值，沿Y轴移动搜索框使焦平面与搜索框的水平中线重合，根据步骤S104的空间位置坐标，计算剔除离群点后所有空间位置坐标数据点落入搜索框内的点数以及根据焦平面当前所处的Y轴坐标计算步骤S302得到热力图位于搜索框内部分的清晰度平均值，分别记为n₀和D₀；

S402、沿Y轴向上移动搜索框，步长为L，在不同焦平面位置分别计算点数及清晰度平均值，直至焦平面位置为y_max-R，y_max为纱线运动边界最大纵坐标，即除离群点后所有空间位置坐标数据点的最大纵坐标值；

设第i个焦平面位置为P_i，P_i＝y_min+R+i*L，i＝0,1,……，计算得到的像素点数及清晰度平均值分别记为n_i、D_i；

S403、计算每个焦平面位置所对应的V值，其中，第i个焦平面位置对应的V值为V_i，V_i＝n_i×Q+D_i×(1-Q)，式中，Q为权重，由不同纺纱参数下，纱线振动决定，振动频率越高，Q越小；所有V值中的最大值V_max对应的焦平面位置为最佳焦平面位置。

S500、根据最佳焦平面位置调节用于拍摄正面图像的CMOS相机的位置，完成该相机的校准过程。

搜索计算的示意图如图7所示，搜索框的宽度与所选用相机的性能有关，不同性能相机采集清晰图像的最大离焦范围不同。正面相机为主要工作相机，故本发明提供的校准方法针对正面相机所设计。

Claims (4)

1.一种面向环锭纺细纱在线检测的视觉系统校准方法，其特征在于，包括以下步骤：

S000、在一个采样周期T内，利用正面摄像头及侧面摄像头同时采集同一根纱线的N组正面图像及侧面图像，共采集得到2N张图像；

S100、对N组正面图像及侧面图像进行处理获得N个纱线位置坐标，其中，对任意一组正面图像及侧面图像进行处理包括以下步骤：

S101、从正面图像及侧面图像中分割出纱线条干，获得正面纱线条干图像以及侧面纱线条干图像；

S102、去除正面纱线条干图像以及侧面纱线条干图像的噪点、平滑边界、填补区域空洞；

S103、获取纱线轮廓角点坐标：(x₁,y₁)、(x₂,y₂)、(x₃,y₃)、(x₄,y₄)，剪裁经过步骤S102处理的正面纱线条干图像以及侧面纱线条干图像获取正面ROI区域以及侧面ROI区域，选定公式为：

上式中，RangeH为正面ROI区域或侧面ROI区域的高度，RangeW为正面ROI区域或侧面ROI区域的宽度，H为正面纱线条干图像或侧面纱线条干图像的高度，X₁为正面ROI区域或侧面ROI区域的左边界坐标，X₂为正面ROI区域或侧面ROI区域的右边界坐标；以上变量的单位均为pixel；

S104、以正面ROI区域及侧面ROI区域的中心代表纱线在图像中的位置，则有：

纱线在正面图像的位置坐标为

X_1z、X_2z为正面ROI区域的左边界坐标及右边界坐标；

纱线在侧面图像的位置坐标为

X_1c、X_2c为侧面ROI区域的左边界坐标及右边界坐标；

由此得到纱线的空间位置坐标为(x,y)；

S200、去除通过步骤S100得到的N个空间位置坐标数据点中的离群点，基于最小二乘法拟合纱线运动边界模型，具体包括以下步骤：

S201、去除N个空间位置坐标数据点中的离群点；

S202、扫描剩余空间位置坐标数据点中的边界点并基于最小二乘法拟合边界函数，目标函数F(A,B,C,D,E)为：

式中，A、B、C、D、E为未知参数，N′为边界点的数量，(X_i,Y_i)为第i个边界点的坐标；

为使目标函数最小有:

由此解出目标函数中的五个未知参数，得到边界函数有：

S300、针对图像的梯度信息对步骤S103中剪裁获得的正面ROI区域的清晰度进行评价，结合空间位置坐标数据进行图像清晰度与纱线位置的关联分析，具体步骤为：

S301、使用如下清晰度函数D(f)对步骤S103中剪裁获得的正面ROI区域进行评价：

式中，n、m分别为正面ROI区域像素行数和列数，f(x_i,y_i)为正面ROI区域中第(i,j)位像素点的灰度值，u为正面ROI区域灰度均值；

S302、以纱线位置坐标为圆心并以固定长度为半径画圆，该位置纱线图像清晰度函数值映射为填充色，基于步骤S202中求得的纱线运动边界函数确定热力图边界，绘制出表示图像清晰度分布的热力图；

S400、确定热力图中的最佳图像清晰度分布区域，根据该最佳图像清晰度分布区域确定可采集清晰图像的最大离焦范围R，以宽度为2R的搜索框搜索计算出用于拍摄正面图像的CMOS相机的最佳焦平面的位置参数，搜索流程为：

S401、设焦平面初始位置为P₀，P₀＝y_min+R，y_min为纱线运动边界最小纵坐标，即除离群点后所有空间位置坐标数据点的最小纵坐标值，沿Y轴移动搜索框使焦平面与搜索框的水平中线重合，根据步骤S104的空间位置坐标，计算剔除离群点后所有空间位置坐标数据点落入搜索框内的点数以及根据焦平面当前所处的Y轴坐标计算步骤S302得到热力图位于搜索框内部分的清晰度平均值，分别记为n₀和D₀；

S402、沿Y轴向上移动搜索框，步长为L，在不同焦平面位置分别计算点数及清晰度平均值，直至焦平面位置为y_max-R，y_max为纱线运动边界最大纵坐标，即除离群点后所有空间位置坐标数据点的最大纵坐标值；

设第i个焦平面位置为P_i，P_i＝y_min+R+i*L，i＝0,1,……，计算得到的像素点数及清晰度平均值分别记为n_i、D_i；

S403、计算每个焦平面位置所对应的V值，其中，第i个焦平面位置对应的V值为v_i，V_i＝n_i×Q+D_i×(1-Q)，式中，Q为权重，由不同纺纱参数下，纱线振动决定，振动频率越高，Q越小；所有V值中的最大值V_max对应的焦平面位置为最佳焦平面位置；

S500、根据最佳焦平面位置调节用于拍摄正面图像的CMOS相机的位置，完成该相机的校准过程。

2.如权利要求1所述的一种面向环锭纺细纱在线检测的视觉系统校准方法，其特征在于，步骤S101中，采用Python将所述正面图像及所述侧面图像转化为正面二维矩阵图像以及侧面二维矩阵图像，随后基于大津法对正面二维矩阵图像以及侧面二维矩阵图像进行二值化处理，分割出纱线条干，获得所述正面纱线条干图像以及所述侧面纱线条干图像。

3.如权利要求1所述的一种面向环锭纺细纱在线检测的视觉系统校准方法，其特征在于，步骤S102中，通过开、闭运算处理所述正面纱线条干图像以及所述侧面纱线条干图像，以去除噪点、平滑边界、填补区域空洞。

4.如权利要求1所述的一种面向环锭纺细纱在线检测的视觉系统校准方法，其特征在于，步骤S201中，使用LOF算法计算局部异常因子去除N个空间位置坐标数据点中的离群点。

Images