CN110992339B

CN110992339B - 基于相机和机器学习的辊道线轮毂的检测定位方法及系统

Info

Publication number: CN110992339B
Application number: CN201911221422.0A
Authority: CN
Inventors: 屈帅龙; 赵永生; 彭林鹏; 章逸丰; 翁芳
Original assignee: Binhai Industrial Technology Research Institute of Zhejiang University
Current assignee: Binhai Industrial Technology Research Institute of Zhejiang University
Priority date: 2019-12-03
Filing date: 2019-12-03
Publication date: 2023-07-04
Anticipated expiration: 2039-12-03
Also published as: CN110992339A

Abstract

本发明提供了一种基于相机和机器学习的辊道线轮毂的检测定位方法及系统，系统包含硬件和软件两部分，其中硬件部分包含主控单元和视觉检测单元。主控单元负责连接相机、传送带和PLC等设备，运行相关程序。视觉检测单元，包括多台工业RGB相机，负责实时地对辊道线上的轮毂采集图像。软件部分包含主控软件和视觉检测软件。主控软件根据作业流程和各个硬件设备的信号状态，向PLC发送运动控制信号。视觉检测软件负责对辊道线上的轮毂进行检测识别和定位。本发明使用数量较少的相机即可对整条流水线上的轮毂进行检测与定位，减少了成本；同时相机安装时离产线较远，避免高温对设备造成损伤；还有目标识别准确率高，能够排除轮毂之外的物体对检测的干扰。

Description

基于相机和机器学习的辊道线轮毂的检测定位方法及系统

技术领域

本发明属于目标检测技术领域，尤其是涉及一种基于相机和机器学习的辊道线轮毂的检测定位方法及系统。

背景技术

目前在一些大型列车，例如火车，的轮毂生产线上，由于轮毂较重，且生产线较长，为了减少电机的负载，并且节能减排，将生产线等分成若干段，每段分配若干电机，只有当轮毂经过该段生产线时，才开启该段的电机，故此需要实时识别轮毂的位置。

现在大多数大型列车的轮毂生产厂商，通过在产线两端安装光电传感器对轮毂进行定位，这种检测方法需要每段产线两边各放置一个光电传感器，因此一条产线需要数量较多的传感器，提高了成本。

并且轮毂制造工艺中有一道热处理工序，温度较高的轮毂会减少两旁光电传感器的使用寿命，而且当其中一个传感器出现故障时，轮毂会滞留在该段产线，需要停止整条产线来更换出现故障的传感器，影响生产效率。此外，若传感器被其他物体遮挡时，即使没有轮毂经过，也会造成该段电机工作，浪费能源。

发明内容

有鉴于此，本发明旨在提出一种基于相机和机器学习的辊道线轮毂的检测定位方法及系统，减少了成本，识别精确度高。

为达到上述目的，本发明的技术方案是这样实现的：

第一方面，本发明提供一种基于相机和机器学习的辊道线轮毂的检测定位方法，包括如下步骤：

1)根据需要检测的辊道线的长度结合相机模型计算需要的相机的个数及安装角度，安装部署相机后并与主控单元连接，实现将相机采集的图片传输到主控单元进行分析；

2)标注每个相机视野下对应的辊道线体在整条辊道线中所处的序号，将序号所在辊道线体的起始与终止位置的像素坐标进行保存；

3)接收相机实时采集的图片，提取图片中辊道线的四个顶点组成的矩阵区域作为感兴趣区域；

4)判断是否为辊道线起始端对应的首台相机采集的图片，若是则使用滑动框在图片的感兴趣区域滑动，提取滑动框中图像的hog特征；

若否，则利用首台相机实时检测到的轮毂位置训练卡尔曼滤波器，使用滑动框在图片中对应卡尔曼滤波器预测的位置附近滑动，提取滑动框中图像的hog特征；

5)利用训练好的支持向量机SVM模型对提取到的hog特征做类别预测，类别分为包含轮毂和不含轮毂；

6)利用极大值抑制算法对在步骤5中预测为轮毂的目标进行筛选，找出概率最大的目标作为轮毂；

7)将轮毂的像素坐标与标注过的辊道线体起始与终止像素坐标进行对比，判断轮毂所在线体的序号，然后主控单元将线体序号发送至PLC，控制相应序号线体的电机转动。

进一步的，训练支持向量机SVM模型的具体方法为：将相机采集得到的辊道线图像剪裁为轮毂和非轮毂数据集，利用所述数据集训练支持向量机SVM。

进一步的，步骤3中利用图像的投影映射将图片中的感兴趣区域投影在正视角下，即辊道线水平方向和图像水平方向平行，得到的感兴趣区域在正视角下的投影区域；在步骤4中使用滑动框(滑动窗口)在投影区域中滑动，提取滑动框中图像的hog特征。

第二方面，本发明提供一种基于RGB相机和机器学习的辊道线上轮毂的检测定位系统，包括主控单元和视觉检测单元，所述主控单元由工控机组成，用于连接相机、辊道线和PLC设备，PLC设备控制连接辊道线的各个线体的电机工作；所述视觉检测单元包括多台用于对应辊道线上进行轮毂信息采集的RGB相机，若干所述相机根据需要检测的辊道线的长度和角度进行安装，并将采集的图片传输到主控单元，所述主控单元包括如下模块：

图像提取模块，用于接收相机实时采集的图片，提取图片中辊道线的四个顶点组成的矩阵区域作为感兴趣区域；

特征提取模块，首先判断是否为辊道线起始端对应的首台相机采集的图片，若是则使用滑动框在图片的感兴趣区域滑动，提取滑动框中图像的hog特征；若否，则利用首台相机实时检测到的轮毂位置训练卡尔曼滤波器，使用滑动框在图片中对应卡尔曼滤波器预测的位置附近区域内滑动，提取滑动框中图像的hog特征；

类别预测模块，用于利用训练好的支持向量机SVM模型对提取到的hog特征做类别预测，类别分为包含轮毂和不含轮毂；

筛选模块，用于利用极大值抑制算法对类别预测模块中预测为轮毂的目标进行筛选，找出概率最大的目标作为轮毂；

输出模块，用于将轮毂的像素坐标与标注过的辊道线体起始与终止像素坐标进行对比，判断轮毂所在线体的序号，然后主控单元将线体序号发送至PLC，控制相应序号线体的电机转动。

第三方面，本发明提供一种终端设备，以执行所述基于相机和机器学习的辊道线轮毂的检测定位方法。

第四方面，本发明提供一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行所述基于相机和机器学习的辊道线轮毂的检测定位方法。

相对于现有技术，本发明所述的方法及系统具有以下优势：

(1)本发明基于RGB相机和机器学习实现辊道线上轮毂的检测定位，相比传统的每段线体两边各放置一个光电传感器，本发明使用数量较少的相机即可对整条流水线上的轮毂进行检测与定位，减少了成本；同时检测过程中，相机安装时离产线较远，避免热处理后高温的轮毂对设备造成损伤；还有，目标识别准确率高，并且能够排除轮毂之外的物体对检测的干扰。

(2)本发明的整套系统安装方便快捷，部署方便，可扩展性强

附图说明

构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明实施例所述基于相机和机器学习的辊道线轮毂的检测定位方法的流程图；

图2为本发明实施例所述相机的安装角度原理图；

图3为本发明实施例所述相机的安装示意图；

图4为本发明实施例所述将感兴趣区域投影在正视角下的原理图。

具体实施方式

下面将详细描述本发明的各个方面的特征和示例性实施例，为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本发明进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本发明，并不被配置为限定本发明。对于本领域技术人员来说，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本发明提供一种基于相机和机器学习的辊道线轮毂的检测定位方法，流程如图1所示，包括如下步骤：

1)根据需要检测的辊道线的长度结合相机模型计算需要的相机的个数及安装角度，安装部署相机后并与主控单元连接，实现将相机采集的图片传输到主控单元进行分析；本申请的相机采用高分辨率的工业相机；

2)手工标注每个相机视野下对应的辊道线体在整条辊道线中所处的序号，将序号所在辊道线体的起始与终止位置的像素坐标进行保存在配置文件中，每次开启系统后程序加载配置文件；

3)接收相机实时采集的图片，借助函数指针将图像数据依次传递给检测算法，提取图片中辊道线的四个顶点组成的矩阵区域作为感兴趣区域，利用感兴趣区域将辊道线区域从整张图像中提取出来，后续至检测辊道线区域，以提升后续算法的检测质量和效率；

4)判断是否为辊道线起始端对应的首台相机采集的图片，若是则使用滑动框(滑动窗口)在图片的感兴趣区域滑动，提取滑动框中图像的hog特征；

若否，则利用首台相机实时检测到的轮毂位置训练卡尔曼滤波器，使用滑动框(滑动窗口)在图片中对应卡尔曼滤波器预测的位置的左右各两个或三个轮毂直径的长度的区域内滑动，提取滑动框中图像的hog特征；

在步骤1中，根据现场流水线的长度和相机的参数计算需要相机的个数以及相机的安装角度，如图2所示，相机的安装角度原理为：

其中OA为相机距辊道线的距离，BC为相机视野的宽度，α为相机视线与竖直方向的夹角，β为相机的视角。结合图2，由几何关系可得：

由公式(1)、(2)可得相机安装时与竖直方向的夹角α满足的关系为：

确定相机个数：

在实际安装过程中夹角α不宜过大，最大的夹角阈值θ根据现场相机拍照时的图像效果而定。由夹角θ和公式(3)可以确定相机的视野宽度BC的阈值为w_th，即：

BC≤w_th

如图3所示，在安装时候相邻两个相机1的视野应该重叠，否则将会存在检测盲区，假设线体2的长度为La，重叠的距离为应不小于轮毂3的直径d，则相机的个数n为：

在步骤3中，提取感兴趣区域的具体方法为：当所有的相机安装完成后，各采集一张图像，然后将辊道线四个顶点的坐标保存在配置文件中，每次开启程序时，从文件中加载四个顶点的坐标，只检测位于四个顶点所组成的矩阵区域，即为感兴趣区域。

其中一个实施例中，由于相机与辊道线体之间存在夹角，并不是正对辊道线，所以相机获取到的图片中，辊道线与水平方向存在一定的夹角，由于滑动框沿水平方向滑动，这将对利用滑动框检测轮毂造成不便。因此该方法提出了利用图像的投影映射将提取到的感兴趣区域投影为正视角下。因此，步骤3中利用图像的投影映射将图片中的感兴趣区域投影在正视角下，即辊道线水平方向和图像水平方向平行，得到的感兴趣区域在正视角下的投影区域；在步骤4中使用滑动框(滑动窗口)在投影区域中滑动，提取滑动框中图像的hog特征；具体的，

其中通用的变换公式为：

公式(6)中，u,v是原始图片点的坐标，对应得到变换后的图片点的坐标x,y，其中x＝x'/w',y＝y'/w'。

重写之前的变换公式可以得到：

如图4所示，已知变换对应的几个点的坐标就可以求出变换矩阵A。得到变换矩阵A，结合变换公式，可将图像映射在对应的视角下。

其中一个实施例中训练支持向量机SVM模型的具体方法为：用安装好的相机采集大量的辊道线的图片，并将图片投影映射在正视角下，即辊道线的水平方向和图像的水平方向平行，将得到的辊道线图像剪裁为轮毂和非轮毂数据集，利用所述数据集训练支持向量机SVM模型。

其中一个实施例，在步骤3中，为排除观测噪声对目标物体检测的影响，本发明采用高斯滤波算法将图像中的高频噪声滤除。

I_G(m,n)＝G(i,j)*I_raw(i,j),i＝{m-1,m,m+1},j＝{n-1,n,n+1}

其中I_raw为高斯滤波之前的数据，I_G为高斯滤波之后的数据，

为高斯滤波系数，(i，j)为像素的横坐标。

在步骤4中，利用首台相机实时检测到的轮毂位置训练卡尔曼滤波器，使用滑动框(滑动窗口)在图片中对应卡尔曼滤波器预测的位置的左右各两个或三个轮毂直径的长度的区域内滑动，提取滑动框中图像的hog特征；具体的，轮毂的运动模型为：

即X(n+1)＝AX(n)+BU(n)+W(n)

其中

B＝[0],W(n)为系统噪声。

观测方程为：

即Z(n)＝HX(n)+V(n)，其中

V(n)为观测噪声。

根据卡尔曼滤波可知，协方差矩阵更新方程为：

P(n|n-1)＝AP(n-1|n-1)A^T+Q

状态更新方程为：

Kg(n)＝X(n|n-1)+Kg(n)(Z(n)-HX(n|n-1)

协方差矩阵更新方程和状态更新方程依次迭代可实现卡尔曼滤波，完成对轮毂状态的估计和预测。

本发明另一实施例的一种基于RGB相机和机器学习的辊道线上轮毂的检测定位系统，包含硬件和软件两部分，其中硬件部分包含主控单元和视觉检测单元。主控单元负责连接相机、传送带和PLC等设备，运行相关程序。视觉检测单元，包括多台工业RGB相机，负责实时地对辊道线上的轮毂采集图像。软件部分包含主控软件和视觉检测软件。主控软件根据作业流程和各个硬件设备的信号状态，向PLC发送运动控制信号。视觉检测软件负责对辊道线上的轮毂进行检测识别和定位。

具体的，基于RGB相机和机器学习的辊道线上轮毂的检测定位系统包括主控单元和视觉检测单元，所述主控单元由工控机组成，用于连接相机、辊道线和PLC设备，PLC设备控制连接辊道线的各个线体的电机工作；所述视觉检测单元包括多台用于对应辊道线上进行轮毂信息采集的RGB相机，若干所述相机根据需要检测的辊道线的长度和角度进行安装，并将采集的图片传输到主控单元，所述主控单元包括如下模块：

特征提取模块，首先判断是否为辊道线起始端对应的首台相机采集的图片，若是则使用滑动框(滑动窗口)在图片的感兴趣区域滑动，提取滑动框中图像的hog特征；若否，则利用首台相机实时检测到的轮毂位置训练卡尔曼滤波器，使用滑动框(滑动窗口)在图片中对应卡尔曼滤波器预测的位置附近滑动，提取滑动框中图像的hog特征；

本发明提供一种终端设备，以执行所述基于相机和机器学习的辊道线轮毂的检测定位方法。

本发明提供一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行所述基于相机和机器学习的辊道线轮毂的检测定位方法。

还需要说明的是，本发明中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本发明不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。

以上所述，仅为本发明的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。

Claims

1.基于相机和机器学习的辊道线轮毂的检测定位方法，其特征在于，包括如下步骤：

1）根据需要检测的辊道线的长度结合相机模型计算需要的相机的个数及安装角度，安装部署相机后并与主控单元连接，实现将相机采集的图片传输到主控单元进行分析；

2）标注每个相机视野下对应的辊道线体在整条辊道线中所处的序号，将序号所在辊道线体的起始与终止位置的像素坐标进行保存；

3）接收相机实时采集的图片，提取图片中辊道线的四个顶点组成的矩阵区域作为感兴趣区域；

4）判断是否为辊道线起始端对应的首台相机采集的图片，若是则使用滑动框在图片的感兴趣区域滑动，提取滑动框中图像的hog特征；

若否，则利用首台相机实时检测到的轮毂位置训练卡尔曼滤波器，使用滑动框在图片中对应卡尔曼滤波器预测的位置附近区域内滑动，提取滑动框中图像的hog特征；

5）利用训练好的支持向量机SVM模型对提取到的hog特征做类别预测，类别分为包含轮毂和不含轮毂；

6）利用极大值抑制算法对在步骤5中预测为轮毂的目标进行筛选，找出概率最大的目标作为轮毂；

7）将轮毂的像素坐标与标注过的辊道线体起始与终止像素坐标进行对比，判断轮毂所在线体的序号，然后主控单元将线体序号发送至PLC，控制相应序号线体的电机转动。

2.根据权利要求1所述的方法，其特征在于：训练支持向量机SVM模型的具体方法为：将相机采集得到的辊道线图像剪裁为轮毂和非轮毂数据集，利用所述数据集训练支持向量机SVM。

3.根据权利要求1所述的方法，其特征在于：步骤3中利用图像的投影映射将图片中的感兴趣区域投影在正视角下，即辊道线水平方向和图像水平方向平行，得到的感兴趣区域在正视角下的投影区域；

在步骤4中使用滑动框在投影区域中滑动，提取滑动框中图像的hog特征。

4.基于RGB相机和机器学习的辊道线上轮毂的检测定位系统，其特征在于，包括主控单元和视觉检测单元，所述主控单元由工控机组成，用于连接相机、辊道线和PLC设备，PLC设备控制连接辊道线的各个线体的电机工作；所述视觉检测单元包括多台用于对应辊道线上进行轮毂信息采集的相机，若干所述相机根据需要检测的辊道线的长度和角度进行安装，并将采集的图片传输到主控单元，所述主控单元包括如下模块：

特征提取模块，首先判断是否为辊道线起始端对应的首台相机采集的图片，若是则使用滑动框在图片的感兴趣区域滑动，提取滑动框中图像的hog特征；若否，则利用首台相机实时检测到的轮毂位置训练卡尔曼滤波器，使用滑动框在图片中对应卡尔曼滤波器预测的位置附近滑动，提取滑动框中图像的hog特征；

5.一种终端设备，其特征在于，以执行权利要求1至3中任一所述基于相机和机器学习的辊道线轮毂的检测定位方法。

6.一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行权利要求1至3中任一所述基于相机和机器学习的辊道线轮毂的检测定位方法。