CN104760812B - 基于单目视觉的传送带上产品实时定位系统和方法 - Google Patents

Abstract

基于单目视觉的传送带上产品实时定位系统，包括摄像机，在传送带首端上方设有一个摄像机，摄像机与计算机连接。在静止的传送带的定位区域内放置有标定板。一种基于单目视觉的传送带上产品实时定位系统进行产品定位的方法，包括以下步骤：建立世界坐标系；测量出摄像机的在传送带平面上的投影点的世界坐标；产生一个取景框图片；对图片进行边缘检测，得到只有产品的边缘的图片；运用行扫描方式分离产品；对图片中单个产品进行列扫描得到产品的下边界；计算出图片中下边界各点的世界坐标，计算出世界坐标系各点沿传送带至投影点的距离，找出最近的一点和距离，该最近的一点即为定位点和定位距离；通过以上步骤实现基于单目视觉的产品实时定位。

Description

基于单目视觉的传送带上产品实时定位系统和方法

技术领域

本发明涉及机器视觉定位技术领域，特别是一种基于单目视觉的传送带上产品实时定位方法。

背景技术

基于机器视觉的目标产品的定位技术以光学为基础，融入了图像处理技术、光电子学、计算机技术等现代科学技术。现在，基于机器视觉的目标定位技术主要分为两类，双目视觉结构系统和单目视觉结构系统。运用较为广泛的双目视觉系统精度较高，但系统复杂；与之相比，单目视觉结构系统虽精度不如双目视觉系统，但胜在系统结构简单，因此在工业生产以其低成本，操作简单而也被广泛应用。

在定位过程中，对产品的识别尤为重要，传统的目标识别主要使用特征提取和匹配，但要识别出一个产品，必须知道这个产品在图像中体现出的特征，但在实际成产状态中，产品的特征的种类繁多，选取较为麻烦，而且还有可能这些特征点在平面定位不能作为产品定位点。

发明内容

本发明所要解决的技术问题是提供一种基于单目视觉的传送带上产品实时定位方法，可以克服现有技术中采用特征提取定位方式的不足，实现产品在传送带上的精确定位。

为解决上述技术问题，本发明所采用的技术方案是：基于单目视觉的传送带上产品实时定位系统，包括摄像机，在传送带首端上方设有一个摄像机，摄像机与计算机连接。

在静止的传送带的定位区域内放置有标定板。

一种采用上述的基于单目视觉的传送带上产品实时定位系统进行产品定位的方法，包括以下步骤：

一、计算摄像机的内参数，建立世界坐标系得到外参数和基础矩阵；

二、测量出摄像机的在传送带平面上的投影点的世界坐标；

三、根据定位要求，产生一个四边形二值化的图片，作为取景框图片；

四、对图片进行边缘检测，并和取景框图片进行与运算，得到只有产品的边缘的图片；

五、运用行扫描方式，自动分离产品；

六、对图片中单个产品进行列扫描得到产品的下边界；

七、计算出图片中下边界各点的世界坐标，计算出世界坐标系各点沿传送带至投影点的距 离，找出最近的一点和距离，该最近的一点即为定位点和定位距离；

通过以上步骤实现产品实时定位。

优选的方案中，传送带启动前，固定摄像机，在静止的传送带平面上，在要求的定位范围内放置一个标定板，通过摄像机获取多张含有各个角度的标定板清晰成像的图片，运用matlab工具箱toolbox_calib计算得到摄像机的内参数；

并且以选取标定板一个格点为坐标原点O点，建立世界坐标系OXYZ，其中X轴平行于传送带运动方向，Y轴垂直于传送带运动方向，Z轴垂直于传送带平面，在后续过程中保持摄像机的位置不变；

测量出摄像机投影在传送带平面上投影点的世界坐标(X_C,Y_C,0)。

优选的方案中，对摄像机获取的图像分帧处理，分离含有标定板的图片和含有传送带的图片并保存下来，结合第二步中建立的世界坐标系，再次利用matlab工具箱toolbox_calib计算出摄像机外参数和基础矩阵：

优选的方案中，在含有传送带的图片中，确定出一个四边形框，仅使图片中的传送带平面尽可能落在四边形内，记录四边形的四个角的像素坐标，运用matlab中的roipoly函数产生一个四边形二值化的图片，作为取景框图片。

优选的方案中，取走标定板，启动传送带，通过摄像机获取含有产品的图片，进行分帧处理；

利用canny算子，设置合适的阈值对摄像机中含有产品的每一帧图片进行边缘检测，得到含有产品边缘的二值化图片；

处理后的含有产品边缘的二值化图片分别和取景框图片进行与运算，得到只含有产品的边缘的图片。

优选的方案中，运用find函数找出含有产品的边缘的图片中所有白色点的像素坐标(x,y),从而确定出了y的最大值j和最小值i。然后在含有产品的边缘的图片运用find函数以第i-1行为起始点开始向下逐行扫描，第一个扫描到有白点的一行，是第一个产品所在区域的起始行，然后向下继续扫描，直到第k行以及在第k行到第k+5行之间均没有白点时，则k-1是第一个产品所在区域的终止行，第一产品所在区域是第i行到第k-1行；然后以第 k+5行为起始点扫描确定出第二个产品的起始行，终止行和所在区域，依次下去可以逐个确定图片所有产品的区域，最后根据第m(m＝1,2,3...)个区域的起始行和终止行，运用find函数从坐标(x,y)中找出该区域中所有白点的像素坐标，这就是第m个产品所有点像素坐标，通过上述逐行扫描实现自动化分离产品；

优选的方案中，确定出第m个产品所有点像素x轴坐标的最大值s和最小值t，在第m个区域范围内运用find函数从t列到s列进行逐列扫描，找出该区域中每一列中所有白点像素y轴坐标值最大的一点，即边界点(u,v)，这些边界点构成第m个产品下边界。

优选的方案中，运用摄像机的基础矩阵计算出第m个产品的下边界中各点世界坐标，根据由空间三维坐标到摄像机平面二维坐标映射关系，取Z＝0后，得到摄像机成像平面二维坐标到空间传送带平面中二维坐标映射关系：

其中u,v分别是图像中第m个产品下边界各点像素坐标；λ是缩放因子；H是基础矩阵；X、Y是图像中该点对应在传送带平面上世界坐标。

优选的方案中，根据所求出的第m个产品所有下边界点的世界坐标系中X轴坐标中，运用matlab中min函数求出最小的X轴坐标X_min，计算出摄像机和产品沿传送带的定位距离L，即可实现传送带上产品的实时定位：

L＝|X_min-X_c|

其中Xc是摄像机的在传送带平面上的投影点的X轴坐标。

本发明提供的一种基于单目视觉的传送带上产品实时定位方法，与现有技术相比，具有如下的有益效果：

1、本发明的方法采用单目视觉系统进行平面标定和测距，实现产品的定位。整个系统只需要一个标定板，一台计算机和一台摄像机就可以完成目标产品的定位，避免了双目视觉中三维立体匹配的困难，具有环境适应性好、设备简单，代价较低、测量过程快捷和测量数据比较客观的优点。

2、本发明的方法综合考虑了传送带平面颜色单一，而外界环境复杂等特点，采用取景框方式，对经过canny算子处理后二值化的图片加框处理，可以得到只含有定位区域的图片，运用行扫描的方式可以得到每个产品在图片中的区域，最后在各个区域内提取和识别相 应的产品。最后通过列扫描得到产品的下边界。实现这个过程的算法简单，易于实现，而且不用选择，提取和匹配特征点，能够快速精确在图片中得到目标产品。

附图说明

下面结合附图和实施例对本发明作进一步说明：

图1为本发明的整体结构示意图。

图2为本发明中定位示意图。

图3为本发明中的取景框图片。

图4为本发明中只含有产品的边缘的图片。

图5为本发明方法的工作流程图。

图中：摄像头1，计算机2，产品3，定位区域4，传送带5。

具体实施方式

实施例1：

如图1中，基于单目视觉的传送带上产品实时定位系统，包括摄像机1，在传送带5首端上方设有一个摄像机1，摄像机1与计算机2连接。与现有技术相比，本发明的系统更为简化，便于安装和设置。

如图2中所示，在静止的传送带5的定位区域4内放置有标定板。通过标定板建立世界坐标系，实现精确定位。

实施例2：

如图1～5中所示，一种采用上述的基于单目视觉的传送带上产品实时定位系统进行产品定位的方法，包括以下步骤：

一、计算摄像机的内参数，内参数属于计算机视觉领域中专业术语。指的是摄像机内部参数，例如焦距，成像平面中心坐标，像素的物理尺寸等参数，本例中由摄像机的焦距，相机的成像平面中心坐标等参数组组成的3×3矩阵，这些系数仅与摄像机有关系。

建立世界坐标系得到外参数和基础矩阵；

本例中，图像坐标使用x轴和y轴，世界坐标使用X轴和Y轴。

二、测量出摄像机的在传送带平面上的投影点C的世界坐标；

三、根据定位要求，产生一个四边形abcd二值化的图片，作为取景框图片；

四、对图片进行边缘检测，并和取景框图片进行与运算，得到只有产品的边缘的图片；

五、运用行扫描方式，自动分离产品；

六、对图片中单个产品进行列扫描得到产品的下边界；

七、计算出图片中下边界各点的世界坐标，计算出世界坐标系各点沿传送带至投影点C的距离，找出最近的一点和距离，该最近的一点即为定位点和定位距离；

通过以上步骤实现产品实时定位。

优选的方案中，传送带启动前，固定摄像机，在静止的传送带平面上，在要求的定位范围内放置一个标定板，通过摄像机获取多张含有各个角度的标定板清晰成像的图片，运用matlab工具箱toolbox_calib计算得到摄像机的内参数；

并且以选取标定板一个格点为坐标原点O点，建立世界坐标系OXYZ，其中X轴平行于传送带运动方向，Y轴垂直于传送带运动方向，Z轴垂直于传送带平面，在后续过程中保持摄像机的位置不变；

测量出摄像机投影点在传送带平面上C点的世界坐标(X_C,Y_C,0)。

优选的方案中，对摄像机获取的图像分帧处理，分离含有标定板的图片和含有传送带的图片并保存下来，结合第二步中建立的世界坐标系，再次利用matlab工具箱toolbox_calib计算出摄像机外参数和基础矩阵：

优选的方案如图3中，在含有传送带的图片中，确定出一个四边形abcd框，仅使图片中的传送带平面尽可能落在四边形abcd内，即杂乱的背景不要落入到四边形abcd内。记录四边形的四个角的像素坐标，运用matlab中的roipoly函数产生一个四边形abcd二值化的图片，作为取景框图片。

优选的方案中，取走标定板，启动传送带，通过摄像机获取含有产品(3)的图片，进行分帧处理；

利用canny算子，设置合适的阈值对摄像机中含有产品3的每一帧图片进行边缘检测，得到含有产品边缘的二值化图片；

处理后的含有产品边缘的二值化图片分别和取景框图片进行与运算，得到只含有产品的边缘的图片。

进一步优选的方案如图4中，运用find函数找出含有产品的边缘的图片中所有白色点(其灰度值为1)的像素坐标(x,y),从而确定出了y的最大值j和最小值i。然后在含有产品的边缘的图片运用find函数以第i-1行为起始点开始向下逐行扫描，第一个扫描到有白点的一行，是第一个产品所在区域的起始行，然后向下继续扫描，直到第k行以及在第k行到第k+5行之间均没有白点时，则k-1是第一个产品所在区域的终止行，第一产品所在区域是第i行到第k-1行；然后以第k+5行为起始点扫描确定出第二个产品的起始行，终止行和所在区域，依次下去可以逐个确定图片所有产品的区域，最后根据第m(m＝1,2,3...)个区域的起始行和终止行，运用find函数从坐标(x,y)中找出该区域中所有白点的像素坐标，这就是第m个产品所有点像素坐标，通过上述逐行扫描实现自动化分离产品；

优选的方案中，确定出第m个产品所有点像素x轴坐标的最大值s和最小值t，在第m个区域范围内运用find函数从t列到s列进行逐列扫描，找出该区域中每一列中所有白点像素y轴坐标值最大的一点，即边界点(u,v)，这些边界点构成第m个产品下边界。

优选的方案中，运用摄像机的基础矩阵计算出第m个产品的下边界中各点世界坐标，根据由空间三维坐标到摄像机平面二维坐标映射关系，由于产品下边界位于传送带平面上，取Z＝0后，得到摄像机成像平面二维坐标到空间传送带平面中二维坐标映射关系：

其中u,v分别是图像中第m个产品下边界各点像素坐标；λ是缩放因子；H是基础矩阵；X、Y是图像中该点对应在传送带平面上世界坐标。

优选的方案中，根据所求出的第m个产品所有下边界点的世界坐标系中X轴坐标中，运用matlab中min函数求出最小的X轴坐标X_min，计算出摄像机和产品沿传送带的定位距离L，即可实现传送带上产品的实时定位：

L＝|X_min-X_c|

其中Xc是摄像机的在传送带平面上的投影点(C)的X轴坐标。

本例中的下边界是指产品在传送带平面上最靠近摄像机的在传送带平面上的投影点(C)的边界。而定位点则是下边界中沿X轴方向距离摄像机在传送带平面上投影点(C)最近一点。

本发明基于通用的计算软件MATLAB进行编程和图像处理。但是本领域技术人员应该了解的，采用其他的具有相同或类似功能的计算软件，也能够实现本发明的目的。因此，采用所述的其他的具有相同或类似功能的计算软件进行图像处理运算，也属于本发明的保护范围。

上述的实施例仅为本发明的优选技术方案，而不应视为对于本发明的限制，本发明 的保护范围应以权利要求记载的技术方案，包括权利要求记载的技术方案中技术特征的等同替换方案为保护范围。即在此范围内的等同替换改进，也在本发明的保护范围之内。

Claims (9)

1.基于单目视觉的传送带上产品实时定位方法，包括摄像机(1)，在传送带(5)首端上方设有一个摄像机(1)，摄像机(1)与计算机(2)连接，其特征是包括以下步骤：

一、计算摄像机的内参数，建立世界坐标系得到外参数和基础矩阵；

二、测量出摄像机的在传送带平面上的投影点(C)的世界坐标；

三、根据定位要求，产生一个四边形(abcd)二值化的图片，作为取景框图片；

四、对图片进行边缘检测，并和取景框图片进行与运算，得到只有产品的边缘的图片；

五、运用行扫描方式，自动分离产品；

六、对图片中单个产品进行列扫描得到产品的下边界；

七、计算出图片中下边界各点的世界坐标，计算出世界坐标系各点沿传送带至投影点(C)的距离，找出最近的一点和距离，该最近的一点即为定位点和定位距离；

通过以上步骤实现产品实时定位。

2.根据权利要求1所述的基于单目视觉的传送带上产品实时定位方法，其特征是：在静止的传送带(5)的定位区域(4)内放置有标定板。

3.根据权利要求1所述的基于单目视觉的传送带上产品实时定位方法，其特征是：传送带启动前，固定摄像机，在静止的传送带平面上，在要求的定位范围内放置一个标定板，通过摄像机获取多张含有各个角度的标定板清晰成像的图片，运用matlab工具箱toolbox_calib计算得到摄像机的内参数；

并且以选取标定板一个格点为坐标原点O点，建立世界坐标系OXYZ，其中X轴平行于传送带运动方向，Y轴垂直于传送带运动方向，Z轴垂直于传送带平面，在后续过程中保持摄像机的位置不变；

测量出摄像机投影在传送带平面上投影点(C)的世界坐标(X_C,Y_C,0)。

4.根据权利要求1所述的基于单目视觉的传送带上产品实时定位方法，其特征是：对摄像机获取的图像分帧处理，分离含有标定板的图片和含有传送带的图片并保存下来，结合第二步中建立的世界坐标系，再次利用matlab工具箱toolbox_calib计算出摄像机外参数和基础矩阵：

$H=\left[\begin{array}{ccc}a& b& c\\ d& e& f\\ g& h& i\end{array}\right].$

5.根据权利要求1所述的基于单目视觉的传送带上产品实时定位方法，其特征是：在含有传送带的图片中，确定出一个四边形(abcd)框，仅使图片中的传送带平面落在四边形(abcd)内，记录四边形的四个角的像素坐标，运用matlab中的roipoly函数产生一个四边形(abcd)二值化的图片，作为取景框图片。

6.根据权利要求5所述的基于单目视觉的传送带上产品实时定位方法，其特征是：取走标定板，启动传送带，通过摄像机获取含有产品(3)的图片，进行分帧处理；

利用canny算子，设置合适的阈值对摄像机中含有产品(3)的每一帧图片进行边缘检测，得到含有产品边缘的二值化图片；

处理后的含有产品边缘的二值化图片分别和取景框图片进行与运算，得到只含有产品的边缘的图片。

7.根据权利要求6所述的基于单目视觉的传送带上产品实时定位方法，其特征是：运用find函数找出含有产品的边缘的图片中所有白色点的像素坐标(x,y),从而确定出了y的最大值j和最小值i；

然后在含有产品的边缘的图片运用find函数以第i-1行为起始点开始向下逐行扫描，第一个扫描到有白点的一行，是第一个产品所在区域的起始行，然后向下继续扫描，直到第k行以及在第k行到第k+5行之间均没有白点时，则k-1是第一个产品所在区域的终止行，第一产品所在区域是第i行到第k-1行；然后以第k+5行为起始点扫描确定出第二个产品的起始行，终止行和所在区域，依次下去可以逐个确定图片所有产品的区域，最后根据第m(m＝1,2,3...)个区域的起始行和终止行，运用find函数从坐标(x,y)中找出该区域中所有白点的像素坐标，这就是第m个产品所有点像素坐标，通过上述逐行扫描实现自动化分离产品；

确定出第m个产品所有点像素x轴坐标的最大值s和最小值t，在第m个区域范围内运用find函数从t列到s列进行逐列扫描，找出该区域中每一列中所有白点像素y轴坐标值最大的一点，即边界点(u,v)，这些边界点构成第m个产品下边界。

8.根据权利要求7所述的基于单目视觉的传送带上产品实时定位方法，其特征是：运用摄像机的基础矩阵计算出第m个产品的下边界中各点世界坐标，根据由空间三维坐标到摄像机平面二维坐标映射关系，取Z＝0后，得到摄像机成像平面二维坐标到空间传送带平面中二维坐标映射关系：

$\mathrm{\λ}\left[\begin{array}{c}X\\ Y\\ 1\end{array}\right]=H^{-1}\×\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]$

其中u,v分别是图像中第m个产品下边界各点像素坐标；λ是缩放因子；H是基础矩阵；X、Y是图像中该点对应在传送带平面上世界坐标。

9.根据权利要求8所述的基于单目视觉的传送带上产品实时定位方法，其特征是：根据所求出的第m个产品所有下边界点的世界坐标系中X轴坐标中，运用matlab中min函数求出最小的X轴坐标X_min，计算出摄像机和产品沿传送带的定位距离L，即可实现传送带上产品的实时定位：

L＝|X_min-X_c|

其中Xc是摄像机的在传送带平面上的投影点(C)的X轴坐标。