CN116758017A - 流水线上密集竖排的袋装食品精确数量与异常情况的视觉实时检测方法 - Google Patents

Abstract

本发明公开了流水线上密集竖排的袋装食品精确数量与异常情况的视觉实时检测方法，该方法采用改进的YOLO深度神经网络对密集竖排的袋装食品进行检测，得到小袋装食品的位置、类别、数量和姿态角度；利用该识别结果与视觉深度信息相结合，实时检测出流水线上异常摆放的个别小包装的位姿，便于及时处理异常摆放的食品。为进一步精确判别目标个数，根据每个检测出的包围框的宽度信息判断个数检测的可信度，若可信度低，对误判的目标物体个数进行纠正，确保识别准确。该方法具有检测速度快、密集排列袋装食品的数量检测精确、且可以识别异常情况的优点，对于机器人按多样的数量与排列要求实时自主地完成包装任务至关重要。

Description

流水线上密集竖排的袋装食品精确数量与异常情况的视觉实 时检测方法

技术领域

本发明涉及工业流水线上视觉检测领域，具体针对传送带上紧密竖排的小型袋装食品数量及异常情况的实时判断问题，提出一种基于深度视觉的有效检测方法。

背景技术

近年来，随着人工智能与机器人技术的迅速发展，已经有机器人应用于流水线上对移动物品的实时操作中，例如食品分拣、拾取、包装等工艺流程中。然而，大多数应用中，机器人通过目标检测和轨迹规划算法一次只能操作单个物体，或者对流水线上能够明显分离开的物品进行操作，对于密集竖排且快速移动过来的小型袋装食品的操作仍主要由人工来完成，将该种境况下的小型袋装食品按多样的数量与排列要求实时快速地放入大包装的操作环节对于机器人来说是一个典型的难题。

该难题的主要难点之一是流水线上紧密排列且快速移动地小型袋装食品的数量与异常情况的实时检测：(1)紧密竖排、小袋不规则有变形且快速移动，导致相机拍到的图像出现模糊，传统的针对单个物品的检测算法较难将该种情况下的小包装之间区分开，容易出现目标个数误判的情况，精确数量的检测较难，最终致使机器人抓取失败；(2)紧密竖排移动过来的小包装上面偶尔有异常杂乱摆放的个别小包装，需要及时检测到其位姿，便于机器人快速将其移除，不影响正常的自主包装流程。

发明内容

针对以上难题，本发明提出了一种流水线上密集竖排的袋装食品精确数量与异常情况的视觉实时检测方法。该方法采用改进的YOLO深度神经网络对密集竖排的袋装食品进行检测，得到小袋装食品的位置、类别、数量和姿态角度；利用该识别结果与视觉深度信息相结合，实时检测出流水线上异常摆放的个别小包装的位姿，便于及时处理异常摆放的食品。为进一步精确判别目标个数，根据每个检测出的包围框的宽度信息判断个数检测的可信度，若可信度低，对误判的目标物体个数进行纠正，确保识别准确。

具体步骤如下：

(1)为整个系统建立坐标系。系统内坐标系包括机器人坐标系、相机坐标系、传送带坐标系。其中传送带的坐标系应尽可能与机器人坐标系平行，用Matlab实现相机标定，完成各个坐标系之间的转换。

(2)流水线上密集竖排的小型袋装食品数量检测与异常情况识别。本发明基于RealsenseD435深度相机(分辨率1280像素*720像素)实时采集流水线上小型袋装的图片，并采用改进的YOLO深度神经网络训练识别模型，该改进的YOLO深度神经网络在数据加载部分添加了一个θ维度，将θ转为了分类问题，并在损失函数中添加了θ角度分类损失，可以检测出小型袋装的位置、类别、数量和旋转角度。由于深度相机和放置小型袋装的输送带是固定的，正常情况下，移动中小型袋装的深度信息变化较小。而异常情况下，密集排列的小型袋装食品的上方会多余出1个或多个小型袋装食品(平躺、杂乱放置在密集竖排的小型包装袋上)，此时，检测出的目标物体的深度信息低于正常值，可利用检测出的目标物体的深度信息与深度网络模型识别结果相结合辨别出异常摆放的零食，并将异常物品的位置与旋转角度信息实时传送给机器人，使机器人可以快速地以合适的姿态抓取异常摆放的零食，将其移除。此种异常辨别方法，计算量小，实时性好；由于异常摆放的小型袋装是任意方向的，发明中应用到改进的YOLO神经网络来获取包围框的旋转角度信息，检测速度快，适合在在实际工业生产环境中应用。

(3)误判小型袋装食品数量情况下的检测纠正。由于小型袋装食品在流水线上的运动速度快，深度相机拍到的图片是模糊的，容易将多个目标物体识别成一个，需要对误判的个数进行纠正，以免影响机器人后续操作。由于深度相机与放置小型袋装食品的平台高度是相对固定的，正常情况下，检测出目标物体的宽度相近或略微有差别。因此，可设定物体宽度的经验范围，若检测出的宽度在正常范围之内，则可信度高；若检测出的宽度远远大于正常范围，则可信度低，可能有误判发生，需要对检测个数进行纠正，发明中依据经验的物体宽度值对个数误判发生处进行重新计算。此步骤简便且计算量小，避免了误判目标个数导致夹爪规划错误的情况发生。

根据上述技术方案，本发明具有以下优点：

本发明提供了一种基于改进的YOLO深度神经网络的流水线上密集竖排的袋装食品精确数量与异常情况实时检测方法，该方法可以迅速检测出小型袋装食品的位置、类别、数量和旋转角度；利用深度信息与包围框旋转角度等信息相结合，可以迅速检测出流水线上异常摆放的小零食，方便机器人及时移除异常物品；最后通过纠正可信度低的物品宽度来减少因图像模糊导致的零食个数误判。该发明具有检测速度快、密集排列袋装食品的数量检测精确、且可以识别异常情况的优点，对于机器人按多样的数量与排列要求实时自主地完成包装任务至关重要。

附图说明

图1本发明的实现流程图。

图2小型袋装食品摆放异常情况处理。

图3检测误判个数的情况并纠正结果。

具体实施方式

以下结合附图和实施例对本发明进行详细说明。

首先需要建立机器人、相机和传送带坐标系，并完成相机标定。发明中采用手在眼外的相机标定方式，将标定板放入相机视野内，移动标定板，从不同角度拍摄多张照片，应用MATLAB获取相机的内外参数、畸变系数等。坐标系的转换关系如下：

其中，(X_b,Y_b,Z_b)为机器人坐标系，f_x、f_y、u₀、v₀代表相机的内参，代表相机的外参，从MATLAB中可以获得到这6个参数。/>代表传送带坐标系相对于机械臂坐标系的旋转矩阵和平移矩阵。传送带坐标系应尽可能与机械臂坐标系平行，这样/>可以推理出，/>通过测量得到。Z_c代表着目标物体的深度信息，可以从深度相机中获取，u、v则表示目标物体的像素坐标，可以通过检测得到。完成标定后，将标定结果应用在本发明中，可实现机器人的准确抓取。

下文结合附图对本发明做进一步说明。

附图1为本发明的实现流程图。本发明中，用RealsenseD435深度相机采集小型袋装食品的图片，利用改进的YOLO深度神经网络与视觉深度信息相结合可以得到目标检测结果(x,y,w,h,depth,θ)。其中x,y是小零食位置，w,h表示检测出包围框的宽度与高度，depth表示深度信息，θ表示小零食包围框的旋转角度。由于相机和放置目标物体的平台深度距离是固定的，正常摆放的小型袋装食品的深度信息固定在一定范围，此时需要设定一个固定值，用于判断食品的摆放是否异常。若异常，则将异常摆放的零食的目标检测结果(x,y,w,h,depth,θ)传送给机器人，机器人根据检测结果，规划抓取姿态，及时移开异常摆放的零食。由于同类小型袋装食品的包装袋是一样的，检测结果中的宽度(w)变化较小，通过设定一个宽度可信度值来判断小型袋装食品的个数是否有误判；若宽度可信度低，则需要通过本发明的方法重新计算个数，随后控制夹爪的闭合程度完成正常抓取。

附图2为小型袋装食品摆放异常情况检测及处理的流程。首先，相机捕捉流水线上小型袋装食品的图片，如图2，捕捉到的图片中有异常摆放的食品，需要将其及时移除。根据实验经验，得出一个正常摆放小型袋装食品的最低深度信息(本发明中，该最低深度信息值为250mm)。若检测结果中该深度信息低于250mm，则此食品判定为异常摆放的食品。流程中，相机捕捉到的照片送入改进的深度神经网络，可得出有两个食品摆放异常，随后根据检测结果中的位置信息和角度信息，机器人规划抓取姿态，移除异常摆放的小型袋装食品。目标检测结果中的θ是以水平轴为起始，短边宽度为终止，顺时针转过的角度。在抓取异常摆放的食品时，θ可以是绕Z轴旋转的角度，将其转换为四元数，即可实现机械臂以合适的姿态处理异常情况。其中，欧拉角(α,β,θ)到四元数(q₀,q₁,q₂,q₃)的转换关系为：

这里，α、β、θ分别代表绕X、Y、Z轴旋转过的角度，由于目标检测结果中的θ可以是绕Z轴旋转的角度，将X、Y轴转过的角度设置为0，将α＝0、β＝0代入上述公式中，可得：

q₁＝0

q₂＝0

附图3为检测误判个数的情况并纠正结果的流程图。在工业生产线上，对小型袋装食品的包装速度要求较高，传送带的运动速度快，相机捕捉高速运动的目标物体时会出现图像模糊的现象，容易将多个目标物体识别成一个。图3为个数检测错误的一个示例，首先，相机需要捕获运动中的目标物体的图片，从图中可以观察到，捕获到的图片相比静态的图片略为模糊。由于相机和传送带是固定的，小型袋装食品包装袋一样，因此得出的每个袋装的宽度信息一致或略微相差。本发明中，得到每个目标物体的宽度信息最多为80个像素。将食品的宽度信息的可信度值设置为80像素(不同类别的小包装可通过实验设置不同的值)，若检测结果中宽度信息大于80像素，存在着个数误判的情况。如图3的检测结果中，检测到的目标物体的个数明显有错误，存在着将多个物体识别成一个的情况。接下来需要对错误的个数进行纠正，由于目标物体排列密集且宽度一致，可通过计算它们的总宽度，除以宽度的正常值来获取修正后个数。在YOLO程序中，每个目标框的左上角和右下角的像素坐标信息可以得到，创建两个空列表，将每个目标框的左上角和右下角的x坐标信息存储起来，分别找出最小值和最大值，除以宽度的正常值，即可纠正个数。具体公式为：

其中，n代表着被纠正的个数，x_max代表右下角的x坐标信息的最大值，x_min代表左上角x坐标信息的最小值，w_n代表宽度信息的正常值。纠正后，可根据纠正后的个数控制夹爪的闭合程度，实现包装任务。

在小型袋装食品个数识别正常的情况下，取小包装中心像素坐标的平均值作为多个小包装的坐标，方便规划机器人每次的抓取位姿。例如，第一个小包装的像素坐标从左到右为(x₁,y₁)，第二个小包装的像素坐标为(x₂,y₂)，第n个小包装的像素坐标为(x_n,y_n)。所以应该采取的坐标如下：

其中，n表示识别的小包装食品数量。当食品个数误判时，用以上两个公式获得的坐标信息大多数情况下不是中点，需要修改公式获取正确的中心点。若存在个数误判的情况时，应采取的坐标如下：

其中x_max1代表目标框中心的x坐标的最大值，x_min1代表目标框中心的x坐标的最小值，y_max代表目标框中心的y坐标的最大值，y_min代表目标框中心的y坐标的最小值。

Claims (6)

1.流水线上密集竖排的袋装食品精确数量与异常情况的视觉实时检测方法，其特征在于，该方法包括如下步骤：

(1)建立系统内坐标系；所述系统内坐标系包括机器人坐标系、相机坐标系、传送带坐标系；其中传送带的系统坐标系与机器人坐标系平行，用Matlab实现相机标定，完成各个坐标系之间的转换；

(2)流水线上密集竖排的小型袋装食品数量检测与异常情况识别；基于深度相机实时采集流水线上小型袋装的图片，并采用改进的YOLO深度神经网络训练识别模型，该改进的YOLO深度神经网络在数据加载部分添加了一个θ维度，将θ转为分类问题，并在损失函数中添加θ角度分类损失，检测出小型袋装的位置、类别、数量和旋转角度；基于深度相机检测目标物体的深度信息并于正常值进行比较，利用检测出的目标物体的深度信息与深度网络模型识别结果相结合辨别出异常摆放的零食，并将异常物品的位置与旋转角度信息实时传送给机器人，使机器人以姿态抓取异常摆放的零食，将其移除；应用改进的YOLO神经网络来获取包围框的旋转角度信息；

(3)误判小型袋装食品数量情况下的检测纠正；设定物体宽度的经验范围，若检测出的宽度在正常范围之内，则可信度高；若检测出的宽度大于正常范围，则可信度低，可能有误判发生，需要对检测个数进行纠正，依据经验的物体宽度值对个数误判发生处进行重新计算。

2.根据权利要求1所述的流水线上密集竖排的袋装食品精确数量与异常情况的视觉实时检测方法，其特征在于，采用手在眼外的相机标定方式，将标定板放入相机视野内，移动标定板，从不同角度拍摄多张图片，应用MATLAB获取相机的内外参数、畸变系数；坐标系的转换关系如下：

其中，(X_b,Y_b,Z_b)为机器人坐标系，f_x、f_y、u₀、v₀代表相机的内参，代表相机的外参，从MATLAB中获得到这6个参数；/>代表传送带坐标系相对于机械臂坐标系的旋转矩阵和平移矩阵；传送带坐标系与机械臂坐标系平行，/>推理出，/>通过测量得到；Z_c代表着目标物体的深度信息，从深度相机中获取，u、v则表示目标物体的像素坐标，通过检测得到；完成标定后，将标定的结果应用实现机器人的准确抓取。

3.根据权利要求1所述的流水线上密集竖排的袋装食品精确数量与异常情况的视觉实时检测方法，其特征在于，用深度相机采集小型袋装食品的图片，利用改进的YOLO深度神经网络与视觉深度信息相结合得到目标检测结果(x,y,w,h,depth,θ)；其中x,y是小零食位置，w,h表示检测出包围框的宽度与高度，depth表示深度信息，θ表示小零食包围框的旋转角度；深度相机和放置目标物体的平台深度距离是固定的，正常摆放的小型袋装食品的深度信息固定在一定范围，设定一个固定值用于判断食品的摆放是否异常；若异常，则将异常摆放的零食的目标检测结果(x,y,w,h,depth,θ)传送给机器人，机器人根据检测结果，规划抓取姿态，及时移开异常摆放的零食；由于同类小型袋装食品的包装袋一样，检测结果中的宽度w变化较小，通过设定一个宽度可信度值来判断小型袋装食品的个数是否有误判；若宽度可信度低，则需要重新计算个数，随后控制夹爪的闭合程度完成正常抓取。

4.根据权利要求1所述的流水线上密集竖排的袋装食品精确数量与异常情况的视觉实时检测方法，其特征在于，相机捕捉流水线上小型袋装食品的图片，捕捉到的图片中有异常摆放的食品，需要将其移除；得出一个正常摆放小型袋装食品的最低深度信息；相机捕捉到的图片送入改进的深度神经网络，得出有两个食品摆放异常，随后根据检测结果中的位置信息和角度信息，机器人规划抓取姿态，移除异常摆放的小型袋装食品；目标检测结果中的θ是以水平轴为起始，短边宽度为终止，顺时针转过的角度；在抓取异常摆放的食品时，θ是绕Z轴旋转的角度，将其转换为四元数，即可实现机械臂以合适的姿态处理异常情况；其中，欧拉角(α,β,θ)到四元数(q₀,q₁,q₂,q₃)的转换关系为：

α、β、θ分别代表绕X、Y、Z轴旋转过的角度，由于目标检测结果中的θ是绕Z轴旋转的角度，将X、Y轴转过的角度设置为0，将α＝0、β＝0代入上述公式中，得：

q₁＝0

q₂＝0

5.根据权利要求1所述的流水线上密集竖排的袋装食品精确数量与异常情况的视觉实时检测方法，其特征在于，深度相机捕获运动中的目标物体的图片存在着将多个物体识别成一个的情况；对错误的个数进行纠正，由于目标物体排列密集且宽度一致，通过计算它们的总宽度，除以宽度的正常值来获取修正后个数；在YOLO深度神经网络训练识别模型中，每个目标框的左上角和右下角的像素坐标信息得到，创建两个空列表，将每个目标框的左上角和右下角的x坐标信息存储起来，分别找出最小值和最大值，除以宽度的正常值，即可纠正个数；具体公式为：

其中，n代表着被纠正的个数，x_max代表右下角的x坐标信息的最大值，x_min代表左上角x坐标信息的最小值，w_n代表宽度信息的正常值；纠正后，可根据纠正后的个数控制夹爪的闭合程度，实现包装任务。

6.根据权利要求1所述的流水线上密集竖排的袋装食品精确数量与异常情况的视觉实时检测方法，其特征在于，在小型袋装食品个数识别正常的情况下，取小包装中心像素坐标的平均值作为多个小包装的坐标；第一个小包装的像素坐标从左到右为(x₁,y₁)，第二个小包装的像素坐标为(x₂,y₂)，第n个小包装的像素坐标为(x_n,y_n)；采取的坐标如下：

其中，n表示识别的小包装食品数量；当食品个数误判时，用以上两个公式获得的坐标信息大多数情况下不是中点，需要修改公式获取正确的中心点；若存在个数误判的情况时，应采取的坐标如下：

其中x_max1代表目标框中心的x坐标的最大值，x_min1代表目标框中心的x坐标的最小值，y_max代表目标框中心的y坐标的最大值，y_min代表目标框中心的y坐标的最小值。