CN109579698A - 一种智能货物检测系统及其检测方法 - Google Patents

Abstract

一种智能货物检测系统，它包括货物信息采集单元、交换机和货物信息检测单元；其检测方法包括系统标定、信息采集、生成点云数据集合、货物位姿信息获取等；其结构简单，容易实现，对被检测物品的表面质量和材料没有限制，适用性强、应用范围广泛；具有检测速度快、兼容性好、应用广泛和成本低的特点。

Description

一种智能货物检测系统及其检测方法

技术领域

本发明涉及工业生产中的货拍码货和货物抓取工艺技术领域，尤其是一种智能货物检测系统及其检测方法。

背景技术

目前市场上虽然有大量的深度检测设备和姿态识别设备，但是绝大多数的产品都有特定的应用场合限制，并且基本没有既可以检测货物数量又可以精确识别货物摆放姿态的产品。因此，在两种功能同时需要的场合就需要同时安装深度检测设备和姿态检测设备。这种方式不仅增加了系统的复杂程度，而且还大大增加了成本。

发明内容

本发明的目的在于提供一种智能货物检测系统及其检测方法，它可以克服和弥补现有技术的不足，是一种结构简单，方法容易实现的智能货物检测系统。

本发明的技术方案：一种智能货物检测系统，包括机械臂控制器，其特征在于它包括货物信息采集单元、交换机和货物信息检测单元；其中，所述机械臂控制器的主要结构为嵌入式控制核心系统；所述嵌入式控制核心系统带标准网口、USB标准端口及通用IO标准端口；所述标准网口、USB标准端口及IO标准端口用于与外部设备进行通信和控制连接；所述货物信息采集单元，用于采集叉车的货拍上的标定点的深度信号，进而获取货拍上的货物信息，与交换机之间呈双向数据连接；所述交换机与机械臂控制器之间呈双向数据连接；所述货物信息检测单元用于根据货物信息获取当前货拍中每个位置的货物数量，进而获得货物的位姿状态信息，并将深度信号、货物数量信息及位姿状态信息回传给机械臂控制器的嵌入式控制核心系统，达到引导机械臂对货物进行固定姿态的抓取的目的，与交换机之间呈双向数据连接。

所述机械臂控制器的嵌入式控制核心系统可以通过其自身携带的通用IO标准端口与PLC逻辑控制单元联合应用。

所述货物信息采集单元是Kinect 2.0传感器。

所述货物信息采集单元的Kinect2.0传感器上集成有深度摄像头和红外线投影机，这使得它可以更广泛的适应各种表面材料的检测；所述红外线投影机作为一种光源，起到给货物打光的作用。

所述货物信息检测单元是由中央控制模块构成，且安装有以太网数据接口、USB接口和IO接口；所述中央控制模块与交换机之间通过以太网数据接口呈双向数据连接。

所述中央控制模块是符合X86结构的计算系统，采用嵌入式核心CPU板为控制核心，可以安装Windows/Linux系统用来运行深度信息提取算法和三维重建算法。

所述交换机是以太网工业交换机。

所述货物信息检测单元连接有外接设备；所述外接设备包括控制外设和输入控制外设；所述货物信息检测单元与输入控制外设之间通过USB接口呈数据连接；所述所述货物信息检测单元与控制外设之间通过IO接口呈双向数据连接。

所述输入控制外设是鼠标、键盘或机密狗其中的一种或几种的组合。

一种智能货物检测系统的工作方法，其特征在于它包括以下步骤：

第一步：对货物信息采集单元和机械臂控制器标定，使货物信息采集单元所采集到的货拍上每个标定点的信息与机械臂控制器对应的机械臂工作信息在同一坐标系下；之后，智能货物检测系统的可以进入准备工作状态；

第二步；当无人叉车将货拍拖入到检测区时，由机械臂控制器给货物信息检测单元的中央控制模块发送货拍到达信号，检测系统开始工作；

第三步：由智能货物检测系统的中央控制模块发送货物信息采集信号给货物信息采集单元，驱动其工作，使其对货拍的当前视场内每个标定点的信息进行采集；

第四步：货物信息采集单元将采集到每个标定点的深度信息值及同时获得的所有货物的点云数据上传到货物信息检测单元的中央控制模块；

第五步：因为信息采集单元与货拍的距离已知，并且货拍上每个货物的高度一致，因此，货物信息检测单元的中央控制模块可以根据收到的每个标定点的深度信息值，由信息采集单元与货拍的距离减去获取的深度值，然后再乘以每个货物的高度值，即可计算出当前位置上的货物数量；

第六步：根据步骤四中获得的货物的点云数据，选取货拍最上面的每个货物的点云数据，从而可以得到货物的坐标值和点云面的法向量，以获取每个货物的姿态值；

第七步：由货物信息检测单元的中央控制模块再次将第四步、第五步及第六步得到的深度信息值、货物数量和货物姿态值回传给机械臂控制器；

第八步：机械控制器根据得到的数值信息进行机械臂的操作控制，即：通过识别深度信息值和货物数量指引机械臂的抓取深度，通过姿态值引导机械臂进行固定姿态的抓取。

所述步骤三中由货物信息采集单元对货拍的当前视场内每个标定点的信息进行采集包括：

（1）由Kinect 2.0传感器采集图像信息；

（2）由深度摄像头采集深度信息；

深度摄像头对货拍的当前视场内每个标定点进行扫描，得到的每一帧数据不仅包括了场景中的点的彩色RGB图像，还包括每个点到深度相机所在的垂直平面的距离值，即depth深度值，由每个点的深度值共同组成这一帧的深度图像；所述深度图像可以看作是一副灰度图像，其中图像中每个点的灰度值代表了这个点的深度值，即该点在现实中的位置到深度相机所在垂直平面的真实距离；根据这些深度值来对物体进行三维重建，并且通过将重建模型与模板进行比对的方式以获取货物的姿态信息。

所述步骤六的实现方法是由以下步骤构成：

（1）根据步骤四中获得的货物的点云数据，选取货拍最上面的每个货物的点云数据，并根据数据对货物的信息进行分割，即将扫描出来的所有货物的点云数据按照货物的外形进行区分；

由于每一个点云数据都有固定的三维坐标值（x,y,z）；所述 x、y、z分别是一个点云数据在三维坐标系下X轴、Y轴和Z轴方向的值；并且可以通过最小二乘估计的方法计算出每一个点云数据的点云面法向量，即可得到整个货物的位姿信息，包括（x,y,z,rx,ry,rz）其中，rx、ry、rz是物体在每个坐标轴下的旋转量，这六个参数统称为物体的位置和姿态信息；

（3）根据步骤（2）的结果，利用KD树算法，即可找出要取的货物。

本发明的工作原理：基于Kinect 2.0传感器的深度检测和货物姿态识别系统，它通过检测得到的深度值和货物的实际高度值来反算出实际的货物数量，为智能化生产线提供高精度货物数量检测和货物姿态检测。它的实现原理是对于现实场景中的点，深度相机扫描得到的每一帧数据不仅包括了场景中的点的彩色RGB图像，还包括每个点到深度相机所在的垂直平面的距离值。这个距离值被称为深度值（depth），这些深度值共同组成了这一帧的深度图像。也就是说，深度图像可以看作是一副灰度图像，其中图像中每个点的灰度值代表了这个点的深度值，即该点在现实中的位置到相机所在垂直平面的真实距离。根据这些深度值来对物体进行三维重建，并且通过将重建模型与模板进行比对的方式来获取它的姿态信息。

本发明的优越性：1、集成了一套完整的深度信息提取算法和三维重建算法，在安装高度1.2m范围内深度检测误差在1mm左右，满足生产线中货拍上面同规格包装货物的检测；2、将Kinect 2.0体感传感器的深度检测功能应用于工业生产中的货拍码货和货物抓取工艺，简化了技术难度；3、它对被检测物品的表面质量和材料没有限制，主要应用于货拍上面货物数量检测、货物摆放姿态检测等，适用性强、应用范围广泛；4、具有检测速度快、兼容性好、应用广泛和成本低的特点。

附图说明

图1为本发明所涉一种智能货物检测系统的整体结构框图。

具体实施方式

实施例：一种智能货物检测系统，如图1所示，包括机械臂控制器，其特征在于它包括货物信息采集单元、交换机和货物信息检测单元；其中，所述机械臂控制器的主要结构为嵌入式控制核心系统；所述嵌入式控制核心系统带标准网口、USB标准端口及通用IO标准端口；所述标准网口、USB标准端口及IO标准端口用于与外部设备进行通信和控制连接；所述货物信息采集单元，用于采集叉车的货拍上的标定点的深度信号，进而获取货拍上的货物信息，与交换机之间呈双向数据连接；所述交换机与机械臂控制器之间呈双向数据连接；所述货物信息检测单元用于根据货物信息获取当前货拍中每个位置的货物数量，进而获得货物的位姿状态信息，并将深度信号、货物数量信息及位姿状态信息回传给机械臂控制器的嵌入式控制核心系统，达到引导机械臂对货物进行固定姿态的抓取的目的，与交换机之间呈双向数据连接。

所述机械臂控制器的嵌入式控制核心系统可以通过其自身携带的通用IO标准端口与PLC逻辑控制单元联合应用。

所述货物信息采集单元是Kinect 2.0传感器。

所述货物信息采集单元的Kinect2.0传感器上集成有深度摄像头和红外线投影机，这使得它可以更广泛的适应各种表面材料的检测；所述红外线投影机作为一种光源，起到给货物打光的作用。

如图1所示，所述货物信息检测单元是由中央控制模块构成，且安装有以太网数据接口、USB接口和IO接口；所述中央控制模块与交换机之间通过以太网数据接口呈双向数据连接。

所述中央控制模块是符合X86结构的计算系统，采用嵌入式核心CPU板为控制核心，可以安装Windows/Linux系统用来运行深度信息提取算法和三维重建算法。

如图1所示，所述交换机是以太网工业交换机。

如图1所示，所述货物信息检测单元连接有外接设备；所述外接设备包括控制外设和输入控制外设；所述货物信息检测单元与输入控制外设之间通过USB接口呈数据连接；所述所述货物信息检测单元与控制外设之间通过IO接口呈双向数据连接。

如图1所示，所述输入控制外设是鼠标、键盘和机密狗。

一种智能货物检测系统的工作方法，其特征在于它包括以下步骤：

第一步：对货物信息采集单元和机械臂控制器标定，使货物信息采集单元所采集到的货拍上每个标定点的信息与机械臂控制器对应的机械臂工作信息在同一坐标系下；之后，智能货物检测系统的可以进入准备工作状态；

第二步；当无人叉车将货拍拖入到检测区时，由机械臂控制器给货物信息检测单元的中央控制模块发送货拍到达信号，检测系统开始工作；

第三步：由智能货物检测系统的中央控制模块发送货物信息采集信号给货物信息采集单元，驱动其工作，使其对货拍的当前视场内每个标定点的信息进行采集；

第四步：货物信息采集单元将采集到每个标定点的深度信息值及同时获得的所有货物的点云数据上传到货物信息检测单元的中央控制模块；

第五步：因为信息采集单元与货拍的距离已知，并且货拍上每个货物的高度一致，因此，货物信息检测单元的中央控制模块可以根据收到的每个标定点的深度信息值，由信息采集单元与货拍的距离减去获取的深度值，然后再乘以每个货物的高度值，即可计算出当前位置上的货物数量；

第六步：根据步骤四中获得的货物的点云数据，选取货拍最上面的每个货物的点云数据，从而可以得到货物的坐标值和点云面的法向量，以获取每个货物的姿态值；

第七步：由货物信息检测单元的中央控制模块再次将第四步、第五步及第六步得到的深度信息值、货物数量和货物姿态值回传给机械臂控制器；

第八步：机械控制器根据得到的数值信息进行机械臂的操作控制，即：通过识别深度信息值和货物数量指引机械臂的抓取深度，通过姿态值引导机械臂进行固定姿态的抓取。

所述步骤三中由货物信息采集单元对货拍的当前视场内每个标定点的信息进行采集包括：

（1）由Kinect 2.0传感器采集图像信息；

（2）由深度摄像头采集深度信息；

深度摄像头对货拍的当前视场内每个标定点进行扫描，得到的每一帧数据不仅包括了场景中的点的彩色RGB图像，还包括每个点到深度相机所在的垂直平面的距离值，即depth深度值，由每个点的深度值共同组成这一帧的深度图像；所述深度图像可以看作是一副灰度图像，其中图像中每个点的灰度值代表了这个点的深度值，即该点在现实中的位置到深度相机所在垂直平面的真实距离；根据这些深度值来对物体进行三维重建，并且通过将重建模型与模板进行比对的方式以获取货物的姿态信息。

所述步骤六的实现方法是由以下步骤构成：

（1）根据步骤四中获得的货物的点云数据，选取货拍最上面的每个货物的点云数据，并根据数据对货物的信息进行分割，即将扫描出来的所有货物的点云数据按照货物的外形进行区分；

由于每一个点云数据都有固定的三维坐标值（x,y,z）；所述 x、y、z分别是一个点云数据在三维坐标系下X轴、Y轴和Z轴方向的值；并且可以通过最小二乘估计的方法计算出每一个点云数据的点云面法向量，即可得到整个货物的位姿信息，包括（x,y,z,rx,ry,rz）其中，rx、ry、rz是物体在每个坐标轴下的旋转量，这六个参数统称为物体的位置和姿态信息；

（3）根据步骤（2）的结果，利用KD树算法，即可找出要取的货物。

为了进一步清晰明白的描述本发明的目的、技术方案及优点，结合附图以及实施案例进行详细的说明。此处描述的实施案例只是本发明的一部分。

当无人叉车将货拍拖入到检测区时会给检测系统发送到达信号，检测系统便开始工作。Kinect 2.0传感器同时集成有深度摄像头和红外线投影机，这使得它可以更广泛的适应各种表面材料的检测。使用前首先要把Kinect 2.0传感器和机械臂进行系统标定，从而达到两个系统坐标系统一的目的。其次，本地计算机控制系统通过调用Kinect 2.0官方提供的SDK函数库对应的函数即可获取当前视场内每个点的深度信息值，并且可以同时得到所有物体的点云数据。通过深度值可以计算出当前货拍中每个位置的货物数量，通过分析货拍最上面每个货物的点云数据可以得到每个货物的姿态值。深度信息可以指引机械臂的抓取深度，姿态值可以引导机械臂进行固定姿态的抓取。

本地计算机系统通过千兆以太网交换机与Kinect 2.0传感器和机械臂控制器进行互联以到达数据和指令的传输。系统的IO外接口可以直接控制一些简单的外设，增加了系统的兼容性和可扩展性。

尽管上述已经详细描述本发明实施例，但是对本领域普通技术人员，在此原理和精神下可对实施例进行多种变化，在没有做出创造性的劳动前提下，均属于本发明的保护范围之内。

Claims (10)

1.一种智能货物检测系统，包括机械臂控制器，其特征在于它包括货物信息采集单元、交换机和货物信息检测单元；其中，所述机械臂控制器的主要结构为嵌入式控制核心系统；所述嵌入式控制核心系统带标准网口、USB标准端口及通用IO标准端口；所述标准网口、USB标准端口及IO标准端口用于与外部设备进行通信和控制连接；所述货物信息采集单元，用于采集叉车的货拍上的标定点的深度信号，进而获取货拍上的货物信息，与交换机之间呈双向数据连接；所述交换机与机械臂控制器之间呈双向数据连接；所述货物信息检测单元用于根据货物信息获取当前货拍中每个位置的货物数量，进而获得货物的位姿状态信息，并将深度信号、货物数量信息及位姿状态信息回传给机械臂控制器的嵌入式控制核心系统，达到引导机械臂对货物进行固定姿态的抓取的目的，与交换机之间呈双向数据连接。

2.根据权利要求1所述一种智能货物检测系统，其特征在于所述机械臂控制器的嵌入式控制核心系统可以通过其自身携带的通用IO标准端口与PLC逻辑控制单元联合应用；所述输入控制外设是鼠标、键盘或机密狗其中的一种或几种的组合。

3.根据权利要求1所述一种智能货物检测系统，其特征在于所述货物信息采集单元是Kinect 2.0传感器；所述货物信息采集单元的Kinect2.0传感器上集成有深度摄像头和红外线投影机，这使得它可以更广泛的适应各种表面材料的检测；所述红外线投影机作为一种光源，起到给货物打光的作用。

4.根据权利要求1所述一种智能货物检测系统，其特征在于所述货物信息检测单元是由中央控制模块构成，且安装有以太网数据接口、USB接口和IO接口；所述中央控制模块与交换机之间通过以太网数据接口呈双向数据连接。

5.根据权利要求4所述一种智能货物检测系统，其特征在于所述中央控制模块是符合X86结构的计算系统，采用嵌入式核心CPU板为控制核心，可以安装Windows/Linux系统用来运行深度信息提取算法和三维重建算法。

6.根据权利要求4所述一种智能货物检测系统，其特征在于所述货物信息检测单元连接有外接设备；所述外接设备包括控制外设和输入控制外设；所述货物信息检测单元与输入控制外设之间通过USB接口呈数据连接；所述货物信息检测单元与控制外设之间通过IO接口呈双向数据连接。

7.根据权利要求1所述一种智能货物检测系统，其特征在于所述交换机是以太网工业交换机。

8.一种智能货物检测系统的工作方法，其特征在于它包括以下步骤：

第一步：对货物信息采集单元和机械臂控制器标定，使货物信息采集单元所采集到的货拍上每个标定点的信息与机械臂控制器对应的机械臂工作信息在同一坐标系下；之后，智能货物检测系统的可以进入准备工作状态；

第二步；当无人叉车将货拍拖入到检测区时，由机械臂控制器给货物信息检测单元的中央控制模块发送货拍到达信号，检测系统开始工作；

第三步：由智能货物检测系统的中央控制模块发送货物信息采集信号给货物信息采集单元，驱动其工作，使其对货拍的当前视场内每个标定点的信息进行采集；

第四步：货物信息采集单元将采集到每个标定点的深度信息值及同时获得的所有货物的点云数据上传到货物信息检测单元的中央控制模块；

第五步：因为信息采集单元与货拍的距离已知，并且货拍上每个货物的高度一致，因此，货物信息检测单元的中央控制模块可以根据收到的每个标定点的深度信息值，由信息采集单元与货拍的距离减去获取的深度值，然后再乘以每个货物的高度值，即可计算出当前位置上的货物数量；

第六步：根据步骤四中获得的货物的点云数据，选取货拍最上面的每个货物的点云数据，从而可以得到货物的坐标值和点云面的法向量，以获取每个货物的姿态值；

第七步：由货物信息检测单元的中央控制模块再次将第四步、第五步及第六步得到的深度信息值、货物数量和货物姿态值回传给机械臂控制器；

第八步：机械控制器根据得到的数值信息进行机械臂的操作控制，即：通过识别深度信息值和货物数量指引机械臂的抓取深度，通过姿态值引导机械臂进行固定姿态的抓取。

9.根据权利要求8所述一种智能货物检测系统的工作方法，其特征在于所述步骤三中由货物信息采集单元对货拍的当前视场内每个标定点的信息进行采集包括：

（1）由Kinect 2.0传感器采集图像信息；

（2）由深度摄像头采集深度信息；

深度摄像头对货拍的当前视场内每个标定点进行扫描，得到的每一帧数据不仅包括了场景中的点的彩色RGB图像，还包括每个点到深度相机所在的垂直平面的距离值，即depth深度值，由每个点的深度值共同组成这一帧的深度图像；所述深度图像可以看作是一副灰度图像，其中图像中每个点的灰度值代表了这个点的深度值，即该点在现实中的位置到深度相机所在垂直平面的真实距离；根据这些深度值来对物体进行三维重建，并且通过将重建模型与模板进行比对的方式以获取货物的姿态信息。

10.根据权利要求8所述一种智能货物检测系统的工作方法，其特征在于所述步骤六的实现方法是由以下步骤构成：

（1）根据步骤四中获得的货物的点云数据，选取货拍最上面的每个货物的点云数据，并根据数据对货物的信息进行分割，即将扫描出来的所有货物的点云数据按照货物的外形进行区分；

（2）由于每一个点云数据都有固定的三维坐标值（x,y,z）；所述 x、y、z分别是一个点云数据在三维坐标系下X轴、Y轴和Z轴方向的值；并且可以通过最小二乘估计的方法计算出每一个点云数据的点云面法向量，即可得到整个货物的位姿信息，包括（x,y,z,rx,ry,rz）其中，rx、ry、rz是物体在每个坐标轴下的旋转量，这六个参数统称为物体的位置和姿态信息；

（3）根据步骤（2）的结果，利用KD树算法，即可找出要取的货物。