CN114066847B - 基于2d激光和图像数据融合的集卡吊起状态检测方法 - Google Patents

Abstract

本发明公开了一种基于2D激光和图像数据融合的集卡吊起状态检测方法，包括如下步骤：步骤一、对2D激光扫描仪与摄像机的外部参数进行标定；步骤二、从摄像机实时采集的图像中检测出集装箱和集卡托架的图像区域，并从中提取边缘像素特征数据；步骤三、将2D激光扫描仪实时获取的点云数据与步骤二提取的边缘像素特征数据进行配准；步骤四、基于配准数据的空间位置变化对集卡的吊起状态进行实时判断。本发明充分利用摄像机和2D激光扫描仪的优点，对图像数据和激光点云数据进行融合，将集卡边缘图像数据融合为点云坐标数据，能更加真实地实时检测集卡边缘的空间位置变化，有效克服了现有技术中单一传感器获得的数据单一、检测误差大的缺点。

Description

基于2D激光和图像数据融合的集卡吊起状态检测方法

技术领域

本发明涉及一种基于2D激光和图像数据融合的集卡吊起状态检测方法。

背景技术

目前，现有的集卡防吊起系统主要有：1)基于光电开关的集卡防吊起系统。2)基于激光测距的集卡防吊起保护系统。3)基于图像处理的集卡防吊起系统。其中：

1)基于光电开关的集卡防吊起保护系统主要是利用龙门吊门腿下的传感器检测是否有障碍物的存在。若没有障碍物，则正常作业，集卡未被吊起。反之，则集卡被吊起。该系统不能很好的解决集装箱集卡车高度有变化的情况。

2)基于激光测距的集卡防吊起保护系统，该系统通过激光扫描测距仪对集卡车与集装箱之间的空隙进行扫描，根据空隙间的扫描形状变化判断集卡车吊起状态，若集卡车被吊起，则发出报警信号，进行人为的吊起事故处理。该方法由于检测数据量较小，容易受干扰，在检测过程中会带来误判的情况。

3)基于图像处理的集卡防吊起保护系统主要是利用图像分割和几何形状检测的方法。通过图像分割的方法实时获得感兴趣的区域(ROI),并检测该区域的像素的变化，来判断集卡车吊起的状态。该方法存在感兴趣区域检测失败率高，以及感兴趣检测区域过多，导致误判率高的情况。

基于以上情况，本发明结合图像和2D激光点云数据的优点，提出数据融合方案，对集卡边缘像素区域和点云数据进行配准，获得集卡边缘像素区的空间点云数据，通过判断空间点云数据的变化来检测集卡的吊起状态。

发明内容

为了克服现有技术的上述缺点，本发明提供了一种基于2D激光和图像数据融合的集卡吊起状态检测方法。

本发明解决其技术问题所采用的技术方案是：一种基于2D激光和图像数据融合的集卡吊起状态检测方法，包括如下步骤：

步骤一、对2D激光扫描仪与摄像机的外部参数进行标定；

步骤二、从摄像机实时采集的图像中检测出集装箱和集卡托架的图像区域，并从中提取边缘像素特征数据；

步骤三、将2D激光扫描仪实时获取的点云数据与步骤二提取的边缘像素特征数据进行配准；

步骤四、基于配准数据的空间位置变化对集卡的吊起状态进行实时判断。

与现有技术相比，本发明的积极效果是：

本发明充分利用摄像机和2D激光扫描仪的优点，对图像数据和激光点云数据进行融合，将点云坐标数据融合到集卡边缘图像数据，能更加真实地实时检测集卡边缘的空间位置变化，有效克服了现有技术中单一传感器获得的数据单一、检测误差大的缺点。

附图说明

本发明将通过例子并参照附图的方式说明，其中：

图1是本发明的整体结构的侧视图；

图2是本发明2D激光扫描仪和摄像机安装位置的外参标定图；

图3是本发明摄像机坐标系和2D激光扫描仪坐标系的转换关系图；

图4是在两个坐标视图下的旋转矩阵关系R；

图5是P3P转换关系图。

具体实施方式

为了能充分利用图像数据和2D激光点云数据的优点，本发明特设计一个能融合两者数据优点的集卡吊起状态检测方法，具体流程如下：

1)2D激光扫描仪与摄像机的外参数标定，旨在获得激光点云数据在摄像机坐标系中的位置关系，求取旋转矩阵R和平移矩阵t。

2)集装箱与集卡的目标检测与边缘提取，对于摄像机采集的图像数据，先采用目标对象检测框架YOLOV5识别出集装箱和集卡车托架的图像区域，再采用Sobel算子实时地检测出目标区域的边缘像素信息。

3)2D激光点云数据与图像边缘特征像素的配准(2n-2n)，利用摄像机的内参和标定的外参，配准边缘特征像素和点云数据。

4)基于配准数据几何位置变化判断集卡吊起状态，利用实时融合之后的数据，在几何空间上判断集卡车托架边缘的位置变化，对吊起状态作出判断。

以下将结合附图对本发明方法进行详细描述：

本发明的场景设置如图1所示，包括：摄像机1、集装箱2、吊具3、小车4、2D激光扫描仪5、轮胎吊门腿6、集卡车7。在轮胎吊上司机通过控制小车4来操纵吊具3,在吊起集装箱2的过程中实时获取摄像机1和2D激光扫描仪5采集的集装箱2和集卡车7的图像和2D激光点云数据，通过本发明的算法融合实时的集卡边缘图像数据和激光点云数据，通过实时检测边缘的空间坐标变化来判断吊起的状态。

一、2D激光扫描仪与摄像机的外参数标定

在确认好2D激光扫描仪和摄像机之间的安装位置关系后，2D激光扫描仪的二维坐标在三维世界坐标系中有唯一的三维坐标来表示其空间位置。而摄像机采集的图像数据将三维坐标映射到相应的二维图像坐标中，在该过程中丢失了距离信息。因此在三维世界坐标系中，2D激光点云数据中的每一个点均存在唯一的像素点与之对应。

1.1 2D激光扫描仪外部标定

2D激光扫描仪的原始数据是用雷达坐标系下的极坐标表示。三维世界坐标系下激光点云数据的二维坐标可以表示为：

其中d是2D激光扫描仪测量得到的距离数据，θ和α为扫描点在以激光为坐标原点的极坐标中的角度。R和O为外部标定参数。在2D激光扫描仪安装完毕后，上面的参数保持不变。

上面的公式写为齐次坐标形式为：

[X Y Z 1]^T＝M[x y z 1]^T (1-2)

x＝dcosαcosθ

y＝dcosαsinθ

z＝dsinα

1.2摄像机外部标定

摄像机外标定是确定图像像素坐标与三维场景点坐标之间的关系。在该模型中，有一个投影中心O和一个图像平面W，世界坐标系中的任意一点m＝[X Y Z]^T，在图像平面上的投影点n＝[u v]^T,O点是连接m和n的直线与图像平面的交点。这种透视投影关系可表示为：

是图像平面的齐次坐标，

是世界坐标系的齐次坐标，λ是缩放因子，

是一个3*4的透视投影矩阵，由摄像机的内外参数共同决定。在确定了

中的参数后，从世界坐标中的一点就可以在像素坐标中找到唯一的对应像素点。

透视投影矩阵

可以分解为：

其中，矩阵A包含了摄像机的内参数，可表示为：

α＝fk_u，β＝fk_v，分别是以水平和垂直像素单位表示的焦距长度；(u₀,v₀)是图像中心点坐标，即光轴与图像平面的交点。内参数表示了在摄像机坐标系下的物点和像点的投影关系。3*3的旋转矩阵R和平移矩阵T是摄像机的外部参数，确定了摄像机的朝向和位置，包括三个平移量和三个旋转量。

1.3基于平面约束的2D激光扫描仪和摄像机的分步标定

基于平面约束的2D激光扫描仪和摄像机位置标定的算法有很多，本发明选用的算法主要是在实验室条件下的标定。具体步骤如下，首先采集安装在实验室设备上的摄像机的图像数据和2D激光扫描仪的点云数据，获得同一标志物(标定板)分别在摄像机像素坐标系下的坐标(P_x,P_y)和2D激光扫描仪中的坐标信息(x,y)，然后计算激光扫描仪和摄像机的外部参数。如图2所示。

主要方法步骤如下：

假设标定板平面在摄像机坐标系c中的参数为π³＝[n^c,d]∈R⁴,其中n^c∈R³是平面的三维法向量，d是摄像机坐标系原点到平面的距离。平面上的一个三维点在摄像机坐标系下的坐标为P^c∈R³，点在平面上满足：

n^cTP^c+d＝0 (1-6)

现在假设从激光坐标系l到摄像机坐标系之间的旋转和平移为R_cl,t_cl。如果得知激光坐标系中某个激光点P^l落在标定板上，则通过点在平面上的约束能够构建关于外参的方程：

n^cT(R_clP^l+t_cl)+d^c＝0 (1-7)

通过闭式求解的方法来解算方程(1-7)，得到外参数。假设估计的参数为从摄像机坐标系到激光坐标系的变换矩阵为R_cl,t_cl，由此激光点从激光坐标系变换到摄像机坐标系为：

激光为2D激光点云，激光束形成的平面为XY平面，z＝0，此时有P^l＝[x,y,0]^T,则有如下变换公式:

由此可将公式(1-7)写成:

为此，将3乘3的H矩阵当做新的未知量(9个参数)进行估计，那么上述约束就变成了线性最小二乘问题，对于单线激光而言，一帧激光可以提供两个有效的约束，因此大于等于5帧的激光就能得到10个以上的约束，来直接求9参数的H，然后得出R_cl,t_cl:

R_lc＝[h₁,h₂,h₁×h₂,]^T (1-11)

t_lc＝-[h₁,h₂,h₁×h₂]^Th₃ (1-12)

其中，公式(1-11)和公式(1-12)即为要求的旋转矩阵和平移矩阵。设一个摄像机和一个2D激光扫描仪在世界坐标系的坐标原点为Q和Q′，如公式(1-13)所示，所求为确定刚性变换T，使得：

空间位置的校准是在两个传感器前面自由移动的棋盘格图案的N幅图像开始。设∏_i为摄像机坐标系中校准平面的齐次表示，即从平面到图像点的对应关系进行估计：

对于每个平面∏_i，Q′_ij表示2D激光扫描仪棋盘格平面和扫描平面Σ′相交线上的一组3D点云。其点云坐标如下所示：

考虑在二维激光的平面状态，假设y_ik的值为零，则可将(1-13)转换为：

Q_ik是摄影机中的摄像机坐标系中的坐标表示，其中：

又由于激光检测到的点云数据位于棋盘格图案中，因此必须符合以下要求：

∏_i ^TQ_ik＝0 (1-18)

用公式(1-14)、(1-16)代替(1-18)之后为：

再将线拟和成激光点云数据，并将问题表述为一组共面线L′_i与一组平面∏_i的3D配准。即求出旋转矩阵R和平移矩阵t，使得由给定的平面∏_i穿过直线L′_i。

如图3所示，图中的旋转矩阵T^-T包含两部分，分别为旋转矩阵M和平移矩阵S。旋转矩阵M，使得在摄像机参考坐标系下的坐标点Π₁、Π₂、Π₃经过旋转变换后得到点

如公式(1-21)所示。

再将点

经过平移矩阵S，沿着直线W_i，将点映射到点Π′_i，如公式(1-22)

如果以三点来表示一个平面，则以Π′_i，i＝1,2,3所表示的平面Λ在世界坐标系下的坐标为：

如图4所示，假设两点Π′_i、Π′_j构成一条三维直线S_ij，和原点坐标O^*构成平面Γ_ij，其法线为：

d_ij～n_i*n_j (1-24)

可知其可表示为：

同样可知平面Γ′_ij,可表示为：

d′_ij～v′_i×v′_j (1-26)

可得到平面Λ的表示为：

Λ～α_ijΓ_ij+β_ijΓ′_ij (1-28)

最终平面Λ可表示为：

可令

则

又可写为：

根据N＝3所对应的n_i,v′_i产生三个方程

其中:

将(1-30)看做是一个P3P问题即可求解出旋转矩阵R。

接下来，平移矩阵t的求解，根据公式(1-26)计算可知利用旋转矩阵R将点Π_i，转换到点

接下来利用平移矩阵S将点

平移到点Π′_i。则可对公式(1-22)作如下变换:

其中，n′_i是平面Π′_i的法线，u_i是一个未知的比例因子。根据前面的公式可知：

由公式(1-32)可得：

t＝A^-1b (1-33)

其中：

总结如下：

对于N＝3个平面Π_i，和相同数量的共面线L′_i，有：

1)对于每个平面Π_i和Π_j，通过方程(1-24)计算每个平面的法线d_ij。

2)对于每条直线L′_i和L′_j，通过方程(1-26)计算平面的向量d′_ij。

3)通过公式(1-34)确定包含直线L′_i和平面Σ′的正交方向b。

4)给定b，d_ij，d′_ij，ij＝12，23，13，根据公式(1-30)来转换成解决P3P问题。

5)利用现有的算法来解决这个P3P问题。会得到M<8个不同的解。

6)对于每个可能的旋转矩阵R，通过输入L′_i的对偶直线和旋转线Wⁱ的相交点，来计算Π′_i。

7)给定R，Π_i，Π′_i，i＝1,2,3根据公式(1-33)计算求得平移矩阵t。

上述过程主要是完成摄像机和2D激光扫描仪的外参标定即旋转矩阵R和平移矩阵t。

二、集装箱与集卡的目标检测与边缘提取

本发明中的目标检测是要实时检测并跟踪集卡车托架的边缘位置数据，并根据标定好的摄像机、2D激光扫描仪的内外参数，旋转矩阵R和平移矩阵t，来完成数据的融合并做实时的判断。

对于摄像机采集的图像数据，采用目标对象检测框架YOLOV5识别出集装箱和集卡车托架的图像区域，并对集装箱和集卡车托架在图像上分别提取边缘特征点(Sobel算法)。

2.1基于YOLOV5的目标检测

本发明采用经典的一阶段目标检测算法YOLOV5模型检测算法。YOLOV5是轻量级的模型，相较于YOLOV4模型量级上小近90％，但准确度相当。在处理图片的尺寸时，YOLO中的标准输入尺寸为416*416和608*608。后续需要对图片的尺寸进行统一的裁剪，YOLOV5在训练阶段使用传统的填充方式，在测试阶段使用缩减的方式进行填充以提高速度，以减少冗余信息。YOLOV 5在测试阶段自适应的补充最少的冗余信息，即：根据缩放尺寸计算原始图像的缩放比例，对于不同尺寸的原始图像将会得到多种不同的缩放系数，并选择其中最小的缩放系数；其次将原始图片的长宽都乘以缩放系数，再将其填充至标准的缩放尺寸。本文中的输入的YOLOV 5的图片尺寸设置为608*608。

在网络结构上，YOLOV5有四种量级的网络结构，分别是：YOLOV5-s，YOLOV5-x，YOLOV5-l，YOLOV5-m。而其中的YOLOV5-s是这四种结构中网络深度最浅且训练速度最快的深度神经网络。其它深度神经网络的层数依次递减。

YOLOV5的损失函数使用由广义重叠度(Generalized Intersection Over Union,GIoU)计算得到的GIoU_Loss，如公式(2-1)所示。GIoU是对IoU无法优化的两个无重叠目标框的比值情况的改进，GIoU可以度量任意两个目标框。GIoU可以首先计算同时包含两个目标框的最小框的面积A_c，然后计算两个目标框的交集的面积U，并计算最小框去除两个目标框之后的剩余的面积A_c-U，采用这三个面积来计算得到一个比值，最终的公式如下:

图像数据中主要含有集装箱和集卡车数据，因此需要对图像数据进行目标检测，检测出集装箱区域和集卡车区域，在这两个区域中分别进行边缘检测，检测出边缘特征描述子，利用标定好的摄像机和2D激光扫描仪的位置，来配准激光点和边缘像素点，进而计算相邻区域的2D空间位置。

具体步骤如下:

步骤一、摄像机实时拍摄集卡托架的视频流数据并通过以太网传输给处理器；

步骤二、处理器对视频流数据逐帧进行视觉目标检测，然后对检测结果区域进行特征检测；

步骤三、通过边缘检测算法检测出要跟踪的目标位置，并进行数据的融合来判断。

2.2基于(Sobel)图像边缘检测

由于2D激光扫描仪所获得的数据仅仅为一条线状激光点，因此在做数据融合之前，需要对图像数据进行相应的特征提取，以简化配准。

因此，本发明在上述步骤中采用YOLOV5的目标检测，检测出目标区域之后，并在此基础上继续提取出边缘像素信息。Sobel算子是典型的基于一阶导数的边缘检测算子，是离散型的差分算子。该算子对噪声具有平滑作用，能很好的消除噪声的影响。Sobel算子对于像素的位置的影响做了加权。

该算子包含两组3*3的矩阵，分别为横向和纵向，将其与图像作平面卷积，即可分别得出横向及纵向的亮度差分近似值。如果以A代表原始图像，G_x及G_y分别代表经横向及纵向边缘检测的图像，其公式如下：

G_x＝[f(x+1,y-1)+2f(x+1,y)+f(x+1,y+1)]-[f(x-1,y-1)+2f(x-1,y)+f(x-1,y+1)] (2-2)

G_y＝[f(x-1,y-1)+2f(x,y-1)+f(x+1,y-1)]-[f(x-1,y+1)+2f(x,y+1)+f(x+1,y+1)] (2-3)

简化为:

G_x,G_y分别代表经横向及纵向边缘检测的图像灰度值，则该点灰度的大小为：

如果灰度G大于某一阈值，则认为该点(x,y)为边缘点。

灰度方向θ为：

Sobel算子能实时的检测出集卡托架的边缘像素信息，再根据标定好的参数信息：摄像机的内参数矩阵A，R和t是摄像机的外参数矩阵；M是2D激光扫描仪的外参数矩阵；在传感器选择固定安装之后，上述矩阵为常数。就可以将点云数据配准到检测到的像素数据中。

三、2D激光点云与边缘特征像素的配准(2n-2n)

在将点云数据配准到检测到的像素数据时，一般情况下像素数据要多于点云数据，此时根据点云数据和检测的边缘像素数据，进行筛选即可。

根据标记好的摄像机和2D激光扫描仪之间的参数转换关系，找到点云数据和对应的图像像素，并忽略真实状态下实际物体的深度信息，从而推算出检测到的特征点的三维坐标信息。

具体的配准步骤如下：

根据求得的旋转矩阵R_3×3和平移矩阵t_3×1,和摄像机的内参数据，就可将图像数据和2D激光点云数据进行配准。假设检测到的图像边缘的像素坐标为P(x,y),经过配准转换之后，在2D激光点云中的坐标位姿为(X,Y,1),公式如下：

再根据获得的激光位置数据来进行判断即可。

四、基于配准数据几何位置变化判断集卡吊起状态

在此步骤中，需要实时的获取检测出的集卡托架边缘像素数据和2D激光数据，需要串行化的处理上述数据，图像像素数据处理在前，配准数据在后。根据实时获取的2D激光数据去匹配边缘检测的像素数据，从而获得边缘像素的空间位置坐标(P_x，P_y),根据边缘特征像素的坐标变化来判断集卡吊起的状态的变化。若位置变化超过一定的阈值范围，则认为集卡吊起。

Claims (7)

1.一种基于2D激光和图像数据融合的集卡吊起状态检测方法，其特征在于：包括如下步骤：

步骤一、对2D激光扫描仪与摄像机的外部参数进行标定；

步骤二、从摄像机实时采集的图像中检测出集装箱和集卡托架的图像区域，并从中提取边缘像素特征数据；

步骤三、将2D激光扫描仪实时获取的点云数据与步骤二提取的边缘像素特征数据进行配准；

步骤四、基于配准数据的空间位置变化对集卡的吊起状态进行实时判断：利用配准数据求得边缘像素的空间位置坐标，当空间位置坐标的变化超过设定的阈值范围时，则判断集卡为吊起状态。

2.根据权利要求1所述的基于2D激光和图像数据融合的集卡吊起状态检测方法，其特征在于：步骤一所述对2D激光扫描仪与摄像机的外部参数进行标定的方法包括如下流程：

S1、2D激光扫描仪的外部标定；

S2、摄像机的外部标定；

S3、基于平面约束的2D激光扫描仪和摄像机的分步标定。

3.根据权利要求2所述的基于2D激光和图像数据融合的集卡吊起状态检测方法，其特征在于：基于平面约束的2D激光扫描仪和摄像机的分步标定方法为：

(1)将2D激光扫描仪、摄像机和标定板安装在实验室中的实验设备上；

(2)设∏_i为摄像机坐标系中校准平面的齐次表示，按下式从平面到图像点的对应关系进行估计：

(3)对在摄像机坐标系下的坐标点Π₁、Π₂、Π₃经过旋转变换后得到点

(4)再将点

经过平移矩阵S，沿着直线W_i，将点映射到点Π′_i：

(5)以三点表示一个平面，则以Π′_i，i＝1,2,3所表示的平面Λ在世界坐标系下的坐标为：

(6)假设两点Π′_i、Π′_j构成一条三维直线，和原点坐标构成平面Γ_ij：

其法线为：d_ij～n_i*n_j

进一步得到平面Γ′_ij：

及其法线：d′_ij～v′_i×v′_j

将平面Λ表示为：

Λ～α_ijΓ_ij+β_ijΓ′_ij

进一步将平面Λ表示为：

令

则

得到：

根据N＝3所对应的n_i,v′_i，产生如下三个方程：

其中:

(7)对上述三个方程求解得到旋转矩阵R；

(8)利用旋转矩阵R将点Π_i转换到点

再利用平移矩阵S将点

平移到点Π′_i，得到如下变换:

其中，n′_i是平面Π′_i的法线，

(9)进一步计算得到：

t＝A^-1b

其中：

4.根据权利要求1所述的基于2D激光和图像数据融合的集卡吊起状态检测方法，其特征在于：采用YOLOV5模型检测算法从摄像机实时采集的图像中检测出集装箱和集卡托架的图像区域。

5.根据权利要求4所述的基于2D激光和图像数据融合的集卡吊起状态检测方法，其特征在于：按如下公式计算YOLOV5损失函数的广义重叠度GIoU：

其中，A_c表示同时包含两个目标框的最小框的面积，U表示两个目标框的交集的面积。

6.根据权利要求4所述的基于2D激光和图像数据融合的集卡吊起状态检测方法，其特征在于：采用Sobel算子提取边缘像素特征数据，包含两组3*3的矩阵，分别为横向和纵向，将其与图像作平面卷积，分别得出横向及纵向的亮度差分近似值：

(1)设Gx及Gy分别代表经横向及纵向边缘检测的图像，其公式如下：

G_x＝[f(x+1,y-1)+2f(x+1,y)+f(x+1,y+1)]-[f(x-1,y-1)+2f(x-1,y)+f(x-1,y+1)]；

G_y＝[f(x-1,y-1)+2f(x,y-1)+f(x+1,y-1)]-[f(x-1,y+1)+2f(x,y+1)+f(x+1,y+1)]；

(2)对公式简化得到：

其中，G_x,G_y分别代表经横向及纵向边缘检测的图像灰度值；

(3)计算图像点的灰度值：

如果G大于设定的阈值，则认为该点(x,y)为边缘点；

(4)计算灰度方向θ：

7.根据权利要求1所述的基于2D激光和图像数据融合的集卡吊起状态检测方法，其特征在于：按如下公式将2D激光扫描仪实时获取的点云数据与边缘像素特征数据进行配准：

其中：P(x,y)为图像边缘的像素坐标，R为旋转矩阵，t为平移矩阵，(X,Y,1)为经过配准转换之后的坐标位姿。

Images