CN115902925A

CN115902925A - 一种拖体姿态自动识别方法

Info

Publication number: CN115902925A
Application number: CN202211409234.2A
Authority: CN
Inventors: 周启票; 王俊雷; 马立伟; 徐晨晨; 张梦蝶
Original assignee: 715th Research Institute of CSIC
Current assignee: 715th Research Institute of CSIC
Priority date: 2022-11-11
Filing date: 2022-11-11
Publication date: 2023-04-04

Abstract

本发明提供了一种拖体姿态自动识别方法，属于计算机视觉和感知融合的技术领域。通过对传感器内外参的标定建立了三维空间坐标系和二维图像坐标系的映射关系，结合图像识别技术可以得到目标拖体的姿态信息。该方法有效减少了收放控制系统的人员站位，进一步提高了拖体收放装置的智能化和无人化水平。

Description

一种拖体姿态自动识别方法

技术领域

本发明属于计算机视觉和感知融合的技术领域，尤其涉及一种拖体姿态自动识别方法。

背景技术

拖体收放一般指海洋船只搭载收放设备对拖体类物体进行释放回收。在执行拖体类收放控制任务时，通常需要至少一名艉甲板人员去观察拖体的姿态，确保拖体能以较好的姿态被收放机构回收。这一过程至少需要消耗一名人员站位，且在恶劣海况下，观测人员存在较大风险。随着科学技术的高速发展，海洋作业设备也逐步往无人化发展，拖体类收放也需要实现无人收放，亟需人工智能，智能监控等技术能应用至拖体收放领域。但当前拖体收放领域智能化程度并不高，人工依赖较强，提升改进需求非常迫切。

发明内容

为了解决以上存在的问题，本发明提供了一种拖体姿态自动识别方法，通过将多传感器数据融合和图像识别技术在排缆收放控制领域进行应用，实现拖体收放系统的智能化和无人化。

本发明采用如下技术方案：

一种拖体姿态自动识别方法，包括以下步骤：

(1)对相机进行标定，获取相机内参矩阵M_i和去畸变矩阵M_d；

(2)固定激光雷达和相机的相对位置，对激光雷达和相机进行联合标定，获取雷达相机的外参矩阵M_e；

(3)由相机内参矩阵M_i与雷达相机外参矩阵M_e计算得到三维雷达坐标系到二维像素坐标系的转换矩阵M_t；

(4)相机使用rtsp流模式，通过网口，转码得到每一帧的图像数据；

(5)利用去畸变矩阵M_d对每一帧图像进行去畸变处理，从而得到去畸变的图像数据；

(6)根据拖体检测模型实现对拖体目标的实时检测，得到拖体目标的检测框；

(7)遍历激光雷达的点云数据，利用转换矩阵M_t计算点云投影到图像平面的像素坐标，如果在检测框内则保留，如果在检测框外则删除，从而提取出目标拖体的点云；

(8)根据拖体点云数据求得拖体纵向中轴单位向量，从而得到拖体的姿态信息。

优选的，在步骤(1)中对相机进行标定的方法是张友正标定法，具体过程是：

基于相机成像原理，像素坐标系与相机坐标系之间的坐标变换关系表示如以下公式所示：

式中f_x为相机在X方向的焦距，f_y为相机在Y方向的焦距，c_x、c_y分别是图像坐标系的原点o’在像素坐标系中的横坐标和纵坐标；(u，v)代表像素坐标，(X_c，Y_c，Z_c)代表相机坐标，

代表相机内参矩阵M_i；

在图像坐标系上点的理想坐标和畸变后坐标的关系如以下公式所示：

式中，(x0，y0)表示畸变纠正后的位置，(x，y)表示畸变点原始位置，k1，k2，k3为径向畸变参数，p1，p2为切向畸变参数，(k1，k2，k3，p1，p2)代表去畸变矩阵M_d；

利用相机拍摄多张不同姿态的标准黑白标定棋盘，通过张友正标定法获得相机内参矩阵M_i和去畸变矩阵M_d。

优选的，在步骤(2)中对激光雷达和相机进行联合标定的方法是DLT法，具体过程是：

雷达坐标系与像素坐标系之间的变换关系如以下公式所示：

式中，相机雷达外参矩阵Me为

R代表旋转矩阵，t代表平移矩阵，(X_w，Y_w，Z_w)代表雷达坐标；

确定激光雷达和相机的安装位置，使用DLT法对激光雷达和相机进行联合标定，标定过程中选定九对对应特征点，即相机像素坐标点和对应的激光雷达点云点，以此获得雷达相机的外参矩阵M_e。

优选的，在步骤(3)中由相机内参矩阵M_i与雷达相机外参矩阵M_e相乘得到三维雷达坐标系到二维像素坐标系的转换矩阵M_t，如以下公式所示：

优选的，在步骤(5)中去畸变处理的方法是：

根据公式(2)，将纠正畸变后的点在像素平面上的坐标计算出来，如以下公式所示：

再将纠正畸变的像素放到正确的位置。

优选的，在步骤(8)中通过取均值计算得到拖体纵向中轴线单位向量t，通过向量点积求得当前拖体纵向中轴线单位向量t和初始拖体纵向中轴线单位向量t’的夹角α，夹角α的计算公式如下所示：

α＝arccos(t·t′) (6)，

并由此得到拖体的姿态信息。

本发明具有以下优点：

1、本发明对传感器内外参的标定建立三维空间坐标系和二维图像坐标系的映射关系，结合图像识别技术可以得到目标拖体的姿态信息，通过融合了激光雷达和相机的数据，获取的拖体姿态信息更加准确。

2、本发明可以替代人眼观测提供拖体姿态信息，减少人员站位，提高了拖体收放控制系统的智能化和无人化水平。

附图说明

图1是本发明的获取拖体姿态信息流程示意图。

图2是本发明的拖体纵向中轴向量求解示意图。

图3是本发明的拖体姿态计算模型示意图。

具体实施方式

下面结合附图和实施例对本发明进行详细说明：

如图1所示，本发明提供了一种拖体姿态自动识别方法，包括以下步骤：

(1)基于相机成像原理，像素坐标系与相机坐标系之间的坐标变换关系表示如公式(1)所示：

代表相机内参矩阵M_i；

在图像坐标系上点的理想坐标和畸变后坐标的关系如公式(2)所示：

利用相机拍摄多张不同姿态的标准黑白标定棋盘，通过张友正标定法获得相机内参矩阵M_i和去畸变矩阵M_d；

(2)雷达坐标系与像素坐标系之间的变换关系如公式(3)所示：

式中，相机雷达外参矩阵Me为

确定激光雷达和相机的安装位置，使用DLT法对激光雷达和相机进行联合标定，标定过程中选定九对对应特征点，即相机像素坐标点和对应的激光雷达点云点，以此获得雷达相机的外参矩阵M_e；

(3)由相机内参矩阵M_i与雷达相机外参矩阵M_e相乘得到三维雷达坐标系到二维像素坐标系的转换矩阵M_t，如公式(4)所示：

(5)通过调用opencv的cv::undistort(src_image,undist_image,M_d)去畸变函数，使用去畸变矩阵M_d对每一帧原始图像src_image进行去畸变处理，得到去畸变的图像数据undist_image；

该去畸变处理的方法是：

根据公式(2)，将纠正畸变后的点在像素平面上的坐标计算出来，如公式(5)所示：

将纠正畸变的像素放到正确的位置，即去除畸变；

(6)使用经过训练的YOLOV5拖体检测模型实现对拖体目标的实时检测，在去畸变的图像上得到拖体目标的检测框；

(7)遍历激光雷达的点云数据，利用步骤(3)得到的转换矩阵M_t计算点云投影到图像平面的像素坐标，如果在检测框内则保留，如果在检测框外则删除，从而提取出目标拖体的点云；

(8)如图2所示，遍历拖体上表面点云，通过取均值计算得到拖体纵向中轴线单位向量t，通过向量点积求得当前拖体纵向中轴线单位向量t和初始拖体纵向中轴线单位向量t’的夹角α，夹角α＝arccos(t·t′)，并由此得到如图3所示的拖体姿态信息。

需要说明的是，上述实施例仅仅是本发明的较佳实施例，并非用来限定本发明的保护范围，在上述实施例的基础上所作出的等同变换均属于本发明的保护范围。

Claims

1.一种拖体姿态自动识别方法，其特征在于,包括如下步骤：

(1)对相机进行标定，获取相机内参矩阵M_i和去畸变矩阵M_d；

2.根据权利要求1所述的一种拖体姿态自动识别方法，其特征在于：在步骤(1)中，采用张友正标定法对相机进行标定。

3.根据权利要求2所述的一种拖体姿态自动识别方法，其特征在于：在步骤(1)中，基于相机成像原理，像素坐标系与相机坐标系之间的坐标变换关系表示如以下公式所示：

代表相机内参矩阵M_i；

4.根据权利要求1所述的一种拖体姿态自动识别方法，其特征在于：在步骤(2)中，采用DLT法对激光雷达和相机进行联合标定。

5.根据权利要求4所述的一种拖体姿态自动识别方法，其特征在于：在步骤(2)中，雷达坐标系与像素坐标系之间的变换关系如以下公式所示：

式中，相机雷达外参矩阵Me为

6.根据权利要求1所述的一种拖体姿态自动识别方法，其特征在于：在步骤(3)中，由相机内参矩阵M_i与雷达相机外参矩阵M_e相乘得到三维雷达坐标系到二维像素坐标系的转换矩阵M_t，如以下公式所示：

7.根据权利要求1所述的一种拖体姿态自动识别方法，其特征在于：在步骤(5)中，去畸变处理的方法是根据公式(2)，将纠正畸变后的点在像素平面上的坐标计算出来，如以下公式所示：

再将纠正畸变的像素放到正确的位置。

8.根据权利要求1所述的一种拖体姿态自动识别方法，其特征在于：在步骤(8)中通过取均值计算得到拖体纵向中轴线单位向量t，通过向量点积求得当前拖体纵向中轴线单位向量t和初始拖体纵向中轴线单位向量t’的夹角α，夹角α的计算如以下公式所示：

α＝arccos(t·t′) (6)，

并由此得到拖体的姿态信息。