CN117470249B - 基于激光点云和视频图像融合感知的船舶防碰撞方法及系统 - Google Patents
基于激光点云和视频图像融合感知的船舶防碰撞方法及系统 Download PDFInfo
- Publication number
- CN117470249B CN117470249B CN202311810960.XA CN202311810960A CN117470249B CN 117470249 B CN117470249 B CN 117470249B CN 202311810960 A CN202311810960 A CN 202311810960A CN 117470249 B CN117470249 B CN 117470249B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- ship
- point
- obstacle
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 230000004927 fusion Effects 0.000 title claims abstract description 16
- 230000008447 perception Effects 0.000 title claims abstract description 10
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 39
- 238000001514 detection method Methods 0.000 claims abstract description 15
- 230000006870 function Effects 0.000 claims description 46
- 239000011159 matrix material Substances 0.000 claims description 36
- 238000009434 installation Methods 0.000 claims description 12
- 230000000007 visual effect Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 9
- 238000013135 deep learning Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 4
- 238000009826 distribution Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000009958 sewing Methods 0.000 claims description 3
- 238000003860 storage Methods 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 2
- 238000012549 training Methods 0.000 claims description 2
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 239000000463 material Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000005553 drilling Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
- G01C21/203—Specially adapted for sailing ships
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Automation & Control Theory (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于激光点云和视频图像融合感知的船舶防碰撞方法及系统，对船舶顶部的激光雷达和摄像头进行信息融合，实现障碍物的精确检测，提高了船舶与靠泊平台距离检测的准确性，并基于改进的人工势场算法对避障路径进行局部路径规划，避免陷入局部最优问题，可以较好的避免船舶的碰撞，保证靠泊的安全性。
Description
技术领域
本发明属于船舶航行控制技术领域，尤其涉及一种基于激光点云和视频图像融合感知的船舶防碰撞方法、系统、介质及设备。
背景技术
海上船舶在运送物资靠泊海洋生产平台、海洋自升式钻井平台时存在视野盲区，船长在驾驶室操作船舶船尾靠泊过程中，无法判断船尾与海洋平台支撑桩柱和其他障碍物的位置和距离。现有的船舶防碰撞系统大多利用GPS天线进行船舶的定位，倘若相近船舶或平台均有安装天线可以大致计算出两者的距离以防碰撞，然而通过天线获取的定位没有船只轮廓等形状以及具体位置信息与视觉信息，不方便船长观测当前船舶与靠泊平台的具体相对位置，这样就难以对下一步的航行轨迹进行预判。
现有的船舶防碰撞方法算法复杂，例如传统的人工势场算法需要对势场函数计算梯度，求解梯度的算法需要消耗时间和算力，运行效率不佳，同时存在容易陷入局部最优的问题。
发明内容
本发明重点针对上述现有技术中存在的问题，提供一种基于激光点云和视频图像融合感知的船舶防碰撞方法及系统。
本发明的第一方面，提供了一种基于激光点云和视频图像融合感知的船舶防碰撞方法，包括：
步骤S100：分别对船舶顶部的三个激光雷达和三个摄像头进行标定；
步骤S200：利用标定出的所述激光雷达的内参和外参将所述三个激光雷达获取到的点云数据转换到同一坐标系下，对不同激光雷达获取的点云数据进行拼接；
步骤S300：根据计算出的所述摄像头的内参和外参计算旋转矩阵，对不同摄像头采集到的视频数据进行拼接；
步骤S400：将所述激光雷达的点云数据转换到和所述摄像头获取的图像相同的坐标系下，并将拼接后的点云信息投影到拼接后的图像对应像素上；
步骤S500：使用深度学习算法检测出障碍物轮廓，根据投影到图像上的点云信息获取障碍物的坐标信息；
步骤S600：采用改进的人工势场算法对避障路径进行局部路径规划，所述改进的人工势场算法基于避撞紧急度计算总势场函数；
步骤S700：根据规划出的避障路径控制船舶航行。
优选地，所述步骤S100中分别对船舶顶部的三个激光雷达和三个摄像头进行标定包括：
步骤S110：分别将两个激光雷达和两个摄像头安装在船身两侧，并且所述激光雷达在垂直方向向下倾斜30°安装以获取相应视角的点云数据；将剩余的一个激光雷达和一个摄像头安装在朝向船尾方向以探测船尾区域的障碍物，使得三处安装位置获取的视觉信息有重叠部分；
步骤S120：在室外场景下树立标定杆，以所述激光雷达所在位置为坐标系原点，测量标定杆顶部在世界坐标系下的坐标，并与所述激光雷达获取的点云数据进行对比，计算出所述激光雷达的所述内参；
步骤S130：利用所述摄像头对棋盘格标定板进行拍摄，利用图像检测算法得到棋盘格标定板图像上每一个角点的像素坐标，利用获取到的所述像素坐标与每一个角点在世界坐标系下的物理坐标进行相机标定，得到所述摄像头的内外参矩阵与畸变参数。
优选地，所述步骤S200进一步包括：
步骤S210：在船身驾驶室夹板上设立世界坐标系原点并定义相应的坐标轴，测量并记录所述三个激光雷达与世界坐标系的相对位置以及安装角度，并通过所述激光雷达与所述世界坐标系原点的相对坐标计算出平移矩阵，根据激光雷达的安装角度计算出第一旋转矩阵，根据所述平移矩阵与所述第一旋转矩阵计算出三个激光雷达获取的点云数据在世界坐标系下的坐标；
步骤S220：针对所述三个激光雷达获取的点云数据存在的重叠部分，利用最近点迭代法对所述重叠部分的点云进行配准，所述配准的具体过程包括：获取所述三个激光雷达获取的点云中任意有重叠区域的两个点云，针对所述两个点云中的对应点通过最小二乘法构建目标函数进行迭代优化，计算出所述两个点云间的变换矩阵，利用所述变换矩阵将所述两个点云合并成一个点云并删除点云中重复的点获得处理后的点云，利用所述处理后的点云继续与剩余的一个点云进行配准，将三个点云最终合并为一个点云，并去除所有重叠的点。
优选地，所述步骤S300进一步包括：
步骤S310：从所述三个摄像头获取的视频数据中抽帧获取同一时刻的图像，检测图像特征点，根据所述图像特征点使用最近邻方法对图像进行匹配；
步骤S320：根据计算出的所述摄像头的内参与外参以及检测出的所述图像特征点计算出第二旋转矩阵；
步骤S330：将图像利用所述第二旋转矩阵进行旋转，对图像进行曝光补偿寻找图像中间的接缝，根据图像的左上角坐标，寻找图像之间的缝合位置，并利用遮罩对接缝位置的大小进行调整；
步骤S340：将调整接缝后的图像重置为原始大小，并对图像进行融合，得到最终的拼接图像。
优选地，所述步骤S400进一步包括：
步骤S410：首先对点云进行均匀采样滤波并去除点云中的稀疏离群点，所述均匀采样滤波通过构建指定半径的球体对点云进行下采样滤波，将每一个所述球体内距离球体中心最近的点作为下采样的点；所述稀疏离群点的去除算法步骤为：计算点云中每一个点与其邻近的点的平均距离，得到的结果近似符合高斯分布，形状由均值和标准差决定，对于平均距离在标准范围之外的点定义为稀疏离群点并予以去除；
步骤S420：对已经进行滤波处理后的点云由激光雷达世界坐标系转换到相机坐标系，再由所述相机坐标系转换到相平面坐标系，并最终转换到像素坐标系，以实现将点云信息投影到图像上。
优选地，步骤S500进一步包括：
步骤S510：对合成图像中的障碍物进行标注，并使用Yolov8检测框架训练检测模型；
步骤S520：使用检测模型检测出视频中的障碍物，并利用投影到图像上的点云信息计算所述障碍物到船身轮廓的距离，当所述距离小于设定阈值时进行报警。
优选地，步骤S600进一步包括：
计算斥力场函数：
(1)
计算引力场函数：
(2)
计算总势场函数：
(3)
(4)
表示总势场函数，/>表示斥力场函数，/>表示引力场函数，/>为排斥增益系数，/>为吸引增益系数，q为船舶所在位置，qgoal为船舶所要到达的目标位置，d为船舶到障碍物点的最短距离，d0为障碍物对船舶的斥力边界距离，n为优化参数，/>表示避撞紧急度因子。
本发明的第二方面，提供了一种基于激光点云和视频图像融合感知的船舶防碰撞系统，包括：
传感器标定单元，用于分别对船舶顶部的三个激光雷达和三个摄像头进行标定；
激光雷达数据拼接单元，用于利用标定出的所述激光雷达的内参和外参将所述三个激光雷达获取到的点云数据转换到同一坐标系下，对不同激光雷达获取的点云数据进行拼接；
摄像头数据拼接单元，用于根据计算出的所述摄像头的内参和外参计算旋转矩阵，对不同摄像头采集到的视频数据进行拼接；
数据融合单元，用于将所述激光雷达的点云数据转换到和所述摄像头获取的图像相同的坐标系下，并将拼接后的点云信息投影到拼接后的图像对应像素上；
障碍物坐标获取单元，用于使用深度学习算法检测出障碍物轮廓，根据投影到图像上的点云信息获取障碍物的坐标信息；
局部路径规划单元，用于采用改进的人工势场算法对避障路径进行局部路径规划，所述改进的人工势场算法基于避撞紧急度计算总势场函数；
避障控制单元，用于根据规划出的避障路径控制船舶航行。
本发明的第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现前述任一所述的方法的步骤。
本发明的第四方面，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被处理器执行时实现前述任一所述的方法的步骤。
与现有技术相比，本发明具有如下有益效果：
1）通过在船身上安装激光雷达，实时采集船身与海洋平台障碍物的三维位置与距离数据；通过在船身安装的激光雷达附近安装工业摄像头实时获取视频图像信息，并且将激光雷达获取的点云信息与视频图像进行融合，为船舶驾驶员提供可视化的碰撞预警信息。通过同时在船上安装多个激光雷达和摄像头，以实现船身约300°左右的探测，将激光雷达获取的点云数据进行拼接，并与摄像头获取的图像数据进行对齐和融合，在方便船长观看实时图像系统的同时获取船只与靠泊平台的准确距离，可以较好的避免船舶的碰撞保证靠泊的安全。
2）设计改进的人工势场算法进行避障，该算法克服传统的斥力函数需要对势场函数计算梯度导致的算法复杂度问题，通过势场函数的建立，选择最小势场，实现用于避障的局部路径规划，能够提高算法的运行效率。通过改进的斥力场函数，避免陷入局部最优问题，且在斥力场函数中引入避撞紧急度因子，进一步提高算法的准确性。
附图说明
图1 基于激光点云和视频图像融合感知的船舶防碰撞方法流程图；
图2 激光雷达和摄像头安装位置正视图；
图3 激光雷达和摄像头安装位置俯视图；
图4 激光雷达的视场角正视图；
图5 激光雷达的视场角俯视图。
具体实施方式
以下说明的技术可进行多种变换，并可具有多种实施例，在此结合附图以特定实施例进行详细说明。然而，这并不意味着将下文描述的技术限制于特定实施例。应当理解，在不脱离下文所描述的技术的精神和技术范围的情况下，本发明包括所有类似的修改、等同及替代。
实施例1
如图1所示，本发明提供了一种基于激光点云和视频图像融合感知的船舶防碰撞方法，包括：
步骤S100：分别对船舶顶部的三个激光雷达和三个摄像头进行标定。
优选地，所述步骤S100进一步包括：
步骤S110：分别将两个激光雷达和两个摄像头安装在船舶2的船身两侧，并且所述激光雷达1在垂直方向向下倾斜30°安装以获取相应视角的点云数据；将剩余的一个激光雷达1和一个摄像头安装在朝向船尾方向以探测船尾区域的障碍物，使得三处安装位置获取的视觉信息有重叠部分。具体地，选取符合现场要求的激光雷达和工业摄像头，以实时监控和获取海上平台和障碍物的点云以及图像数据，方便后续结合点云数据对物料面进行识别和分割。如图2-图3所示为激光雷达1和摄像头的安装位置，三处安装位置获取的视觉信息有重叠部分，以方便后期做点云和图像的对齐与拼接，其中根据所选型号的激光雷达的视场角可知现有安装位置的三个激光雷达大约可以探测300°范围的船周点云数，如图4-图5所示。
步骤S120：在室外场景下树立标定杆，以所述激光雷达所在位置为坐标系原点，测量标定杆顶部在世界坐标系下的坐标，并与所述激光雷达获取的点云数据进行对比，计算出所述激光雷达的所述内参。具体地，为确保激光雷达和摄像头获取的点云和图像数据不被船身物体遮挡，将激光雷达和摄像头安装在驾驶室夹板处。
步骤S130：利用所述摄像头对棋盘格标定板进行拍摄，利用图像检测算法得到棋盘格标定板图像上每一个角点的像素坐标，利用获取到的所述像素坐标与每一个角点在世界坐标系下的物理坐标进行相机标定，得到所述摄像头的内外参矩阵与畸变参数。
步骤S200：利用标定出的所述激光雷达的内参和外参将所述三个激光雷达获取到的点云数据转换到同一坐标系下，对不同激光雷达获取的点云数据进行拼接。
优选地，所述步骤S200进一步包括：
步骤S210：在船身驾驶室夹板上设立世界坐标系原点并定义相应的坐标轴，测量并记录所述三个激光雷达与世界坐标系的相对位置以及安装角度，并通过所述激光雷达与所述世界坐标系原点的相对坐标计算出平移矩阵，根据激光雷达的安装角度计算出第一旋转矩阵，根据所述平移矩阵与所述第一旋转矩阵计算出三个激光雷达获取的点云数据在世界坐标系下的坐标。
步骤S220：针对所述三个激光雷达获取的点云数据存在的重叠部分，利用最近点迭代法对所述重叠部分的点云进行配准，所述配准的具体过程包括：获取所述三个激光雷达获取的点云中任意有重叠区域的两个点云，针对所述两个点云中的对应点通过最小二乘法构建目标函数进行迭代优化，计算出所述两个点云间的变换矩阵，利用所述变换矩阵将所述两个点云合并成一个点云并删除点云中重复的点获得处理后的点云，利用所述处理后的点云继续与剩余的一个点云进行配准，将三个点云最终合并为一个点云，并去除所有重叠的点。
步骤S300：根据计算出的所述摄像头的内参和外参计算旋转矩阵，对不同摄像头采集到的视频数据进行拼接。
优选地，所述步骤S300进一步包括：
步骤S310：从所述三个摄像头获取的视频数据中抽帧获取同一时刻的图像，检测图像特征点，根据所述图像特征点使用最近邻方法对图像进行匹配。
步骤S320：根据计算出的所述摄像头的内参与外参以及检测出的所述图像特征点计算出第二旋转矩阵。
步骤S330：将图像利用所述第二旋转矩阵进行旋转，对图像进行曝光补偿寻找图像中间的接缝，根据图像的左上角坐标，寻找图像之间的缝合位置，并利用遮罩对接缝位置的大小进行调整。
步骤S340：根据调整接缝后的图像将图像重置为原始大小，并对调整后的图像进行融合，得到最终的拼接图像。
步骤S340：将调整接缝后的图像重置为原始大小，并对图像进行融合，得到最终的拼接图像。
步骤S400：将所述激光雷达的点云数据转换到和所述摄像头获取的图像相同的坐标系下，并将拼接后的点云信息投影到拼接后的图像对应像素上。
优选地，步骤S400进一步包括：
步骤S410：首先对点云进行均匀采样滤波并去除点云中的稀疏离群点，所述均匀采样滤波通过构建指定半径的球体对点云进行下采样滤波，将每一个所述球体内距离球体中心最近的点作为下采样的点；所述稀疏离群点的去除算法步骤为：计算点云中每一个点与其邻近的点的平均距离，得到的结果近似符合高斯分布，形状由均值和标准差决定，对于平均距离在标准范围之外的点定义为稀疏离群点并予以去除。
步骤S420：对已经进行滤波处理后的点云由激光雷达世界坐标系转换到相机坐标系，再由所述相机坐标系转换到相平面坐标系，并最终转换到像素坐标系，以实现将点云信息投影到图像上。
步骤S500：使用深度学习算法检测出障碍物轮廓，根据投影到图像上的点云信息获取障碍物的坐标信息。
优选地，步骤S500进一步包括：
步骤S510：对合成图像中的障碍物进行标注，并使用Yolov8检测框架训练检测模型，具体地，障碍物可定义为包括平台桩柱以及其它障碍物。
步骤S520：使用检测模型检测出视频中的障碍物，并利用投影到图像上的点云信息计算障碍物到船身轮廓的距离，当距离小于设定阈值时进行报警以警告船长注意靠泊安全。
步骤S600：采用改进的人工势场算法对避障路径进行局部路径规划，所述改进的人工势场算法基于避撞紧急度计算总势场函数。
传统的人工势场算法需要对势场函数计算梯度，算法运行效率不佳，同时存在容易陷入局部最优的问题，本发明采用改进的人工势场算法对避障路径进行局部路径规划，具体步骤包括：
计算斥力场函数：
(1)
计算引力场函数：
(2)
计算总势场函数：
(3)
(4)
表示总势场函数，/>表示斥力场函数，/>表示引力场函数，/>为排斥增益系数，/>为吸引增益系数，q为船舶所在位置，qgoal为船舶所要到达的目标位置，d为船舶到障碍物点的最短距离，d0为障碍物对船舶的斥力边界距离，n为优化参数，/>表示避撞紧急度因子。
该算法克服传统的斥力函数需要对势场函数计算梯度导致的算法复杂度问题，通过势场函数的建立，选择最小势场构建避障的局部轨迹，实现躲避障碍物的局部路径规划，能够提高算法的运行效率。通过指数项的系数改进斥力场函数，避免陷入局部最优问题。考虑到船舶与障碍物之间的避撞紧急度与当前时刻距离刚好发生碰撞之间的时间差的关联性，在斥力场函数中引入避撞紧急度因子， />根据当前时刻距离刚好发生碰撞之间的时间差动态调整，进一步提高算法的准确性。
步骤S700：根据规划出的避障路径控制船舶航行。
实施例2
本发明还提供了一种基于激光点云和视频图像融合感知的船舶防碰撞系统，包括：
传感器标定单元，用于分别对船舶顶部的三个激光雷达和三个摄像头进行标定；
激光雷达数据拼接单元，用于利用标定出的所述激光雷达的内参和外参将所述三个激光雷达获取到的点云数据转换到同一坐标系下，对不同激光雷达获取的点云数据进行拼接；
摄像头数据拼接单元，用于根据计算出的所述摄像头的内参和外参计算旋转矩阵，对不同摄像头采集到的视频数据进行拼接；
数据融合单元，用于将所述激光雷达的点云数据转换到和所述摄像头获取的图像相同的坐标系下，并将拼接后的点云信息投影到拼接后的图像对应像素上；
障碍物坐标获取单元，用于使用深度学习算法检测出障碍物轮廓，根据投影到图像上的点云信息获取障碍物的坐标信息；
局部路径规划单元，用于采用改进的人工势场算法对避障路径进行局部路径规划，所述改进的人工势场算法基于避撞紧急度计算总势场函数；
避障控制单元，用于根据规划出的避障路径控制船舶航行。
实施例3
本发明提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现前述任一所述的方法的步骤。
实施例4
本发明提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被处理器执行时实现前述任一所述的方法的步骤。
虽然上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进。以上所述仅为本发明的较佳实施例而已，并不以本发明专利范围为限制，对本领域的技术人员在不背离本发明的精神和保护范围的情况下做出的其它变化和修改，仍包括在本发明保护范围之内。
Claims (9)
1.一种基于激光点云和视频图像融合感知的船舶防碰撞方法，其特征在于，所述方法包括以下步骤：
步骤S100：分别对船舶顶部的三个激光雷达和三个摄像头进行标定；
步骤S200：利用标定出的所述激光雷达的内参和外参将所述三个激光雷达获取到的点云数据转换到同一坐标系下，对不同激光雷达获取的点云数据进行拼接；
步骤S300：根据计算出的所述摄像头的内参和外参计算旋转矩阵，对不同摄像头采集到的视频数据进行拼接；
步骤S400：将所述激光雷达的点云数据转换到和所述摄像头获取的图像相同的坐标系下，并将拼接后的点云信息投影到拼接后的图像对应像素上；
步骤S500：使用深度学习算法检测出障碍物轮廓，根据投影到图像上的点云信息获取障碍物的坐标信息；
步骤S600：采用改进的人工势场算法对避障路径进行局部路径规划，所述改进的人工势场算法基于避撞紧急度计算总势场函数；
所述步骤S600具体包括：
计算斥力场函数：
(1)
计算引力场函数：
(2)
计算总势场函数：
(3)
(4)
表示总势场函数，/>表示斥力场函数，/>表示引力场函数，/>为排斥增益系数，/>为吸引增益系数，q为船舶所在位置，qgoal为船舶所要到达的目标位置，d为船舶到障碍物点的最短距离，d0为障碍物对船舶的斥力边界距离，n为优化参数，α表示避撞紧急度因子，α根据当前时刻距离刚好发生碰撞之间的时间差动态调整；
步骤S700：根据规划出的避障路径控制船舶航行。
2.根据权利要求1中所述的方法，其特征在于，所述步骤S100中分别对船舶顶部的三个激光雷达和三个摄像头进行标定具体包括：
步骤S110：分别将两个激光雷达和两个摄像头安装在船身两侧，并且所述激光雷达在垂直方向向下倾斜30°安装以获取相应视角的点云数据；将剩余的一个激光雷达和一个摄像头安装在朝向船尾方向以探测船尾区域的障碍物，使得三处安装位置获取的视觉信息有重叠部分；
步骤S120：在室外场景下树立标定杆，以所述激光雷达所在位置为坐标系原点，测量标定杆顶部在世界坐标系下的坐标，并与所述激光雷达获取的点云数据进行对比，计算出所述激光雷达的所述内参；
步骤S130：利用所述摄像头对棋盘格标定板进行拍摄，利用图像检测算法得到棋盘格标定板图像上每一个角点的像素坐标，利用获取到的所述像素坐标与每一个角点在世界坐标系下的物理坐标进行相机标定，得到所述摄像头的内外参矩阵与畸变参数。
3.根据权利要求1中所述的方法，其特征在于，所述步骤S200具体包括：
步骤S210：在船身驾驶室夹板上设立世界坐标系原点并定义相应的坐标轴，测量并记录所述三个激光雷达与世界坐标系的相对位置以及安装角度，并通过所述激光雷达与所述世界坐标系原点的相对坐标计算出平移矩阵，根据激光雷达的安装角度计算出第一旋转矩阵，根据所述平移矩阵与所述第一旋转矩阵计算出三个激光雷达获取的点云数据在世界坐标系下的坐标；
步骤S220：针对所述三个激光雷达获取的点云数据存在的重叠部分，利用最近点迭代法对所述重叠部分的点云进行配准，所述配准的具体过程包括：获取所述三个激光雷达获取的点云中任意有重叠区域的两个点云，针对所述两个点云中的对应点通过最小二乘法构建目标函数进行迭代优化，计算出所述两个点云间的变换矩阵，利用所述变换矩阵将所述两个点云合并成一个点云并删除点云中重复的点获得处理后的点云，利用所述处理后的点云继续与剩余的一个点云进行配准，将三个点云最终合并为一个点云，并去除所有重叠的点。
4.根据权利要求1中所述的方法，其特征在于，所述步骤S300具体包括：
步骤S310：从所述三个摄像头获取的视频数据中抽帧获取同一时刻的图像，检测图像特征点，根据所述图像特征点使用最近邻方法对图像进行匹配；
步骤S320：根据计算出的所述摄像头的内参与外参以及检测出的所述图像特征点计算出第二旋转矩阵；
步骤S330：将图像利用所述第二旋转矩阵进行旋转，对图像进行曝光补偿寻找图像中间的接缝，根据图像的左上角坐标，寻找图像之间的缝合位置，并利用遮罩对接缝位置的大小进行调整；
步骤S340：将调整接缝后的图像重置为原始大小，并对图像进行融合，得到最终的拼接图像。
5.根据权利要求1中所述的方法，其特征在于，所述步骤S400具体包括：
步骤S410：首先对点云进行均匀采样滤波并去除点云中的稀疏离群点，所述均匀采样滤波通过构建指定半径的球体对点云进行下采样滤波，将每一个所述球体内距离球体中心最近的点作为下采样的点；所述稀疏离群点的去除算法步骤为：计算点云中每一个点与其邻近的点的平均距离，得到的结果近似符合高斯分布，形状由均值和标准差决定，对于平均距离在标准范围之外的点定义为稀疏离群点并予以去除；
步骤S420：对已经进行滤波处理后的点云由激光雷达世界坐标系转换到相机坐标系，再由所述相机坐标系转换到相平面坐标系，并最终转换到像素坐标系，以实现将点云信息投影到图像上。
6.根据权利要求1中所述的方法，其特征在于，所述步骤S500具体包括：
步骤S510：对合成图像中的障碍物进行标注，并使用Yolov8检测框架训练检测模型；
步骤S520：使用检测模型检测出视频中的障碍物，并利用投影到图像上的点云信息计算所述障碍物到船身轮廓的距离，当所述距离小于设定阈值时进行报警。
7.一种基于激光点云和视频图像融合感知的船舶防碰撞系统，其特征在于，所述系统包括：
传感器标定单元，用于分别对船舶顶部的三个激光雷达和三个摄像头进行标定；
激光雷达数据拼接单元，用于利用标定出的所述激光雷达的内参和外参将所述三个激光雷达获取到的点云数据转换到同一坐标系下，对不同激光雷达获取的点云数据进行拼接；
摄像头数据拼接单元，用于根据计算出的所述摄像头的内参和外参计算旋转矩阵，对不同摄像头采集到的视频数据进行拼接；
数据融合单元，用于将所述激光雷达的点云数据转换到和所述摄像头获取的图像相同的坐标系下，并将拼接后的点云信息投影到拼接后的图像对应像素上；
障碍物坐标获取单元，用于使用深度学习算法检测出障碍物轮廓，根据投影到图像上的点云信息获取障碍物的坐标信息；
局部路径规划单元，用于采用改进的人工势场算法对避障路径进行局部路径规划，所述改进的人工势场算法基于避撞紧急度计算总势场函数；
所述局部路径规划单元计算总势场函数具体包括：
计算斥力场函数：
(1)
计算引力场函数：
(2)
计算总势场函数：
(3)
(4)
表示总势场函数，/>表示斥力场函数，/>表示引力场函数，/>为排斥增益系数，/>为吸引增益系数，q为船舶所在位置，qgoal为船舶所要到达的目标位置，d为船舶到障碍物点的最短距离，d0为障碍物对船舶的斥力边界距离，n为优化参数，α表示避撞紧急度因子，α根据当前时刻距离刚好发生碰撞之间的时间差动态调整；
避障控制单元，用于根据规划出的避障路径控制船舶航行。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311810960.XA CN117470249B (zh) | 2023-12-27 | 2023-12-27 | 基于激光点云和视频图像融合感知的船舶防碰撞方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311810960.XA CN117470249B (zh) | 2023-12-27 | 2023-12-27 | 基于激光点云和视频图像融合感知的船舶防碰撞方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117470249A CN117470249A (zh) | 2024-01-30 |
| CN117470249B true CN117470249B (zh) | 2024-04-02 |
Family
ID=89624060
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311810960.XA Active CN117470249B (zh) | 2023-12-27 | 2023-12-27 | 基于激光点云和视频图像融合感知的船舶防碰撞方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117470249B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117928567A (zh) * | 2024-03-21 | 2024-04-26 | 湖南睿图智能科技有限公司 | 一种船舶的辅助驾驶增强方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109444911A (zh) * | 2018-10-18 | 2019-03-08 | 哈尔滨工程大学 | 一种单目相机和激光雷达信息融合的无人艇水面目标检测识别与定位方法 |
| US10408939B1 (en) * | 2019-01-31 | 2019-09-10 | StradVision, Inc. | Learning method and learning device for integrating image acquired by camera and point-cloud map acquired by radar or LiDAR corresponding to image at each of convolution stages in neural network and testing method and testing device using the same |
| US10627512B1 (en) * | 2018-11-29 | 2020-04-21 | Luminar Technologies, Inc. | Early fusion of lidar return data with camera information |
| CN111093013A (zh) * | 2019-11-28 | 2020-05-01 | 天津津航技术物理研究所 | 无人船全景观察系统 |
| CN113495556A (zh) * | 2020-03-18 | 2021-10-12 | 财团法人船舶暨海洋产业研发中心 | 基于人工势场法的船舶避碰方法及系统 |
| CN114219910A (zh) * | 2021-09-14 | 2022-03-22 | 陕西科技大学 | 一种融合激光雷达和机器视觉的自动驾驶车畜牧清洗方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020507137A (ja) * | 2017-12-11 | 2020-03-05 | ベイジン ディディ インフィニティ テクノロジー アンド ディベロップメント カンパニー リミティッド | 車両周辺の物体を識別して測位するためのシステムおよび方法 |
-
2023
- 2023-12-27 CN CN202311810960.XA patent/CN117470249B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109444911A (zh) * | 2018-10-18 | 2019-03-08 | 哈尔滨工程大学 | 一种单目相机和激光雷达信息融合的无人艇水面目标检测识别与定位方法 |
| US10627512B1 (en) * | 2018-11-29 | 2020-04-21 | Luminar Technologies, Inc. | Early fusion of lidar return data with camera information |
| US10408939B1 (en) * | 2019-01-31 | 2019-09-10 | StradVision, Inc. | Learning method and learning device for integrating image acquired by camera and point-cloud map acquired by radar or LiDAR corresponding to image at each of convolution stages in neural network and testing method and testing device using the same |
| CN111093013A (zh) * | 2019-11-28 | 2020-05-01 | 天津津航技术物理研究所 | 无人船全景观察系统 |
| CN113495556A (zh) * | 2020-03-18 | 2021-10-12 | 财团法人船舶暨海洋产业研发中心 | 基于人工势场法的船舶避碰方法及系统 |
| CN114219910A (zh) * | 2021-09-14 | 2022-03-22 | 陕西科技大学 | 一种融合激光雷达和机器视觉的自动驾驶车畜牧清洗方法 |
Non-Patent Citations (5)
| Title |
|---|
| An Efficient Ship Automatic Collision Avoidance Method Based on Modified Artificial Potential Field;Zhongxian Zhu et.al;Journal of Marine Science and Engineering;20211221;1-20 * |
| 一种改进人工势场的UUV动碍航物规避方法;王奎民 等;智能系统学报;20140228;第9卷(第1期);47-25 * |
| 基于改进人工势场法的无人船路径规划算法;刘琨 等;《海南大学学报自然科学版》;20160630;第34卷(第2期);99-104 * |
| 激光雷达避碰预警系统在港作拖船上的应用;钟琦峰;港口科技;20220228;24-31 * |
| 论三维激光扫描点云配准方法的实现;张平等;测量与信息化;20210430;第67-74页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117470249A (zh) | 2024-01-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102566724B1 (ko) | 항만 모니터링 장치 및 항만 모니터링 방법 | |
| CN109931939B (zh) | 车辆的定位方法、装置、设备及计算机可读存储介质 | |
| CN117470249B (zh) | 基于激光点云和视频图像融合感知的船舶防碰撞方法及系统 | |
| KR102661363B1 (ko) | 접안 모니터링 장치 및 방법 | |
| Smadja et al. | Road extraction and environment interpretation from LiDAR sensors | |
| US20220024549A1 (en) | System and method for measuring the distance to an object in water | |
| KR102265980B1 (ko) | 선박 및 항만 모니터링 장치 및 방법 | |
| CN113657256A (zh) | 一种无人艇载无人机海空协同视觉跟踪与自主回收方法 | |
| JP2021103283A (ja) | カメラベースの自動化された高精度道路地図の生成システム及び方法 | |
| KR102520844B1 (ko) | 해수면을 고려한 항만 및 선박 모니터링 방법 및 장치 | |
| EP3860908B1 (en) | System and method for assisting docking of a vessel | |
| KR20220055555A (ko) | 항만 및 선박 모니터링 방법 및 장치 | |
| WO2021178603A1 (en) | Water non-water segmentation systems and methods | |
| CN115131720A (zh) | 一种基于人工智能的船舶靠泊辅助方法 | |
| CN113610910A (zh) | 一种移动机器人避障方法 | |
| CN110393165B (zh) | 一种基于自动投饵船的远海养殖网箱投饵方法 | |
| CN114022775B (zh) | 一种基于雷达扫描变量的水上多目标视频影像坐标估计方法 | |
| CN110667783A (zh) | 一种无人艇辅助驾驶系统及其方法 | |
| WO2022133986A1 (en) | Accuracy estimation method and system | |
| CN115792912A (zh) | 一种弱观测条件下基于视觉与毫米波雷达融合的水面无人艇环境感知方法及系统 | |
| JP7171825B2 (ja) | 船舶の補助補正システム及びその運用方法 | |
| KR20220055556A (ko) | 선박 및 항만 모니터링 장치 및 방법 | |
| JP7328378B2 (ja) | 水域物体検出システム、船舶および周辺物体検出システム | |
| EP4349706A1 (en) | Method and a system for calibrating a camera | |
| EP4296968A1 (en) | Method for labelling a water surface within an image, method for providing a training dataset for training, validating, and/or testing a machine learning algorithm, machine learning algorithm for detecting a water surface in an image, and water surface detection system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |