CN113985419A - 水面机器人协同障碍物检测及避障方法及系统 - Google Patents

水面机器人协同障碍物检测及避障方法及系统 Download PDF

Info

Publication number
CN113985419A
CN113985419A CN202111236049.3A CN202111236049A CN113985419A CN 113985419 A CN113985419 A CN 113985419A CN 202111236049 A CN202111236049 A CN 202111236049A CN 113985419 A CN113985419 A CN 113985419A
Authority
CN
China
Prior art keywords
data
water surface
obstacle
camera
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111236049.3A
Other languages
English (en)
Inventor
张凯
余道洋
刘锦淮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Institutes of Physical Science of CAS
Original Assignee
Hefei Institutes of Physical Science of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Institutes of Physical Science of CAS filed Critical Hefei Institutes of Physical Science of CAS
Priority to CN202111236049.3A priority Critical patent/CN113985419A/zh
Publication of CN113985419A publication Critical patent/CN113985419A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles

Abstract

本发明公开了一种水面机器人协同障碍物检测及避障方法及系统，属于水面机器人安全技术领域，水面机器人位于水面上方安装有激光雷达和水面摄像机，位于水面下方安装有图像声呐和水下摄像机，包括获取激光雷达的点云数据和水面摄像机的图像数据，并进行数据融合，得到第一融合数据；获取声呐的图像数据和水下摄像机的图像数据，并进行数据融合，得到第二融合数据；将第一融合数据和第二融合数据进行融合后，进行障碍物检测；根据障碍物检测结果，进行模式切换。本发明将多波束声呐图像数据、水下摄像机引入水面机器人避障策略中，图像声呐对水下障碍物反射回的声波信号进行接收以确定水下障碍物的方位，可以减小机器人在水下区域的避碰盲区。

Description

水面机器人协同障碍物检测及避障方法及系统
技术领域
本发明涉及水面机器人安全技术领域，特别涉及一种水面机器人协同障碍物检测及避障方法及系统。
背景技术
无人车的方法不能适应无人船或水面机器人对于水面复杂的水面反射问题，需要对传感器中受到干扰的数据进行过滤。然而，在复杂水面以及复杂水下环境中，普通摄像机无法获取环境中四周水上及水下的整体轮廓信息，系统会表现出鲁棒性不高，“障碍物误报”、“障碍物漏检”现象严重等问题，并可能导致水上交通事故。因此，在复杂环境中，如何准确地检测出前方障碍物的相对位置和类型，并指导水面机器人防撞是一个急需解决的问题。
水面自主导航是一个重要的研究领域，考虑到现实环境的复杂性，大多数系统都依赖于复杂的感知系统，该系统结合了船上多个传感器，这加剧了传感器融合及校准的技术依赖。大多数融合校准方法依赖于手动或半自动交互过程，但是仍然缺少可靠的全自动方法。如果所有传感器可以从多个角度自动检测并识别出一些简单的物体，则可以在水面机器人运行中进行自动校准。
现有算法在很大程度上依赖激光雷达(光检测和测距)，它可以提供周围环境的准确3D点云。尽管精度很高，但出于多种原因，仍需要替代激光雷达的解决方案。首先，激光雷达很昂贵，这给自动驾驶硬件带来了巨大的溢价。其次，过分依赖单个传感器是一种固有的安全风险，如果有其中一个传感器在出现故障时可以通过另一个替代。自然的候选方法是来单目相机的图像与激光雷达点云信息融合。光学相机价格实惠(比激光雷达便宜几个数量级)，可以高帧速率运行与低配版本的激光雷达相结合互相补充，而不需要使用价格昂贵的高配版激光雷达信号固有的64或128激光束。
由于水上和水下环境中物体的复杂性与不确定性，单个传感器感知到的信息非常有限。
发明内容
本发明的目的在于提供一种水面机器人协同障碍物检测及避障方法及系统，旨在解决现有技术中水面自主导航无法适用复杂的现实环境的问题。
为实现以上目的，采用一种水面机器人协同障碍物检测及避障方法，所述水面机器人位于水面上方安装有激光雷达和水面摄像机，位于水面下方安装有图像声呐和水下摄像机，包括：
获取所述激光雷达的点云数据和所述水面摄像机的图像数据，并进行数据融合，得到第一融合数据；
获取所述声呐的图像数据和所述水下摄像机的图像数据，并进行数据融合，得到第二融合数据；
将所述第一融合数据和所述第二融合数据进行融合后，进行障碍物检测；
根据障碍物检测结果，进行模式切换。
可选地，所述获取所述激光雷达的点云数据和所述水面摄像机的图像数据，并进行数据融合，得到第一融合数据，包括：
获取所述激光雷达的点云数据，并对所述激光雷达的点云数据进行噪声过滤，过滤掉散列点、孤立点；
对经噪声过滤后的数据进行DBSCAN聚类处理，得到聚类结果；
获取所述水面摄像机的图像数据，并对所述水面摄像机的图像数据进行双边过滤处理后投影到三维点云空间，得到伪激光三维点云数据；
对所述伪激光三维点云数据进行背景过滤后选择第一ROI区；
采用AEKF与B样条曲面拟合结合的方法，将聚类结果和第一ROI区进行融合，得到所述第一融合数据。
可选地，所述获取所述声呐的图像数据和所述水下摄像机的图像数据，并进行数据融合，得到第二融合数据，包括：
获取所述声呐的图像数据，并进行预处理，包括背景过滤和噪声滤波；
将预处理后的图像数据映射到所述水下摄像机拍摄的图像中，并采用K均值聚类对映射得到的图像进行有效目标提取，得到有效目标；
对所述水下摄像机的图像数据选择第二ROI区；
采用AEKF与B样条曲面拟合结合的方法，将有效目标和第二ROI区进行数据融合，得到所述第二融合数据。
可选地，所述AEKF与B样条曲面拟合结合的数据融合方法实现步骤包括：
采用基于所述AEKF的水面目标3D定位位姿方法，在全局坐标系中拼接具有三维姿态的水面障碍物，确定水面障碍物在全局坐标系中的位置和姿态；
其中，用于定位水面障碍物的预测模型中使用密集点云数据来校正目标障碍物位姿，所述密集点云数据为利用所述B样条曲面拟合方法对每个障碍物对应的所述点云数据进行插值得到。
可选地，时间步长k时的所述水面障碍物的位置和姿态在全局坐标中表示为：
xk＝[qk,rk]T＝[xk,yk,zk,vk,αk]T
其中，qk＝[xk,yk,zk]T是障碍物在全局坐标中的位置，其中xk和yk是东、北方向的位置，zk是在垂直方向位置，rk＝[vk,αk]T是障碍物运动状态,vk是障碍物水平方向运动速度大小，αk是障碍物运动方向。
可选地，所述将所述第一融合数据和所述第二融合数据进行融合后，进行障碍物检测，包括：
将所述第一融合数据和所述第二融合数据进行融合后，转换到所述水面机器人的坐标系下；
对所述水面机器人的坐标系下的数据进行R-CNN障碍物检测，得到所述障碍物检测结果。
可选地，所述根据障碍物检测结果，进行模式切换，包括：
根据所述障碍物检测结果，对所述障碍物进行碰撞预测，计算碰撞风险系数；
若碰撞风险系数大于风险阈值，则进入避障模式；
否则，切换至河道模式或湖泊模式或过桥模式。
可选地，所述碰撞风险系数的计算公式为：
Figure BDA0003317512170000041
其中，d1为绝对安全会遇距离，d2为空间碰撞危险度为零的临界值，dr是水面机器人于前方障碍物沿当前行驶方向的轨迹曲线距离。
可选地，在获取所述激光雷达的点云数据和所述水面摄像机的图像数据，并进行数据融合，得到第一融合数据之前，还包括：
将所述水面摄像机和所述激光雷达进行时间和空间的联合标定；
将所述图像声呐和所述水下摄像机对齐校准。
此外，为实现上述目的，还提出了一种水面机器人协同障碍物检测及避障系统，所述水面机器人为双体船，所述船体顶端设有安装架，安装架上安装有激光雷达和水面摄像机，船体底部设有图像声呐，图像声纳下方布置有水下摄像机，所述双体船上还安装有导航模块和和拾音器，所述双体船底端安装有水深探测仪；所述激光雷达、水面摄像机、图像声纳、水下摄像机、导航模块和、拾音器和水深探测仪与中央处理单元连接，所述中央处理单元用于执行如上所述的水面机器人协同障碍物检测及避障方法。
与现有技术相比，本发明存在以下技术效果：由于水上和水下环境中物体的复杂性与不确定性，单个传感器感知到的信息非常有限。由于其自身硬件不足，有时感知到的信息不够准确。因此，本发明将多波束声呐图像数据、水下摄像机引入水面机器人避障策略中，前视多波束图像声呐对水下障碍物反射回的声波信号进行接收以确定水下障碍物的方位，可以减小机器人在水下区域的避碰盲区。在避碰策略上把快速的反应式避碰和慢速的慎思式避碰结合起来，既可应对简单快速出现的水上障碍，又可应对复杂的水下障碍，提高了水面机器人自主航行时在水下环境活动区域内的安全性。可以避免激光雷达和水上摄像机对浮标、岸边、岩石等比较矮小的障碍物检测遗漏的情况。
附图说明
下面结合附图，对本发明的具体实施方式进行详细描述：
图1是一种水面机器人协同障碍物检测及避障方法的流程图；
图2是一种水面机器人协同障碍物检测及避障方法原理框图；
图3是基于AEKF的水面目标3D定位位姿的流程图；
图4是水面机器人动态避障决策流程图；
图5是水面机器人预测轨迹距离计算示意图；
图6是通过坐标转换协同校准激光雷达和相机示意图；
图7是一种水面机器人协同障碍物检测及避障系统结构的侧视图；
图8是一种水面机器人协同障碍物检测及避障系统结构的后视图；
图9是预测障碍物位置和速度分别映射到距离和方向角所对应的极坐标示意图；
图10是水面桥洞识别结果；
图11是对前方水下障碍物检测结果。
图中：
1-船体；2-安装架；3-水下摄像机；4-图像声呐；5-水深探测仪；21-水面摄像机；22-激光雷达；23-拾音器。
具体实施方式
为了更进一步说明本发明的特征，请参阅以下有关本发明的详细说明与附图。所附图仅供参考与说明之用，并非用来对本发明的保护范围加以限制。
如图1至图2所示，本实施例公开了一种水面机器人协同障碍物检测及避障方法，所述水面机器人位于水面上方安装有激光雷达和水面摄像机，位于水面下方安装有图像声呐和水下摄像机，包括如下步骤S1至S4：
S1、获取所述激光雷达的点云数据和所述水面摄像机的图像数据，并进行数据融合，得到第一融合数据；
S2、获取所述声呐的图像数据和所述水下摄像机的图像数据，并进行数据融合，得到第二融合数据；
S3、将所述第一融合数据和所述第二融合数据进行融合后，进行障碍物检测；
S4、根据障碍物检测结果，进行模式切换。
需要说明的是，从抗干扰能力上来讲，由于激光雷达通过发射光束进行探测，受环境影响较大，光束受遮挡后就不能正常使用，因此无法在雨雪雾霾天，沙尘暴等恶劣天气中开启。视觉测量方法具有效率高、系统结构简单、成本低等优点，其优势在于具有视觉特征，使其和成熟的视觉算法结合进行后处理很容易，但不具有深度信息。单一传感器有其局限性，为了充分利用各个传感器的优势，因此同时将激光雷达和相机结合起来，两者正好起到一种相辅相成，取长补短的作用。
需要说明的是，通过将多波束声呐图像数据、水下摄像机引入水面机器人避障策略中，前视多波束图像声呐对水下障碍物反射回的声波信号进行接收以确定水下障碍物的方位，可以减小机器人在水下区域的避碰盲区。
进一步地，所述步骤S1：获取所述激光雷达的点云数据和所述水面摄像机的图像数据，并进行数据融合，得到第一融合数据，包括如下步骤：
S11、获取所述激光雷达的点云数据，并对所述激光雷达的点云数据进行噪声过滤，过滤掉散列点、孤立点；
S12、对经噪声过滤后的数据进行DBSCAN聚类处理，得到聚类结果；
需要说明的是，通过对激光雷达点云数据进行背景过滤，利用DBSCAN方法进行聚类，实现对有效障碍物或目标区域进行精准提取。
S13、获取所述水面摄像机的图像数据，并对所述水面摄像机的图像数据进行双边过滤处理后投影到三维点云空间，得到伪激光三维点云数据；
S14、对所述伪激光三维点云数据进行背景过滤后选择第一ROI区；
需要说明的是，对水面摄像机的2D图像输入数据进行双边滤波，并投影到三维点云空间，转换为伪激光三维点云数据，再对背景进行过滤；然后根据研究区域的边界坐标选择ROI，通常是水岸边界或会遇船舶，通过背景过滤和ROI选择过程提高检测和分类精度并降低计算成本。
S15、采用AEKF与B样条曲面拟合结合的方法，将聚类结果和第一ROI区进行融合，得到所述第一融合数据。
进一步地，所述步骤S2：获取所述声呐的图像数据和所述水下摄像机的图像数据，并进行数据融合，得到第二融合数据，包括如下步骤：
S21、获取所述声呐的图像数据，并进行预处理，包括背景过滤和噪声滤波；
需要说明的是，本实施例将声呐图像进行预处理，具体包括：Sobel算子进行图像边缘检测和中值滤波算法消除表面光反射滤波处理，减少噪声并消除异常值，然后进行背景过滤，消除背景区域，在获取图像预处理完成后为简化计算采用K-means聚类方法处理声纳点云图像，首先，确定准确的K数作为初始聚类中心，然后根据到中心的距离将其余对象分配给最近的类别，通过重新计算每个类对象，形成一个新的群集中心，一遍又一遍地重复此过程，直到每个聚类中心收敛为止，K-means聚类算法更适合复杂的水下环境。利用自适应阈值法对声纳图像进行分割，以检测物体。利用轮廓检测算法用于查找对象的轮廓并计算对象的位置。
S22、将预处理后的图像数据映射到所述水下摄像机拍摄的图像中，并采用K均值聚类对映射得到的图像进行有效目标提取，得到有效目标；
S23、对所述水下摄像机的图像数据选择第二ROI区；
S24、采用AEKF与B样条曲面拟合结合的方法，将有效目标和第二ROI区进行数据融合，得到所述第二融合数据。
进一步地，所述AEKF与B样条曲面拟合结合的数据融合方法实现步骤包括：
采用基于所述AEKF的水面目标3D定位位姿方法，在全局坐标系中拼接具有三维姿态的水面障碍物，确定水面障碍物在全局坐标系中的姿态；
其中，用于定位水面障碍物的预测模型中使用密集点云数据来校正目标障碍物位姿，所述密集点云数据为利用所述B样条曲面拟合方法对每个障碍物对应的所述点云数据进行插值得到。
具体来说，AEKF为改进的自适应扩展卡尔曼滤波，3D水面障碍位置探测模型为：通过在全局坐标系中拼接具有三维姿态的水面障碍物，生成三维水面地图。在时间步长k处估计障碍物在全局坐标系下的三维位姿通过xk来表示：
xk＝fk(xk-1)+wk-1
其中，fk(·)是状态转移函数，wk-1是均值为零的过程噪声，其协方差为Qk-1，利用观测函数hk(·)定义了三维水面障碍物定位的观测模型，它与当前状态和观测zk有关：
zk＝hk(xk)+ek
其中，ek是平均值为零且噪声协方差为Rk的观测噪声。
具体来说，时间步长k时的水面障碍物姿态在全局坐标中表示为：
xk＝[qk，rk]T＝[xk，yk，zk，vk，αk]T
其中，qk＝[xk，yk，zk]T是障碍物在全局坐标中的位置，其中xk和yk是东、北方向的位置和zk是在垂直方向位置；rk＝[vk，αk]T是障碍物运动状态，vk是障碍物水平方向运动速度大小，αk是障碍物运动方向，即相对于正北顺时针方向的夹角，根据障碍物坐标变化计算得到，仅对运动中的障碍物有效，对于静止的障碍物，该值将被忽略，具体运动状态符号投影关系如图9所示。
需要说明的是，本方法改进了扩展卡尔曼滤波器(EKF)的自适应版本，该技术的优点是可以部署稀疏的点云，通过利用稀疏点云校正计算达到密集点云的效果，节省雷达设备成本，节省大量点云计算成本。
如图3所示，本实施例中基于AEKF的水面障碍物定位位姿，由过去m个时间步观测到的变化噪声所决定的自适应协方差矩阵得到。初始状态x0根据滑动窗口中的LiDAR(激光扫描数据)读数估计；前m时间步长残差e0:m-1和新息n0:m-1基于固定噪声协方差初始化R0和Q0。
在预测阶段，LiDAR测量的位姿和速度模型在静止或者低动态场景下可以很好地工作，但在突然移动时误差会增加。因此，所提出的系统不使用具有恒定速度的标准运动模型，而是使用2D图像估计作为先验值，再结合3D点云进行校准。
进一步地，基于改进的自适应扩展卡尔曼滤波AEKF算法融合步骤如下：
(1)初始化：
Figure BDA0003317512170000101
Figure BDA0003317512170000102
其中，
Figure BDA0003317512170000103
为初始状态向量，E[]为期望值，P0为初始误差协方差矩阵。
(2)预测：
Figure BDA0003317512170000104
Figure BDA0003317512170000105
其中，
Figure BDA0003317512170000106
表示k时间步长的状态向量预测值，
Figure BDA0003317512170000107
为k时间步长的误差协方差矩阵预测值，通过递归计算得到，xk-1为k-1时间步长的状态向量，Pk-1为k-1时间步长的误差协方差矩阵，Qk-1是过程噪声的协方差矩阵，Fk|k-1是f的雅可比矩阵，
Figure BDA0003317512170000111
为是f的雅可比矩阵的转置。
Figure BDA0003317512170000112
(3)校正：
在校正阶段，利用k时间步所得新的观察或测量值zk＝h(xk)，更新当前状态的障碍物位姿和误差协方差：
Figure BDA0003317512170000113
Figure BDA0003317512170000114
其中，Hk是观测函数h的雅可比矩阵，Rk是观测噪声矩阵，Kk是卡尔曼增益，Pk为误差协方差矩阵，I为单位矩阵，zk为新的测量值向量。
Figure BDA0003317512170000115
更新新息和残差：
Figure BDA0003317512170000116
Figure BDA0003317512170000117
其中，nk和ek分别是卡尔曼滤波器中的新息和残差，新息残差协方差的估计是通过先前残差序列ek的平均值得出，取先前长度为m的窗口的时间序列：
Figure BDA0003317512170000118
式中，j＝0:m-1是最近时间估计窗口中的样本序号，ek-j为k-j时间步的残差。根据稳态假设，过程噪声可以估算如下所示：
Figure BDA0003317512170000119
需要说明的是，为了更新噪声协方差矩阵，通过计算m时间步的残差ek和新息nk，更新Rk和Wk。为了避免在开始时的大噪声可能导致前几个时间步的姿态估计误差较大，所提出的方法在第一个未开始计算自适应噪声协方差的情况下，利用前m时间步更新噪声协方差矩阵初始化残差和新息。此外，通过使用自适应协方差矩阵的内插点云对障碍物的状态进行预测和校正。
需要说明的是，在障碍物检测过程中，如果直接使用传感器的测量结果，在水面机器人颠簸时，可能会造成障碍物测量结果的突变，这对机器人的感知来说是不可靠的，为此使用改进的自适应卡尔曼滤波。卡尔曼滤波器就是根据上一时刻的状态，预测当前时刻的状态，将预测的状态与当前时刻的测量值进行加权，加权后的结果才认为是当前的实际状态，而不是仅仅听信当前的测量值。由于场景变换，比如突然的光照变化，水面剧烈抖动，受波浪、风力、水流等原因，导致传感器的检测精度受到影响，使用自适应扩展卡尔曼滤波器(Adaptive Extended Kalman Filter)，基于等加速度运动模型来预测当前目标的运动状态。运动状态包括分别对应于空间3D位置，其3D速度和加速度。仅使用来自传感器结果的位置和速度，将融合后的障碍物距离转化为机器人坐标系。
进一步地，本实施例通过利用B样条曲面拟合为解决稀疏点云不准确的问题，并减少视觉测量中累积的位姿和旋转误差，B样条曲面拟合过程详细过程描述如下：
为了减少视觉测量中累积的位姿和旋转误差，在观测模型中使用LiDAR数据来校正目标障碍物位姿。由于从LiDAR读取的距离数据不一定可靠，稀疏点云全局位置不足以纠正高分辨率图像中的错误。通过引入B样条方法，可以对每个目标对应的LiDAR数据进行插值。为了获得采样点和任意位置点的值，需要拟合一个覆盖所有不规则采样数据的光滑平面或曲面。
B样条曲面的点云控制点g∈G，通过在估计点云位置
Figure BDA0003317512170000121
周围的宽度为w的方形滑动窗口选择。滑动窗口的大小也会根据窗口中的点云数据密度自动调整。设LiDAR点云集合为G＝{p0,p1,…pN}，则时间步长k时刻障碍物位置坐标
Figure BDA0003317512170000131
插值对应选点集合为
Figure BDA0003317512170000132
Figure BDA0003317512170000133
其中pi(xi,yi,zi)，0<i≤N为第i个点云坐标，
Figure BDA0003317512170000134
为所选点云序号，
Figure BDA0003317512170000135
为所选点集中第
Figure BDA0003317512170000136
个点的坐标，
Figure BDA0003317512170000137
分别为x轴、y轴、z轴对应的坐标分量，w为滑动窗口大小。
设置控制点集由np＝(m+1)×(n+1)个选定的点云组成：
Figure BDA0003317512170000138
对于第l次B样条曲线，使用等距节点向量tv和nt个节点。
Figure BDA0003317512170000139
B样条曲线函数由一系列l次基函数Bi,l(u)定义：
Figure BDA00033175121700001310
Figure BDA00033175121700001311
其中，u为基函数的自变量，ti、ti+l、ti+l+1为分段区域边界点，Bi+1,l-1(u)、Bi,l-1(u)为相邻样条基函数值。
并且在时间步k处，p×q次样条曲面拟合函数为：
Figure BDA00033175121700001312
其中，Pk(u,v)为拟合的曲面二元函数，Ci,j为系数，Bi,p(u)为、Bj,q(v)为基函数。为了得到曲面拟合值，构造一个最小二乘目标函数Lobj为损失函数，它是Pi,j在点(xi,yj)对函数z＝f(x,y)的实际贡献与预测值之间的误差平方和，具体的定义如下：
Figure BDA00033175121700001313
求解目标曲面函数只要满足，
Figure BDA0003317512170000141
其中，
Figure BDA0003317512170000142
为偏导数，Lobj为目标损失函数。
求解对应的方程组即可得出对应的障碍物三维曲面立体位置。
进一步地，所述步骤S3：将所述第一融合数据和所述第二融合数据进行融合后，进行障碍物检测，包括如下步骤：
S31、将所述第一融合数据和所述第二融合数据进行融合后，转换到所述水面机器人的坐标系下；
需要说明的是，本实施例首先将非结构化且稀疏的声呐3D图像投影到相机图像平面上，然后进行采样以获得一组带有编码空间距离信息的密集2D图像，最后将图像坐标系转换为水面机器人坐标系。
S32、对所述水面机器人的坐标系下的数据进行R-CNN障碍物检测，得到所述障碍物检测结果。
需要说明的是，本实施例中目标检测通过深度学习卷积神经网络识别障碍物或目标，分类如船舶、浮标、人，桥洞等目标。
进一步地，所述步骤S4：所述根据障碍物检测结果，进行模式切换，包括如下步骤：
S41、根据所述障碍物检测结果，对所述障碍物进行碰撞预测，计算碰撞风险系数；
S42、若碰撞风险系数大于风险阈值，则进入避障模式；
S43、若碰撞风险系数小于风险阈值，则切换至河道模式或湖泊模式或过桥模式。
其中，所述碰撞风险系数的计算公式为：
Figure BDA0003317512170000151
其中，d1为绝对安全会遇距离，是与目标需保持的最小安全距离，d2为空间碰撞危险度为零的临界值，是与目标安全通行的最小距离，dr是水面机器人于前方障碍物沿当前行驶方向的轨迹曲线距离，CRI越大则碰撞风险越高，以此评价目标碰撞危险性。
本实施例在遵守一般航行原则和国际海上避碰规则(COLREGS)前提下，开发了基于碰撞风险系数(CRI)的动态避障决策系统，具体流程如图4所示。
通过计算第j个障碍物的综合碰撞风险系数CRIj，当CRIj大于阈值γ0，进入避障模式，根据相遇的情况(即会面，交叉，超车)，采取避免碰撞的措施，包括超车、跟随、减速、停泊等多种避碰方案。为保障航行安全，完整的决策系统的模型包括传感器信息采集，信息处理，评估碰撞风险，开始避让行动，恢复行使，有效性检测，应急措施等。
进一步地，对于避障模式，选择最优的，碰撞风险最低的路径规划。为了解决遇到的多障碍物，基于COLREGS将它们分为四个区域，并仅考虑每个区域中最近的障碍物。同时多艘船在同时遵循自己的预定路径的同时，也可以避免相互碰撞。水面机器人的实时姿态进行实时的环境建模，坐标系转换，选取可行区域通行；另外根据水面机器人基于自动驾驶环境自动识别结果，自动切换到河道模式、湖泊模式、避障模式或过桥模式，河道模式、湖泊模式和过桥模式之间是互斥，根据实际情况切换至其中的一种模式，而避障模式的碰撞预测过程与其他模式是多任务并行的，作为主任务贯穿自主巡航的全过程。
根据融合结果得到障碍物的远近信息，对信息数据进行分析后，获得障碍物的距离和方位角信息，进而分别根据障碍物的方位信息和距离信息在运动方向和运动速度上制定策略。因此，机器人可以通过有限状态转换实现自主巡航。
进一步地，对于河道模式，包括河道中央模式和溜边模式。中央模式是指沿着河道相对中央位置与河道平行行驶；溜边模式是指沿着河道与岸边保持最小安全距离行驶，分为靠左溜边和靠右溜边两种方式。通过相机图像识别，利用图像分割的方法检测河道边界，如果检测到河道，认为当前正在河道行驶时，自动驾驶程序自动进入河道模式，根据摄像头收集的实时图像数据和激光雷达采集的实时点云数据，对识别的河道进行跟踪，以保证在复杂弯曲多变的较窄河道自主沿着河道航行。根据预设的轨迹与河道识别结果进行自动校准，再满足目标轨迹的情况下沿河道行驶，另外河道模式会限制最大速度，根据上位机设定参数决定。
进一步地，对于湖泊模式，湖泊水域宽泛，障碍物等目标较少，因此速度相对河道模式没有速度限制，可以按照预设最大速度行驶，直到遇到障碍物再保持低速行驶，只需要识别动态障碍物，无需识别河岸等固有边缘障碍，严格按照预设的轨迹线路巡航。
进一步地，对于过桥模式，当识别到前方是桥梁时，机器人首先根据桥面宽度和高度，判断是否可通过，如果可通过，计算并对准方位找到桥下可通行区域，然后启动过桥模式，启用惯性导航计算方向，根据激光雷达识别前方空旷区域，保证安全穿越桥区。
如图5所示，沿曲线方向的距离计算，在计算水面机器人和前视障碍沿曲线方向的距离时，可以采取微分的思想，将水面机器人与前视障碍之间的轨迹曲线分割成n条短曲线，曲线的总长度等于n条短曲线的长度之和。
其中，曲线f(x)在区间[a,b]上连续可导，把曲线分割成n条短曲线，弧线AB是其中一条短曲线，A、N两点坐标分别为(x1,y1)和(x2,y2)，两点之间横纵坐标的差值分别为Δx和Δy。弧线AB的长度可以用两点之间连线的长度近似代替，则短曲线的弧长近似为：
Figure BDA0003317512170000161
Figure BDA0003317512170000171
轨迹预测曲线总长度近似为：
Figure BDA0003317512170000172
式中，Δxi表示第i段曲线的两个端点的横坐标之差。
进一步地，在步骤S1：获取所述激光雷达的点云数据和所述水面摄像机的图像数据，并进行数据融合，得到第一融合数据之前，还包括：
将所述水面摄像机和所述激光雷达进行时间和空间的联合标定；
将所述图像声呐和所述水下摄像机对齐校准。
需要说明的是，实现激光雷达和摄像头的空间、时间对准。点云具有穿透性，采集数据会做一些点云融合，能把这些数据有效的利用起来，保证提高精度。激光雷达内参标定：相对于摄像头，激光雷达的内参标定有一定的特殊性；激光雷达到GPS外参标定：计算出激光雷达与船载GPS的相对位置。GPS的位置由机器人坐标系中的3D点表示，因此计算出外参之后可以计算得到激光雷达在机器人坐标系中的位置。
水面机器人运行中激光雷达与相机融合采用一种新颖的混合CRF模型以融合来自摄像机和激光雷达的信息。对齐激光雷达点云和像素后，将像素和激光雷达点云(水面或背景)作为随机变量，并通过最小化混合能量函数来推断标签。提升学习决策树分类器以预测像素和激光雷达点云。混合模型需要对图像中的上下文校准一致；点云中的上下文校准一致性；再对齐像素和激光雷达点之间的交叉模式一致性进行编码。该模型以概率方式集成了来自两个传感器的信息，并充分利用了两个传感器。混合CRF模型可以通过图像分割有效地优化以获得水域面积。并计算激光雷达坐标系转换到相机坐标系，转换为图像坐标系，最终转换为机器人坐标系。
本实施例中标定过程为：首先校准激光雷达和相机，以获得两者的内在和外在参数。利用外部参数，解决几何变换(旋转R和平移T)，以将激光雷达3D点云和图像帧与公共坐标系关联，如图6所示。给定激光雷达3D点云PL(xL,yL,zL)和相机坐标Pc(xc,yc,zc)，几何变换公式为：
Figure BDA0003317512170000181
Rc为相机坐标系到激光雷达坐标系的旋转矩阵，T为平移矩阵,T＝[tx,ty,tz]T,旋转矩阵Rc通过与坐标轴的旋转角θx,θy,θz得到：
Rc＝Rz(θz)Ry(θx)Rx(θx)
Figure BDA0003317512170000182
Figure BDA0003317512170000183
Figure BDA0003317512170000184
三维点Pc＝(xC,yC,zC)，反向投影相机平面p＝(u,v),齐次坐标系下的摄像机投影方程为：
Figure BDA0003317512170000185
其中，K为零偏投影矩阵，s是比例因子，(fx,fY)是焦距，(cx,cy)是源点
考虑由透镜像差引起的径向畸变。本实施例使用两个失真参数k1和k2描述径向畸变。畸变校正后的投影可以写成：
Figure BDA0003317512170000191
Figure BDA0003317512170000192
其中，p＝(u,v)是畸变点，
Figure BDA0003317512170000193
是校正点。
使用以上两个公式将激光雷达的三维点投影到彩色图像的二维像素点。然后，以棋盘为目标。三维角点PL投影到二维图像点
Figure BDA0003317512170000194
并计算实际角点图像点p*之间的绝对误差，因此，通过最小化来解决协同校准问题，成本函数如下：
Figure BDA0003317512170000195
其中i是点索引和n是总点数，最终目标是估计外部参数(θx,θy,θz,tx,ty,ta)，固有参数(fx,fy,cx,cy)和畸变参数(k1,k2)通过计算最小化成本函数Lcost得到。然后找出三维点云与二维图像像素点之间的3D-2D对应关系，用于激光雷达与相机数据融合。现在点云中的每个点都有颜色纹理和3D深度信息，激光雷达预测障碍物位置和速度分别映射到距离和方向角所对应的极坐标示意图如图9所示。
如图7和图8所示，本实施例公开了一种水面机器人协同障碍物检测及避障系统，所述水面机器人为双体船1，所述双体船1的船体顶端设有安装架2，安装架上安装有激光雷达22和水面摄像机21，船体底部设有图像声呐4，图像声纳4下方布置有水下摄像机3，所述双体船1上还安装有导航模块和拾音器23，所述双体船1底端安装有水深探测仪5；所述激光雷达22、水面摄像机21、图像声纳4、水下摄像机3、导航模块和、拾音器23和水深探测仪5与中央处理单元连接，所述中央处理单元用于执行如上所述的水面机器人协同障碍物检测及避障方法。
具体来说，数据采集装置包括安装在水面机器人前方的激光雷达和水面摄像机(水面摄像机采用单目彩色相机)、安装在前方底部的前视多波速图像声呐和水下摄像机，水下摄像机、激光雷达和水面摄像机连接在局域网交换机上，多波速图像声呐通过RS232与中央处理单元相连接；一台发电机以及一台UPS。其中激光雷达的激光扫描平面与机器人底座平面平行，扫描前方横向360°和纵向45°范围以满足机器人前方障碍物检测需求；4G/5G路由器和UPS放置于船体内后排平台上的机架内，发电机放置于船体后备箱中。
船载水面摄像机配置在水面机器人体激光雷达下方，所述激光雷达安装在水面机器人顶部平台中部；GPS天线安装在水面机器人两端，多波束图像声呐安装在水面机器人下部内侧，水下摄像机安装在多波束图像声呐下方；GPS导航模块和IMU惯性导航模块安装水面机器人船体的防水箱中；船顶激光雷达为三维激光雷达，用于探测到水面机器人前方水路路况、探测水面机器人前方运动路径中的障碍物情况；前方激光雷达还用于探测四周的障碍物情况，水面摄像机用于识别水面机器人前方的标示和船顶激光雷达配合感知周围环境。
GPS导航系统用于获取水面机器人的实时位置信息，IMU惯性导航用于获取水面机器人的实时加速度、速度、航向角和俯仰角，多波束图像声呐对水下障碍物反射回的声波信号进行接收以确定水下障碍物的方位。
中央处理单元为基于ROS系统的工控机，通过网口与4G/5G联网模块相连接，并与云端服务器建立通信。中央处理单元对激光雷达的数据进行解析获取障碍物的位置信息，并与相机视觉信息进行融合，最后再与声呐定位到的水下障碍物的位置信息进行融合，根据采集的环境信息以及水面机器人的实时姿态进行实时的环境建模，通过坐标系转换，选取可通行区域通行；为了提高数据的存储能力，本系统另外装备有一个大容量的移动硬盘。
其中，多波速图像声呐为声呐阵列提供120°×3°的扇形波束，3°的纵向波束开角，可以有效减少测量误差。600KHz的工作频率，有效检测距离可达100m。近距离扫描时，图像的更新率达到20次/秒，而在100m的范围内，也可达到5次/秒。
需要说明的是，所述系统安装有水深探测仪，如果检测到水深搁浅不足以通行，系统自动报警，通知系统管理员。
进一步地，本实施例中将单目相机安装在带有云台的支架平台上，可以360度旋转，水面机器人向后倒退运动时自动旋转到后方，查看后方环境，及时识别后方的障碍物。
进一步地，所述水下摄像机是防水、防腐蚀的耐压摄像头，自带清洁与清洗装置，定时清理摄像头镜面，防止受水下污染导致不清晰。
需要说明的是，本发明方案包括水面机器人控制系统、船顶激光雷达、船载摄像头、带惯性导航GPS、电子罗盘等，水面机器人前方底部安装有前视多波束图像声呐和水下摄像机。激光雷达用于探测到水面机器人前方运动路径中及环视360度周围障碍物情况；单目彩色相机用来辅助识别河道、航道、港口基地等水面机器人线路或者目标，也用于辅助高清视频监控传输；通过滤波、聚类融合来自摄像机和激光雷达的信息以混合并校准检测障碍物；前视多波束图像声呐和水下摄像机用于识别水下障碍物，用于水下避障。最后使用基于深度神经网络的融合识别方法，通过三类探测系统传感单元的信息融合，通过不同探测系统得到的协同信息，实现水上和水下航行的高精度自主障碍探测功能，并通过预测碰撞系数进入避障算法实现水上与水下协同避障。本发明能够实现水面机器人在水上与水下同时复杂多变状态下的障碍物检测，并根据航行姿态变化调整避让决策，实现水面机器人的自主实时动态避障。本发明采用深度学习算法进行目标识别，解决复杂弯曲多变较窄河道水面目标或障碍物检测问题，目标检测结果示例可见图10至图11所示。本发明价格低廉、性价比相对较高，具有很强的实用性。
本发明具有如下有益效果：
(1)将激光雷达与单目相机融合用于水面障碍物检测，进行障碍物融合，联合标定，避免单一传感器会存在失效的情况；
(2)将声呐图像与水下摄像机联合，检测浅水层水下障碍物，避免遗漏水下盲区障碍物，通过水上与水下障碍物联合检测实现水上与水下协同避障。
(3)通过改进自适应扩展卡尔曼滤波AEKF，通过将AEKF与B样条曲面拟合结合实现三维与二维传感器的信息融合，避免了稀疏点云不准确的问题；
(4)通过计算碰撞系数预测，根据预测结果进行多模式控制，将碰撞事故降到最低。
本发明实施例提供的系统是用于执行上述各方法实施例的，具体流程和详细内容请参照上述实施例，此处不再赘述。
需要说明的是，本文中“第一”和“第二”仅仅用来区分名称相同的实体或操作，并不暗示这些实体或操作之间顺序或关系。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种水面机器人协同障碍物检测及避障方法，其特征在于，所述水面机器人位于水面上方安装有激光雷达和水面摄像机，位于水面下方安装有图像声呐和水下摄像机，包括：
获取所述激光雷达的点云数据和所述水面摄像机的图像数据，并进行数据融合，得到第一融合数据；
获取所述声呐的图像数据和所述水下摄像机的图像数据，并进行数据融合，得到第二融合数据；
将所述第一融合数据和所述第二融合数据进行融合后，进行障碍物检测；
根据障碍物检测结果，进行模式切换。
2.如权利要求1所述的水面机器人协同障碍物检测及避障方法，其特征在于，所述获取所述激光雷达的点云数据和所述水面摄像机的图像数据，并进行数据融合，得到第一融合数据，包括：
获取所述激光雷达的点云数据，并对所述激光雷达的点云数据进行噪声过滤，过滤掉散列点、孤立点；
对经噪声过滤后的数据进行DBSCAN聚类处理，得到聚类结果；
获取所述水面摄像机的图像数据，并对所述水面摄像机的图像数据进行双边过滤处理后投影到三维点云空间，得到伪激光三维点云数据；
对所述伪激光三维点云数据进行背景过滤后选择第一ROI区；
采用AEKF与B样条曲面拟合结合的方法，将聚类结果和第一ROI区进行融合，得到所述第一融合数据。
3.如权利要求1所述的水面机器人协同障碍物检测及避障方法，其特征在于，所述获取所述声呐的图像数据和所述水下摄像机的图像数据，并进行数据融合，得到第二融合数据，包括：
获取所述声呐的图像数据，并进行预处理，包括背景过滤和噪声滤波；
将预处理后的图像数据映射到所述水下摄像机拍摄的图像中，并采用K均值聚类对映射得到的图像进行有效目标提取，得到有效目标；
对所述水下摄像机的图像数据选择第二ROI区；
采用AEKF与B样条曲面拟合结合的方法，将有效目标和第二ROI区进行数据融合，得到所述第二融合数据。
4.如权利要求2或3所述的水面机器人协同障碍物检测及避障方法，其特征在于，所述AEKF与B样条曲面拟合结合的数据融合方法实现步骤包括：
采用基于所述AEKF的水面目标3D定位位姿方法，在全局坐标系中拼接具有三维姿态的水面障碍物，确定水面障碍物在全局坐标系中的位置和姿态；
其中，用于定位水面障碍物的预测模型中使用密集点云数据来校正目标障碍物位姿，所述密集点云数据为利用所述B样条曲面拟合方法对每个障碍物对应的所述点云数据进行插值得到。
5.如权利要求4所述的水面机器人协同障碍物检测及避障方法，其特征在于，时间步长k时的所述水面障碍物的位置和姿态在全局坐标中表示为：
xk＝[qk，rk]T＝[xk，yk，zk，vk，αk]T
其中，qk＝[xk，yk，zk]T是障碍物在全局坐标中的位置，其中xk和yk是东、北方向的位置，zk是在垂直方向位置，rk＝[vk，αk]T是障碍物运动状态，vk是障碍物水平方向运动速度大小，αk是障碍物运动方向。
6.如权利要求4所述的水面机器人协同障碍物检测及避障方法，其特征在于，将所述第一融合数据和所述第二融合数据进行融合后，进行障碍物检测，包括：
将所述第一融合数据和所述第二融合数据进行融合后，转换到所述水面机器人的坐标系下；
对所述水面机器人的坐标系下的数据进行R-CNN障碍物检测，得到所述障碍物检测结果。
7.如权利要求4所述的水面机器人协同障碍物检测及避障方法，其特征在于，所述根据障碍物检测结果，进行模式切换，包括：
根据所述障碍物检测结果，对所述障碍物进行碰撞预测，计算碰撞风险系数；
若碰撞风险系数大于风险阈值，则进入避障模式；
否则，切换至河道模式或湖泊模式或过桥模式。
8.如权利要求7所述的水面机器人协同障碍物检测及避障方法，其特征在于，所述碰撞风险系数的计算公式为：
Figure FDA0003317512160000031
其中，d1为绝对安全会遇距离，d2为空间碰撞危险度为零的临界值，dr是水面机器人于前方障碍物沿当前行驶方向的轨迹曲线距离。
9.如权利要求4所述的水面机器人协同障碍物检测及避障方法，其特征在于，在获取所述激光雷达的点云数据和所述水面摄像机的图像数据，并进行数据融合，得到第一融合数据之前，还包括：
将所述水面摄像机和所述激光雷达进行时间和空间的联合标定；
将所述图像声呐和所述水下摄像机对齐校准。
10.一种水面机器人协同障碍物检测及避障系统，其特征在于，所述水面机器人为双体船，所述船体顶端设有安装架，安装架上安装有激光雷达和水面摄像机，船体底部设有图像声呐，图像声纳下方布置有水下摄像机，所述双体船上还安装有导航模块和和拾音器，所述双体船底端安装有水深探测仪；所述激光雷达、水面摄像机、图像声纳、水下摄像机、导航模块和、拾音器和水深探测仪与中央处理单元连接，所述中央处理单元用于执行如权利要求1-9任一项所述的水面机器人协同障碍物检测及避障方法。
CN202111236049.3A 2021-10-22 2021-10-22 水面机器人协同障碍物检测及避障方法及系统 Pending CN113985419A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111236049.3A CN113985419A (zh) 2021-10-22 2021-10-22 水面机器人协同障碍物检测及避障方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111236049.3A CN113985419A (zh) 2021-10-22 2021-10-22 水面机器人协同障碍物检测及避障方法及系统

Publications (1)

Publication Number Publication Date
CN113985419A true CN113985419A (zh) 2022-01-28

Family

ID=79740613

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111236049.3A Pending CN113985419A (zh) 2021-10-22 2021-10-22 水面机器人协同障碍物检测及避障方法及系统

Country Status (1)

Country Link
CN (1) CN113985419A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114879685A (zh) * 2022-05-25 2022-08-09 合肥工业大学 一种用于无人船的河岸线检测及自主巡航方法
CN115640924A (zh) * 2022-09-16 2023-01-24 贵阳沙克智能科技有限公司 一种巡检机器人智能调度管理方法及系统
CN116433506A (zh) * 2023-03-13 2023-07-14 港珠澳大桥管理局 多波束数据处理方法、装置、计算机设备和存储介质
CN117079117A (zh) * 2023-09-13 2023-11-17 中国电子科技集团公司第十五研究所 水下图像处理及目标识别的方法及装置、存储介质及电子设备
CN117406757A (zh) * 2023-12-12 2024-01-16 西北工业大学宁波研究院 一种基于三维全局视觉的水下自主航行方法
CN117539268A (zh) * 2024-01-09 2024-02-09 吉林省吉邦自动化科技有限公司 基于机器视觉与激光雷达融合的vga自主避障系统

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114879685A (zh) * 2022-05-25 2022-08-09 合肥工业大学 一种用于无人船的河岸线检测及自主巡航方法
CN115640924A (zh) * 2022-09-16 2023-01-24 贵阳沙克智能科技有限公司 一种巡检机器人智能调度管理方法及系统
CN115640924B (zh) * 2022-09-16 2023-10-27 贵阳沙克智能科技有限公司 一种巡检机器人智能调度管理方法及系统
CN116433506A (zh) * 2023-03-13 2023-07-14 港珠澳大桥管理局 多波束数据处理方法、装置、计算机设备和存储介质
CN117079117A (zh) * 2023-09-13 2023-11-17 中国电子科技集团公司第十五研究所 水下图像处理及目标识别的方法及装置、存储介质及电子设备
CN117079117B (zh) * 2023-09-13 2024-04-16 中国电子科技集团公司第十五研究所 水下图像处理及目标识别的方法及装置、存储介质及电子设备
CN117406757A (zh) * 2023-12-12 2024-01-16 西北工业大学宁波研究院 一种基于三维全局视觉的水下自主航行方法
CN117406757B (zh) * 2023-12-12 2024-04-19 西北工业大学宁波研究院 一种基于三维全局视觉的水下自主航行方法
CN117539268A (zh) * 2024-01-09 2024-02-09 吉林省吉邦自动化科技有限公司 基于机器视觉与激光雷达融合的vga自主避障系统

Similar Documents

Publication Publication Date Title
CN113985419A (zh) 水面机器人协同障碍物检测及避障方法及系统
CN110850403B (zh) 一种多传感器决策级融合的智能船水面目标感知识别方法
CN109283538B (zh) 一种基于视觉和激光传感器数据融合的海上目标大小检测方法
KR20220155559A (ko) 이미지 세그멘테이션을 이용한 자율 운항 방법
CN110275153B (zh) 一种基于激光雷达的水面目标检测与跟踪方法
KR102530691B1 (ko) 접안 모니터링 장치 및 방법
CN113340295B (zh) 一种多个测距传感器的无人艇近岸实时定位与建图方法
Mandić et al. Underwater object tracking using sonar and USBL measurements
CN110794396B (zh) 基于激光雷达和导航雷达的多目标识别方法及系统
WO2020099016A1 (en) System and method for measuring the distance to an object in water
KR102466804B1 (ko) 이미지 세그멘테이션을 이용한 자율 운항 방법
Kim et al. Artificial intelligence vision-based monitoring system for ship berthing
KR102520844B1 (ko) 해수면을 고려한 항만 및 선박 모니터링 방법 및 장치
Clunie et al. Development of a perception system for an autonomous surface vehicle using monocular camera, lidar, and marine radar
KR102530847B1 (ko) 항만 및 선박 모니터링 방법 및 장치
Han et al. GPS-less coastal navigation using marine radar for USV operation
CN114332647B (zh) 一种用于无人船的河道边界检测与跟踪方法及系统
CN116087982A (zh) 一种融合视觉和雷达系统的海上落水人员识别及定位方法
Lin et al. Environment perception and object tracking for autonomous vehicles in a harbor scenario
CN114061565B (zh) 一种无人船舶slam及其应用方法
Sorial et al. Towards a real time obstacle detection system for unmanned surface vehicles
CN114077249B (zh) 一种作业方法、作业设备、装置、存储介质
CN115792912A (zh) 一种弱观测条件下基于视觉与毫米波雷达融合的水面无人艇环境感知方法及系统
CN115031718A (zh) 一种多传感器融合的无人船同步定位与建图方法(slam)及系统
Qingqing et al. Detecting water reflection symmetries in point clouds for camera position calibration in unmanned surface vehicles

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination