CN117784797A - 基于视觉图像和激光雷达的水下智能机器人导航避障方法 - Google Patents
基于视觉图像和激光雷达的水下智能机器人导航避障方法 Download PDFInfo
- Publication number
- CN117784797A CN117784797A CN202410200637.9A CN202410200637A CN117784797A CN 117784797 A CN117784797 A CN 117784797A CN 202410200637 A CN202410200637 A CN 202410200637A CN 117784797 A CN117784797 A CN 117784797A
- Authority
- CN
- China
- Prior art keywords
- obstacle
- frame
- visual image
- laser radar
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 115
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000004364 calculation method Methods 0.000 claims abstract description 41
- 238000006073 displacement reaction Methods 0.000 claims abstract description 40
- 230000008859 change Effects 0.000 claims description 10
- 230000033001 locomotion Effects 0.000 claims description 9
- 230000004927 fusion Effects 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 abstract description 4
- 238000005259 measurement Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000001914 filtration Methods 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 4
- 238000007499 fusion processing Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Landscapes
- Optical Radar Systems And Details Thereof (AREA)
Abstract
本发明公开了基于视觉图像和激光雷达的水下智能机器人导航避障方法,涉及水下智能机器人技术领域,该方案的技术要点为:对视觉图像和激光雷达点云数据进行逐帧分析,通过连续帧中的位移和时间间隔分别计算获得障碍物的帧间移动速度,将视觉图像转化为灰度图像累加所有像素的平方灰度差并除以像素总数得到方差,将方差作为视觉图像的清晰度,计算激光点云数据多普勒频移的标准差,通过视觉图像的清晰度和雷达数据的多普勒频移值的标准差,计算获得视觉图像数据和激光雷达数据的权重系数,对障碍物帧间移动速度进行融合,控制机器人进行实时避障,根据数据质量和可靠性动态调整权重,充分利用两种数据源的优势。
Description
技术领域
本发明涉及水下智能机器人技术领域,具体为基于视觉图像和激光雷达的水下智能机器人导航避障方法。
背景技术
随着科技的不断发展,水下机器人技术得到了广泛的应用。然而,由于水下环境的复杂性和不确定性,水下机器人在导航和避障方面面临诸多挑战。传统的水下机器人主要依赖声呐进行环境感知,但声呐在面对复杂的水下环境时,其感知精度和范围受到限制。
在申请公布号为CN112180943B的中国发明申请中,公开了一种基于视觉图像和激光雷达的水下机器人导航避障方法,其通过在水下工作区域使用激光雷达数据创建3D栅格地图;向水下机器人的导航模块发送导航目标点;导航模块根据目标点与当前位置,规划由当前位置到目标点的行走路径;导航模块根据视觉图像和激光雷达数据,计算水下机器人运动过程中与障碍物的相对速度,从而根据速度冲突检测方法实时计算水下机器人下一时刻的最优运动速度;根据最优运动速度控制水下机器人移动,重复前述步骤,直到水下机器人到达目标点。
在申请公布号为CN117311372A的中国发明申请中,公开了基于双目立体视觉的水下机器人自主避障系统及方法,涉及水下机器人设备技术领域,在接收双目立体视觉测量模块、扭矩力学测量模块、北斗导航模块输出的相关数据信息后,可准确获得水下机器人周围障碍物的坐标信息和类别信息,并实时输出水下机器人的艏向角、纵倾角和横摇角信息,经过自主避障算法并读取3D栅格地图信息,实时输出水下机器人位置信息、姿态信息和速度信息,形成水下机器人精确自主避障信息。
结合以上发明,现有技术存在以下不足:
在水下环境等复杂条件下,由于光线传播、水质清澈度、水中的悬浮颗粒物等因素,视觉图像和激光雷达数据的质量可能会受到严重影响,包括能见度降低、色彩失真、目标模糊、测量误差、数据噪声以及信号衰减等,对于障碍物的速度计算,若未对视觉图像和激光雷达数据的质量进行充分考虑和调整,以及充分利用和结合视觉图像与激光雷达数据,这意味着未能充分发挥两种数据源的优势,导致速度估计可能存在偏差或不够准确。
发明内容
(一)解决的技术问题
针对现有技术的不足,本发明提供了基于视觉图像和激光雷达的水下智能机器人导航避障方法,对视觉图像和激光雷达点云数据进行逐帧分析,通过连续帧中的位移和时间间隔分别计算获得障碍物的帧间移动速度,将视觉图像转化为灰度图像累加所有像素的平方灰度差并除以像素总数得到方差,将方差作为视觉图像的清晰度,计算激光点云数据多普勒频移的标准差,通过视觉图像的清晰度和雷达数据的多普勒频移值的标准差,计算获得视觉图像数据和激光雷达数据的权重系数,对障碍物帧间移动速度进行融合,控制机器人进行实时避障,解决了背景技术中提到的问题。
(二)技术方案
为实现以上目的,本发明通过以下技术方案予以实现:基于视觉图像和激光雷达的水下智能机器人导航避障方法,包括以下步骤:
水下智能机器人通过搭载的视觉传感器和激光雷达,获取水下环境的视觉图像和激光雷达数据;
对视觉图像进行逐帧分析,确定每一帧图像中障碍物的位置,计算相邻帧之间障碍物的位移差,通过帧间位移差和帧间时间间隔来计算障碍物的帧间移动速度;
通过分析激光雷达点云数据,根据连续帧中障碍物的位置变化,计算出障碍物在时间间隔内的位移,通过连续帧中的位移和时间间隔计算获得障碍物的帧间移动速度;
将视觉图像转化为灰度图像并计算每个像素点的灰度差值和平方灰度差,再累加所有像素的平方灰度差并除以像素总数得到方差,将方差作为视觉图像的清晰度;
通过激光雷达的原始发射频率以及接收到的频率,计算激光点云数据每个点的多普勒频移值,计算激光雷达数据每一帧中所有点云数据的多普勒频移值,进一步计算获得多普勒频移的标准差;
通过视觉图像的清晰度和雷达数据的多普勒频移值的标准差,计算获得视觉图像数据的权重系数和激光雷达数据的权重系数,对视觉图像和激光雷达数据计算获得的障碍物帧间移动速度进行融合,依据融合后的障碍物帧间移动速度,控制机器人进行实时避障。
进一步的,获取视觉图像数据,对视觉图像进行逐帧分析,确定每一帧图像中障碍物的位置,计算相邻帧之间障碍物的位移差,位移差通过计算两个位置之间的距离获得;
通过帧间位移差和帧间时间间隔来计算障碍物的帧间移动速度,计算公式如下:
其中,表示图像数据的帧间移动速度,表示帧间位移差,表示帧间时间间
隔。
进一步的,通过分析激光雷达点云数据,根据连续帧中障碍物的位置变化,计算出障碍物在时间间隔内的位移;
通过连续帧中的位移和时间间隔计算获得障碍物的帧间移动速度,计算公式如下:
其中,表示雷达数据的帧间移动速度,表示帧间位移差,表示帧间时间间
隔。
进一步的,将视觉图像转化为灰度图像,对灰度图像中的每一个像素点,获取该像素点的灰度值;
对于每一个像素点,计算该像素点与右侧和下侧相邻像素点的灰度差值,将得到的灰度差值进行平方处理,计算像素点的平方灰度差,计算公式如下:
其中,表示像素点的平方灰度差,表示像素点的灰度值,x表示像素点
的横轴坐标,y表示像素点的纵轴坐标。
进一步的,将所有像素的平方灰度差累加起来,并除以像素总数得到方差,将方差作为视觉图像的清晰度,用于评估视觉图像的数据质量,计算公式如下:
其中,σ表示方差,即视觉图像的清晰度,表示横轴像素点数量,表示纵轴像
素点数量,表示像素点的平方灰度差。
进一步的,通过激光雷达的原始发射频率以及接收到的频率,计算激光点云数据每个点的多普勒频移值,计算公式如下:
其中,表示多普勒频移值,表示接收到的频率,f表示发射的原始频率。
进一步的,计算激光雷达数据每一帧中所有点云数据的多普勒频移值,并计算所有多普勒频移值的平均值,进一步计算获得多普勒频移值的标准差,计算公式如下:
其中,δ表示多普勒频移值的标准差,K表示多普勒频移值的数量,表示第k个点
的多普勒频移值,,K为正整数,表示所有多普勒频移值的平均值。
进一步的,获取视觉图像的清晰度和多普勒频移值的标准差,进行最小-最大归一化处理后,计算获得视觉图像数据的权重系数和激光雷达数据的权重系数,计算公式如下:
其中,表示视觉图像数据的权重系数,表示激光雷达数据的权重系数,表示
第i帧视觉图像的清晰度,i表示每一帧视觉图像的标记,,m为正整数,m表示视
觉图像的总帧数,表示第j帧激光雷达数据多普勒频移值的标准差,j表示每一帧激光雷
达数据的标记,,n为正整数,n表示激光雷达数据的总帧数。
进一步的,将视觉图像和激光雷达数据分别计算获得的障碍物帧间移动速度,结合视觉图像数据的权重系数和激光雷达数据的权重系数进行融合,获得融合后的障碍物帧间移动速度,计算公式如下:
其中,v表示融合后的障碍物帧间移动速度,表示视觉图像数据的权重系数,
表示视觉图像计算获得的障碍物帧间移动速度,表示激光雷达数据的权重系数,表示
激光雷达计算获得的障碍物帧间移动速度;
依据融合后的障碍物帧间移动速度,控制机器人进行实时避障。
(三)有益效果
本发明提供了基于视觉图像和激光雷达的水下智能机器人导航避障方法,具备以下有益效果:
(1)通过图像处理技术,能够准确地识别和定位障碍物,通过计算位移差和时间间隔,准确地、实时地计算出障碍物的移动速度,以达到快速响应的目的,有助于提高系统的可靠性和安全性。
(2)由于激光雷达能够提供精确的三维坐标信息,能够实现障碍物的高精度定位,通过连续帧中的障碍物位置变化,可以准确地计算出障碍物的位移,进而得到其移动速度,通过连续分析激光雷达的帧间数据,可以实时地计算出障碍物的移动速度,实现高精度和实时性的测量。
(3)通过计算方差可以将视觉图像的清晰度量化,方差的大小直接反映了图像中像素点的灰度值变化情况,从而可以评估图像的细节和纹理丰富程度,帮助了解图像的细节表现,从而更好地评估图像的数据质量。
(4)通过对连续帧的多普勒频移数据进行平均化和标准差分析,可以评估数据稳定性和可靠性,标准差较小意味着数据较为集中,离散程度低,测量结果更为可靠;而标准差较大则可能表示数据存在较大波动或误差。
(5)综合考虑视觉图像和激光雷达的数据特点,以及环境因素对数据质量的影响,进行合理的融合处理和调整,能够更好地平衡两种数据源的贡献,根据数据质量和可靠性动态调整权重,充分利用两种数据源的优势,从而提高数据融合的准确性和稳定性。
附图说明
图1为本发明基于视觉图像和激光雷达的水下智能机器人导航避障方法步骤示意图;
图2为本发明基于视觉图像和激光雷达的水下智能机器人导航避障方法流程示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1和图2,本发明提供基于视觉图像和激光雷达的水下智能机器人导航避障方法,包括以下步骤:
步骤一:水下智能机器人通过搭载的视觉传感器和激光雷达,获取水下环境的视觉图像和激光雷达数据;
所述步骤一包括以下内容:
步骤101:水下智能机器人通过搭载的视觉传感器和激光雷达,获取水下环境的视觉图像和激光雷达数据;
步骤102:对获取的视觉图像和激光雷达数据进行预处理,包括去噪、滤波、配准等操作,得到预处理后的数据;
步骤103:将预处理后的数据传输至后续数据处理模块。
需要说明的是,为了提高后续处理和分析的准确性和效率,需要对原始数据进行预处理,预处理的步骤包括去噪、滤波和配准等操作,去噪是为了消除数据中的噪声和干扰,滤波是为了提高数据的清晰度和分辨率,而配准则是为了确保不同传感器之间的数据能够准确对齐。
使用时,结合步骤101至步骤103的内容:
通过视觉传感器和激光雷达的结合,水下智能机器人能够获取到水下环境的详细视觉图像和距离信息,从而对环境有更全面的感知,有助于识别障碍物、检测目标物体,预处理步骤能够改善数据的清晰度、准确性和一致性,提高识别和分类的准确性。
步骤二:对视觉图像进行逐帧分析,确定每一帧图像中障碍物的位置,计算相邻帧之间障碍物的位移差,通过帧间位移差和帧间时间间隔来计算障碍物的帧间移动速度;
所述步骤二包括以下内容:
步骤201:获取视觉图像数据,对视觉图像进行逐帧分析,确定每一帧图像中障碍物的位置,计算相邻帧之间障碍物的位移差,位移差通过计算两个位置之间的距离获得;
步骤202:通过帧间位移差和帧间时间间隔来计算障碍物的帧间移动速度,计算公式如下:
其中,表示图像数据的帧间移动速度,表示帧间位移差,表示帧间时间间
隔。
需要说明的是,通过逐帧分析视觉图像数据,可以确定每一帧图像中障碍物的位置,这一步通常使用计算机视觉技术来检测和跟踪障碍物,通过立体视觉或深度学习算法来实现,以获取障碍物在三维空间中的位置信息,障碍物的位移差计算是基于相邻帧之间的障碍物位置信息,位移差是通过计算两个位置之间的距离获得的,这涉及到基本的几何运算,如欧几里得距离或向量差等。
使用时,结合步骤201至步骤202的内容:
通过图像处理技术,能够较为准确地识别和定位障碍物,通过计算位移差和时间间隔,准确地、实时地计算出障碍物的移动速度,以达到快速响应的目的,有助于提高系统的可靠性和安全性。
步骤三:通过分析激光雷达点云数据,识别并跟踪障碍物的位置,根据连续帧中障碍物的位置变化,计算出障碍物在时间间隔内的位移,通过连续帧中的位移和时间间隔计算获得障碍物的帧间移动速度;
所述步骤三包括以下内容:
步骤301:获取激光雷达数据,通过分析激光雷达点云数据,识别并跟踪障碍物的位置,根据连续帧中障碍物的位置变化,计算出障碍物在时间间隔内的位移;
步骤302:通过连续帧中的位移和时间间隔计算获得障碍物的帧间移动速度,计算公式如下:
其中,表示雷达数据的帧间移动速度,表示帧间位移差,表示帧间时间间
隔。
需要说明的是,在连续的激光雷达帧中,通过适当的算法(如聚类、滤波或分割算法)识别并跟踪障碍物的位置,激光雷达数据提供了障碍物的精确三维坐标,这使得障碍物的位置和形状能够被准确地确定,根据连续帧中障碍物的位置变化,可以计算出障碍物在时间间隔内的位移,这一步需要考虑到激光雷达的扫描模式和帧间时间间隔,确保位移计算的准确性。
使用时,结合步骤301至步骤302的内容:
由于激光雷达能够提供精确的三维坐标信息,能够实现障碍物的高精度定位,通过连续帧中的障碍物位置变化,可以准确地计算出障碍物的位移,进而得到其移动速度,通过连续分析激光雷达的帧间数据,可以实时地计算出障碍物的移动速度,实现高精度和实时性的测量。
步骤四:将视觉图像转化为灰度图像并计算每个像素点的灰度差值和平方灰度差,再累加所有像素的平方灰度差并除以像素总数得到方差,将方差作为视觉图像的清晰度;
所述步骤四包括以下内容:
步骤401:将视觉图像转化为灰度图像,对灰度图像中的每一个像素点,获取该像素点的灰度值;
步骤402:对于每一个像素点,计算该像素点与右侧和下侧相邻像素点的灰度差值,将得到的灰度差值进行平方处理,计算像素点的平方灰度差,计算公式如下:
其中,表示像素点的平方灰度差,表示像素点的灰度值,x表示像素点
的横轴坐标,y表示像素点的纵轴坐标;
步骤403:将所有像素的平方灰度差累加起来,并除以像素总数得到方差,将方差作为视觉图像的清晰度,用于评估视觉图像的数据质量,计算公式如下:
其中,σ表示方差,即视觉图像的清晰度,表示横轴像素点数量,表示纵轴像
素点数量,表示像素点的平方灰度差。
需要说明的是,方差越大,说明图像中像素点的灰度值变化越剧烈,图像的细节和纹理越丰富,因此图像越清晰,相反,如果方差很小,说明像素点的灰度值变化很小,图像的细节和纹理不明显,因此图像比较模糊。
使用时,结合步骤401至步骤403的内容:
通过计算方差可以将视觉图像的清晰度量化,方差的大小直接反映了图像中像素点的灰度值变化情况,从而可以评估图像的细节和纹理丰富程度,帮助了解图像的细节表现,从而更好地评估图像的数据质量。
步骤五:通过激光雷达的原始发射频率以及接收到的频率,计算激光点云数据每个点的多普勒频移值,计算激光雷达数据每一帧中所有点云数据的多普勒频移值,进一步计算获得多普勒频移的标准差;
所述步骤五包括以下内容:
步骤501:通过激光雷达的原始发射频率以及接收到的频率,计算激光点云数据每个点的多普勒频移值,计算公式如下:
其中,表示多普勒频移值,表示接收到的频率,f表示发射的原始频率;
步骤502:计算激光雷达数据每一帧中所有点云数据的多普勒频移值,并计算所有多普勒频移值的平均值,进一步计算获得多普勒频移值的标准差,计算公式如下:
其中,δ表示多普勒频移值的标准差,K表示多普勒频移值的数量,表示第k个点
的多普勒频移值,,K为正整数,表示所有多普勒频移值的平均值。
需要说明的是,多普勒频移值是指在波源和接收器之间存在相对运动时,接收到的频率与发射频率之间的差值,这个差值是由于波源和接收器之间的相对运动造成的,多普勒频移是波的属性在运动中发生变化的规律,不仅仅存在于光学领域,也存在于声学和雷达领域。
使用时,结合步骤501至步骤502的内容:
通过对连续帧的多普勒频移数据进行平均化和标准差分析,可以评估数据稳定性和可靠性,标准差较小意味着数据较为集中,离散程度低,测量结果更为可靠;而标准差较大则可能表示数据存在较大波动或误差。
步骤六:通过视觉图像的清晰度和雷达数据的多普勒频移值的标准差,计算获得视觉图像数据的权重系数和激光雷达数据的权重系数,对视觉图像和激光雷达数据计算获得的障碍物帧间移动速度进行融合,依据融合后的障碍物帧间移动速度,控制机器人进行实时避障。
所述步骤六包括以下内容:
步骤601:获取视觉图像的清晰度和多普勒频移值的标准差,进行最小-最大归一化处理后,计算获得视觉图像数据的权重系数和激光雷达数据的权重系数,计算公式如下:
其中,表示视觉图像数据的权重系数,表示激光雷达数据的权重系数,表示
第i帧视觉图像的清晰度,i表示每一帧视觉图像的标记,,m为正整数,m表示视
觉图像的总帧数,表示第j帧激光雷达数据多普勒频移值的标准差,j表示每一帧激光雷
达数据的标记,,n为正整数,n表示激光雷达数据的总帧数;
步骤602:将视觉图像和激光雷达数据分别计算获得的障碍物帧间移动速度,结合视觉图像数据的权重系数和激光雷达数据的权重系数进行融合,获得融合后的障碍物帧间移动速度,计算公式如下:
其中,v表示融合后的障碍物帧间移动速度,表示视觉图像数据的权重系数,
表示视觉图像计算获得的障碍物帧间移动速度,表示激光雷达数据的权重系数,表示
激光雷达计算获得的障碍物帧间移动速度;
步骤603:依据融合后的障碍物帧间移动速度,控制机器人进行实时避障。
需要说明的是,在水下环境中,由于光线传播、水质清澈度、传感器性能等多种因素的影响,视觉图像和激光雷达的数据质量可能会受到限制,因此,在进行障碍物速度的融合处理时,需要根据视觉图像的清晰度和激光雷达数据的质量进行调整;
具体来说,如果视觉图像清晰度较低,可能无法准确识别障碍物的形状和轮廓,这会影响到基于视觉图像的速度计算,此时,可以更多地依赖于激光雷达的数据,因为它不受光线传播和水质清澈度的影响,能够提供相对更准确的障碍物位置和速度信息;
另一方面,如果激光雷达数据质量不高,存在噪声或异常值,也需要对数据进行调整,以减小其对速度计算的影响。
使用时,结合步骤601至步骤603的内容:
综合考虑视觉图像和激光雷达的数据特点,以及环境因素对数据质量的影响,进行合理的融合处理和调整,能够更好地平衡两种数据源的贡献,根据数据质量和可靠性动态调整权重,充分利用两种数据源的优势,从而提高数据融合的准确性和稳定性。
在申请中,所述涉及到的若干个公式均是去量纲后取其数值计算,而所述公式是由采集大量数据进行软件模拟得到最近真实情况的一个公式,公式中的系数由本领域的技术人员根据实际情况进行设置。
上述实施例,可以全部或部分地通过软件、硬件、固件或其他任意组合来实现。当使用软件实现时,上述实施例可以全部或部分地以计算机程序产品的形式实现。本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,既可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。
Claims (9)
1.基于视觉图像和激光雷达的水下智能机器人导航避障方法,其特征在于,包括以下步骤:
水下智能机器人通过搭载的视觉传感器和激光雷达,获取水下环境的视觉图像和激光雷达数据;
对视觉图像进行逐帧分析,确定每一帧图像中障碍物的位置,计算相邻帧之间障碍物的位移差,通过帧间位移差和帧间时间间隔来计算障碍物的帧间移动速度;
通过分析激光雷达点云数据,根据连续帧中障碍物的位置变化,计算出障碍物在时间间隔内的位移,通过连续帧中的位移和时间间隔计算获得障碍物的帧间移动速度;
将视觉图像转化为灰度图像并计算每个像素点的灰度差值和平方灰度差,再累加所有像素的平方灰度差并除以像素总数得到方差,将方差作为视觉图像的清晰度;
通过激光雷达的原始发射频率以及接收到的频率,计算激光点云数据每个点的多普勒频移值,计算激光雷达数据每一帧中所有点云数据的多普勒频移值,进一步计算获得多普勒频移的标准差;
通过视觉图像的清晰度和雷达数据的多普勒频移值的标准差,计算获得视觉图像数据的权重系数和激光雷达数据的权重系数,对视觉图像和激光雷达数据计算获得的障碍物帧间移动速度进行融合,依据融合后的障碍物帧间移动速度,控制机器人进行实时避障。
2.根据权利要求1所述的基于视觉图像和激光雷达的水下智能机器人导航避障方法,其特征在于,
获取视觉图像数据,对视觉图像进行逐帧分析,确定每一帧图像中障碍物的位置,计算相邻帧之间障碍物的位移差,位移差通过计算两个位置之间的距离获得;
通过帧间位移差和帧间时间间隔来计算障碍物的帧间移动速度,计算公式如下:
;
其中,表示图像数据的帧间移动速度,/>表示帧间位移差,/>表示帧间时间间隔。
3.根据权利要求1所述的基于视觉图像和激光雷达的水下智能机器人导航避障方法,其特征在于,
通过分析激光雷达点云数据,根据连续帧中障碍物的位置变化,计算出障碍物在时间间隔内的位移;
通过连续帧中的位移和时间间隔计算获得障碍物的帧间移动速度,计算公式如下:
;
其中,表示雷达数据的帧间移动速度,/>表示帧间位移差,/>表示帧间时间间隔。
4.根据权利要求1所述的基于视觉图像和激光雷达的水下智能机器人导航避障方法,其特征在于,
将视觉图像转化为灰度图像,对灰度图像中的每一个像素点,获取该像素点的灰度值;
对于每一个像素点,计算该像素点与右侧和下侧相邻像素点的灰度差值,将得到的灰度差值进行平方处理,计算像素点的平方灰度差,计算公式如下:
;
其中,表示像素点的平方灰度差,/>表示像素点的灰度值,x表示像素点的横轴坐标,y表示像素点的纵轴坐标。
5.根据权利要求4所述的基于视觉图像和激光雷达的水下智能机器人导航避障方法,其特征在于,
将所有像素的平方灰度差累加起来,并除以像素总数得到方差,将方差作为视觉图像的清晰度,用于评估视觉图像的数据质量,计算公式如下:
;
其中,σ表示方差,即视觉图像的清晰度,表示横轴像素点数量,/>表示纵轴像素点数量,/>表示像素点的平方灰度差。
6.根据权利要求1所述的基于视觉图像和激光雷达的水下智能机器人导航避障方法,其特征在于,
通过激光雷达的原始发射频率以及接收到的频率,计算激光点云数据每个点的多普勒频移值,计算公式如下:
;
其中,表示多普勒频移值,/>表示接收到的频率,f表示发射的原始频率。
7.根据权利要求6所述的基于视觉图像和激光雷达的水下智能机器人导航避障方法,其特征在于,
计算激光雷达数据每一帧中所有点云数据的多普勒频移值,并计算所有多普勒频移值的平均值,进一步计算获得多普勒频移值的标准差,计算公式如下:
;
其中,δ表示多普勒频移值的标准差,K表示多普勒频移值的数量,表示第k个点的多普勒频移值,/>,K为正整数,/>表示所有多普勒频移值的平均值。
8.根据权利要求1所述的基于视觉图像和激光雷达的水下智能机器人导航避障方法,其特征在于,
获取视觉图像的清晰度和多普勒频移值的标准差,进行最小-最大归一化处理后,计算获得视觉图像数据的权重系数和激光雷达数据的权重系数,计算公式如下:
;
其中,表示视觉图像数据的权重系数,/>表示激光雷达数据的权重系数,/>表示第i帧视觉图像的清晰度,i表示每一帧视觉图像的标记,/>,m为正整数,m表示视觉图像的总帧数,/>表示第j帧激光雷达数据多普勒频移值的标准差,j表示每一帧激光雷达数据的标记,/>,n为正整数,n表示激光雷达数据的总帧数。
9.根据权利要求8所述的基于视觉图像和激光雷达的水下智能机器人导航避障方法,其特征在于,
将视觉图像和激光雷达数据分别计算获得的障碍物帧间移动速度,结合视觉图像数据的权重系数和激光雷达数据的权重系数进行融合,获得融合后的障碍物帧间移动速度,计算公式如下:
;
其中,v表示融合后的障碍物帧间移动速度,表示视觉图像数据的权重系数,/>表示视觉图像计算获得的障碍物帧间移动速度,/>表示激光雷达数据的权重系数,/>表示激光雷达计算获得的障碍物帧间移动速度;
依据融合后的障碍物帧间移动速度,控制机器人进行实时避障。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410200637.9A CN117784797B (zh) | 2024-02-23 | 2024-02-23 | 基于视觉图像和激光雷达的水下智能机器人导航避障方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410200637.9A CN117784797B (zh) | 2024-02-23 | 2024-02-23 | 基于视觉图像和激光雷达的水下智能机器人导航避障方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117784797A true CN117784797A (zh) | 2024-03-29 |
CN117784797B CN117784797B (zh) | 2024-05-24 |
Family
ID=90382044
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410200637.9A Active CN117784797B (zh) | 2024-02-23 | 2024-02-23 | 基于视觉图像和激光雷达的水下智能机器人导航避障方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117784797B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111665826A (zh) * | 2019-03-06 | 2020-09-15 | 北京奇虎科技有限公司 | 基于激光雷达与单目相机的深度图获取方法及扫地机器人 |
CN112180943A (zh) * | 2020-10-19 | 2021-01-05 | 山东交通学院 | 一种基于视觉图像和激光雷达的水下机器人导航避障方法 |
CN112346073A (zh) * | 2020-09-25 | 2021-02-09 | 中山大学 | 一种动态视觉传感器与激光雷达数据融合方法 |
CN112731371A (zh) * | 2020-12-18 | 2021-04-30 | 重庆邮电大学 | 一种激光雷达与视觉融合的集成化目标跟踪系统及方法 |
CN113985419A (zh) * | 2021-10-22 | 2022-01-28 | 中国科学院合肥物质科学研究院 | 水面机器人协同障碍物检测及避障方法及系统 |
CN114359861A (zh) * | 2021-12-20 | 2022-04-15 | 浙江天尚元科技有限公司 | 基于视觉和激光雷达的智能车辆障碍物识别深度学习方法 |
CN115546741A (zh) * | 2022-09-29 | 2022-12-30 | 华南理工大学 | 一种双目视觉和激光雷达无人艇海洋环境障碍物识别方法 |
CN117519168A (zh) * | 2023-11-17 | 2024-02-06 | 杭州电子科技大学 | 一种基于视觉图像和激光雷达的机器人导航避障方法 |
-
2024
- 2024-02-23 CN CN202410200637.9A patent/CN117784797B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111665826A (zh) * | 2019-03-06 | 2020-09-15 | 北京奇虎科技有限公司 | 基于激光雷达与单目相机的深度图获取方法及扫地机器人 |
CN112346073A (zh) * | 2020-09-25 | 2021-02-09 | 中山大学 | 一种动态视觉传感器与激光雷达数据融合方法 |
CN112180943A (zh) * | 2020-10-19 | 2021-01-05 | 山东交通学院 | 一种基于视觉图像和激光雷达的水下机器人导航避障方法 |
CN112731371A (zh) * | 2020-12-18 | 2021-04-30 | 重庆邮电大学 | 一种激光雷达与视觉融合的集成化目标跟踪系统及方法 |
CN113985419A (zh) * | 2021-10-22 | 2022-01-28 | 中国科学院合肥物质科学研究院 | 水面机器人协同障碍物检测及避障方法及系统 |
CN114359861A (zh) * | 2021-12-20 | 2022-04-15 | 浙江天尚元科技有限公司 | 基于视觉和激光雷达的智能车辆障碍物识别深度学习方法 |
CN115546741A (zh) * | 2022-09-29 | 2022-12-30 | 华南理工大学 | 一种双目视觉和激光雷达无人艇海洋环境障碍物识别方法 |
CN117519168A (zh) * | 2023-11-17 | 2024-02-06 | 杭州电子科技大学 | 一种基于视觉图像和激光雷达的机器人导航避障方法 |
Also Published As
Publication number | Publication date |
---|---|
CN117784797B (zh) | 2024-05-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102472609B (zh) | 位置和姿势校准方法及设备 | |
CN110675418A (zh) | 一种基于ds证据理论的目标轨迹优化方法 | |
CN111781608A (zh) | 一种基于fmcw激光雷达的运动目标检测方法及系统 | |
CN114526745A (zh) | 一种紧耦合激光雷达和惯性里程计的建图方法及系统 | |
CN114488164B (zh) | 水下航行器同步定位与建图方法及水下航行器 | |
US20230236280A1 (en) | Method and system for positioning indoor autonomous mobile robot | |
CN114758504B (zh) | 一种基于滤波校正的网联车超速预警方法及系统 | |
CN112665584B (zh) | 一种基于多传感器融合的水下机器人定位与构图方法 | |
CN113327296B (zh) | 基于深度加权的激光雷达与相机在线联合标定方法 | |
CN115731268A (zh) | 基于视觉/毫米波雷达信息融合的无人机多目标跟踪方法 | |
CN112862858A (zh) | 一种基于场景运动信息的多目标跟踪方法 | |
JP2017524932A (ja) | ビデオ支援着艦誘導システム及び方法 | |
CN114035188B (zh) | 一种地基雷达冰川流速高精度监测方法与系统 | |
CN115218889A (zh) | 一种基于点线特征融合的多传感器室内定位方法 | |
CN114037762A (zh) | 基于图像与高精度地图配准的实时高精度定位方法 | |
CN117406234A (zh) | 基于单线激光雷达与视觉融合的目标测距和追踪的方法 | |
CN117606497A (zh) | 一种实时地图构建方法、系统及导盲眼镜 | |
CN117784797B (zh) | 基于视觉图像和激光雷达的水下智能机器人导航避障方法 | |
CN116358547B (zh) | 一种基于光流估计获取agv位置的方法 | |
Vaida et al. | Automatic extrinsic calibration of LIDAR and monocular camera images | |
CN113221744B (zh) | 一种基于深度学习的单目图像3d物体检测方法 | |
CN114442083A (zh) | 一种基于视觉与多源雷达的自适应加权数据融合方法 | |
CN115049784A (zh) | 一种基于双目粒子图像的三维速度场重建方法 | |
CN113091733A (zh) | 一种基于毫米波雷达与imu融合的实时定位装置及方法 | |
CN117974766B (zh) | 基于时空依据的分布式双红外传感器多目标同一性判定方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |