CN115291219A - 利用单目摄像头实现无人机动态避障方法、装置及无人机 - Google Patents
利用单目摄像头实现无人机动态避障方法、装置及无人机 Download PDFInfo
- Publication number
- CN115291219A CN115291219A CN202210677107.4A CN202210677107A CN115291219A CN 115291219 A CN115291219 A CN 115291219A CN 202210677107 A CN202210677107 A CN 202210677107A CN 115291219 A CN115291219 A CN 115291219A
- Authority
- CN
- China
- Prior art keywords
- unmanned aerial
- aerial vehicle
- dynamic
- dynamic barrier
- relative
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 230000004888 barrier function Effects 0.000 claims abstract description 110
- 230000033001 locomotion Effects 0.000 claims abstract description 34
- 230000008569 process Effects 0.000 claims abstract description 9
- 238000003384 imaging method Methods 0.000 claims description 15
- 238000003672 processing method Methods 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 6
- 238000011161 development Methods 0.000 claims description 6
- 230000018109 developmental process Effects 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 3
- 238000003708 edge detection Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000003064 k means clustering Methods 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/933—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of aircraft or spacecraft
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D47/00—Equipment not otherwise provided for
- B64D47/08—Arrangements of cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/867—Combination of radar systems with cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
- G01S7/411—Identification of targets based on measurements of radar reflectivity
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Electromagnetism (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明提供一种利用单目摄像头实现无人机动态避障方法、装置及无人机，其中方法包括：通过毫米波雷达模块测量动态障碍物与无人机之间的距离；由单目视觉模块采集视频，获得动态障碍物在像素坐标系下的坐标信息；得到动态障碍物相对于无人机的位置信息；得到动态障碍物相对于无人机的速度；得出动态障碍物自身的速度；推算出动态障碍物的运动轨迹；将动态障碍物的运动轨迹同无人机自身的运动轨迹对比，判断是否发生碰撞；根据是否发生碰撞的判断结果，选择是否调整飞行路径。本发明可达到无人机在复杂环境中对动态障碍物自动规避，实现无人机飞行过程安全监控，降低硬件成本，提高无人机的飞行安全性。
Description
技术领域
本发明涉及无人机技术领域，特别涉及电力巡检中利用单目摄像头实现无人机动态避障方法、装置及无人机。
背景技术
随着国家电力方面的发展，我国的电力线路越来越长，这对传统的人工巡检有着很大的挑战。伴随着无人机的异军突起，凭借其体积小、易部署和经济效益高等优势，在电力巡检中广泛应用，其中能自主飞行的电力巡检无人机成为了当下发展的新潮流。无人机在低空区域飞行时，存在着多种不确定因素，如鸟类、其他无人机等运动目标威胁。减少无人机撞上动态障碍物而引发炸机事故的关键，就是通过采集飞行数据和视频，让无人机具备自主避开飞行航迹中的动态障碍物的能力。因此，实现自主避障成为了电力巡检无人机自主安全飞行的一个重要条件。
目前，传统无人机普遍使用具有障碍物检测功能的传感器用于避障，其类型主要有超声波、雷达、激光、红外线等。伴随着深度学习的迅速发展，计算机视觉已经部署在各种应用场景，其中利用目标检测技术可以大幅提高感知能力。
中国专利申请公开号为CN113110562A，发明名称为“一种基于多个广角摄像头的无人机避障装置及其避障方法”，通过位于机身不同位置的广角摄像头获得场景中静态障碍物与自身的位置信息并进行避障。中国专利申请公开号为CN113419555A，发明名称为“一种基于单目视觉的无人机低功耗自主避障方法及系统”，提出一个低功耗自主避障算法,先设计一个轻量化的卷积神经网络用于从单目图像中预测障碍物距离,并设计控制算法将距离转化为无人机控制指令用来控制无人机的避障飞行。上述两种公开的技术，均是通过单目视觉测量障碍物深度进行避障，但只是针对静态障碍物进行设计的，但由于环境的复杂多变性，静态的避障寻路已经不能满足时刻变化的复杂环境。
中国专利申请公开号为CN110209184A，发明名称为“一种基于双目视觉系统的无人机避障方法”，通过双目视觉系统获得图像信息后得到深度图信息，与预先设定的阈值距离作比较后发出不同指令，无人机在准确的时机完成避障。中国专利申请公开号为CN113485450A，发明名称为“一种基于计算机视觉的无人机避障系统”，利用双目摄像头和毫米波雷达实现对动态障碍物的探测并自动规避。这两种现有技术的方案是利用双目视差信息得到环境深度信息,从而生成环境三维地图实现避障效果。但双目避障技术有效探测视野狭窄,双摄像头需要搭配处理双目视频数据的芯片,导致成本较高。
发明内容
本发明公开一种利用单目摄像头实现无人机动态避障方法、装置及无人机，可以解决现有技术中针对静态障碍物进行设计，不能满足时刻变化的复杂环境的问题，还可以解决双目避障技术有效探测视野狭窄，成本较高的问题。
本发明的目的是通过以下技术方案实现的：
第一方面，本发明提供一种利用单目摄像头实现无人机动态避障方法，包括以下步骤：
通过毫米波雷达模块检测到动态障碍物，并测量动态障碍物与无人机之间的距离；
由单目视觉模块采集视频，并通过图像处理的方法获得动态障碍物在像素坐标系下的坐标信息；
根据动态障碍物在像素坐标系下的坐标信息和相对于无人机的距离得到动态障碍物相对于无人机的位置信息；
利用动态障碍物相对于无人机位置信息随时间的变化规律，得到动态障碍物相对于无人机的速度；
根据无人机自身的速度和动态障碍物相对于无人机的速度，得出动态障碍物自身的速度；
根据动态障碍物自身的速度和相对于无人机的位置信息，推算出动态障碍物的运动轨迹；
将动态障碍物的运动轨迹同无人机自身的运动轨迹对比，判断是否发生碰撞；
根据是否发生碰撞的判断结果，选择是否调整飞行路径。
进一步的，通过图像处理的方法获得动态障碍物在像素坐标系下的坐标信息的具体过程包括：
将广角摄像头拍摄的畸变视频进行畸变矫正，得到无畸变的视频数据；
对视频数据中的图像进行高斯滤波，改善明暗对比；
运用Canny边缘检测算法，获得图像中动态障碍物的边缘信息；
采用K-means聚类算法对边缘信息做聚类识别，进而得到动态障碍物在像素坐标系下的坐标信息。
进一步的，得到动态障碍物相对于无人机的位置信息的具体过程包括：
在成像坐标系Ow-XYZ中，已知毫米波雷达的坐标为H(X0,Y0,Z0)，单目视觉模块的摄像头光心坐标为C(0，0，L0)，毫米波雷达与动态障碍物的距离为D，设动态障碍物点P的坐标为(XP，YP，ZP)；在像素坐标系o-xy下，已知动态障碍物的像点P`的坐标为(u，v)，设一个像素点的尺寸为d0，则动态障碍物的像点P`在成像坐标系Ow-XYZ中的坐标为(x`,y`,0)，其中Ow是位于成像平面最中心的点，x`和y`的值为下式：
其中，M和N分别表示成像平面的高和宽；
计算动态障碍物点P在成像坐标系Ow-XYZ中的坐标(XP,YP,ZP)，即动态障碍物点P相对于无人机的位置信息，计算公式如下：
进一步的，得到动态障碍物相对于无人机的速度包括：
取T秒前动态障碍物相对于无人机的位置信息为坐标(XT,YT,ZT)，当前时刻动态障碍物相对于无人机的位置信息为坐标(XD,YD,ZD)；
根据当前时刻和T时刻的动态障碍物相对于无人机位置信息，可得T秒内动态障碍物相对于无人机的平均移动速度的大小为：
取当前时刻动态障碍物相对于无人机的速度为当前时刻前T秒内动态障碍物相对于无人机的平均移动速度。
进一步的，判断是否发生碰撞的过程如下：
分别获取动态障碍物和无人机的运动轨迹；
判断动态障碍物与无人机在同一时间点的相对距离是否小于限值N米，如果判断结果为是，则根据动态障碍物和无人机的运动速度和方位，预测其碰撞点；如果判断结果为否，则在X秒后再次判断是否发生碰撞。
进一步的，如果判断结果为无人机和动态障碍物将会发生碰撞，则通过栅格法局部调整无人机的飞行路径，避开预测的碰撞点。
第二方面，本发明提供一种利用单目摄像头实现无人机动态避障装置，包括：
毫米波雷达模块，用于无人机飞行前方是否有检测动态障碍物，并测量动态障碍物与无人机之间的距离；
单目视觉模块，用于采集无人机飞行前方的视频；
坐标信息获取模块，根据单目视觉模块采集的视频，通过图像处理的方法获得动态障碍物在像素坐标系下的坐标信息；
位置信息获取模块，根据动态障碍物在像素坐标系下的坐标信息和其相对于无人机的距离得到动态障碍物相对于无人机的位置信息；
无人机测速模块，测量无人机自身的速度；
计算模块，利用动态障碍物相对于无人机位置信息随时间的变化规律，计算动态障碍物相对于无人机的速度；根据无人机自身的速度和动态障碍物相对于无人机的速度，计算动态障碍物自身的速度；
运动轨迹获取模块，分别获取无人机的运动轨迹和动态障碍物的运动轨迹；
判断模块，根据无人机的运动轨迹和动态障碍物的运动轨迹，判断二者是否会发生碰撞；
局部路径调整模块，在判断模块判断无人机和动态障碍物将会发生碰撞时，通过栅格法局部调整无人机的飞行路径，避开预测的碰撞点。
进一步的，所述毫米波雷达模块包括4个毫米波雷达，水平布置在无人机的前后左右四个角点，用于发射毫米波，并接受无人机检测范围内的动态障碍物反射回来的动态障碍物毫米波，以此获取无人机360度方向上动态障碍物相对无人机的距离。
进一步的，所述单目视觉模块包括4个广角摄像头，水平布置在无人机的前后左右四个角点，每个广角摄像头的视角为120度，以获得无人机360度方向上的图像。
第三方面，本发明提供一种无人机，包括上述动态避障装置。
本发明的利用单目摄像头实现无人机动态避障方法、装置及无人机，利用单目摄像头采集视频，同毫米波雷达结合，通过测得动态障碍物相对于无人机的移动速度和方位，再根据无人机自身的速度，求解动态障碍物轨迹预测，即可达到无人机在有鸟类、其他无人机等复杂环境中对动态障碍物自动规避，实现无人机飞行过程安全监控，降低硬件成本，提高无人机的飞行安全性。
附图说明
图1为本发明的利用单目摄像头实现无人机动态避障方法的流程图；
图2为本发明的动态障碍物相对于无人机位置信息计算坐标系的示意图；
图3为本发明的利用单目摄像头实现无人机动态避障装置的框图。
具体实施方式
下面结合附图对本公开实施例进行详细描述。
以下通过特定的具体实例说明本公开的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本公开的其他优点与功效。显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。本公开还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本公开的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
本发明的利用单目摄像头实现无人机动态避障方法，包括以下步骤：
步骤S1、通过毫米波雷达模块检测到动态障碍物，并测量动态障碍物与无人机之间的距离。
进一步的，在本申请的一种优选实施方式中，毫米波雷达模块包括4个毫米波雷达，水平布置在无人机的前后左右四个角点，用于发射毫米波，并接受无人机检测范围内的动态障碍物反射回来的动态障碍物毫米波，以此获取无人机360度方向上动态障碍物相对无人机的距离。
步骤S2、由单目视觉模块采集视频，并通过图像处理的方法获得动态障碍物在像素坐标系下的坐标信息。
进一步地，在本申请的一种优选实施方式中，单目视觉模块包括4个广角摄像头，水平布置在无人机的前后左右四个角点，每个广角摄像头的视角为120度，以获得无人机360度方向上的图像。
进一步地，在本申请的一种优选实施方式中，通过图像处理的方法获得动态障碍物在像素坐标系下的坐标信息包括：
将广角摄像头拍摄的畸变视频进行畸变矫正，得到无畸变的视频数据；
对视频数据中的图像进行高斯滤波，改善明暗对比；
运用Canny边缘检测算法，获得图像中动态障碍物的边缘信息；
采用K-means聚类算法对边缘信息做聚类识别，进而得到动态障碍物在像素坐标系下的坐标信息。
步骤S3、根据动态障碍物在像素坐标系下的坐标信息和相对于无人机的距离得到动态障碍物相对于无人机的位置信息。
进一步地，在本申请的一种优选实施方式中，得到动态障碍物相对于无人机的位置信息包括：
如图2所示，在成像坐标系Ow-XYZ中，已知毫米波雷达的坐标为H(X0,Y0,Z0)，单目摄像头光心坐标为C(0，0，L0)，毫米波雷达与动态障碍物的距离为D，设动态障碍物点P的坐标为(XP，YP，ZP)。在像素坐标系o-xy下，已知动态障碍物的像点P`的坐标为(u，v)，设一个像素点的尺寸为d0，则动态障碍物的像点P`在成像坐标系Ow-XYZ中的坐标为(x`,y`,0)，其中Ow是位于成像平面最中心的点，x`和y`的值为下式：
其中，M和N分别表示成像平面的高和宽。
由ΔBCP～ΔOwCP`以及空间上两点之间的距离公式得到下式(2)，即可求得动态障碍物点P在成像坐标系Ow-XYZ中的坐标(XP,YP,ZP)，即动态障碍物点P相对于无人机的位置信息。
步骤S4、利用动态障碍物相对于无人机位置信息随时间的变化规律，得到动态障碍物相对于无人机的速度。
进一步地，在本申请的一种优选实施方式中，得到动态障碍物相对于无人机的速度包括：
取T秒前动态障碍物相对于无人机的位置信息为坐标(XT,YT,ZT)，当前时刻动态障碍物相对于无人机的位置信息为坐标(XD,YD,ZD)。
根据当前时刻和T时刻的动态障碍物相对于无人机位置信息，可得T秒内动态障碍物相对于无人机的平均移动速度的大小为：
取当前时刻动态障碍物相对于无人机的速度为当前时刻前T秒内动态障碍物相对于无人机的平均移动速度。
步骤S5、根据无人机自身的速度和动态障碍物相对于无人机的速度，得出动态障碍物自身的速度。
进一步的，在本申请的一种优选实施方式中，得出动态障碍物自身的速度包括：
利用无人机测速模块获取无人机自身的速度。
动态障碍物自身的速度为动态障碍物相对于无人机的速度和无人机自身速度的矢量和。
步骤S6、根据动态障碍物自身的速度和相对于无人机的位置信息，推算出动态障碍物的运动轨迹。
动态障碍物的运动轨迹可以采用现有技术来实现，在此不赘述。
步骤S7、将动态障碍物的运动轨迹同无人机自身的运动轨迹对比，判断是否发生碰撞。
进一步的，在本申请的一种优选实施方式中，判断是否发生碰撞的过程如下：
获取动态障碍物和无人机的运动轨迹；
判断动态障碍物与无人机在同一时间点的相对距离是否小于限值N米，如果判断结果为是，则根据动态障碍物和无人机的运动速度和方位，预测其碰撞点；如果判断结果为否，则在X秒后再次判断是否发生碰撞。
步骤S8、根据是否发生碰撞的判断结果，选择是否调整飞行路径。
进一步地，如果步骤S7的判断结果为是，通过栅格法局部调整无人机的飞行路径，避开预测的碰撞点。
一种利用单目摄像头实现无人机动态避障装置，包括：
毫米波雷达模块，用于无人机飞行前方是否有检测动态障碍物，并测量动态障碍物与无人机之间的距离；
单目视觉模块，用于采集无人机飞行前方的视频；
坐标信息获取模块，根据单目视觉模块采集的视频，通过图像处理的方法获得动态障碍物在像素坐标系下的坐标信息；
位置信息获取模块，根据动态障碍物在像素坐标系下的坐标信息和其相对于无人机的距离得到动态障碍物相对于无人机的位置信息；
无人机测速模块，测量无人机自身的速度；
计算模块，利用动态障碍物相对于无人机位置信息随时间的变化规律，计算动态障碍物相对于无人机的速度；根据无人机自身的速度和动态障碍物相对于无人机的速度，计算动态障碍物自身的速度；
运动轨迹获取模块，分别获取无人机的运动轨迹和动态障碍物的运动轨迹；
判断模块，根据无人机的运动轨迹和动态障碍物的运动轨迹，判断二者是否会发生碰撞；
局部路径调整模块，在判断模块判断无人机和动态障碍物将会发生碰撞时，通过栅格法局部调整无人机的飞行路径，避开预测的碰撞点。
进一步的，毫米波雷达模块包括4个毫米波雷达，水平布置在无人机的前后左右四个角点，用于发射毫米波，并接受无人机检测范围内的动态障碍物反射回来的动态障碍物毫米波，以此获取无人机360度方向上动态障碍物相对无人机的距离。
进一步的，单目视觉模块包括4个广角摄像头，水平布置在无人机的前后左右四个角点，每个广角摄像头的视角为120度，以获得无人机360度方向上的图像。
另外，本申请还提供一种无人机，包括上述动态避障装置。
以上仅为说明本发明的实施方式，并不用于限制本发明，对于本领域的技术人员来说，凡在本发明的精神和原则之内，不经过创造性劳动所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.利用单目摄像头实现无人机动态避障方法，其特征在于，包括以下步骤：
通过毫米波雷达模块检测到动态障碍物，并测量动态障碍物与无人机之间的距离；
由单目视觉模块采集视频，并通过图像处理的方法获得动态障碍物在像素坐标系下的坐标信息；
根据动态障碍物在像素坐标系下的坐标信息和相对于无人机的距离得到动态障碍物相对于无人机的位置信息；
利用动态障碍物相对于无人机位置信息随时间的变化规律，得到动态障碍物相对于无人机的速度；
根据无人机自身的速度和动态障碍物相对于无人机的速度，得出动态障碍物自身的速度；
根据动态障碍物自身的速度和相对于无人机的位置信息，推算出动态障碍物的运动轨迹；
将动态障碍物的运动轨迹同无人机自身的运动轨迹对比，判断是否发生碰撞；
根据是否发生碰撞的判断结果，选择是否调整飞行路径。
2.根据权利要求1所述的利用单目摄像头实现无人机动态避障方法，其特征在于，通过图像处理的方法获得动态障碍物在像素坐标系下的坐标信息的具体过程包括：
将广角摄像头拍摄的畸变视频进行畸变矫正，得到无畸变的视频数据；
对视频数据中的图像进行高斯滤波，改善明暗对比；
运用Canny边缘检测算法，获得图像中动态障碍物的边缘信息；
采用K-means聚类算法对边缘信息做聚类识别，进而得到动态障碍物在像素坐标系下的坐标信息。
3.根据权利要求1所述的利用单目摄像头实现无人机动态避障方法，其特征在于，得到动态障碍物相对于无人机的位置信息的具体过程包括：
在成像坐标系Ow-XYZ中，已知毫米波雷达的坐标为H(X0,Y0,Z0)，单目视觉模块的摄像头光心坐标为C(0，0，L0)，毫米波雷达与动态障碍物的距离为D，设动态障碍物点P的坐标为(XP，YP，ZP)；在像素坐标系o-xy下，已知动态障碍物的像点P`的坐标为(u，v)，设一个像素点的尺寸为d0，则动态障碍物的像点P`在成像坐标系Ow-XYZ中的坐标为(x`,y`,0)，其中Ow是位于成像平面最中心的点，x`和y`的值为下式：
其中，M和N分别表示成像平面的高和宽；
计算动态障碍物点P在成像坐标系Ow-XYZ中的坐标(XP,YP,ZP)，即动态障碍物点P相对于无人机的位置信息，计算公式如下：
4.根据权利要求1所述的利用单目摄像头实现无人机动态避障方法，其特征在于，得到动态障碍物相对于无人机的速度包括：
取T秒前动态障碍物相对于无人机的位置信息为坐标(XT,YT,ZT)，当前时刻动态障碍物相对于无人机的位置信息为坐标(XD,YD,ZD)；
根据当前时刻和T时刻的动态障碍物相对于无人机位置信息，可得T秒内动态障碍物相对于无人机的平均移动速度的大小为：
取当前时刻动态障碍物相对于无人机的速度为当前时刻前T秒内动态障碍物相对于无人机的平均移动速度。
5.根据权利要求1所述的利用单目摄像头实现无人机动态避障方法，其特征在于，判断是否发生碰撞的过程如下：
分别获取动态障碍物和无人机的运动轨迹；
判断动态障碍物与无人机在同一时间点的相对距离是否小于限值N米，如果判断结果为是，则根据动态障碍物和无人机的运动速度和方位，预测其碰撞点；如果判断结果为否，则在X秒后再次判断是否发生碰撞。
6.根据权利要求1所述的利用单目摄像头实现无人机动态避障方法，其特征在于，如果判断结果为无人机和动态障碍物将会发生碰撞，则通过栅格法局部调整无人机的飞行路径，避开预测的碰撞点。
7.利用单目摄像头实现无人机动态避障装置，其特征在于，包括：
毫米波雷达模块，用于无人机飞行前方是否有检测动态障碍物，并测量动态障碍物与无人机之间的距离；
单目视觉模块，用于采集无人机飞行前方的视频；
坐标信息获取模块，根据单目视觉模块采集的视频，通过图像处理的方法获得动态障碍物在像素坐标系下的坐标信息；
位置信息获取模块，根据动态障碍物在像素坐标系下的坐标信息和其相对于无人机的距离得到动态障碍物相对于无人机的位置信息；
测速模块，测量无人机自身的速度，以及测量动态障碍物相对于无人机的速度；
计算模块，利用动态障碍物相对于无人机位置信息随时间的变化规律，计算动态障碍物相对于无人机的速度；根据无人机自身的速度和动态障碍物相对于无人机的速度，计算动态障碍物自身的速度；
运动轨迹获取模块，分别获取无人机的运动轨迹和动态障碍物的运动轨迹；
判断模块，根据无人机的运动轨迹和动态障碍物的运动轨迹，判断二者是否会发生碰撞；
局部路径调整模块，在判断模块判断无人机和动态障碍物将会发生碰撞时，通过栅格法局部调整无人机的飞行路径，避开预测的碰撞点。
8.根据权利要求7所述的利用单目摄像头实现无人机动态避障装置，其特征在于，所述毫米波雷达模块包括4个毫米波雷达，水平布置在无人机的前后左右四个角点，用于发射毫米波，并接受无人机检测范围内的动态障碍物反射回来的动态障碍物毫米波，以此获取无人机360度方向上动态障碍物相对无人机的距离。
9.根据权利要求7所述的利用单目摄像头实现无人机动态避障装置，其特征在于，所述单目视觉模块包括4个广角摄像头，水平布置在无人机的前后左右四个角点，每个广角摄像头的视角为120度，以获得无人机360度方向上的图像。
10.一种无人机，其特征在于，包括权利要求7至9任一项所述的动态避障装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210677107.4A CN115291219A (zh) | 2022-06-15 | 2022-06-15 | 利用单目摄像头实现无人机动态避障方法、装置及无人机 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210677107.4A CN115291219A (zh) | 2022-06-15 | 2022-06-15 | 利用单目摄像头实现无人机动态避障方法、装置及无人机 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115291219A true CN115291219A (zh) | 2022-11-04 |
Family
ID=83821283
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210677107.4A Pending CN115291219A (zh) | 2022-06-15 | 2022-06-15 | 利用单目摄像头实现无人机动态避障方法、装置及无人机 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115291219A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117472081A (zh) * | 2023-12-25 | 2024-01-30 | 西安辰航卓越科技有限公司 | 一种基于感知约束的无人机避障方法 |
| CN117519256A (zh) * | 2023-12-25 | 2024-02-06 | 南京理工大学 | 一种无人机平台单目轨迹重构方法 |
| CN117519256B (zh) * | 2023-12-25 | 2024-06-07 | 南京理工大学 | 一种无人机平台单目轨迹重构方法 |
-
2022
- 2022-06-15 CN CN202210677107.4A patent/CN115291219A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117472081A (zh) * | 2023-12-25 | 2024-01-30 | 西安辰航卓越科技有限公司 | 一种基于感知约束的无人机避障方法 |
| CN117519256A (zh) * | 2023-12-25 | 2024-02-06 | 南京理工大学 | 一种无人机平台单目轨迹重构方法 |
| CN117472081B (zh) * | 2023-12-25 | 2024-03-15 | 西安辰航卓越科技有限公司 | 一种基于感知约束的无人机避障方法 |
| CN117519256B (zh) * | 2023-12-25 | 2024-06-07 | 南京理工大学 | 一种无人机平台单目轨迹重构方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11915502B2 (en) | Systems and methods for depth map sampling | |
| CN106681353B (zh) | 基于双目视觉与光流融合的无人机避障方法及系统 | |
| EP3208635B1 (en) | Vision algorithm performance using low level sensor fusion | |
| EP3792660B1 (en) | Method, apparatus and system for measuring distance | |
| CN108226951B (zh) | 一种基于激光传感器的快速运动障碍物实时跟踪方法 | |
| US9097532B2 (en) | Systems and methods for monocular airborne object detection | |
| EP3299299B1 (en) | Apparatus and method of compensating for relative motion of at least two aircraft-mounted cameras | |
| CN109263637B (zh) | 一种碰撞预测的方法及装置 | |
| KR102151815B1 (ko) | 카메라 및 라이다 센서 융합을 이용한 객체 검출 방법 및 그를 위한 장치 | |
| US11841434B2 (en) | Annotation cross-labeling for autonomous control systems | |
| CN106444837A (zh) | 一种无人机避障方法及系统 | |
| US20180137607A1 (en) | Processing apparatus, imaging apparatus and automatic control system | |
| CN108844538B (zh) | 一种基于视觉/惯导的无人机避障航点生成方法 | |
| Husodo et al. | Intruder drone localization based on 2D image and area expansion principle for supporting military defence system | |
| JP4344860B2 (ja) | ステレオ画像を用いた道路平面領域並びに障害物検出方法 | |
| CN114359714A (zh) | 基于事件相机的无人体避障方法、装置及智能无人体 | |
| CN115273034A (zh) | 一种基于车载多传感器融合的交通目标检测与跟踪方法 | |
| CN110750153A (zh) | 一种无人驾驶车辆的动态虚拟化装置 | |
| CN115291219A (zh) | 利用单目摄像头实现无人机动态避障方法、装置及无人机 | |
| CN113379801B (zh) | 一种基于机器视觉的高空抛物监测定位方法 | |
| EP4296973A1 (en) | System and method for localization of anomalous phenomena in assets | |
| CN110287957B (zh) | 一种低慢小目标的定位方法及定位装置 | |
| Poiesi et al. | Detection of fast incoming objects with a moving camera. | |
| CN111402324B (zh) | 一种目标测量方法、电子设备以及计算机存储介质 | |
| González et al. | Vision-based UAV detection for air-to-air neutralization |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |