CN111326023A - 一种无人机航线预警方法、装置、设备及存储介质 - Google Patents
一种无人机航线预警方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN111326023A CN111326023A CN201811526124.8A CN201811526124A CN111326023A CN 111326023 A CN111326023 A CN 111326023A CN 201811526124 A CN201811526124 A CN 201811526124A CN 111326023 A CN111326023 A CN 111326023A
- Authority
- CN
- China
- Prior art keywords
- unmanned aerial
- aerial vehicle
- grid
- determining
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
- G08G5/0047—Navigation or guidance aids for a single aircraft
- G08G5/0069—Navigation or guidance aids for a single aircraft specially adapted for an unmanned aircraft
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
- G08G5/04—Anti-collision systems
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请公开了无人机航线预警方法、装置、设备及存储介质。该方法包括:利用单目相机获取无人机前向的包含障碍物的多幅原始图像;确定每幅所述原始图像中包含所述障碍物的非天空区域;将所述非天空区域划分为多个栅格;确定各个所述栅格对应区域到无人机的距离;确定各个所述栅格与航线方向的重合度;检验所述栅格对应区域到无人机的距离是否小于或等于预定阈值;检验所述栅格与航线方向的重合度是否小于或等于预定阈值;若同时满足上述条件,则发送预警信号。根据本申请实施例的技术方案,提供了实现远距离障碍物检测和预警,从而能有效的提高无人机在航行飞行过程中的安全性。
Description
技术领域
本发明一般涉及视觉测量领域,具体涉及一种无人机航线预警方 法、装置、设备及存储介质。
背景技术
无人机航线飞行过程中,往往会遇到不可控的障碍物信息,如 飞禽、山峰、飞行物等,而当前在无人机领域内,常用障碍物感知方 向激光雷达、超声波、双目视觉的。其中,激光雷达价格昂贵,计算 量巨大;超声波多用于室内场景,且定位误差较大。双目视觉受限于两个相机间距离,不适用远距离物体测距。而在检测出障碍物后,需 结合当前无人机航线信息,提出稳定有效的障碍物预警机制。
基于以上问题,需要实现视觉障碍物检测以及距离信息获取,并 且提出有效的预警机制,提高无人机在航线运行过程中的安全性和稳 定性。
发明内容
鉴于现有技术中的上述缺陷或不足,本申请实施例提供了一种无 人机航线预警方法、装置、设备及存储介质能够实现使用单目相机完 成障碍物检测、距离估计以及自动预警。
第一方面,本发明实施例提供了一种无人机航线预警方法,该方 法包括:
利用单目相机获取的无人机前向包含障碍物的多幅原始图像;
确定每幅所述前向原始图像中包含所述障碍物的非天空区域;
将所述非天空区域划分为多个栅格;
确定各个所述栅格对应区域到无人机的距离;
确定各个所述栅格与航线方向的重合度;
检验所述栅格对应区域到无人机的距离是否小于或等于预定阈值, 作为第一判断标准;
检验所述栅格与航线方向的重合度是否小于或者等于预定阈值, 作为第二判断标准;
若同时满足第一判断标准和第二判断标准,则发送预警信号。
可选的,所述将所述非天空区域划分为多个栅格之前,包括:
提取所述非天空区域内的特征点,计算所述特征点的三维坐标。
可选的,所述确定所述栅格对应区域到无人机的距离,包括:
获取栅格内特征点距离无人机的距离;
计算所述特征点的连续跟踪帧数;
基于所述特征点的连续跟踪帧数,确定栅格内特征点的置信度;
根据所述置信度和所述特征点距离无人机的距离确定所述栅格对 应区域到无人机的距离。
可选的,所述确定所述栅格对应区域到无人机的距离,包括:
依次计算所有栅格距离无人机的距离,将栅格距离无人机的距离 的最小值作为栅格对应区域到无人机的距离。
可选的,所述确定所述栅格与航线方向的重合度,包括:
选取原始图像的中心区域,依次计算所述区域内的栅格的夹角。
可选的,所述计算所述区域内的栅格的夹角,包括:
获取栅格内特征点在世界坐标系下的三维坐标;
基于所述世界坐标系下的三维坐标获取相应的变换矩阵;
根据所述三维坐标和变换矩阵计算所述特征点与飞机前进方向的 夹角;
根据所述夹角确定所述栅格与航线方向的重合度。
第二方面,本发明实施例提供了一种无人机航线预警装置,该装 置包括:
获取模块,用于利用单目相机获取无人机前向的包含障碍物的多 幅原始图像;
确定模块,用于确定每幅所述原始图像中包含所述障碍物的非天 空区域;
划分模块,用于将所述非天空区域划分为多个栅格;
距离计算模块,用于确定各个所述栅格对应区域到无人机的距离;
重合度计算模块,用于确定各个所述栅格与航线方向的重合度;
第一判断模块,用于检验所述栅格对应区域到无人机的距离是否 小于或等于预定阈值,作为第一判断标准;
第二判断模块,用于检验所述栅格与航线方向的重合度是否小于 或等于预定阈值,作为第二判断标准;
信号发送模块,用于若同时满足第一判断标准和第二判断标准, 则发送预警信号。
可选的,所述距离计算模块,包括:
获取单元,用于获取栅格内特征点距离无人机的距离;
计算单元,用于计算所述特征点的连续跟踪帧数;
第一确定单元,用于基于所述特征点的连续跟踪帧数,确定栅格 内特征点的置信度;
第二确定单元,用于根据所述置信度和所述特征点距离无人机的 距离确定所述栅格对应区域到无人机的最终距离。
可选的,所述重合度计算模块,包括:
选取原始图像的中心区域,依次计算所述区域内的栅格的夹角。
可选的,所述重合度计算模块,包括:
第一获取单元,用于获取栅格内特征点在世界坐标系下的三维坐 标;
第二获取单元,用于基于所述世界坐标系下的三维坐标获取相应 的变换矩阵;
计算单元,用于根据所述三维坐标和变换矩阵计算所述特征点与 飞机前进方向的夹角;
确定单元,用于根据所述夹角确定所述栅格与航线方向的重合度。
第三方面,本发明实施例还提供一种设备,包括:至少一个处理 器、至少一个存储器以及存储在所述存储器中的计算机程序指令,当 所述计算机程序指令被所述处理器执行时实现实施例描述的方法。
第四方面,本发明实施例还提供一种计算机可读存储介质,其上 存储有计算机程序指令,当所述计算机程序指令被处理器执行实现本 申请实施例描述的方法。
本申请实施例提供的基于图像处理中的天空检测和单目视觉测距 实现远距离障碍物检测和预警,从而能有效的提高无人机在航行过程 中的安全性。
进一步的,对非天空区域进行栅格划分结合特征点距离估计提高 了障碍物预测的准确性。
进一步的,对非天空区域进行栅格划分结合特征点进行航线方向 估计
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述, 本申请的其它特征、目的和优点将会变得更明显:
图1为本发明实施例提供的无人机航线预警方法的流程示意图;
图2为本发明实施例提供的确定栅格对应区域到无人机距离的流 程示意图;
图3为本发明实施例提供的计算栅格的夹角的流程示意图;
图4为本发明的实施例提供的无人机航线预警装置的示例性结构 框图;
图5为本发明的实施例提供的距离计算模块的示例性结构框图;
图6为本发明的实施例提供的重合度计算模块的示例性结构框图;
图7为用来实现本申请实施例的计算机系统的示例性结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解 的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发 明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与 发明相关的部分。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例 中的特征可以相互组合。
微型无人机视觉系统的发展经历了三个阶段:第一阶段是对图片 信息的精确拍摄和存储,主要完成的是图像的采集工作,执行如航拍 工作;第二阶段是对静止目标的搜寻、识别和定位、执行目标识别之 类的工作;第三阶段是利用已识别到的图像信息结合飞行控制系统完 成特定的飞行任务,例如目标跟踪、自主起飞等。国内对于无人机视 觉系统的研究起步较晚,各参赛队使用的视觉系统,大都还是通过机 载摄像头连接模拟传输模块,将图像信息以模拟信号的形式传输到地 面机站,再由地面机站完成图像的存储和识别。
如背景技术中所提到的,无人机航线飞行过程,会遇到不可控的 障碍信息,如飞禽、山峰、飞行物等。在当前的无人机领域,常用的 障碍物感知方法有激光雷达、超声波、双目视觉等等。其中,激光雷 达价格昂贵,计算量较大;超声波多用于室内场景,且定位误差较大; 双目视觉受限于两个相机间的距离,不适用远距离物体测距,并且在 检测出障碍物以后,需要结合当前无人机航线信息,提出了稳定有效 的障碍物预警机制。无人机单目视觉预警是指无人机利用前置单目摄 像头识别出航线上是否有障碍物,并获取障碍物距离无人机的距离, 当存在碰撞风险时,发出预警信号,启动无人机障碍物规避风险,此 方法只使用单目相机完成障碍物检测、距离估计以及自动预警,成本 较低。
下面将参考附图并结合实施例来详细说明本申请。
本发明实施例提供一种无人机航线预警方法,请参见图1,其示 出了本发明实施例提供的一种无人机航线预警方法的流程示意图,包 括如下步骤:
步骤110,利用单目相机获取无人机前向的包含障碍物的多福原 始图像。
具体的,本发明实施例中,在进行障碍物检测的过程中,可以在 飞机上安装前视单目摄像头,摄像头的朝向指向飞机运行前进方向。 无人机启动,进入航线后,打开障碍物检测模块,通过采集到的图像 信息进行实时检测障碍物。首先获取到该单目相机拍摄的目标帧图像 It,以及含有障碍物目标帧图像的相邻帧图像It+1,其中t代表时间
步骤120,确定每幅原始图像中包含障碍物的非天空区域。
具体的,本发明实施例中,将步骤110中获取的图像进行分割, 确定前方视线中障碍物存在的区域。在计算机视觉领域,分割、检测、 识别、跟踪几个问题是紧密相连的,不同于传统的基于灰色、颜色、 纹理和形状等特征的图像分割问题,除了识别出图像中每个物体外, 还要识别出物体的边界。
进一步的,判断出是否为天空区域,可以采用机器学习方法。在 大量公开数据集和采集的数据集上标定好天空和非天空区域,利用机 器学习方法如SVM进行二分类训练,或者使用深度卷积网络进行训 练,将训练得到的模型保存下来。在实际使用中,对于一幅新的图像, 输入模型中,模型可以自动输出图像里的天空区域和非天空区域,本 申请实施例可以采用深度卷积网络方法如deeplab、segNet,unet等方 法。存在输出的非天空区域,认为是障碍物存在的区域。
步骤130,将非天空区域划分为多个栅格。
具体的,在步骤120中获取的每幅图像中包含障碍物的非天空区 域,对这些图像进行栅格划分,形成m*n个小块,划分栅格的大小可 以自行设定,此处不做任何限定。此处划分栅格的方式可以选择多种 类型,将图像视作平面,可以根据一定的算法将图像区域进行划分, 此处的多个栅格为相等大小的区域。
进一步的,之所以对图像进行栅格划分,是为了减少在获取当个 特征点的距离后,由于单个特征点距离估计的不确定性,才提出了基 于栅格的图像块距离。
步骤140,确定各个栅格对应区域到无人机的距离。
具体的,对图像进行栅格区域划分,根据每个栅格内检测到的特 征点的距离,确定栅格对应区域到无人机的距离。此处通过对障碍物 的特征点进行距离估计,可获取离散的特征点距离无人机的距离,可 通过栅格划分将离散特征点的距离,转化为正前方区域与当前位置的 距离。
步骤150,确定各个所述栅格与航线方向的重合度。
具体的,根据图像中每个栅格与图像中心的角度来确定栅格与航 线方向的重合度。根据障碍物的方位信息,结合航线信息,确定是否 存在撞机风险。选取处于正前方的栅格,判断是否存在撞机的可能。 选取多福图像中包含障碍物的非天空区域中图像中正前方栅格,其中 正前方栅格的选取范围为[-th th]。选取的区域为距离中心th内的区域, 将选取的栅格进行进一步判断。步骤160,检验栅格对应区域到无人 机的距离是否小于或等于预定阈值,作为第一判断标准。
具体的,结合无人机的型号、飞行速度和飞行状态,设定栅格对 应区域到无人机的距离的阈值,计算出的图像栅格块距离。根据上述 步骤计算出的栅格区域的最小值与预设的阈值进行比较,判断是否存 在撞击风险,
步骤170,检验栅格与航线方向的重合度是否小于或等于预定阈 值,作为第二判断标准。
具体的,根据障碍物距离无人机的距离和方位信息,结合航线信 息,确定撞机风险。首先根据栅格距离值筛选,若满足一定的距离范 围,则进一步判断障碍物位置(第一判断标准)、方向与航线的重合度 (第二判断标准),判断是否存在撞机的可能。
步骤180,若同时满足第一判断标准和第二判断标准,则发送预 警信号。
具体的,比如设定距离阈值为threshd,碰撞阈值为threshcoll。其预警 机制如下:如果Gridk≤threshd,则进行预警判断,预警机制如下:可导 出Gridk中所有特征点的三维坐标,令其为{p1,p2,...,pn}。计算所有三维点 与航线的距离为D={d1,d2,...,dn}。获取栅格内的与航线的最近距离: 若dmin≤threshcoll,则发送预警信号给飞控模块,启动 避障。
在上述实施例的基础上,所述方法,还包括:重复上述实施例的 步骤,对无人机前侧方向的障碍物检测和预警信号的发送。
进一步的,将非天空区域划分为多个栅格之前,包括提非天空区 域内的特征点,计算特征点的三维坐标。
具体的,特征点为图像中轮廓的交点,该点附近的像素具有很大 的梯度变化,即使视角发生变化后仍具有稳定的特征,其中提取特征 点的方法中常见的有包括但不限于Fast、Harris角点检测方法。划分 栅格的作用是认为栅格里物体距离无人机的距离是近似相等的,将栅 格内特征点的距离一一计算出来。具体的,并在连续帧中进行持续跟 踪(包括但不限于光流法),得到第i个特征点,从跟踪的初始帧直到 第j帧的所有观测点集为Ji。获取无人机上的GPS位置信息,令第k帧 的无人机的GPS位置为rk。
令南方为x轴,东方为y轴,上方为z轴建立世界坐标系,根据 无人机的坐标转化与摄像机针孔成像原理可得:
其中,pi=(xi,yi,zi)为第i个特征点在世界坐标系的三维坐标,Rk为 相机在第k帧时刻相对于世界坐标的旋转矩阵,uik为第i个特征点在第 k帧中的图像坐标。其可表示为线性方程,从而可求得特征点的三维 坐标pi。
进一步的,如图2所示为本发明实施例提供的确定栅格对应区域 到无人机距离的流程示意图,包括:
步骤1401,获取栅格内特征点距离无人机的距离。
具体的,图像划分的小块,例如图像为320*240,划分为8*6=48 个栅格,每个栅格大小为40*40,每个栅格内可能有多个特征点,依 次获取栅格内每个特征点的距离无人机的距离。图像进行栅格划分后, 形成了m×n个小块,令每个小块特征点三维坐标集合为Lk,k∈[1,m×n]。
步骤1402,计算特征点的连续跟踪帧数。
具体的,根据栅格内特征点获取这些特征点连续跟踪下得到的跟踪帧 数,在此可以预设跟踪帧数的数字,进行实时监控。
步骤1403,基于特征点的连续跟踪帧数,确定栅格内特征点的置 信度。
计算每个跟踪点的连续跟踪帧数,令第i个特征点连续跟踪帧数为cnti,确定其栅格块内每个特征点的置信度wi。
步骤1404,根据置信度和特征点距离无人机的距离确定栅格对应 区域到无人机的距离。
具体的,将栅格内所有特征点距离值,根据置信度可靠度取加权 平均,得到栅格的最终距离值。依次计算所有栅格,可得各个栅格所 对应的区域距离无人机的距离。
进一步的,确定栅格对应区域到无人机的距离,包括:
依次计算所有栅格距离无人机的距离,将栅格距离无人机的距离 的最小值作为栅格对应区域到无人机的距离。
进一步的,确定栅格与航线方向的重合度,包括:
选取原始图像的中心区域,依次计算所述中心区域内的栅格的夹 角。
进一步的,如图3所示为本发明实施例提供的计算栅格的夹角的 流程示意图,包括:
步骤1501,获取栅格内特征点在世界坐标系下的三维坐标。
具体的,令相机坐标系中坐标轴(x,y,z)方向为飞机的(右,下,前), 每个栅格中都有多个特征点,获取栅格内每个特征点在世界坐标系下 的三维坐标Pw=(xw,yw,zw)。
步骤1503,根据三维坐标和变换矩阵计算特征点与飞机前进方 向的夹角。
步骤1504,根据夹角确定栅格与航线方向的重合度。
具体的,因此栅格的夹角即栅格与航线方向的重合度可认为是栅 格内特征点与飞机前向的最小夹角:θgrid=min(θi),i=[1,2,...,N],其中θgrid为 栅格的夹角,θi为栅格内每个特征点的夹角,N为每个栅格内特征点 的个数。
另一方面,图4示出了本申请实施例提供的无人机航线预警装置 的示例性结构框图。该装置可以设置在服务器中,例如可以是服务器 的中央处理器CPU或者图形处理器GPU(Graphics Processing Unit) 来执行。
如图4所示,该装置200包括:
获取模块210,用于利用单目相机获取无人机前向的包含障碍物 的多幅原始图像;
确定模块220,用于确定每幅所述原始图像中包含障碍物的非天 空区域;
划分模块230,用于将非天空区域划分为多个栅格;
距离计算模块240,用于确定各个栅格对应区域到无人机的距离;
重合度计算模块250,用于确定各个栅格与航线方向的重合度;
第一判断模块260,用于检验栅格对应区域到无人机的距离是否 小于或等于预定阈值,作为第一判断标准;
第二判断模块270,用于检验栅格与航线方向的重合度是否小于 或等于预定阈值,作为第二判断标准;
信号发送模块280,用于若同时满足第一判断标准和第二判断标 准,则发送预警信号。
可选的,如图5所示,距离计算模块240,还包括:
获取单元2401,用于获取栅格内特征点距离无人机的距离;
计算单元2402,用于计算特征点的连续跟踪帧数;
第一确定单元2403,用于基于特征点的连续跟踪帧数,确定栅格 内特征点的置信度;
第二确定单元2404,用于根据置信度和特征点距离无人机的距离 确定栅格对应区域到无人机的距离。
可选的,重合度计算模块250,进一步用于选取原始图像的中心 区域,依次计算所述区域内的栅格的夹角。
可选的,重合度计算模块250,如图6所示,还可以包括:
第一获取单元2501,用于获取栅格内特征点在世界坐标系下的三 维坐标;
第二获取单元2502,用于基于世界坐标系下的三维坐标获取相应 的变换矩阵;
计算单元2503,用于根据三维坐标和变换矩阵计算特征点与飞机 前进方向的夹角;
确定单元2504,用于根据夹角确定栅格与航线方向的重合度。
应当理解,装置200中记载的诸单元或模块与参考图1描述的方 法中的各个步骤相对应。由此,上文针对方法描述的操作和特征同样 适用于装置200及其中包含的单元,在此不再赘述。装置200可以预 先实现在电子设备的浏览器或其他安全应用中,也可以通过下载等方 式而加载到电子设备的浏览器或其安全应用中。装置200中的相应单 元可以与电子设备中的单元相互配合以实现本申请实施例的方案。
下面参考图7,本实施例提供一种计算机设备的结构示意图,下 面参考图3,其示出了适于用来实现本申请实施例的服务器的计算机 系统600的结构示意图。
如图7所示,计算机系统600包括中央处理单元(CPU)601,其 可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608 加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作 和处理。在RAM 603中,还存储有系统600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入 /输出(I/O)接口605也连接至总线604。
以下部件连接至I/O接口605:包括键盘、鼠标等的输入部分606; 包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的 输出部分607;包括硬盘等的存储部分608;以及包括诸如LAN卡、 调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如 因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口 605。可拆卸介质611,诸如磁盘、光盘、磁光盘、半导体存储器等等, 根据需要安装在驱动器610上,以便于从其上读出的计算机程序根据 需要被安装入存储部分608。
特别地,根据本公开的实施例,上文参考图1描述的过程可以被 实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序 产品,其包括有形地包含在机器可读介质上的计算机程序,上述计算 机程序包含用于执行图1的方法的程序代码。在这样的实施例中,该 计算机程序可以通过通信部分609从网络上被下载和安装,和/或从可 拆卸介质611被安装。
附图中的流程图和框图,图示了按照本发明各种实施例的系统、 方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点 上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码 的一部分,前述模块、程序段、或代码的一部分包含一个或多个用于 实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的 实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发 生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们 有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的 是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的 组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现, 或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元或模块可以通过软件的方 式实现,也可以通过硬件的方式来实现。所描述的单元或模块也可以 设置在处理器中。
作为另外一方面,本申请还提供一种计算机可读存储介质,该计 算机可读存储介质可以是上述实施例中前述装置中所包含的计算机可 读存储介质;也可以是单独存在,未装配入设备中的计算机可读存储 介质。计算机可读存储介质存在有一个或者一个以上程序,前述程度 被一个或者一个以上的处理器用来执行描述于本申请的无人机航线预 警的方案。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。 本领域技术人员应当理解,本申请中所涉及的发明范围,并不限于上 述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离前述 发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形 成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有 类似功能的技术特征进行互相替换而形成的技术方案
通过以上描述可知:本领域技术人员可以清楚地了解到本申请必 须借助硬件后台方式来实现。基于此理解,本申请的技术方案本质上 可以说对现有技术做出贡献的部分借助计算机的开发程序形式体现出 来,包括若干指令使得一台计算机设备(个人计算,服务器,或者网 络设备等)执行本申请实施例的某些部分所述方法。
Claims (12)
1.一种无人机航线预警方法,其特征在于,该方法包括:
利用单目相机获取无人机前向的包含障碍物的多幅原始图像;
确定每幅所述原始图像中包含所述障碍物的非天空区域;
将所述非天空区域划分为多个栅格;
确定各个所述栅格对应区域到无人机的距离;
确定各个所述栅格与航线方向的重合度;
检验所述栅格对应区域到无人机的距离是否小于或等于预定阈值,作为第一判断标准;
检验所述栅格与航线方向的重合度是否小于或等于预定阈值,作为第二判断标准;
若同时满足第一判断标准和第二判断标准,则发送预警信号。
2.根据权利要求1所述的无人机航线预警方法,其特征在于,所述将所述非天空区域划分为多个栅格之前,包括:
提取所述非天空区域内的特征点,计算所述特征点的三维坐标。
3.根据权利要求2所述的无人机航线预警方法,其特征在于,所述确定所述栅格对应区域到无人机的距离,包括:
获取栅格内特征点距离无人机的距离;
计算所述特征点的连续跟踪帧数;
基于所述特征点的连续跟踪帧数,确定栅格内特征点的置信度;
根据所述置信度和所述特征点距离无人机的距离确定所述栅格对应区域到无人机的距离。
4.根据权利要求3所述的无人机航线预警方法,其特征在于,所述确定所述栅格对应区域到无人机的距离,包括:
依次计算所有栅格距离无人机的距离,将栅格距离无人机的距离的最小值作为栅格对应区域到无人机的距离。
5.根据权利要求2所述的无人机航线预警方法,其特征在于,所述确定所述栅格与航线方向的重合度,包括:
选取原始图像的中心区域,依次计算所述中心区域内的栅格的夹角。
6.根据权利要求5所述的无人机航线预警方法,其特征在于,所述计算所述区域内的栅格的夹角,包括:
获取栅格内特征点在世界坐标系下的三维坐标;
基于所述世界坐标系下的三维坐标获取相应的变换矩阵;
根据所述三维坐标和变换矩阵计算所述特征点与飞机前进方向的夹角;
根据所述夹角确定所述栅格与航线方向的重合度。
7.一种无人机航线预警装置,其特征在于,包括:
获取模块,用于利用单目相机获取无人机前向的包含障碍物的多幅原始图像;
确定模块,用于确定每幅所述原始图像中包含所述障碍物的非天空区域;
划分模块,用于将所述非天空区域划分为多个栅格;
距离计算模块,用于确定各个所述栅格对应区域到无人机的距离;
重合度计算模块,用于确定各个所述栅格与航线方向的重合度;
第一判断模块,用于检验所述栅格对应区域到无人机的距离是否小于或等于预定阈值,作为第一判断标准;
第二判断模块,用于检验所述栅格与航线方向的重合度是否小于或等于预定阈值,作为第二判断标准;
信号发送模块,用于若同时满足第一判断标准和第二判断标准,则发送预警信号。
8.根据权利要求7所述的无人机航线预警装置,其特征在于,所述距离计算模块,包括:
获取单元,用于获取栅格内特征点距离无人机的距离;
计算单元,用于计算所述特征点的连续跟踪帧数;
第一确定单元,用于基于所述特征点的连续跟踪帧数,确定栅格内特征点的置信度;
第二确定单元,用于根据所述置信度和所述特征点距离无人机的距离确定所述栅格对应区域到无人机的距离。
9.根据权利要求7所述的无人机航线预警装置,其特征在于,所述重合度计算模块,包括:
选取原始图像的中心区域,依次计算所述区域内的栅格的夹角。
10.根据权利要求9所述的无人机航线预警装置,其特征在于,所述重合度计算模块,包括:
第一获取单元,用于获取栅格内特征点在世界坐标系下的三维坐标;
第二获取单元,用于基于所述世界坐标系下的三维坐标获取相应的变换矩阵;
计算单元,用于根据所述三维坐标和变换矩阵计算所述特征点与飞机前进方向的夹角;
确定单元,用于根据所述夹角确定所述栅格与航线方向的重合度。
11.一种设备,其特征在于,包括:至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令,当所述计算机程序指令被所述处理器执行时实现如权利要求1-6中任一项所述的方法。
12.一种计算机可读存储介质,其上存储有计算机程序指令,其特征在于,当所述计算机程序指令被处理器执行实现如权利要求1-6中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811526124.8A CN111326023B (zh) | 2018-12-13 | 2018-12-13 | 一种无人机航线预警方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811526124.8A CN111326023B (zh) | 2018-12-13 | 2018-12-13 | 一种无人机航线预警方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111326023A true CN111326023A (zh) | 2020-06-23 |
CN111326023B CN111326023B (zh) | 2022-03-29 |
Family
ID=71168423
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811526124.8A Active CN111326023B (zh) | 2018-12-13 | 2018-12-13 | 一种无人机航线预警方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111326023B (zh) |
Cited By (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11403069B2 (en) | 2017-07-24 | 2022-08-02 | Tesla, Inc. | Accelerated mathematical engine |
US11409692B2 (en) | 2017-07-24 | 2022-08-09 | Tesla, Inc. | Vector computational unit |
CN114882694A (zh) * | 2022-03-24 | 2022-08-09 | 成都亿盟恒信科技有限公司 | 一种基于报警定位数据的风险区域生成方法及系统 |
US11487288B2 (en) | 2017-03-23 | 2022-11-01 | Tesla, Inc. | Data synthesis for autonomous control systems |
US11537811B2 (en) | 2018-12-04 | 2022-12-27 | Tesla, Inc. | Enhanced object detection for autonomous vehicles based on field view |
US11561791B2 (en) | 2018-02-01 | 2023-01-24 | Tesla, Inc. | Vector computational unit receiving data elements in parallel from a last row of a computational array |
US11562231B2 (en) | 2018-09-03 | 2023-01-24 | Tesla, Inc. | Neural networks for embedded devices |
US11567514B2 (en) | 2019-02-11 | 2023-01-31 | Tesla, Inc. | Autonomous and user controlled vehicle summon to a target |
US11610117B2 (en) | 2018-12-27 | 2023-03-21 | Tesla, Inc. | System and method for adapting a neural network model on a hardware platform |
US11636333B2 (en) | 2018-07-26 | 2023-04-25 | Tesla, Inc. | Optimizing neural network structures for embedded systems |
US11665108B2 (en) | 2018-10-25 | 2023-05-30 | Tesla, Inc. | QoS manager for system on a chip communications |
US11681649B2 (en) | 2017-07-24 | 2023-06-20 | Tesla, Inc. | Computational array microprocessor system using non-consecutive data formatting |
US11734562B2 (en) | 2018-06-20 | 2023-08-22 | Tesla, Inc. | Data pipeline and deep learning system for autonomous driving |
US11748620B2 (en) | 2019-02-01 | 2023-09-05 | Tesla, Inc. | Generating ground truth for machine learning from time series elements |
CN116820132A (zh) * | 2023-07-06 | 2023-09-29 | 杭州牧星科技有限公司 | 基于远距视觉传感器的飞行避障预警提示方法及其系统 |
US11790664B2 (en) | 2019-02-19 | 2023-10-17 | Tesla, Inc. | Estimating object properties using visual image data |
US11816585B2 (en) | 2018-12-03 | 2023-11-14 | Tesla, Inc. | Machine learning models operating at different frequencies for autonomous vehicles |
US11841434B2 (en) | 2018-07-20 | 2023-12-12 | Tesla, Inc. | Annotation cross-labeling for autonomous control systems |
US11893774B2 (en) | 2018-10-11 | 2024-02-06 | Tesla, Inc. | Systems and methods for training machine models with augmented data |
US11893393B2 (en) | 2017-07-24 | 2024-02-06 | Tesla, Inc. | Computational array microprocessor system with hardware arbiter managing memory requests |
US12014553B2 (en) | 2019-02-01 | 2024-06-18 | Tesla, Inc. | Predicting three-dimensional features for autonomous driving |
US12079723B2 (en) | 2023-03-14 | 2024-09-03 | Tesla, Inc. | Optimizing neural network structures for embedded systems |
Citations (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0200787A1 (en) * | 1984-10-29 | 1986-11-12 | Toyo Communication Equipment Co.,Ltd. | System for displaying warning zone or menacing aircraft in an apparatus for preventing collision on aircraft |
US20070210953A1 (en) * | 2006-03-13 | 2007-09-13 | Abraham Michael R | Aircraft collision sense and avoidance system and method |
KR20100072776A (ko) * | 2008-12-22 | 2010-07-01 | 한국전자통신연구원 | 거리 측정 방법 및 스테레오 매칭 시스템 |
US20110160950A1 (en) * | 2008-07-15 | 2011-06-30 | Michael Naderhirn | System and method for preventing a collision |
US20110178658A1 (en) * | 2010-01-20 | 2011-07-21 | Honeywell International Inc. | Systems and methods for monocular airborne object detection |
CN103048661A (zh) * | 2011-10-14 | 2013-04-17 | 现代自动车株式会社 | 使用网格空间分析的停泊区域探测系统和方法 |
US20140142838A1 (en) * | 2012-11-19 | 2014-05-22 | Rosemount Aerospace Inc. | Collision Avoidance System for Aircraft Ground Operations |
CN104615146A (zh) * | 2015-02-05 | 2015-05-13 | 广州快飞计算机科技有限公司 | 一种无需外部导航信号的无人机喷药作业自动导航方法 |
US20160093052A1 (en) * | 2014-09-26 | 2016-03-31 | Neusoft Corporation | Method and apparatus for detecting obstacle based on monocular camera |
CN105759836A (zh) * | 2016-03-14 | 2016-07-13 | 武汉卓拔科技有限公司 | 一种基于3d摄像头的无人机避障方法及装置 |
CN105892489A (zh) * | 2016-05-24 | 2016-08-24 | 国网山东省电力公司电力科学研究院 | 一种基于多传感器融合的自主避障无人机系统及控制方法 |
CN106205223A (zh) * | 2016-09-21 | 2016-12-07 | 江西天祥通用航空股份有限公司 | 一种针对障碍物的预警方法及系统 |
CN106940704A (zh) * | 2016-11-25 | 2017-07-11 | 北京智能管家科技有限公司 | 一种基于栅格地图的定位方法及装置 |
CN106959702A (zh) * | 2017-05-23 | 2017-07-18 | 广东容祺智能科技有限公司 | 一种无人机自主避让方法及系统 |
CN107329490A (zh) * | 2017-07-21 | 2017-11-07 | 歌尔科技有限公司 | 无人机避障方法及无人机 |
CN107518833A (zh) * | 2017-10-12 | 2017-12-29 | 南京中高知识产权股份有限公司 | 一种扫地机器人的障碍物识别方法 |
CN107817811A (zh) * | 2017-10-26 | 2018-03-20 | 哈尔滨市舍科技有限公司 | 基于视觉的无人机防碰撞装置及方法 |
CN108088445A (zh) * | 2016-11-22 | 2018-05-29 | 广州映博智能科技有限公司 | 基于八叉树表示的三维栅格地图路径规划系统及方法 |
CN108521807A (zh) * | 2017-04-27 | 2018-09-11 | 深圳市大疆创新科技有限公司 | 无人机的控制方法、设备及障碍物的提示方法、设备 |
-
2018
- 2018-12-13 CN CN201811526124.8A patent/CN111326023B/zh active Active
Patent Citations (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0200787A1 (en) * | 1984-10-29 | 1986-11-12 | Toyo Communication Equipment Co.,Ltd. | System for displaying warning zone or menacing aircraft in an apparatus for preventing collision on aircraft |
US20070210953A1 (en) * | 2006-03-13 | 2007-09-13 | Abraham Michael R | Aircraft collision sense and avoidance system and method |
US20110160950A1 (en) * | 2008-07-15 | 2011-06-30 | Michael Naderhirn | System and method for preventing a collision |
KR20100072776A (ko) * | 2008-12-22 | 2010-07-01 | 한국전자통신연구원 | 거리 측정 방법 및 스테레오 매칭 시스템 |
US20110178658A1 (en) * | 2010-01-20 | 2011-07-21 | Honeywell International Inc. | Systems and methods for monocular airborne object detection |
CN103048661A (zh) * | 2011-10-14 | 2013-04-17 | 现代自动车株式会社 | 使用网格空间分析的停泊区域探测系统和方法 |
US20140142838A1 (en) * | 2012-11-19 | 2014-05-22 | Rosemount Aerospace Inc. | Collision Avoidance System for Aircraft Ground Operations |
US20160093052A1 (en) * | 2014-09-26 | 2016-03-31 | Neusoft Corporation | Method and apparatus for detecting obstacle based on monocular camera |
CN104615146A (zh) * | 2015-02-05 | 2015-05-13 | 广州快飞计算机科技有限公司 | 一种无需外部导航信号的无人机喷药作业自动导航方法 |
CN105759836A (zh) * | 2016-03-14 | 2016-07-13 | 武汉卓拔科技有限公司 | 一种基于3d摄像头的无人机避障方法及装置 |
CN105892489A (zh) * | 2016-05-24 | 2016-08-24 | 国网山东省电力公司电力科学研究院 | 一种基于多传感器融合的自主避障无人机系统及控制方法 |
CN106205223A (zh) * | 2016-09-21 | 2016-12-07 | 江西天祥通用航空股份有限公司 | 一种针对障碍物的预警方法及系统 |
CN108088445A (zh) * | 2016-11-22 | 2018-05-29 | 广州映博智能科技有限公司 | 基于八叉树表示的三维栅格地图路径规划系统及方法 |
CN106940704A (zh) * | 2016-11-25 | 2017-07-11 | 北京智能管家科技有限公司 | 一种基于栅格地图的定位方法及装置 |
CN108521807A (zh) * | 2017-04-27 | 2018-09-11 | 深圳市大疆创新科技有限公司 | 无人机的控制方法、设备及障碍物的提示方法、设备 |
CN106959702A (zh) * | 2017-05-23 | 2017-07-18 | 广东容祺智能科技有限公司 | 一种无人机自主避让方法及系统 |
CN107329490A (zh) * | 2017-07-21 | 2017-11-07 | 歌尔科技有限公司 | 无人机避障方法及无人机 |
CN107518833A (zh) * | 2017-10-12 | 2017-12-29 | 南京中高知识产权股份有限公司 | 一种扫地机器人的障碍物识别方法 |
CN107817811A (zh) * | 2017-10-26 | 2018-03-20 | 哈尔滨市舍科技有限公司 | 基于视觉的无人机防碰撞装置及方法 |
Non-Patent Citations (1)
Title |
---|
韩邢健: "基于单目视觉的无人机自主避障算法研究", 《中国优秀硕士学位论文全文数据库(工程科技Ⅱ辑)》 * |
Cited By (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US12020476B2 (en) | 2017-03-23 | 2024-06-25 | Tesla, Inc. | Data synthesis for autonomous control systems |
US11487288B2 (en) | 2017-03-23 | 2022-11-01 | Tesla, Inc. | Data synthesis for autonomous control systems |
US11681649B2 (en) | 2017-07-24 | 2023-06-20 | Tesla, Inc. | Computational array microprocessor system using non-consecutive data formatting |
US11409692B2 (en) | 2017-07-24 | 2022-08-09 | Tesla, Inc. | Vector computational unit |
US11893393B2 (en) | 2017-07-24 | 2024-02-06 | Tesla, Inc. | Computational array microprocessor system with hardware arbiter managing memory requests |
US11403069B2 (en) | 2017-07-24 | 2022-08-02 | Tesla, Inc. | Accelerated mathematical engine |
US11561791B2 (en) | 2018-02-01 | 2023-01-24 | Tesla, Inc. | Vector computational unit receiving data elements in parallel from a last row of a computational array |
US11797304B2 (en) | 2018-02-01 | 2023-10-24 | Tesla, Inc. | Instruction set architecture for a vector computational unit |
US11734562B2 (en) | 2018-06-20 | 2023-08-22 | Tesla, Inc. | Data pipeline and deep learning system for autonomous driving |
US11841434B2 (en) | 2018-07-20 | 2023-12-12 | Tesla, Inc. | Annotation cross-labeling for autonomous control systems |
US11636333B2 (en) | 2018-07-26 | 2023-04-25 | Tesla, Inc. | Optimizing neural network structures for embedded systems |
US11983630B2 (en) | 2018-09-03 | 2024-05-14 | Tesla, Inc. | Neural networks for embedded devices |
US11562231B2 (en) | 2018-09-03 | 2023-01-24 | Tesla, Inc. | Neural networks for embedded devices |
US11893774B2 (en) | 2018-10-11 | 2024-02-06 | Tesla, Inc. | Systems and methods for training machine models with augmented data |
US11665108B2 (en) | 2018-10-25 | 2023-05-30 | Tesla, Inc. | QoS manager for system on a chip communications |
US11816585B2 (en) | 2018-12-03 | 2023-11-14 | Tesla, Inc. | Machine learning models operating at different frequencies for autonomous vehicles |
US11908171B2 (en) | 2018-12-04 | 2024-02-20 | Tesla, Inc. | Enhanced object detection for autonomous vehicles based on field view |
US11537811B2 (en) | 2018-12-04 | 2022-12-27 | Tesla, Inc. | Enhanced object detection for autonomous vehicles based on field view |
US11610117B2 (en) | 2018-12-27 | 2023-03-21 | Tesla, Inc. | System and method for adapting a neural network model on a hardware platform |
US11748620B2 (en) | 2019-02-01 | 2023-09-05 | Tesla, Inc. | Generating ground truth for machine learning from time series elements |
US12014553B2 (en) | 2019-02-01 | 2024-06-18 | Tesla, Inc. | Predicting three-dimensional features for autonomous driving |
US11567514B2 (en) | 2019-02-11 | 2023-01-31 | Tesla, Inc. | Autonomous and user controlled vehicle summon to a target |
US11790664B2 (en) | 2019-02-19 | 2023-10-17 | Tesla, Inc. | Estimating object properties using visual image data |
CN114882694A (zh) * | 2022-03-24 | 2022-08-09 | 成都亿盟恒信科技有限公司 | 一种基于报警定位数据的风险区域生成方法及系统 |
US12079723B2 (en) | 2023-03-14 | 2024-09-03 | Tesla, Inc. | Optimizing neural network structures for embedded systems |
CN116820132B (zh) * | 2023-07-06 | 2024-01-09 | 杭州牧星科技有限公司 | 基于远距视觉传感器的飞行避障预警提示方法及其系统 |
CN116820132A (zh) * | 2023-07-06 | 2023-09-29 | 杭州牧星科技有限公司 | 基于远距视觉传感器的飞行避障预警提示方法及其系统 |
Also Published As
Publication number | Publication date |
---|---|
CN111326023B (zh) | 2022-03-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111326023B (zh) | 一种无人机航线预警方法、装置、设备及存储介质 | |
US11915502B2 (en) | Systems and methods for depth map sampling | |
CN111932588B (zh) | 一种基于深度学习的机载无人机多目标跟踪系统的跟踪方法 | |
CN112567201B (zh) | 距离测量方法以及设备 | |
CN106529495B (zh) | 一种飞行器的障碍物检测方法和装置 | |
US9542600B2 (en) | Cloud feature detection | |
CN106444837A (zh) | 一种无人机避障方法及系统 | |
US20220024549A1 (en) | System and method for measuring the distance to an object in water | |
CN103149939A (zh) | 一种基于视觉的无人机动态目标跟踪与定位方法 | |
CN111829532B (zh) | 一种飞行器重定位系统和重定位方法 | |
CN108140245A (zh) | 测距方法、装置以及无人机 | |
CN111913177A (zh) | 对目标物探测方法、装置以及存储介质 | |
CN107543539B (zh) | 一种无人机的位置信息获取方法及无人机 | |
CN108844538A (zh) | 一种基于视觉/惯导的无人机避障航点生成方法 | |
CN116978009A (zh) | 基于4d毫米波雷达的动态物体滤除方法 | |
CN113537047A (zh) | 障碍物检测方法、装置、交通工具及存储介质 | |
CN114689030A (zh) | 一种基于机载视觉的无人机辅助定位方法及系统 | |
EP2731050A1 (en) | Cloud feature detection | |
CN110287957B (zh) | 一种低慢小目标的定位方法及定位装置 | |
CN112733678A (zh) | 测距方法、装置、计算机设备和存储介质 | |
CN114740878B (zh) | 基于计算机图像识别的无人机飞行障碍物探测方法 | |
CN115665553A (zh) | 一种无人机的自动跟踪方法、装置、电子设备及存储介质 | |
Murashov et al. | Method of determining vehicle speed according to video stream data | |
CN112465867A (zh) | 一种基于卷积神经网络的红外点目标实时检测跟踪方法 | |
Zhou et al. | A vision-based autonomous detection scheme for obstacles on the runway |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20210723 Address after: 518063 5th floor, block B, building 1, software industry base, Yuehai street, Nanshan District, Shenzhen City, Guangdong Province Applicant after: Fengyi Technology (Shenzhen) Co.,Ltd. Address before: 518061 Intersection of Xuefu Road (south) and Baishi Road (east) in Nanshan District, Shenzhen City, Guangdong Province, 6-13 floors, Block B, Shenzhen Software Industry Base Applicant before: SF TECHNOLOGY Co.,Ltd. |
|
TA01 | Transfer of patent application right | ||
GR01 | Patent grant | ||
GR01 | Patent grant |