CN104537898B - 一种空地协同的无人机感知规避系统及其规避方法 - Google Patents
一种空地协同的无人机感知规避系统及其规避方法 Download PDFInfo
- Publication number
- CN104537898B CN104537898B CN201510009094.3A CN201510009094A CN104537898B CN 104537898 B CN104537898 B CN 104537898B CN 201510009094 A CN201510009094 A CN 201510009094A CN 104537898 B CN104537898 B CN 104537898B
- Authority
- CN
- China
- Prior art keywords
- mrow
- msub
- ground
- target
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
- G08G5/0047—Navigation or guidance aids for a single aircraft
- G08G5/0069—Navigation or guidance aids for a single aircraft specially adapted for an unmanned aircraft
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
- G08G5/0073—Surveillance aids
- G08G5/0078—Surveillance aids for monitoring traffic from the aircraft
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
- G08G5/0073—Surveillance aids
- G08G5/0082—Surveillance aids for monitoring traffic from a ground station
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
- G08G5/04—Anti-collision systems
- G08G5/045—Navigation or guidance aids, e.g. determination of anti-collision manoeuvers
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Aviation & Aerospace Engineering (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种空地协同的无人机感知规避系统,包括在飞机上设置的视觉感知系统、图像处理系统和飞行控制系统;视觉感知系统用于采集目标的图像信息,再传输至图像处理系统,图像处理系统将目标的图像信息分两路输出,一路是将未经处理的图像信息直接传输出至地面系统;另一路是将经过处理得到的目标航点信息传输至飞行控制系统,飞行控制系统与地面系统交互。本发明还提供了一种空地协同的无人机感知规避系统的规避方法,解决了现有技术中存在的纯地面控制无人机飞行航迹的来规避飞行器飞行轨迹的不确定性,以及单纯无人机自主空中规避障碍物的不确定性。
Description
技术领域
本发明属于无人机技术领域,具体涉及一种空地协同的无人机感知规避系统及其规避方法。
背景技术
近来,随着军事应用与民用领域对无人机的需求日益强烈,加上我国民用空域领域的进一步开放,未来空域将呈现多种类型功能的无人机、有人机进行空域共享和集成的局面,空域将日趋密集。在此情况下,无人机感知与规避(Sense and Avoid,即SAA)能力将成为进入空域飞行、保障无人机飞行安全的先决条件。无人机感知与规避是指无人机利用机载传感器或地面监视系统完成对空域飞行环境的监视和飞行目标的状态获取,对潜在碰撞威胁的目标进行规避路径规划,完成规避机动动作,从而保证无人机的航路飞行安全。
SAA技术是目前无人机技术领域亟待解决的关键技术难题。2013年,在美国FAA(Federal Aviation Administration)发布的无人机系统空域集成路线图中,明确提出SAA能力是无人机进行国家空域飞行的必备能力。其主要功能分为:目标检测与跟踪、碰撞威胁估计、规避路径规划、规避机动。
验证SAA技术受到各种客观因素的限制,不能应用无人机完全自主的再空中进行威胁评估和规避决策。因此,需要进行地面和空中的进行协同管理,防止无人机在完全自主飞行避撞的情况下不安全和不确定性。
发明内容
本发明的目的是提供一种空地协同的无人机感知规避系统及其规避方法,以解决现有技术中存在的纯地面控制无人机飞行航迹的来规避飞行器飞行轨迹的不确定性,以及单纯无人机自主空中规避障碍物的不确定性。
本发明所采用的第一种技术方案是,一种空地协同的无人机感知规避系统,包括在飞机上设置的视觉感知系统、图像处理系统和飞行控制系统;视觉感知系统用于采集目标的图像信息,再传输至图像处理系统,图像处理系统将目标的图像信息分两路输出,一路是将未经处理的图像信息直接传输出至地面系统;另一路是将经过处理得到的目标航点信息传输至飞行控制系统,飞行控制系统与地面系统交互。
进一步的,地面系统包括地面数传接收系统,地面图传系统,地面图像处理系统,地面决策任务规划系统;地面数传系统接收无人机下行飞行状态信息,包括飞行位置、速度、检测目标、规避点信息等;地面图传系统接收图像处理系统传输的没有处理的图像信息;地面图像处理系统接收地面图传系统传来的图像信息,处理空中目标检测信息;地面决策任务规划系统,即通过地面图像处理系统传送来的地面检测信息作出的规避机动与到地面数传系统得到的规避信息进行决策,将处理结果发送至飞行控制系统。
本发明所采用的第二种技术方案是,一种空地协同的无人机感知规避系统的规避方法,包括以下步骤:
步骤一、视觉感知系统采集目标图像信息,并将其发送至图像处理系统;
步骤二、对步骤中进入图像处理系统的视频信息不进行处理,直接通过地面图传系统传送至地面图像处理系统,地面图像处理系统通过背景目标预测法,检测得到目标所在图像坐标系中的位置
步骤三、地面决策任务规划系统(14)根据步骤二中检测到的计算得到目标相对于相机的位置以及目标相对于飞机的距离,再计算出目标相对于本机的距离,并建立飞行安全包络圈以及告警级别H(n+1);
步骤四、对步骤一中进入图像处理系统(2)的视频信息进行视频滤波和检测,检测得到目标所在图像坐标系中的位置
步骤五、将步骤四中得到的依次通过飞行控制系统(3)和地面数传接收系统(11)传送至地面决策任务规划系统(14),地面决策任务规划系统(14)计算出目标相对于相机的位置以及目标相对于飞机的距离,再计算出目标相对于本机的距离,并建立飞行安全包络圈以及告警级别H′(n+1);
步骤六,地面决策任务规划系统将步骤五中得到规避决策结果H′(n+1)和步骤三中得到的规避决策结果H(n+1)进行对比,
设定威胁判断函数:P=k1p1+k2p2-ξ,
其中,p1、p2分别为机上检测和地面检测评定等级(p=1,规避,p=0不规避),ξ是地面操作人员根据实时情况,设定的一个控制飞机运动状态的系数,
这样,定义避撞门限阈值P0,当P>P0时,执行机上规避决策结果H(n+1),并根据避撞指令做出避撞飞行动作;当P<P0时,执行地面规避决策结果H′(n+1),将最终的规避决策结果上传至飞行控制系统,做出相应的机动决策。
进一步的,步骤一的视觉感知系统包括若干个相机呈环形设置,各个相机将拍摄到的目标图像通过数据采集模块传送至图像处理系统。
进一步的,步骤二中的背景目标预测法具体为:
建立基本预测模型为:
式中:X为尺寸为M*N的输入图像,Y为预测图像,Wj为第j级的权重矩阵,j=m*M+n对应着当前位置,Sj对应着局域背景选取点的范围集合,属于Sj的像素点是有限的,设为L;
预测图像与输入图像之间的残差图像为:
式中:X为原始输入图像,Y为预测图像,这样对边缘检测问题就转化为在残差图像上进行阈值检测;
对E(m,n)进行目标检测,检测算法为:
(1)利用sobel边缘检测法对原图像X进行边缘提取得到图像和E′(m,n);
(2)将(1)中处理的结果E′(m,n)与E(m,n)以3*3窗口ga进行对比,将两个不同制度领域内的点分为亮点和暗点两类。分别求出两个不同图像尺度的亮点数m1,m2以及领域灰度值ga1,ga2。其中:ga为点(m,n)点的领域3*3像素区域;
(3)当|m1-m2|<δ,m1≠0,m2≠0时,则可以证明,在门限值在(ga1∩ga2)即可以证明是目标点,否则不是目标点,目标位置即(ga1∩ga2)所在的位置;
目标点相对于第k个相机中位置为
进一步的,步骤三的具体算法为:
pxk为第k个相机坐标系中目标的水平方向的位置信息,pyk为垂直方向的坐标信息,
3.1)计算目标相对于相机的位置的方法:
其中,w和h分别为以像素为单位的图像的宽度和高度,f为相机镜头焦距,u为像元尺寸;
3.2)计算目标相对于机体坐标的位置的方法:
视觉感知系统共接收六路视频采集信息,每个相机视场角为60°,形成360°全视角的观测范围。每个视场角的观测根据相对于自身相机相对于对相机分别编号k(0 1 2 3 45),编号为0的相机为与机体坐标系相固连的相机,相机水平放置,这样只有水平方向上与机体坐标系之间有视角差,垂直方向为目标相对于机体的相对姿态角。这样相对角度为:
3.3)计算目标相对于本机的距离的方法:
根据本机机动执行动作,设本机的速度为(vpx,vpy,vpz),该速度为机体坐标下的无人机速度,即惯性测量元件直接测量得到的。定义机体坐标系为:x轴与机头方向相同,z轴朝下,y轴符合右手定则;
这样,目标相对于飞机的距离可以根据时间积分得到:
进一步的,步骤四中视频的滤波算法为形态学滤波法,具体方法为:
4.1)首先需要对原始图像进行腐蚀和膨胀操作;
图像腐蚀操作为:
图像的膨胀矩阵为:
其中,E是原始图像,B是腐蚀/膨胀因子(矩阵,为3*3矩阵)。
4.2)采用开闭运算,然后进行形态学相减法,:
开运算:先腐蚀,再膨胀,E1={X->Y}
闭运算:先膨胀,再腐蚀,E2={Y->X}
形态学滤波得到结果:开运算-闭运算,E′=E1-E2
这样,从开闭运算结果中进行二值化处理后,通过设定指定阈值E0,通过二值化处理的图像E′>E0出现的位置来判断目标的相对位置。
其中,pxk为第k个相机坐标系中目标的水平方向的位置信息,pyk为垂直方向的坐标信息。
本发明的有益效果是,充分考虑无人机感知与规避机上集成任务的风险性,采用权重系数法来满足系统算法的验证作用,安全、高效,适合作为无人机空中任务规划的试验验证。
附图说明
图1是本发明一种空地协同的无人机感知规避系统的结构示意图。
图中,1.视觉感知系统、2.图像处理系统、3.飞行控制系统,4.地面系统、11.地面数传系统、12.地面图传系统、13.地面图像处理系统、14.地面决策任务规划系统。
具体实施方式
下面结合附图和实施例对本发明进行详细说明。
本发明提供了一种空地协同的无人机感知规避系统,如图1所示,包括在飞机上设置的视觉感知系统1、图像处理系统2和飞行控制系统3;视觉感知系统用于采集目标的图像信息,再传输至图像处理系统2,图像处理系统2将目标的图像信息分两路输出,一路是将未经处理的图像信息直接传输出至地面系统4;另一路是将经过处理得到的目标航点信息传输至飞行控制系统3,飞行控制系统3与地面系统4交互。
地面系统4包括地面数传接收系统11,地面图传系统12,地面图像处理系统13,地面决策任务规划系统14;地面数传系统11接收无人机下行飞行状态信息,包括飞行位置、速度、检测目标、规避点信息等;地面图传系统12接收图像处理系统2传输的没有处理的图像信息;地面图像处理系统13接收地面图传系统12传来的图像信息,处理空中目标检测信息;地面决策任务规划系统14,即通过地面图像处理系统13传送来的地面检测信息作出的规避机动与到地面数传系统11得到的规避信息进行决策,将处理结果发送至飞行控制系统3。
本发明还提供了一种空地协同的无人机感知规避系统的规避方法,包括以下步骤:
步骤一、视觉感知系统1采集目标图像信息,并将其发送至图像处理系统2;其中视觉感知系统1包括若干个相机呈环形设置,各个相机将拍摄到的目标图像通过数据采集模块传送至图像处理系统2。
步骤二、对步骤1中进入图像处理系统2的视频信息不进行处理,直接通过地面图传系统12传送至地面图像处理系统13,地面图像处理系统13通过背景目标预测法,检测得到目标所在图像坐标系中的位置
背景目标预测法具体为:
建立基本预测模型为:
式中:X为尺寸为M*N的输入图像,Y为预测图像,Wj为第j级的权重矩阵,j=m*M+n对应着当前位置,Sj对应着局域背景选取点的范围集合,属于Sj的像素点是有限的,设为L;
预测图像与输入图像之间的残差图像为:
式中:X为原始输入图像,Y为预测图像,这样对边缘检测问题就转化为在残差图像上进行阈值检测;
对E(m,n)进行目标检测,检测算法为:
(1)利用sobel边缘检测法对原图像X进行边缘提取得到图像和E′(m,n);
(2)将(1)中处理的结果E′(m,n)与E(m,n)以3*3窗口ga进行对比,将两个不同制度领域内的点分为亮点和暗点两类。分别求出两个不同图像尺度的亮点数m1,m2以及领域灰度值ga1,ga2。其中:ga为点(m,n)点的领域3*3像素区域;
(3)当|m1-m2|<δ,m1≠0,m2≠0时,则可以证明,在门限值在(ga1∩ga2)即可以证明是目标点,否则不是目标点,目标位置即(ga1∩ga2)所在的位置;
目标点相对于第k个相机中位置为
步骤三、地面决策任务规划系统(14)根据步骤二中检测到的计算得到目标相对于相机的位置以及目标相对于飞机的距离,再计算出目标相对于本机的距离,并建立飞行安全包络圈以及告警级别H(n+1);
其中具体算法为:
pxk为第k个相机坐标系中目标的水平方向的位置信息,pyk为垂直方向的坐标信息,
3.1)计算目标相对于相机的位置的方法:
其中,w和h分别为以像素为单位的图像的宽度和高度,f为相机镜头焦距,u为像元尺寸;
3.2)计算目标相对于机体坐标的位置的方法:
视觉感知系统共接收六路视频采集信息,每个相机视场角为60°,形成360°全视角的观测范围。每个视场角的观测根据相对于自身相机相对于对相机分别编号k(0 1 2 3 45),编号为0的相机为与机体坐标系相固连的相机,相机水平放置,这样只有水平方向上与机体坐标系之间有视角差,垂直方向为目标相对于机体的相对姿态角。这样相对角度为:
3.3)计算目标相对于本机的距离的方法:
根据本机机动执行动作,设本机的速度为(vpx,vpy,vpz),该速度为机体坐标下的无人机速度,即惯性测量元件直接测量得到的。定义机体坐标系为:x轴与机头方向相同,z轴朝下,y轴符合右手定则;
这样,目标相对于飞机的距离可以根据时间积分得到:
步骤四、对步骤一中进入图像处理系统(2)的视频信息进行视频滤波和检测,检测得到目标所在图像坐标系中的位置
视频的滤波算法为形态学滤波法,具体方法为:
4.1)首先需要对原始图像进行腐蚀和膨胀操作;
图像腐蚀操作为:
图像的膨胀矩阵为:
其中,E是原始图像,B是腐蚀/膨胀因子(矩阵,为3*3矩阵)。
4.2)采用开闭运算,然后进行形态学相减法,:
开运算:先腐蚀,再膨胀,E1={X->Y}
闭运算:先膨胀,再腐蚀,E2={Y->X}
形态学滤波得到结果:开运算-闭运算,E′=E1-E2
这样,从开闭运算结果中进行二值化处理后,通过设定指定阈值E0,通过二值化处理的图像E′>E0出现的位置来判断目标的相对位置。
其中,pxk为第k个相机坐标系中目标的水平方向的位置信息,pyk为垂直方向的坐标信息。
步骤五、将步骤四中得到的依次通过飞行控制系统(3)和地面数传接收系统(11)传送至地面决策任务规划系统(14),地面决策任务规划系统(14)计算出目标相对于相机的位置以及目标相对于飞机的距离,再计算出目标相对于本机的距离,并建立飞行安全包络圈以及告警级别H′(n+1);
步骤六,地面决策任务规划系统14将步骤五中得到规避决策结果H′(n+1)和步骤三中得到的规避决策结果H(n+1)进行对比,
设定威胁判断函数:P=k1p1+k2p2-ξ,
其中,p1、p2分别为机上检测和地面检测评定等级(p=1,规避,p=0不规避),ξ是地面操作人员根据实时情况,设定的一个控制飞机运动状态的系数,这样,定义避撞门限阈值P0,当P>P0时,执行机上规避决策结果H(n+1),并根据避撞指令做出避撞飞行动作;当P<P0时,执行地面规避决策结果H′(n+1),将最终的规避决策结果上传至飞行控制系统3,做出相应的机动决策。
传统的机载实时目标与检测试验验证系统分为两种,一种是将空中目标检测信息实时处理后传输到飞行控制端,飞行控制端根据目标位置做出相应的机动决策。另一种是将空中实时得到的数据传输至地面站,地面站将图像信息进行分析后得到最终的决策结果通过指令传输至飞行控制端,从而做出相应的机动决策。然而,第一种方法作为验证系统的关键组成部分,很容易使得飞行控制系统处理的结果不准确导致系统决策失误,造成不必要的损失;第二种方法过分利用地面站的作用,对系统的机上集成很难起到关键性的作用。本发明集两种系统的优点,充分考虑无人机感知与规避机上集成任务的风险性,采用权重系数法来满足系统算法的验证作用,安全、高效,适合作为无人机空中任务规划的试验验证。
Claims (5)
1.一种空地协同的无人机感知规避系统的规避方法,其特征在于,
所述空地协同的无人机感知规避系统,包括在飞机上设置的视觉感知系统(1)、图像处理系统(2)和飞行控制系统(3);所述的视觉感知系统用于采集目标的图像信息,再传输至所述的图像处理系统(2),所述的图像处理系统(2)将目标的图像信息分两路输出,一路是将未经处理的图像信息直接传输出至地面系统(4);另一路是将经过处理得到的目标航点信息传输至飞行控制系统(3),所述的飞行控制系统(3)与地面系统(4)交互,所述的地面系统(4)包括地面数传接收系统(11),地面图传系统(12),地面图像处理系统(13),地面决策任务规划系统(14);所述地面数传系统(11)接收无人机下行飞行状态信息,包括飞行位置、速度、检测目标和规避点信息;所述地面图传系统(12)接收图像处理系统(2)传输的没有处理的图像信息;所述地面图像处理系统(13)接收地面图传系统(12)传来的图像信息,处理空中目标检测信息;所述地面决策任务规划系统(14),根据地面图像处理系统(13)传送来的地面检测信息作出的规避机动与到地面数传系统(11)得到的规避信息进行决策,将处理结果发送至飞行控制系统(3);
所述空地协同的无人机感知规避系统的规避方法,包括以下步骤:
步骤一、视觉感知系统(1)采集目标图像信息,并将其发送至图像处理系统(2);
步骤二、对步骤(1)中进入图像处理系统(2)的视频信息不进行处理,直接通过地面图传系统(12)传送至地面图像处理系统(13),地面图像处理系统(13)通过背景目标预测法,检测得到目标所在图像坐标系中的位置
步骤三、地面决策任务规划系统(14)根据步骤二中检测到的计算得到目标相对于相机的位置以及目标相对于飞机的距离,再计算出目标相对于本机的距离,并建立飞行安全包络圈以及告警级别H(n+1);
步骤四、对步骤一中进入图像处理系统(2)的视频信息进行视频滤波和检测,检测得到目标所在图像坐标系中的位置
步骤五、将步骤四中得到的依次通过飞行控制系统(3)和地面数传接收系统(11)传送至地面决策任务规划系统(14),地面决策任务规划系统(14)计算出目标相对于相机的位置以及目标相对于飞机的距离,再计算出目标相对于本机的距离,并建立飞行安全包络圈以及告警级别H′(n+1);
步骤六,地面决策任务规划系统(14)将步骤五中得到规避决策结果H′(n+1)和步骤三中得到的规避决策结果H(n+1)进行对比,设定威胁判断函数:P=k1p1+k2p2-ξ,
其中,k1、k2是系数,p1、p2分别为机上检测和地面检测评定等级(p=1,规避,p=0不规避),ξ是地面操作人员根据实时情况,设定的一个控制飞机运动状态的系数,
这样,定义避撞门限阈值P0,当P>P0时,执行机上规避决策结果H(n+1),并根据避撞指令做出避撞飞行动作;当P<P0时,执行地面规避决策结果H′(n+1),将最终的规避决策结果上传至飞行控制系统(3),做出相应的机动决策。
2.如权利要求1所述的一种空地协同的无人机感知规避系统的规避方法,其特征在于,所述的步骤一的视觉感知系统(1)包括若干个相机呈环形设置,所述的各个相机将拍摄到的目标图像通过数据采集模块传送至图像处理系统(2)。
3.如权利要求1所述的一种空地协同的无人机感知规避系统的规避方法,其特征在于,所述的步骤二中的背景目标预测法具体为:
建立基本预测模型为:
<mfenced open = "" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<mi>Y</mi>
<mrow>
<mo>(</mo>
<mi>m</mi>
<mo>,</mo>
<mi>n</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<munder>
<mi>&Sigma;</mi>
<mrow>
<mi>l</mi>
<mo>,</mo>
<mi>k</mi>
<mo>&Element;</mo>
<msub>
<mi>S</mi>
<mi>j</mi>
</msub>
</mrow>
</munder>
<msub>
<mi>&Sigma;W</mi>
<mi>j</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>l</mi>
<mo>,</mo>
<mi>k</mi>
<mo>)</mo>
</mrow>
<mi>X</mi>
<mrow>
<mo>(</mo>
<mi>m</mi>
<mo>-</mo>
<mi>l</mi>
<mo>,</mo>
<mi>n</mi>
<mo>-</mo>
<mi>k</mi>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mi>m</mi>
<mo>=</mo>
<mn>0</mn>
<mo>,</mo>
<mn>...</mn>
<mo>,</mo>
<mi>M</mi>
<mo>-</mo>
<mn>1</mn>
<mo>;</mo>
<mi>n</mi>
<mo>=</mo>
<mn>0</mn>
<mo>,</mo>
<mn>...</mn>
<mo>,</mo>
<mi>N</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
式中:X为尺寸为M*N的输入图像,Y为预测图像,Wj为第j级的权重矩阵,j=m*M+n对应着当前位置,Sj对应着局域背景选取点的范围集合,属于Sj的像素点是有限的,设为L;
预测图像与输入图像之间的残差图像为:
<mrow>
<mi>E</mi>
<mrow>
<mo>(</mo>
<mi>m</mi>
<mo>,</mo>
<mi>n</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<mi>X</mi>
<mrow>
<mo>(</mo>
<mi>m</mi>
<mo>,</mo>
<mi>n</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mi>Y</mi>
<mrow>
<mo>(</mo>
<mi>m</mi>
<mo>,</mo>
<mi>n</mi>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>E</mi>
<mrow>
<mo>(</mo>
<mi>m</mi>
<mo>,</mo>
<mi>n</mi>
<mo>)</mo>
</mrow>
<mo>></mo>
<mn>0</mn>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mrow>
<mi>E</mi>
<mrow>
<mo>(</mo>
<mi>m</mi>
<mo>,</mo>
<mi>n</mi>
<mo>)</mo>
</mrow>
<mo><</mo>
<mn>0</mn>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
式中:X为原始输入图像,Y为预测图像,这样对边缘检测问题就转化为在残差图像上进行阈值检测;
对E(m,n)进行目标检测,检测算法为:
(1)利用sobel边缘检测法对原图像X进行边缘提取得到图像和E′(m,n);
(2)将(1)中处理的结果E′(m,n)与E(m,n)以3*3窗口ga进行对比,将两个不同制度领域内的点分为亮点和暗点两类,分别求出两个不同图像尺度的亮点数m1,m2以及领域灰度值ga1,ga2,其中:ga为点(m,n)点的领域3*3像素区域;
(3)当|m1-m2|<δ,m1≠0,m2≠0时,则可以证明,在门限值在(ga1∩ga2)即可以证明是目标点,否则不是目标点,目标位置即(ga1∩ga2)所在的位置;
目标点相对于第k个相机中位置为
<mrow>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<msub>
<mi>p</mi>
<mrow>
<mi>x</mi>
<mi>k</mi>
</mrow>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>p</mi>
<mrow>
<mi>y</mi>
<mi>k</mi>
</mrow>
</msub>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>=</mo>
<mi>f</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>g</mi>
<mrow>
<mi>a</mi>
<mn>1</mn>
</mrow>
</msub>
<mo>&cap;</mo>
<msub>
<mi>g</mi>
<mrow>
<mi>a</mi>
<mn>2</mn>
</mrow>
</msub>
<mo>)</mo>
</mrow>
<mo>.</mo>
</mrow>
4.如权利要求1所述的一种空地协同的无人机感知规避系统的规避方法,其特征在于,所述的步骤三的具体算法为:
pxk为第k个相机坐标系中目标的水平方向的位置信息,pyk为垂直方向的坐标信息,
3.1)计算目标相对于相机的位置的方法:
<mrow>
<msub>
<mi>&sigma;</mi>
<mi>k</mi>
</msub>
<mo>=</mo>
<msup>
<mi>tan</mi>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msup>
<mfrac>
<mrow>
<msub>
<mi>p</mi>
<mrow>
<mi>x</mi>
<mi>k</mi>
</mrow>
</msub>
<mo>-</mo>
<mfrac>
<mi>w</mi>
<mn>2</mn>
</mfrac>
</mrow>
<mrow>
<mi>f</mi>
<mo>/</mo>
<mi>&mu;</mi>
</mrow>
</mfrac>
</mrow>
<mrow>
<mi>&gamma;</mi>
<mo>=</mo>
<msup>
<mi>tan</mi>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msup>
<mfrac>
<mrow>
<msub>
<mi>p</mi>
<mrow>
<mi>y</mi>
<mi>k</mi>
</mrow>
</msub>
<mo>-</mo>
<mfrac>
<mi>h</mi>
<mn>2</mn>
</mfrac>
</mrow>
<mrow>
<mi>f</mi>
<mo>/</mo>
<mi>&mu;</mi>
</mrow>
</mfrac>
</mrow>
其中,w和h分别为以像素为单位的图像的宽度和高度,f为相机镜头焦距,u为像元尺寸;
3.2)计算目标相对于机体坐标的位置的方法:
视觉感知系统共接收六路视频采集信息,每个相机视场角为60°,形成360°全视角的观测范围,每个视场角的观测根据相对于自身相机相对于对相机分别编号k(012345),编号为0的相机为与机体坐标系相固连的相机,相机水平放置,这样只有水平方向上与机体坐标系之间有视角差,垂直方向为目标相对于机体的相对姿态角,这样相对角度为:
<mrow>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<mi>&theta;</mi>
<mi>X</mi>
</msub>
<mo>=</mo>
<msub>
<mi>&sigma;</mi>
<mi>k</mi>
</msub>
<mo>+</mo>
<mn>60</mn>
<mo>*</mo>
<mi>k</mi>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msub>
<mi>&theta;</mi>
<mi>Y</mi>
</msub>
<mo>=</mo>
<mi>&gamma;</mi>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>;</mo>
</mrow>
3.3)计算目标相对于本机的距离的方法:
根据本机机动执行动作,设本机的速度为(vpx,vpy,vpz),该速度为机体坐标下的无人机速度,即惯性测量元件直接测量得到的,定义机体坐标系为:x轴与机头方向相同,z轴朝下,y轴符合右手定则;
这样,目标相对于飞机的距离可以根据时间积分得到:
<mrow>
<mi>d</mi>
<mo>=</mo>
<mo>|</mo>
<mo>|</mo>
<msup>
<mrow>
<mo>(</mo>
<mfrac>
<mrow>
<msub>
<mi>v</mi>
<mrow>
<mi>p</mi>
<mi>y</mi>
</mrow>
</msub>
<mi>&Delta;</mi>
<mi>t</mi>
</mrow>
<mrow>
<mi>s</mi>
<mi>i</mi>
<mi>n</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>&Delta;&theta;</mi>
<mi>X</mi>
</msub>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mrow>
<mo>(</mo>
<mfrac>
<mrow>
<msub>
<mi>v</mi>
<mrow>
<mi>p</mi>
<mi>x</mi>
</mrow>
</msub>
<mi>&Delta;</mi>
<mi>t</mi>
</mrow>
<mrow>
<mi>s</mi>
<mi>i</mi>
<mi>n</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>&Delta;&theta;</mi>
<mi>Y</mi>
</msub>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>|</mo>
<msub>
<mo>|</mo>
<mn>2</mn>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>&Delta;&theta;</mi>
<mi>X</mi>
</msub>
<mo>&NotEqual;</mo>
<mn>0</mn>
<mo>,</mo>
<msub>
<mi>&Delta;&theta;</mi>
<mi>Y</mi>
</msub>
<mo>&NotEqual;</mo>
<mn>0</mn>
<mo>)</mo>
</mrow>
<mo>.</mo>
</mrow>
5.如权利要求1所述的一种空地协同的无人机感知规避系统的规避方法,其特征在于,所述的步骤四中视频的滤波算法为形态学滤波法,具体方法为:
4.1)首先需要对原始图像进行腐蚀和膨胀操作;
图像腐蚀操作为:
<mrow>
<mi>X</mi>
<mo>=</mo>
<mi>E</mi>
<mo>&CirclePlus;</mo>
<mi>B</mi>
<mo>=</mo>
<mo>{</mo>
<mi>x</mi>
<mo>:</mo>
<mi>B</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
<mo>&Subset;</mo>
<mi>E</mi>
<mo>}</mo>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
图像的膨胀矩阵为:
<mrow>
<mi>Y</mi>
<mo>=</mo>
<mi>E</mi>
<mo>&CirclePlus;</mo>
<mi>B</mi>
<mo>=</mo>
<mo>{</mo>
<mi>y</mi>
<mo>:</mo>
<mi>B</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
<mo>&cap;</mo>
<mi>E</mi>
<mo>&NotEqual;</mo>
<mi>&Phi;</mi>
<mo>}</mo>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mrow>
其中,E是原始图像,B是腐蚀/膨胀因子(矩阵,为3*3矩阵),
4.2)采用开闭运算,然后进行形态学相减法:
开运算:先腐蚀,再膨胀,E1={X->Y}
闭运算:先膨胀,再腐蚀,E2={Y->X}
形态学滤波得到结果:开运算-闭运算,E′=E1-E2
这样,从开闭运算结果中进行二值化处理后,通过设定指定阈值E0,通过二值化处理的图像E′>E0出现的位置来判断目标的相对位置,
<mrow>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<msub>
<mi>p</mi>
<mrow>
<mi>x</mi>
<mi>k</mi>
</mrow>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>p</mi>
<mrow>
<mi>y</mi>
<mi>k</mi>
</mrow>
</msub>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>=</mo>
<mi>f</mi>
<mrow>
<mo>(</mo>
<msup>
<mi>E</mi>
<mo>&prime;</mo>
</msup>
<mo>)</mo>
</mrow>
<mo>,</mo>
<msup>
<mi>E</mi>
<mo>&prime;</mo>
</msup>
<mo>></mo>
<mi>E</mi>
<mn>0</mn>
<mo>,</mo>
</mrow>
其中,pxk为第k个相机坐标系中目标的水平方向的位置信息,pyk为垂直方向的坐标信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510009094.3A CN104537898B (zh) | 2015-01-08 | 2015-01-08 | 一种空地协同的无人机感知规避系统及其规避方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510009094.3A CN104537898B (zh) | 2015-01-08 | 2015-01-08 | 一种空地协同的无人机感知规避系统及其规避方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104537898A CN104537898A (zh) | 2015-04-22 |
CN104537898B true CN104537898B (zh) | 2017-11-28 |
Family
ID=52853417
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510009094.3A Active CN104537898B (zh) | 2015-01-08 | 2015-01-08 | 一种空地协同的无人机感知规避系统及其规避方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104537898B (zh) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106296634B (zh) * | 2015-05-28 | 2019-11-15 | 腾讯科技(深圳)有限公司 | 一种检测相似图像的方法和装置 |
CN104851323B (zh) * | 2015-06-11 | 2017-11-17 | 沈阳北斗平台科技有限公司 | 基于北斗的飞机安全起降实时监控系统 |
CN105319969A (zh) * | 2015-07-27 | 2016-02-10 | 李翔宇 | 无人机协同对地覆盖系统 |
CN107209854A (zh) | 2015-09-15 | 2017-09-26 | 深圳市大疆创新科技有限公司 | 用于支持顺畅的目标跟随的系统和方法 |
WO2018086032A1 (zh) * | 2016-11-10 | 2018-05-17 | 深圳市大疆创新科技有限公司 | 飞行控制方法、装置及飞行器 |
US20180165968A1 (en) * | 2016-12-13 | 2018-06-14 | The Boeing Company | Flight plan analysis systems and methods for unmanned aerial vehicles |
CN107368095B (zh) * | 2017-08-29 | 2018-08-21 | 中国人民解放军国防科技大学 | 一种小型固定翼无人机空中防撞系统及防撞方法 |
CN107831777B (zh) * | 2017-09-26 | 2020-04-10 | 中国科学院长春光学精密机械与物理研究所 | 一种飞行器自主避障系统、方法及飞行器 |
CN108820221A (zh) * | 2018-08-16 | 2018-11-16 | 上海重塑能源科技有限公司 | 起飞系统 |
CN109358065B (zh) * | 2018-10-22 | 2021-08-24 | 湖南拓达结构监测技术有限公司 | 一种地铁隧道外观检测方法 |
CN110288633B (zh) * | 2019-06-04 | 2021-07-23 | 东软集团股份有限公司 | 目标追踪方法、装置、可读存储介质及电子设备 |
CN111007874B (zh) * | 2019-09-18 | 2022-07-19 | 合肥工业大学 | 无人机与车辆协同的电力巡检方法和装置 |
CN112149505B (zh) * | 2020-08-25 | 2023-01-13 | 合肥工业大学 | 基于图像的无人机自主地面污染物定位方法及系统 |
CN112149507B (zh) * | 2020-08-25 | 2023-01-13 | 合肥工业大学 | 基于图像的无人机自主地面污染物推理与定位方法及系统 |
CN112184559B (zh) * | 2020-11-09 | 2022-07-22 | 西北工业大学 | 一种光电导航系统的超分辨率图像异常目标检测方法及系统 |
CN116484227A (zh) * | 2023-05-04 | 2023-07-25 | 西北工业大学 | 用于机弹对抗末端机动规避指标生成的神经网络建模方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008097562A1 (en) * | 2007-02-06 | 2008-08-14 | Aai Corporation | Utilizing polarization differencing method for detect, sense and avoid systems |
CN101385059A (zh) * | 2006-03-13 | 2009-03-11 | 波音公司 | 飞机碰撞感测和规避系统和方法 |
CN101667032A (zh) * | 2008-09-03 | 2010-03-10 | 中国科学院自动化研究所 | 基于视觉的无人直升机目标跟踪系统 |
CN102156481A (zh) * | 2011-01-24 | 2011-08-17 | 广州嘉崎智能科技有限公司 | 无人飞行器的智能追踪控制方法及系统 |
CN102566581A (zh) * | 2010-12-21 | 2012-07-11 | 通用电气公司 | 基于轨迹的感测与规避 |
CN202583884U (zh) * | 2012-04-18 | 2012-12-05 | 北京刘氏尊德科技有限责任公司 | 无人飞行器有效载荷与自动驾驶仪综合控制计算机系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102007032084A1 (de) * | 2007-07-09 | 2009-01-22 | Eads Deutschland Gmbh | Kollisions- und Konfliktvermeidungssystem für autonome unbemannte Flugzeuge (UAV) |
-
2015
- 2015-01-08 CN CN201510009094.3A patent/CN104537898B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101385059A (zh) * | 2006-03-13 | 2009-03-11 | 波音公司 | 飞机碰撞感测和规避系统和方法 |
WO2008097562A1 (en) * | 2007-02-06 | 2008-08-14 | Aai Corporation | Utilizing polarization differencing method for detect, sense and avoid systems |
CN101667032A (zh) * | 2008-09-03 | 2010-03-10 | 中国科学院自动化研究所 | 基于视觉的无人直升机目标跟踪系统 |
CN102566581A (zh) * | 2010-12-21 | 2012-07-11 | 通用电气公司 | 基于轨迹的感测与规避 |
CN102156481A (zh) * | 2011-01-24 | 2011-08-17 | 广州嘉崎智能科技有限公司 | 无人飞行器的智能追踪控制方法及系统 |
CN202583884U (zh) * | 2012-04-18 | 2012-12-05 | 北京刘氏尊德科技有限责任公司 | 无人飞行器有效载荷与自动驾驶仪综合控制计算机系统 |
Also Published As
Publication number | Publication date |
---|---|
CN104537898A (zh) | 2015-04-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104537898B (zh) | 一种空地协同的无人机感知规避系统及其规避方法 | |
CN101839721B (zh) | 自主交会对接中的视觉导航方法 | |
CN103954283B (zh) | 基于景象匹配/视觉里程的惯性组合导航方法 | |
CN107272731A (zh) | 无人机自动避撞系统 | |
CN105644785B (zh) | 一种基于光流法和地平线检测的无人机着陆方法 | |
CN104656663A (zh) | 一种基于视觉的无人机编队感知与规避方法 | |
Zhao et al. | Vision-aided estimation of attitude, velocity, and inertial measurement bias for UAV stabilization | |
CN106933243A (zh) | 一种基于双目视觉的无人机实时避障系统及方法 | |
CN103699713A (zh) | 一种编队飞机冲突检测方法及其应用 | |
CN102435174A (zh) | 基于混合式双目视觉的障碍物检测方法及装置 | |
Yu et al. | Stereo vision based obstacle avoidance strategy for quadcopter UAV | |
Castiblanco et al. | Air drones for explosive landmines detection | |
De Sousa et al. | Aerial forest fire detection and monitoring using a small uav | |
CN107783119A (zh) | 应用在避障系统中的决策融合方法 | |
Duan et al. | Robust cooperative target detection for a vision-based UAVs autonomous aerial refueling platform via the contrast sensitivity mechanism of eagle's eye | |
Suzuki et al. | Real-time hazard map generation using small unmanned aerial vehicle | |
CN111563957B (zh) | 一种煤田火灾及矸石山火灾三维温度场数字化成像方法 | |
Ghosh et al. | AirTrack: Onboard deep learning framework for long-range aircraft detection and tracking | |
Morais et al. | Trajectory and Guidance Mode for autonomously landing an UAV on a naval platform using a vision approach | |
CN107045805A (zh) | 一种用于小型航空器和空飘物的监测方法及系统 | |
He et al. | An improved yolo v4 algorithm-based object detection method for maritime vessels | |
Lee et al. | Landing Site Inspection and Autonomous Pose Correction for Unmanned Aerial Vehicles | |
Shang et al. | Vision Model-Based Real-Time Localization of Unmanned Aerial Vehicle for Autonomous Structure Inspection under GPS-Denied Environment | |
TWI631483B (zh) | 機器人合作系統 | |
Duan et al. | Integrated localization system for autonomous unmanned aerial vehicle formation flight |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20220708 Address after: 710072 2 2-308-18, Qing'an Park, No. 9, Gaoxin Second Road, high tech Zone, Xi'an, Shaanxi Province Patentee after: Xi'an Chenhang Zhuoyue Technology Co.,Ltd. Address before: 710072 No. 127 Youyi West Road, Shaanxi, Xi'an Patentee before: Northwestern Polytechnical University |