CN112987765B - 一种仿猛禽注意力分配的无人机/艇精准自主起降方法 - Google Patents
一种仿猛禽注意力分配的无人机/艇精准自主起降方法 Download PDFInfo
- Publication number
- CN112987765B CN112987765B CN202110244856.3A CN202110244856A CN112987765B CN 112987765 B CN112987765 B CN 112987765B CN 202110244856 A CN202110244856 A CN 202110244856A CN 112987765 B CN112987765 B CN 112987765B
- Authority
- CN
- China
- Prior art keywords
- aerial vehicle
- unmanned aerial
- unmanned
- landing
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 72
- 238000009826 distribution Methods 0.000 title claims abstract description 41
- 230000000007 visual effect Effects 0.000 claims abstract description 37
- 230000007246 mechanism Effects 0.000 claims abstract description 25
- 210000002569 neuron Anatomy 0.000 claims description 40
- 230000008569 process Effects 0.000 claims description 21
- 230000000638 stimulation Effects 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 19
- 239000011159 matrix material Substances 0.000 claims description 18
- 238000010586 diagram Methods 0.000 claims description 17
- 238000013461 design Methods 0.000 claims description 7
- 230000000694 effects Effects 0.000 claims description 7
- 230000005764 inhibitory process Effects 0.000 claims description 7
- 238000013459 approach Methods 0.000 claims description 6
- 230000002860 competitive effect Effects 0.000 claims description 6
- 239000011664 nicotinic acid Substances 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 5
- 230000002401 inhibitory effect Effects 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 4
- 230000036961 partial effect Effects 0.000 claims description 4
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 210000004556 brain Anatomy 0.000 claims description 3
- 230000002964 excitative effect Effects 0.000 claims description 3
- 238000010304 firing Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 230000003993 interaction Effects 0.000 claims description 3
- 230000000737 periodic effect Effects 0.000 claims description 3
- 230000005062 synaptic transmission Effects 0.000 claims description 3
- 238000009827 uniform distribution Methods 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 2
- 230000000630 rising effect Effects 0.000 claims description 2
- 239000013589 supplement Substances 0.000 claims 1
- 238000001514 detection method Methods 0.000 abstract description 8
- 210000004027 cell Anatomy 0.000 description 12
- 230000008901 benefit Effects 0.000 description 9
- 238000013519 translation Methods 0.000 description 6
- 238000011161 development Methods 0.000 description 5
- 230000002441 reversible effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 230000002829 reductive effect Effects 0.000 description 3
- 210000001525 retina Anatomy 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 244000062804 prey Species 0.000 description 2
- 230000001681 protective effect Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- 238000011426 transformation method Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 1
- 241000282414 Homo sapiens Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004256 retinal image Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000035899 viability Effects 0.000 description 1
- 210000000239 visual pathway Anatomy 0.000 description 1
- 230000004400 visual pathway Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/04—Control of altitude or depth
- G05D1/06—Rate of change of altitude or depth
- G05D1/0607—Rate of change of altitude or depth specially adapted for aircraft
- G05D1/0653—Rate of change of altitude or depth specially adapted for aircraft during a phase of take-off or landing
- G05D1/0676—Rate of change of altitude or depth specially adapted for aircraft during a phase of take-off or landing specially adapted for landing
- G05D1/0684—Rate of change of altitude or depth specially adapted for aircraft during a phase of take-off or landing specially adapted for landing on a moving platform, e.g. aircraft carrier
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/0206—Control of position or course in two dimensions specially adapted to water vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明公开一种仿猛禽注意力分配的无人机/艇精准自主起降方法，包括：步骤一：自主起降区域合作目标设计；步骤二：获取图像的布尔特征图步骤三：仿猛禽注意力分配机制建模；步骤四：基于仿猛禽注意力分配机制的无人艇合作目标识别；步骤五：无人机自主降落到无人艇上的策略选择；步骤六：无人机/艇起降时的相对位姿估计；及判断是否降落成功。本发明方法提高了合作目标区域及标识点的检测效率及准确性；系统框架以及流程合理、高效，能够满足无人机在无人艇上自主起降的任务要求；提高了视觉导航的稳定性和抗干扰能力。
Description
技术领域
本发明是一种基于生物视觉的无人机/艇精准自主起降研究方法，尤其是一种仿猛禽注意力分配的无人机/艇精准自主起降方法，属于无人机自主导航与控制领域。
背景技术
随着经济发展及未来战争的需要，海上活动逐渐呈现出高密度、多元化、立体化的发展趋势。智能化产品及装备在人工智能及自动化技术发展的浪潮中应运而生，更多任务繁杂、危险系数高的工作逐渐被智能化平台所取代。在未来在多元化的海空环境下，无人机/艇协同作业将成为海上战争、海洋捕捞、生物保护、环境监测、基础地理空间信息采集等任务的一把利刃。
无人机(Unmanned Aerial Vehicle,UAV)是一种配置灵活、战场生存能力强的作业工具，因其速度快、小巧灵活、隐蔽性好、感知能力强、视野范围广等优势，在海陆空各个领域被广泛应用。但是无人机受续航时间短的约束，使得无人机只能在特定的时间内完成指定任务。无人艇(Unmanned Surface Vehicles,USV)具有体积小、速度高、成本低及续航能力强等优点。然而，无人艇存在搜索范围小、通信距离近的问题。如果可以将无人机与无人艇各自的优势结合起来，不仅能够扩大搜索范围，还可以延长续航时间，大大提升复杂任务的执行能力。无人机/艇精准自主起降技术是保障无人机在无人艇上精准停靠和能源补给的基本保障，也是无人机/艇在最短时间能能够获得最大效益的前提基础。
面对复杂多变的海面环境，无人机/艇自主起降更易受到海浪、海风等因素的影响，大大增加了无人机/无人艇的自主起降的难度。传统的导航方式主要包括全球定位系统(Global Positioning System,GPS)导航、惯性导航、组合导航等。GPS导航是常用的导航方式，具有全球全天候定位、观测时间短等优点，但GPS所使用的卫星受到美国军方的控制。惯性导航完全依赖载体上的设备完成自主导航任务，具有隐蔽性好和不受外界条件限制的优势，但加速度及精度和误差积累较严重。超声波定位导航具有成本低廉、精度高的优点，但容易受天气、周围环境及障碍物阴影、表面粗糙等外界环境的影响。组合导航系统将多种导航系统的信息相结合，导航精度比单一的导航系统精度高，但若不能及时正确判断并隔离出现故障的系统，会影响到其他导航系统的导航性能。所以，传统的导航方式由于受外界电磁信号的干扰及传感器自身的误差积累，难以满足海上无人机/艇精准自主起降的要求。视觉导航采用被动工作方式，其设备简单、不依靠外接设备，应用范围较广。仿生视觉导航是计算机视觉领域中一个新的重要分支，具有对天气要求较低、不借助传感器及卫星系统等外部设备、隐蔽性强及抗干扰能力强等优势，具有较大的发展潜力。仿生视觉技术的发展为无人机/艇精准自主起降的视觉系统设计提供了新的思路。
猛禽具有“天空之王”的美誉，擅长在高空寻找地面猎物，且以视野宽、探测距离远、目光敏锐、识别精度高著称。以鹰为代表的猛禽视力通常是人类的6-8倍，猛禽空中看物，能迅速从复杂动态环境中锁定猎物，并根据自身与猎物的距离调整自身视觉模式。猛禽能够通过注意力分配机制对复杂的视野场景迅速做出精确的分析，将感兴趣区域定位在高敏感度的视网膜中央凹处，确保视觉系统能够聚焦到感兴趣的猎物区域。猛禽视觉通路中神经元的尖峰序列代表视网膜图像中刺激的发生，当多个视觉刺激出现在不同的位置，神经群体之间出现竞争，只有获胜的神经群体才能传播到高级的视觉中心进行更进一步的处理。对于猛禽视网膜来说，相比周边大量的环境信息，猎物在其视网膜形成的刺激具有更强的竞争性，即猛禽将更多的注意力分配给了猎物。结合无人机/艇在精准自主起降过程因受到无人艇甲板高频运动、起降区域狭小、起降时间短暂、起降环境动态扰动大等问题而造成的无人艇起降合作目标处于多干扰、高动态、难识别的特点，将猛禽注意力分配机制应用于无人机/艇精准自主起降过程中。
综上所述，本发明提出了一种仿猛禽注意力分配的无人机/艇精准自主起降方法，以解决在起降区域小、干扰多等复杂海面环境下的无人机/艇精准自主起降问题，为引导无人机在无人艇上精准自主降落与起飞提供了可能，有效提高海面无人机/艇在任务执行过程中的合作能力。
发明内容
本发明提出了一种仿猛禽注意力分配的无人机/艇精准自主起降方法，其目的是提供一种高效、精准的复杂海面干扰环境中的无人机/艇自主起降方法，从而打破无人机在执行海上任务的航程限制，同时弥补无人艇视野范围小的缺陷，有效拓展了无人机/艇合作平台的视角范围和续航能力，使得无人机/艇可以在更复杂的环境中完成更综合的任务，使得海上作业效能的最大化。
本发明针对复杂海面环境下无人机在无人艇上的自主起飞与降落问题，提供了一种仿猛禽注意力分配的无人机/艇精准自主起降方法，该方法的流程框架如图1所示，该方法具体步骤如下：
步骤一：自主起降区域合作目标设计
无人机/艇精准自主起降合作目标设计如图2所示，将所述的自主起降合作目标固定在无人艇的甲板上并在该起降区域四周安装防护网，避免无人机在起降过程中与无人艇艇体发生碰撞或坠入海中。由于海面背景多以蓝色为主，选取与蓝色相别较大的颜色如红色填充整个自主起降合作目标，整个红色填充区域作为无人机自主起降的第一层合作目标。第一层合作目标区域即以O为圆心，半径为RI的圆，即I区。以O为圆心，以RII为半径划分II区，其中
以水平向右为正方向，以0°(即A1点)为起点，在I区与II区的交界处(即虚线圆上)均匀分布8个蓝色圆形标识点(即A1～A8，其中A1与A2之间的夹角为α)，这8个点作为无人机自主起降的第二层合作目标。同理，以O为圆心，以RIII为半径划分III区，其中
以水平向右为正方向，以B1点为起点(与水平方向夹角为β，其中10°＜β＜35°)，II区和III区的交界处(即虚线圆上)也均匀分布8个蓝色圆形标识点(即B1～B8)，这8个点作为无人机自主起降的第三层合作目标。
步骤二：获取图像的布尔特征图
布尔图可以用来描述视觉场景中不同维度的特征，且能体现推向在不同维度上的变化信息。在无人机上安装下视相机，作为无人机视觉系统的输入设备，相机用于实时采集设置有自主起降合作目标的无人艇的图像，根据图像的颜色阈值、亮度阈值及梯度阈值变化，分别获取图像的布尔颜色图集合Icolor、布尔亮度图集合Ivalue及布尔梯度图集合Igrad。
其中，Ici,i＝1,2,…n1为不同颜色阈值下的颜色布尔特征图，颜色阈值为[0,255]上的均匀分布，图像可获得n1个布尔颜色特征图。Ivi,i＝1,2,…n2为不同亮度阈值下的亮度布尔特征图，亮度阈值为[0,255]上的均匀分布，图像可获得n2个布尔亮度特征图。Igi,i＝1,2,…n3为不同梯度阈值下的梯度布尔特征图，梯度阈值为[0,255]上的均匀分布，图像可获得n3个布尔梯度特征图。
步骤三：仿猛禽注意力分配机制建模
顶盖-峡核竞争网络是猛禽脑中重要的动态竞争网络，该动态竞争网络主要考虑视顶盖第10层神经元(L10)、峡核小细胞部(Ipc)和峡核大细胞部(Imc)。视顶盖第10层神经元L10将信号投射到峡核大细胞部Imc(正向刺激作用)和峡核小细胞部分Ipc(正向刺激作用)；峡核大细胞部Imc将一部分信号投射到峡核小细胞部Ipc(正向刺激作用)，另一部分信号反投射到视顶盖L10(反向抑制作用)；峡核小细胞部Ipc将信号反投射到视顶盖L10(反向抑制作用)。顶盖-峡核竞争网络中的神经元i和神经元j间的解剖学特征可用权重矩阵ωij的形式进行描述，投射的突触传导(L10→Ipc，L10→Imc，Ipc→L10)的权重采用高斯分布进行描述。L10→Ipc，L10→Imc，Ipc→L10的正向投射关系标准服从高斯分布，它们的权重可描述为
其中，i→j可分别代表L10→Ipc、L10→Imc和Ipc→L10。ΔL10→Ipc，ΔL10→Imc，ΔIpc→L10分别为高斯函数分布的宽度。
Imc→L10的反向投射权重表示为
其中，ΔImc→L10为高斯函数分布的宽度，D为高斯函数的下陷深度，下陷附近i＝j。当D＝1时，Imc神经元j到L10神经元i在同一位置没有反馈，即i＝j。
Imc→L10的反向投射服从均匀分布，即
ωij＝1 (4)
对于前向抑制强度的增加，全局Imc→Ipc投射并不能促进竞争互动作用，而只是调节Ipc神经元的活性水平。然而，随着周期性的反拓扑Imc→L10反馈投射强度的增加，刺激竞争开始出现。新位置的Imc神经元活动在L10目标神经元中产生足够的抑制电流，抑制电流和适应电流之和可以克服兴奋电流。L10目标神经元停止放电，Ipc神经元的刺激竞争分数+1。刺激竞争分数定义为
其中，ri和rj分别为i，j神经元刺激中心周围的N个神经元的平均峰值速率。
步骤四：基于仿猛禽注意力分配机制的无人艇合作目标识别
将步骤三中的注意力分配机制应用于步骤二中，当无人机距离无人艇较远时，无人机视觉系统可将更多的注意力分配给海面上的无人艇；当无人机到达降落区且无人艇在无人机的视觉系统中只能部分成像时，无人机视觉系统将更多的注意力分配给无人艇上的自主起降合作目标，具体框图如图3所示。
将步骤二中获得的n1个布尔颜色特征图、n2个布尔亮度特征图及n3个布尔梯度特征图根据步骤三中的仿猛禽注意力分配机制中的刺激竞争分数公式(5)进行竞争打分，按照得分情况对各特征维度的布尔特征图进行分别排序，得分前M(其中，2≤M≤7)的布尔特征获胜并进行进一步处理。所述的进一步处理是：将获得的M个布尔颜色特征图、M个布尔亮度特征图和M个布尔梯度特征图采用格式塔原则进行特征融合，经线性化处理后得到最终的无人艇或合作目标注意力分配图。
步骤五：无人机自主降落到无人艇上的策略选择
当无人机到达降落区域且能够识别到整个合作目标的红色区域但识别不到蓝色标识点时，无人机通过识别第一层合作目标的引导靠近无人艇。随着无人机逐渐靠近无人艇，无人机通过识别第二层合作目标实现无人机与无人艇间的相对位姿估计。当第二层合作目标识别的数量不足以进行无人机与无人艇间位姿估计时，切换为第三层合作目标，继续引导无人机降落，如图4所示，无人机从发现无人艇到降落到无人艇上的整个过程可分为以下五个阶段：
(1)无人机捕捉到无人艇，但是无法识别合作目标，如H1区域；
(2)无人机只能捕捉到第一层合作目标，但无法获得起降区域上的标识点，如H2区域；
(3)无人机能够捕捉到第二层合作目标，但无法获得第三层合作目标，该阶段包含只能识别部分第二层合作目标标识点的情况，详见步骤六，如H3区域；
(4)无人机同时捕捉到第二层合作目标和第三层合作目标，该部分包括只识别到部分合作目标标识点的情况，详见步骤六，如H4区域；
(5)无人机只能捕捉到第三层合作目标，该阶段包含只能识别部分第三层合作目标标识点的情况，详见步骤六，如H5区域。
步骤六：无人机/艇起降时的相对位姿估计
针对步骤五中的阶段(1)，采用GPS导航方式引导无人机靠近无人艇，使其到达可识别无人艇合作目标的区域，同时，融合仿猛禽注意力分配机制使得无人艇始终处于机载相机的视野中央。针对步骤五中的阶段(2)，对注意力分配到的第一层合作目标的红色区域进行椭圆拟合，取椭圆的长、短轴顶点作为匹配点，进行位姿估计。针对步骤五中的阶段(3)，在仿猛禽注意力分配得到的第一层合作目标(即红色区域)内，通过颜色信息检测蓝色标识点，这样不仅可以避免同为蓝色信息海浪的干扰，又可减少计算量。将所检测到的蓝色标识点进行椭圆拟合，取椭圆的长、短轴顶点作为匹配点进行位姿估计。针对步骤五中的阶段(4)，第二层和第三层合作目标同时被检测到时，利用凸包变换方法筛选出最外圈的第二层合作目标。将筛选出的标识点进行椭圆拟合，取椭圆的长、短轴顶点作为匹配点进行位姿估计。随着无人机距离无人艇的垂直距离不断减少，能够采集到的标识点的数量越来越少，步骤五中的阶段(5)的使用方法与阶段(3)相同。
在无遮挡等其他特殊情况下，上述五个阶段均可获得n个匹配特征点，采用RPnP(ARobust Solution to the Perspective-n-Point Problem)算法进行无人机/艇间的精确位姿测量，得到相机坐标系下的无人艇合作目标的位置，分别经过相机坐标系、机体坐标系、地面惯性系的坐标转换，获得无人机与无人艇在地面坐标系下的相对位置关系Δx,Δy,Δh。所述的RPnP算法的具体方法为：在合作目标坐标系下，选取两点距离最长的连线为旋转轴Za轴，连线的中点为原点，建立坐标系OaXaYaZa。用所述合作目标坐标系中所选取的两点在相机坐标系下的对应的坐标连线设为Zc轴，确定相机坐标系OcXcYcZc。OaXaYaZa与OcXcYcZc两坐标系间的旋转矩阵R可以表示为
其中，H为任意正交旋转矩阵，H的第三列[h7 h8 h9]T为Zc，Zc,α表示绕轴旋转角度α。
由相机成像原理可知，特征点由三维转化为二维归一化平面的投影可表示为
其中，(ui,vi)为特征点的像素坐标，(Xi,Yi,Zi)为特征点在OaXaYaZa坐标系下的坐标，t＝[tx ty tz]T为OaXaYaZa坐标系与OcXcYcZc坐标系间的平移向量。n个特征点可以构造2n×6个方程组，采用奇异值分解的方法可以求解参数[cosα sinα tx ty tz 1]T，从而获得两坐标系之间的旋转矩阵R和平移矩阵t。
步骤七：标识点部分遮挡的预测处理
无人机在降落到无人艇的过程中，由于无人机和无人艇自身姿态的变化或海浪覆盖部分艇体，会出现标识点遮挡的情况。合作目标标识点的遮挡会造成无人机与无人艇间的位姿估计结果不准确，使得无人艇无法安全的降落到无人艇上。
针对步骤五中的阶段(3)，当无人机只能识别到部分第二层合作目标标识点且不满足椭圆拟合条件时，需要对被遮挡的标识点进行预测，用估计出的点和检测到的特征点进行椭圆拟合。同样，取椭圆的长、短轴顶点作为匹配点进行位姿估计。仿射变换可表示为
其中，(ttx,tty)表示平移量，ai,i＝1,2,…,4反映图像的旋转和缩放变化。(x,y)为模板坐标，(x′,y′)为(x,y)的估计值。
针对步骤五中的阶段(4)，当第二层合作目标和第三层合作目标都被部分检测到时，选取第三层合作目标作为无人机的合作目标，此时，需要剔除第二层合作目标的干扰。干扰处理情况可表示为m+8，m为检测到的第二层合作目标的个数，8为第三层合作目标的个数。干扰处理通过椭圆拟合统计重合的椭圆中心的方式进行。已知第三层合作目标的8个点分布在同一个圆上，每5个点可拟合成一个椭圆，所拟合成的椭圆中心近似重合，这个重合点即为降落区合作目标的中心点。以该重合点为中心，所拟合椭圆的长轴为半径画圆，该圆区域以外的点即为干扰点，可把第二层合作目标去除。
步骤五中的阶段(5)的合作目标遮挡处理方法与阶段(3)的合作目标遮挡处理方法相同，此处不再赘述。
步骤八：判断是否降落成功
当无人机与无人艇间的相对位置满足Δx＜Δxt1时，判断Δy和Δh是否分别小于Δyt1,Δht1。如果Δy和Δh都小于Δyt1,Δht1，表示降落成功，无人机电机停转，其中Δxt1,Δyt1,Δht1分别为表示降落成功的阈值；否则，执行步骤九，无人机加大油门，执行起飞指令。
步骤九：无人机在无人艇上自主起飞策略
当无人机精准降落到无人艇并执行能源补充等操作后，无人机可执行起飞指令，以执行其他任务流程。起飞过程与降落过程相反，为了保证无人机能够平稳快速起飞，加入无人机自主起飞策略。由于无人艇始终处于高频晃动状态，无人机在起飞过程中会有侧翻或与无人艇体发生碰撞的危险。因此，在无人机起飞过程中，无人机的视觉系统仍然处于工作状态，采集下视场景中的图像，根据仿猛禽注意力分配机制的测算结果，使得合作目标始终处于图像的正中央，避免由于无人机与无人艇的运动差异且无人机还未上升到离艇高度时与无人艇发生碰撞。
步骤十：判断是否起飞成功
判断无人机与无人艇间的相对位置是否满足Δh＞Δht2，若满足，表示起飞成功，其中，Δht2为起飞成功时无人机与无人艇间相对高度的阈值。若不满足，无人机视觉系统继续使能，保持无人艇的合作目标处于图像中央，并继续上升，直至满足起飞成功条件。
本发明提出了一种仿猛禽注意力分配的无人机/艇精准自主起降方法。该方法是通过对猛禽视顶盖-峡核的刺激竞争机制进行模拟，搭建仿猛禽注意力分配机制的合作目标提取，实现无人机/艇的精准自主起降。该发明的主要优势主要体现在以下2个方面：1)将猛禽视觉机制引入到合作目标提取过程中，提高了合作目标区域及标识点的检测效率及准确性；2)本发明提供了完整的无人机/艇精准自主起降的系统框架及其工作流程，系统框架以及流程合理、高效，能够满足无人机在无人艇上自主起降的任务要求；3)本发明提供了5种不同的视觉导航方法，解决了不同距离下合作目标及部分遮挡情况下的视觉导航问题，提高了视觉导航的稳定性和抗干扰能力。
附图说明
图1本发明方法流程框图
图2无人机/艇精准自主起降合作目标设计示意图
图3仿猛禽注意力分配框图
图4无人机/艇自主起降合作目标识别区域图
图5远距无人艇目标检测图
图6(a)、(b)第一层合作目标检测图
图7(a)、(b)第二层合作目标检测图
图8(a)、(b)第二三层合作目标检测图
图9(a)、(b)第三层合作目标检测图
图10(a)、(b)合作目标排除干扰结果图
图中标号及符号说明如下：
I——输入图像
Y——是(满足条件)
N——否(不满足条件)
△x——无人机/艇x方向的距离差
△y——无人机/艇y方向的距离差
△h——无人机/艇z方向的距离差
Δht1——降落成功高度阈值
Δht2——起飞成功高度阈值
ΔhH2——进入视觉导航范围的高度阈值
O——合作目标的中心
I区——第一层合作目标的红色圆形区域
II区——第二层合作目标区域
III区——第三层合作目标区域
RI——I区的半径
RII——II区的半径
RIII——III区的半径
A1～A8——第一层合作目标的8个蓝色标识点
B1～B8——第二层合作目标的8个蓝色标识点
α——A1点与正方向的夹角
β——B1点与正方向的夹角n1——布尔颜色特征图的个数
n2——布尔亮度特征图的个数
n3——布尔梯度特征图的个数
S——输出仿猛禽注意力分配图
H1——无人艇进入无人机视野区域
H2——第一层合作目标进入相机视野区域
H3——第二层合作目标进入相机视野区域
H4——部分第一层合作目标移出相机视野区域
H5——第三层合作目标进入相机视野区域
P1～P4——拟合椭圆长短轴与外接矩形的交点
具体实施方式
下面通过一个具体的无人机在复杂海面降落到无人艇并在无人艇上稳定起飞的实例来验证本发明所提出的方法的有效性。一种仿猛禽注意力分配的无人机/艇精准自主起降方法具体步骤如下：
步骤一：起降区域合作目标设计
无人机/艇精准自主起降合作目标设计如图2所示，将所述的自主起降合作目标固定在无人的艇甲板上并在该起降区域四周安装防护网，避免无人机在起降过程中与无人艇艇体发生碰撞或坠入海中。由于海面背景多以蓝色为主，选取与蓝色相别较大的颜色如红色填充整个自主起降合作目标，整个红色填充区域作为无人机自主起降的第一层合作目标。第一层合作目标区域即以O为圆心，半径为RI的圆，即I区。以O为圆心，以RII为半径划分II区，其中
以水平向右为正方向，以0°(即A1点)为起点，在I区与II区的交界处(即虚线圆上)均匀分布8个蓝色圆形标识点(即A1～A8，其中A1与A2之间的夹角为α＝45°)，这8个点作为无人机自主起降的第二层合作目标。。同理，以O为圆心，以RIII为半径划分III区，其中
以水平向右为正方向，以B1点为起点(与水平方向夹角为β＝22.5°，其中10°＜β＜35°)，II区和III区的交界处(即虚线圆上)也均匀分布8个蓝色圆形标识点(即B1～B8)，这8个点作为无人机自主起降的第三层合作目标。
步骤二：获取图像的布尔特征图
布尔图可以用来描述视觉场景中不同维度的特征，且能体现推向在不同维度上的变化信息。在无人机上安装下视相机，作为无人机视觉系统的输入设备，相机用于实时采集设置有自主起降合作目标的无人艇图像，根据图像的颜色阈值、亮度阈值及梯度阈值变化，分别获取图像的布尔颜色图集合Icolor、布尔亮度图集合Ivalue及布尔梯度图集合Igrad，如式(1)所示。其中，Ici,i＝1,2,…n1为不同颜色阈值下的颜色布尔特征图，颜色阈值为[0,255]上的均匀分布，图像可获得n1个布尔颜色特征图，实验中n1取值为15。Ivi,i＝1,2,…n2为不同亮度阈值下的亮度布尔特征图，亮度阈值为[0,255]上的均匀分布，图像可获得n2个布尔亮度特征图，实验中n2取值为15。Igi,i＝1,2,…n3为不同梯度阈值下的梯度布尔特征图，梯度阈值为[0,255]上的均匀分布，图像可获得n3个布尔梯度特征图，实验中n3取值为15。
步骤三：仿猛禽注意力分配机制建模
顶盖-峡核竞争网络是猛禽脑中重要的动态竞争网络，该动态竞争网络主要考虑视顶盖第10层神经元(L10)、峡核小细胞部(Ipc)和峡核大细胞部(Imc)。视顶盖第10层神经元L10将信号投射到峡核大细胞部Imc(正向刺激作用)和峡核小细胞部分Ipc(正向刺激作用)；峡核大细胞部Imc将一部分信号投射到峡核小细胞部Ipc(正向刺激作用)，另一部分信号反投射到视顶盖L10(反向抑制作用)；峡核小细胞部Ipc将信号反投射到视顶盖L10(反向抑制作用)。顶盖-峡核竞争网络中的神经元i和神经元j间的解剖学特征可用权重矩阵ωij的形式进行描述，投射的突触传导(L10→Ipc，L10→Imc，Ipc→L10)的权重采用高斯分布进行描述。L10→Ipc，L10→Imc，Ipc→L10的正向投射关系标准服从高斯分布，它们的权重可用式(2)分别描述。其中，i→j可分别代表L10→Ipc、L10→Imc和Ipc→L10。ΔL10→Ipc，ΔL10→Imc，ΔIpc→L10分别为高斯函数分布的宽度。
Imc→L10的反向投射权重表示为式(3)。其中，ΔImc→L10为高斯函数分布的宽度，D为高斯函数的下陷深度，下陷附近i＝j。当D＝1时，Imc神经元j到L10神经元i在同一位置没有反馈，即i＝j。Imc→L10的反向投射服从均匀分布，即权重矩阵ωij可用式(4)进行描述。
对于前向抑制强度的增加，全局Imc→Ipc投射并不能促进竞争互动作用，而只是调节Ipc神经元的活性水平。然而，随着周期性的反拓扑Imc→L10反馈投射强度的增加，刺激竞争开始出现。新位置的Imc神经元活动在L10目标神经元中产生足够的抑制电流，抑制电流和适应电流之和可以克服兴奋电流。L10目标神经元停止放电，Ipc神经元的竞争分数+1。刺激竞争分数定义为式(5)，其中，ri和rj分别为i，j神经元刺激中心周围的N＝13个神经元的平均峰值速率。
步骤四：基于仿猛禽注意力分配机制的无人艇合作目标识别
将步骤三中的注意力分配机制应用于步骤二中，当无人机距离无人艇较远时，无人机视觉系统可将更多的注意力分配给海面上的无人艇；当无人机到达降落区且无人艇在无人机的视觉系统中只能部分成像时，无人机视觉系统将更多的注意力分配给无人艇上的自主起降合作目标，具体框图如图3所示。
将步骤二中获得的n1个布尔颜色特征图、n2个布尔亮度特征图及n3个布尔梯度特征图根据步骤三中的仿猛禽注意力分配机制中的刺激竞争分数公式(5)进行竞争打分，按照得分情况对各特征维度的布尔特征图进行分别排序，得分前M＝3的布尔特征获胜并进行进一步处理。所述的进一步处理为：将获得的M个布尔颜色特征图、M个布尔亮度特征图和M个布尔梯度特征图采用格式塔原则进行特征融合，经线性化处理后得到最终的无人艇或合作目标注意力分配图。
步骤五：无人机自主降落到无人艇上的策略选择
当无人机到达降落区域且能够识别到整个合作目标的红色区域但识别不到蓝色标识点时，无人机通过识别第一层合作目标的引导靠近无人艇。随着无人机逐渐靠近无人艇，无人机通过识别第二层合作目标实现无人机与无人艇间的相对位姿估计。当第二层合作目标识别的数量不足以进行无人机与无人艇间位姿估计时，切换为第三层合作目标，继续引导无人机降落，如图4所示，无人机从发现无人艇到降落到无人艇上的整个过程可分为以下五个阶段：
(1)无人机捕捉到无人艇，但是无法识别合作目标，如H1区域。无人机视觉系统的视景中包含整个无人艇，由仿猛禽注意力分配机制框选出无人艇目标，如图5所示；
(2)无人机只能捕捉到第一层合作目标，但无法获得起降区域上的标识点，如H2区域。如图6(a)、(b)所示，为无人机视觉系统在不同角度获取的第一层合作目标的场景图，其中，灰色三角形为识别的红色圆形合作目标所拟合的椭圆的长轴和短轴与椭圆外接矩阵的交点。其中，图6(a)为无人机在无人艇侧方场景，图6(b)为无人机在无人艇正上方场景。
(3)无人机能够捕捉到第二层合作目标，但无法获得第三层合作目标，该阶段包含只能识别部分第二层合作目标标识点的情况，详见步骤六，如H3区域。如图7(a)、(b)所示，为无人机视觉系统在不同角度获取的第二层合作目标的场景图，其中，灰色三角形为识别的标识点所拟合的椭圆的长轴和短轴与椭圆外接矩阵的交点。其中，图7(a)为无人机在无人艇侧方场景，图7(b)为无人机在无人艇正上方场景。
(4)无人机同时捕捉到第二层合作目标和第三层合作目标，该部分包括只识别到部分合作目标的情况，详见步骤六，如H4区域。如图8(a)、(b)所示，为无人机视觉系统在不同角度获取的第二层合作目标和第三层合作目标的场景图，其中，灰色三角形为识别的标识点所拟合的椭圆的长轴和短轴与椭圆外接矩阵的交点。其中，图8(a)为无人机在无人艇侧方场景，图8(b)为无人机在无人艇正上方场景。
(5)无人机只能捕捉到第三层合作目标，该阶段包含只能识别部分第三层合作目标标识点的情况，详见步骤六，如H5区域。如图9(a)、(b)所示，为无人机视觉系统在不同角度获取的第三层合作目标的场景图，其中，灰色三角形为识别的标识点所拟合的椭圆的长轴和短轴与椭圆外接矩阵的交点。其中，图9(a)为无人机在无人艇侧方场景，图9(b)为无人机在无人艇正上方场景。
步骤六：无人机/艇起降时的相对位姿估计
针对步骤五中的阶段(1)，采用GPS导航方式引导无人机靠近无人艇，使其到达可识别无人艇合作目标的区域，同时，融合仿猛禽注意力分配机制使得无人艇始终处于机载相机的视野中央。针对步骤五中的阶段(2)，对注意力分配到的第一层合作目标的红色区域进行椭圆拟合，取椭圆的长、短轴顶点作为匹配点，进行位姿估计。针对步骤五中的阶段(3)，在仿猛禽注意力分配得到的第一层合作目标(即红色区域)内，通过颜色信息检测蓝色标识点，这样不仅可以避免同为蓝色信息海浪的干扰，又可减少计算量。将所检测到的蓝色标识点进行椭圆拟合，取椭圆的长、短轴顶点作为匹配点进行位姿估计。针对步骤五中的阶段(4)，第二层和第三层合作目标同时被检测到时，利用凸包变换方法筛选出最外圈的第二层合作目标。凸包变换的具体方法为：(1)将识别到的标识点构成数据集S＝{Am,Bn}，m为识别到的第二层标识点的个数，n为识别到的第三层标识点的个数，m+n为识别到的所有标识点的总数；(2)查找数据集S中最左下角的标识点，即x坐标和y坐标都具备最小值，标记改点为S1；(3)过S1点做一条水平线，计算S1与其余点的连线距离和夹角，按夹角由大到小进行排序，若夹角相同则按距离由小到大排序，分别标记为S2,…,Sm+n；(4)将S1,…,Sm+n连接成多边形，循环剔除非凸点，余下的点即为凸包变换所选出的标识点。将筛选出的标识点进行椭圆拟合，取椭圆的长、短轴顶点作为匹配点进行位姿估计。随着无人机距离无人艇的垂直距离不断减少，能够采集到的标识点的数量越来越少，步骤五中的阶段(5)的使用方法与阶段(3)相同。
在无遮挡等其他特殊情况下，上述五个阶段均可获得n＝4个匹配特征点，采用RPnP(A Robust Solution to the Perspective-n-Point Problem)算法进行无人机/艇间的精确位姿测量，得到相机坐标系下的无人艇合作目标的位置，分别经过相机坐标系、机体坐标系、地面惯性系的坐标转换，获得无人机与无人艇在地面坐标系下的相对位置关系Δx,Δy,Δh。RPnP算法的具体方法为：在合作目标坐标系下，选取两点距离最长的连线为旋转轴Za轴，连线的中点为原点，建立坐标系OaXaYaZa。用所述合作目标坐标系中所选取的两点在相机坐标系下的对应的坐标连线设为Zc轴，确定相机坐标系OcXcYcZc。OaXaYaZa与OcXcYcZc两坐标系间的旋转矩阵R可以表示为式(6)。其中，H为任意正交旋转矩阵，H的第三列[h7 h8h9]T为Zc，Zc,α表示绕轴旋转角度α。
由相机成像原理可知，特征点由三维转化为二维归一化平面的投影可表示为式(7)。其中，(ui,vi)为特征点的像素坐标，(Xi,Yi,Zi)为特征点在OaXaYaZa坐标系下的坐标，t＝[tx ty tz]T为OaXaYaZa坐标系与OcXcYcZc坐标系间的平移向量。n＝4个特征点可以构造2n×6个方程组，采用奇异值分解的方法可以求解参数[cosα sinα tx ty tz 1]T，从而获得两坐标系之间的旋转矩阵R和平移矩阵t。
步骤七：标识点部分遮挡的预测处理
无人机在降落到无人艇的过程中，由于无人机和无人艇自身姿态的变化或海浪覆盖部分艇体，会出现标识点遮挡的情况。合作目标标识点的遮挡会造成无人机与无人艇间的位姿估计结果不准确，使得无人艇无法安全的降落到无人艇上。
针对步骤五中的阶段(3)，当无人机只能识别到部分第二层合作目标标识点且不满足椭圆拟合条件时，需要对被遮挡的标识点进行预测，用估计出的点和检测到的特征点进行椭圆拟合。同样，取椭圆的长、短轴顶点作为匹配点进行位姿估计。仿射变换可用式(8)表示。其中，(ttx,tty)表示平移量，ai,i＝1,2,…,4反映图像的旋转和缩放变化。(x,y)为模板坐标，(x′,y′)为(x,y)的估计值。
针对步骤五中的阶段(4)，当第二层合作目标和第三层合作目标都被部分检测到时，选取第三层合作目标作为无人机的合作目标，此时，需要剔除第二层合作目标的干扰。干扰处理情况可表示为m+8，m为检测到的第二层合作目标的个数，8为第三层合作目标的个数。干扰处理通过椭圆拟合统计重合的椭圆中心的方式进行。已知第三层合作目标的8个点分布在同一个圆上，每5个点可拟合成一个椭圆，所拟合成的椭圆中心近似重合，这个重合点即为降落区合作目标的中心点。以该重合点为中心，所拟合椭圆的长轴为半径画圆，该圆区域以外的点即为干扰点，可把第二层合作目标去除，如图10(a)、(b)所示，为无人机视觉系统在不同角度获取的全部第三层合作目标和部分第二层合作目标的场景图，其中，灰色三角形为识别的标识点所拟合的椭圆的长轴和短轴与椭圆外接矩阵的交点。其中，图10(a)为无人机在无人艇侧方场景，图10(b)为无人机在无人艇正上方场景。
步骤五中的阶段(5)的合作目标遮挡处理方法与阶段(3)的合作目标遮挡处理方法相同，此处不再赘述。
步骤八：判断是否降落成功
当无人机与无人艇间的相对位置满足Δx＜Δxt1时，判断Δy和Δh是否分别小于Δyt1,Δht1。如果Δy和Δh都小于Δyt1,Δht1，表示降落成功，无人机电机停转，其中Δxt1,Δyt1,Δht1分别为表示降落成功的阈值；否则，执行步骤九，无人机加大油门，执行起飞指令。
步骤九：无人机在无人艇上自主起飞策略
当无人机精准降落到无人艇并执行能源补充等操作后，无人机可执行起飞指令，以执行其他任务流程。起飞过程与降落过程相反，由于无人机与无人艇之间存在明显的运动差异，并保证无人机能够平稳快速起飞，加入无人机自主起飞策略。由于无人艇始终处于高频晃动状态，无人机在起飞过程中会有侧翻或与无人艇体发生碰撞的危险。因此，在无人机起飞过程中，无人机的视觉系统仍然处于工作状态，机载相机连续采集下视场景中的图像，采用步骤三基于仿猛禽注意力分配机制的图像处理方法及步骤六的位姿估计方法估计机载相机与无人艇合作目标之间的相对位置关系。将机载相机与无人艇合作目标间的相对位置关系转换到无人机坐标系，通过无人机的飞控系统调整无人机的位置及姿态，使得合作目标始终处于机载相机视野中，以便无人机进行上升过程中的位姿估计，进而避免在无人机还未上升到安全离艇高度时与无人艇发生碰撞。
步骤十：判断是否起飞成功
判断无人机与无人艇间的相对位置是否满足Δh＞Δht2，若满足，表示起飞成功，其中，Δht2为起飞成功时无人机与无人艇间相对高度的阈值。若不满足，无人机视觉系统继续使能，保持无人艇的合作目标处于图像中央，并继续上升脱离H5区域，直至满足起飞成功条件。
Claims (6)
1.一种仿猛禽注意力分配的无人机/艇精准自主起降方法，其特征在于：该方法包括如下步骤：
步骤一：自主起降区域合作目标设计
自主起降区域合作目标固定在无人艇的甲板上，并在该自主起降区域合作目标上划分出第一层、第二层及第三层合作目标；
步骤二：获取图像的布尔特征图
在无人机上安装下视相机，作为无人机视觉系统的输入设备，用于实时采集设置有自主起降合作目标的无人艇的图像，根据图像的颜色阈值、亮度阈值及梯度阈值变化，分别获取图像的布尔颜色图集合Icolor、布尔亮度图集合Ivalue及布尔梯度图集合Igrad；进一步获得图像的布尔颜色特征图、布尔亮度特征图、布尔梯度特征图；
步骤三：仿猛禽注意力分配机制建模
顶盖-峡核竞争网络是猛禽脑中重要的动态竞争网络，顶盖-峡核竞争网络中的神经元i和神经元j间的解剖学特征可用权重矩阵ωij的形式进行描述；
步骤四：基于仿猛禽注意力分配机制的无人艇合作目标识别
将步骤三中的注意力分配机制应用于步骤二中，当无人机距离无人艇较远时，无人机视觉系统可将更多的注意力分配给海面上的无人艇；当无人机到达降落区且无人艇在无人机的视觉系统中只能部分成像时，无人机视觉系统将更多的注意力分配给无人艇上的自主起降合作目标；
步骤五：无人机自主降落到无人艇上的策略选择
当无人机到达降落区域且能够识别到整个合作目标的红色区域但识别不到蓝色标识点时，无人机通过识别第一层合作目标的引导靠近无人艇；随着无人机逐渐靠近无人艇，无人机通过识别第二层合作目标实现无人机与无人艇间的相对位姿估计；当第二层合作目标识别的数量不足以进行无人机与无人艇间的位姿估计时，切换为第三层合作目标，继续引导无人机降落；即无人机从发现无人艇到降落到无人艇上的整个过程可分五个阶段；
步骤六：无人机/艇起降时的相对位姿估计
在无遮挡等其他特殊情况下，上述五个阶段均可获得n个匹配特征点，采用RPnP算法进行无人机/艇间的精确位姿测量，得到相机坐标系下的无人艇合作目标的位置，分别经过相机坐标系、机体坐标系、地面惯性系的坐标转换，获得无人机与无人艇在地面坐标系下的相对位置关系；
结束：判断是否降落成功
当无人机与无人艇间的相对位置满足Δx＜Δxt1时，判断Δy和Δh是否分别小于Δyt1,Δht1；如果Δy和Δh都小于Δyt1,Δht1，表示降落成功，无人机电机停转，其中Δxt1,Δyt1,Δht1分别为表示降落成功的阈值；
步骤三中所述神经元i和神经元j间的解剖学特征可用权重矩阵ωij的形式进行描述，L10→Ipc、L10→Imc、Ipc→L10投射突触传导的权重采用高斯分布进行描述；L10→Ipc，L10→Imc，Ipc→L10的正向投射关系标准服从高斯分布，它们的权重可描述为
其中，i→j可分别代表L10→Ipc、L10→Imc和Ipc→L10；ΔL10→Ipc，ΔL10→Imc，ΔIpc→L10分别为高斯函数分布的宽度；
Imc→L10的反向投射权重表示为
其中，ΔImc→L10为高斯函数分布的宽度，D为高斯函数的下陷深度，下陷附近i＝j；当D＝1时，Imc神经元j到L10神经元i在同一位置没有反馈，即i＝j；
Imc→L10的反向投射服从均匀分布，即
ωij＝1 (4)
对于前向抑制强度的增加，全局Imc→Ipc投射并不能促进竞争互动作用，而只是调节Ipc神经元的活性水平；然而，随着周期性的反拓扑Imc→L10反馈投射强度的增加，刺激竞争开始出现；新位置的Imc神经元活动在L10目标神经元中产生足够的抑制电流，抑制电流和适应电流之和可以克服兴奋电流；L10目标神经元停止放电，Ipc神经元的刺激竞争分数+1；
将步骤二中获得的布尔颜色特征图、布尔亮度特征图及布尔梯度特征图根据步骤三中的仿猛禽注意力分配机制中的刺激竞争分数公式进行竞争打分，按照得分情况对各特征维度的布尔特征图进行分别排序，得分前M的布尔特征获胜并进行进一步处理；
所述的进一步处理是：将获得的M个布尔颜色特征图、M个布尔亮度特征图和M个布尔梯度特征图采用格式塔原则进行特征融合，经线性化处理后得到最终的无人艇或合作目标注意力分配图；
步骤五所述的五个阶段，具体如下：
(1)无人机捕捉到无人艇，但是无法识别合作目标；
(2)无人机只能捕捉到第一层合作目标，但无法获得起降区域上的标识点；
(3)无人机能够捕捉到第二层合作目标，但无法获得第三层合作目标，该阶段包含只能识别部分第二层合作目标标识点的情况；
(4)无人机同时捕捉到第二层合作目标和第三层合作目标，该部分包括只识别到部分合作目标标识点的情况；
(5)无人机只能捕捉到第三层合作目标，该阶段包含只能识别部分第三层合作目标标识点的情况。
2.根据权利要求1所述的一种仿猛禽注意力分配的无人机/艇精准自主起降方法，其特征在于：所述的刺激竞争分数定义为
其中，ri和rj分别为i，j神经元刺激中心周围的N个神经元的平均峰值速率。
3.根据权利要求1所述的一种仿猛禽注意力分配的无人机/艇精准自主起降方法，其特征在于：在所述步骤六之后，结束步骤之前，该方法进一步包括有：标识点部分遮挡的预测处理，具体如下：
无人机在降落到无人艇的过程中会出现标识点遮挡的情况，标识点的遮挡会造成无人机与无人艇间的位姿估计结果不准确，使得无人艇无法安全的降落到无人艇上；
针对步骤五中五个阶段之一：当无人机只能识别到部分第二层合作目标标识点且不满足椭圆拟合条件时，需要对被遮挡的标识点进行预测，用估计出的点和检测到的特征点进行椭圆拟合；
针对步骤五中五个阶段之一：当第二层合作目标和第三层合作目标都被部分检测到时，选取第三层合作目标作为无人机的合作目标，此时，需要剔除第二层合作目标的干扰；干扰处理情况可表示为m+8，m为检测到的第二层合作目标的个数，8为第三层合作目标的个数；干扰处理通过椭圆拟合统计重合的椭圆中心的方式进行。
4.根据权利要求1所述的一种仿猛禽注意力分配的无人机/艇精准自主起降方法，其特征在于：在所述的结束步骤中，判断Δy和Δh是否分别小于Δyt1,Δht1；若否，无人机加大油门，执行起飞指令。
5.根据权利要求1所述的一种仿猛禽注意力分配的无人机/艇精准自主起降方法，其特征在于：该方法进一步包括有：无人机在无人艇上自主起飞策略，具体过程如下：
当无人机精准降落到无人艇并执行能源补充操作后，或根据结束步骤判断结果，无人机执行起飞指令，以执行其他任务流程；起飞过程与降落过程相反，同时为保证无人机能够平稳快速起飞，加入无人机自主起飞策略；即在无人机起飞过程中，无人机的视觉系统仍然处于工作状态，采集下视场景中的图像，根据仿猛禽注意力分配机制的测算结果，使得合作目标始终处于图像的正中央，避免由于无人机与无人艇的运动差异且无人机还未上升到离艇高度时与无人艇发生碰撞。
6.根据权利要求5所述的一种仿猛禽注意力分配的无人机/艇精准自主起降方法，其特征在于：该方法进一步包括有如下步骤：判断是否起飞成功,
判断无人机与无人艇间的相对位置是否满足Δh＞Δht2，若满足，表示起飞成功，其中，Δht2为起飞成功时无人机与无人艇间相对高度的阈值；若不满足，无人机视觉系统继续使能，保持无人艇的合作目标处于图像中央，并继续上升，直至满足起飞成功条件。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110244856.3A CN112987765B (zh) | 2021-03-05 | 2021-03-05 | 一种仿猛禽注意力分配的无人机/艇精准自主起降方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110244856.3A CN112987765B (zh) | 2021-03-05 | 2021-03-05 | 一种仿猛禽注意力分配的无人机/艇精准自主起降方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112987765A CN112987765A (zh) | 2021-06-18 |
| CN112987765B true CN112987765B (zh) | 2022-03-15 |
Family
ID=76352978
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110244856.3A Active CN112987765B (zh) | 2021-03-05 | 2021-03-05 | 一种仿猛禽注意力分配的无人机/艇精准自主起降方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112987765B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114993262B (zh) * | 2022-04-20 | 2023-04-18 | 北京航空航天大学 | 一种仿猛禽感受野区域重构的海面无人艇目标识别方法 |
| CN116466733B (zh) * | 2023-04-25 | 2023-10-31 | 广州天勤数字科技有限公司 | 一种用于无人机起降的智能避障系统及方法 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103770733A (zh) * | 2014-01-15 | 2014-05-07 | 中国人民解放军国防科学技术大学 | 一种驾驶员安全驾驶状态检测方法及装置 |
| CN104765272A (zh) * | 2014-03-05 | 2015-07-08 | 北京航空航天大学 | 一种基于pid神经元网络控制(pidnn)的四旋翼飞行器控制方法 |
| WO2016148784A1 (en) * | 2015-03-16 | 2016-09-22 | XCraft Enterprises, LLC | Unmanned aerial vehicle with detachable computing device |
| CN106218867A (zh) * | 2016-08-22 | 2016-12-14 | 中国石油大学(华东) | 柔性仿生着陆系统及其应用 |
| CN108133639A (zh) * | 2017-12-21 | 2018-06-08 | 信阳泰蓝仿真科技有限公司 | 一种航空心理模拟系统及测试方法 |
| CN108594848A (zh) * | 2018-03-29 | 2018-09-28 | 上海交通大学 | 一种基于视觉信息融合的无人机分阶段自主着艇方法 |
| CN110658852A (zh) * | 2019-09-16 | 2020-01-07 | 苏州米龙信息科技有限公司 | 用于无人机的智能目标搜寻方法及系统 |
| CN110910421A (zh) * | 2019-11-11 | 2020-03-24 | 西北工业大学 | 基于分块表征和可变邻域聚类的弱小运动目标检测方法 |
| CN111137292A (zh) * | 2018-11-01 | 2020-05-12 | 通用汽车环球科技运作有限责任公司 | 用于控制自主车辆的分层车道变换策略的基于空间和时间注意力的深度强化学习 |
| CN111553339A (zh) * | 2019-02-11 | 2020-08-18 | 北京京东尚科信息技术有限公司 | 图像单元确定方法、小目标检测方法及计算机设备 |
| CN111596687A (zh) * | 2020-05-26 | 2020-08-28 | 北京航空航天大学 | 一种垂直起降无人机移动平台降落引导装置及其引导方法 |
| CN112215337A (zh) * | 2020-09-30 | 2021-01-12 | 江苏大学 | 一种基于环境注意力神经网络模型的车辆轨迹预测方法 |
| CN112215074A (zh) * | 2020-09-10 | 2021-01-12 | 鲁东大学 | 基于无人机视觉的实时目标识别与检测追踪系统及方法 |
| WO2021040910A1 (en) * | 2019-08-30 | 2021-03-04 | Waymo Llc | Occupancy prediction neural networks |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9474265B2 (en) * | 2012-11-27 | 2016-10-25 | Elwha Llc | Methods and systems for directing birds away from equipment |
| US10181100B1 (en) * | 2013-03-13 | 2019-01-15 | Hrl Laboratories, Llc | Hierarchical clustering method and apparatus for a cognitive recognition system based on a combination of temporal and prefrontal cortex models |
| US11948074B2 (en) * | 2018-05-14 | 2024-04-02 | Samsung Electronics Co., Ltd. | Method and apparatus with neural network parameter quantization |
| CN109344840B (zh) * | 2018-08-07 | 2022-04-01 | 深圳市商汤科技有限公司 | 图像处理方法和装置、电子设备、存储介质、程序产品 |
| CN110825121B (zh) * | 2018-08-08 | 2023-02-17 | 纬创资通股份有限公司 | 控制装置与无人机控制方法 |
| KR20200043005A (ko) * | 2018-10-17 | 2020-04-27 | 삼성전자주식회사 | 이미지 인식 모델을 트레이닝시키는 장치 및 방법과 이미지 인식 장치 및 방법 |
| CN110322010B (zh) * | 2019-07-02 | 2021-06-25 | 深圳忆海原识科技有限公司 | 用于类脑智能与认知计算的脉冲神经网络运算系统及方法 |
| CN110992298A (zh) * | 2019-12-02 | 2020-04-10 | 深圳市唯特视科技有限公司 | 一种基于遗传算法的辐射源目标识别与情报分析方法 |
| CN111399541B (zh) * | 2020-03-30 | 2022-07-15 | 西北工业大学 | 无监督学习型神经网络的无人机全区域侦察路径规划方法 |
| CN112287896A (zh) * | 2020-11-26 | 2021-01-29 | 山东捷讯通信技术有限公司 | 一种基于深度学习的无人机航拍图像目标检测方法及系统 |
-
2021
- 2021-03-05 CN CN202110244856.3A patent/CN112987765B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103770733A (zh) * | 2014-01-15 | 2014-05-07 | 中国人民解放军国防科学技术大学 | 一种驾驶员安全驾驶状态检测方法及装置 |
| CN104765272A (zh) * | 2014-03-05 | 2015-07-08 | 北京航空航天大学 | 一种基于pid神经元网络控制(pidnn)的四旋翼飞行器控制方法 |
| WO2016148784A1 (en) * | 2015-03-16 | 2016-09-22 | XCraft Enterprises, LLC | Unmanned aerial vehicle with detachable computing device |
| CN106218867A (zh) * | 2016-08-22 | 2016-12-14 | 中国石油大学(华东) | 柔性仿生着陆系统及其应用 |
| CN108133639A (zh) * | 2017-12-21 | 2018-06-08 | 信阳泰蓝仿真科技有限公司 | 一种航空心理模拟系统及测试方法 |
| CN108594848A (zh) * | 2018-03-29 | 2018-09-28 | 上海交通大学 | 一种基于视觉信息融合的无人机分阶段自主着艇方法 |
| CN111137292A (zh) * | 2018-11-01 | 2020-05-12 | 通用汽车环球科技运作有限责任公司 | 用于控制自主车辆的分层车道变换策略的基于空间和时间注意力的深度强化学习 |
| CN111553339A (zh) * | 2019-02-11 | 2020-08-18 | 北京京东尚科信息技术有限公司 | 图像单元确定方法、小目标检测方法及计算机设备 |
| WO2021040910A1 (en) * | 2019-08-30 | 2021-03-04 | Waymo Llc | Occupancy prediction neural networks |
| CN110658852A (zh) * | 2019-09-16 | 2020-01-07 | 苏州米龙信息科技有限公司 | 用于无人机的智能目标搜寻方法及系统 |
| CN110910421A (zh) * | 2019-11-11 | 2020-03-24 | 西北工业大学 | 基于分块表征和可变邻域聚类的弱小运动目标检测方法 |
| CN111596687A (zh) * | 2020-05-26 | 2020-08-28 | 北京航空航天大学 | 一种垂直起降无人机移动平台降落引导装置及其引导方法 |
| CN112215074A (zh) * | 2020-09-10 | 2021-01-12 | 鲁东大学 | 基于无人机视觉的实时目标识别与检测追踪系统及方法 |
| CN112215337A (zh) * | 2020-09-30 | 2021-01-12 | 江苏大学 | 一种基于环境注意力神经网络模型的车辆轨迹预测方法 |
Non-Patent Citations (7)
| Title |
|---|
| Biological Eagle-Eye-Based Visual Platform for Target Detection;YIMIN DENG等;《IEEE TRANSACTIONS ON AEROSPACE AND ELECTRONIC SYSTEMS》;20181231;全文 * |
| Hierarchical Visual Attention Model for Saliency detection inspired by avian visual pathways;Xiaohua Wang等;《IEEE/CAA JOURNAL OF AUTOMATICA SINICA》;20190331;全文 * |
| Pattern recognition on aerospace images using deep neural networks;Saetchnikov, I等;《2020 IEEE 7TH INTERNATIONAL WORKSHOP ON METROLOGY FOR AEROSPACE》;20201231;全文 * |
| 仿猛禽视顶盖信息中转整合的加油目标跟踪;李晗等;《智能系统学报》;20191130;全文 * |
| 基于仿生视觉注意机制的无人机目标检测;王晓华等;《航空科学技术》;20151231;全文 * |
| 基于深度学习的无人机目标识别方法研究;魏文怡;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》;20200215;全文 * |
| 着陆区域视觉检测及无人机自主着陆导引研究;魏祥灰;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》;20200215;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112987765A (zh) | 2021-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111461023B (zh) | 基于三维激光雷达的四足机器人自主跟随领航员的方法 | |
| CN110782481B (zh) | 无人艇智能决策方法及系统 | |
| Lee et al. | Deep learning-based monocular obstacle avoidance for unmanned aerial vehicle navigation in tree plantations: Faster region-based convolutional neural network approach | |
| CN110866887A (zh) | 一种基于多传感器的目标态势融合感知方法和系统 | |
| CN109885086B (zh) | 一种基于复合多边形标志引导的无人机垂直降落方法 | |
| CN108153334B (zh) | 无合作目标式无人直升机视觉自主返航与着降方法及系统 | |
| CN110222612B (zh) | 用于无人机自主降落的动态标靶识别与跟踪方法 | |
| CN112987765B (zh) | 一种仿猛禽注意力分配的无人机/艇精准自主起降方法 | |
| CN115661204B (zh) | 一种无人机集群对运动目标的协同搜寻与跟踪定位方法 | |
| CN205453893U (zh) | 无人机 | |
| Polvara et al. | Autonomous vehicular landings on the deck of an unmanned surface vehicle using deep reinforcement learning | |
| CN105786016A (zh) | 无人机以及rgbd图像的处理方法 | |
| CN113406975B (zh) | 一种仿生智能多无人机集群自主编队导航控制方法及装置 | |
| CN113342008A (zh) | 一种海空协同水下目标追踪的路径规划系统及方法 | |
| CN111831010A (zh) | 一种基于数字空间切片的无人机避障飞行方法 | |
| Zhang et al. | A bionic dynamic path planning algorithm of the micro UAV based on the fusion of deep neural network optimization/filtering and hawk-eye vision | |
| CN114689030A (zh) | 一种基于机载视觉的无人机辅助定位方法及系统 | |
| Lee | Machine learning vision and nonlinear control approach for autonomous ship landing of vertical flight aircraft | |
| CN105930766A (zh) | 无人机 | |
| CN105760813A (zh) | 一种基于植物枝根演化行为的无人机目标检测方法 | |
| Ho et al. | Optical flow for self-supervised learning of obstacle appearance | |
| CN116185049A (zh) | 基于视觉引导的无人直升机自主着舰方法 | |
| Duecker et al. | Towards an Open-Source Micro Robot Oceanarium: A Low-Cost, Modular, and Mobile Underwater Motion-Capture System | |
| CN115755575A (zh) | 一种基于ros的双云台无人机自主降落方法 | |
| CN114758119A (zh) | 一种基于仿鹰眼视觉与似物性的海面回收目标检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |