CN112486197B - 基于多源图像自适应选权的融合定位跟踪控制方法 - Google Patents

基于多源图像自适应选权的融合定位跟踪控制方法 Download PDF

Info

Publication number
CN112486197B
CN112486197B CN202011408736.4A CN202011408736A CN112486197B CN 112486197 B CN112486197 B CN 112486197B CN 202011408736 A CN202011408736 A CN 202011408736A CN 112486197 B CN112486197 B CN 112486197B
Authority
CN
China
Prior art keywords
image
feature
frame
matrix
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011408736.4A
Other languages
English (en)
Other versions
CN112486197A (zh
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Civil Aviation Cares Co ltd
Original Assignee
Qingdao Civil Aviation Cares Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Civil Aviation Cares Co ltd filed Critical Qingdao Civil Aviation Cares Co ltd
Priority to CN202011408736.4A priority Critical patent/CN112486197B/zh
Publication of CN112486197A publication Critical patent/CN112486197A/zh
Application granted granted Critical
Publication of CN112486197B publication Critical patent/CN112486197B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
    • G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft

Abstract

本发明属于人工智能导航定位技术领域，具体涉及一种基于多源图像自适应选权的融合定位跟踪控制方法。本发明包括根据无人系统动力学模型，线性变换状态量，根据位姿信息非线性项构造状态观测器；检测GPS或北斗系统视频的每帧图像中的目标，选择一帧图像为检测输入，为该图像的无人系统输出一组边界框，计算出图像中目标的中心位置；根据GPS或北斗系统定位确定的初始位置，确定因子图的表达式和初始节点等步骤。本发明利用状态变量线性转换与动力学模型结合的形式构造状态观测器；利用跟踪误差的非线性转换映射，设计了区域跟踪控制律，使跟踪误差不收敛于零，使得控制信号更平缓，更有利于无人系统的实际情况的行驶。

Description

基于多源图像自适应选权的融合定位跟踪控制方法
技术领域
本发明属于人工智能导航定位技术领域，具体涉及一种基于多源图像自适应选权的融合定位跟踪控制方法。
背景技术
随着人工智能技术的发展，无人机、无人车研究和发展日新月异。其中对于无人控制系统，解决定位问题是实现整体功能的基本保障。而定位精度与无人控制系统的行驶安全和工作效率息息相关，单纯的依靠传感器完成定位功能已经满足不了对定位精度的要求。此外多系统融合自动跟踪能有效地避免人为因素引起的监视误差，为分析和判断机体行驶行为提供依据，从而有效地避免无人机、无人车的交通事故。而无人系统环境的特殊性问题，例如雾，雨，光照变化频繁，定位跟踪目标的相似、视域大等，加大跟踪定位的难度。
根据检索的现有技术分析，包括多目标在雷达间数据传递、数据融合及连续跟踪定位方法、多目标跟踪识别方法等，目前的做法是对多种类传感器的定位数据进行融合分析，利用传感器功能和精度互补的特点，提高定位结果的精度，还能提高定位系统对各种环境的适应性，增强系统鲁棒性。同时在图像定位跟踪方面，利用可见光和红外图像的优势互补，在不降低目标辨识度的前提下提高环境适应能力。当前对于一般场景的多目标跟踪的研究较多，近年来，随着深度学习等先进技术发展，在多目标跟踪定位方面有很大的改进空间。而卫星导航系统也有典型的缺陷，定位过程中无人系统对卫星的数量和信号强度都有要求。在峡谷、隧道、立交桥等半封闭背景下信号衰减严重，使定位跟踪精度受极大影响。因此，在导航定位领域中传统的多源融合方法以卡尔曼滤波系列算法为主，而其线性化误差仍然具有改进的空间。
发明内容
本发明的目的在于提供一种定位精度更高的基于多源图像自适应选权的融合定位跟踪控制方法。
本发明的目的是这样实现的：
基于多源图像自适应选权的融合定位跟踪控制方法，包括如下步骤：
(1)根据无人系统动力学模型，线性变换状态量，根据位姿信息非线性项构造状态观测器；
(2)检测GPS或北斗系统视频的每帧图像中的目标，选择一帧图像为检测输入，为该图像的无人系统输出一组边界框，计算出图像中目标的中心位置；根据GPS或北斗系统定位确定的初始位置，确定因子图的表达式和初始节点；
(3)将待定位的红外、可见光图像和因子图对进行预处理；
(4)将预处理后的图像和中心位置输入特征提取网络，提取图像中无人系统的特征向量，对图像中的无人系统外形特征建模；
(5)将无人系统的外形特征输入相似度估计模块中，求取前后图像的关联矩阵，即当前帧图像的无人系统与先前帧图像的无人系统的相似度矩阵；
(6)当获得量测请求时，结合因子图和相似度矩阵与位置变量节点进行权重计算完成自适应选权，根据权重进行数据融合完成定位；
(7)通过关联目标，增添新目标，更新目标跟踪轨迹，实现多源稳定跟踪；
(8)根据状态观测器，对无人系统的位姿误差进行非线性转换映射，推导区域跟踪控制律进行无人系统的控制。
所述的步骤(1)包括：
(1.1)检测无人系统的6维位姿向量η，确定质量矩Mη(η)；
(1.2)提取无人系统坐标系与大地坐标系之间速度转换矩阵J；
(1.3)提取无人系统推进器分布矩阵B，探测未知动力项
Figure BDA00028192185900000210
以及目前无人系统的跟踪控制律u；
(1.4)构建无人系统的动力学模型：
Figure BDA0002819218590000021
(1.5)设置
Figure BDA0002819218590000022
对无人驾驶系统的状态向量进行线性变换：
Figure BDA0002819218590000023
I6×6为6阶单位阵，T1是6阶正定对角阵，06×6为6阶零矩阵，x＝[x1 T，x2 T]T
Figure BDA0002819218590000024
Figure BDA0002819218590000025
(1.6)构建状态观测器：
Figure BDA0002819218590000026
Figure BDA0002819218590000027
Figure BDA0002819218590000028
Figure BDA0002819218590000029
Figure BDA0002819218590000031
Figure BDA0002819218590000032
其中，L1、L2为对角阵，
Figure BDA0002819218590000033
代表
Figure BDA0002819218590000034
的估计值：
Figure BDA0002819218590000035
δ、ki、p1、p2、a1、a2为大于零的常数；i＝1，2，3，4，5，6；
α∈(0，1)，γ1＞1，γ2∈(0，1)；P1、P2是正定对角阵，
Figure BDA00028192185900000312
col代表将所有元素整合成一个列向量；
N1i(ζ1i)和N2i(ζ2i)是Nussbaum函数；ζ1i和ζ2i分别代表ζ1i和ζ2i第i个元素；
(1.7)结合动力学模型和状态观测器得到状态估计误差的动态方程
Figure BDA0002819218590000036
Figure BDA0002819218590000037
Figure BDA0002819218590000038
所述的步骤(2)包括：
(2.1)添加图像特征提取流，将图像对并行输入特征提取流以提取特征图；
(2.2)在特征提取流的9个固定位置层抽取9对卷积层输出的红外和可见光特征图对；
(2.3)将抽取的9对特征图对输入特征图融合层，将融合后的特征图输入特征向量提取网络，获取每帧图像的特征矩阵；
(2.4)调取无人驾驶系统整体函数：
Figure BDA0002819218590000039
其中，u1，u2，…，un代表无人驾驶系统中的各位置变量节点；fj(uj)表示各变量节点相关的子函数；
(2.5)构建无人驾驶系统整体函数的因子图：
G＝(F，U，ε)
U为变量节点集合，F为因子节点fj(uj)的集合，ε为连接因子节点和变量节点的边的集合；
(2.6)调取截止到tk时刻的所有位置变量节点Xk和所有误差变量节点Ck
Figure BDA00028192185900000310
Figure BDA00028192185900000311
xi为ti时刻的位置变量，ci为ti时刻的误差变量；
(2.7)计算系统的最大后验概率
Figure BDA0002819218590000041
Uk＝{Xk，Ck}
p(Uk|Zk)为概率密度函数，Zk表示到tk时刻的所有量测信息；
Figure BDA0002819218590000042
Figure BDA0002819218590000043
为ti时刻的变量节点；
Figure BDA0002819218590000044
Figure BDA0002819218590000045
为误差方程；
Figure BDA0002819218590000046
为误差方程的平方马氏距离；∑为量测噪声协方差矩阵
因子图表达为：
Figure BDA0002819218590000047
hi(·)代表传感器相对于无人驾驶系统状态量的量测模型，zi表示实际量测值。
所述步骤(3)包括：
(3.1)对红外图像的单通道图像，增加通道数成为三通道图像，将红外图像复制两次，与原红外图像在通道维度上进行拼接，将红外图像和可见光图像并行输入图像预处理层；
(3.2)进行光度失真处理，以随机概率按顺序对输入的图像进行图像像素值缩放、转换HSV格式、饱和度缩放、转换RGB格式；
(3.3)进行图像放大处理，采用缩放因子为1.1-1.2的随机值对图像进行放大，用数据的平均像素值填充放大后图像中的像素值；
(3.4)进行图像裁剪，根据随机比率裁剪图片，仅保留包含所有检测目标中心点；将所有的输入图像调整为固定值大小并以0.65的概率进行图像的水平反转操作。
所述的步骤(4)包括：
(4.1)以第q帧和第q-l帧两帧红外图像和可见光图像及红外图像和可见光图像目标的中心位置信息作为输入；从上下两层特征提取流并行输入并提取特征图对；所述的特征提取流是由VGG卷积层和Extension卷积层构成的深度卷积流，在VGG层之后，将得到的特征图通过更深的Extension卷积层进行空间降维，提取深层的图像特征；将处理后的三通道图像输入特征提取流，提取对应输入图像的特征图；
(4.2)分别在特征提取流的9个固定位置层抽取9对卷积层输出的红外特征图和可见光特征图；
(4.3)将抽取的红外特征图和可见光特征图通过附加卷积层在通道上进行降维；
(4.4)特征图提取层对输入的前后两对红外特征图和可见光特征图，分别提取9层不同空间尺度的特征图对；
(4.5)将(4.1)的特征图中的可见光特征图
Figure BDA0002819218590000051
和红外特征图
Figure BDA0002819218590000052
输入特征图融合层，其中l∈{1，2，…，L}为特征图通道标号，L表示特征图通道数；根据范数L1计算可见光特征图
Figure BDA0002819218590000053
和红外特征图
Figure BDA0002819218590000054
的初始作用程度图像Cii，ii＝1，2；
Figure BDA0002819218590000055
l·M表示该特征图的所有通道，(x，y)表示特征图和融合特征图中的对应位置；
计算最终的作用程度图
Figure BDA0002819218590000056
Figure BDA0002819218590000057
计算两种模态的可见光特征图的权重和红外特征图的权重ρii(x，y)；通过加权求和生成融合的特征图fl(x，y)：
Figure BDA0002819218590000058
Figure BDA0002819218590000059
(4.6)将融合后的特征图输入特征向量提取层；利用输入的目标中心位置，从融合后的特征图中的中心像素值作为特征值，将从9层融合特征图中获取的特征进行拼接，形成520维的特征向量；
(4.7)每帧图像中包含多个定位跟踪目标，将每帧图像中所有目标的特征向量放在一个二维矩阵中，形成一个Nm*520的特征矩阵，其中Nm表示规定的允许一帧图像中最大目标数；若帧中的目标数目少于Nm，则特征矩阵中非真实的目标的特征向量为零向量，至此形成无人系统外形特征建模。
所述的步骤(5)包括：
(5.1)将从第q帧和q-l帧的两帧图像中获取的特征矩阵分别按行和按列复制Nm次，得到两个大小为Nm*Nm*520特征矩阵，然后两个复制后的特征矩阵按照520维度方向进行拼接形成一个Nm*Nm*1024的特征体；
(5.2)将特征体通过带有1*1卷积核的5层卷积压缩网络映射成Nm*Nm大小的相似度矩阵，该相似度矩阵代表第q帧和第q-l帧图像中船舶目标之间的相似度。
所述的步骤(6)包括：
(6.1)检测GPS或北斗系统定位信号是否正常接入，若GPS或北斗系统定位信号正常接入，则以GPS或北斗系统定位信号提供的当前定位结果作为卫星导航因子输出的定位结果，若GPS或北斗系统信号定位信号未接入，GPS或北斗系统定位系统保留下GPS或北斗系统信号失效前最终的定位结果，以该定位结果与位置变量节点进行数据融合；
(6.2)与位置变量节点进行数据融合前，首先比较卫星导航因子输出的位置信息与位置变量节点提供的位置信息之间的差值，其公式如下：
Figure BDA0002819218590000061
其中，XE1和YE1为卫星导航因子输出的位置信息的经纬度坐标，XE2和YE2为当前位置变量节点输出的位置信息的经纬度坐标，ΔL为位置差值；
(6.3)在卫星导航因子中加入变量t，t对相同的位置信息进行计数，加入变量n，自适应选择权重的过程，其中位置差值的阈值：
n＝t+2
(6.4)自适应选权的权重为；
Figure BDA0002819218590000062
卫星导航因子输出的位置信息的融合权重为γi，位置变量节点输出的位置信息的融合权重为1-γi。
所述步骤(7)包括；
(7.1)在提取第q帧图像的特征矩阵后，存储该帧图像的特征矩阵及其帧编号，通过存储的特征矩阵计算当前帧中的目标与先前帧中的目标之间的相似度，将当前帧中的目标与多个先前帧中的目标进行关联；
(7.2)生成累加器矩阵；
(7.3)根据第一帧图像中的目标个数初始化轨迹集合，轨迹中每个元素是个二元组；
(7.4)对累加器矩阵分解寻求最优目标匹配；
(7.5)对于未成功匹配且在当前帧中确实存在的目标，定义为新出现目标；
(7.6)对于历史帧中出现过的目标且在连续l帧中没再次出现的目标，定义为消失的旧目标；
(7.7)完成轨迹更新：匹配成功的目标放入对应的轨迹中；为新出现的目标创建新轨迹并添加到轨迹集中；将消失的旧目标的轨迹从轨迹集中删除。
所述步骤(8)包括：
(8.1)构造最终有界特性函数V1：
Figure BDA0002819218590000071
Figure BDA0002819218590000072
(8.2)调整各参数，使动力学模型和状态观测器满足
Figure BDA0002819218590000073
ε0为大于零的常数；P＝diag(P1，P2)；ψ＝diag(06×6，ε0δ2I6×6)，diag表示元素的对角矩阵；
(8.3)对位姿跟踪误差进行非线性转换映射：
位姿跟踪误差为
Figure BDA0002819218590000074
Figure BDA0002819218590000075
s为位姿变量，d为位姿平衡阈值；sign代表符号函数；
(8.4)设计虚拟控制量：
Figure BDA0002819218590000076
Figure BDA0002819218590000077
转换虚拟控制量αc为：
Figure BDA0002819218590000078
(8.5)设计区域跟踪控制律为：
Figure BDA0002819218590000079
Figure BDA00028192185900000710
Figure BDA00028192185900000711
其中，E(x1)+为E(x1)的伪逆矩阵，
Figure BDA00028192185900000712
为特征向量提取网络的输出。
本发明的有益效果在于：
(1)现有的跟踪定位控制方法通常要求获得无人系统的目标或者本身的速度，但由于信号和成本控制等多种原因，无人系统在实际作业过程中无法使用上述信息。本发明专利提出了一种不依赖速度的控制方法，为提高速度估计精度，本发明利用状态变量线性转换与动力学模型结合的形式构造状态观测器；在性能预设控制的基础上，利用跟踪误差的非线性转换映射，设计了区域跟踪控制律，使跟踪误差不收敛于零，使得控制信号更平缓，更有利于无人系统的实际情况的行驶。
(2)本发明利用可见光和红外图像优势互补，解决基于单源图像的跟踪易受环境条件约束而无法实现稳定跟踪的问题，具较好鲁棒性，针对特殊环境具有多雾，光照变化频繁等特殊性，在特征提取模块中增加图像特征提取流，使其能够对前后两帧图像的特征进行提取，从而将红外和可见光图像序列并行输入网络，通过采用特征级融合方案，在红外和可见光图像特征层后添加了融合层，采用自适应融合策略实现特征图的融合。通过以端到端的方式使用深度学的方法使多目标跟踪数据进行关联，从而避免了人为约束条件计算目标间的相关性误差问题。
(3)通过利用因子图的位置变量节点中的定位结果与卫星导航因子的定位结果之间的位置差值构建权函数完成自适应选权，使无人系统的计算量更小，能够减轻系统存储数据的负担并且减小计算量。
附图说明
图1是本发明方法流程图。
图2是本发明速度、位姿和控制量估计的效果图。
图3是本发明与传统因子图的效率对比图。
具体实施方式
下面结合附图对本发明作进一步描述。
基于多源图像自适应选权的融合定位跟踪控制方法，包括如下步骤：
(1)根据无人系统动力学模型，线性变换状态量，根据位姿信息非线性项构造状态观测器；具体包括：
(1.1)检测无人系统的6维位姿向量η，确定质量矩Mη(η)；
(1.2)提取无人系统坐标系与大地坐标系之间速度转换矩阵J；
(1.3)提取无人系统推进器分布矩阵B，探测未知动力项
Figure BDA0002819218590000082
以及目前无人系统的跟踪控制律u；
(1.4)构建无人系统的动力学模型：
Figure BDA0002819218590000081
(1.5)设置
Figure BDA0002819218590000091
对无人驾驶系统的状态向量进行线性变换：
Figure BDA0002819218590000092
I6×6为6阶单位阵，T1是6阶正定对角阵，06×6为6阶零矩阵，x＝[x1 T，x2 T]T
Figure BDA0002819218590000093
Figure BDA0002819218590000094
(1.6)构建状态观测器：
Figure BDA00028192185900000916
Figure BDA0002819218590000095
Figure BDA0002819218590000096
Figure BDA0002819218590000097
Figure BDA0002819218590000098
Figure BDA0002819218590000099
其中，L1、L2为对角阵，
Figure BDA00028192185900000910
代表
Figure BDA00028192185900000911
的估计值：
Figure BDA00028192185900000912
δ、ki、p1、p2、a1、a2为大于零的常数；i＝1，2，3，4，5，6；
α∈(0，1)，γ1＞1，γ2∈(0，1)；P1、P2是正定对角阵，
Figure BDA00028192185900000917
col代表将所有元素整合成一个列向量；
N1i(ζ1i)和N2i(ζ2i)是Nussbaum函数；ζ1i和ζ2i分别代表ζ1i和ζ2i第i个元素；
(1.7)结合动力学模型和状态观测器得到状态估计误差的动态方程
Figure BDA00028192185900000913
Figure BDA00028192185900000914
Figure BDA00028192185900000915
(2)检测GPS或北斗系统视频的每帧图像中的目标，选择一帧图像为检测输入，为该图像的无人系统输出一组边界框，计算出图像中目标的中心位置；根据GPS或北斗系统定位确定的初始位置，确定因子图的表达式和初始节点；具体包括：
(2.1)添加图像特征提取流，将图像对并行输入特征提取流以提取特征图；
(2.2)在特征提取流的9个固定位置层抽取9对卷积层输出的红外和可见光特征图对；
(2.3)将抽取的9对特征图对输入特征图融合层，将融合后的特征图输入特征向量提取网络，获取每帧图像的特征矩阵；
(2.4)调取无人驾驶系统整体函数：
Figure BDA0002819218590000101
其中，u1，u2，…，un代表无人驾驶系统中的各位置变量节点；fj(uj)表示各变量节点相关的子函数；
(2.5)构建无人驾驶系统整体函数的因子图：
G＝(F，U，ε)
U为变量节点集合，F为因子节点fj(uj)的集合，ε为连接因子节点和变量节点的边的集合；
(2.6)调取截止到tk时刻的所有位置变量节点Xk和所有误差变量节点Ck
Figure BDA0002819218590000102
Figure BDA0002819218590000103
xi为ti时刻的位置变量，ci为ti时刻的误差变量；
(2.7)计算系统的最大后验概率
Figure BDA0002819218590000104
Uk＝{Xk，Ck}
p(Uk|Zk)为概率密度函数，Zk表示到tk时刻的所有量测信息；
Figure BDA0002819218590000105
Figure BDA0002819218590000106
为ti时刻的变量节点；
Figure BDA0002819218590000107
Figure BDA0002819218590000108
为误差方程；
Figure BDA0002819218590000109
为误差方程的平方马氏距离；∑为量测噪声协方差矩阵
因子图表达为：
Figure BDA00028192185900001010
hi(·)代表传感器相对于无人驾驶系统状态量的量测模型，zi表示实际量测值。
(3)将待定位的红外、可见光图像和因子图对进行预处理；具体包括：
(3.1)对红外图像的单通道图像，增加通道数成为三通道图像，将红外图像复制两次，与原红外图像在通道维度上进行拼接，将红外图像和可见光图像并行输入图像预处理层；
(3.2)进行光度失真处理，以随机概率按顺序对输入的图像进行图像像素值缩放、转换HSV格式、饱和度缩放、转换RGB格式；
(3.3)进行图像放大处理，采用缩放因子为1.1-1.2的随机值对图像进行放大，用数据的平均像素值填充放大后图像中的像素值；
(3.4)进行图像裁剪，根据随机比率裁剪图片，仅保留包含所有检测目标中心点；将所有的输入图像调整为固定值大小并以0.65的概率进行图像的水平反转操作。
(4)将预处理后的图像和中心位置输入特征提取网络，提取图像中无人系统的特征向量，对图像中的无人系统外形特征建模；具体包括：
(4.1)以第q帧和第q-l帧两帧红外图像和可见光图像及红外图像和可见光图像目标的中心位置信息作为输入；从上下两层特征提取流并行输入并提取特征图对；所述的特征提取流是由VGG卷积层和Extension卷积层构成的深度卷积流，在VGG层之后，将得到的特征图通过更深的Extension卷积层进行空间降维，提取深层的图像特征；将处理后的三通道图像输入特征提取流，提取对应输入图像的特征图；
(4.2)分别在特征提取流的9个固定位置层抽取9对卷积层输出的红外特征图和可见光特征图；
(4.3)将抽取的红外特征图和可见光特征图通过附加卷积层在通道上进行降维；
(4.4)特征图提取层对输入的前后两对红外特征图和可见光特征图，分别提取9层不同空间尺度的特征图对；
(4.5)将(4.1)的特征图中的可见光特征图
Figure BDA0002819218590000111
和红外特征图
Figure BDA0002819218590000112
输入特征图融合层，其中l∈{1，2，…，L}为特征图通道标号，L表示特征图通道数；根据范数L1计算可见光特征图
Figure BDA0002819218590000113
和红外特征图
Figure BDA0002819218590000114
的初始作用程度图像Cii，ii＝1，2；
Figure BDA0002819218590000115
l·M表示该特征图的所有通道，(x，y)表示特征图和融合特征图中的对应位置；
计算最终的作用程度图
Figure BDA0002819218590000116
Figure BDA0002819218590000117
计算两种模态的可见光特征图的权重和红外特征图的权重ρii(x，y)；通过加权求和生成融合的特征图fl(x，y)：
Figure BDA0002819218590000118
Figure BDA0002819218590000121
(4.6)将融合后的特征图输入特征向量提取层；利用输入的目标中心位置，从融合后的特征图中的中心像素值作为特征值，将从9层融合特征图中获取的特征进行拼接，形成520维的特征向量；
(4.7)每帧图像中包含多个定位跟踪目标，将每帧图像中所有目标的特征向量放在一个二维矩阵中，形成一个Nm*520的特征矩阵，其中Nm表示规定的允许一帧图像中最大目标数；若帧中的目标数目少于Nm，则特征矩阵中非真实的目标的特征向量为零向量，至此形成无人系统外形特征建模。
(5)将无人系统的外形特征输入相似度估计模块中，求取前后图像的关联矩阵，即当前帧图像的无人系统与先前帧图像的无人系统的相似度矩阵；具体包括：
(5.1)将从第q帧和q-l帧的两帧图像中获取的特征矩阵分别按行和按列复制Nm次，得到两个大小为Nm*Nm*520特征矩阵，然后两个复制后的特征矩阵按照520维度方向进行拼接形成一个Nm*Nm*1024的特征体；
(5.2)将特征体通过带有1*1卷积核的5层卷积压缩网络映射成Nm*Nm大小的相似度矩阵，该相似度矩阵代表第q帧和第q-l帧图像中船舶目标之间的相似度。
(6)当获得量测请求时，结合因子图和相似度矩阵与位置变量节点进行权重计算完成自适应选权，根据权重进行数据融合完成定位；具体包括：
(6.1)检测GPS或北斗系统定位信号是否正常接入，若GPS或北斗系统定位信号正常接入，则以GPS或北斗系统定位信号提供的当前定位结果作为卫星导航因子输出的定位结果，若GPS或北斗系统信号定位信号未接入，GPS或北斗系统定位系统保留下GPS或北斗系统信号失效前最终的定位结果，以该定位结果与位置变量节点进行数据融合；
(6.2)与位置变量节点进行数据融合前，首先比较卫星导航因子输出的位置信息与位置变量节点提供的位置信息之间的差值，其公式如下：
Figure BDA0002819218590000122
其中，XE1和YE1为卫星导航因子输出的位置信息的经纬度坐标，XE2和YE2为当前位置变量节点输出的位置信息的经纬度坐标，ΔL为位置差值；
(6.3)在卫星导航因子中加入变量t，t对相同的位置信息进行计数，加入变量n，自适应选择权重的过程，其中位置差值的阈值：
n＝t+2
(6.4)自适应选权的权重为；
Figure BDA0002819218590000131
卫星导航因子输出的位置信息的融合权重为γi，位置变量节点输出的位置信息的融合权重为1-γi。
(7)通过关联目标，增添新目标，更新目标跟踪轨迹，实现多源稳定跟踪；具体包括；
(7.1)在提取第q帧图像的特征矩阵后，存储该帧图像的特征矩阵及其帧编号，通过存储的特征矩阵计算当前帧中的目标与先前帧中的目标之间的相似度，将当前帧中的目标与多个先前帧中的目标进行关联；
(7.2)生成累加器矩阵；
(7.3)根据第一帧图像中的目标个数初始化轨迹集合，轨迹中每个元素是个二元组；
(7.4)对累加器矩阵分解寻求最优目标匹配；
(7.5)对于未成功匹配且在当前帧中确实存在的目标，定义为新出现目标；
(7.6)对于历史帧中出现过的目标且在连续l帧中没再次出现的目标，定义为消失的旧目标；
(7.7)完成轨迹更新：匹配成功的目标放入对应的轨迹中；为新出现的目标创建新轨迹并添加到轨迹集中；将消失的旧目标的轨迹从轨迹集中删除。
(8)根据状态观测器，对无人系统的位姿误差进行非线性转换映射，推导区域跟踪控制律进行无人系统的控制。具体包括：
(8.1)构造最终有界特性函数V1：
Figure BDA0002819218590000132
Figure BDA0002819218590000133
(8.2)调整各参数，使动力学模型和状态观测器满足
Figure BDA0002819218590000134
ε0为大于零的常数；P＝diag(P1，P2)；ψ＝diag(06×6，ε0δ2I6×6)，diag表示元素的对角矩阵；
(8.3)对位姿跟踪误差进行非线性转换映射：
位姿跟踪误差为
Figure BDA0002819218590000141
Figure BDA0002819218590000142
s为位姿变量，d为位姿平衡阈值；sign代表符号函数；
(8.4)设计虚拟控制量：
Figure BDA0002819218590000143
Figure BDA0002819218590000144
转换虚拟控制量αc为：
Figure BDA0002819218590000145
(8.5)设计区域跟踪控制律为：
Figure BDA0002819218590000146
Figure BDA0002819218590000147
Figure BDA0002819218590000148
其中，E(x1)+为E(x1)的伪逆矩阵，
Figure BDA0002819218590000149
为特征向量提取网络的输出。
实施例1
为验证本发明专利方法，设计对比仿真验证实验：
相同区域跟踪控制下，采用常规高增益观测器与状态观测器进行对比仿真验证；
相同的状态观测器下，采用传统反演控制方法进行对比仿真验证。
在仿真实验验证过程中，无人系统的初始状态、外部干扰等均是相同的。、
利用Matlab/Simulink仿真平台得到的对比结果如图2所示。其中第一列为位置信息、第二列为姿态信息、第三列为控制率信息。
从速度估计结果来看，本发明专利中的状态观测器和高增益观测器均能根据位姿信息以及控制量来获得较好的速度估计结果，但本发明专利中的状态观测器对时变的信号估计效果优于高增益观测器的结果。从无人系统位姿跟踪误差结果来看，本发明专利的跟踪误差不收敛于零。跟踪误差能满足实现设定的期望边界的前提下控制量尽可能平滑且延长无人系统作业时间。控制量结果相比较，本专利的控制量信号明显比传统的控制量平滑，这也就实现了跟踪控制的目的。
实施例2
本发明利用KITTI数据集进行实验验证。
实验使用无人车真实路况下采集的KITTI数据集进行实验，选取其中的两段路径，在总计80秒的时间里设置三个时间段的卫星信号丢失，分别是第10秒到第15秒的5秒间隔，第25秒到第35秒的10秒间隔和第45秒到第65秒的20秒间隔，中间各留了10秒的时间观察能够正常接收到卫星信号时误差的恢复情况。本方法与传统方法比较的误差统计结果，如表1所示：
表1
实验结果 本文方法 传统因子图
平均值/m 3.94 4.49
最大值/m 14.84 17.04
RMSE/m 4.59 5.02
由表1可知，本发明在精度上优于传统的因子图。依靠位置差值进行权重调整的可行性，由图3展示的结果证明本方法能够在卫星信号失效时自主排除卫星信号，并且能够在卫星信号恢复时自主接入，迅速减小误差，实现了自适应调整权重的功能，有着一定的应用价值。
实施例3
结合具体数值给出本发明的实施例：
数据集准备阶段
为了使得数据集更接近于真实的环境，更好的对本发明测试和比较分析，从大量原始无人机视频数据集中构建了红外-可见光跟踪数据集。
从原始数据集中精心挑选了22对适合多目标跟踪的视频段，经过裁剪，配准等一系列图像预处理后共生成了22对图像序列。该数据集涵盖了广泛工作环境，如雾天、光照变化频繁，目标远小和多尺度等环境，可以很好的训练跟踪网络及测试网络的泛化能力和性能。数据集分别是远小目标在天空附近的环境；多尺度环境，即视野中存在多个目标且由于目标距离远近不同造成目标尺度相差较大的环境。
目标检测与定位
目标检测阶段需要一个视频帧作为输入，并为该帧中的目标对象输出一组边界框。根据输出的边界框，计算出该帧图像中目标的中心位置信息。本发明采用目标检测器来获取目标的位置信息。
训练和测试阶段
为了证明本发明融合方法的有效性，在数据集进行了三组实验，实验采用14对图像序列作为训练集，8对图像序列作为测试集，无论是训练集还是测试集，其中都包含了多种环境下的图像序列，如雾天，光照变化频繁和多尺度等环境，有助于测试和验证算法的环境泛化能力。
实验结果分析
本发明从以下14种多目标评价指标对跟踪器性能进行评价：表2和表3是两种跟踪实验的结果。表中的向上的箭头表示该指标值越大越好，向下的箭头表示该指标之越小越好，表中每行表示一种实验的跟踪结果。
可以明显看出，在同一时刻，就跟踪目标数量上看，VTNet在跟踪目标数量上多于单独红外和单独可见光跟踪。若仅根据跟踪效果图，无法比较出跟踪器的优劣。要评判出不同跟踪方法间的差距，就要利用跟踪指标进行定量的比较。三组实验跟踪结果的评价指标如表1所示，若以某一个序列的跟踪结果作为评价三组实验的跟踪性能，必然使得跟踪结果过于片面，所有该指标统计是所有测试序列跟踪指标的均值指标。综上分析，本发明相比于单源数据跟踪，在提升多船舶跟踪性能方面的效果是显而易见的。
表2
Figure BDA0002819218590000161
雾天环境实验结果分析
为了进一步验证本发明对特殊环境下的目标跟踪性能的提升，红外辐射穿透雾的能力高于可见光，因此，可见光中目标的可见度远低于红外图像。融合跟踪利用了红外和可见光的优势互补性，可以兼顾目标的可见度和辨识度，进而提高目标的跟踪性能。由跟踪指标可知，本发明在MOTA，MOTP，IDF1和IDR等跟踪指标上处于领先地位。实验结果证明了本发明对雾天环境的有效性。
表3
Figure BDA0002819218590000162
与现有技术相比，现有的跟踪定位控制方法通常要求获得无人系统的目标或者本身的速度，但由于信号和成本控制等多种原因，无人系统在实际作业过程中无法使用上述信息。本发明专利提出了一种不依赖速度的控制方法，为提高速度估计精度，本发明利用状态变量线性转换与动力学模型结合的形式构造状态观测器；在性能预设控制的基础上，利用跟踪误差的非线性转换映射，设计了区域跟踪控制律，使跟踪误差不收敛于零，使得控制信号更平缓，更有利于无人系统的实际情况的行驶。本发明利用可见光和红外图像优势互补，解决基于单源图像的跟踪易受环境条件约束而无法实现稳定跟踪的问题，具较好鲁棒性，针对特殊环境具有多雾，光照变化频繁等特殊性，在特征提取模块中增加图像特征提取流，使其能够对前后两帧图像的特征进行提取，从而将红外和可见光图像序列并行输入网络，通过采用特征级融合方案，在红外和可见光图像特征层后添加了融合层，采用自适应融合策略实现特征图的融合。通过以端到端的方式使用深度学的方法使多目标跟踪数据进行关联，从而避免了人为约束条件计算目标间的相关性误差问题。通过利用因子图的位置变量节点中的定位结果与卫星导航因子的定位结果之间的位置差值构建权函数完成自适应选权，使无人系统的计算量更小，能够减轻系统存储数据的负担并且减小计算量。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.基于多源图像自适应选权的融合定位跟踪控制方法，其特征在于，包括如下步骤：
(1)根据无人系统动力学模型，线性变换状态量，根据位姿信息非线性项构造状态观测器；
(2)检测GPS或北斗系统视频的每帧图像中的目标，选择一帧图像为检测输入，为该图像的无人系统输出一组边界框，计算出图像中目标的中心位置；根据GPS或北斗系统定位确定的初始位置，确定因子图的表达式和初始节点；
(3)将待定位的红外、可见光图像和因子图对进行预处理；
(4)将预处理后的图像和中心位置输入特征提取网络，提取图像中无人系统的特征向量，对图像中的无人系统外形特征建模；
(5)将无人系统的外形特征输入相似度估计模块中，求取前后图像的关联矩阵，即当前帧图像的无人系统与先前帧图像的无人系统的相似度矩阵；
(6)当获得量测请求时，结合因子图和相似度矩阵与位置变量节点进行权重计算完成自适应选权，根据权重进行数据融合完成定位；
(7)通过关联目标，增添新目标，更新目标跟踪轨迹，实现多源稳定跟踪；
(8)根据状态观测器，对无人系统的位姿误差进行非线性转换映射，推导区域跟踪控制律进行无人系统的控制；
所述的步骤(1)包括：
(1.1)检测无人系统的6维位姿向量η，确定质量矩Mη(η)；
(1.2)提取无人系统坐标系与大地坐标系之间速度转换矩阵J；
(1.3)提取无人系统推进器分布矩阵B，探测未知动力项
Figure FDA0003576716330000016
以及目前无人系统的跟踪控制律u；
(1.4)构建无人系统的动力学模型：
Figure FDA0003576716330000011
(1.5)设置
Figure FDA0003576716330000012
对无人驾驶系统的状态向量进行线性变换：
Figure FDA0003576716330000013
I6×6为6阶单位阵，T1是6阶正定对角阵，06×6为6阶零矩阵，x＝[x1 T,x2 T]T
Figure FDA0003576716330000014
Figure FDA0003576716330000015
(1.6)构建状态观测器：
Figure FDA0003576716330000021
Figure FDA0003576716330000022
Figure FDA0003576716330000023
Figure FDA0003576716330000024
Figure FDA0003576716330000025
Figure FDA0003576716330000026
其中，L1、L2为对角阵，
Figure FDA0003576716330000027
代表
Figure FDA0003576716330000028
的估计值：
Figure FDA0003576716330000029
δ、ki、p1、p2、a1、a2为大于零的常数；i＝1,2,3,4,5,6；
α∈(0,1)，γ1>1，γ2∈(0,1)；P1、P2是正定对角阵，
Figure FDA00035767163300000216
col代表将所有元素整合成一个列向量；
N1i(ζ1i)和N2i(ζ2i)是Nussbaum函数；ζ1i和ζ2i分别代表ζ1i和ζ2i第i个元素；
(1.7)结合动力学模型和状态观测器得到状态估计误差的动态方程
Figure FDA00035767163300000210
Figure FDA00035767163300000211
Figure FDA00035767163300000212
所述步骤(8)包括
(8.1)构造最终有界特性函数V1：
Figure FDA00035767163300000213
Figure FDA00035767163300000214
(8.2)调整各参数，使动力学模型和状态观测器满足
Figure FDA00035767163300000215
ε0为大于零的常数；P＝diag(P1,P2)；ψ＝diag(06×6,ε0δ2I6×6)，diag表示元素的对角矩阵；
(8.3)对位姿跟踪误差进行非线性转换映射：
位姿跟踪误差为
Figure FDA0003576716330000031
Figure FDA0003576716330000032
s为位姿变量，d为位姿平衡阈值；sign代表符号函数；
(8.4)设计虚拟控制量：
Figure FDA0003576716330000033
Figure FDA0003576716330000034
转换虚拟控制量αc为：
Figure FDA0003576716330000035
(8.5)设计区域跟踪控制律为：
Figure FDA0003576716330000036
Figure FDA0003576716330000037
Figure FDA0003576716330000038
其中，E(x1)+为E(x1)的伪逆矩阵，
Figure FDA0003576716330000039
为特征向量提取网络的输出，根据区域跟踪控制律进行无人系统的控制。
2.根据权利要求1所述的基于多源图像自适应选权的融合定位跟踪控制方法，其特征在于，所述的步骤(2)包括：
(2.1)添加图像特征提取流，将图像对并行输入特征提取流以提取特征图；
(2.2)在特征提取流的9个固定位置层抽取9对卷积层输出的红外和可见光特征图对；
(2.3)将抽取的9对特征图对输入特征图融合层，将融合后的特征图输入特征向量提取网络，获取每帧图像的特征矩阵；
(2.4)调取无人驾驶系统整体函数：
Figure FDA00035767163300000310
其中，u1,u2,…,un代表无人驾驶系统中的各位置变量节点；fj(uj)表示各变量节点相关的子函数；
(2.5)构建无人驾驶系统整体函数的因子图：
G＝(F,U,ε)
U为变量节点集合，F为因子节点fj(uj)的集合，ε为连接因子节点和变量节点的边的集合；
(2.6)调取截止到tk时刻的所有位置变量节点Xk和所有误差变量节点Ck
Figure FDA0003576716330000041
Figure FDA0003576716330000042
xi为ti时刻的位置变量，ci为ti时刻的误差变量；
(2.7)计算系统的最大后验概率
Figure FDA0003576716330000043
Uk＝{Xk,Ck}
p(Uk|Zk)为概率密度函数，Zk表示到tk时刻的所有量测信息；
Figure FDA0003576716330000044
Figure FDA0003576716330000045
为ti时刻的变量节点；
Figure FDA0003576716330000046
Figure FDA0003576716330000047
为误差方程；
Figure FDA0003576716330000048
为误差方程的平方马氏距离；Σ为量测噪声协方差矩阵
因子图表达为：
Figure FDA0003576716330000049
hi(·)代表传感器相对于无人驾驶系统状态量的量测模型，zi表示实际量测值。
3.根据权利要求2所述的基于多源图像自适应选权的融合定位跟踪控制方法，其特征在于，所述步骤(3)包括：
(3.1)对红外图像的单通道图像，增加通道数成为三通道图像，将红外图像复制两次，与原红外图像在通道维度上进行拼接，将红外图像和可见光图像并行输入图像预处理层；
(3.2)进行光度失真处理，以随机概率按顺序对输入的图像进行图像像素值缩放、转换HSV格式、饱和度缩放、转换RGB格式；
(3.3)进行图像放大处理，采用缩放因子为1.1-1.2的随机值对图像进行放大，用数据的平均像素值填充放大后图像中的像素值；
(3.4)进行图像裁剪，根据随机比率裁剪图片，仅保留包含所有检测目标中心点；将所有的输入图像调整为固定值大小并以0.65的概率进行图像的水平反转操作。
4.根据权利要求3所述的基于多源图像自适应选权的融合定位跟踪控制方法，其特征在于，所述的步骤(4)包括：
(4.1)以第q帧和第q-l帧两帧红外图像和可见光图像及红外图像和可见光图像目标的中心位置信息作为输入；从上下两层特征提取流并行输入并提取特征图对；所述的特征提取流是由VGG卷积层和Extension卷积层构成的深度卷积流，在VGG层之后，将得到的特征图通过更深的Extension卷积层进行空间降维，提取深层的图像特征；将处理后的三通道图像输入特征提取流，提取对应输入图像的特征图；
(4.2)分别在特征提取流的9个固定位置层抽取9对卷积层输出的红外特征图和可见光特征图；
(4.3)将抽取的红外特征图和可见光特征图通过附加卷积层在通道上进行降维；
(4.4)特征图提取层对输入的前后两对红外特征图和可见光特征图，分别提取9层不同空间尺度的特征图对；
(4.5)将(4.1)的特征图中的可见光特征图
Figure FDA0003576716330000051
和红外特征图
Figure FDA0003576716330000052
输入特征图融合层，其中l∈{1,2,…,L}为特征图通道标号，L表示特征图通道数；根据范数L1计算可见光特征图
Figure FDA0003576716330000053
和红外特征图
Figure FDA0003576716330000054
的初始作用程度图像Cii,ii＝1，2；
Figure FDA0003576716330000055
l·M表示该特征图的所有通道,(x,y)表示特征图和融合特征图中的对应位置；
计算最终的作用程度图
Figure FDA0003576716330000056
Figure FDA0003576716330000057
计算两种模态的可见光特征图的权重和红外特征图的权重ρii(x,y)；通过加权求和生成融合的特征图fl(x,y)：
Figure FDA0003576716330000058
Figure FDA0003576716330000059
(4.6)将融合后的特征图输入特征向量提取层；利用输入的目标中心位置，从融合后的特征图中的中心像素值作为特征值，将从9层融合特征图中获取的特征进行拼接，形成520维的特征向量；
(4.7)每帧图像中包含多个定位跟踪目标，将每帧图像中所有目标的特征向量放在一个二维矩阵中，形成一个Nm*520的特征矩阵，其中Nm表示规定的允许一帧图像中最大目标数；若帧中的目标数目少于Nm，则特征矩阵中非真实的目标的特征向量为零向量，至此形成无人系统外形特征建模。
5.根据权利要求4所述的基于多源图像自适应选权的融合定位跟踪控制方法，其特征在于，所述的步骤(5)包括：
(5.1)将从第q帧和q-l帧的两帧图像中获取的特征矩阵分别按行和按列复制Nm次，得到两个大小为Nm*Nm*520特征矩阵，然后两个复制后的特征矩阵按照520维度方向进行拼接形成一个Nm*Nm*1024的特征体；
(5.2)将特征体通过带有1*1卷积核的5层卷积压缩网络映射成Nm*Nm大小的相似度矩阵，该相似度矩阵代表第q帧和第q-l帧图像中船舶目标之间的相似度。
6.根据权利要求5所述的基于多源图像自适应选权的融合定位跟踪控制方法，其特征在于，所述的步骤(6)包括：
(6.1)检测GPS或北斗系统定位信号是否正常接入，若GPS或北斗系统定位信号正常接入，则以GPS或北斗系统定位信号提供的当前定位结果作为卫星导航因子输出的定位结果，若GPS或北斗系统信号定位信号未接入，GPS或北斗系统定位系统保留下GPS或北斗系统信号失效前最终的定位结果，以该定位结果与位置变量节点进行数据融合；
(6.2)与位置变量节点进行数据融合前，首先比较卫星导航因子输出的位置信息与位置变量节点提供的位置信息之间的差值，其公式如下：
Figure FDA0003576716330000061
其中，XE1和YE1为卫星导航因子输出的位置信息的经纬度坐标，XE2和YE2为当前位置变量节点输出的位置信息的经纬度坐标，ΔL为位置差值；
(6.3)在卫星导航因子中加入变量t，t对相同的位置信息进行计数，加入变量n，自适应选择权重的过程，其中位置差值的阈值：
n＝t+2
(6.4)自适应选权的权重为；
Figure FDA0003576716330000062
卫星导航因子输出的位置信息的融合权重为γi，位置变量节点输出的位置信息的融合权重为1-γi。
7.根据权利要求6所述的基于多源图像自适应选权的融合定位跟踪控制方法，其特征在于，所述步骤(7)包括；
(7.1)在提取第q帧图像的特征矩阵后，存储该帧图像的特征矩阵及其帧编号，通过存储的特征矩阵计算当前帧中的目标与先前帧中的目标之间的相似度，将当前帧中的目标与多个先前帧中的目标进行关联；
(7.2)生成累加器矩阵；
(7.3)根据第一帧图像中的目标个数初始化轨迹集合，轨迹中每个元素是个二元组；
(7.4)对累加器矩阵分解寻求最优目标匹配；
(7.5)对于未成功匹配且在当前帧中确实存在的目标，定义为新出现目标；
(7.6)对于历史帧中出现过的目标且在连续l帧中没再次出现的目标，定义为消失的旧目标；
(7.7)完成轨迹更新：匹配成功的目标放入对应的轨迹中；为新出现的目标创建新轨迹并添加到轨迹集中；将消失的旧目标的轨迹从轨迹集中删除。
CN202011408736.4A 2020-12-05 2020-12-05 基于多源图像自适应选权的融合定位跟踪控制方法 Active CN112486197B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011408736.4A CN112486197B (zh) 2020-12-05 2020-12-05 基于多源图像自适应选权的融合定位跟踪控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011408736.4A CN112486197B (zh) 2020-12-05 2020-12-05 基于多源图像自适应选权的融合定位跟踪控制方法

Publications (2)

Publication Number Publication Date
CN112486197A CN112486197A (zh) 2021-03-12
CN112486197B true CN112486197B (zh) 2022-10-21

Family

ID=74938110

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011408736.4A Active CN112486197B (zh) 2020-12-05 2020-12-05 基于多源图像自适应选权的融合定位跟踪控制方法

Country Status (1)

Country Link
CN (1) CN112486197B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113223045A (zh) * 2021-05-19 2021-08-06 北京数研科技发展有限公司 基于动态物体语义分割的视觉与imu传感器融合定位系统
CN113358665A (zh) * 2021-05-25 2021-09-07 同济大学 一种无人机隧洞缺陷检测方法及系统
CN115902804B (zh) * 2022-11-07 2024-01-05 南京航空航天大学 一种无人机集群类型识别方法和系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108961312A (zh) * 2018-04-03 2018-12-07 奥瞳系统科技有限公司 用于嵌入式视觉系统的高性能视觉对象跟踪方法及系统
CN111275760A (zh) * 2020-01-16 2020-06-12 上海工程技术大学 一种基于5g与深度图像信息的无人机目标跟踪系统及方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3056921B1 (fr) * 2016-10-05 2018-11-23 Parrot Drones Systeme autonome de prise de vues animees par un drone avec poursuite de cible et maintien de l'angle de prise de vue de la cible.
US10401872B2 (en) * 2017-05-23 2019-09-03 Gopro, Inc. Method and system for collision avoidance
US10935978B2 (en) * 2017-10-30 2021-03-02 Nio Usa, Inc. Vehicle self-localization using particle filters and visual odometry
CN108982901B (zh) * 2018-06-14 2020-06-09 哈尔滨工业大学 一种匀速旋转体的转速测量方法
CN111369597B (zh) * 2020-03-09 2022-08-12 南京理工大学 一种基于多特征融合的粒子滤波目标跟踪方法
CN111561923B (zh) * 2020-05-19 2022-04-15 北京数字绿土科技股份有限公司 基于多传感器融合的slam制图方法、系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108961312A (zh) * 2018-04-03 2018-12-07 奥瞳系统科技有限公司 用于嵌入式视觉系统的高性能视觉对象跟踪方法及系统
CN111275760A (zh) * 2020-01-16 2020-06-12 上海工程技术大学 一种基于5g与深度图像信息的无人机目标跟踪系统及方法

Also Published As

Publication number Publication date
CN112486197A (zh) 2021-03-12

Similar Documents

Publication Publication Date Title
CN112486197B (zh) 基于多源图像自适应选权的融合定位跟踪控制方法
CN111693047B (zh) 一种高动态场景下的微小型无人机视觉导航方法
CN103411609B (zh) 一种基于在线构图的飞行器返航路线规划方法
CN109596078A (zh) 多信息融合路面谱实时测试系统和测试方法
US20090110236A1 (en) Method And System For Object Detection And Tracking
CN110672088B (zh) 一种仿信鸽地貌感知归巢机制的无人机自主导航方法
CN113126115B (zh) 基于点云的语义slam方法、装置、电子设备和存储介质
CN115032651A (zh) 一种基于激光雷达与机器视觉融合的目标检测方法
US11604078B2 (en) Method and device for generating digital map models
CN113361121A (zh) 一种基于时空同步与信息融合的路面附着系数估计方法
CN115861591B (zh) 基于transformer关键纹理编码匹配的无人机定位方法
CN108364279A (zh) 确定静止轨道遥感卫星指向偏差的方法
CN114608568B (zh) 一种基于多传感器信息即时融合定位方法
CN113822118A (zh) 增强的车辆操作
CN113343875A (zh) 一种用于机器人的可行驶区域感知方法
Liu et al. A new multi-channel deep convolutional neural network for semantic segmentation of remote sensing image
Liu et al. A novel trail detection and scene understanding framework for a quadrotor UAV with monocular vision
CN114067142A (zh) 一种实现场景结构预测、目标检测和车道级定位的方法
CN112904388A (zh) 基于领航者策略的融合定位跟踪控制方法
CN115187959B (zh) 一种基于双目视觉的飞行汽车山地着陆方法及系统
CN114280583B (zh) 无gps信号下激光雷达定位精度验证方法及系统
CN115272899A (zh) 一种风险预警方法、装置、飞行器及存储介质
Velat et al. Vision based vehicle localization for autonomous navigation
Milli et al. Multi-Modal Multi-Task (3MT) Road Segmentation
Mandici et al. Real-time multi-resolution digital elevation map creation using the sensor model of a stereovision sensor

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220927

Address after: 266000 room 230, science and Technology Museum, EMU Town, west end of Chunyang Road, Jihongtan street, Chengyang District, Qingdao, Shandong Province

Applicant after: QINGDAO CIVIL AVIATION CARES Co.,Ltd.

Address before: 150001 No. 145-1, Nantong Avenue, Nangang District, Heilongjiang, Harbin

Applicant before: HARBIN ENGINEERING University

GR01 Patent grant
GR01 Patent grant