CN108803655A - 一种无人机飞行控制平台及目标跟踪方法 - Google Patents
一种无人机飞行控制平台及目标跟踪方法 Download PDFInfo
- Publication number
- CN108803655A CN108803655A CN201810588102.8A CN201810588102A CN108803655A CN 108803655 A CN108803655 A CN 108803655A CN 201810588102 A CN201810588102 A CN 201810588102A CN 108803655 A CN108803655 A CN 108803655A
- Authority
- CN
- China
- Prior art keywords
- target
- response
- frame
- tracking
- correlation filter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 title claims abstract description 32
- 230000004044 response Effects 0.000 claims abstract description 109
- 238000010586 diagram Methods 0.000 claims abstract description 38
- 230000008054 signal transmission Effects 0.000 claims abstract description 14
- 230000033001 locomotion Effects 0.000 claims abstract description 8
- 238000000605 extraction Methods 0.000 claims description 22
- 238000001914 filtration Methods 0.000 claims description 16
- 230000009514 concussion Effects 0.000 claims description 15
- 239000011159 matrix material Substances 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 5
- 238000000205 computational method Methods 0.000 claims description 4
- 238000012549 training Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 2
- 230000003044 adaptive effect Effects 0.000 abstract description 12
- 230000000903 blocking effect Effects 0.000 abstract description 5
- 238000013519 translation Methods 0.000 abstract description 5
- 230000010355 oscillation Effects 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 27
- 230000004927 fusion Effects 0.000 description 9
- 238000001514 detection method Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 208000025174 PANDAS Diseases 0.000 description 2
- 208000021155 Paediatric autoimmune neuropsychiatric disorders associated with streptococcal infection Diseases 0.000 description 2
- 240000004718 Panda Species 0.000 description 2
- 235000016496 Panda oleosa Nutrition 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000001568 sexual effect Effects 0.000 description 2
- 241000196324 Embryophyta Species 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000005693 optoelectronics Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000013316 zoning Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种无人机飞行控制平台及目标跟踪方法，包括飞行控制单元、信号传输单元、视频采集单元、地面控制单元，视频采集单元采集目标图像，通过信号传输单元传回地面控制单元，地面控制单元进行预处理，运行跟踪方法，对目标进行跟踪，根据目标框移动情况生成无人机控制信息，地面控制单元通过信号传输单元将无人机控制信息传回无人机，无人机根据控制信息完成移动目标跟踪。本发明利用颜色特征对平移相关滤波器得出的目标位置进行准确的矫正，减少平移滤波器产生的误差；利用响应图的震荡程度的判断方法进行模板的自适应的更新，较少错误特征的引入，使得改进后的DSST目标跟踪方法在遇到目标剧烈形变和严重遮挡时，具有很好的跟踪能力。
Description
技术领域
本发明涉及移动目标跟踪领域，尤其涉及一种无人机飞行控制平台及目标跟踪方法。
背景技术
无人机是近年来才兴起的一种小型飞机，一般都认为它是无人驾驶飞机的简称。这种无人驾驶飞机的突然兴起，究其原因是因为其制作成本和技术门槛相对较低，而功能又比较强大，使用范围比较广泛，所以经常被应用于专业摄影、农业植保、房地产、建筑勘探、灾难救助等多种民用领域。而在这些情况下，就需要无人机根据现场情况进行自主判断，对某些特定目标进行自主跟踪飞行，实现无人机的自动控制功能，其中的关键就是对机载视觉的地面目标跟踪技术的研究。近些年，计算机视觉技术的快速发展有力的推动了基于机载视觉的地面目标跟踪技术的发展，随着大量科技工作者的深入研究，该技术取得了突飞猛进的发展，在很多方面得到了应用，尤其是在移动目标的检测与跟踪方面，取得了前所未有的令人瞩目的成就。
例如美国的全球鹰无人机。该型无人机可以将战场图像实时传回指挥部，供指挥官做出军事部署，同时可用于锁定并跟踪目标，标记目标位置，攻击预警，地面目标的快速打击和精确打击以及战场环境的评估等。在遇到云雨，沙尘暴等自然环境不好的情况时，该无人机可以在将近20000米的高空通过机载光电设备穿透云雨、沙尘暴等障碍，对地面目标进行准确的识别、跟踪以及打击。
专利《目标跟踪方法、装置及无人机》，提出了以无人机作为载体应用目标跟踪的一种架构，使得目标跟踪的理论方法可以在现实生活中得到应用，但是它更偏向于硬件实现，主要说明的是各个传感器之间的联系。本发明具体到算法的实现细节，分工不同。
文章《Discriminative Scale Space Tracking》，利用方向梯度直方图(Histogram of Oriented Gradient，HOG)方法提取目标特征，加入了尺度变换来对目标进行定位跟踪。该方法对尺度、光照等目标变换具有很强的鲁棒性，但是当目标发生形变时，无法满足精度定位的要求，导致跟踪失败。本发明在提取特征部分加入了颜色直方图作为对比，以保证在目标发生形变的情况下也可以进行跟踪，有效的改进了目标跟踪算法(Discriminative Scale Space Tracker，DSST)算法在跟踪过程中容易跟丢的问题。
专利《一种基于运动特征和深度学习特征的无人机小目标检测方法》使用卷积神经网络提取特征，由于结构复杂使得计算量过大，导致跟踪速度达不到实时要求。本发明在特征提取时采用HOG结合颜色直方图方法，在保证跟踪精度的同时提高了运算速度。
目前，运动目标检测与运动目标跟踪的算法有很多种，解决了一些移动目标跟踪中的实际问题，例如DSST移动目标跟踪算法，该算法用两个一致的相关滤波器来实现目标位置和目标尺度的预测，它们分别被定义为平移滤波器和尺度滤波器。平移相关滤波器用于进行当前帧目标的定位，尺度相关滤波器用于进行当前帧尺度的估计。这两个滤波器是相对独立的，因此这两个滤波器互不干扰，从而可以选择不同的特征种类和特征计算方式来训练和测试。该目标跟踪算法在应对各种不利因素，例如尺度快速变化、杂乱背景以及光照改变等情况时表现较为不错，然而对于存在较大形变与严重遮挡等问题表现不够好。因此本发明引入颜色特征和模板更新判断方法进行算法的改进，提高算法跟踪的准确度和鲁棒性。
发明内容
针对上述现有技术，本发明要解决的技术问题是提供一种无人机飞行控制平台和用于该平台的融合颜色特征的自适应更新模板的相关滤波目标跟踪方法。
为解决上述技术问题，本发明提供一种无人机飞行控制平台，包括飞行控制单元、信号传输单元、视频采集单元、地面控制单元，视频采集单元采集目标图像，然后通过信号传输单元将目标图像传回地面控制单元，地面控制单元对接收的目标图像进行预处理，运行跟踪方法，对目标进行跟踪，根据目标框移动情况生成无人机控制信息，地面控制单元通过信号传输单元将无人机控制信息传回无人机，无人机根据控制信息完成移动目标跟踪。
作为本发明一种无人机飞行控制平台的一种优选实施方式，飞行控制单元是一个安装在无人机上的飞行控制系统；信号传输单元是一个固定在无人机上的Wifi信号传输装置；视频采集单元是个固定在无人机上的摄像头；地面控制单元为一台计算机。
本发明还提供一种用于上述无人机飞行控制平台的目标跟踪方法，包括以下步骤：
步骤一：获得一帧视频图像，判断是否是第一帧图像，如果是第一帧图像，提取目标框的方向梯度直方图特征，训练相关滤波器模板，并更新相关滤波器模板，保存目标框的中心点，返回并继续获取视频图像；如果不是第一帧图像，则通过最新的滤波器模板与当前帧中预测目标框进行相关滤波运算，继续步骤二；
步骤二：判断相关滤波器响应图的震荡系数LP，如果相关滤波器响应图的震荡系数LP满足模板更新的条件，则进行步骤三，否则进行步骤一；
步骤三：判断相关滤波器响应图的峰值分布情况，具体为：设上一帧的目标搜索框的中心在点(a,b)位置处，根据相关滤波运算，当前帧的目标搜索框的中心移动到点(c,d)位置处，其中(c,d)是(a,b)和(e,f)之间线段的中点，构建以(a,b)中心，(e,f)为左上角的矩阵，矩阵的右下角为(g,h)，则当前帧的目标搜索框的中心的移动区域为以(e,f)为左上角点，以(g,h)为右下角点的矩形区域，当特征提取框中的相应的位置的响应值出现峰值Fmax(x,y)时，计算每个峰值Fmax(x,y)和最大峰值点Fmax的比例值p，p满足：
如果p≥σ，σ为搜索阈值，则表示该Fmax(x,y)是会产生干扰的峰值点，当会产生干扰的峰值点数量大于3个时，目标提取框的中心在以(e,f)为左上角点，以(g,h)为右下角点的矩形区域特征提取框中的所有点的位置上进行检测；否则，执行步骤四；
步骤四：判断相关滤波器的响应值和颜色直方图的响应值的大小，按照两者响应值的大小选择加权系数进行加权求和，具体为：如果相关滤波器的响应值大于颜色直方图的响应值，相关滤波器的响应值的加权系数设置为0.7；如果相关滤波器的响应值和颜色直方图的响应值相等，相关滤波器的响应值的加权系数设置为0.6；如果相关滤波器的响应值小于颜色直方图的响应值，相关滤波器的响应值的加权系数设置为0.3；
步骤五：相关滤波器的响应值和颜色直方图的响应值进行加权求和后，得到总的响应图，根据总的响应图中的峰值的位置，计算出当前帧中目标框的中心位置，更新相关滤波器模板和颜色直方图的模板，返回步骤一。
本发明提供一种用于上述无人机飞行控制平台的目标跟踪方法，还包括：
1.步骤二中模板更新的条件为：相关滤波器响应图的震荡系数LP满足：
相关滤波器响应图中的最大值为Fmax，最小值为Fmin，像素点(x,y)处对应的响应值为Fx,y，特征提取框的长为M像素，宽为N像素。
2.步骤四中颜色直方图的响应值的计算方法为：
(1)将HSV颜色空间分成H通道、S通道和V通道，每个通道各自计算颜色直方图；
(2)计算V通道的颜色直方图，具体为：首先，将图像的亮度分量划分为若干个子快，每个子块都是3x3的子网格，并求得边缘像素相对于中间像素的亮度差；然后定义亮度色差图的对角元素，如果对角元素相乘大于0，则将对角元素定义为l1，如果对角元素相乘等于0，则将对角元素定义为l2，如果对角元素相乘小于0，则将对角元素定义为l3；权值为θi，i＝0,1,2,3，目标框的对角色差值为：
然后根据对角色差值计算对角色差直方图；
(3)按照步骤(2)计算H通道和S通道的颜色直方图，利用巴氏距离计算每个通道的直方图的相似度，然后将三个直方图的相似度进行加权求和，得出颜色直方图的总的响应值。
3.步骤三中搜索阈值σ为0.8。
本发明有益效果：本发明利用颜色特征对平移相关滤波器得出的目标位置进行准确的矫正，减少平移滤波器产生的误差；利用响应图的震荡程度的判断方法进行模板的自适应的更新，较少错误特征的引入，使得改进后的DSST目标跟踪方法在遇到目标剧烈形变和严重遮挡时，仍然具有很好的跟踪能力。在特征提取部分，利用融合颜色特征的自适应更新模板的相关滤波目标跟踪方法，可以对目标形变有更好的适应性；在遇到遮挡的情况，利用重新检测算法在标定的局部范围内进行全方位搜索，使得目标被遮挡的情况时不会发生漂移现象，对长时间跟踪的情况稳定性更好，因而使跟踪效果得到有效提高。
附图说明
图1为无人机飞行控制平台结构示意图；
图2为目标跟踪方法流程图；
图3(a)为原算法行走中的人跟踪效果图；
图3(b)为原算法篮球跟踪效果图；
图3(c)为原算法熊猫跟踪效果图；
图3(d)为原算法行走中的人响应图；
图3(e)为原算法篮球响应图；
图3(f)为原算法熊猫的响应图；
图4为相关滤波器和颜色特征计算区域图；
图5(a)为原算法在目标剧烈形变状态下序列1中第75帧跟踪效果图；
图5(b)为原算法在目标剧烈形变状态下序列1中第95帧跟踪效果图；
图5(c)为原算法在目标剧烈形变状态下序列1中第115帧跟踪效果图；
图5(d)为原算法在严重遮挡状态下序列2中第60帧跟踪效果图；
图5(e)为原算法在严重遮挡状态下序列2中第90帧跟踪效果图；
图5(f)为原算法在严重遮挡状态下序列2中第110帧跟踪效果图；
图6(a)为本发明改进后的跟踪方法在目标形变状态下序列1中第75帧跟踪效果图；
图6(b)为本发明改进后的跟踪方法在目标形变状态下序列1中第95帧跟踪效果图；
图6(c)为本发明改进后的跟踪方法在目标形变状态下序列1中第115帧跟踪效果图；
图7(a)为本发明改进后的跟踪方法在目标被遮挡状态下序列2中第60帧跟踪效果图；
图7(b)为本发明改进后的跟踪方法在目标被遮挡状态下序列2中第90帧跟踪效果图；
图7(c)为本发明改进后的跟踪方法在目标被遮挡状态下序列2中第110帧跟踪效果图；
具体实施方式
如图1所示，本发明提供一种无人机跟踪控制装置，实现步骤如下：
步骤1：无人机利用自身携带的摄像头，采集目标图像，然后将采集到的图像利用Wifi传回地面站(计算机)。
步骤2：地面站接收到无人机传回的图像，先对图像进行图像预处理，在利用设计好的目标跟踪算法进行跟踪，根据目标框的移动情况，生成无人机控制信息。
步骤3：地面站利用Wifi将控制信息传回无人机，无人机根据地面站传回的控制指令进行运动，完成移动目标跟踪的任务。
如图2所示，本发明的融合颜色特征的自适应更新模板的相关滤波目标跟踪方法，实现步骤如下：
1、获得一帧视频图像，判断是否是第一帧图像，如果是第一帧图像，提取目标框的HOG特征，训练相关滤波器模板，并更新相关滤波器模板，保存目标框的中心点，返回并继续获取视频图像。如果不是第一帧图像，就通过最新的滤波器模板与当前帧中预测目标框(与上一帧的目标框的位置相同)进行相关运算，继续步骤(2)。
2、判断相关滤波器响应图的震荡系数LP，如果相关滤波器响应图的震荡系数满足模板更新的条件，则进行步骤(3)，否则进行步骤(1)。
所述的相关滤波器的响应图的震荡系数LP的计算方法为：
设相关滤波器的响应图中的最大值为Fmax，最小值为Fmin，像素点(x,y)处对应的响应值为Fx,y，特征提取框的长为M像素，宽为N像素，则相关滤波器的响应图的震荡系数LP为：
3、判断相关滤波器响应图的峰值分布情况，如果跟踪效果良好，响应图中只会出现一个峰值，如图3(d)、图3(e)和图3(f)所示。设上一帧的目标搜索框的中心在点(a,b)位置处，而经过计算，当前帧的目标搜索框的中心移动到点(c,d)的位置处，其中(c,d)是(a,b)和(e,f)之间线段的中点。所以当前帧的目标搜索框的中心的移动区域为以(e,f)为左上角点，以(g,h)为右下角点的矩形A的区域。Fmax(x,y)为响应图中大于Fmax*0.8的点。当跟踪目标被遮挡或者发生较大形变时，特征提取框中的相应的位置的响应值将会出现多个和最大峰值点Fmax相近的峰值Fmax(x,y)，这时计算相应峰值和最大峰值的比例关系为：
其中每个峰值和最大峰值都会对应着一个比例关系，如果p≥σ(σ表示搜索阈值)，则表示这个峰值是会产生干扰的峰值点，当这样的峰值点超过一定的数量时，说明目标形变严重，那么这时目标提取框的中心就要在图4所示的特征提取框中的所有点的位置上进行检测。图4所示的特征提取框是目标提取框面积的4倍，颜色特征框是目标提取框面积的9倍。较大形变根据震荡系数和相近峰值的个数来判断，程序详细步骤为：先根据LP系数来判断是否需要检测相近峰值的个数；相近峰值通过响应图来判定，其实σ的值就是0.8，相近的峰值就是p≥σ的值。
4、判断相关滤波器的响应值和颜色直方图的响应值的大小，按照两者响应值的大小自适应的选择加全系数进行加权求和。如果相关滤波器的响应值大于颜色直方图的响应值，那么相关滤波器的响应值的加权系数就会取得大一些；如果相关滤波器的响应值和颜色直方图的响应值相等，那么相关滤波器的响应值的加权系数也会取得大一些；如果相关滤波器的响应值小于颜色直方图的响应值，那么相关滤波器的响应值的加权系数要取得小一些。
所述的相关滤波器的响应值和颜色直方图的响应值加权求和的实现方法为：
f(X)＝γtmplftmpl(X)+γhistfhist(X)
其中，f(X)表示的是总的响应值，而ftmpl(X)和fhist(X)分别表示的是相关滤波器的响应值和颜色直方图的响应值，加权系数为γtmpl+γhist＝1。
5、相关滤波器的响应值和颜色直方图的响应值进行加权求和后，会得到总的响应图，根据总的响应图中的峰值的位置，计算出当前帧中目标框的中心位置，更新相关滤波器模板和颜色直方图的模板，返回步骤(1)。
融合颜色特征的自适应更新模板的相关滤波目标跟踪方法有效的改善了原目标跟踪方法在遇到目标产生剧烈形变和目标被严重遮挡时的跟踪效果不佳的缺陷，同时融合颜色特征的自适应更新模板的相关滤波目标跟踪方法也较好的实现了长时间跟踪。图5(a)、图5(b)和图5(c)表示原目标跟踪方法在目标剧烈形变时的跟踪效果，图5(c)很明显的表明，目标在遇到遮挡时，跟踪效果不佳，跟踪目标丢失。图5(d)、图5(e)和图5(f)表示原目标跟踪方法在遇到严重遮挡时的跟踪效果，图5(e)和图5(f)表示目标在被严重遮挡时的跟踪效果不佳。图6(a)、图6(b)和图6(c)表示融合颜色特征的自适应更新模板的相关滤波目标跟踪方法在目标剧烈形变时的跟踪效果，图6(c)表明，目标在剧烈形变后，跟踪效果良好，可以准确的跟上目标，相比于图5(c)来说，跟踪目标的能力有了很大的提高。图7(a)、图7(b)、图7(c)表示融合颜色特征的自适应更新模板的相关滤波目标跟踪方法在目标被严重遮挡时的跟踪效果，由图7(b)和图7(c)可以看出，改进后的目标跟踪方法在目标被遮挡后的跟踪效果良好，可以较为准确的跟踪上目标，相对于图5(e)和图5(f)来说，改进后的跟踪方法跟踪能力明显得到了提高。因此，由上述组图的比较可以看出，改进后的目标跟踪方法的跟踪效果明显优于原目标跟踪方法。
本发明具体实施方式还包括：
本发明提供一种无人机飞行控制平台包括：飞行控制单元：一个安装在无人机上的飞行控制系统，用于控制无人机的运动；信号传输单元：一个Wifi信号传输装置，固定在无人机上，用于进行视频信号和无人机控制信息的传输；视频采集单元：一个摄像头，固定在无人机上，用于进行视频采集；地面控制单元，一台计算机，用于接收图像，运行融合颜色特征的自适应更新模板的相关滤波目标跟踪方法，向无人机控制单元发布无人机飞行控制指令。
本发明在原DSST目标跟踪算法上还提供了一种融合颜色特征的自适应更新模板的相关滤波目标跟踪方法，其实现步骤如下：
(1)获得一帧视频图像，判断是否是第一帧图像，如果是第一帧图像，提取目标框的HOG特征，训练相关滤波器模板，并更新相关滤波器模板，保存目标框的中心点，返回并继续获取视频图像。如果不是第一帧图像，就通过最新的滤波器模板与当前帧中预测目标框(与上一帧的目标框的位置相同)进行相关滤波运算，继续步骤(2)。
(2)判断相关滤波器响应图的震荡系数LP，如果相关滤波器响应图的震荡系数满足模板更新的条件，则进行步骤(3)，否则进行步骤(1).
(3)判断相关滤波器响应图的峰值分布情况，如果跟踪效果良好，响应图中只会出现一个峰值。设上一帧的目标搜索框的中心在点(a,b)位置处，而经过计算，当前帧的目标搜索框的中心移动到点(c,d)的位置处，其中(c,d)是(a,b)和(e,f)之间线段的中点。构建以(a,b)中心，(e,f)为左上角的矩阵，矩阵的右下角为(g,h)。所以当前帧的目标搜索框的中心的移动区域为以(e,f)为左上角点，以(g,h)为右下角点的矩形A的区域。Fmax(x,y)为响应图中大于Fmax*0.8的点。当跟踪目标被遮挡或者发生较大形变时，特征提取框中的相应的位置的响应值将会出现多个和最大峰值点Fmax相近的峰值Fmax(x,y)，这时计算相应峰值和最大峰值的比例关系为：
其中每个峰值和最大峰值都会对应着一个比例关系，如果p≥σ(σ表示搜索阈值)，则表示这个峰值是会产生干扰的峰值点，当这样的峰值点数量大于3个时，说明目标形变严重，那么这时目标提取框的中心就要在一定范围的特征提取框中的所有点的位置上进行检测。否则，进行步骤(4)。
(4)判断相关滤波器的响应值和颜色直方图的响应值的大小，按照两者响应值的大小自适应的选择加全系数进行加权求和。如果相关滤波器的响应值大于颜色直方图的响应值，那么相关滤波器的响应值的加权系数设置为0.7；如果相关滤波器的响应值和颜色直方图的响应值相等，那么相关滤波器的响应值的加权系数设置为0.6；如果相关滤波器的响应值小于颜色直方图的响应值，那么相关滤波器的响应值的加权系数设置为0.3。
(5)相关滤波器的响应值和颜色直方图的响应值进行加权求和后，会得到总的响应图，根据总的响应图中的峰值的位置，计算出当前帧中目标框的中心位置，更新相关滤波器模板和颜色直方图的模板，返回步骤(1)。
相关滤波器响应图的震荡情况的判断依据的是相关滤波器的震荡系数LP为：
相关滤波器响应图中的最大值为Fmax，最小值为Fmin，像素点(x,y)处对应的响应值为Fx,y，特征提取框的长为M像素，宽为N像素。
目标框的颜色直方图的响应值的计算方法为：
(1)颜色直方图的响应值的计算是在HSV颜色空间上进行的，首先将HSV颜色空间的分成三个通道，每个通道各自计算颜色直方图。
(2)计算V通道的颜色直方图的方法为：首先，将图像的亮度分量划分为若干个子快，每个子块都是3x3的子网格，并求得边缘像素相对于中间像素的亮度差；然后定义亮度色差图的对角元素，如果对角元素相乘大于0，则将对角元素定义为l1，如果对角元素相乘等于0，则将对角元素定义为l2，如果对角元素相乘小于0，则将对角元素定义为l3；最后得到的对角色差值都是对称的，所以只需要用一半的对角色差值乘以权值进行计算即可，权值为θi，i＝0,1,2,3，所以这个矩形框的对角色差值为：
然后根据对角色差值计算对角色差直方图。
(3)计算完三个通道的颜色直方图后，利用巴氏距离计算各个通道的直方图的相似度。然后将三个直方图的相似度进行加权求和，得出颜色直方图的总的响应值。
本发明涉及一种无人机飞行控制平台及目标跟踪实现方法。一种无人机飞行控制平台包括：飞行控制单元：一个安装在无人机上的飞行控制系统，用于控制无人机的运动；信号传输单元：一个Wifi信号传输装置，固定在无人机上，用于进行视频信号和无人机控制信息的传输；视频采集单元：一个摄像头，固定在无人机上，用于进行视频采集；地面控制单元，一台计算机，用于接收图像，运行融合颜色特征的自适应更新模板的相关滤波目标跟踪方法，向无人机控制单元发布无人机飞行控制指令。本发明能够稳定的实现无人机对地面目标的跟踪。
Claims (6)
1.一种无人机飞行控制平台，其特征在于：包括飞行控制单元、信号传输单元、视频采集单元、地面控制单元，视频采集单元采集目标图像，然后通过信号传输单元将目标图像传回地面控制单元，地面控制单元对接收的目标图像进行预处理，运行跟踪方法，对目标进行跟踪，根据目标框移动情况生成无人机控制信息，地面控制单元通过信号传输单元将无人机控制信息传回无人机，无人机根据控制信息完成移动目标跟踪。
2.根据权利要求1所述的一种无人机飞行控制平台，其特征在于：所述飞行控制单元是一个安装在无人机上的飞行控制系统；所述信号传输单元是一个固定在无人机上的Wifi信号传输装置；所述视频采集单元是个固定在无人机上的摄像头；所述地面控制单元为一台计算机。
3.一种用于权利要求1或2所述的无人机飞行控制平台的目标跟踪方法，其特征在于：包括以下步骤：
步骤一：获得一帧视频图像，判断是否是第一帧图像，如果是第一帧图像，提取目标框的方向梯度直方图特征，训练相关滤波器模板，并更新相关滤波器模板，保存目标框的中心点，返回并继续获取视频图像；如果不是第一帧图像，则通过最新的滤波器模板与当前帧中预测目标框进行相关滤波运算，继续步骤二；
步骤二：判断相关滤波器响应图的震荡系数LP，如果相关滤波器响应图的震荡系数LP满足模板更新的条件，则进行步骤三，否则进行步骤一；
步骤三：判断相关滤波器响应图的峰值分布情况，具体为：设上一帧的目标搜索框的中心在点(a,b)位置处，根据相关滤波运算，当前帧的目标搜索框的中心移动到点(c,d)位置处，其中(c,d)是(a,b)和(e,f)之间线段的中点，构建以(a,b)中心，(e,f)为左上角的矩阵，矩阵的右下角为(g,h)，则当前帧的目标搜索框的中心的移动区域为以(e,f)为左上角点，以(g,h)为右下角点的矩形区域，当特征提取框中的相应的位置的响应值出现峰值Fmax(x,y)时，计算每个峰值Fmax(x,y)和最大峰值点Fmax的比例值p，p满足：
如果p≥σ，σ为搜索阈值，则表示该Fmax(x,y)是会产生干扰的峰值点，当会产生干扰的峰值点数量大于3个时，目标提取框的中心在以(e,f)为左上角点，以(g,h)为右下角点的矩形区域特征提取框中的所有点的位置上进行检测；否则，执行步骤四；
步骤四：判断相关滤波器的响应值和颜色直方图的响应值的大小，按照两者响应值的大小选择加权系数进行加权求和，具体为：如果相关滤波器的响应值大于颜色直方图的响应值，相关滤波器的响应值的加权系数设置为0.7；如果相关滤波器的响应值和颜色直方图的响应值相等，相关滤波器的响应值的加权系数设置为0.6；如果相关滤波器的响应值小于颜色直方图的响应值，相关滤波器的响应值的加权系数设置为0.3；
步骤五：相关滤波器的响应值和颜色直方图的响应值进行加权求和后，得到总的响应图，根据总的响应图中的峰值的位置，计算出当前帧中目标框的中心位置，更新相关滤波器模板和颜色直方图的模板，返回步骤一。
4.根据权利要求3所述的一种用于权利要求1或2所述的无人机飞行控制平台的目标跟踪方法，其特征在于：步骤二所述模板更新的条件为：相关滤波器响应图的震荡系数LP满足：
相关滤波器响应图中的最大值为Fmax，最小值为Fmin，像素点(x,y)处对应的响应值为Fx,y，特征提取框的长为M像素，宽为N像素。
5.根据权利要求3所述的一种用于权利要求1或2所述的无人机飞行控制平台的目标跟踪方法，其特征在于：步骤四所述颜色直方图的响应值的计算方法为：
(1)将HSV颜色空间分成H通道、S通道和V通道，每个通道各自计算颜色直方图；
(2)计算V通道的颜色直方图，具体为：首先，将图像的亮度分量划分为若干个子快，每个子块都是3x3的子网格，并求得边缘像素相对于中间像素的亮度差；然后定义亮度色差图的对角元素，如果对角元素相乘大于0，则将对角元素定义为l1，如果对角元素相乘等于0，则将对角元素定义为l2，如果对角元素相乘小于0，则将对角元素定义为l3；权值为θi，i＝0,1,2,3，目标框的对角色差值为：
然后根据对角色差值计算对角色差直方图；
(3)按照步骤(2)计算H通道和S通道的颜色直方图，利用巴氏距离计算每个通道的直方图的相似度，然后将三个直方图的相似度进行加权求和，得出颜色直方图的总的响应值。
6.根据权利要求3所述的一种用于权利要求1或2所述的无人机飞行控制平台的目标跟踪方法，其特征在于：步骤三所述搜索阈值σ为0.8。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810588102.8A CN108803655A (zh) | 2018-06-08 | 2018-06-08 | 一种无人机飞行控制平台及目标跟踪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810588102.8A CN108803655A (zh) | 2018-06-08 | 2018-06-08 | 一种无人机飞行控制平台及目标跟踪方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108803655A true CN108803655A (zh) | 2018-11-13 |
Family
ID=64088838
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810588102.8A Pending CN108803655A (zh) | 2018-06-08 | 2018-06-08 | 一种无人机飞行控制平台及目标跟踪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108803655A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110427833A (zh) * | 2019-07-10 | 2019-11-08 | 广州市讯码通讯科技有限公司 | 一种手势跟踪方法、系统和存储介质 |
| CN110910425A (zh) * | 2019-11-20 | 2020-03-24 | 上海无线电设备研究所 | 一种针对抵近飞行过程的目标跟踪方法 |
| CN111145201A (zh) * | 2019-12-26 | 2020-05-12 | 中南大学 | 一种稳健快速的无人机摄影测量标志检测与定位方法 |
| CN111899278A (zh) * | 2020-06-22 | 2020-11-06 | 北京航空航天大学 | 基于移动端的无人机图像快速目标跟踪方法 |
| WO2023078445A1 (zh) * | 2021-11-05 | 2023-05-11 | 中移(成都)信息通信科技有限公司 | 一种无人机目标跟踪方法、装置、电子设备及存储介质 |
| CN117392179A (zh) * | 2023-12-11 | 2024-01-12 | 四川迪晟新达类脑智能技术有限公司 | 一种基于相关滤波器和边缘框的目标跟踪方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105245846A (zh) * | 2015-10-12 | 2016-01-13 | 西安斯凯智能科技有限公司 | 一种多无人机协同跟踪的拍摄系统及拍摄方法 |
| WO2017045116A1 (en) * | 2015-09-15 | 2017-03-23 | SZ DJI Technology Co., Ltd. | System and method for supporting smooth target following |
| CN106651913A (zh) * | 2016-11-29 | 2017-05-10 | 开易（北京）科技有限公司 | 基于相关滤波和颜色直方图统计的目标跟踪方法及adas系统 |
| CN106874854A (zh) * | 2017-01-19 | 2017-06-20 | 西安电子科技大学 | 基于嵌入式平台的无人机车辆跟踪方法 |
| CN107452015A (zh) * | 2017-07-28 | 2017-12-08 | 南京工业职业技术学院 | 一种具有重检测机制的目标跟踪系统 |
-
2018
- 2018-06-08 CN CN201810588102.8A patent/CN108803655A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017045116A1 (en) * | 2015-09-15 | 2017-03-23 | SZ DJI Technology Co., Ltd. | System and method for supporting smooth target following |
| CN105245846A (zh) * | 2015-10-12 | 2016-01-13 | 西安斯凯智能科技有限公司 | 一种多无人机协同跟踪的拍摄系统及拍摄方法 |
| CN106651913A (zh) * | 2016-11-29 | 2017-05-10 | 开易（北京）科技有限公司 | 基于相关滤波和颜色直方图统计的目标跟踪方法及adas系统 |
| CN106874854A (zh) * | 2017-01-19 | 2017-06-20 | 西安电子科技大学 | 基于嵌入式平台的无人机车辆跟踪方法 |
| CN107452015A (zh) * | 2017-07-28 | 2017-12-08 | 南京工业职业技术学院 | 一种具有重检测机制的目标跟踪系统 |
Non-Patent Citations (1)
| Title |
|---|
| 范栋轶 等: "基于KCF与颜色直方图融合的长时目标跟踪算法", 《2017中国自动化大会（CAC2017）暨国际智能制造创新大会（CIMIC2017）论文集》 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110427833A (zh) * | 2019-07-10 | 2019-11-08 | 广州市讯码通讯科技有限公司 | 一种手势跟踪方法、系统和存储介质 |
| CN110910425A (zh) * | 2019-11-20 | 2020-03-24 | 上海无线电设备研究所 | 一种针对抵近飞行过程的目标跟踪方法 |
| CN111145201A (zh) * | 2019-12-26 | 2020-05-12 | 中南大学 | 一种稳健快速的无人机摄影测量标志检测与定位方法 |
| CN111899278A (zh) * | 2020-06-22 | 2020-11-06 | 北京航空航天大学 | 基于移动端的无人机图像快速目标跟踪方法 |
| CN111899278B (zh) * | 2020-06-22 | 2022-09-02 | 北京航空航天大学 | 基于移动端的无人机图像快速目标跟踪方法 |
| WO2023078445A1 (zh) * | 2021-11-05 | 2023-05-11 | 中移(成都)信息通信科技有限公司 | 一种无人机目标跟踪方法、装置、电子设备及存储介质 |
| CN117392179A (zh) * | 2023-12-11 | 2024-01-12 | 四川迪晟新达类脑智能技术有限公司 | 一种基于相关滤波器和边缘框的目标跟踪方法 |
| CN117392179B (zh) * | 2023-12-11 | 2024-02-27 | 四川迪晟新达类脑智能技术有限公司 | 一种基于相关滤波器和边缘框的目标跟踪方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108803655A (zh) | 一种无人机飞行控制平台及目标跟踪方法 | |
| Goforth et al. | GPS-denied UAV localization using pre-existing satellite imagery | |
| US8824781B2 (en) | Learning-based pose estimation from depth maps | |
| Vasudevan et al. | Precision farming using unmanned aerial and ground vehicles | |
| EP2901236B1 (en) | Video-assisted target location | |
| WO2007056711A2 (en) | Tracking using an elastic cluster of trackers | |
| CN110889327B (zh) | 一种基于热红外图像的水域周边排污口智能检测方法 | |
| CN104599286B (zh) | 一种基于光流的特征跟踪方法及装置 | |
| CN103822635A (zh) | 基于视觉信息的无人机飞行中空间位置实时计算方法 | |
| CN106767791A (zh) | 一种采用基于粒子群优化的ckf的惯性/视觉组合导航方法 | |
| CN105352509A (zh) | 地理信息时空约束下的无人机运动目标跟踪与定位方法 | |
| CN110930508A (zh) | 二维光电视频与三维场景融合方法 | |
| CN110458877A (zh) | 基于仿生视觉的红外与可见光信息融合的导航方法 | |
| CN105279769A (zh) | 一种联合多特征的层次粒子滤波跟踪方法 | |
| CN111536970B (zh) | 一种用于低能见度大尺度场景的红外惯性组合导航方法 | |
| CN112489091B (zh) | 一种基于直瞄模板的全捷联图像导引头目标跟踪方法 | |
| CN110111362A (zh) | 一种局部特征块相似匹配目标跟踪方法 | |
| CN107832655A (zh) | 一种基于无人机近地面成像的航拍系统及棉花产量估测方法 | |
| CN109448023A (zh) | 一种结合空间置信图和轨迹估计的卫星视频小目标实时跟踪方法 | |
| CN111829963A (zh) | 一种分布式遥感卫星系统 | |
| CN107424156A (zh) | 基于仿仓鸮眼视觉注意的无人机自主编队精准测量方法 | |
| CN109814074A (zh) | 基于图像形态处理的群目标跟踪方法 | |
| CN110413002A (zh) | 一种无人机遥感信息采集方法及装置 | |
| CN109961461A (zh) | 一种基于三维分层图模型的多运动目标跟踪方法 | |
| CN103345762B (zh) | 基于流形学习的贝叶斯视觉跟踪方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181113 |