CN111105429A - 一种一体化无人机检测方法 - Google Patents

一种一体化无人机检测方法 Download PDF

Info

Publication number
CN111105429A
CN111105429A CN201911218742.0A CN201911218742A CN111105429A CN 111105429 A CN111105429 A CN 111105429A CN 201911218742 A CN201911218742 A CN 201911218742A CN 111105429 A CN111105429 A CN 111105429A
Authority
CN
China
Prior art keywords
target
image
threshold
carrying
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911218742.0A
Other languages
English (en)
Other versions
CN111105429B (zh
Inventor
马杰
李欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN201911218742.0A priority Critical patent/CN111105429B/zh
Publication of CN111105429A publication Critical patent/CN111105429A/zh
Application granted granted Critical
Publication of CN111105429B publication Critical patent/CN111105429B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • G06T5/30Erosion or dilatation, e.g. thinning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种一体化无人机检测方法,属于无人机反制领域,包括:对待检测区域的全景图像进行背景建模和阈值设置,得到背景模型和阈值图,并根据背景模型和阈值图,对连续多帧待检测区域全景图像进行前景检测,得到待追踪目标;其中,阈值图用于表征全景图像各区域的复杂度;对光学成像设备进行层级变倍和云台控制,定位和放大待追踪目标,并基于改进的核相关滤波跟踪算法对所述目标进行实时跟踪;对跟踪目标进行识别分类。本发明仅采用单个可见光监控摄像头,即可同时实现目标的检测、跟踪与识别任务,相比其他具有相同功能的光电成像系统,极大简化了系统结构,缩减了成本。

Description

一种一体化无人机检测方法
技术领域
本发明属于无人机反制领域,更具体地,涉及一种一体化无人机检测方法。
背景技术
目前随着无人机技术的迅猛发展,低成本的各种小型无人机已经具有了强大的飞行、遥感等专业功能,广泛的应用于航拍、运输等领域,但与之同时也引发了一系列严重的问题。当这些无人机出现在禁飞区域、机要区域,以及隐私场所等区域时,就会给国家和群众带来极大的安全隐患甚至损失,例如无人机在机场附近飞行会干扰机场航班的正常运行,无人机在演唱会上空偷拍会侵犯版权利益,无人机在港口非法运载违禁物品等。因此,无人机反制领域的研究具有重要价值。
无人机反制领域主要包括无人机检测与无人机管控两个方面,前者解决如何发现无人机的问题,后者解决如何干预无人机的问题,并且无人机的发现是首要问题,也是最难解决的问题。现有的无人机检测技术主要包括雷达、光电、声学三类:雷达系统主要利用回波进行检测,检测距离超过1000米,但无法识别目标且价格昂贵;声学系统利用声波进行检测,具有识别功能但检测距离受限,不超过50米;光电系统一般包含检测模块与识别模块,识别模块基于光学图像进行识别分类,能够有效识别目标,同时,受光学传感器硬件的限制,检测距离一般在200米左右,价格适中,但系统普遍较为复杂,且易受天气环境等因素干扰。如雷达检测与可见光识别系统,检测距离远,但抗噪能力差,通常应用于空旷的野外场地;红外检测与可见光识别系统,短焦可见光检测与长焦可见光识别系统,这两种系统结构复杂,需要坐标系标定,存在硬件抖动误差问题,同时硬件成本较高。
发明内容
针对现有技术的以上缺陷或改进需求,本发明提供了一种一体化无人机检测方法,其目的在于解决采用现有光电系统进行无人机检测时,存在系统结构复杂,抗噪能力差的技术问题。
为实现上述目的,本发明提供了一种一体化无人机检测方法,包括:
(1)对待检测区域的全景图像进行背景建模和自适应阈值设置,得到背景模型和阈值图,并根据所述背景模型和阈值图,对连续多帧待检测区域全景图像进行前景检测,得到待追踪目标;其中,所述阈值图用于表征全景图像各区域的复杂度;
(2)对光学成像设备进行层级变倍和云台控制,定位和放大待追踪目标,并基于改进的核相关滤波跟踪算法对所述目标进行实时跟踪;
(3)对跟踪目标进行识别分类。
进一步地,步骤(1)具体包括:
(1.1)使用光学成像设备采集待检测区域的全景图像;
(1.2)对采集到的全景图像进行灰度化处理,得到待检测区域全景图像的灰度图;
(1.3)采用下式对所述灰度图进行二值化,并对得到的二值图进行膨胀处理;
Figure BDA0002300211340000021
其中,B(i,j)为灰度图,B′(i,j)为二值图,表征图像各区域复杂程度;Bcomplex为常数,表征图像复杂区域;Bsmooth为常数,表征图像平滑区域;m为梯度模板,
Figure BDA0002300211340000022
表示卷积处理,a表示梯度阈值,用于切分复杂与平滑区域;
(1.4)采用下式对复杂区域与平滑区域分别设置阈值,得到表征图像各区域复杂度的阈值图:
Figure BDA0002300211340000031
其中,A1为复杂区域阈值比例系数;A2为平滑区域阈值比例系数;Const表示高斯分布的标准差阈值常数;
(1.5)采用下式利用连续多帧待检测区域全景图像构建背景模型;
Figure BDA0002300211340000032
其中N(xtk,tk,t)代表以μk,t为均值,以σk,t为标准差的正态分布,xt表示t时刻对应的帧图像,K代表高斯模型的个数,πk代表不同高斯模型的混合系数,且有
Figure BDA0002300211340000033
0≤πk≤1;
(1.6)根据背景模型与阈值图对连续多帧全景图像进行前景提取;
(1.7)对连续多帧前景点信息进行聚类,将长度最长的轨迹作为待追踪目标;
(1.8)若未检测到待追踪目标,则每隔M帧图像,采用如下表达式对背景模型进行更新,并重复执行步骤(1.6)-(1.7)直至检测到待追踪目标;
Figure BDA0002300211340000034
其中,α表示学习率,取值越大对模板的继承性越差。
进一步地,步骤(1.6)所述基于背景模型与阈值图对连续多帧全景图像进行前景提取,具体为,采用公式||xtk,t||2≤Threshold(i,j)·σk,t对连续多帧全景图像进行前景提取。
进一步地,步骤(2)具体包括:
(2.1)根据待追踪目标的像素尺寸信息,采用以下表达式对光学成像设备进行层级变倍,并根据待追踪目标的坐标位置信息,对光学成像设备云台进行姿态控制;
Figure BDA0002300211340000041
其中,Size代表当前目标的实际像素尺寸,MaxSizeThreshold代表目标最大尺度阈值,MinSizeThreshold代表目标最小尺度阈值,MinZoom与MaxZoom代表缩小倍率值与放大倍率值;Zoom表示光学成像设备的设定倍率值;
(2.2)基于改进的核相关滤波算法对运动目标进行跟踪;
(2.3)根据跟踪得到的目标坐标位置信息,对光学成像设备云台进行姿态控制,并根据跟踪得到的像素尺寸和识别所需阈值对光学成像设备进行自适应变倍,保证目标处于视野中心。
进一步地,步骤(2.3)所述根据跟踪得到的目标坐标位置信息,对光学成像设备云台进行姿态控制,具体为,根据当前帧与中心坐标点相对位置Δxt-1和上一帧与中心坐标点相对位置Δxt-2的差值,对云台转速进行控制。
进一步地,步骤(2.1)对光学成像设备进行层级变倍后,还需进行图像稳定判断,具体包括;
1)判断图像灰度是否稳定;若是,则进入步骤2);若否则继续进行执行步骤1);
2)判断图像梯度是否稳定;若是,则进入步骤3);若否则继续进行执行步骤1);
3)判断相机倍率是否达到设定值;若是,则进入步骤(2.2);若否则继续进行执行步骤1)。
进一步地,步骤(2.2)所述对运动目标进行跟踪时,采用公式newPadding=vt/vbase·padding确定搜索框的大小,同时对连续N帧坐标信息进行拟合,根据拟合结果调整搜索框位置;其中,vt代表目标当前速度,vbase代表目标基准速度,padding表示默认搜索倍率,N<10。
进一步地,步骤(3)具体包括:
(3.1)每隔A帧图像,对跟踪目标进行一次识别;
(3.2)判断识别类型是否为设定的虚假目标,若连续识别B次均为虚假目标,则释放目标,并返回执行步骤(1)继续监测指定区域;若否,则继续对运动目标进行跟踪、识别,并持续报警直至人工解除报警或干扰器成功驱离目标;
(3.3)警报解除后,返回执行步骤(1)继续监测指定区域。
进一步地,所述光学成像设备为单孔径、可变焦,在水平、竖直方向上可转动的光电成像设备。
总体而言,通过本发明所构思的以上技术方案与现有技术相比,能够取得下列有益效果:
(1)本发明仅使用一台光电成像设备同时实现目标的检测、跟踪与识别任务,有别于双可见光系统(低倍率机+高倍率机)与其他复杂光电系统(可见光+红外或者雷达+可见光),仅仅采用单个可见光监控摄像头就可以实现光电系统的全部功能,攻克了可见光设备变倍调焦导致的画面不稳定、时间损耗长、目标丢失等技术难题,不仅继承了光学系统可靠性高的优点,还成倍缩减了光学系统的成本,优化了性能,使无人机反制系统的民用普及成为可能,具有突出的经济效益和实用价值。
(2)本发明采用递进式弱小目标检测算法进行运动小目标的检测,主要包括基于改进的高斯混合背景建模(ATL-GMM)技术进行噪声抑制与前景点的检测,基于时空联合特征的聚类技术进行目标轨迹的提取与判决,其有益效果是解决了弱小目标特征少、难检测的问题,有效地抑制了图像中的边缘噪声,并合理利用了目标的时空联合特征,提高了弱小目标运动的检测效果,增大了检测距离。
(3)本发明基于单孔径光学传感器变倍能力提出层级变倍方法,对检测目标进行快速定位与放大,克服了摄像头变倍导致的画面不稳定,目标丢失等难题,可以将系统全部功能集成到一台摄像机上,极大地降低了成本。
(4)本发明利用并行开发技术同时实现目标跟踪、识别,以及云台姿态控制,能够实时进行软件算法与硬件控制的协调配合,从而实现目标的全方位实时跟踪,有利于干扰系统的定向管制。
(5)本发明对PTZ监控摄像机云台进行姿态控制,同时调整云台转向、转速、相机倍率,能够始终保证跟踪目标居于视场中心,且能够保证目标尺寸在视场中的比例处于合适的范围,同时满足目标跟踪算法与目标识别算法对目标尺寸的要求,避免因目标尺寸问题影响算法的准确率。
附图说明
图1是本发明提出的一体化无人机检测方法流程图;
图2为无人机小目标检测示意图;
图3(a)-图3(d)为摄像头层级变倍示意图;
图4为云台姿态控制示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
如图1所示,本发明实施例提供了一种一体化无人机检测方法,包括:
(1)对待检测区域的全景图像进行背景建模和阈值设置,得到背景模型和阈值图,并根据背景模型和阈值图,对连续多帧待检测区域全景图像进行前景检测,得到待追踪目标;其中,阈值图用于表征全景图像各区域的复杂度;
具体地,步骤(1)具体包括:
(1.1)光学成像设备在低倍率状态下采集待检测区域的全景图像,其中,光学成像设备为单孔径、可变焦,在水平、竖直方向上可转动的光电成像设备。本发明实施例采集到的全景图像如图2所示;
(1.2)对采集到的全景图像进行灰度化处理,得到待检测区域全景图像的灰度图;
(1.3)采用下式对所述灰度图进行二值化,并对得到的二值图进行膨胀处理;
Figure BDA0002300211340000071
其中,Bcomplex为常数,本发明实施例取1,表征图像复杂区域;Bsmooth为常数,本发明实施例取0,表征图像平滑区域;m为梯度模板,可为拉普拉斯算子、canny算子等梯度算子;
Figure BDA0002300211340000074
表示卷积处理,a表示梯度阈值,取值范围为0~255,用于切分复杂与平滑区域;
(1.4)采用下式对复杂区域与平滑区域分别设置阈值,得到表征图像各区域复杂度的阈值图:
Figure BDA0002300211340000072
其中,A1为复杂区域阈值比例系数,本发明实施例取1;A2为平滑区域阈值比例系数,本发明实施例取0.8;Const表示高斯分布的标准差阈值常数,本发明实施例取2.5;本发明实施例对平滑区域设置Threshold(i,j)为2(即2σ范围),对背景信息有较小的接受度,对目标有较强的检测灵敏度,在平滑区域中更容易判定为可疑目标;对复杂区域设置Threshold(i,j)为2.5(即2.5σ范围),增加了对背景的接受度,能够抑制复杂区域中的大量噪声,同时也对目标有一定的检测能力。
(1.5)采用下式利用连续多帧待检测区域全景图像构建背景模型;
Figure BDA0002300211340000073
其中N(xt|μk,tk,t)代表以μk,t为均值,以σk,t为标准差的正态分布,xt表示t时刻对应的帧图像,K代表高斯模型的个数,可取3~5,πk代表不同高斯模型的混合系数,且有
Figure BDA0002300211340000081
0≤πk≤1;
(1.6)根据背景模型与阈值图对连续多帧全景图像进行前景提取;具体地,采用公式||xtk,t||2≤Threshold(i,j)·σk,t对连续多帧全景图像进行前景提取,通过采用Threshold(i,j)代替固定阈值,以达到对场景复杂/平滑区域的自适应切分。
(1.7)对连续多帧前景点信息进行聚类,选择长度最长的轨迹作为待追踪目标;
(1.8)每隔M(本发明实施例取30)帧图像,采用如下表达式对背景模型进行更新,以适应光照等环境变化,并重复执行步骤(1.6)-(1.7)直至检测到待追踪目标;
Figure BDA0002300211340000082
其中,α表示学习率,取值越大对模板的继承性越差,本发明实施例取0.1。
(2)对光学成像设备进行层级变倍和云台控制,定位和放大待追踪目标,并基于改进的核相关滤波跟踪算法对目标进行实时跟踪;
本发明基于单孔径光学传感器变倍能力提出层级变倍方法,对检测目标进行快速定位与放大,克服了摄像头变倍导致的画面不稳定,目标丢失等难题,可以将系统全部功能集成到一台摄像机上,极大地降低了成本。
具体地,步骤(2)包括:
(2.1)根据步骤(1)得到的待追踪目标的像素尺寸信息,采用以下表达式对光学成像设备进行层级变倍,并根据待追踪目标的坐标位置信息,对光学成像设备云台进行姿态控制;
Figure BDA0002300211340000091
其中,Size代表当前目标的实际像素尺寸,MaxSizeThreshold代表目标最大尺度阈值,MinSizeThreshold代表目标最小尺度阈值,MinZoom与MaxZoom代表缩小倍率值与放大倍率值;Zoom表示光学成像设备的设定倍率值;本发明采用中倍率(中焦)进行目标跟踪,目标最佳尺度范围大致为w:[20,100],h:[10,50],因此最大尺度阈值设为100*50,最小尺度阈值设为20*10,若接近最佳尺度范围,则变倍幅度小(放大1~3倍),若远小于最佳尺度范围,则变倍幅度大(放大4~10倍),以保证变倍放大后的目标尺度满足跟踪算法的最佳效果要求,提高系统性能。
层级变倍示意图如图3(a)-图3(d)所示,在对光学成像设备进行层级变倍后,还需进行图像稳定判断,具体包括;1)判断图像灰度是否稳定;若是,则进入步骤2);若否则继续进行执行步骤1);2)判断图像梯度是否稳定;若是,则进入步骤3);若否则继续进行执行步骤1);3)判断相机倍率是否达到设定值;若是,则进入步骤(2.2);若否则继续进行执行步骤1)。
(2.2)基于核相关滤波算法对运动目标进行跟踪;
具体地,为满足实时性和准确率的要求,本系统采用基于改进的核相关滤波跟踪算法(APP-KCF,Kerneled correlation filterwith adaptive paddingandpositionprediction on target tracking)对目标进行实时跟踪,并实时记录目标的坐标位置信息,对算法的改进主要体现在对运动目标进行跟踪时,采用公式newPadding=vt/vbase·padding确定搜索框的大小,同时对连续N帧坐标信息进行拟合,根据拟合结果调整搜索框位置;其中,vt代表目标当前速度,可以通过帧间像素位移量表征;vbase代表目标基准速度,通过帧间像素位移量为目标尺度的2倍表征;padding表示默认搜索倍率2.5;newPadding设定取值范围[2,5],避免过大导致时间损耗,避免过小导致边界截断;当N为2时,可以采用线性拟合;N大于2时,可以采用多项式拟合,或者使用卡尔曼滤波算法进行位置预测。同时,N一般小于10,因为N较小时,时间较短(小于0.2秒),可以假设无人机目标运动轨迹是可以预测的。
(2.3)根据跟踪得到的目标坐标位置信息,对光学成像设备云台进行姿态控制,并根据跟踪得到的像素尺寸和识别所需阈值对光学成像设备进行自适应变倍,保证目标处于视野中心。
具体地,光学成像设备云台的姿态控制包括方向和转速两方面;对运动方向的控制方法为:如附图4中所示的Δx和Δy,均为目标实际坐标与中心坐标的差值,“+”符号表示目标处于视野右侧或下方,“-”符号表示目标处于视野左侧或上方,“0”表示目标在视野中水平居中或竖直居中,从而通过二者的正负符号组合,来控制云台的运动方向。如表1所示,(-,-)表示云台向左上方转动,(-,0)表示云台向左转动,(-,+)表示云台向左下转动,(0,-)表示云台向上转动,(0,0)表示云台不转动,(0,+)表示云台向下转动,(+,-)表示云台向右上转动,(+,0)表示云台向右转动,(+,+)表示云台向右下转动;
表1
(-,-) (0,-) (+,-)
(-,0) (0,0) (+,0)
(-,+) (0,+) (+,+)
此外,由于仅考虑中心单一坐标时,目标在中心位置几乎不可能完全保证Δx和Δy均为0,会对云台姿态控制产生抖动,因此将中心坐标改进为中心区域,设定一个区域边界阈值进行Δx和Δy的计算,以避免抖动。
对云台转速的控制方法为:根据当前帧与中心坐标点相对位置Δxt-1和上一帧与中心坐标点相对位置Δxt-2的差值,对云台转速进行控制。为便于理解,可用以下公式表示:
Figure BDA0002300211340000111
其中,n速度误差累积的连续历史帧数,本发明实施例取3,Vt-1代表云台上一次的转速,F(fx,fy)代表云台是否能够跟上目标的速度,F补偿(∑fx,∑fy)代表累积偏差的速度补偿。工程实现时,公式中分母不能为0。本发明实施例F(fx,fy)取值见表2,F补偿(∑fx,∑fy)取值与F(fx,fy)类似,只需将∑fx≥1与fx=1对应,其他取值原理类似。
表2
(f<sub>x</sub>,f<sub>y</sub>) F(f<sub>x</sub>,f<sub>y</sub>) (f<sub>x</sub>,f<sub>y</sub>) F(f<sub>x</sub>,f<sub>y</sub>) (f<sub>x</sub>,f<sub>y</sub>) F(f<sub>x</sub>,f<sub>y</sub>)
(1,1) 1 (0,1) 1 (0,-1) -1
(1,0) 1 (-1,1) 1 (-1,0) -1
(1,-1) 1 (0,0) 0 (-1,-1) -1
其中,fx为1时表示云台在x方向上跟不上目标,0或-1时表示跟得上,fy表示y方向上,类似fx。在x和y方向上,只要有跟不上的情况出现,就增加云台转速,每次增量为1;此外,当云台转速过高时,就降低云台转速,每次增量为-1。
当目标居于视野中央时,依据目标尺度进行动态变焦,自适应调整倍率的方法与步骤(2.1)类似,识别算法适用的最佳尺寸范围为w:[50,200],h:[30,80],当目标尺度大于阈值范围时,缩小倍率(1~2倍),当目标尺度小于阈值范围时,放大倍率(1~2倍),以保证目标处于视野中心并且尺度适当,截取目标区域图像,传入目标识别模块进行识别。
(3)对跟踪目标进行识别分类。
具体地,采用卷积神经网络对目标进行识别分类,数据集与实际应用相适应,具有针对性。为避免干扰,本发明采取定间隔的方法对运动目标进行识别,具体包括:(3.1)每隔A(本发明实施例取5)帧图像,对跟踪目标进行一次识别;(3.2)判断识别类型是否为设定的虚假目标,若连续识别B(本发明实施例取3)次均为虚假目标,则释放目标,并返回执行步骤(1)继续监测指定区域;若否,则继续对运动目标进行跟踪、识别,并持续报警直至人工解除报警或干扰器成功驱离目标;(3.2)警报解除后,返回执行步骤(1)继续监测指定区域。由于运动目标可能受到的干扰较多,对识别不利,本发明采用定间隔识别方法增加了对识别功能的容错率,同时也提高了系统的性能。
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (9)

1.一种一体化无人机检测方法,其特征在于,包括:
(1)对待检测区域的全景图像进行背景建模和自适应阈值设置,得到背景模型和阈值图,并根据所述背景模型和阈值图,对连续多帧待检测区域全景图像进行前景检测,得到待追踪目标;其中,所述阈值图用于表征全景图像各区域的复杂度;
(2)对光学成像设备进行层级变倍和云台控制,定位和放大待追踪目标,并基于改进的核相关滤波跟踪算法对所述目标进行实时跟踪;
(3)对跟踪目标进行识别分类。
2.根据权利要求1所述的一种一体化无人机检测方法,其特征在于,步骤(1)具体包括:
(1.1)使用光学成像设备采集待检测区域的全景图像;
(1.2)对采集到的全景图像进行灰度化处理,得到待检测区域全景图像的灰度图;
(1.3)采用下式对所述灰度图进行二值化,并对得到的二值图进行膨胀处理;
Figure FDA0002300211330000011
其中,B(i,j)为灰度图,B′(i,j)为二值图,表征图像各区域复杂程度;Bcomplex为常数,表征图像复杂区域;Bsmooth为常数,表征图像平滑区域;m为梯度模板,
Figure FDA0002300211330000012
表示卷积处理,a表示梯度阈值,用于切分复杂与平滑区域;
(1.4)采用下式对复杂区域与平滑区域分别设置阈值,得到表征图像各区域复杂度的阈值图:
Figure FDA0002300211330000013
其中,A1为复杂区域阈值比例系数;A2为平滑区域阈值比例系数;Const表示高斯分布的标准差阈值常数;
(1.5)采用下式利用连续多帧待检测区域全景图像构建背景模型;
Figure FDA0002300211330000021
其中N(xtk,tk,t)代表以μk,t为均值,以σk,t为标准差的正态分布,xt表示t时刻对应的帧图像,K代表高斯模型的个数,πk代表不同高斯模型的混合系数,且有
Figure FDA0002300211330000022
(1.6)根据背景模型与阈值图对连续多帧全景图像进行前景提取;
(1.7)对连续多帧前景点信息进行聚类,将长度最长的轨迹作为待追踪目标;
(1.8)若未检测到待追踪目标,则每隔M帧图像,采用如下表达式对背景模型进行更新,并重复执行步骤(1.6)-(1.7)直至检测到待追踪目标;
Figure FDA0002300211330000023
其中,α表示学习率,取值越大对模板的继承性越差。
3.根据权利要求2所述的一种一体化无人机检测方法,其特征在于,步骤(1.6)所述基于背景模型与阈值图对连续多帧全景图像进行前景提取,具体为,采用公式||xtk,t||2≤Threshold(i,j)·σk,t对连续多帧全景图像进行前景提取。
4.根据权利要求1-3任一项所述的一种一体化无人机检测方法,其特征在于,步骤(2)具体包括:
(2.1)根据待追踪目标的像素尺寸信息,采用以下表达式对光学成像设备进行层级变倍,并根据待追踪目标的坐标位置信息,对光学成像设备云台进行姿态控制;
Figure FDA0002300211330000031
其中,Size代表当前目标的实际像素尺寸,MaxSizeThreshold代表目标最大尺度阈值,MinSizeThreshold代表目标最小尺度阈值,MinZoom与MaxZoom代表缩小倍率值与放大倍率值;Zoom表示光学成像设备的设定倍率值;
(2.2)基于改进的核相关滤波算法对运动目标进行跟踪;
(2.3)根据跟踪得到的目标坐标位置信息,对光学成像设备云台进行姿态控制,并根据跟踪得到的像素尺寸和识别所需阈值对光学成像设备进行自适应变倍,保证目标处于视野中心。
5.根据权利要求4所述的一种一体化无人机检测方法,其特征在于,步骤(2.3)所述根据跟踪得到的目标坐标位置信息,对光学成像设备云台进行姿态控制,具体为,根据当前帧与中心坐标点相对位置Δxt-1和上一帧与中心坐标点相对位置Δxt-2的差值,对云台转速进行控制。
6.根据权利要求4所述的一种一体化无人机检测方法,其特征在于,步骤(2.1)对光学成像设备进行层级变倍后,还需进行图像稳定判断,具体包括;
1)判断图像灰度是否稳定;若是,则进入步骤2);若否则继续进行执行步骤1);
2)判断图像梯度是否稳定;若是,则进入步骤3);若否则继续进行执行步骤1);
3)判断相机倍率是否达到设定值;若是,则进入步骤(2.2);若否则继续进行执行步骤1)。
7.根据权利要求4所述的一种一体化无人机检测方法,其特征在于,步骤(2.2)所述对运动目标进行跟踪时,采用公式newPadding=vt/vbase·padding确定搜索框的大小,同时对连续N帧坐标信息进行拟合,根据拟合结果调整搜索框位置;其中,vt代表目标当前速度,vbase代表目标基准速度,padding表示默认搜索倍率,N<10。
8.根据权利要求1-7任一项所述的一种一体化无人机检测方法,其特征在于,步骤(3)具体包括:
(3.1)每隔A帧图像,对跟踪目标进行一次识别;
(3.2)判断识别类型是否为设定的虚假目标,若连续识别B次均为虚假目标,则释放目标,并返回执行步骤(1)继续监测指定区域;若否,则继续对运动目标进行跟踪、识别,并持续报警直至人工解除报警或干扰器成功驱离目标;
(3.3)警报解除后,返回执行步骤(1)继续监测指定区域。
9.根据权利要求1-8任一项所述的一种一体化无人机检测方法,其特征在于,所述光学成像设备为单孔径、可变焦,在水平、竖直方向上可转动的光电成像设备。
CN201911218742.0A 2019-12-03 2019-12-03 一种一体化无人机检测方法 Active CN111105429B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911218742.0A CN111105429B (zh) 2019-12-03 2019-12-03 一种一体化无人机检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911218742.0A CN111105429B (zh) 2019-12-03 2019-12-03 一种一体化无人机检测方法

Publications (2)

Publication Number Publication Date
CN111105429A true CN111105429A (zh) 2020-05-05
CN111105429B CN111105429B (zh) 2022-07-12

Family

ID=70420941

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911218742.0A Active CN111105429B (zh) 2019-12-03 2019-12-03 一种一体化无人机检测方法

Country Status (1)

Country Link
CN (1) CN111105429B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112101099A (zh) * 2020-08-04 2020-12-18 北京航空航天大学 一种仿鹰眼自适应机制的无人机海面小目标识别方法
WO2022057800A1 (zh) * 2020-09-16 2022-03-24 华为技术有限公司 云台摄像机、云台摄像机的追踪控制方法、装置及设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105338248A (zh) * 2015-11-20 2016-02-17 成都因纳伟盛科技股份有限公司 智能多目标主动跟踪监控方法及系统
CN107016690A (zh) * 2017-03-06 2017-08-04 浙江大学 基于视觉的无人机入侵检测与识别系统及方法
US20180129882A1 (en) * 2016-11-08 2018-05-10 Dedrone Holdings, Inc. Systems, Methods, Apparatuses, and Devices for Identifying, Tracking, and Managing Unmanned Aerial Vehicles
CN109872483A (zh) * 2019-02-22 2019-06-11 华中光电技术研究所(中国船舶重工集团有限公司第七一七研究所) 一种入侵警戒光电监测系统及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105338248A (zh) * 2015-11-20 2016-02-17 成都因纳伟盛科技股份有限公司 智能多目标主动跟踪监控方法及系统
US20180129882A1 (en) * 2016-11-08 2018-05-10 Dedrone Holdings, Inc. Systems, Methods, Apparatuses, and Devices for Identifying, Tracking, and Managing Unmanned Aerial Vehicles
CN107016690A (zh) * 2017-03-06 2017-08-04 浙江大学 基于视觉的无人机入侵检测与识别系统及方法
CN109872483A (zh) * 2019-02-22 2019-06-11 华中光电技术研究所(中国船舶重工集团有限公司第七一七研究所) 一种入侵警戒光电监测系统及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
WANG WEIHUA ET AL.: "A Real-time Detection Algorithm for Unmanned Aerial Vehicle Target in Infrared Search System", 《2018 IEEE INTERNATIONAL CONFERENCE ON SIGNAL PROCESSING, COMMUNICATIONS AND COMPUTING (ICSPCC)》 *
鲁书山: "移动目标检测与跟踪技术的研究及Matlab实现", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112101099A (zh) * 2020-08-04 2020-12-18 北京航空航天大学 一种仿鹰眼自适应机制的无人机海面小目标识别方法
CN112101099B (zh) * 2020-08-04 2022-09-06 北京航空航天大学 一种仿鹰眼自适应机制的无人机海面小目标识别方法
WO2022057800A1 (zh) * 2020-09-16 2022-03-24 华为技术有限公司 云台摄像机、云台摄像机的追踪控制方法、装置及设备

Also Published As

Publication number Publication date
CN111105429B (zh) 2022-07-12

Similar Documents

Publication Publication Date Title
US11915502B2 (en) Systems and methods for depth map sampling
CN109635685B (zh) 目标对象3d检测方法、装置、介质及设备
US10339386B2 (en) Unusual event detection in wide-angle video (based on moving object trajectories)
US9947077B2 (en) Video object tracking in traffic monitoring
CN105894702A (zh) 一种基于多摄像机数据融合的入侵检测报警系统及其检测方法
CN104378582A (zh) 一种基于ptz摄像机巡航的智能视频分析系统及方法
US11430199B2 (en) Feature recognition assisted super-resolution method
CN111105429B (zh) 一种一体化无人机检测方法
CN110728700B (zh) 一种运动目标追踪方法、装置、计算机设备及存储介质
Lalonde et al. A system to automatically track humans and vehicles with a PTZ camera
CN117615255B (zh) 基于云台的拍摄追踪方法、装置、设备及存储介质
Tulpan et al. Experimental evaluation of four feature detection methods for close range and distant airborne targets for Unmanned Aircraft Systems applications
CN112800918A (zh) 一种非法运动目标的身份识别方法及装置
Wang et al. A real-time active pedestrian tracking system inspired by the human visual system
CN103258433B (zh) 一种交通视频监控中智能车牌清晰显示方法
Kaimkhani et al. UAV with Vision to Recognise Vehicle Number Plates
Shan et al. Maritime target detection based on electronic image stabilization technology of shipborne camera
Bhusal Object detection and tracking in wide area surveillance using thermal imagery
Heo et al. Autonomous reckless driving detection using deep learning on embedded GPUs
KR101210866B1 (ko) 회전줌 카메라 기반 평균이동 알고리즘을 이용한 객체추적 시스템
EP4089649A1 (en) Neuromorphic cameras for aircraft
Shao et al. Tracking algorithm using background-foreground motion models and multiple cues [surveillance video applications]
Tayeb et al. Vehicle Speed Estimation Using Gaussian Mixture Model and Kalman Filter
Tian et al. Intelligent Spot Detection for Degraded Image Sequences Based on Machine Vision
WO2022198509A1 (zh) 目标跟踪方法、模型训练方法、装置、可移动平台及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant