CN111105429A - 一种一体化无人机检测方法 - Google Patents
一种一体化无人机检测方法 Download PDFInfo
- Publication number
- CN111105429A CN111105429A CN201911218742.0A CN201911218742A CN111105429A CN 111105429 A CN111105429 A CN 111105429A CN 201911218742 A CN201911218742 A CN 201911218742A CN 111105429 A CN111105429 A CN 111105429A
- Authority
- CN
- China
- Prior art keywords
- target
- image
- threshold
- carrying
- tracking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 40
- 238000012634 optical imaging Methods 0.000 claims abstract description 31
- 238000012544 monitoring process Methods 0.000 claims abstract description 9
- 238000001914 filtration Methods 0.000 claims abstract description 8
- 238000003384 imaging method Methods 0.000 claims abstract description 5
- 238000000605 extraction Methods 0.000 claims description 9
- 238000000034 method Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 9
- 230000000007 visual effect Effects 0.000 claims description 5
- 239000000203 mixture Substances 0.000 claims description 4
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 230000006641 stabilisation Effects 0.000 claims description 3
- 238000011105 stabilization Methods 0.000 claims description 3
- 238000003706 image smoothing Methods 0.000 claims description 2
- 230000005693 optoelectronics Effects 0.000 claims 1
- 230000006870 function Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000010006 flight Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000005622 photoelectricity Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Studio Devices (AREA)
Abstract
本发明公开了一种一体化无人机检测方法,属于无人机反制领域,包括:对待检测区域的全景图像进行背景建模和阈值设置,得到背景模型和阈值图,并根据背景模型和阈值图,对连续多帧待检测区域全景图像进行前景检测,得到待追踪目标;其中,阈值图用于表征全景图像各区域的复杂度;对光学成像设备进行层级变倍和云台控制,定位和放大待追踪目标,并基于改进的核相关滤波跟踪算法对所述目标进行实时跟踪;对跟踪目标进行识别分类。本发明仅采用单个可见光监控摄像头,即可同时实现目标的检测、跟踪与识别任务,相比其他具有相同功能的光电成像系统,极大简化了系统结构,缩减了成本。
Description
技术领域
本发明属于无人机反制领域,更具体地,涉及一种一体化无人机检测方法。
背景技术
目前随着无人机技术的迅猛发展,低成本的各种小型无人机已经具有了强大的飞行、遥感等专业功能,广泛的应用于航拍、运输等领域,但与之同时也引发了一系列严重的问题。当这些无人机出现在禁飞区域、机要区域,以及隐私场所等区域时,就会给国家和群众带来极大的安全隐患甚至损失,例如无人机在机场附近飞行会干扰机场航班的正常运行,无人机在演唱会上空偷拍会侵犯版权利益,无人机在港口非法运载违禁物品等。因此,无人机反制领域的研究具有重要价值。
无人机反制领域主要包括无人机检测与无人机管控两个方面,前者解决如何发现无人机的问题,后者解决如何干预无人机的问题,并且无人机的发现是首要问题,也是最难解决的问题。现有的无人机检测技术主要包括雷达、光电、声学三类:雷达系统主要利用回波进行检测,检测距离超过1000米,但无法识别目标且价格昂贵;声学系统利用声波进行检测,具有识别功能但检测距离受限,不超过50米;光电系统一般包含检测模块与识别模块,识别模块基于光学图像进行识别分类,能够有效识别目标,同时,受光学传感器硬件的限制,检测距离一般在200米左右,价格适中,但系统普遍较为复杂,且易受天气环境等因素干扰。如雷达检测与可见光识别系统,检测距离远,但抗噪能力差,通常应用于空旷的野外场地;红外检测与可见光识别系统,短焦可见光检测与长焦可见光识别系统,这两种系统结构复杂,需要坐标系标定,存在硬件抖动误差问题,同时硬件成本较高。
发明内容
针对现有技术的以上缺陷或改进需求,本发明提供了一种一体化无人机检测方法,其目的在于解决采用现有光电系统进行无人机检测时,存在系统结构复杂,抗噪能力差的技术问题。
为实现上述目的,本发明提供了一种一体化无人机检测方法,包括:
(1)对待检测区域的全景图像进行背景建模和自适应阈值设置,得到背景模型和阈值图,并根据所述背景模型和阈值图,对连续多帧待检测区域全景图像进行前景检测,得到待追踪目标;其中,所述阈值图用于表征全景图像各区域的复杂度;
(2)对光学成像设备进行层级变倍和云台控制,定位和放大待追踪目标,并基于改进的核相关滤波跟踪算法对所述目标进行实时跟踪;
(3)对跟踪目标进行识别分类。
进一步地,步骤(1)具体包括:
(1.1)使用光学成像设备采集待检测区域的全景图像;
(1.2)对采集到的全景图像进行灰度化处理,得到待检测区域全景图像的灰度图;
(1.3)采用下式对所述灰度图进行二值化,并对得到的二值图进行膨胀处理;
其中,B(i,j)为灰度图,B′(i,j)为二值图,表征图像各区域复杂程度;Bcomplex为常数,表征图像复杂区域;Bsmooth为常数,表征图像平滑区域;m为梯度模板,表示卷积处理,a表示梯度阈值,用于切分复杂与平滑区域;
(1.4)采用下式对复杂区域与平滑区域分别设置阈值,得到表征图像各区域复杂度的阈值图:
其中,A1为复杂区域阈值比例系数;A2为平滑区域阈值比例系数;Const表示高斯分布的标准差阈值常数;
(1.5)采用下式利用连续多帧待检测区域全景图像构建背景模型;
(1.6)根据背景模型与阈值图对连续多帧全景图像进行前景提取;
(1.7)对连续多帧前景点信息进行聚类,将长度最长的轨迹作为待追踪目标;
(1.8)若未检测到待追踪目标,则每隔M帧图像,采用如下表达式对背景模型进行更新,并重复执行步骤(1.6)-(1.7)直至检测到待追踪目标;
其中,α表示学习率,取值越大对模板的继承性越差。
进一步地,步骤(1.6)所述基于背景模型与阈值图对连续多帧全景图像进行前景提取,具体为,采用公式||xt-μk,t||2≤Threshold(i,j)·σk,t对连续多帧全景图像进行前景提取。
进一步地,步骤(2)具体包括:
(2.1)根据待追踪目标的像素尺寸信息,采用以下表达式对光学成像设备进行层级变倍,并根据待追踪目标的坐标位置信息,对光学成像设备云台进行姿态控制;
其中,Size代表当前目标的实际像素尺寸,MaxSizeThreshold代表目标最大尺度阈值,MinSizeThreshold代表目标最小尺度阈值,MinZoom与MaxZoom代表缩小倍率值与放大倍率值;Zoom表示光学成像设备的设定倍率值;
(2.2)基于改进的核相关滤波算法对运动目标进行跟踪;
(2.3)根据跟踪得到的目标坐标位置信息,对光学成像设备云台进行姿态控制,并根据跟踪得到的像素尺寸和识别所需阈值对光学成像设备进行自适应变倍,保证目标处于视野中心。
进一步地,步骤(2.3)所述根据跟踪得到的目标坐标位置信息,对光学成像设备云台进行姿态控制,具体为,根据当前帧与中心坐标点相对位置Δxt-1和上一帧与中心坐标点相对位置Δxt-2的差值,对云台转速进行控制。
进一步地,步骤(2.1)对光学成像设备进行层级变倍后,还需进行图像稳定判断,具体包括;
1)判断图像灰度是否稳定;若是,则进入步骤2);若否则继续进行执行步骤1);
2)判断图像梯度是否稳定;若是,则进入步骤3);若否则继续进行执行步骤1);
3)判断相机倍率是否达到设定值;若是,则进入步骤(2.2);若否则继续进行执行步骤1)。
进一步地,步骤(2.2)所述对运动目标进行跟踪时,采用公式newPadding=vt/vbase·padding确定搜索框的大小,同时对连续N帧坐标信息进行拟合,根据拟合结果调整搜索框位置;其中,vt代表目标当前速度,vbase代表目标基准速度,padding表示默认搜索倍率,N<10。
进一步地,步骤(3)具体包括:
(3.1)每隔A帧图像,对跟踪目标进行一次识别;
(3.2)判断识别类型是否为设定的虚假目标,若连续识别B次均为虚假目标,则释放目标,并返回执行步骤(1)继续监测指定区域;若否,则继续对运动目标进行跟踪、识别,并持续报警直至人工解除报警或干扰器成功驱离目标;
(3.3)警报解除后,返回执行步骤(1)继续监测指定区域。
进一步地,所述光学成像设备为单孔径、可变焦,在水平、竖直方向上可转动的光电成像设备。
总体而言,通过本发明所构思的以上技术方案与现有技术相比,能够取得下列有益效果:
(1)本发明仅使用一台光电成像设备同时实现目标的检测、跟踪与识别任务,有别于双可见光系统(低倍率机+高倍率机)与其他复杂光电系统(可见光+红外或者雷达+可见光),仅仅采用单个可见光监控摄像头就可以实现光电系统的全部功能,攻克了可见光设备变倍调焦导致的画面不稳定、时间损耗长、目标丢失等技术难题,不仅继承了光学系统可靠性高的优点,还成倍缩减了光学系统的成本,优化了性能,使无人机反制系统的民用普及成为可能,具有突出的经济效益和实用价值。
(2)本发明采用递进式弱小目标检测算法进行运动小目标的检测,主要包括基于改进的高斯混合背景建模(ATL-GMM)技术进行噪声抑制与前景点的检测,基于时空联合特征的聚类技术进行目标轨迹的提取与判决,其有益效果是解决了弱小目标特征少、难检测的问题,有效地抑制了图像中的边缘噪声,并合理利用了目标的时空联合特征,提高了弱小目标运动的检测效果,增大了检测距离。
(3)本发明基于单孔径光学传感器变倍能力提出层级变倍方法,对检测目标进行快速定位与放大,克服了摄像头变倍导致的画面不稳定,目标丢失等难题,可以将系统全部功能集成到一台摄像机上,极大地降低了成本。
(4)本发明利用并行开发技术同时实现目标跟踪、识别,以及云台姿态控制,能够实时进行软件算法与硬件控制的协调配合,从而实现目标的全方位实时跟踪,有利于干扰系统的定向管制。
(5)本发明对PTZ监控摄像机云台进行姿态控制,同时调整云台转向、转速、相机倍率,能够始终保证跟踪目标居于视场中心,且能够保证目标尺寸在视场中的比例处于合适的范围,同时满足目标跟踪算法与目标识别算法对目标尺寸的要求,避免因目标尺寸问题影响算法的准确率。
附图说明
图1是本发明提出的一体化无人机检测方法流程图;
图2为无人机小目标检测示意图;
图3(a)-图3(d)为摄像头层级变倍示意图;
图4为云台姿态控制示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
如图1所示,本发明实施例提供了一种一体化无人机检测方法,包括:
(1)对待检测区域的全景图像进行背景建模和阈值设置,得到背景模型和阈值图,并根据背景模型和阈值图,对连续多帧待检测区域全景图像进行前景检测,得到待追踪目标;其中,阈值图用于表征全景图像各区域的复杂度;
具体地,步骤(1)具体包括:
(1.1)光学成像设备在低倍率状态下采集待检测区域的全景图像,其中,光学成像设备为单孔径、可变焦,在水平、竖直方向上可转动的光电成像设备。本发明实施例采集到的全景图像如图2所示;
(1.2)对采集到的全景图像进行灰度化处理,得到待检测区域全景图像的灰度图;
(1.3)采用下式对所述灰度图进行二值化,并对得到的二值图进行膨胀处理;
其中,Bcomplex为常数,本发明实施例取1,表征图像复杂区域;Bsmooth为常数,本发明实施例取0,表征图像平滑区域;m为梯度模板,可为拉普拉斯算子、canny算子等梯度算子;表示卷积处理,a表示梯度阈值,取值范围为0~255,用于切分复杂与平滑区域;
(1.4)采用下式对复杂区域与平滑区域分别设置阈值,得到表征图像各区域复杂度的阈值图:
其中,A1为复杂区域阈值比例系数,本发明实施例取1;A2为平滑区域阈值比例系数,本发明实施例取0.8;Const表示高斯分布的标准差阈值常数,本发明实施例取2.5;本发明实施例对平滑区域设置Threshold(i,j)为2(即2σ范围),对背景信息有较小的接受度,对目标有较强的检测灵敏度,在平滑区域中更容易判定为可疑目标;对复杂区域设置Threshold(i,j)为2.5(即2.5σ范围),增加了对背景的接受度,能够抑制复杂区域中的大量噪声,同时也对目标有一定的检测能力。
(1.5)采用下式利用连续多帧待检测区域全景图像构建背景模型;
(1.6)根据背景模型与阈值图对连续多帧全景图像进行前景提取;具体地,采用公式||xt-μk,t||2≤Threshold(i,j)·σk,t对连续多帧全景图像进行前景提取,通过采用Threshold(i,j)代替固定阈值,以达到对场景复杂/平滑区域的自适应切分。
(1.7)对连续多帧前景点信息进行聚类,选择长度最长的轨迹作为待追踪目标;
(1.8)每隔M(本发明实施例取30)帧图像,采用如下表达式对背景模型进行更新,以适应光照等环境变化,并重复执行步骤(1.6)-(1.7)直至检测到待追踪目标;
其中,α表示学习率,取值越大对模板的继承性越差,本发明实施例取0.1。
(2)对光学成像设备进行层级变倍和云台控制,定位和放大待追踪目标,并基于改进的核相关滤波跟踪算法对目标进行实时跟踪;
本发明基于单孔径光学传感器变倍能力提出层级变倍方法,对检测目标进行快速定位与放大,克服了摄像头变倍导致的画面不稳定,目标丢失等难题,可以将系统全部功能集成到一台摄像机上,极大地降低了成本。
具体地,步骤(2)包括:
(2.1)根据步骤(1)得到的待追踪目标的像素尺寸信息,采用以下表达式对光学成像设备进行层级变倍,并根据待追踪目标的坐标位置信息,对光学成像设备云台进行姿态控制;
其中,Size代表当前目标的实际像素尺寸,MaxSizeThreshold代表目标最大尺度阈值,MinSizeThreshold代表目标最小尺度阈值,MinZoom与MaxZoom代表缩小倍率值与放大倍率值;Zoom表示光学成像设备的设定倍率值;本发明采用中倍率(中焦)进行目标跟踪,目标最佳尺度范围大致为w:[20,100],h:[10,50],因此最大尺度阈值设为100*50,最小尺度阈值设为20*10,若接近最佳尺度范围,则变倍幅度小(放大1~3倍),若远小于最佳尺度范围,则变倍幅度大(放大4~10倍),以保证变倍放大后的目标尺度满足跟踪算法的最佳效果要求,提高系统性能。
层级变倍示意图如图3(a)-图3(d)所示,在对光学成像设备进行层级变倍后,还需进行图像稳定判断,具体包括;1)判断图像灰度是否稳定;若是,则进入步骤2);若否则继续进行执行步骤1);2)判断图像梯度是否稳定;若是,则进入步骤3);若否则继续进行执行步骤1);3)判断相机倍率是否达到设定值;若是,则进入步骤(2.2);若否则继续进行执行步骤1)。
(2.2)基于核相关滤波算法对运动目标进行跟踪;
具体地,为满足实时性和准确率的要求,本系统采用基于改进的核相关滤波跟踪算法(APP-KCF,Kerneled correlation filterwith adaptive paddingandpositionprediction on target tracking)对目标进行实时跟踪,并实时记录目标的坐标位置信息,对算法的改进主要体现在对运动目标进行跟踪时,采用公式newPadding=vt/vbase·padding确定搜索框的大小,同时对连续N帧坐标信息进行拟合,根据拟合结果调整搜索框位置;其中,vt代表目标当前速度,可以通过帧间像素位移量表征;vbase代表目标基准速度,通过帧间像素位移量为目标尺度的2倍表征;padding表示默认搜索倍率2.5;newPadding设定取值范围[2,5],避免过大导致时间损耗,避免过小导致边界截断;当N为2时,可以采用线性拟合;N大于2时,可以采用多项式拟合,或者使用卡尔曼滤波算法进行位置预测。同时,N一般小于10,因为N较小时,时间较短(小于0.2秒),可以假设无人机目标运动轨迹是可以预测的。
(2.3)根据跟踪得到的目标坐标位置信息,对光学成像设备云台进行姿态控制,并根据跟踪得到的像素尺寸和识别所需阈值对光学成像设备进行自适应变倍,保证目标处于视野中心。
具体地,光学成像设备云台的姿态控制包括方向和转速两方面;对运动方向的控制方法为:如附图4中所示的Δx和Δy,均为目标实际坐标与中心坐标的差值,“+”符号表示目标处于视野右侧或下方,“-”符号表示目标处于视野左侧或上方,“0”表示目标在视野中水平居中或竖直居中,从而通过二者的正负符号组合,来控制云台的运动方向。如表1所示,(-,-)表示云台向左上方转动,(-,0)表示云台向左转动,(-,+)表示云台向左下转动,(0,-)表示云台向上转动,(0,0)表示云台不转动,(0,+)表示云台向下转动,(+,-)表示云台向右上转动,(+,0)表示云台向右转动,(+,+)表示云台向右下转动;
表1
(-,-) | (0,-) | (+,-) |
(-,0) | (0,0) | (+,0) |
(-,+) | (0,+) | (+,+) |
此外,由于仅考虑中心单一坐标时,目标在中心位置几乎不可能完全保证Δx和Δy均为0,会对云台姿态控制产生抖动,因此将中心坐标改进为中心区域,设定一个区域边界阈值进行Δx和Δy的计算,以避免抖动。
对云台转速的控制方法为:根据当前帧与中心坐标点相对位置Δxt-1和上一帧与中心坐标点相对位置Δxt-2的差值,对云台转速进行控制。为便于理解,可用以下公式表示:
其中,n速度误差累积的连续历史帧数,本发明实施例取3,Vt-1代表云台上一次的转速,F(fx,fy)代表云台是否能够跟上目标的速度,F补偿(∑fx,∑fy)代表累积偏差的速度补偿。工程实现时,公式中分母不能为0。本发明实施例F(fx,fy)取值见表2,F补偿(∑fx,∑fy)取值与F(fx,fy)类似,只需将∑fx≥1与fx=1对应,其他取值原理类似。
表2
(f<sub>x</sub>,f<sub>y</sub>) | F(f<sub>x</sub>,f<sub>y</sub>) | (f<sub>x</sub>,f<sub>y</sub>) | F(f<sub>x</sub>,f<sub>y</sub>) | (f<sub>x</sub>,f<sub>y</sub>) | F(f<sub>x</sub>,f<sub>y</sub>) |
(1,1) | 1 | (0,1) | 1 | (0,-1) | -1 |
(1,0) | 1 | (-1,1) | 1 | (-1,0) | -1 |
(1,-1) | 1 | (0,0) | 0 | (-1,-1) | -1 |
其中,fx为1时表示云台在x方向上跟不上目标,0或-1时表示跟得上,fy表示y方向上,类似fx。在x和y方向上,只要有跟不上的情况出现,就增加云台转速,每次增量为1;此外,当云台转速过高时,就降低云台转速,每次增量为-1。
当目标居于视野中央时,依据目标尺度进行动态变焦,自适应调整倍率的方法与步骤(2.1)类似,识别算法适用的最佳尺寸范围为w:[50,200],h:[30,80],当目标尺度大于阈值范围时,缩小倍率(1~2倍),当目标尺度小于阈值范围时,放大倍率(1~2倍),以保证目标处于视野中心并且尺度适当,截取目标区域图像,传入目标识别模块进行识别。
(3)对跟踪目标进行识别分类。
具体地,采用卷积神经网络对目标进行识别分类,数据集与实际应用相适应,具有针对性。为避免干扰,本发明采取定间隔的方法对运动目标进行识别,具体包括:(3.1)每隔A(本发明实施例取5)帧图像,对跟踪目标进行一次识别;(3.2)判断识别类型是否为设定的虚假目标,若连续识别B(本发明实施例取3)次均为虚假目标,则释放目标,并返回执行步骤(1)继续监测指定区域;若否,则继续对运动目标进行跟踪、识别,并持续报警直至人工解除报警或干扰器成功驱离目标;(3.2)警报解除后,返回执行步骤(1)继续监测指定区域。由于运动目标可能受到的干扰较多,对识别不利,本发明采用定间隔识别方法增加了对识别功能的容错率,同时也提高了系统的性能。
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (9)
1.一种一体化无人机检测方法,其特征在于,包括:
(1)对待检测区域的全景图像进行背景建模和自适应阈值设置,得到背景模型和阈值图,并根据所述背景模型和阈值图,对连续多帧待检测区域全景图像进行前景检测,得到待追踪目标;其中,所述阈值图用于表征全景图像各区域的复杂度;
(2)对光学成像设备进行层级变倍和云台控制,定位和放大待追踪目标,并基于改进的核相关滤波跟踪算法对所述目标进行实时跟踪;
(3)对跟踪目标进行识别分类。
2.根据权利要求1所述的一种一体化无人机检测方法,其特征在于,步骤(1)具体包括:
(1.1)使用光学成像设备采集待检测区域的全景图像;
(1.2)对采集到的全景图像进行灰度化处理,得到待检测区域全景图像的灰度图;
(1.3)采用下式对所述灰度图进行二值化,并对得到的二值图进行膨胀处理;
其中,B(i,j)为灰度图,B′(i,j)为二值图,表征图像各区域复杂程度;Bcomplex为常数,表征图像复杂区域;Bsmooth为常数,表征图像平滑区域;m为梯度模板,表示卷积处理,a表示梯度阈值,用于切分复杂与平滑区域;
(1.4)采用下式对复杂区域与平滑区域分别设置阈值,得到表征图像各区域复杂度的阈值图:
其中,A1为复杂区域阈值比例系数;A2为平滑区域阈值比例系数;Const表示高斯分布的标准差阈值常数;
(1.5)采用下式利用连续多帧待检测区域全景图像构建背景模型;
(1.6)根据背景模型与阈值图对连续多帧全景图像进行前景提取;
(1.7)对连续多帧前景点信息进行聚类,将长度最长的轨迹作为待追踪目标;
(1.8)若未检测到待追踪目标,则每隔M帧图像,采用如下表达式对背景模型进行更新,并重复执行步骤(1.6)-(1.7)直至检测到待追踪目标;
其中,α表示学习率,取值越大对模板的继承性越差。
3.根据权利要求2所述的一种一体化无人机检测方法,其特征在于,步骤(1.6)所述基于背景模型与阈值图对连续多帧全景图像进行前景提取,具体为,采用公式||xt-μk,t||2≤Threshold(i,j)·σk,t对连续多帧全景图像进行前景提取。
4.根据权利要求1-3任一项所述的一种一体化无人机检测方法,其特征在于,步骤(2)具体包括:
(2.1)根据待追踪目标的像素尺寸信息,采用以下表达式对光学成像设备进行层级变倍,并根据待追踪目标的坐标位置信息,对光学成像设备云台进行姿态控制;
其中,Size代表当前目标的实际像素尺寸,MaxSizeThreshold代表目标最大尺度阈值,MinSizeThreshold代表目标最小尺度阈值,MinZoom与MaxZoom代表缩小倍率值与放大倍率值;Zoom表示光学成像设备的设定倍率值;
(2.2)基于改进的核相关滤波算法对运动目标进行跟踪;
(2.3)根据跟踪得到的目标坐标位置信息,对光学成像设备云台进行姿态控制,并根据跟踪得到的像素尺寸和识别所需阈值对光学成像设备进行自适应变倍,保证目标处于视野中心。
5.根据权利要求4所述的一种一体化无人机检测方法,其特征在于,步骤(2.3)所述根据跟踪得到的目标坐标位置信息,对光学成像设备云台进行姿态控制,具体为,根据当前帧与中心坐标点相对位置Δxt-1和上一帧与中心坐标点相对位置Δxt-2的差值,对云台转速进行控制。
6.根据权利要求4所述的一种一体化无人机检测方法,其特征在于,步骤(2.1)对光学成像设备进行层级变倍后,还需进行图像稳定判断,具体包括;
1)判断图像灰度是否稳定;若是,则进入步骤2);若否则继续进行执行步骤1);
2)判断图像梯度是否稳定;若是,则进入步骤3);若否则继续进行执行步骤1);
3)判断相机倍率是否达到设定值;若是,则进入步骤(2.2);若否则继续进行执行步骤1)。
7.根据权利要求4所述的一种一体化无人机检测方法,其特征在于,步骤(2.2)所述对运动目标进行跟踪时,采用公式newPadding=vt/vbase·padding确定搜索框的大小,同时对连续N帧坐标信息进行拟合,根据拟合结果调整搜索框位置;其中,vt代表目标当前速度,vbase代表目标基准速度,padding表示默认搜索倍率,N<10。
8.根据权利要求1-7任一项所述的一种一体化无人机检测方法,其特征在于,步骤(3)具体包括:
(3.1)每隔A帧图像,对跟踪目标进行一次识别;
(3.2)判断识别类型是否为设定的虚假目标,若连续识别B次均为虚假目标,则释放目标,并返回执行步骤(1)继续监测指定区域;若否,则继续对运动目标进行跟踪、识别,并持续报警直至人工解除报警或干扰器成功驱离目标;
(3.3)警报解除后,返回执行步骤(1)继续监测指定区域。
9.根据权利要求1-8任一项所述的一种一体化无人机检测方法,其特征在于,所述光学成像设备为单孔径、可变焦,在水平、竖直方向上可转动的光电成像设备。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911218742.0A CN111105429B (zh) | 2019-12-03 | 2019-12-03 | 一种一体化无人机检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911218742.0A CN111105429B (zh) | 2019-12-03 | 2019-12-03 | 一种一体化无人机检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111105429A true CN111105429A (zh) | 2020-05-05 |
CN111105429B CN111105429B (zh) | 2022-07-12 |
Family
ID=70420941
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911218742.0A Active CN111105429B (zh) | 2019-12-03 | 2019-12-03 | 一种一体化无人机检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111105429B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112101099A (zh) * | 2020-08-04 | 2020-12-18 | 北京航空航天大学 | 一种仿鹰眼自适应机制的无人机海面小目标识别方法 |
WO2022057800A1 (zh) * | 2020-09-16 | 2022-03-24 | 华为技术有限公司 | 云台摄像机、云台摄像机的追踪控制方法、装置及设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105338248A (zh) * | 2015-11-20 | 2016-02-17 | 成都因纳伟盛科技股份有限公司 | 智能多目标主动跟踪监控方法及系统 |
CN107016690A (zh) * | 2017-03-06 | 2017-08-04 | 浙江大学 | 基于视觉的无人机入侵检测与识别系统及方法 |
US20180129882A1 (en) * | 2016-11-08 | 2018-05-10 | Dedrone Holdings, Inc. | Systems, Methods, Apparatuses, and Devices for Identifying, Tracking, and Managing Unmanned Aerial Vehicles |
CN109872483A (zh) * | 2019-02-22 | 2019-06-11 | 华中光电技术研究所(中国船舶重工集团有限公司第七一七研究所) | 一种入侵警戒光电监测系统及方法 |
-
2019
- 2019-12-03 CN CN201911218742.0A patent/CN111105429B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105338248A (zh) * | 2015-11-20 | 2016-02-17 | 成都因纳伟盛科技股份有限公司 | 智能多目标主动跟踪监控方法及系统 |
US20180129882A1 (en) * | 2016-11-08 | 2018-05-10 | Dedrone Holdings, Inc. | Systems, Methods, Apparatuses, and Devices for Identifying, Tracking, and Managing Unmanned Aerial Vehicles |
CN107016690A (zh) * | 2017-03-06 | 2017-08-04 | 浙江大学 | 基于视觉的无人机入侵检测与识别系统及方法 |
CN109872483A (zh) * | 2019-02-22 | 2019-06-11 | 华中光电技术研究所(中国船舶重工集团有限公司第七一七研究所) | 一种入侵警戒光电监测系统及方法 |
Non-Patent Citations (2)
Title |
---|
WANG WEIHUA ET AL.: "A Real-time Detection Algorithm for Unmanned Aerial Vehicle Target in Infrared Search System", 《2018 IEEE INTERNATIONAL CONFERENCE ON SIGNAL PROCESSING, COMMUNICATIONS AND COMPUTING (ICSPCC)》 * |
鲁书山: "移动目标检测与跟踪技术的研究及Matlab实现", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112101099A (zh) * | 2020-08-04 | 2020-12-18 | 北京航空航天大学 | 一种仿鹰眼自适应机制的无人机海面小目标识别方法 |
CN112101099B (zh) * | 2020-08-04 | 2022-09-06 | 北京航空航天大学 | 一种仿鹰眼自适应机制的无人机海面小目标识别方法 |
WO2022057800A1 (zh) * | 2020-09-16 | 2022-03-24 | 华为技术有限公司 | 云台摄像机、云台摄像机的追踪控制方法、装置及设备 |
Also Published As
Publication number | Publication date |
---|---|
CN111105429B (zh) | 2022-07-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11915502B2 (en) | Systems and methods for depth map sampling | |
CN109635685B (zh) | 目标对象3d检测方法、装置、介质及设备 | |
US10339386B2 (en) | Unusual event detection in wide-angle video (based on moving object trajectories) | |
US9947077B2 (en) | Video object tracking in traffic monitoring | |
CN105894702A (zh) | 一种基于多摄像机数据融合的入侵检测报警系统及其检测方法 | |
CN104378582A (zh) | 一种基于ptz摄像机巡航的智能视频分析系统及方法 | |
US11430199B2 (en) | Feature recognition assisted super-resolution method | |
CN111105429B (zh) | 一种一体化无人机检测方法 | |
CN110728700B (zh) | 一种运动目标追踪方法、装置、计算机设备及存储介质 | |
Lalonde et al. | A system to automatically track humans and vehicles with a PTZ camera | |
CN117615255B (zh) | 基于云台的拍摄追踪方法、装置、设备及存储介质 | |
Tulpan et al. | Experimental evaluation of four feature detection methods for close range and distant airborne targets for Unmanned Aircraft Systems applications | |
CN112800918A (zh) | 一种非法运动目标的身份识别方法及装置 | |
Wang et al. | A real-time active pedestrian tracking system inspired by the human visual system | |
CN103258433B (zh) | 一种交通视频监控中智能车牌清晰显示方法 | |
Kaimkhani et al. | UAV with Vision to Recognise Vehicle Number Plates | |
Shan et al. | Maritime target detection based on electronic image stabilization technology of shipborne camera | |
Bhusal | Object detection and tracking in wide area surveillance using thermal imagery | |
Heo et al. | Autonomous reckless driving detection using deep learning on embedded GPUs | |
KR101210866B1 (ko) | 회전줌 카메라 기반 평균이동 알고리즘을 이용한 객체추적 시스템 | |
EP4089649A1 (en) | Neuromorphic cameras for aircraft | |
Shao et al. | Tracking algorithm using background-foreground motion models and multiple cues [surveillance video applications] | |
Tayeb et al. | Vehicle Speed Estimation Using Gaussian Mixture Model and Kalman Filter | |
Tian et al. | Intelligent Spot Detection for Degraded Image Sequences Based on Machine Vision | |
WO2022198509A1 (zh) | 目标跟踪方法、模型训练方法、装置、可移动平台及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |