CN110287957B - 一种低慢小目标的定位方法及定位装置 - Google Patents

一种低慢小目标的定位方法及定位装置 Download PDF

Info

Publication number
CN110287957B
CN110287957B CN201910548681.8A CN201910548681A CN110287957B CN 110287957 B CN110287957 B CN 110287957B CN 201910548681 A CN201910548681 A CN 201910548681A CN 110287957 B CN110287957 B CN 110287957B
Authority
CN
China
Prior art keywords
target
low
target image
image
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910548681.8A
Other languages
English (en)
Other versions
CN110287957A (zh
Inventor
狄帅
赵巍
谭振文
陈爱斌
郭宇
郑典勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhongdian Ceiv Co ltd
Original Assignee
Beijing Zhongdian Ceiv Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhongdian Ceiv Co ltd filed Critical Beijing Zhongdian Ceiv Co ltd
Priority to CN201910548681.8A priority Critical patent/CN110287957B/zh
Publication of CN110287957A publication Critical patent/CN110287957A/zh
Application granted granted Critical
Publication of CN110287957B publication Critical patent/CN110287957B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例涉及一种低慢小目标的定位方法，该方法包括：预先采集目标图像，堆叠该目标图像的多个帧形成目标图像训练序列，将该目标图像训练序列进行标记形成目标训练样本集；基于所述目标训练样本集对训练样本进行训练，利用目标图像的梯度方向统计特征得到分类器权重，基于所述分类器权重获得目标图像检测模型；利用所述目标图像检测模型对待测目标图像进行检测，检测待测目标图像是否存在低慢小目标。本发明还公开了一种低慢小目标的定位装置。本发明通过堆叠多个帧形成目标图像训练序列，既利用了目标外表特征信息，也利用了低慢小目标的运动信息，能够有效地检测到低慢小目标并提高了检测的准确度。

Description

一种低慢小目标的定位方法及定位装置
技术领域
本发明属于无人机检测、定位技术领域,具体涉及一种低慢小目标的定位方法及定位装置。
背景技术
“低慢小”目标，全称“低空、慢速、小型飞行目标”，飞行高度一般在1000米以下，速度较慢，雷达反射面积小，存在“难发现、难捕捉、难处置、难应对”的特点，“低慢小”目标对重要目标的空防安全形成极大威胁。
因此，如何对“低慢小”目标进行有效追踪和定位已成为本领域内的技术难题。目前对空中低慢小目标的物理拦截方式包括雷达、微波、激光、声阵列等方式，但其存在使用维护为本高、易造成二次伤害等问题。
目前，现有技术中的无人机载视觉系统主要是对运动目标进行检测、跟踪，用于检测并跟踪地面目标等平面目标；利用无人机搭载抛网装置，通过机载视觉系统提供目标信息，导引无人机接近目标后进行网式软杀伤拦截，以无人机反制“低慢小”是一种跟踪“低慢小”目标的可行方式，但是无法获取目标的相对三维坐标并精确跟踪空中“低慢小”此类非合作运动目标。
由于空中“低慢小”目标具有速度变化快、目标物自身体积微小等特点；同时，目标物周围环境复杂，这些因素导致现有技术中的无人机跟踪系统很难对空中“低慢小”目标进行有效的检测、跟踪及定位。
现有技术中的一种基于双目视觉测距的无人机跟踪运动目标系统，包括无人机平台、地面控制站；其中，无人机平台，通过双目相机实时获取运动目标图像，进行基准图像跟踪及双目立体匹配，获取运动目标的空间三维坐标，并对运动目标进行自动接近及跟踪；地面控制站，用于引导无人机平台初步接近运动目标，接收无人机平台发送的运动目标图像并显示，并对图像中的目标区域进行初步标定，该现有技术主要是一种目标跟踪方法，没有目标检测功能，需要提前提供目标的跟踪基准图像，不具备自动化地检测、跟踪能力。
另外，假设
Figure BDA0002104746450000021
其中，Ii为训练样本集中的目标图像，SX、Sy、St分别为目标图像Ii的长、宽以及“低慢小”目标的个数。然而，现有技术中的训练方法中的训练目标图像集多数为
Figure BDA0002104746450000022
即这种训练样本中仅包括“低慢小”目标的外表图像信息SX、Sy，不包括目标物的运动信息，例如目标在图像中出现的位置、目标的运动轨迹等，这样使检测到“低慢小”目标的准确度较低。
因此，迫切需要提出一种可以有效地提高针对“低慢小”目标的自动化程度高的定位方法。
发明内容
有鉴于此，本发明实施例提供一种低慢小目标的定位方法及定位装置，用以解决现有技术中难以对目标进行自动化检测的问题或目标检测准确度低的技术问题。
第一方面，本发明实施例提供了一种低慢小目标的定位方法，该方法包括：
预先采集目标图像，堆叠该目标图像的多个帧形成目标图像训练序列，将该目标图像训练序列进行标记形成目标训练样本集；
基于所述目标训练样本集对训练样本进行训练，利用目标图像的梯度方向统计特征得到分类器权重，基于所述分类器权重获得目标图像检测模型；
利用所述目标图像检测模型对待测目标图像进行检测，检测待测目标图像是否存在低慢小目标。
进一步的，所述形成目标训练样本集包括以下子步骤：
采集空中的待训练目标的视频图像，获取第一目标图像；
对第一目标图像进行归一化处理，获得第二目标图像；
堆叠第二目标图像中的多个帧形成目标图像序列，把目标图像序列中包含低慢小目标的图像作为正样本；将不包含低慢小目标的图像作为负样本；
将正样本和负样本合并形成目标训练样本集。
进一步的，所述堆叠第二目标图像中的多个帧形成目标图像序列包括：
若低慢小目标的速度大于预设的速度阈值时，则从所述目标图像序列中取出连续的多个帧，并将所述连续的多个帧进行堆叠作为正样本；
若低慢小目标速度小于等于预设的速度阈值时，则从所述目标图像序列中取出多个间隔的邻近帧作为选用帧，并将所述选用帧进行堆叠作为正样本。
进一步的，所述基于所述分类器权重获得目标图像检测模型包括以下子步骤：
提取目标训练样本集中的训练样本的图像的梯度方向统计特征；
利用Adaboost算法生成最优弱分类器，将目标图像的梯度方向统计特征输入该最优弱分类器进行训练，得到分类器权重；
对所述最优弱分类器赋予所述分类器权重并进行迭代，获得目标图像检测模型。
进一步的，所述目标训练样本集中的目标图像的梯度方向统计特征包括:
训练样本的图像的梯度和梯度强度、训练样本的图像消除噪声后的梯度强度、训练样本的图像的梯度方向和梯度能量。
进一步的，所述定位方法还包括在检测到待测目标图像中包括低慢小目标后，进一步对低慢小目标进行跟踪；
所述对低慢小目标进行跟踪包括：
对目标区域进行双目匹配以获得低慢小目标的三维坐标；
利用KCF方法对低慢小目标进行跟踪。
第二方面，本发明实施例提供了一种低慢小目标的定位装置，所述装置包括样本集获取模块、训练模块和检测模块；
所述样本集获取模块预先采集目标图像，堆叠该目标图像的多个帧形成目标图像训练序列，将该目标图像训练序列进行标记形成目标训练样本集；
所述训练模块基于所述目标训练样本集对训练样本进行训练，利用目标图像的梯度方向统计特征得到分类器权重，基于所述分类器权重获得目标图像检测模型；
所述检测模块利用所述目标图像检测模型对待测目标图像进行检测，检测待测目标图像是否存在低慢小目标。
进一步的，所述样本集获取模块包括采集模块、归一化模块、堆叠模块和合并模块：
所述采集模块用于采集空中的待训练目标的视频图像，获取第一目标图像；
所述归一化模块用于对第一目标图像进行归一化处理，获得第二目标图像；
所述堆叠模块用于堆叠第二目标图像中的多个帧形成目标图像序列，把目标图像序列中包含低慢小目标的图像作为正样本；将不包含低慢小目标的图像作为负样本；
所述合并模块用于将正样本和负样本合并形成目标训练样本集。
进一步的，若低慢小目标的速度小于等于预设的速度阈值时，所述堆叠模块从所述目标图像序列中取出连续的多个帧，并将所述连续的多个帧进行堆叠作为正样本；
若低慢小目标速度大于预设的速度阈值时，所述堆叠模块从所述目标图像序列中取出多个间隔的邻近帧作为选用帧，并将所述选用帧进行堆叠作为正样本。
进一步的，所述定位装置还包括跟踪模块；双目相机对目标区域进行双目匹配获得低慢小目标的三维坐标，所述跟踪模块利用KCF方法对低慢小目标进行跟踪。
本发明通过堆叠多个帧形成目标图像训练序列，既利用目标外表特征信息，也利用低慢小目标的运动信息，能够有效地检测到低慢小目标并提高了检测的准确度，从而满足了实用化需求；另外，采用双目相机对低慢小目标进行定位，可以获取低慢小目标的三维坐标，并采用KCF方法跟踪低慢小目标，从而能够更准确地跟踪低慢小目标。
附图说明
图1为本发明实施例提供的一种低慢小目标的定位方法的流程示意图；
图2A为本发明实施例提供的一种训练样本集中的正样本的示意图；
图2B为本发明实施例提供的一种训练样本集中的负样本的示意图；
图3A为本发明实施例对连续帧进行堆叠的示意图；
图3B为本发明实施例对邻近帧进行堆叠的示意图；
图4为本发明实施例提供的一种训练目标图像检测模型的流程示意图；
图5为本发明实施例提供的一种对低慢小目标进行检测及跟踪的方法的流程示意图；
图6为本发明实施例提供的一种低慢小目标的定位装置的结构示意图。
具体实施方式
下面结合附图所示的各实施方式对本发明进行详细说明，但应当说明的是，这些实施方式并非对本发明的限制，本领域普通技术人员根据这些实施方式所作的功能、方法、或者结构上的等效变换或替代，均属于本发明的保护范围之内。
实施例一
下面介绍本发明提供的一种低慢小目标的定位方法的具体实施方式。
S100:预先采集目标图像，堆叠该目标图像的多个帧形成目标图像训练序列，将该目标图像训练序列进行标记形成目标训练样本集；
S200:基于所述目标训练样本集对训练样本进行训练，利用目标图像的梯度方向统计特征得到分类器权重，基于所述分类器权重获得目标图像检测模型；
S300:利用所述目标图像检测模型对待测目标图像进行检测，检测待测目标图像是否存在低慢小目标。
进一步的，所述定位方法还包括括在检测到待测目标图像中包括低慢小目标后，进一步对低慢小目标进行跟踪，所述对低慢小目标进行跟踪包括以下步骤S400和S500，即：
S400:对目标区域进行双目匹配以获得低慢小目标的三维坐标；
S500:利用KCF方法对低慢小目标进行跟踪。
如图1所示，图1为本发明实施例提供的一种低慢小目标的定位方法的流程示意图，该方法包括以下步骤:
S100:预先采集目标图像，堆叠该目标图像的多个帧形成目标图像训练序列，将该目标图像训练序列进行标记形成目标训练样本集；
具体的，所述步骤S100包括以下子步骤S110-S140：
图2A、图2B分别是本发明实施例提供的一种训练样本中的正样本、负样本的示意图，参见图2A和图2B；
S110:采集空中的待训练目标的视频图像，获取第一目标图像；
具体的，图像采集装置可以对空中的可能存在低慢小目标的区域中的待训练目标进行视频采集，获取第一目标图像；优选的，所述第一目标图像包括低慢小目标图像和/或非低慢小目标图像；所述图像采集装置可以设置于飞机或其他飞行器上。
本实施例中的采集的目标图像的拍摄条件包括各个时段和天气条件下的目标图像，例如在夜晚、中午、傍晚、雾天、雨天等条件下拍摄获得的目标图像；
S120:对第一目标图像进行归一化处理，获得第二目标图像；
S130:堆叠第二目标图像中的多个帧形成目标图像序列，把目标图像序列中包含低慢小目标的图像作为正样本，并设定标签为1；将不包含低慢小目标的图像作为负样本，并设定标签为-1；
设定正样本为
Figure BDA0002104746450000061
且
Figure BDA0002104746450000062
Ii1为正样本中目标图像，SX、Sy、St分别为目标图像Ii1的长、宽和高；N为目标训练样本集中所有训练样本的个数；
Figure BDA0002104746450000063
且
Figure BDA0002104746450000064
Figure BDA0002104746450000065
M为低慢小目标的个数，Si1为正样本中的单个低慢小目标。
其中正样本中的低慢小目标的图像既包含了低慢小目标的多帧外表特征信息，也包含了低慢小目标一定时间段的运动信息,例如低慢小目标在图像中出现的位置、目标的运动轨迹等，通过堆叠第二目标图像中的多个帧形成第一目标图像序列可以提升低慢小目标检测的准确度。
由于空中“低慢小”目标具有速度变化快、目标物自身体积微小等特点；同时，目标物周围环境复杂，这些因素导致很难找到目标物外表特征进行后续检测、识别。但本实施例中的正样本中还包括目标的运动信息，通过堆叠多个帧可将该目标的运动信息作为一个有用的特征信息用来检测、识别目标物。因此，本实施例结合利用目标的多帧外表特征信息和运动信息可以对进行“低慢小”目标进行有效的检测、识别；所述目标图像多个帧包括目标图像序列中的多个连续帧或多个邻近帧。
图3A为本发明实施例对连续帧进行堆叠的示意图；图3B为本发明实施例对邻近帧进行堆叠的示意图；
若低慢小目标的速度大于预设的速度阈值时，则从所述目标图像序列中取出连续的多个帧，并将所述连续的多个帧进行堆叠作为正样本；参见图3A,例如可以从目标图像序列中取出连续的4帧作为一个单元，并将每4帧图像进行堆叠作为正样本；
若低慢小目标速度小于等于预设的速度阈值时，那么连续帧中的低慢小目标的运动变化特征较小，则从所述目标图像序列中取出多个间隔的邻近帧作为选用帧，并将所述选用帧进行堆叠作为正样本；参见图3B,例如可以从目标图像序列中每间隔2帧取出1帧作为选用帧，再将该选用帧进行堆叠作为正样本；
本实施例中，所述的预设的速度阈值例如可以是20-30km/h时，可以理解的是本发明对预设的速度阈值不做限制，在其他实施例中，所述的预设的速度阈值还可以是其他数值。
S140:将上述正样本和负样本合并形成目标训练样本集。
S200:基于所述目标训练样本集对训练样本进行训练，利用目标图像的梯度方向统计特征获得目标图像检测模型，得到分类器权重。
图3为本发明实施例提供的一种训练目标图像检测模型的流程示意图，参见图3，具体的，所述步骤200包括以下几个子步骤S210-S230：
S210:提取目标训练样本集中的训练样本的图像的梯度方向统计特征；
设定训练样本对(Ii,yi)，获取图像I中在梯度方向k上的所有点的梯度能量；其中，i∈[1,N],
Figure BDA0002104746450000081
yi∈[-1,1]；Ii为训练样本集中的目标图像；yi为Ii所对应的标签，即目标图像是否为低慢小目标的图像；
Figure BDA0002104746450000082
为目标训练样本集，SX、Sy、St分别为目标图像Ii的长、宽和高；N为目标训练样本集中所有训练样本的个数。
假设训练样本图像I中某一点P的坐标为(x,y)，则点P的梯度可以表示为Sobel算子与图像I的卷积：
Gx(x,y)＝Sobelx*I(x,y)
Gy(x,y)＝Sobely*I(x,y)
其中，Sobelx、Sobely分别为点P在x轴、y轴方向的sobel算子；I(x,y)为P点的坐标；Gx(x,y)为点P在x轴方向的梯度，Gy(x,y)为点P在y轴方向的梯度。
计算点P(x,y)的梯度强度为：
Figure BDA0002104746450000083
给G(x,y)设定一个阈值T1,获得训练样本的图像消除噪声后的梯度强度G′(x,y)，从而可以消除训练样本的图像中噪声的影响；
Figure BDA0002104746450000084
其中，G′(x,y)为训练样本的图像消除噪声后的梯度强度；T1为预先对点P(x,y)的梯度强度设定的阈值。
计算点P(x,y)的梯度方向为:
Figure BDA0002104746450000085
其中，θ(x,y)为点P的梯度方向。
则在点P在k方向上的梯度强度为：
Figure BDA0002104746450000091
其中，Ψk(x,y)为点P在梯度方向为k内的梯度强度，所述k方向可以是任意方向的。
将训练样本的图像I中的梯度方向为k的所有点的梯度强度累加，获得训练样本的图像I的梯度能量为：
Figure BDA0002104746450000092
其中，Ek(I)为训练样本的图像I在梯度方向为k的梯度能量；Ψk(x,y)为点P在梯度方向为k内的梯度强度。
S220:利用Adaboost算法生成最优弱分类器，将训练样本的图像的梯度方向统计特征输入该最优弱分类器进行训练，得到分类器权重；
S230:对所述最优弱分类器赋予所述分类器权重并进行迭代，获得目标图像检测模型；
具体的，根据训练样本的图像的错误率与预设的概率阈值的大小，获得目标图像的检测模型；即若训练样本的图像的错误率大于或等于该概率阈值时，则将训练样本放入目标图像检测模型；若训练样本的图像的错误率小于该概率阈值，则将该训练样本重新赋予分类器权重；
定义一个概率映射函数：
Figure BDA0002104746450000093
该函数即为AdaBoost分类器，
Figure BDA0002104746450000094
为目标训练样本集，目的是计算训练样本是低慢小目标的概率，概率值越大表明低慢小目标存在的概率越大。
Figure BDA0002104746450000095
Figure BDA0002104746450000101
其中，F(I)为预先定义的目标图像的概率映射函数；T3为映射函数个数；αi为每个映射函数的权重；fi(I)为弱分类器；I为图像，i∈[1,N]；Ei为图像I在梯度方向为i的梯度能量；τ为预先设定的梯度能量阈值常数。
S300:利用所述目标图像检测模型对待测目标图像进行检测，检测待测目标图像是否存在低慢小目标；
图4为本发明实施例提供的一种对低慢小目标进行检测及跟踪方法的流程示意图，参见图4，即使用训练好的概率映射函数F(I)对待测目标图像中的每帧图像做滑动窗口，然后提取待测目标图像的梯度方向统计特征，根据概率映射函数F(I)与预设的概率阈值M的大小判断待测目标图像是否存在低慢小目标，即若F(I)≥M时，则表明待测目标图像中包含低慢小目标；本实施例中的M可以为0.5。
S400:对目标区域进行双目匹配获得低慢小目标的三维坐标；
具体的，本实施例中利用双目视觉相机采集低慢小目标在双目相机中的左视图和右视图，对目标区域进行立体匹配，(所述目标区域即是步骤S300中检测到的低慢小目标所在的区域)获得该低慢小目标相对双目相机(即双目相机中视觉传感器中心)的三维坐标。
S500:利用KCF方法对低慢小目标进行跟踪；
根据步骤S300对低慢小目标的检测结果以及步骤S400获得的低慢小目标的三维坐标，利用KCF(Kernelized Correlation Filter核相关滤波算法)方法对实时获取的每帧图像中的低慢小目标进行跟踪，利用KCF方法对低慢小目标进行跟踪的方法为现有技术中常用方法，在此不再赘述。
实施例二
下面介绍本发明提供的一种低慢小目标的定位装置的具体实施方式。
如图5所示，为本发明实施例提供的一种低慢小目标的定位装置的结构示意图；该装置包括样本集获取模块、训练模块和检测模块；
所述样本集获取模块预先采集目标图像，堆叠该目标图像的多个帧形成目标图像训练序列，将该目标图像训练序列进行标记形成目标训练样本集；
所述训练模块基于所述目标训练样本集对训练样本进行训练，利用目标图像的梯度方向统计特征得到分类器权重，基于所述分类器权重获得目标图像检测模型；
所述检测模块利用所述目标图像检测模型对待测目标图像进行检测，检测待测目标图像是否存在低慢小目标。
进一步的，所述样本集获取模块包括采集模块、归一化模块、堆叠模块和合并模块：
所述采集模块用于采集空中的待训练目标的视频图像，获取第一目标图像；
所述归一化模块用于对第一目标图像进行归一化处理，获得第二目标图像；
所述堆叠模块用于堆叠第二目标图像中的多个帧形成目标图像序列，把目标图像序列中包含低慢小目标的图像作为正样本，并设定标签为1；将不包含低慢小目标的图像作为负样本，并设定标签为-1；
所述合并模块用于将正样本和负样本合并形成目标训练样本集。
进一步的，所述第一目标图像包括低慢小目标图像或非低慢小目标图像。
进一步的，若低慢小目标的速度大于预设的速度阈值时，所述堆叠模块从所述目标图像序列中取出连续的多个帧，并将所述连续的多个帧进行堆叠作为正样本；
若低慢小目标速度小于等于预设的速度阈值时，所述堆叠模块从所述目标图像序列中取出多个间隔的邻近帧作为选用帧，并将所述选用帧进行堆叠作为正样本。
进一步的，所述定位装置还包括跟踪模块；双目相机对目标区域进行双目匹配获得低慢小目标的三维坐标，所述跟踪模块利用KCF方法对低慢小目标进行跟踪。
上述各个模块的具体实施方式与实施例一的各个方法步骤的具体实施方式一致，在此不再赘述。
本发明的技术效果：
本发明通过堆叠多个帧形成目标图像训练序列，既利用目标外表特征信息，也利用低慢小目标的运动信息，能够有效地检测到低慢小目标并提高了检测的准确度和速度，从而满足了实用化需求；同时，采用双目相机对低慢小目标进行定位，可以获取低慢小目标的三维坐标，并采用KCF方法跟踪低慢小目标，从而能够更准确地跟踪低慢小目标。
本领域普通技术人员可以意识到，结合本发明实施例中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (6)

1.一种低慢小目标的定位方法，其特征在于，该方法包括：
预先采集目标图像，堆叠该目标图像的多个帧形成目标图像训练序列，将该目标图像训练序列进行标记形成目标训练样本集；
基于所述目标训练样本集对训练样本进行训练，利用目标图像的梯度方向统计特征得到分类器权重，基于所述分类器权重获得目标图像检测模型；
利用所述目标图像检测模型对待测目标图像进行检测，检测待测目标图像是否存在低慢小目标；
在检测到待测目标图像中包括低慢小目标后，进一步对低慢小目标进行跟踪；
其中，所述目标训练样本集中的目标图像的梯度方向统计特征包括:
训练样本的图像的梯度和梯度强度、训练样本的图像消除噪声后的梯度强度、训练样本的图像的梯度方向和梯度能量；
所述形成目标训练样本集包括以下子步骤：
采集空中的待训练目标的视频图像，获取第一目标图像；
对第一目标图像进行归一化处理，获得第二目标图像；
堆叠第二目标图像中的多个帧形成目标图像序列，把目标图像序列中包含低慢小目标的图像作为正样本；将不包含低慢小目标的图像作为负样本；所述正样本中包括低慢小目标的运动信息；运动信息包括低慢小目标在图像中出现的位置和目标的运动轨迹；
将正样本和负样本合并形成目标训练样本集；
所述对低慢小目标进行跟踪包括：
对目标区域进行双目匹配以获得低慢小目标的三维坐标;
利用KCF方法对低慢小目标进行跟踪。
2.根据权利要求1所述的定位方法，其特征在于，所述堆叠第二目标图像中的多个帧形成目标图像序列包括：
若低慢小目标的速度大于预设的速度阈值时，则从所述目标图像序列中取出连续的多个帧，并将所述连续的多个帧进行堆叠作为正样本；
若低慢小目标速度小于等于预设的速度阈值时，则从所述目标图像序列中取出多个间隔的邻近帧作为选用帧，并将所述选用帧进行堆叠作为正样本。
3.根据权利要求1所述的定位方法，其特征在于，所述基于所述分类器权重获得目标图像检测模型包括以下子步骤：
提取目标训练样本集中的训练样本的图像的梯度方向统计特征；
利用Adaboost算法生成最优弱分类器，将目标图像的梯度方向统计特征输入该最优弱分类器进行训练，得到分类器权重；
对所述最优弱分类器赋予所述分类器权重并进行迭代，获得目标图像检测模型。
4.根据权利要求3所述的定位方法，其特征在于，所述目标训练样本集中的目标图像的梯度方向统计特征包括:
训练样本的图像的梯度和梯度强度、训练样本的图像消除噪声后的梯度强度、训练样本的图像的梯度方向和梯度能量。
5.一种低慢小目标的定位装置，其特征在于，所述装置包括样本集获取模块、训练模块、检测模块、双目相机和跟踪模块；
所述样本集获取模块预先采集目标图像，堆叠该目标图像的多个帧形成目标图像训练序列，将该目标图像训练序列进行标记形成目标训练样本集；
所述训练模块基于所述目标训练样本集对训练样本进行训练，利用目标图像的梯度方向统计特征得到分类器权重，基于所述分类器权重获得目标图像检测模型；
所述检测模块利用所述目标图像检测模型对待测目标图像进行检测，检测待测目标图像是否存在低慢小目标；
所述双目相机对目标区域进行双目匹配获得低慢小目标的三维坐标；
所述跟踪模块利用KCF方法对低慢小目标进行跟踪；
其中，所述样本集获取模块包括采集模块、归一化模块、堆叠模块和合并模块：
所述采集模块用于采集空中的待训练目标的视频图像，获取第一目标图像；
所述归一化模块用于对第一目标图像进行归一化处理，获得第二目标图像；
所述堆叠模块用于堆叠第二目标图像中的多个帧形成目标图像序列，把目标图像序列中包含低慢小目标的图像作为正样本，将不包含低慢小目标的图像作为负样本；所述正样本中包括低慢小目标的运动信息；所述运动信息包括低慢小目标在图像中出现的位置和目标的运动轨迹；
所述合并模块用于将正样本和负样本合并形成目标训练样本集。
6.根据权利要求5所述的定位装置，其特征在于：
若低慢小目标的速度大于预设的速度阈值时，所述堆叠模块从所述目标图像序列中取出连续的多个帧，并将所述连续的多个帧进行堆叠作为正样本；
若低慢小目标速度小于等于预设的速度阈值时，所述堆叠模块从所述目标图像序列中取出多个间隔的邻近帧作为选用帧，并将所述选用帧进行堆叠作为正样本。
CN201910548681.8A 2019-06-24 2019-06-24 一种低慢小目标的定位方法及定位装置 Active CN110287957B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910548681.8A CN110287957B (zh) 2019-06-24 2019-06-24 一种低慢小目标的定位方法及定位装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910548681.8A CN110287957B (zh) 2019-06-24 2019-06-24 一种低慢小目标的定位方法及定位装置

Publications (2)

Publication Number Publication Date
CN110287957A CN110287957A (zh) 2019-09-27
CN110287957B true CN110287957B (zh) 2021-09-07

Family

ID=68004874

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910548681.8A Active CN110287957B (zh) 2019-06-24 2019-06-24 一种低慢小目标的定位方法及定位装置

Country Status (1)

Country Link
CN (1) CN110287957B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111145217A (zh) * 2019-12-27 2020-05-12 湖南华诺星空电子技术有限公司 一种基于kcf的无人机跟踪方法
CN111797684B (zh) * 2020-05-25 2024-04-09 维森视觉丹阳有限公司 一种运动车辆双目视觉测距方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104504365A (zh) * 2014-11-24 2015-04-08 闻泰通讯股份有限公司 视频序列中的笑脸识别系统及方法
CN105931276A (zh) * 2016-06-15 2016-09-07 广州尚云在线科技有限公司 一种基于巡逻机器人智能云平台的长时间人脸跟踪方法
CN106815562A (zh) * 2016-12-19 2017-06-09 江苏慧眼数据科技股份有限公司 一种基于压缩特征的行人检测跟踪方法
CN107392173A (zh) * 2017-08-04 2017-11-24 成都云擎科技有限公司 一种基于光电搜索的反无人机系统
CN108182381A (zh) * 2017-12-05 2018-06-19 华南理工大学 基于快速Adaboost训练算法的自动扶梯乘客检测算法
CN109407697A (zh) * 2018-09-20 2019-03-01 北京机械设备研究所 一种基于双目视觉测距的无人机跟踪运动目标系统及方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108596946A (zh) * 2018-03-21 2018-09-28 中国航空工业集团公司洛阳电光设备研究所 一种运动目标实时检测方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104504365A (zh) * 2014-11-24 2015-04-08 闻泰通讯股份有限公司 视频序列中的笑脸识别系统及方法
CN105931276A (zh) * 2016-06-15 2016-09-07 广州尚云在线科技有限公司 一种基于巡逻机器人智能云平台的长时间人脸跟踪方法
CN106815562A (zh) * 2016-12-19 2017-06-09 江苏慧眼数据科技股份有限公司 一种基于压缩特征的行人检测跟踪方法
CN107392173A (zh) * 2017-08-04 2017-11-24 成都云擎科技有限公司 一种基于光电搜索的反无人机系统
CN108182381A (zh) * 2017-12-05 2018-06-19 华南理工大学 基于快速Adaboost训练算法的自动扶梯乘客检测算法
CN109407697A (zh) * 2018-09-20 2019-03-01 北京机械设备研究所 一种基于双目视觉测距的无人机跟踪运动目标系统及方法

Also Published As

Publication number Publication date
CN110287957A (zh) 2019-09-27

Similar Documents

Publication Publication Date Title
Isaac-Medina et al. Unmanned aerial vehicle visual detection and tracking using deep neural networks: A performance benchmark
CN111326023B (zh) 一种无人机航线预警方法、装置、设备及存储介质
CN110660186B (zh) 基于雷达信号在视频图像中识别目标对象的方法及装置
CN107016690B (zh) 基于视觉的无人机入侵检测与识别系统及方法
CN110418114B (zh) 一种对象跟踪方法、装置、电子设备及存储介质
CN112068111A (zh) 一种基于多传感器信息融合的无人机目标侦测方法
CN106529538A (zh) 一种飞行器的定位方法和装置
Kartashov et al. Optical detection of unmanned air vehicles on a video stream in a real-time
CN109407697A (zh) 一种基于双目视觉测距的无人机跟踪运动目标系统及方法
Zhang et al. An intruder detection algorithm for vision based sense and avoid system
CN109255286A (zh) 一种基于yolo深度学习网络框架的无人机光学快速检测识别方法
CN110992378B (zh) 基于旋翼飞行机器人的动态更新视觉跟踪航拍方法及系统
CN112528781B (zh) 一种障碍物检测方法、装置、设备和计算机可读存储介质
CN110287957B (zh) 一种低慢小目标的定位方法及定位装置
CN106803262A (zh) 利用双目视觉自主解算汽车速度的方法
CN106296708B (zh) 车辆追踪方法和装置
CN111913177A (zh) 对目标物探测方法、装置以及存储介质
CN112683228A (zh) 单目相机测距方法及装置
CN112800918A (zh) 一种非法运动目标的身份识别方法及装置
CN113256731A (zh) 基于单目视觉的目标检测方法及装置
CN115291219A (zh) 利用单目摄像头实现无人机动态避障方法、装置及无人机
Chandana et al. Autonomous drones based forest surveillance using Faster R-CNN
CN117953245A (zh) 基于模板匹配与kcf算法的红外无人机尾翼检测与跟踪方法
CN111311640B (zh) 一种基于运动估计的无人机识别跟踪方法
CN112802058A (zh) 一种非法运动目标的跟踪方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant