CN114155281B - 一种无人机目标跟踪自动初始化方法 - Google Patents

一种无人机目标跟踪自动初始化方法 Download PDF

Info

Publication number
CN114155281B
CN114155281B CN202111463184.1A CN202111463184A CN114155281B CN 114155281 B CN114155281 B CN 114155281B CN 202111463184 A CN202111463184 A CN 202111463184A CN 114155281 B CN114155281 B CN 114155281B
Authority
CN
China
Prior art keywords
sub
image
gray
target
graph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111463184.1A
Other languages
English (en)
Other versions
CN114155281A (zh
Inventor
李大伟
李展博
杨炯
王明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202111463184.1A priority Critical patent/CN114155281B/zh
Publication of CN114155281A publication Critical patent/CN114155281A/zh
Application granted granted Critical
Publication of CN114155281B publication Critical patent/CN114155281B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/4401—Bootstrapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种无人机目标跟踪自动初始化方法，包括：获取目标跟踪进程的状态，在该状态是未初始化的状态时，从当前图像帧中获取与待跟踪目标类别一致的子图；当前图像帧为从无人机的相机中读取的图像；按照预设的子图处理策略对每一子图进行处理，获得用于每一子图的归一化后的颜色统计特征和空间分布特征的特征向量；将每一子图的特征向量与目标数据库中存储的图像的特征向量进行匹配，获取匹配的一子图；将匹配的子图的坐标框信息传输至目标跟踪进程，以使其进行目标跟踪。本发明的方法计算高效能够快速可靠的完成目标跟踪算法在跟踪开始以及跟踪失败时的初始化任务，克服了现有方法中计算量大、无法自动初始化的缺陷。

Description

一种无人机目标跟踪自动初始化方法
技术领域
本发明涉及无人机目标跟踪技术，尤其涉及一种无人机目标跟踪自动初始化方法。
背景技术
无人机是一种重要的监控和侦察平台，其中基于视觉的目标跟踪系统已经在中大型无人机上得到了广泛的应用。近年来，微小型无人机以其行动隐蔽、使用灵活、成本较低的特点受到各方广泛关注，在微小型无人机上部署视觉目标跟踪系统成为研究热点，但还存在两个难点。第一个是微小型无人机起飞重量通常在数百克以下，无法搭载能提供足够算力的机载端计算设备，一些对于算力要求较高的视觉任务很难在微小型无人机端部署。第二个是在开始跟踪以及目标跟踪丢失时，目标跟踪算法无法从无人机视野内的所有目标中重新找回待跟踪目标，完成跟踪初始化。
因此为了能够在微小型无人机上实现对特定目标的持续可靠跟踪，现有提供一公开号CN106709456A的基于计算机视觉的无人机目标跟踪框初始化方法，该方法需要手动框取待跟踪目标的坐标框，然后对其该目标框进行优化最终用来初始化目标跟踪算法，因此无法在机载端自动地完成初始坐标框的选取。当无人机在作业时如果遇到通信延迟导致地面控制人员无法及时的手动框取待跟踪目标框，则存在目标跟踪失败的风险。
现有还提供一公开号CN110706266A的基于YOLOv3的空中目标跟踪方法，该方法中没有目标匹配机制，因此只适用于无人机视野中只有一个目标的情景。当YOLOV3目标检测算法检测到无人机的视野中出现了多个可能的待跟踪目标时，该方法无法决定使用检测到的哪个目标来初始化目标跟踪算法。
现有还提供一公开号CN107993287A的目标跟踪的自动初始化方法，该方法虽然提供了基于ORB的检测机制以及基于3D点云特征比对的匹配机制的目标跟踪框初始化和重初始化机制，但是涉及到复杂的3D点云计算以及运算量巨大的ORB特征计算，在算力有限的机载端平台很难保证任务的实时性。
为此需要提供一个可靠的实现在跟踪开始时对目标跟踪算法进行自动初始化，以及在跟踪失败时重新从视野内找回待跟踪目标来完成对目标跟踪算法的重初始化的自动初始化方法。
发明内容
(一)要解决的技术问题
针对现有技术的不足，本发明实施例提供一种无人机目标跟踪自动初始化方法。
(二)技术方案
为了达到上述目的，本发明采用的主要技术方案包括：
第一方面，本发明实施例提供一种无人机目标跟踪自动初始化方法，包括：
S1、无人机机载侧获取目标跟踪进程的状态，判断该状态是否为未初始化的状态；若是，则从当前图像帧中获取与待跟踪目标类别一致的子图；所述当前图像帧为从无人机的相机中读取的图像；
S2、按照预设的子图处理策略对每一子图进行处理，获得用于每一子图的归一化后的颜色统计特征和空间分布特征的特征向量；
S3、将每一子图的特征向量与目标数据库中存储的图像的特征向量进行匹配，获取匹配的一子图；
S4、将匹配的子图的坐标框信息传输至目标跟踪进程，以使目标跟踪进程基于所述子图的坐标框信息进行目标跟踪，所述坐标框信息为所述子图在所述当前图像帧中的坐标框信息。
可选地，所述S3之前，所述方法还包括：
建立所述目标数据库，
所述目标数据库中每一图像均具有一特征向量，所述特征向量为采用子图处理策略的处理方式获取的特征向量；
各个图像包括待跟踪目标的各角度以及各个尺度的姿态信息。
可选地，S1中的从当前图像帧中获取与待跟踪目标类别一致的子图，包括：
将每一个子图的坐标框从当前图像帧中分割并存储为唯一标识的子图；每一子图的坐标框为(x,y,w,h)，
(x,y)是每个子图的中心在当前图像帧上的二维像素坐标，(w,h)为坐标框的宽和高对应的像素数。
可选地，S2包括：
针对每一个子图，将所述子图转换成灰度图，并按照公式(1)获取灰度图中每一个像素的灰度值；
将所述灰度图按照A*A网格方式进行分块，获得A*A个子灰度图；
采用灰度直方图统计方式，获取每一个子灰度图大小为1*256的一维特征向量；
将所有A*A个子灰度图的一维特征向量组成所述子图大小为(A*A) *256的特征矩阵，该特征矩阵表示所述子图的颜色统计特征和空间分布特征；
对所述特征矩阵中每个特征向量按照公式(2)进行归一化处理，获得表示所述子图的经过归一化颜色统计特征和空间分布特征的特征矩阵；
公式(1)：Gray＝0.299R+0.587G+0.114B
公式(2)：
norm表示一个子灰度图内某一灰度值对应的像素点个数占该子灰度图像素点总个数的比例，取值范围为[0,1]，
R、G、B分别为子图中像素点的8位RGB分量；灰度值的取值范围为[0,255]；Ngray的下标gray为子灰度图中某一像素的灰度值，取值范围为 [0,255]，共256个灰度值取值；Ngray表示该子灰度图中灰度值为gray的像素的个数，取值范围为[0，N]，同时也是该子灰度图未经归一化的1*256 大小的特征向量第gray个元素的大小；N表示该子灰度图的像素总个数，也即子灰度图未经归一化的1*256大小的特征向量中元素的总数。
可选地，在A为3时，将所述灰度图按照3*3网格方式进行分块，生成9个子灰度图，且每一个子灰度图在整个子图上处于不同位置；
针对每一子图，9个一维的特征向量组成的大小为9*256的特征向量表示该子图的颜色特征的统计特征和空间分布特征。
可选地，S3包括：
按照公式(3)计算子图的特征向量和目标数据库中每一图像的特征向量的相关系数；
选取大于第一指定阈值的相关系数中最高的相关系数所属的子图作为匹配的子图；
公式(3)：
其中，coor为计算的相关系数，值域为[0,1]，Si,j为第i个子图的特征向量的第j个元素值，Ti,j为目标数据库中对比图像第i个子图的特征向量的第j个元素值。
可选地，所述方法还包括：
S5、周期性获取所述目标跟踪进程输出的结果图像，采用所述子图处理策略的处理方式获取结果图像的特征向量，并将所述特征向量和所述目标数据库中各图像的特征向量进行比对，获得跟踪质量指标；
判断跟踪质量指标是否大于第二指定阈值，若小于，则确定当前目标跟踪进程的目标跟踪失败；停止所述目标跟踪进程，并执行上述步骤 S1至S4实现自动初始化的过程。
可选地，在所述S5中，根据下述公式(4)将结果图像的特征向量和所述目标数据库中各图像的特征向量进行比对，获得跟踪质量指标；
公式(4)：quality＝max(coor(track,templatek))
其中，track表示结果图像，templatek表示目标数据库中第k张图像，coor 为计算的相关系数，值域为[0,1]，quality表示跟踪质量指标。
第二方面，本发明实施例还提供一种控制设备，所述控制设备位于无人机中，所述控制设备包括：存储器和处理器，所述存储器中存储指令，所述处理器执行所述存储器中存储的指令，并具体执行上述第一方面任一所述的无人机目标跟踪自动初始化方法的步骤。
(三)有益效果
本发明的方法在无人机的机载侧实现，其计算过程简便且计算高效，较好地在算力有限的无人机上实时执行，而不依赖地面控制站和其他远程的通信系统，有效杜绝在地面站实现上述方法由于通信干扰而带来的不可靠的问题。
另外，本发明的方法在目标跟踪程序初始化之后，还可以实现对目标跟踪程序输出结果的质量评价，实现实时监控跟踪质量，并在跟踪质量低于第二指定阈值时自动启动初始化，实现了完全自动的目标跟踪算法初始化。
此外，本发明的方法还能够实现无人机机载侧多类型目标的同时检测，克服了已有方法中计算量大、无法自动初始化、无法解决视野中有多个可能目标的难题。
附图说明
图1A和图1B均为本发明一实施例提供的无人机目标跟踪自动初始化方法的流程示意图；
图2为本发明一实施例提供的当前图像帧中子图的示意图；
图3为在图2的基础上进行分割的子图的示意图；
图4为针对图3中的子图转换为灰度的过程示意图；
图5为对图4中对转换为灰度子图进行分块的示意图；
图6为对图5中的每一灰度子图块计算灰度直方图的示意图；
图7为对图6中的灰度直方图进行归一化的示意图；
图8为图3分给的子图匹配的过程示意图；
图9为目标数据库中各图像/图片的示意图；
图10为跟踪质量评价的过程示意图。
具体实施方式
为了更好的解释本发明，以便于理解，下面结合附图，通过具体实施方式，对本发明作详细描述。
实施例一
如图1A所示，图1A示出了本发明一实施例提供的无人机目标跟踪自动初始化方法的流程示意图，本发明的方法的执行主体为无人机侧的处理器或控制设备，即本实施例的方法是在无人机的机载侧实现，本实施例的方法可包括下述的步骤：
S1、获取目标跟踪进程的状态，判断该状态是否为未初始化的状态；若是，则从当前图像帧中获取与待跟踪目标类别一致的子图；所述当前图像帧为从无人机的相机中读取的图像。
在本步骤中，将每一子图的坐标框从当前图像帧中分割并存储为唯一标识的子图；每一子图的坐标框为(x,y,w,h)，
(x,y)是每一子图的中心在当前图像帧上的二维像素坐标，(w,h)为坐标框的宽和高对应的像素数。
这里的获取与待跟踪目标类别一致的子图中类别一致可理解如下：若跟踪的是一个人，则获取当前图像帧中的所有的人；若跟踪的是一架飞机，则获取当前图像帧中的所有飞机，若跟踪的是一个指定的物体，则获取当前图像帧中的所有物体。
S2、按照预设的子图处理策略对每一子图进行处理，获得用于每一子图的归一化后的颜色统计特征和空间分布特征的特征向量。
S3、将每一子图的特征向量与目标数据库中各图像的特征向量进行匹配，获取匹配的一子图；所述目标数据库中存储有待跟踪目标各角度姿态信息的图像，且每一图像具有一特征向量。
需要说明的是，在执行步骤S3之前，应建立所述目标数据库，该目标数据库中的图像均为不同角度和尺度的待跟踪目标的图像，相应地，按照子图处理策略的处理方式获取所述目标数据库中每一图像的特征向量。
在步骤S3中，当每一子图对应9个特征向量时，可按照下述公式计算子图和目标数据库中每一图像的相关系数；相关系数越大，则说明可能匹配，在本实施例中选择大于第一指定阈值的相关系数最大的子图作为匹配的子图。
公式中，coor为计算的相关系数，值域为[0,1]，Si,j为第i个子图的特征向量的第j个元素值，Ti,j为目标数据库中对比图像第i个子图的特征向量的第j个元素值。
当然，当每一个子图对应的特征向量的数量变化为q个特征向量(对应下述的q＝A*A)时，上述求和的i的取值范围也适应变化，如
S4、将匹配的子图的坐标框信息传输至目标跟踪进程，以使目标跟踪进程基于所述子图的坐标框信息进行目标跟踪，所述坐标框信息为所述子图在所述当前图像帧中的坐标框信息。
本实施例的方法能够快速可靠的完成目标跟踪算法在跟踪开始以及跟踪失败时的初始化任务；解决了现有方法中计算量大、无法自动初始化、无法解决视野中有多个可能目标的难题。
特别地，本实施例的方法全部算法和程序在无人机上执行，其计算过程简便且计算高效，较好地在算力有限的无人机上实时执行，而不依赖地面控制站和其他远程的通信系统，有效杜绝在地面站实现上述方法由于通信干扰而带来的不可靠的问题。
实施例二
结合图图1B至图10对本发明一实施例提供的无人机目标跟踪自动初始化方法进行详细说明。
201、在任意电子设备中建立待跟踪目标的目标数据库，并将建立的目标数据库存储在无人机的控制设备中，使得无人机的控制设备即无人机机载侧执行目标跟踪自动初始化的方法。
所述目标数据库中的每一个图像均具有特征向量，该特征向量均是按照子图处理策略的处理方式获取的特征向量。
即，可预先采用下述的子图处理策略建立目标数据库中每一图像的特征向量，如图9所示的待跟踪目标的各角度、各尺度的姿态信息的图像。图9中仅为示意部分角度统一尺度的姿态信息，本实施例不对其限定。通常，目标数据库可以包括指定方向正面的图像，指定方向30度的图像，指定方向90度的图像，指定方向145度的图像等，此外，目标数据库还可包括：走路状态的图像，蹲下状态的图像，跳起状态的图像等。由于从相机的当前图像帧中提取的子图尺寸可根据实际需要配置，为后续较好的匹配，目标数据库也可包括多种尺寸的图像，图9仅示出一种尺寸的图像，本实施例根据实际需要设置。
本实施例中事先(在飞行任务开始前)建立待跟踪目标的图片库(即目标数据库)。例如，从不同角度和尺度来拍摄待跟踪目标，获取10张待跟踪目标的图片，如图9所示；接着获取10张图片的颜色直方图特征，同样，每个图片都会有9个特征向量。
202、无人机机载侧获取目标跟踪进程的状态，判断该状态是否为未初始化的状态；若是，执行步骤203实现对目标跟踪进程的初始化，否则执行步骤212，即对目标跟踪进程的跟踪结果进行评估。
203、若目标跟踪进程的状态是未初始化的状态，则读取无人机相机中的RGB图像，得到当前图像帧。
或者说，在该步骤中可直接读取无人机携带的相机存储最后一图像帧。
204、从当前图像帧中获取与待跟踪目标类别一致的子图。具体地，识别待跟踪目标的类别，并从当前图像帧中将该类别的所有子图进行提取。即，将每一子图的坐标框从当前图像帧中分割并存储为唯一标识的子图；每一子图的坐标框为(x,y,w,h)。
本实施例中，识别当前图像帧中与该类别一致的子图的方式可采用现有的任一目标检测算法或目标识别算法均可。
在提取子图的过程中，本实施例为了兼容不同的目标检测算法，可将提取的子图的输出格式统一为：被检测图像(即当前图像帧)中所有和期望跟踪目标(待跟踪目标)是同一类别的目标的坐标框，用(x,y,w,h) 表示，其中(x,y)是每个目标中心(即子图的中心)在当前图像帧上的二维像素坐标，(w,h)为坐标框的宽和高对应的像素数。
例如：如图2所示，期望跟踪目标是人，采用现有的目标检测算法识别当前图像帧中经检测所有类别为人的目标在当前图像帧中的位置和坐标框的大小。图2中有四个人体目标，将这四个人体目标提取得到，四幅子图，即四个候选目标，如图3所示。
205、针对每一个子图，将所述子图转换成灰度图，并按照公式(1) 获取灰度图中每一个像素的灰度值，如图4所示；
公式(1)：Gray＝0.299R+0.587G+0.114B
本步骤中，对所有的子图均转成灰度值，其操作过程是一致的，为较好的说明，针对一个子图进行说明的。
206、将所述灰度图按照3*3网格方式进行分块，获得3*3个子灰度图；且每一个子灰度图在整个子图上处于不同位置，如图5所示。
207、采用灰度直方图统计方式，获取每一个子灰度图大小为1*256 的一维特征向量；即9个长度为256的一维特征向量，向量的索引代表 [0,255]的灰度值，向量的每元素大小代表灰度值取该元素索引时的像素点个数；
将所有3*3个子灰度图的一维特征向量组成所述子图大小为9*256 的特征矩阵，该特征矩阵表示所述子图的颜色统计特征和空间分布特征。通过分别计算9个子灰度图的统计特征，生成9个特征向量即表示一幅子图颜色特征的统计特征和空间分布特征。
为更好理解，对于每一个子灰度图，计算其灰度直方图特征，由于灰度值的取值范围是[0,255]，因此灰度直方图也就是统计该子灰度图中像素灰度值为[0，255]中某一个值的像素点个数。如图6所示，以图5中左上角第一个子灰度图为例进行灰度值对应像素点个数的统计，得到图6 右侧的第一个子灰度图的灰度直方图。
图6右侧的灰度直方图中横坐标为灰度值的每一个取值，范围为[0， 255]，共256个取值，纵坐标为在该第一个子灰度图中，某个灰度值对应的像素点个数。因此可以用一个1*256大小的一维特征向量，来作为该子灰度图的特征，该特征向量的256个元素，分别为这256个灰度值对应的纵坐标，也即对应的像素点个数。
将灰度图的9个子灰度图均做各自的灰度直方图对应的统计处理，就得到了9个1*256大小的一维特征向量，它们共同组成了大小为9*256 的特征矩阵，来作为该子图的未归一化的特征矩阵。
上述公式(1)中R、G、B分别为子图中像素点的8位RGB分量；灰度值的取值范围为[0,255]；Ngray的下标gray为子灰度图中某一像素的灰度值，取值范围为[0,255]，共256个灰度值取值；Ngray表示该子灰度图中灰度值为gray的像素的个数，取值范围为[0，N]，同时也是该子灰度图未经归一化的1*256大小的特征向量第gray个元素的大小；N表示该子灰度图的像素总个数。
需要说明的是，本步骤中选择3*3网格方式进行分块，其属于经验值，在实际应用中，选择多少网格并不限定，其选取一个大小适中的值并兼顾特征矩阵的计算量即可。
208、对子图的未归一化的特征矩阵中每个特征向量按照公式(2) 进行归一化处理，获得表示所述子图的经过归一化颜色统计特征和空间分布特征的特征矩阵即特征向量；
公式(2)：
公式(2)中，norm表示一个子灰度图内某一灰度值对应的像素点个数占该子灰度图像素点总个数的比例，取值范围为[0,1]。
接下来对特征矩阵中的每一个特征向量(这里一共9个)按照式(2) 进行归一化操作，如图7所示。
归一化的过程核心是将某个子灰度图中每个灰度值下对用的像素点的绝对个数转换成该灰度值下像素点绝对个数占该子灰度图全部像素个数的比例。一个子灰度图的一位特征向量归一化后，其256个元素都是[0， 1]之间的值。
对一个子图的全部子灰度图的一维特征向量都进行归一化，最终得到了该子图的归一化后的大小为9*256的特征矩阵，矩阵中的每个元素的值都为[0，1]。
上述步骤205至步骤209的处理过程即为按照预设的子图处理策略对每一子图进行处理，获得用于每一子图的归一化后的颜色统计特征和空间分布特征的特征向量；
210、将每一子图的特征向量与目标数据库中各图像的特征向量进行匹配，获取匹配的一子图；
基于前述步骤201的记载，目标数据库中存储有待跟踪目标各角度以及各个尺度的姿态信息的图像，且每一图像具有一特征向量。
具体地，该步骤210中，可按照公式(3)计算子图和目标数据库中每一图像的相关系数；
公式(3)：
其中，coor为计算的相关系数，值域为[0,1]，Si,j为第i个子图的特征向量的第j个元素值，Ti,j为目标数据库中对比图像第i个子图的特征向量的第j个元素值，|·|是取绝对值符号。
上述相关系数能够很好的衡量两幅图像特征矩阵的差异，最终计算得出了一个值域为[0,1]的相关系数coor，相关系数越大，则两个图像越相关，选择相关系数最大的子图作为最匹配，如图8所示，子图(a)和子图 (b)、(c)、(d)按照上述计算得到的相关系数分别为0.49，0.90，0.61。由此可知，子图(b)属于匹配的子图。
例如，将图3检测到的所有候选区域的特征向量和图9的图片库中每个图片的特征向量一一匹配对比，并计算二者之间的绝对值距离，形成相关系数，如果某一候选目标和图片库中10张图片中的某一个图像的相似度指标大于阈值0.8且相似系数最大，则认为该候选目标是待跟踪目标，并用该候选目标的位置坐标来作为目标跟踪程序的初始跟踪坐标，开始持续跟踪该目标。
211、将匹配的子图的坐标框信息传输至目标跟踪进程，以使目标跟踪进程基于所述子图的坐标框信息进行目标跟踪，所述坐标框信息为所述子图在所述当前图像帧中的坐标框信息。
目标跟踪进程接收到该坐标框信息后即可完成初始化；目标跟踪进程的输出是跟踪结果，即在初始化后在每帧图像中对期望跟踪目标位置和大小的预测，也采用(x,y,w,h)表示。
上述步骤202至步骤211的过程可以从无人机视野中的所有候选目标正确的匹配并锁定想要跟踪的目标，从而完成目标跟踪算法的初始化。
针对上述步骤202中目标跟踪进程已经初始化且在目标跟踪过程中，此时可结合步骤212对目标跟踪算法在初始化后的后续跟踪中预测出来的目标进行结果评价。
212、获取所述目标跟踪进程输出的结果图像，采用所述子图处理策略的处理方式获取结果图像的特征向量；并将所述特征向量和所述目标数据库中各图像的特征向量进行匹配；获取最终的跟踪结果；
在跟踪结果为跟踪失败时，则停止目标跟踪进程，并重复上述步骤 S1至S4实现自动初始化。
具体地，可根据下述公式(4)将结果图像的特征向量和所述目标数据库中各图像的特征向量进行匹配，得到跟踪质量指标quality；若跟踪质量指标均小于第二指定阈值，则跟踪结果为跟踪失败；
公式(4)：quality＝max(coor(track,templatek))
其中，track表示结果图像，templatek表示目标数据库中第k张图像，coor 为计算的相关系数，值域为[0,1]，quality表示跟踪质量指标，k的取值为1 至目标数据库中跟踪目标图片的总数。
在实际应用中，目标跟踪算法在初始化后的后续跟踪中预测出来的目标坐标位置有一定误差，跟踪框就会包含一些出目标之外的背景信息，进而引入被背景误差，导致跟踪质量逐渐降低，最终导致跟踪失败，如图10(a)所示的结果图像中跟踪目标存在较大误差，图10(b)为对应图10(a)所示的结果图像的跟踪质量较高的比对图。
为此，本实施例还提供一种跟踪结果的实时评价方法，如上的步骤 202和步骤212的过程，即目标跟踪程序输出的目标位置框后，将框内的区域做为子图保存起来，获取输出的目标位置框对应的归一化的特征向量，并与待跟踪的目标数据库中图像的特征向量进行对比，得出一个跟踪质量指标(如上采用公式(4)计算得到)。如果跟踪质量指标低于与某一阈值，则认为此刻已经跟踪失败，需要暂停跟踪，并开始重新进行初始化程序(即步骤202至步骤211的过程)，来完成跟踪失败后的重初始化。
实际应用中，对目标跟踪程序的验证，可以是定时或者等间隔验证，也就是每隔多少帧图像验证一次，这个间隔数是一个可以调整的参数。
上述方法具有通用性，可以兼容各种目标检测和目标跟踪算法。在对每个图像的子图进行处理时，具有高效的计算效率，匹配计算过程中基于颜色直方图，将每幅图片表示为一个9*256大小的特征矩阵，与其他图像特征，如SIFT、ORB或深度学习特征相比，计算简单同时占用内存极少，非常适合于算力和存储有限的微小型无人机。
同时，在目标跟踪程序初始化之后，还可以实现对目标跟踪程序输出结果的质量评价，实现实时监控跟踪质量，并在跟踪质量低于0.5时自动启动初始化，实现了完全自动的目标跟踪算法初始化。
特别地，本实施例的方法能够处理与多个候选目标的场景，上述实施例中的目标数据库中存储的是一个类别的图像，在其他实施例中还可以存储多类别的图像，不管几个类别，几个跟踪目标，借助于本实施例的方法，可以准确地从候选目标中锁定待跟踪目标，能够有效的处理视野中存在多个可能目标的情况。
实施例三
本发明实施例还提供一种控制设备，所述控制设备位于无人机中，所述控制设备包括：存储器和处理器，所述存储器中存储指令，所述处理器执行所述存储器中存储的指令，并具体执行上述任意实施例所述的无人机目标跟踪自动初始化方法的步骤。
另外，本发明实施例还提供一种控制设备，该控制设备可包括：目标检测子模块、图像匹配子模块、目标跟踪子模块、待跟踪目标数据库；
其中，待跟踪目标数据库中存储有需要跟踪的目标各角度和尺度的图像，每一图像具有表示该图像的颜色统计特征和空间分布特征的特征向量(即特征矩阵)。在飞行任务开始前建立待跟踪目标数据库；
目标检测子模块，用于采用现有的目标检测算法对当前相机输出的图像帧中与期望跟踪目标类别一致的可能目标，并从当前图像帧中分割出每一个可能目标的子图；
图像匹配子模块，用于采用子图处理策略对每一子图进行灰度处理、颜色统计特征和空间分布特征的提取，获取每一子图的归一化后的表示颜色统计特征和空间分布特征的特征向量；
目标跟踪子模块，用于将图像匹配子模块中获取的每一子图的特征向量和待跟踪目标数据库中存储的每一图像的特征向量进行匹配，确定当前图像帧中需要跟踪的子图的坐标框，并输出给目标跟踪程序，实现目标跟踪程序的初始化。
进一步地，上述控制设备还可包括：跟踪质量评价子模块；
跟踪质量评价子模块，用于周期性获取目标跟踪程序输出的跟踪结果图像，并将结果图像的特征向量和和待跟踪目标数据库中存储的每一图像的特征向量进行比对，得出一个跟踪质量指标，基于跟踪质量指标确定目标跟踪程序是否跟踪失败，若失败，则停止当前的跟踪，并重新初始化。
本实施例的控制设备位于无人机中，其控制设备的计算过程简便且计算高效，不依赖地面控制站和其他远程的通信系统，有效杜绝在地面站实现上述方法由于通信干扰而带来的不可靠的问题。
为了更好的理解上述技术方案，下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更清楚、透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例，或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。
应当注意的是，在权利要求中，不应将位于括号之间的任何附图标记理解成对权利要求的限制。词语“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的词语“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的权利要求中，这些装置中的若干个可以是通过同一个硬件来具体体现。词语第一、第二、第三等的使用，仅是为了表述方便，而不表示任何顺序。可将这些词语理解为部件名称的一部分。
此外，需要说明的是，在本说明书的描述中，术语“一个实施例”、“一些实施例”、“实施例”、“示例”、“具体示例”或“一些示例”等的描述，是指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管已描述了本发明的优选实施例，但本领域的技术人员在得知了基本创造性概念后，则可对这些实施例作出另外的变更和修改。所以，权利要求应该解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种修改和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也应该包含这些修改和变型在内。

Claims (8)

1.一种无人机目标跟踪自动初始化方法，其特征在于，包括：
S1、无人机机载侧获取目标跟踪进程的状态，判断该状态是否为未初始化的状态；若是，则从当前图像帧中获取与待跟踪目标类别一致的子图；所述当前图像帧为从无人机的相机中读取的图像；
S2、按照预设的子图处理策略对每一子图进行处理，获得用于每一子图的归一化后的颜色统计特征和空间分布特征的特征向量；
S2包括：针对每一个子图，将所述子图转换成灰度图，并按照公式(1)获取灰度图中每一个像素的灰度值；
将所述灰度图按照A*A网格方式进行分块，获得A*A个子灰度图；
采用灰度直方图统计方式，获取每一个子灰度图大小为1*256的一维特征向量；
将所有A*A个子灰度图的一维特征向量组成所述子图大小为(A*A)*256的特征矩阵，该特征矩阵表示所述子图的颜色统计特征和空间分布特征；
对所述特征矩阵中每个特征向量按照公式(2)进行归一化处理，获得表示所述子图的经过归一化颜色统计特征和空间分布特征的特征矩阵；
公式(1)：Gray＝0.299R+0.587G+0.114B；
公式(2)：
其中，norm表示一个子灰度图内某一灰度值对应的像素点个数占该子灰度图像素点总个数的比例，取值范围为[0,1]；
R、G、B分别为子图中像素点的8位RGB分量；灰度值的取值范围为[0,255]；gray为子灰度图中某一像素的灰度值，取值范围为[0,255]，共256个灰度值取值；Ngray表示该子灰度图中灰度值为gray的像素的个数，取值范围为[0，N]，同时也是该子灰度图未经归一化的1*256大小的特征向量第gray个元素的大小；N表示该子灰度图的像素总个数；
S3、将每一子图的特征向量与目标数据库中存储的图像的特征向量进行匹配，获取匹配的一子图；
S4、将匹配的子图的坐标框信息传输至目标跟踪进程，以使目标跟踪进程基于所述匹配的子图的坐标框信息进行目标跟踪，所述坐标框信息为所述匹配的子图在所述当前图像帧中的坐标框信息。
2.根据权利要求1所述的方法，其特征在于，所述S3之前，所述方法还包括：建立所述目标数据库；
所述目标数据库中每一图像均具有一特征向量，所述特征向量为采用子图处理策略的处理方式获取的特征向量；
各个图像包括待跟踪目标各角度以及各个尺度的姿态信息。
3.根据权利要求1所述的方法，其特征在于，S1中的从当前图像帧中获取与待跟踪目标类别一致的子图，包括：
将每一个子图的坐标框从当前图像帧中分割并存储为唯一标识的子图；每一子图的坐标框为(x,y,w,h)；
(x,y)是每个子图的中心在当前图像帧上的二维像素坐标，(w,h)为坐标框的宽和高对应的像素数。
4.根据权利要求3所述的方法，其特征在于，
在A为3时，将所述灰度图按照3*3网格方式进行分块，生成9个子灰度图，且每一个子灰度图在整个子图上处于不同位置；
针对每一子图，9个一维的特征向量组成的大小为9*256的特征向量表示该子图的颜色特征的统计特征和空间分布特征。
5.根据权利要求4所述的方法，其特征在于，S3包括：
按照公式(3)计算子图的特征向量和目标数据库中每一图像的特征向量的相关系数；
选取大于第一指定阈值的相关系数中最高的相关系数所属的子图作为匹配的子图；
公式(3)：
其中，coor为计算的相关系数，值域为[0,1]，Si,j为第i个子图的特征向量的第j个元素值，Ti,j为目标数据库中对比图像第i个子图的特征向量的第j个元素值。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
S5、周期性获取所述目标跟踪进程输出的结果图像，采用所述子图处理策略的处理方式获取结果图像的特征向量，并将所述特征向量和所述目标数据库中各图像的特征向量进行比对，获得跟踪质量指标；
判断跟踪质量指标是否大于第二指定阈值，若小于，则确定当前目标跟踪进程的目标跟踪失败；停止所述目标跟踪进程，并执行上述步骤S1至S4实现自动初始化的过程。
7.根据权利要求6所述的方法，其特征在于，在所述S5中，根据下述公式(4)将结果图像的特征向量和所述目标数据库中各图像的特征向量进行比对，获得跟踪质量指标；
公式(4)：quality＝max(coor(track,templatek))
其中，track表示结果图像，templatek表示目标数据库中第k张图像，coor为计算的相关系数，值域为[0,1]，quality表示跟踪质量指标。
8.一种控制设备，其特征在于，所述控制设备位于无人机中，所述控制设备包括：存储器和处理器，所述存储器中存储指令，所述处理器执行所述存储器中存储的指令，并具体执行上述权利要求1至7任一所述的无人机目标跟踪自动初始化方法的步骤。
CN202111463184.1A 2021-12-02 2021-12-02 一种无人机目标跟踪自动初始化方法 Active CN114155281B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111463184.1A CN114155281B (zh) 2021-12-02 2021-12-02 一种无人机目标跟踪自动初始化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111463184.1A CN114155281B (zh) 2021-12-02 2021-12-02 一种无人机目标跟踪自动初始化方法

Publications (2)

Publication Number Publication Date
CN114155281A CN114155281A (zh) 2022-03-08
CN114155281B true CN114155281B (zh) 2023-07-18

Family

ID=80455952

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111463184.1A Active CN114155281B (zh) 2021-12-02 2021-12-02 一种无人机目标跟踪自动初始化方法

Country Status (1)

Country Link
CN (1) CN114155281B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108876816A (zh) * 2018-05-31 2018-11-23 西安电子科技大学 基于自适应目标响应的目标跟踪方法
CN210052062U (zh) * 2019-06-29 2020-02-11 佛山市中智广远科技有限公司 无人机目标跟踪与定位装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105447459B (zh) * 2015-11-18 2019-03-22 上海海事大学 一种无人机自动检测目标和跟踪方法
CN107316322A (zh) * 2017-06-27 2017-11-03 上海智臻智能网络科技股份有限公司 视频跟踪方法和装置、以及对象识别方法和装置
CN110658852A (zh) * 2019-09-16 2020-01-07 苏州米龙信息科技有限公司 用于无人机的智能目标搜寻方法及系统
CN112215074A (zh) * 2020-09-10 2021-01-12 鲁东大学 基于无人机视觉的实时目标识别与检测追踪系统及方法
CN113139985B (zh) * 2021-03-16 2022-09-16 北京理工大学 消除无人机与地面站通信延迟影响的跟踪目标框选方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108876816A (zh) * 2018-05-31 2018-11-23 西安电子科技大学 基于自适应目标响应的目标跟踪方法
CN210052062U (zh) * 2019-06-29 2020-02-11 佛山市中智广远科技有限公司 无人机目标跟踪与定位装置

Also Published As

Publication number Publication date
CN114155281A (zh) 2022-03-08

Similar Documents

Publication Publication Date Title
US11443454B2 (en) Method for estimating the pose of a camera in the frame of reference of a three-dimensional scene, device, augmented reality system and computer program therefor
CN108960211B (zh) 一种多目标人体姿态检测方法以及系统
JP6438403B2 (ja) 結合された深度キューに基づく平面視画像からの深度マップの生成
CN106529538A (zh) 一种飞行器的定位方法和装置
US9767383B2 (en) Method and apparatus for detecting incorrect associations between keypoints of a first image and keypoints of a second image
Lipson et al. Coupled iterative refinement for 6d multi-object pose estimation
US20160307329A1 (en) Robotic surveying of fruit plants
CN108171715B (zh) 一种图像分割方法及装置
WO2012177336A2 (en) Systems and methods for estimating the geographic location at which image data was captured
CN109858437B (zh) 基于生成查询网络的行李体积自动分类方法
CN109934131A (zh) 一种基于无人机的小目标检测方法
US11380010B2 (en) Image processing device, image processing method, and image processing program
WO2021218671A1 (zh) 目标跟踪方法及装置、存储介质及计算机程序
CN113850865A (zh) 一种基于双目视觉的人体姿态定位方法、系统和存储介质
KR101941878B1 (ko) 무인항공기 영상 자동 기하보정을 위한 처리시스템
CN106250898B (zh) 一种基于尺度预测的图像局部区域特征提取方法
CN116229189B (zh) 基于荧光内窥镜的图像处理方法、装置、设备及存储介质
Seib et al. Object recognition using hough-transform clustering of surf features
CN113436251A (zh) 一种基于改进的yolo6d算法的位姿估计系统及方法
CN114155281B (zh) 一种无人机目标跟踪自动初始化方法
CN109377524B (zh) 一种单幅图像深度恢复方法和系统
CN110751163B (zh) 目标定位方法及其装置、计算机可读存储介质和电子设备
Ocegueda-Hernandez et al. A lightweight convolutional neural network for pose estimation of a planar model
CN111735447B (zh) 一种仿星敏式室内相对位姿测量系统及其工作方法
Micheal et al. Comparative analysis of SIFT and SURF on KLT tracker for UAV applications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant