CN113936036A - 基于无人机视频的目标跟踪方法、装置及计算机设备 - Google Patents

基于无人机视频的目标跟踪方法、装置及计算机设备 Download PDF

Info

Publication number
CN113936036A
CN113936036A CN202111170763.7A CN202111170763A CN113936036A CN 113936036 A CN113936036 A CN 113936036A CN 202111170763 A CN202111170763 A CN 202111170763A CN 113936036 A CN113936036 A CN 113936036A
Authority
CN
China
Prior art keywords
target
current frame
frame
short
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111170763.7A
Other languages
English (en)
Other versions
CN113936036B (zh
Inventor
尚洋
陆伟康
苏昂
张文龙
李璋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202111170763.7A priority Critical patent/CN113936036B/zh
Publication of CN113936036A publication Critical patent/CN113936036A/zh
Application granted granted Critical
Publication of CN113936036B publication Critical patent/CN113936036B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种基于无人机视频的目标跟踪方法、装置及计算机设备。所述方法包括：通过在除第一帧以外的各帧中采用DIS流光法去除目标图像背景，再采用单应变换矩阵得到与当前帧相关的目标运动模型，实际上也就是将历史检测出来的目标位置投影到同一坐标系上，以此可以获得一条目标的运动曲线，通过该曲线来判断当前帧目标的预测位置，这样在目标没有被遮挡时采用短时滤波器进行跟踪，而被遮挡时采用目标运动模型进行辅助跟踪，以解决现有技术中采用无人机平台在对目标进行跟踪时目标被遮挡而跟踪丢失的难题。

Description

基于无人机视频的目标跟踪方法、装置及计算机设备
技术领域
本申请涉及目标跟踪技术领域，特别是涉及一种基于无人机视频的目标跟踪方法、装置及计算机设备。
背景技术
作为无人机侦察的核心装备，光电吊舱被广泛应用于军事侦察任务。与常规像机静止或移动缓慢的目标跟踪不同，无人机平台上的目标跟踪将面对更困难的挑战：1)目标分辨率低；2)目标遮挡；3)相似目标干扰；4)目标尺度变化；5)目标甚至背景的快速移动；6)光照变化；7)视角变化；8)计算能力限制。因此，无人机平台亟需一种快速且鲁棒的目标跟踪方法。
发明内容
基于此，有必要针对上述技术问题，提供一种能够在目标被遮挡时仍能够对目标继续进行跟踪的一种基于无人机视频的目标跟踪方法、装置及计算机设备。
一种基于无人机视频的目标跟踪方法，所述方法包括：
获取基于无人机拍摄得到的目标视频数据，所述目标视频数据中包括以时间顺序排列的多帧目标图像；
对非首帧目标图像进行目标跟踪时，基于DIS光流法以及单应变换矩阵得到与当前帧以及历史帧相关的目标运动模型；
根据所述目标运动模型对当前帧的目标位置进行预测得到当前帧目标的预测位置，根据所述预测位置以及更新短时滤波器对目标进行跟踪得到当前帧的目标位置；
对根据所述更新短时滤波器得到最大响应值判断目标是否被遮挡，若目标没有被遮挡，则在下一帧中仍然用更新短时滤波器对目标进行跟踪；
若目标被遮挡，则在后续帧中采用目标运动模型对目标进行跟踪，同时根据长时滤波器得到最大响应值进行判断目标是否持续被遮挡，直至判断目标没有被遮挡后，切换为更新短时滤波器对目标进行跟踪。
在其中一实施例中，所述对非首帧目标图像进行目标跟踪时，基于DIS光流法以及单应变换矩阵得到与当前帧以及历史帧相关的目标运动模型包括：
根据DIS光流法获得前一帧目标图像与当前帧目标图像中各像素点的对应关系；
根据该对应关系计算两帧图像的单应变换矩阵；
根据所述单应变换矩阵将历史目标的位置投影到同一坐标系下以得到与当前帧相关的目标运动模型。
在其中一实施例中，所述根据所述预测位置以及更新短时滤波器对目标进行跟踪得到当前帧的目标位置包括：
根据所述预测位置确定当前帧的目标搜索区域；
根据所述目标搜索区域与短时滤波器进行相关得到当前帧的目标位置。
在其中一实施例中，在根据所述更新短时滤波器对目标进行跟踪得到当前帧的目标位置之后还对更新短时滤波器进行更新，其中更新过程具体包括：
根据当前帧的目标位置确定当前帧的准确搜索区域；
根据所述准确搜索区域中目标图像的特征构建并训练当前帧的准确短时滤波器；
根据当前帧的准确短时滤波器对所述更新滤波器进行迭代更新得到供一下帧目标图像应用的更新短时滤波器。
在其中一实施例中，若目标被遮挡，则在后续帧中采用目标运动模型对目标进行跟踪时，再根据当前帧和前一帧的目标图像进行计算得到与当前帧相关的目标运动模型后，将目标运动模型预测得到当前帧的预测位置作为当前帧的目标位置。
在其中一实施例中，若目标被遮挡，根据长时滤波器得到最大响应值进行判断目标是否持续被遮挡，直至判断目标没有被遮挡后，切换为更新短时滤波器对目标进行跟踪具体包括：
根据所述目标运动模型预测得到的当前帧目标位置确定准确搜索区域；
根据所述准确搜索区域与长时滤波器进行相关得到最大响应值；
根据所述最大响应值进行判断当前帧中的目标是否持续被遮挡，若仍被遮挡，则下一帧中仍采用目标运动模型对目标进行跟踪；
若目标没有被遮挡，则将长时滤波器的参数赋值给更新短时滤波器，在下一帧中由该更新短时滤波器恢复对目标进行跟踪。
在其中一实施例中，每隔100帧对长时滤波器进行一次更新。
在其中一实施例中，对第一帧目标图像进行目标跟踪时包括：
在第一帧目标图像中确定目标位置，并根据该目标位置确定当前帧的准确搜索区域；
根据所述准确搜索区域中第一帧目标图像的特征构建并训练得到所述长时滤波器以及供下一帧应用的短时滤波器。
本申请还提供了一种基于无人机视频的目标跟踪装置，所述装置包括：
目标视频数据获取模块，用于获取基于无人机拍摄得到的目标视频数据，所述目标视频数据中包括以时间顺序排列的多帧目标图像；
目标运动模型得到模块，用于对非首帧目标图像进行目标跟踪时，基于DIS光流法以及单应变换矩阵得到与当前帧以及历史帧相关的目标运动模型；
目标位置得到模块，用于根据所述目标运动模型对当前帧的目标位置进行预测得到当前帧目标的预测位置，根据所述预测位置以及更新短时滤波器对目标进行跟踪得到当前帧的目标位置；
目标没有被遮挡模块，用于对根据所述更新短时滤波器得到最大响应值判断目标是否被遮挡，若目标没有被遮挡，则在下一帧中仍然用更新短时滤波器对目标进行跟踪；
目标遮挡模块，用于若目标被遮挡，则在后续帧中采用目标运动模型对目标进行跟踪，同时根据长时滤波器得到最大响应值进行判断目标是否持续被遮挡，直至判断目标没有被遮挡后，切换为更新短时滤波器对目标进行跟踪。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取基于无人机拍摄得到的目标视频数据，所述目标视频数据中包括以时间顺序排列的多帧目标图像；
对非首帧目标图像进行目标跟踪时，基于DIS光流法以及单应变换矩阵得到与当前帧以及历史帧相关的目标运动模型；
根据所述目标运动模型对当前帧的目标位置进行预测得到当前帧目标的预测位置，根据所述预测位置以及更新短时滤波器对目标进行跟踪得到当前帧的目标位置；
对根据所述更新短时滤波器得到最大响应值判断目标是否被遮挡，若目标没有被遮挡，则在下一帧中仍然用更新短时滤波器对目标进行跟踪；
若目标被遮挡，则在后续帧中采用目标运动模型对目标进行跟踪，同时根据长时滤波器得到最大响应值进行判断目标是否持续被遮挡，直至判断目标没有被遮挡后，切换为更新短时滤波器对目标进行跟踪。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取基于无人机拍摄得到的目标视频数据，所述目标视频数据中包括以时间顺序排列的多帧目标图像；
对非首帧目标图像进行目标跟踪时，基于DIS光流法以及单应变换矩阵得到与当前帧以及历史帧相关的目标运动模型；
根据所述目标运动模型对当前帧的目标位置进行预测得到当前帧目标的预测位置，根据所述预测位置以及更新短时滤波器对目标进行跟踪得到当前帧的目标位置；
对根据所述更新短时滤波器得到最大响应值判断目标是否被遮挡，若目标没有被遮挡，则在下一帧中仍然用更新短时滤波器对目标进行跟踪；
若目标被遮挡，则在后续帧中采用目标运动模型对目标进行跟踪，同时根据长时滤波器得到最大响应值进行判断目标是否持续被遮挡，直至判断目标没有被遮挡后，切换为更新短时滤波器对目标进行跟踪。
上述基于无人机视频的目标跟踪方法、装置及计算机设备，通过在除第一帧以外的各帧中采用DIS流光法去除目标图像背景，再采用单应变换矩阵得到与当前帧相关的目标运动模型，实际上也就是将历史检测出来的目标位置投影到同一坐标系上，以此可以获得一条目标的运动曲线，通过该曲线来判断当前帧目标的预测位置，这样在目标没有被遮挡时采用短时滤波器进行跟踪，而被遮挡时采用目标运动模型进行辅助跟踪，以解决现有技术中采用无人机平台在对目标进行跟踪时目标被遮挡而跟踪丢失的难题。
附图说明
图1为一个实施例中目标跟踪方法的流程示意图；
图2为一个实施例中目标跟踪方法实际操作时的流程示意图；
图3为一个实施例中相关滤波器原理的示意图；
图4为一个实施例中DIA光流法示意图；
图5为一个实施例中目标跟踪方法装置的结构框图；
图6为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
如图1所示，本申请提供了一种基于无人机视频的目标跟踪方法，用于对目标被遮挡时进行跟踪，包括以下步骤：
步骤S100，获取基于无人机拍摄得到的目标视频数据，目标视频数据中包括以时间顺序排列的多帧目标图像；
步骤S110，对非首帧目标图像进行目标跟踪时，基于DIS光流法以及单应变换矩阵得到与当前帧以及历史帧相关的目标运动模型；
步骤S120，根据目标运动模型对当前帧的目标位置进行预测得到当前帧目标的预测位置，根据预测位置以及更新短时滤波器对目标进行跟踪得到当前帧的目标位置；
步骤S130，对根据更新短时滤波器得到最大响应值判断目标是否被遮挡，若目标没有被遮挡，则在下一帧中仍然用更新短时滤波器对目标进行跟踪；
步骤S140，若目标被遮挡，则在后续帧中采用目标运动模型对目标进行跟踪，同时根据长时滤波器得到最大响应值进行判断目标是否持续被遮挡，直至判断目标没有被遮挡后，切换为更新短时滤波器对目标进行跟踪。
在步骤S100中，目标视频数据是由无人机平台获取的，与常规相机静止或缓慢移动的目标不同，无人机平台上的目标跟踪将面对更大的困难，而在本申请中的方法实际上解决的两个问题，第一个问题是目标丢失的问题，由于无人机的作业环境导致可能会遇到强风的情况，使得镜头晃动剧烈，而在拍摄到的图像上会发生背景的快速移动，此时目标在前后两帧图像中移动的距离超过的搜索区域从而导致跟踪失败的问题。而第二个问题就是在目标被遮挡的问题，这里指的目标被遮挡不是目标从头到尾被其他物体遮挡，而是指在跟踪的过程中，有一段时间被物体遮挡，这样在这段时间后，目标也会被跟踪失败。
在解决第一个问题时，本方法采用了根据历史目标位置映射到当前帧中以得到与目标运动信息相关的目标运动模型，并用该目标运动模型预测当前帧的目标检测框，以解决当目标移动过快而导致当前帧中的目标搜索框无法覆盖目标而跟踪失败的问题。
在步骤S110中，基于DIS光流法以及单应变换矩阵得到与当前帧以及历史帧相关的目标运动模型包括：根据DIS光流法获得前一帧目标图像与当前帧目标图像中各像素点的对应关系，并根据该对应关系计算两帧图像的单应变换矩阵，再根据单应变换矩阵将历史目标的位置投影到同一坐标系下以得到与当前帧相关的目标运动模型。
具体的，目标在大地上的运动可以近似为一个平面运动，因此可以用单应变化矩阵将前一帧目标的位置映射到当前帧图像中，并且采用DIS(Dense Inverse Search-based)流光法计算得到前后两帧图像的稠密光流后，可以获得当前帧目标图像和前一帧目标图像中各像素点的对应关系，并基于该对应关系计算得到单应变换矩阵。
这样将所有之前跟踪得到的所有帧的历史目标位置通过单应变换矩阵转换到当前帧图像坐标系下，便可以获得目标的运动信息也就是目标运动模型。实际上也就是从第二帧开始，将第一帧的目标位置映射到第二帧的目标图像中，在第三帧中将第二帧中的目标位置(而其中也已经有第一帧的目标位置)映射到第三帧图像中，这样经过数帧目标图像后，就可以得到目标在当前帧图像中一条运动曲线，由各历史目标位置组成。这样假设在短时间内目标的运动仍保持运动规律，就可以利用目标运动模型对当前帧的目标位置进行预测，缩小目标搜索的范围，是想更为精准的定位。
这样充分利用的目标的运动信息，即使前一帧和后一帧中目标位置相差很大，也可以利用目标运动模型对当前帧的目标位置进行预测后，再确定目标搜索区域。
进一步的，在步骤S120中，根据预测位置以及更新短时滤波器对目标进行跟踪得到当前帧的目标位置包括：根据预测位置确定当前帧的目标搜索区域，根据目标搜索区域与短时滤波器进行相关得到当前帧的目标位置。实际上是根据目标搜索区域在当前帧目标图像提取相应的特征，再将特征与短时滤波器进行相关运算得到响应，而响应值最大的地方对应的就是目标位置。
在步骤S120中，在对每一帧目标图像利用更新短时滤波器对目标进行跟踪得到当前帧的目标位置之后还对更新短时滤波器进行更新以供下一帧目标图像应用，其中更新过程具体包括：根据当前帧的目标位置确定当前帧的准确搜索区域，根据该准确搜索区域中目标图像的特征构建并训练当前帧的准确短时滤波器，最后根据当前帧的准确短时滤波器对更新滤波器进行迭代更新得到供一下帧目标图像应用的更新短时滤波器。
具体的，当得到各帧图像中的目标位置时，也就是相对准确的估计目标位置后，再根据目标位置确定一个更为准确的搜索区域，并利用该搜索区域中的特征构建和训练一个短时滤波器，并将该短时滤波器与之前上一帧得到的更新短时滤波器进行迭代更新，得到当前帧的更新短时滤波器供下一帧目标图像在进行目标跟踪时应用。这样通过每一帧都对短时滤波器进行更新，使得每次进行目标跟踪时更为准确。
接下来，为了解决第二个问题，就是目标被遮挡时跟踪失败的问题。由于在无人机对目标进行跟踪的整个过程中，不是一直都会被物体遮挡而是短时间被遮挡，则首先需要对当前帧目标图像进行判断是否被遮挡的问题。
目标部分被遮挡时，跟踪器仍然能跟踪目标并更新短时滤波器，因此实时更新短时滤波器时会引入一部分干扰，随着遮挡的不断累积，造成短时滤波器失效。因此本方法中提出采用一个长时滤波器来保存不受干扰的滤波器，同时为了使长时滤波器能适应目标的形变，采取每隔100帧对长时滤波器更新一次。
由于短时间内目标外观改变不大，且目标在搜索区域中位置相对恒定，因此目标最大响应值在一定范围内较为稳定。在步骤S130中，利用最大响应值来判断目标是否遮挡，当当前帧目标的最大响应值大于阈值时，说明目标没有被遮挡，在下一帧中仍然用更新短时滤波器对目标位置进行跟踪。
在步骤S140中，当目标最大响应值小于设定的阈值时，则判断目标被遮挡。此时，切换为由目标运动模型对下一帧中的目标进行跟踪得到目标位置，再由长时滤波器对由目标位置确定的搜索区域进行相关得到最大响应值，当长时滤波器的最大响应值重新达到设定的阈值时，则判断目标跟踪成功，从而实现目标在遮挡时的跟踪。
具体的，当目标被遮挡，则在后续帧中采用目标运动模型对目标进行跟踪时，再根据当前帧和前一帧的目标图像进行计算得到与当前帧相关的目标运动模型后，将目标运动模型预测得到当前帧的预测位置作为当前帧的目标位置。也就由目标运动模型来确定当前帧中的目标位置，不再采用短时滤波器。
具体的，当目标被遮挡时，还根据长时滤波器得到最大响应值进行判断目标是否持续被遮挡，直至判断目标没有被遮挡后，切换为更新短时滤波器对目标进行跟踪具体包括：根据目标运动模型预测得到的当前帧目标位置确定准确搜索区域，根据准确搜索区域与长时滤波器进行相关得到最大响应值，根据最大响应值进行判断当前帧中的目标是否持续被遮挡，若仍被遮挡，则下一帧中仍采用目标运动模型对目标进行跟踪。若目标没有被遮挡，则将长时滤波器的参数赋值给更新短时滤波器，在下一帧中由该更新短时滤波器恢复对目标进行跟踪。
在这里，当通过长时滤波器的检测，目标没有被遮挡后，将下一帧中恢复利用短时滤波器对目标进行跟踪，并且将长时滤波器的参数赋值给由于遮挡而引入干扰的短时滤波器，使得短时滤波器在之后的目标跟踪中恢复跟踪能力。
同时，短时滤波器和长时滤波器均为位置相关滤波器，并且在刚开始时两者并没有实质性的差别，只是短时滤波器每一帧都进行更新，而长时滤波器是每隔100帧才更新一次。
在本实施例中，对第一帧目标图像进行目标跟踪时包括：在第一帧目标图像中确定目标位置，并根据该目标位置确定当前帧的准确搜索区域，根据准确搜索区域中第一帧目标图像的特征构建并训练得到长时滤波器以及供下一帧应用的短时滤波器。
在实际运用本方法进行目标跟踪时，可参照图2所示的流程图进行具体操作。
在本方法中，分别采用了相关滤波器对目标进行跟踪，以及采用DIA流光法去除目标图像中的背景，所以在这里也对两种方法进行简要的概述。
相关滤波器原理，参考图3：
通常，基于相关滤波的跟踪方法会将滤波器的求解问题简化为一个岭回归问题。构建一个函数f(z)＝ωTz使得函数的输出与期望输出之间的均方差最小，损失函数如下式所示：
ε(ω)＝∑i(f(xi)-yi)2+λ‖ω‖2 (1)
在公式(1)中，xi为训练样本(也就是每一帧中根据搜索区域所提取的图像特征)，yi为期望输出，λ为正则化系数，用于防止训练函数的过拟合。利用核函数将训练样本从低维空间映射到高维空间可以将滤波器求解中的非线性问题变为线性问题，如以下公式：
Figure BDA0003293092010000101
在公式(2)中，
Figure BDA0003293092010000102
表示xi从原始空间到希尔伯特空间的映射关系。则对公式(2)进行求导可得到核函数相关滤波的闭合解为：
α＝(K+λI)-1y (3)
在公式(3)中，
Figure BDA0003293092010000103
为核矩阵。并且当核函数选用高斯核函数或其他几种特殊核函数时，仍能保持核矩阵K为循环矩阵。
而在本实施例中，在公式(3)中选择高斯核作为核函数，得到：
Figure BDA0003293092010000104
根据循环矩阵性质，并结合之前所推导公式，可将公式(3)中矩阵的相乘和求逆转换频域中的点乘计算得到训练好的滤波器:
Figure BDA0003293092010000105
在公式(5)中，
Figure BDA0003293092010000106
为核矩阵Ki,j＝κ(xi，xj)的傅里叶变换。利用训练好的滤波器，在输入一帧新的图像的搜索区域内找到响应值最大的样本，即为新一帧中目标所在位置：
Figure BDA0003293092010000107
在公式(6)中，
Figure BDA0003293092010000108
zj为新一帧中目标的搜索区域和循环移位产生的训练样本合集。
为提高滤波器的鲁棒性，适应目标在运动过程中发生的形变，将核相关滤波器线性加权更新(也就是对更新短时滤波器进行更新时)：
Figure BDA0003293092010000109
在公式(7)中，
Figure BDA00032930920100001010
为上一帧得到的滤波器，
Figure BDA00032930920100001011
为供下一帧使用的更新滤波器。
利用上述方法对短时滤波器以及长时滤波器进行构建、训练及更新。
光流法原理，参考图4：
光流是三维运动物体在二维成像平面上像素运动的瞬时速度。根据定义，光流还需建立在以下三个假设之上：1)小位移假设2)亮度恒定假设3)空间一致性假设。1981年，Schunck等人提出了光流的基本约束方程，根据小位移假设和亮度恒定假设，可得：
I(x，y，t)＝I(x+dx，y+dy，t+dt) (8)
在公式(8)中，I(x,y,t)表示像素(x,y)在t时刻的光强度，经过dt时刻移动了(dx,dy)的距离。对等式右边进行泰勒展开得到：
Figure BDA0003293092010000111
在公式(9)中，ε为二阶无穷小项，将公式(9)化简可得：
Ixu+Iyv+It＝0 (10)
在公式(10)中，
Figure BDA0003293092010000112
(u,v)即为所求光流矢量。
DIS光流法是一种快速的稠密光流算法，提出利用逆向搜索来求解稀疏的光流场。该算法由三部分组成：1、利用逆搜索提取两幅图像的单点对应关系2、把每一层图像金字塔上的点对应关系聚合生成密集光流场3、对光流场变分优化。
首先，先构建两帧图像的图像金字塔，计算图像块状积分图，用于逆向搜索。图像It(当前帧)中大小为a×a的区域T，其中心位于x＝(x,y)T，在图像It+1(下一帧)中寻找一个同样大小的最佳匹配区域。向量u＝(μ，v)T为图像块T在两幅图像中的对应关系，通过最小化模板和匹配区域之间的平方差之和，可以得到光流优化函数。
传统的光流求解：
u＝argminu′∑x[It+1(W(x；u))-T(x)]2 (11)
Δu＝argminΔu′∑x[It+1(W(x；u+Δu))-T(x)]2 (12)
在公式(12)中，W(x；u)＝(x+u，y+v)。对公式(12)求解时，每次迭代时需要更新海塞矩阵，计算量大，因此DIS光流法采用逆向搜索法，将目标函数变成：
Δu＝argminΔu′∑x[T(W(x；Δu))-It+1(W(x；u))]2 (13)
得到Δu：
Δu＝H′-1∑xS′T·[It+1(W(x；u))-T(x)] (14)
此时公式(14)中的S′与H′不需要在每次迭代中更新，大大节省了运算时间。
得到上层金字塔的单点对应关系后，当前层每个像素对应的光流等于所有包含该点的图像块对应的稀疏光流的加权求和。
最后对光流场变分细化，得到稠密光流场。
上述于无人机视频的目标跟踪方法中，通过在除第一帧以外的各帧中采用DIS流光法去除目标图像背景，再采用单应变换矩阵得到与当前帧相关的目标运动模型，实际上也就是将历史检测出来的目标位置投影到同一坐标系上，以此可以获得一条目标的运动曲线，通过该曲线来判断当前帧目标的预测位置，这样在目标没有被遮挡时采用短时滤波器进行跟踪，而被遮挡时采用目标运动模型进行辅助跟踪，以解决现有技术中采用无人机平台在对目标进行跟踪时目标被遮挡而跟踪丢失的难题。
应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图5所示，提供了一种基于无人机视频的目标跟踪装置，包括：目标视频数据获取模块200、目标运动模型得到模块210、目标位置得到模块220、目标没有被遮挡模块230和目标遮挡模块240，其中：
目标视频数据获取模块200，用于获取基于无人机拍摄得到的目标视频数据，所述目标视频数据中包括以时间顺序排列的多帧目标图像；
目标运动模型得到模块210，用于对非首帧目标图像进行目标跟踪时，基于DIS光流法以及单应变换矩阵得到与当前帧以及历史帧相关的目标运动模型；
目标位置得到模块220，用于根据所述目标运动模型对当前帧的目标位置进行预测得到当前帧目标的预测位置，根据所述预测位置以及更新短时滤波器对目标进行跟踪得到当前帧的目标位置；
目标没有被遮挡模块230，用于对根据所述更新短时滤波器得到最大响应值判断目标是否被遮挡，若目标没有被遮挡，则在下一帧中仍然用更新短时滤波器对目标进行跟踪；
目标遮挡模块240，用于若目标被遮挡，则在后续帧中采用目标运动模型对目标进行跟踪，同时根据长时滤波器得到最大响应值进行判断目标是否持续被遮挡，直至判断目标没有被遮挡后，切换为更新短时滤波器对目标进行跟踪。
关于基于无人机视频的目标跟踪装置的具体限定可以参见上文中对于基于无人机视频的目标跟踪方法的限定，在此不再赘述。上述基于无人机视频的目标跟踪装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于无人机视频的目标跟踪方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取基于无人机拍摄得到的目标视频数据，所述目标视频数据中包括以时间顺序排列的多帧目标图像；
对非首帧目标图像进行目标跟踪时，基于DIS光流法以及单应变换矩阵得到与当前帧以及历史帧相关的目标运动模型；
根据所述目标运动模型对当前帧的目标位置进行预测得到当前帧目标的预测位置，根据所述预测位置以及更新短时滤波器对目标进行跟踪得到当前帧的目标位置；
对根据所述更新短时滤波器得到最大响应值判断目标是否被遮挡，若目标没有被遮挡，则在下一帧中仍然用更新短时滤波器对目标进行跟踪；
若目标被遮挡，则在后续帧中采用目标运动模型对目标进行跟踪，同时根据长时滤波器得到最大响应值进行判断目标是否持续被遮挡，直至判断目标没有被遮挡后，切换为更新短时滤波器对目标进行跟踪。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取基于无人机拍摄得到的目标视频数据，所述目标视频数据中包括以时间顺序排列的多帧目标图像；
对非首帧目标图像进行目标跟踪时，基于DIS光流法以及单应变换矩阵得到与当前帧以及历史帧相关的目标运动模型；
根据所述目标运动模型对当前帧的目标位置进行预测得到当前帧目标的预测位置，根据所述预测位置以及更新短时滤波器对目标进行跟踪得到当前帧的目标位置；
对根据所述更新短时滤波器得到最大响应值判断目标是否被遮挡，若目标没有被遮挡，则在下一帧中仍然用更新短时滤波器对目标进行跟踪；
若目标被遮挡，则在后续帧中采用目标运动模型对目标进行跟踪，同时根据长时滤波器得到最大响应值进行判断目标是否持续被遮挡，直至判断目标没有被遮挡后，切换为更新短时滤波器对目标进行跟踪。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.基于无人机视频的目标跟踪方法，其特征在于，所述方法用于对目标被遮挡时进行跟踪，包括：
获取基于无人机拍摄得到的目标视频数据，所述目标视频数据中包括以时间顺序排列的多帧目标图像；
对非首帧目标图像进行目标跟踪时，基于DIS光流法以及单应变换矩阵得到与当前帧以及历史帧相关的目标运动模型；
根据所述目标运动模型对当前帧的目标位置进行预测得到当前帧目标的预测位置，根据所述预测位置以及更新短时滤波器对目标进行跟踪得到当前帧的目标位置；
对根据所述更新短时滤波器得到最大响应值判断目标是否被遮挡，若目标没有被遮挡，则在下一帧中仍然用更新短时滤波器对目标进行跟踪；
若目标被遮挡，则在后续帧中采用目标运动模型对目标进行跟踪，同时根据长时滤波器得到最大响应值进行判断目标是否持续被遮挡，直至判断目标没有被遮挡后，切换为更新短时滤波器对目标进行跟踪。
2.根据权利要求1所述的目标跟踪方法，其特征在于，所述对非首帧目标图像进行目标跟踪时，基于DIS光流法以及单应变换矩阵得到与当前帧以及历史帧相关的目标运动模型包括：
根据DIS光流法获得前一帧目标图像与当前帧目标图像中各像素点的对应关系；
根据该对应关系计算两帧图像的单应变换矩阵；
根据所述单应变换矩阵将历史目标的位置投影到同一坐标系下以得到与当前帧相关的目标运动模型。
3.根据权利要求2所述的目标跟踪方法，其特征在于，所述根据所述预测位置以及更新短时滤波器对目标进行跟踪得到当前帧的目标位置包括：
根据所述预测位置确定当前帧的目标搜索区域；
根据所述目标搜索区域与短时滤波器进行相关得到当前帧的目标位置。
4.根据权利要求3所述的目标跟踪方法，其特征在于，在根据所述更新短时滤波器对目标进行跟踪得到当前帧的目标位置之后还对更新短时滤波器进行更新，其中更新过程具体包括：
根据当前帧的目标位置确定当前帧的准确搜索区域；
根据所述准确搜索区域中目标图像的特征构建并训练当前帧的准确短时滤波器；
根据当前帧的准确短时滤波器对所述更新滤波器进行迭代更新得到供一下帧目标图像应用的更新短时滤波器。
5.根据权利要求4所述的目标跟踪方法，其特征在于，若目标被遮挡，则在后续帧中采用目标运动模型对目标进行跟踪时，再根据当前帧和前一帧的目标图像进行计算得到与当前帧相关的目标运动模型后，将目标运动模型预测得到当前帧的预测位置作为当前帧的目标位置。
6.根据权利要求5所述的目标跟踪方法，其特征在于，若目标被遮挡，根据长时滤波器得到最大响应值进行判断目标是否持续被遮挡，直至判断目标没有被遮挡后，切换为更新短时滤波器对目标进行跟踪具体包括：
根据所述目标运动模型预测得到的当前帧目标位置确定准确搜索区域；
根据所述准确搜索区域与长时滤波器进行相关得到最大响应值；
根据所述最大响应值进行判断当前帧中的目标是否持续被遮挡，若仍被遮挡，则下一帧中仍采用目标运动模型对目标进行跟踪；
若目标没有被遮挡，则将长时滤波器的参数赋值给更新短时滤波器，在下一帧中由该更新短时滤波器恢复对目标进行跟踪。
7.根据权利要求6所述的目标跟踪方法，其特征在于，每隔100帧对长时滤波器进行一次更新。
8.根据权利要求1-7任一项所述的跟踪方法，其特征在于，对第一帧目标图像进行目标跟踪时包括：
在第一帧目标图像中确定目标位置，并根据该目标位置确定当前帧的准确搜索区域；
根据所述准确搜索区域中第一帧目标图像的特征构建并训练得到所述长时滤波器以及供下一帧应用的短时滤波器。
9.一种基于无人机视频的目标跟踪装置，其特征在于，所述装置包括：
目标视频数据获取模块，用于获取基于无人机拍摄得到的目标视频数据，所述目标视频数据中包括以时间顺序排列的多帧目标图像；
目标运动模型得到模块，用于对非首帧目标图像进行目标跟踪时，基于DIS光流法以及单应变换矩阵得到与当前帧以及历史帧相关的目标运动模型；
目标位置得到模块，用于根据所述目标运动模型对当前帧的目标位置进行预测得到当前帧目标的预测位置，根据所述预测位置以及更新短时滤波器对目标进行跟踪得到当前帧的目标位置；
目标没有被遮挡模块，用于对根据所述更新短时滤波器得到最大响应值判断目标是否被遮挡，若目标没有被遮挡，则在下一帧中仍然用更新短时滤波器对目标进行跟踪；
目标遮挡模块，用于若目标被遮挡，则在后续帧中采用目标运动模型对目标进行跟踪，同时根据长时滤波器得到最大响应值进行判断目标是否持续被遮挡，直至判断目标没有被遮挡后，切换为更新短时滤波器对目标进行跟踪。
10.计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述方法的步骤。
CN202111170763.7A 2021-10-08 2021-10-08 基于无人机视频的目标跟踪方法、装置及计算机设备 Active CN113936036B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111170763.7A CN113936036B (zh) 2021-10-08 2021-10-08 基于无人机视频的目标跟踪方法、装置及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111170763.7A CN113936036B (zh) 2021-10-08 2021-10-08 基于无人机视频的目标跟踪方法、装置及计算机设备

Publications (2)

Publication Number Publication Date
CN113936036A true CN113936036A (zh) 2022-01-14
CN113936036B CN113936036B (zh) 2024-03-08

Family

ID=79278178

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111170763.7A Active CN113936036B (zh) 2021-10-08 2021-10-08 基于无人机视频的目标跟踪方法、装置及计算机设备

Country Status (1)

Country Link
CN (1) CN113936036B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115359240A (zh) * 2022-07-15 2022-11-18 北京中科思创云智能科技有限公司 基于多帧图像运动特征的小目标检测方法、装置和设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106683121A (zh) * 2016-11-29 2017-05-17 广东工业大学 一种融合检测过程的鲁棒目标追踪方法
CN110222581A (zh) * 2019-05-13 2019-09-10 电子科技大学 一种基于双目相机的四旋翼无人机视觉目标跟踪方法
WO2020224460A1 (zh) * 2019-05-06 2020-11-12 影石创新科技股份有限公司 一种目标追踪方法及便携式终端

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106683121A (zh) * 2016-11-29 2017-05-17 广东工业大学 一种融合检测过程的鲁棒目标追踪方法
WO2020224460A1 (zh) * 2019-05-06 2020-11-12 影石创新科技股份有限公司 一种目标追踪方法及便携式终端
CN110222581A (zh) * 2019-05-13 2019-09-10 电子科技大学 一种基于双目相机的四旋翼无人机视觉目标跟踪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
WEIKANG LU等: "Accurate Aspect Ratio Estimation in Scale Adaptive Tracking", JOURNAL OF PHYSICS: CONFERENCE SERIES *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115359240A (zh) * 2022-07-15 2022-11-18 北京中科思创云智能科技有限公司 基于多帧图像运动特征的小目标检测方法、装置和设备
CN115359240B (zh) * 2022-07-15 2024-03-15 北京中科思创云智能科技有限公司 基于多帧图像运动特征的小目标检测方法、装置和设备

Also Published As

Publication number Publication date
CN113936036B (zh) 2024-03-08

Similar Documents

Publication Publication Date Title
CN110998594B (zh) 检测动作的方法和系统
Guizilini et al. 3d packing for self-supervised monocular depth estimation
Pillai et al. Superdepth: Self-supervised, super-resolved monocular depth estimation
EP3817360A1 (en) Method for tracking target in panoramic video, and panoramic camera
CN113286194A (zh) 视频处理方法、装置、电子设备及可读存储介质
CN111311685A (zh) 一种基于imu/单目图像的运动场景重构无监督方法
KR20190128724A (ko) 타겟 인식 방법, 장치, 저장 매체 및 전자 기기
JP2021506017A (ja) 物体検出器及び物体検出方法
JP2008538832A (ja) 歩行者の追跡による、ビデオ系列からの３次元道路配置の推定
CN113076685A (zh) 图像重建模型的训练方法、图像重建方法及其装置
US11790661B2 (en) Image prediction system
CN110738688B (zh) 一种红外超弱运动目标检测方法
Van Luong et al. Designing interpretable recurrent neural networks for video reconstruction via deep unfolding
CN115035158B (zh) 目标跟踪的方法及装置、电子设备和存储介质
CN116612015A (zh) 模型训练方法、图像去摩尔纹方法、装置及电子设备
Xu et al. Robust moving objects detection in long-distance imaging through turbulent medium
CN113936036B (zh) 基于无人机视频的目标跟踪方法、装置及计算机设备
CN116485834A (zh) 红外弱小目标检测方法、装置、设备和介质
CN112184767A (zh) 对运动物体进行轨迹跟踪的方法、装置、设备及存储介质
CN111898573A (zh) 图像预测方法、计算机设备和存储介质
CN115564639A (zh) 背景虚化方法、装置、计算机设备和存储介质
Xuan et al. Maskvo: Self-supervised visual odometry with a learnable dynamic mask
KR20220082433A (ko) 크라우드소싱 환경에서 객체 정보 분석 방법 및 장치
CN113450385A (zh) 一种夜间工作工程机械视觉跟踪方法、装置及存储介质
CN113822912B (zh) 图像目标长宽比变化的尺度自适应跟踪方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant