CN109272530A - 面向空基监视场景的目标跟踪方法与装置 - Google Patents

面向空基监视场景的目标跟踪方法与装置 Download PDF

Info

Publication number
CN109272530A
CN109272530A CN201810899198.XA CN201810899198A CN109272530A CN 109272530 A CN109272530 A CN 109272530A CN 201810899198 A CN201810899198 A CN 201810899198A CN 109272530 A CN109272530 A CN 109272530A
Authority
CN
China
Prior art keywords
frame
area image
appearance
interest area
limitting casing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810899198.XA
Other languages
English (en)
Other versions
CN109272530B (zh
Inventor
曹先彬
甄先通
李岩
蒋小龙
胡宇韬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN201810899198.XA priority Critical patent/CN109272530B/zh
Priority to US16/147,392 priority patent/US10719940B2/en
Publication of CN109272530A publication Critical patent/CN109272530A/zh
Application granted granted Critical
Publication of CN109272530B publication Critical patent/CN109272530B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Aviation & Aerospace Engineering (AREA)

Abstract

本发明提供一种面向空基监视场景的目标跟踪方法与装置。本发明提供的方法，包括：实时获取目标对象的待跟踪视频，提取第一帧以及第二帧，对第一帧进行剪裁截取得到第一兴趣区域图像，对第二帧进行剪裁截取得到目标模板图像以及第二兴趣区域图像，将目标模板图像以及第一兴趣区域图像输入外观跟踪器网络，得到外观跟踪位置，将第一兴趣区域图像以及第二兴趣区域图像输入运动跟踪器网络，得到运动跟踪位置，最后将外观跟踪位置以及运动跟踪位置输入深度融合网络，得到最终跟踪位置。本发明提供的目标跟踪方法，通过两路跟踪器网络并联的方法，利用目标对象的外观和运动信息进行定位跟踪，再将两次定位信息进行融合，从而实现对目标对象的实时跟踪。

Description

面向空基监视场景的目标跟踪方法与装置
技术领域
本发明涉及计算机技术领域，尤其涉及一种面向空基监视场景的目标跟踪方法与装置。
背景技术
目标的检测与跟踪是视觉监视领域的两大核心任务。其中，跟踪旨在实现在视频连续帧中对目标的精确定位以得到目标轨迹，在实际的面向空基监视场景中具有极高的应用价值。
在传统视觉监视方法中，监视数据的采集往往是采用固定安置的平时或低视角摄像头。随着近年来无人机技术的快速发展，基于机载空基摄像头数据的监视变得越发普遍和重要。此类空基监视数据具有视角高、遮挡少、覆盖面积大、部署快速灵活、维护成本低等优势。但是，与此同时，也对基于此类监视视频的目标跟踪方法提出了许多挑战。
但是，基于机载空基摄像头数据的监视数据的高视角容易导致目标尺寸较小，外观信息不充分，并且，空基平台灵活机动的部署导致监视场景中可能出现目标的种类多变且不确定。除此之外，空基平台的运动性使得所采集监视视频含有一定的镜头运动，影响视频中目标运动特征的可靠性。
发明内容
本发明提供一种面向空基监视场景的目标跟踪方法与装置，以解决基于机载空基摄像头数据的监视数据的高视角容易导致目标尺寸较小，外观信息不充分，并且，空基平台灵活机动的部署导致监视场景中可能出现目标的种类多变且不确定，以及所采集监视视频含有一定的镜头运动，影响视频中目标运动特征的可靠性的技术问题。
第一方面，本发明提供一种面向空基监视场景的目标跟踪方法，包括：
实时获取目标对象的待跟踪视频，并对所述待跟踪视频进行解帧，以提取第一帧以及第二帧，其中，所述第一帧为当前时刻对应的图像帧，所述第二帧为所述第一帧的前一帧；
对所述第一帧进行剪裁截取得到第一兴趣区域图像，并对所述第二帧进行剪裁截取得到目标模板图像以及第二兴趣区域图像；
将所述目标模板图像以及所述第一兴趣区域图像输入预设的外观跟踪器网络，得到外观跟踪位置，并将所述第一兴趣区域图像以及所述第二兴趣区域图像输入预设的运动跟踪器网络，得到运动跟踪位置；
将所述外观跟踪位置以及所述运动跟踪位置输入深度融合网络，得到融合后的最终跟踪位置。
在一种可能的设计中，在所述将所述外观跟踪位置以及所述运动跟踪位置深度融合网络，得到融合后的最终跟踪位置之后，还包括：
根据所述最终跟踪位置在所述第一帧中显示输出所述最终跟踪结果。
在一种可能的设计中，所述最终跟踪结果为显示在所述第一帧中的第一矩形限位框，所述第一矩形限位框用于表征所述目标对象的当前位置。
在一种可能的设计中，所述对所述第一帧进行剪裁截取得到第一兴趣区域图像，包括：
根据所述第一帧中的第一矩形限位框的中心坐标以及第三矩形限位框对所述第一帧进行剪裁截取得到所述第一兴趣区域图像，其中，所述第一矩形限位框与所述第三矩形限位框的中心重合，所述第三矩形限位框的长宽数据分别为所述第一矩形限位框的长宽数据的N倍，N为大于1的自然数。
在一种可能的设计中，所述对所述第二帧进行剪裁截取得到目标模板图像以及第二兴趣区域图像，包括：
根据所述第二帧中的第二矩形限位框的左上角坐标位置以及所述第二矩形限位框的长宽数据剪裁截取得到所述目标模板图像；
根据所述第二帧中的所述第二矩形限位框的中心坐标以及第四矩形限位框对所述第二帧进行剪裁截取得到所述第二兴趣区域图像，其中，所述第二矩形限位框与所述第四矩形限位框的中心重合，所述第四矩形限位框的长宽数据分别为所述第二矩形限位框的长宽数据的N倍。
在一种可能的设计中，所述将所述目标模板图像以及所述第一兴趣区域图像输入预设的外观跟踪器网络，得到外观跟踪位置，包括：
分别对称向所述外观跟踪器网络输入的所述目标模板图像以及所述第一兴趣区域图像，以并行地进行对等的卷积操作，得到层级性的特征金字塔，其中，所述外观跟踪器网络采用孪生卷积神经网络结构；
利用所述层级性的特征金字塔，在卷积不断加深的过程中，将孪生网络并行两路中不同卷积层得到的特征图分别进行级联融合；
将所述目标模板图像对应的一路融合后的特征图作为核，并利用所述核在所述第一兴趣区域图像对应的一路级联融合后的特征图上进行滑窗式密集采样互相关计算，并得到外观相似度响应图；
在每个滑窗位置计算所述目标模板图像与所述第一兴趣区域图像被搜索位置的外观相似度，而所述外观相似度响应最大的位置为所述外观跟踪位置。
在一种可能的设计中，所述将所述第一兴趣区域图像以及所述第二兴趣区域图像输入预设的运动跟踪器网络，得到运动跟踪位置，包括：
分别将所述第一兴趣区域图像以及所述第二兴趣区域图像输入对比度图生成模块，得到第一对比度图以及第二对比度图；
将所述第一对比度图以及所述第二对比度图输入滤波帧差模块，得到第一兴趣区域图像以及所述第二兴趣区域图像的帧差运动响应图；
将所述帧差运动响应图分别输入前景增强模块以及背景抑制模块，得到前景特征图以及背景特征图；
将所述前景特征图与所述背景特征图逐像素做差，得到运动跟踪位置响应图，并根据所述运动跟踪位置响应图确定所述运动跟踪位置。
在一种可能的设计中，所述将所述外观跟踪位置以及所述运动跟踪位置输入深度融合网络，得到融合后的最终跟踪位置，包括：
将所述外观跟踪位置与所述运动跟踪位置输入所述深度融合网络结构，并将所述外观跟踪位置与所述运动跟踪位置进行融合得到最终的跟踪位置响应图；
将所述跟踪位置响应图进行降维，得到第一向量，所述第一向量为一维向量；
将所述第一向量输入两个级联的Relu激活函数的全连接层，回归得到四维限位框数据输出，所述四维限位框数据包括：所述第一矩形限位框的左上角的横坐标、所述第一矩形限位框的左上角的纵坐标、所述第一矩形限位框的长度以及所述第一矩形限位框的宽度。
在一种可能的设计中，所述外观跟踪器网络、所述运动跟踪器网络以及所述深度融合网络均为卷积神经网络结构，且均采用端到端离线训练的方式进行训练。
第二方面，本发明还提供一种面向空基监视场景的目标跟踪装置，包括：
视频帧提取模块，用于实时获取目标对象的待跟踪视频，并对所述待跟踪视频进行解帧，以提取第一帧以及第二帧，其中，所述第一帧为当前时刻对应的图像帧，所述第二帧为所述第一帧的前一帧；
图片截取模块，用于对所述第一帧进行剪裁截取得到第一兴趣区域图像，并对所述第二帧进行剪裁截取得到目标模板图像以及第二兴趣区域图像；
位置计算模块，用于将所述目标模板图像以及所述第一兴趣区域图像输入预设的外观跟踪器网络，得到外观跟踪位置，还用于将所述第一兴趣区域图像以及所述第二兴趣区域图像输入预设的运动跟踪器网络，得到运动跟踪位置；
位置融合模块，用于将所述外观跟踪位置以及所述运动跟踪位置输入深度融合网络，得到融合后的最终跟踪位置。
在一种可能的设计中，所述面向空基监视场景的目标跟踪装置，还包括：
目标还原模块，用于根据所述最终跟踪位置在所述第一帧中显示输出所述最终跟踪结果。
在一种可能的设计中，所述最终跟踪结果为显示在所述第一帧中的第一矩形限位框，所述第一矩形限位框用于表征所述目标对象的当前位置。
在一种可能的设计中，所述图片截取模块，具体用于：
根据所述第一帧中的第一矩形限位框的中心坐标以及第三矩形限位框对所述第一帧进行剪裁截取得到所述第一兴趣区域图像，其中，所述第一矩形限位框与所述第三矩形限位框的中心重合，所述第三矩形限位框的长宽数据分别为所述第一矩形限位框的长宽数据的N倍，N为大于1的自然数。
在一种可能的设计中，所述图片截取模块，具体用于：
根据所述第二帧中的第二矩形限位框的左上角坐标位置以及所述第二矩形限位框的长宽数据剪裁截取得到所述目标模板图像；
根据所述第二帧中的所述第二矩形限位框的中心坐标以及第四矩形限位框对所述第二帧进行剪裁截取得到所述第二兴趣区域图像，其中，所述第二矩形限位框与所述第四矩形限位框的中心重合，所述第四矩形限位框的长宽数据分别为所述第二矩形限位框的长宽数据的N倍。
在一种可能的设计中，所述位置计算模块，具体用于：
分别对称向所述外观跟踪器网络输入的所述目标模板图像以及所述第一兴趣区域图像，以并行地进行对等的卷积操作，得到层级性的特征金字塔，其中，所述外观跟踪器网络采用孪生卷积神经网络结构；
利用所述层级性的特征金字塔，在卷积不断加深的过程中，将孪生网络并行两路中不同卷积层得到的特征图分别进行级联融合；
将所述目标模板图像对应的一路融合后的特征图作为核，并利用所述核在所述第一兴趣区域图像对应的一路级联融合后的特征图上进行滑窗式密集采样互相关计算，并得到外观相似度响应图；
在每个滑窗位置计算所述目标模板图像与所述第一兴趣区域图像被搜索位置的外观相似度，而所述外观相似度响应最大的位置为所述外观跟踪位置。
在一种可能的设计中，所述位置计算模块，具体用于：
分别将所述第一兴趣区域图像以及所述第二兴趣区域图像输入对比度图生成模块，得到第一对比度图以及第二对比度图；
将所述第一对比度图以及所述第二对比度图输入滤波帧差模块，得到第一兴趣区域图像以及所述第二兴趣区域图像的帧差运动响应图；
将所述帧差运动响应图分别输入前景增强模块以及背景抑制模块，得到前景特征图以及背景特征图；
将所述前景特征图与所述背景特征图逐像素做差，得到运动跟踪位置响应图，并根据所述运动跟踪位置响应图确定所述运动跟踪位置。
在一种可能的设计中，所述位置融合模块，具体用于：
将所述外观跟踪位置与所述运动跟踪位置输入所述深度融合网络结构，并将所述外观跟踪位置与所述运动跟踪位置进行融合得到最终的跟踪位置响应图；
将所述跟踪位置响应图进行降维，得到第一向量，所述第一向量为一维向量；
将所述第一向量输入两个级联的Relu激活函数的全连接层，回归得到四维限位框数据输出，所述四维限位框数据包括：所述第一矩形限位框的左上角的横坐标、所述第一矩形限位框的左上角的纵坐标、所述第一矩形限位框的长度以及所述第一矩形限位框的宽度。
在一种可能的设计中，所述外观跟踪器网络、所述运动跟踪器网络以及所述深度融合网络均为卷积神经网络结构，且均采用端到端离线训练的方式进行训练。
本发明提供的一种面向空基监视场景的目标跟踪方法与装置，通过在对目标对象的跟踪过程中使用了两路跟踪器网络并联的方法，分别利用目标对象的外观和运动信息对目标对象实现定位跟踪，再通过将两次定位信息进行融合得到最终跟踪位置，在外观信息方面，将目标对象在第二帧的跟踪结果截取成图像作为目标模板图像，同目标对象在第一帧中所截取得到的目标对象可能出现的第一兴趣区域图像一起输入外观跟踪器网络，经过外观相似度匹配搜索得到目标对象在此帧中的跟踪位置，同时，在运动信息方面，将目标对象在第一帧中所截取的第一兴趣区域图像与同在第二帧对等位置截取到的第二兴趣区域图像一同输入外观跟踪器网络，通过可学习的帧差法运动检测，得到运动目标在此帧中的跟踪位置，最后，将两次跟踪的结果进行融合得到目标在此帧中最终跟踪位置，从而实现对目标对象的实时跟踪。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明根据一示例性实施例示出的一种面向空基监视场景的目标跟踪方法的流程示意图；
图2是本发明根据另一示例性实施例示出的一种面向空基监视场景的目标跟踪方法的流程示意图；
图3是本发明根据一示例性实施例示出的一种面向空基监视场景的目标跟踪装置的结构示意图；
图4是本发明根据一示例性实施例示出的另一种面向空基监视场景的目标跟踪装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供的一种面向空基监视场景的目标跟踪方法，可以用于基于无人飞行器采集视频的场面监视与监测。对于具体地应用场景，本发明提供的一种目标跟踪方法可用于城市安防、交通管控、道路巡检、重点区域监控等不同应用场景，具有监视覆盖面积大、人力成本低、部署布控灵活等特点。
图1是本发明根据一示例性实施例示出的一种面向空基监视场景的目标跟踪方法的流程示意图。如图1所示，本实施例提供的面向空基监视场景的目标跟踪方法，包括：
步骤101、实时获取目标对象的待跟踪视频，并对待跟踪视频进行解帧，以提取第一帧以及第二帧。
具体地，可以通过无人飞行器上的摄像头实时获取目标对象的待跟踪视频，并对待跟踪视频进行解帧，以提取第一帧以及第二帧，其中，第一帧为当前时刻对应的图像帧，而第二帧为第一帧的前一帧。
步骤102、对第一帧进行剪裁截取得到第一兴趣区域图像，并对第二帧进行剪裁截取得到目标模板图像以及第二兴趣区域图像。
具体地，可以根据第一帧中的第一矩形限位框的中心坐标以及第三矩形限位框对第一帧进行剪裁截取得到第一兴趣区域图像，其中，第一矩形限位框与第三矩形限位框的中心重合，第三矩形限位框的长宽数据分别为第一矩形限位框的长宽数据的N倍，N为大于1的自然数。此外，最终跟踪结果为显示在第一帧中的第一矩形限位框，第一矩形限位框用于表征目标对象的当前位置。
并且，根据第二帧中的第二矩形限位框的左上角坐标位置以及第二矩形限位框的长宽数据剪裁截取得到目标模板图像，根据第二帧中的第二矩形限位框的中心坐标以及第四矩形限位框对第二帧进行剪裁截取得到第二兴趣区域图像，其中，第二矩形限位框与第四矩形限位框的中心重合，第四矩形限位框的长宽数据分别为第二矩形限位框的长宽数据的N倍。
可选地，N可以为2，即第三矩形限位框的长宽数据分别为第一矩形限位框的长宽数据的2倍。在第二帧图像中，根据第二帧中最终跟踪结果矩形框从原图中剪裁截取目标模板图像。截取兴趣区域图像所用的限位框，是以截取相应目标模板图像所用的限位框位置的中心为中心，长宽各扩大为原始数据的2倍，得到面积为原始数据4倍的限位框。其中，依据运动的平滑性假设，认为目标对象在第一帧中的位置一定存在于该扩大面积后的兴趣区域中。因此，跟踪任务简化为在此有限兴趣区域中搜索定位目标。截取第一帧和第二帧的兴趣区域图像所用的限位框是相同的，该限位框是按照上述方法由目标在第二帧中的最终跟踪位置限位框放大得到的。使用该限位框，即可分别从第二帧和第一帧原始图像中剪裁截取得到第二帧和第一帧的兴趣区域图像。
此外，由于每帧得到第一位置限位框的大小不同，而网络输入要求尺寸一致，因此截取后的图像需要经过缩放统一尺寸。其中，目标模板图像尺寸可以统一为64*64，而兴趣区域图像尺寸则可以统一为128*128。
步骤103、将目标模板图像以及第一兴趣区域图像输入预设的外观跟踪器网络，得到外观跟踪位置。
具体地，可以将目标模板图像以及第一兴趣区域图像输入外观跟踪器网络中，如果事先对目标模板图像以及第一兴趣区域图像进行过处理，则可以是将将缩放后的目标模板图像以及第一兴趣区域图像输入外观跟踪器网络。
该网络采用孪生卷积神经网络结构，分别对称向外观跟踪器网络输入的目标模板图像以及第一兴趣区域图像，以并行地进行对等的卷积操作，得到层级性的特征金字塔。该卷积网络可以包含6个卷积层，均为Relu激活，输出特征图通道数依次为6，12，24，36，48和64。各层的卷积核尺寸依次为7*7，5*5，而其余的均为3*3。为保证特征图中空间位置信息的完整性，此卷积网络中没有加入任何池化降采样层。利用卷积神经网络的层级性特征金字塔，在卷积不断加深的过程中，将孪生网络并行两路中不同卷积层得到的特征图分别进行级联融合。随着网络加深，此融合特征空间尺度逐渐增大，更倾向于语义级的外观特征表征。然后，将目标模板图像对应的一路融合后的特征图作为核，并利用核在第一兴趣区域图像对应的一路级联融合后的特征图上进行滑窗式密集采样互相关计算，并得到外观相似度响应图。该滑窗互相关计算发生在多个卷积层级的特征图上，从而实现了多尺度搜索，得到多个相似度响应图。最终的外观跟踪响应图由各层级上的相似度相应图融合得到。可见，在外观跟踪器网络中，跟踪即是通过在兴趣区域内多尺度密集滑窗搜索得到目标所在位置。该搜索是基于目标外观相似度计算，即在每个滑窗位置计算目标模板与被搜索位置图片的外观相似度。相似度响应大的位置大概率为目标所在位置。
步骤104、第一兴趣区域图像以及第二兴趣区域图像输入预设的运动跟踪器网络，得到运动跟踪位置。
具体地，与外观跟踪网络并行，运动跟踪器网络是构建一个卷积神经网络结构，通过训练得到一个可学习的基于帧差法的运动区域检测器。通过检测当前帧兴趣区域中的运动，得到其中运动目标的位置。此运动跟踪网络由对比度图生成模块、Spotlight滤波帧差模块、前景增强背景抑制模块依次级联而成，其中各模块的构造均基于卷积神经网结构。作为开端，分别将第一帧和第二帧的第一兴趣区域图像以及第二兴趣区域图像输入对比度图生成模块。该模块包含三层级联Relu激活的卷积层，卷积核大小依次是11*11，5*5，3*3，输出的特征图通道数均为3，该特征图为计算所得的输入图片的对比度图。进而，将第一帧和第二帧的第一兴趣区域图像以及第二兴趣区域图像的对比度图输入Spotlight滤波帧差模块，可得到前后两帧对应兴趣区域的帧差运动响应图。使用对比度图代替原图进行帧差计算的目的是减少镜头运动带来的运动噪声响应。该模块首先将输入的两张对比度图进行逐像素相减，得到原始帧差响应图，然后将此图分别输入三个并联的卷积层，卷积核大小分别为3*3，5*5，7*7。然后将三个卷积输出特征图进行融合得到融合帧差响应图。这种由三个核大小不同的卷积层级联再融合的多尺度卷积设计，目的在于过滤镜头运动所带来的运动噪声。最后，前景增强模块由三个级联的最大池化层构成，背景抑制模块由三个级联的平均池化层构成。池化层核大小依次为2*2，4*4，6*6，这种多尺度的设计目的在于适应不同尺寸的运动响应。将帧差响应图分别输入此两个模块，最终将输出的两个特征图逐像素做差，即可得到最终的运动跟踪位置响应图。此相应图相比于融合帧差响应图实现了对相机运动所引入噪声响应的抑制，提高了运动检测的精确性和鲁棒性。
步骤105、将外观跟踪位置以及运动跟踪位置输入深度融合网络，得到融合后的最终跟踪位置。
为了同时实现外观和运动跟踪位置的智能融合，本实施例提供的目标跟踪方法采用将两个单通道跟踪响应图首先在通道维上堆叠，再使用一个1*1卷积核进行卷积将输出通道还原为单通道的方法，可学习地完成跟踪结果的融合，得到最终的跟踪位置响应图。
然后，将此二维响应图拉长降维得到第一向量，其中，第一向量为一维向量，再将此向量输入两个级联的Relu激活的全连接层，回归得到四维限位框数据进行输出。其中，四维限位框数据包括：第一矩形限位框的左上角的横坐标、第一矩形限位框的左上角的纵坐标、第一矩形限位框的长度以及第一矩形限位框的宽度。
在本实施例中，通过在对目标对象的跟踪过程中使用了两路跟踪器网络并联的方法，分别利用目标对象的外观和运动信息对目标对象实现定位跟踪，再通过将两次定位信息进行融合得到最终跟踪位置，在外观信息方面，将目标对象在第二帧的跟踪结果截取成图像作为目标模板图像，同目标对象在第一帧中所截取得到的目标对象可能出现的第一兴趣区域图像一起输入外观跟踪器网络，经过外观相似度匹配搜索得到目标对象在此帧中的跟踪位置，同时，在运动信息方面，将目标对象在第一帧中所截取的第一兴趣区域图像与同在第二帧对等位置截取到的第二兴趣区域图像一同输入外观跟踪器网络，通过可学习的帧差法运动检测，得到运动目标在此帧中的跟踪位置，最后，将两次跟踪的结果进行融合得到目标在此帧中最终跟踪位置，从而实现对目标对象的实时跟踪。
图2是本发明根据另一示例性实施例示出的一种面向空基监视场景的目标跟踪方法的流程示意图。如图2所示，本实施例提供的目标跟踪方法，包括：
步骤201、对外观跟踪器网络、运动跟踪器网络以及深度融合网络进行离线训练。
具体地，外观跟踪器网络、运动跟踪器网络以及深度融合网络均为卷积神经网络结构。本实施例提供的目标跟踪方法中网络的端到端一体性训练保证了跟踪器各部分间的整体性和协同性，实现外观和运动特征的深度融合。同时，本实施例提供的目标跟踪方法离线训练在线测试的策略保证了跟踪的时效性，满足实时跟踪的要求。在离线训练阶段，训练数据采集于公开跟踪数据集。一个训练样本包括剪裁缩放到指定尺寸的目标模板，以及一对兴趣区域图片。训练的优化目标是最小化网络输出限位框同真实限位框之间的均方误差损失函数。
步骤202、实时获取目标对象的待跟踪视频，并对待跟踪视频进行解帧，以提取第一帧以及第二帧。
步骤203、对第一帧进行剪裁截取得到第一兴趣区域图像，并对第二帧进行剪裁截取得到目标模板图像以及第二兴趣区域图像。
步骤204、将目标模板图像以及第一兴趣区域图像输入预设的外观跟踪器网络，得到外观跟踪位置。
步骤205、第一兴趣区域图像以及第二兴趣区域图像输入预设的运动跟踪器网络，得到运动跟踪位置。
步骤206、将外观跟踪位置以及运动跟踪位置输入深度融合网络，得到融合后的最终跟踪位置。
值得说明地，步骤202-206的具体实现方式参照图1所示实施例中步骤101-105的描述，这里不再赘述。
步骤207、根据最终跟踪位置在第一帧中显示输出最终跟踪结果。
具体地，在将外观跟踪位置以及运动跟踪位置深度融合网络，得到融合后的最终跟踪位置之后，根据最终跟踪位置在第一帧中显示输出最终跟踪结果。可选地，根据最终跟踪位置在第一帧中显示输出最终跟踪结果最终跟踪结果为显示在第一帧中的第一矩形限位框，第一矩形限位框用于表征目标对象的当前位置。
在本实施中，针对高视角导致目标尺寸较小，外观信息不充分的问题，采用了外观与运动特征融合的方法获取和利用更丰富的跟踪信息。此外，针对灵活机动的部署导致监视场景中可能出现目标的种类多变且不确定，本实施例提供的方法构建具有高普适性的无差别跟踪方法，在外观特征方面采用外观相似性匹配搜索的方式，学习两个个体间的相似性而不是直接描述目标的外观；在运动特征方面，基于帧差的运动检测本身就具有完全普适性，对任何运动物体均无差别地产生响应。除此之外，针对空基平台的运动性使得所采集监视视频含有一定的镜头运动，影响视频中目标运动特征的可靠性的问题，本实施例提供的方法为了解决镜头运动带来的影响，对运动特征的提取和应用采用了多尺寸卷积特征融合的设计，通过不同尺寸感受野对特征的抽象描述过滤镜头运动。同时，还专门部署了背景抑制模块来控制镜头运动噪声的影响。最后，为了满足实时跟踪的要求，本实施例提供方法中的跟踪器网络采用完全离线训练的方式，减少了模型在线训练和更新的计算代价，显著提高了方法时效性，达到实时跟踪的要求。
图3是本发明根据一示例性实施例示出的一种面向空基监视场景的目标跟踪装置的结构示意图。本实施例提供的目标跟踪装置，包括：
视频帧提取模块301，用于实时获取目标对象的待跟踪视频，并对所述待跟踪视频进行解帧，以提取第一帧以及第二帧，其中，所述第一帧为当前时刻对应的图像帧，所述第二帧为所述第一帧的前一帧；
图片截取模块302，用于对所述第一帧进行剪裁截取得到第一兴趣区域图像，并对所述第二帧进行剪裁截取得到目标模板图像以及第二兴趣区域图像；
位置计算模块303，用于将所述目标模板图像以及所述第一兴趣区域图像输入预设的外观跟踪器网络，得到外观跟踪位置，还用于将所述第一兴趣区域图像以及所述第二兴趣区域图像输入预设的运动跟踪器网络，得到运动跟踪位置；
位置融合模块304，用于将所述外观跟踪位置以及所述运动跟踪位置输入深度融合网络，得到融合后的最终跟踪位置。
在图3所示实施例的基础上，图4是本发明根据一示例性实施例示出的另一种目标跟踪装置的结构示意图。本实施例提供的目标跟踪装置，还包括：
目标还原模块305，用于根据所述最终跟踪位置在所述第一帧中显示输出所述最终跟踪结果。
在一种可能的设计中，所述最终跟踪结果为显示在所述第一帧中的第一矩形限位框，所述第一矩形限位框用于表征所述目标对象的当前位置。
在一种可能的设计中，所述图片截取模块302，具体用于：
根据所述第一帧中的第一矩形限位框的中心坐标以及第三矩形限位框对所述第一帧进行剪裁截取得到所述第一兴趣区域图像，其中，所述第一矩形限位框与所述第三矩形限位框的中心重合，所述第三矩形限位框的长宽数据分别为所述第一矩形限位框的长宽数据的N倍，N为大于1的自然数。
在一种可能的设计中，所述图片截取模块302，具体用于：
根据所述第二帧中的第二矩形限位框的左上角坐标位置以及所述第二矩形限位框的长宽数据剪裁截取得到所述目标模板图像；
根据所述第二帧中的所述第二矩形限位框的中心坐标以及第四矩形限位框对所述第二帧进行剪裁截取得到所述第二兴趣区域图像，其中，所述第二矩形限位框与所述第四矩形限位框的中心重合，所述第四矩形限位框的长宽数据分别为所述第二矩形限位框的长宽数据的N倍。
在一种可能的设计中，所述位置计算模块303，具体用于：
分别对称向所述外观跟踪器网络输入的所述目标模板图像以及所述第一兴趣区域图像，以并行地进行对等的卷积操作，得到层级性的特征金字塔，其中，所述外观跟踪器网络采用孪生卷积神经网络结构；
利用所述层级性的特征金字塔，在卷积不断加深的过程中，将孪生网络并行两路中不同卷积层得到的特征图分别进行级联融合；
将所述目标模板图像对应的一路融合后的特征图作为核，并利用所述核在所述第一兴趣区域图像对应的一路级联融合后的特征图上进行滑窗式密集采样互相关计算，并得到外观相似度响应图；
在每个滑窗位置计算所述目标模板图像与所述第一兴趣区域图像被搜索位置的外观相似度，而所述外观相似度响应最大的位置为所述外观跟踪位置。
在一种可能的设计中，所述位置计算模块303，具体用于：
分别将所述第一兴趣区域图像以及所述第二兴趣区域图像输入对比度图生成模块，得到第一对比度图以及第二对比度图；
将所述第一对比度图以及所述第二对比度图输入滤波帧差模块，得到第一兴趣区域图像以及所述第二兴趣区域图像的帧差运动响应图；
将所述帧差运动响应图分别输入前景增强模块以及背景抑制模块，得到前景特征图以及背景特征图；
将所述前景特征图与所述背景特征图逐像素做差，得到运动跟踪位置响应图，并根据所述运动跟踪位置响应图确定所述运动跟踪位置。
在一种可能的设计中，所述位置融合模块304，具体用于：
将所述外观跟踪位置与所述运动跟踪位置输入所述深度融合网络结构，并将所述外观跟踪位置与所述运动跟踪位置进行融合得到最终的跟踪位置响应图；
将所述跟踪位置响应图进行降维，得到第一向量，所述第一向量为一维向量；
将所述第一向量输入两个级联的Relu激活函数的全连接层，回归得到四维限位框数据输出，所述四维限位框数据包括：所述第一矩形限位框的左上角的横坐标、所述第一矩形限位框的左上角的纵坐标、所述第一矩形限位框的长度以及所述第一矩形限位框的宽度。
在一种可能的设计中，所述外观跟踪器网络、所述运动跟踪器网络以及所述深度融合网络均为卷积神经网络结构，且均采用端到端离线训练的方式进行训练。
图3-4所示实施例提供的面向空基监视场景的目标跟踪装置，可用于执行上述图2-图3所示的实施例提供的方法，具体实现方式和技术效果类似，这里不再赘述。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或对其中部分或全部技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种面向空基监视场景的目标跟踪方法，其特征在于，包括：
实时获取目标对象的待跟踪视频，并对所述待跟踪视频进行解帧，以提取第一帧以及第二帧，其中，所述第一帧为当前时刻对应的图像帧，所述第二帧为所述第一帧的前一帧；
对所述第一帧进行剪裁截取得到第一兴趣区域图像，并对所述第二帧进行剪裁截取得到目标模板图像以及第二兴趣区域图像；
将所述目标模板图像以及所述第一兴趣区域图像输入预设的外观跟踪器网络，得到外观跟踪位置，并将所述第一兴趣区域图像以及所述第二兴趣区域图像输入预设的运动跟踪器网络，得到运动跟踪位置；
将所述外观跟踪位置以及所述运动跟踪位置输入深度融合网络，得到融合后的最终跟踪位置。
2.根据权利要求1所述的面向空基监视场景的目标跟踪方法，其特征在于，在所述将所述外观跟踪位置以及所述运动跟踪位置深度融合网络，得到融合后的最终跟踪位置之后，还包括：
根据所述最终跟踪位置在所述第一帧中显示输出所述最终跟踪结果。
3.根据权利要求1所述的面向空基监视场景的目标跟踪方法，其特征在于，所述最终跟踪结果为显示在所述第一帧中的第一矩形限位框，所述第一矩形限位框用于表征所述目标对象的当前位置。
4.根据权利要求3所述的面向空基监视场景的目标跟踪方法，其特征在于，所述对所述第一帧进行剪裁截取得到第一兴趣区域图像，包括：
根据所述第一帧中的第一矩形限位框的中心坐标以及第三矩形限位框对所述第一帧进行剪裁截取得到所述第一兴趣区域图像，其中，所述第一矩形限位框与所述第三矩形限位框的中心重合，所述第三矩形限位框的长宽数据分别为所述第一矩形限位框的长宽数据的N倍，N为大于1的自然数。
5.根据权利要求4所述的面向空基监视场景的目标跟踪方法，其特征在于，所述对所述第二帧进行剪裁截取得到目标模板图像以及第二兴趣区域图像，包括：
根据所述第二帧中的第二矩形限位框的左上角坐标位置以及所述第二矩形限位框的长宽数据剪裁截取得到所述目标模板图像；
根据所述第二帧中的所述第二矩形限位框的中心坐标以及第四矩形限位框对所述第二帧进行剪裁截取得到所述第二兴趣区域图像，其中，所述第二矩形限位框与所述第四矩形限位框的中心重合，所述第四矩形限位框的长宽数据分别为所述第二矩形限位框的长宽数据的N倍。
6.根据权利要求5所述的面向空基监视场景的目标跟踪方法，其特征在于，所述将所述目标模板图像以及所述第一兴趣区域图像输入预设的外观跟踪器网络，得到外观跟踪位置，包括：
分别对称向所述外观跟踪器网络输入的所述目标模板图像以及所述第一兴趣区域图像，以并行地进行对等的卷积操作，得到层级性的特征金字塔，其中，所述外观跟踪器网络采用孪生卷积神经网络结构；
利用所述层级性的特征金字塔，在卷积不断加深的过程中，将孪生网络并行两路中不同卷积层得到的特征图分别进行级联融合；
将所述目标模板图像对应的一路融合后的特征图作为核，并利用所述核在所述第一兴趣区域图像对应的一路级联融合后的特征图上进行滑窗式密集采样互相关计算，并得到外观相似度响应图；
在每个滑窗位置计算所述目标模板图像与所述第一兴趣区域图像被搜索位置的外观相似度，而所述外观相似度响应最大的位置为所述外观跟踪位置。
7.根据权利要求6所述的面向空基监视场景的目标跟踪方法，其特征在于，所述将所述第一兴趣区域图像以及所述第二兴趣区域图像输入预设的运动跟踪器网络，得到运动跟踪位置，包括：
分别将所述第一兴趣区域图像以及所述第二兴趣区域图像输入对比度图生成模块，得到第一对比度图以及第二对比度图；
将所述第一对比度图以及所述第二对比度图输入滤波帧差模块，得到第一兴趣区域图像以及所述第二兴趣区域图像的帧差运动响应图；
将所述帧差运动响应图分别输入前景增强模块以及背景抑制模块，得到前景特征图以及背景特征图；
将所述前景特征图与所述背景特征图逐像素做差，得到运动跟踪位置响应图，并根据所述运动跟踪位置响应图确定所述运动跟踪位置。
8.根据权利要求7所述的面向空基监视场景的目标跟踪方法，其特征在于，所述将所述外观跟踪位置以及所述运动跟踪位置输入深度融合网络，得到融合后的最终跟踪位置，包括：
将所述外观跟踪位置与所述运动跟踪位置输入所述深度融合网络结构，并将所述外观跟踪位置与所述运动跟踪位置进行融合得到最终的跟踪位置响应图；
将所述跟踪位置响应图进行降维，得到第一向量，所述第一向量为一维向量；
将所述第一向量输入两个级联的Relu激活函数的全连接层，回归得到四维限位框数据输出，所述四维限位框数据包括：所述第一矩形限位框的左上角的横坐标、所述第一矩形限位框的左上角的纵坐标、所述第一矩形限位框的长度以及所述第一矩形限位框的宽度。
9.根据权利要求1-8中任意一项所述的面向空基监视场景的目标跟踪方法，其特征在于，所述外观跟踪器网络、所述运动跟踪器网络以及所述深度融合网络均为卷积神经网络结构，且均采用端到端离线训练的方式进行训练。
10.一种面向空基监视场景的目标跟踪装置，其特征在于，包括：
视频帧提取模块，用于实时获取目标对象的待跟踪视频，并对所述待跟踪视频进行解帧，以提取第一帧以及第二帧，其中，所述第一帧为当前时刻对应的图像帧，所述第二帧为所述第一帧的前一帧；
图片截取模块，用于对所述第一帧进行剪裁截取得到第一兴趣区域图像，并对所述第二帧进行剪裁截取得到目标模板图像以及第二兴趣区域图像；
位置计算模块，用于将所述目标模板图像以及所述第一兴趣区域图像输入预设的外观跟踪器网络，得到外观跟踪位置，还用于将所述第一兴趣区域图像以及所述第二兴趣区域图像输入预设的运动跟踪器网络，得到运动跟踪位置；
位置融合模块，用于将所述外观跟踪位置以及所述运动跟踪位置输入深度融合网络，得到融合后的最终跟踪位置。
CN201810899198.XA 2018-08-08 2018-08-08 面向空基监视场景的目标跟踪方法与装置 Active CN109272530B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810899198.XA CN109272530B (zh) 2018-08-08 2018-08-08 面向空基监视场景的目标跟踪方法与装置
US16/147,392 US10719940B2 (en) 2018-08-08 2018-09-28 Target tracking method and device oriented to airborne-based monitoring scenarios

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810899198.XA CN109272530B (zh) 2018-08-08 2018-08-08 面向空基监视场景的目标跟踪方法与装置

Publications (2)

Publication Number Publication Date
CN109272530A true CN109272530A (zh) 2019-01-25
CN109272530B CN109272530B (zh) 2020-07-21

Family

ID=65153478

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810899198.XA Active CN109272530B (zh) 2018-08-08 2018-08-08 面向空基监视场景的目标跟踪方法与装置

Country Status (2)

Country Link
US (1) US10719940B2 (zh)
CN (1) CN109272530B (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109815911A (zh) * 2019-01-26 2019-05-28 上海交通大学 基于深度融合网络的视频运动物体检测系统、方法及终端
CN110163890A (zh) * 2019-04-24 2019-08-23 北京航空航天大学 一种面向空基监视的多目标跟踪方法
CN110570490A (zh) * 2019-09-06 2019-12-13 北京航空航天大学 显著性图像生成方法及设备
CN110751205A (zh) * 2019-10-17 2020-02-04 北京百度网讯科技有限公司 物体关联方法、装置、设备和介质
CN110910391A (zh) * 2019-11-15 2020-03-24 安徽大学 一种双模块神经网络结构视频对象分割方法
CN110992378A (zh) * 2019-12-03 2020-04-10 湖南大学 基于旋翼飞行机器人的动态更新视觉跟踪航拍方法及系统
CN111161317A (zh) * 2019-12-30 2020-05-15 北京工业大学 一种基于多重网络的单目标跟踪方法
CN111179311A (zh) * 2019-12-23 2020-05-19 全球能源互联网研究院有限公司 多目标跟踪方法、装置及电子设备
CN111260682A (zh) * 2020-02-10 2020-06-09 深圳市铂岩科技有限公司 目标对象的追踪方法、装置、存储介质和电子设备
CN111951304A (zh) * 2020-09-03 2020-11-17 湖南人文科技学院 基于互监督孪生网络的目标跟踪方法、装置与设备
US20210133939A1 (en) * 2019-11-01 2021-05-06 Apical Limited Image processing
CN113362373A (zh) * 2021-06-01 2021-09-07 北京首都国际机场股份有限公司 基于双孪生网络的复杂机坪区域内飞机跟踪方法
CN115187637A (zh) * 2022-09-13 2022-10-14 北京控制工程研究所 目标运动参数实时辨识方法、轨迹预估方法及装置

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11455813B2 (en) * 2019-11-14 2022-09-27 Nec Corporation Parametric top-view representation of complex road scenes
CN111354017B (zh) * 2020-03-04 2023-05-05 江南大学 一种基于孪生神经网络及平行注意力模块的目标跟踪方法
CN113449566B (zh) * 2020-03-27 2024-05-07 北京机械设备研究所 人在回路的“低慢小”目标智能图像跟踪方法及系统
CN111523403B (zh) * 2020-04-03 2023-10-20 咪咕文化科技有限公司 图片中目标区域的获取方法及装置、计算机可读存储介质
CN113538507B (zh) * 2020-04-15 2023-11-17 南京大学 一种基于全卷积网络在线训练的单目标跟踪方法
CN111553934B (zh) * 2020-04-24 2022-07-15 哈尔滨工程大学 一种采用多维度融合的多船舶跟踪方法
CN111950545B (zh) * 2020-07-23 2024-02-09 南京大学 一种基于MSDNet和空间划分的场景文本检测方法
CN111754541B (zh) * 2020-07-29 2023-09-19 腾讯科技（深圳）有限公司 目标跟踪方法、装置、设备及可读存储介质
CN111931685B (zh) * 2020-08-26 2021-08-24 北京建筑大学 一种基于双向跟踪策略的视频卫星移动目标检测方法
CN112053384B (zh) * 2020-08-28 2022-12-02 西安电子科技大学 基于边界框回归模型的目标跟踪方法
CN112215219B (zh) * 2020-09-14 2023-11-24 阿波罗智联(北京)科技有限公司 用于路侧拍摄设备的感兴趣区域获取方法、装置及介质
CN112200831B (zh) * 2020-09-16 2024-03-26 浙江工业大学 一种基于动态模板的密集连接孪生神经网络目标跟踪方法
CN112132856B (zh) * 2020-09-30 2024-05-24 北京工业大学 一种基于自适应模板更新的孪生网络跟踪方法
CN112651994A (zh) * 2020-12-18 2021-04-13 零八一电子集团有限公司 地面多目标跟踪方法
CN112991385B (zh) * 2021-02-08 2023-04-28 西安理工大学 一种基于不同度量准则的孪生网络目标跟踪方法
CN112907621B (zh) * 2021-02-24 2023-02-14 华南理工大学 一种基于差分和语义信息融合的运动目标提取方法
CN112819865B (zh) * 2021-02-26 2024-02-09 西安理工大学 基于自适应正则特征联合时间关联的相关滤波跟踪方法
CN113112522A (zh) * 2021-03-23 2021-07-13 江南大学 基于可变形卷积和模板更新的孪生网络目标跟踪的方法
CN112990159B (zh) * 2021-05-17 2021-09-24 清德智体（北京）科技有限公司 视频感兴趣片段截取方法、电子设备和存储介质
CN113362372B (zh) * 2021-05-25 2023-05-02 同济大学 一种单目标追踪方法及计算机可读介质
CN113378782A (zh) * 2021-07-01 2021-09-10 应急管理部天津消防研究所 一种车载火灾识别与自动追踪方法
CN113888590B (zh) * 2021-09-13 2024-04-16 华南理工大学 一种基于数据增强和孪生网络的视频目标跟踪方法
CN113920159B (zh) * 2021-09-15 2024-05-10 河南科技大学 一种基于全卷积孪生网络的红外空中小目标跟踪方法
CN114219826B (zh) * 2021-09-30 2024-06-07 北京航空航天大学 一种应用于航拍视频中的地面目标跟踪方法
CN113689472A (zh) * 2021-10-26 2021-11-23 城云科技（中国）有限公司 一种运动目标检测方法、装置及应用
CN113870254B (zh) * 2021-11-30 2022-03-15 中国科学院自动化研究所 目标对象的检测方法、装置、电子设备及存储介质
CN114463404B (zh) * 2022-01-05 2024-07-02 北京理工大学 一种自适应深度感知视觉关系的检测方法
CN114897762B (zh) * 2022-02-18 2023-04-07 众信方智(苏州)智能技术有限公司 一种煤矿工作面采煤机自动定位方法及装置
CN114862904B (zh) * 2022-03-21 2023-12-12 哈尔滨工程大学 一种水下机器人的孪生网络目标连续跟踪方法
CN114972418B (zh) * 2022-03-30 2023-11-21 北京航空航天大学 基于核自适应滤波与yolox检测结合的机动多目标跟踪方法
CN114972426A (zh) * 2022-05-18 2022-08-30 北京理工大学 一种基于注意力和卷积的单目标跟踪方法
CN115063449B (zh) * 2022-07-06 2023-04-04 西北工业大学 用于目标跟踪的面向高光谱视频的三通道视频输出方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090141993A1 (en) * 2007-12-03 2009-06-04 Honeywell International Inc. System for finding archived objects in video data
CN103473542A (zh) * 2013-09-16 2013-12-25 清华大学 多线索融合的目标跟踪方法
CN104112282A (zh) * 2014-07-14 2014-10-22 华中科技大学 一种基于在线学习跟踪监控视频中多个运动目标的方法
CN107818573A (zh) * 2016-09-12 2018-03-20 杭州海康威视数字技术股份有限公司 一种目标跟踪方法及装置
CN107862705A (zh) * 2017-11-21 2018-03-30 重庆邮电大学 一种基于运动特征和深度学习特征的无人机小目标检测方法
CN108053419A (zh) * 2017-12-27 2018-05-18 武汉蛋玩科技有限公司 基于背景抑制和前景抗干扰的多尺度目标跟踪方法
CN108133489A (zh) * 2017-12-21 2018-06-08 燕山大学 一种增强的多层卷积视觉跟踪方法
CN108182388A (zh) * 2017-12-14 2018-06-19 哈尔滨工业大学（威海） 一种基于图像的运动目标跟踪方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9075415B2 (en) * 2013-03-11 2015-07-07 Airphrame, Inc. Unmanned aerial vehicle and methods for controlling same
US10192117B2 (en) * 2015-06-25 2019-01-29 Kodak Alaris Inc. Graph-based framework for video object segmentation and extraction in feature space
US10600295B2 (en) * 2017-05-05 2020-03-24 Tg-17, Inc. System and method for threat monitoring, detection, and response
US11205274B2 (en) * 2018-04-03 2021-12-21 Altumview Systems Inc. High-performance visual object tracking for embedded vision systems

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090141993A1 (en) * 2007-12-03 2009-06-04 Honeywell International Inc. System for finding archived objects in video data
CN103473542A (zh) * 2013-09-16 2013-12-25 清华大学 多线索融合的目标跟踪方法
CN104112282A (zh) * 2014-07-14 2014-10-22 华中科技大学 一种基于在线学习跟踪监控视频中多个运动目标的方法
CN107818573A (zh) * 2016-09-12 2018-03-20 杭州海康威视数字技术股份有限公司 一种目标跟踪方法及装置
CN107862705A (zh) * 2017-11-21 2018-03-30 重庆邮电大学 一种基于运动特征和深度学习特征的无人机小目标检测方法
CN108182388A (zh) * 2017-12-14 2018-06-19 哈尔滨工业大学（威海） 一种基于图像的运动目标跟踪方法
CN108133489A (zh) * 2017-12-21 2018-06-08 燕山大学 一种增强的多层卷积视觉跟踪方法
CN108053419A (zh) * 2017-12-27 2018-05-18 武汉蛋玩科技有限公司 基于背景抑制和前景抗干扰的多尺度目标跟踪方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
FANGWEN TU,SHUZHI SAM GE，ET.AL.: ""Robust Visual Tracking via Collaborative Motion and Appearance Model"", 《IEEE TRANSACTIONS ON INDUSTRIAL INFORMATICS》 *
JUNYING LIU, XIANBIN CAO，YAN LI，BAOCHANG ZHANG: ""Online Multi-Object Tracking Using Hierarchical Constraints for Complex Scenarios"", 《IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS》 *
LUCA BERTINETTO，JACK VALMADRE ET.AL.: ""Fully-Convolutional Siamese Networks for Object Tracking"", 《ARXIV》 *

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109815911A (zh) * 2019-01-26 2019-05-28 上海交通大学 基于深度融合网络的视频运动物体检测系统、方法及终端
CN110163890A (zh) * 2019-04-24 2019-08-23 北京航空航天大学 一种面向空基监视的多目标跟踪方法
CN110570490A (zh) * 2019-09-06 2019-12-13 北京航空航天大学 显著性图像生成方法及设备
CN110751205A (zh) * 2019-10-17 2020-02-04 北京百度网讯科技有限公司 物体关联方法、装置、设备和介质
US20210133939A1 (en) * 2019-11-01 2021-05-06 Apical Limited Image processing
US11823361B2 (en) * 2019-11-01 2023-11-21 Arm Limited Image processing
CN110910391B (zh) * 2019-11-15 2023-08-18 安徽大学 一种双模块神经网络结构视频对象分割方法
CN110910391A (zh) * 2019-11-15 2020-03-24 安徽大学 一种双模块神经网络结构视频对象分割方法
CN110992378A (zh) * 2019-12-03 2020-04-10 湖南大学 基于旋翼飞行机器人的动态更新视觉跟踪航拍方法及系统
CN111179311B (zh) * 2019-12-23 2022-08-19 全球能源互联网研究院有限公司 多目标跟踪方法、装置及电子设备
CN111179311A (zh) * 2019-12-23 2020-05-19 全球能源互联网研究院有限公司 多目标跟踪方法、装置及电子设备
CN111161317A (zh) * 2019-12-30 2020-05-15 北京工业大学 一种基于多重网络的单目标跟踪方法
US11770617B2 (en) 2020-02-10 2023-09-26 Boyan Technologies (Shenzhen) Co., Ltd Method for tracking target object
CN111260682B (zh) * 2020-02-10 2023-11-17 深圳市铂岩科技有限公司 目标对象的追踪方法、装置、存储介质和电子设备
CN111260682A (zh) * 2020-02-10 2020-06-09 深圳市铂岩科技有限公司 目标对象的追踪方法、装置、存储介质和电子设备
CN111951304A (zh) * 2020-09-03 2020-11-17 湖南人文科技学院 基于互监督孪生网络的目标跟踪方法、装置与设备
CN111951304B (zh) * 2020-09-03 2024-02-02 湖南人文科技学院 基于互监督孪生网络的目标跟踪方法、装置与设备
CN113362373A (zh) * 2021-06-01 2021-09-07 北京首都国际机场股份有限公司 基于双孪生网络的复杂机坪区域内飞机跟踪方法
CN113362373B (zh) * 2021-06-01 2023-12-15 北京首都国际机场股份有限公司 基于双孪生网络的复杂机坪区域内飞机跟踪方法
CN115187637A (zh) * 2022-09-13 2022-10-14 北京控制工程研究所 目标运动参数实时辨识方法、轨迹预估方法及装置
CN115187637B (zh) * 2022-09-13 2022-11-22 北京控制工程研究所 目标运动参数实时辨识方法、轨迹预估方法及装置

Also Published As

Publication number Publication date
CN109272530B (zh) 2020-07-21
US20200051250A1 (en) 2020-02-13
US10719940B2 (en) 2020-07-21

Similar Documents

Publication Publication Date Title
CN109272530A (zh) 面向空基监视场景的目标跟踪方法与装置
CN113506317B (zh) 一种基于Mask R-CNN和表观特征融合的多目标跟踪方法
Varghese et al. ChangeNet: A deep learning architecture for visual change detection
CN109800689B (zh) 一种基于时空特征融合学习的目标跟踪方法
Gaidon et al. Virtual worlds as proxy for multi-object tracking analysis
CN105979203B (zh) 一种多摄像机协同监控方法及装置
CN109816686A (zh) 基于物体实例匹配的机器人语义slam方法、处理器及机器人
CN109034018A (zh) 一种基于双目视觉的低空小型无人机障碍物感知方法
CN106127204A (zh) 一种全卷积神经网络的多方向水表读数区域检测算法
CN107862705A (zh) 一种基于运动特征和深度学习特征的无人机小目标检测方法
CN110398720A (zh) 一种反无人机探测跟踪干扰系统及光电跟踪系统工作方法
Li et al. Sign language recognition based on computer vision
US20230132646A1 (en) Artificial intelligence and computer vision powered driving-performance assessment
Guerrero-Viu et al. What’s in my room? object recognition on indoor panoramic images
Yu et al. Intelligent visual-IoT-enabled real-time 3D visualization for autonomous crowd management
Tomar et al. Crowd analysis in video surveillance: A review
CN105809108B (zh) 基于分布式视觉的行人定位方法和系统
Inoue et al. Tracking Robustness and Green View Index Estimation of Augmented and Diminished Reality for Environmental Design
CN118115927B (zh) 目标追踪方法、装置、计算机设备、存储介质及程序产品
Dai et al. Indoor 3D human trajectory reconstruction using surveillance camera videos and point clouds
Singh et al. Fast semantic-aware motion state detection for visual slam in dynamic environment
Fang et al. STUNNER: Radar echo extrapolation model based on spatiotemporal fusion neural network
Zoellner et al. Reality Filtering: A Visual Time Machine in Augmented Reality.
CN115131407A (zh) 面向数字仿真环境的机器人目标跟踪方法、装置和设备
Rimboux et al. Smart IoT cameras for crowd analysis based on augmentation for automatic pedestrian detection, simulation and annotation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant