CN112102365A - 一种基于无人机吊舱的目标跟踪方法及相关装置 - Google Patents

一种基于无人机吊舱的目标跟踪方法及相关装置 Download PDF

Info

Publication number
CN112102365A
CN112102365A CN202011009143.0A CN202011009143A CN112102365A CN 112102365 A CN112102365 A CN 112102365A CN 202011009143 A CN202011009143 A CN 202011009143A CN 112102365 A CN112102365 A CN 112102365A
Authority
CN
China
Prior art keywords
image
images
target object
original
unmanned aerial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011009143.0A
Other languages
English (en)
Other versions
CN112102365B (zh
Inventor
方璐
牟道禄
康萌萌
郭涛
王少龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Iray Technology Co Ltd
Original Assignee
Iray Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Iray Technology Co Ltd filed Critical Iray Technology Co Ltd
Priority to CN202011009143.0A priority Critical patent/CN112102365B/zh
Publication of CN112102365A publication Critical patent/CN112102365A/zh
Application granted granted Critical
Publication of CN112102365B publication Critical patent/CN112102365B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于无人机吊舱的目标跟踪方法，通过对五帧差分法进行改进，五帧差分法自身计算过程简单，具有很高的实时性以及抗干扰能力，且改进后的五帧差分法通过先对二值图像进行或运算，再对或运算的结果进行与运算，可以有效保证图像中目标物体边缘的连续性，以及目标物体轮廓的完整性，使得从通过上述改进的五帧差分法得到的图像中检测目标物体时，可以更加准确的检测出目标物体，从而可以准确实现对目标物体的跟踪。本发明还提供了一种装置、设备以及存储介质，同样具有上述有益效果。

Description

一种基于无人机吊舱的目标跟踪方法及相关装置
技术领域
本发明涉及无人机技术领域，特别是涉及一种基于无人机吊舱的目标跟踪方法、一种基于无人机吊舱的目标跟踪装置、一种基于无人机吊舱的目标跟踪设备以及一种计算机可读存储介质。
背景技术
近年来无人机技术发展迅猛，已应用到航拍、气象、交通监管、地质勘测、灾难救援等领域。在交通监控、灾难救援等应用中，机载吊舱实时采集视频数据，为空对地实时监控和跟踪提供了便利。
当前无人机采用吊舱设备对目标进行跟踪时，通常先人工选定跟踪目标，由于存在数据链路以及目标运动导致的延迟，人工选定的运动目标与实际目标不能很好地重合，很容易跟踪失败，因此需要将运动目标检测和目标跟踪算法结合。而光流法等运动目标检测方法因其复杂性无法满足吊舱的实时视频图像处理。传统的帧间差分法易出现空洞和虚假边缘现象，降低了运动目标检测的准确性，进而降低无人机吊舱设备跟踪目标的准确性。所以如何提供一种准确性较高的基于无人机吊舱的目标跟踪方法是本领域技术人员急需解决的问题。
发明内容
本发明的目的是提供一种基于无人机吊舱的目标跟踪方法，可以准确实现对目标物体的跟踪；本发明的另一目的在于提供一种基于无人机吊舱的目标跟踪装置、一种基于无人机吊舱的目标跟踪设备以及一种计算机可读存储介质，可以准确实现对目标物体的跟踪。
为解决上述技术问题，本发明提供一种基于无人机吊舱的目标跟踪方法，包括：
通过无人机吊舱中摄像头获取包括目标物体的视频流；所述视频流包括至少5帧原始图像，任一所述原始图像均拍摄有目标物体；
获取所述视频流中连续5帧所述原始图像，以第3帧所述原始图像作为中间帧图像，分别与其余4帧所述原始图像做差分运算得到四个差分图像；
通过阈值分割将所述差分图像转换为对应的二值图像；
对预设组合的所述二值图像进行或运算，得到两个或运算图像；
对所述或运算图像进行与运算，得到与运算图像；
对所述与运算图像中的所述目标物体进行定位，并调整所述无人机吊舱的姿态跟踪所述目标物体。
可选的，所述通过阈值分割将所述差分图像转换为对应的二值图像包括：
调用OTSU模型计算所述差分图像的分割阈值；
根据所述分割阈值将所述差分图像转换为对应的二值图像。
可选的，所述对预设组合的所述二值图像进行或运算，得到两个或运算图像包括：
对涉及第1帧所述原始图像的二值图像与涉及第5帧所述原始图像的二值图像进行或运算，得到第一或运算图像；
对涉及第2帧所述原始图像的二值图像与涉及第4帧所述原始图像的二值图像进行或运算，得到第二或运算图像；
所述对所述或运算图像进行与运算，得到与运算图像包括：
对所述第一或运算图像与所述第二或运算图像进行与运算，得到与运算图像。
可选的，在所述得到与运算图像之后，还包括：
对所述与运算图像进行数学形态学处理，得到待定位图像；
所述对所述与运算图像中的所述目标物体进行定位包括：
对所述待定位图像中的所述目标物体进行定位。
可选的，所述对所述与运算图像进行数学形态学处理，得到待定位图像包括：
对所述与运算图像进行腐蚀运算和膨胀运算，得到待定位图像。
可选的，所述对所述待定位图像中的所述目标物体进行定位包括：
通过KCF跟踪模型对所述待定位图像中的所述目标物体进行定位。
可选的，所述获取所述视频流中连续5帧所述原始图像，以第3帧所述原始图像作为中间帧图像，分别与其余4帧所述原始图像做差分运算得到四个差分图像包括：
获取所述视频流中连续5帧所述原始图像；
对5帧所述原始图像进行去噪，得到连续5帧去噪图像；
以第3帧所述去噪图像作为中间帧图像，分别与其余4帧所述去噪图像做差分运算得到四个差分图像。
本发明还提供了一种基于无人机吊舱的目标跟踪装置，包括：
拍摄模块：用于通过无人机吊舱中摄像头获取包括目标物体的视频流；所述视频流包括至少5帧原始图像，任一所述原始图像均拍摄有目标物体；
差分模块：用于获取所述视频流中连续5帧所述原始图像，以第3帧所述原始图像作为中间帧图像，分别与其余4帧所述原始图像做差分运算得到四个差分图像；
二值图模块：用于通过阈值分割将所述差分图像转换为对应的二值图像；
或运算模块：用于对预设组合的所述二值图像进行或运算，得到两个或运算图像；
与运算模块：用于对所述或运算图像进行与运算，得到与运算图像；
追踪模块：用于对所述与运算图像中的所述目标物体进行定位，并调整所述无人机吊舱的姿态跟踪所述目标物体。
本发明还提供了一种基于无人机吊舱的目标跟踪设备，所述设备包括：
存储器：用于存储计算机程序；
处理器：用于执行所述计算机程序时实现如上述任一项所述基于无人机吊舱的目标跟踪方法的步骤。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述基于无人机吊舱的目标跟踪方法的步骤。
本发明所提供的一种基于无人机吊舱的目标跟踪方法，包括通过无人机吊舱中摄像头获取包括目标物体的视频流；视频流包括至少5帧原始图像，任一原始图像均拍摄有目标物体；获取视频流中连续5帧原始图像，以第3帧原始图像作为中间帧图像，分别与其余4帧原始图像做差分运算得到四个差分图像；通过阈值分割将差分图像转换为对应的二值图像；对预设组合的二值图像进行或运算，得到两个或运算图像；对或运算图像进行与运算，得到与运算图像；对与运算图像中的目标物体进行定位，并调整无人机吊舱的姿态跟踪目标物体。
通过对五帧差分法进行改进，五帧差分法自身计算过程简单，具有很高的实时性以及抗干扰能力，且改进后的五帧差分法通过先对二值图像进行或运算，再对或运算的结果进行与运算，可以有效保证图像中目标物体边缘的连续性，以及目标物体轮廓的完整性，使得从通过上述改进的五帧差分法得到的图像中检测目标物体时，可以更加准确的检测出目标物体，从而可以准确实现对目标物体的跟踪。
本发明还提供了一种基于无人机吊舱的目标跟踪装置、一种基于无人机吊舱的目标跟踪设备以及一种计算机可读存储介质，同样具有上述有益效果，在此不再进行赘述。
附图说明
为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例所提供的一种基于无人机吊舱的目标跟踪方法的流程图；
图2为本发明实施例所提供的一种具体的基于无人机吊舱的目标跟踪方法的流程图；
图3为本发明实施例处理图像的流程图；
图4为本发明实施例所提供的一种基于无人机吊舱的目标跟踪装置的结构框图；
图5为本发明实施例所提供的一种基于无人机吊舱的目标跟踪设备的结构框图。
具体实施方式
本发明的核心是提供一种基于无人机吊舱的目标跟踪方法。在现有技术中，当前无人机采用吊舱设备对目标进行跟踪时，通常先人工选定跟踪目标，由于存在数据链路以及目标运动导致的延迟，人工选定的运动目标与实际目标不能很好地重合，很容易跟踪失败，因此需要将运动目标检测和目标跟踪算法结合。而光流法等运动目标检测方法因其复杂性无法满足吊舱的实时视频图像处理。传统的帧间差分法易出现空洞和虚假边缘现象，降低了运动目标检测的准确性，进而降低无人机吊舱设备跟踪目标的准确性。
而本发明所提供的一种基于无人机吊舱的目标跟踪方法，包括通过无人机吊舱中摄像头获取包括目标物体的视频流；视频流包括至少5帧原始图像，任一原始图像均拍摄有目标物体；获取视频流中连续5帧原始图像，以第3帧原始图像作为中间帧图像，分别与其余4帧原始图像做差分运算得到四个差分图像；通过阈值分割将差分图像转换为对应的二值图像；对预设组合的二值图像进行或运算，得到两个或运算图像；对或运算图像进行与运算，得到与运算图像；对与运算图像中的目标物体进行定位，并调整无人机吊舱的姿态跟踪目标物体。
通过对五帧差分法进行改进，五帧差分法自身计算过程简单，具有很高的实时性以及抗干扰能力，且改进后的五帧差分法通过先对二值图像进行或运算，再对或运算的结果进行与运算，可以有效保证图像中目标物体边缘的连续性，以及目标物体轮廓的完整性，使得从通过上述改进的五帧差分法得到的图像中检测目标物体时，可以更加准确的检测出目标物体，从而可以准确实现对目标物体的跟踪。
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参考图1，图1为本发明实施例所提供的一种基于无人机吊舱的目标跟踪方法的流程图。
参见图1，在本发明实施例中，基于无人机吊舱的目标跟踪方法包括：
S101：通过无人机吊舱中摄像头获取包括目标物体的视频流。
在本发明实施例中，所述视频流包括至少5帧原始图像，任一所述原始图像均拍摄有目标物体。有关目标物体的具体种类在本发明实施例中不做具体限定，视具体情况而定，该目标物体通常为处于运动中的物体。在本发明实施例中，跟踪目标物体时具体会拍摄一段包括目标物体的视频流。而在本发明实施例中，由于在后续步骤中会通过改进的五帧差分法从视频流中获取目标物体轮廓，相应的在发明实施例中需要视频流包括至少5帧原始图像，且任一原始图像均拍摄有目标物体。
在本步骤中，具体会通过设置在无人机吊舱中的摄像头获取上述视频流，通常情况下上述摄像头在本发明实施例中为红外摄像头，相应的上述视频流在本发明实施例中为由红外图像构成的红外视频流，即该视频流包括的图像为红外图像。
S102：获取视频流中连续5帧原始图像，以第3帧原始图像作为中间帧图像，分别与其余4帧原始图像做差分运算得到四个差分图像。
在本步骤中，首先会截取视频流中连续5帧原始图像用作在后续步骤中对目标物体的轮廓进行识别。具体的，在本步骤中会以第3帧原始图像作为中间帧图像，将该第三帧图像分别与其余4帧原始图像做差分运算，得到四个差分图像。有关差分运算的具体过程可以参考现有技术，在此不再进行赘述。
S103：通过阈值分割将差分图像转换为对应的二值图像。
在本步骤中，会通过分割阈值将上述四个差分图像分别转换为其对应的二值图像，以便对目标物体轮廓的提取。有关分割阈值的具体内容将在下述发明实施例中做详细介绍，在此不再进行赘述。
S104：对预设组合的二值图像进行或运算，得到两个或运算图像。
在本步骤中，首先会以预设组合来两两组合上述四个二值图像，形成两个二值图像的组合，然后对该两个二值图像的组合分别进行或运算，得到两个或运算图像。有关或运算的具体过程可以参考现有技术，上述组合二值图像的方式将在下述发明实施例中做详细介绍，在此不再进行赘述。
S105：对或运算图像进行与运算，得到与运算图像。
在本步骤中，当进行完上述或运算得到两个或运算图像之后，会对该或运算图像进行与运算，有关与运算的具体过程可以参考现有技术，在此不再进行赘述。在本发明实施例依次对二值图像执行上述或运算以及与运算，可以有效保证图像中目标物体边缘的连续性，以及目标物体轮廓的完整性。
S106：对与运算图像中的目标物体进行定位，并调整无人机吊舱的姿态跟踪目标物体。
有关在图像中进行定位以及跟踪的具体过程将在下述发明实施例中做详细介绍，在此不再进行赘述。
本发明实施例所提供的一种基于无人机吊舱的目标跟踪方法，包括通过无人机吊舱中摄像头获取包括目标物体的视频流；视频流包括至少5帧原始图像，任一原始图像均拍摄有目标物体；获取视频流中连续5帧原始图像，以第3帧原始图像作为中间帧图像，分别与其余4帧原始图像做差分运算得到四个差分图像；通过阈值分割将差分图像转换为对应的二值图像；对预设组合的二值图像进行或运算，得到两个或运算图像；对或运算图像进行与运算，得到与运算图像；对与运算图像中的目标物体进行定位，并调整无人机吊舱的姿态跟踪目标物体。
通过对五帧差分法进行改进，五帧差分法自身计算过程简单，具有很高的实时性以及抗干扰能力，且改进后的五帧差分法通过先对二值图像进行或运算，再对或运算的结果进行与运算，可以有效保证图像中目标物体边缘的连续性，以及目标物体轮廓的完整性，使得从通过上述改进的五帧差分法得到的图像中检测目标物体时，可以更加准确的检测出目标物体，从而可以准确实现对目标物体的跟踪。
有关本发明所提供的一种基于无人机吊舱的目标跟踪方法的具体内容将在下述发明实施例中做详细介绍。
请参考图2以及图3，图2为本发明实施例所提供的一种具体的基于无人机吊舱的目标跟踪方法的流程图；图3为本发明实施例处理图像的流程图。
参见图2以及图3，在本发明实施例中，基于无人机吊舱的目标跟踪方法包括：
S201：通过无人机吊舱中摄像头获取包括目标物体的视频流。
本步骤与上述S101基本一致，详细内容请参考上述发明实施例，在此不再进行赘述。
S202：获取视频流中连续5帧原始图像。
本步骤已在上述发明实施例中S102做详细介绍，在此不再进行赘述。在本步骤中，连续5帧的原始图像可以分别记为：
fk-2(x,y),fk-1(x,y),fk(x,y),fk+1(x,y),fk+2(x,y)；
其中fk-2(x,y)为第一帧原始图像，fk-1(x,y)为第二帧原始图像，fk(x,y)为第三帧原始图像，fk+1(x,y)为第四帧原始图像，fk+2(x,y)为第五帧原始图像。
S203：对5帧原始图像进行去噪，得到连续5帧去噪图像。
在本步骤中，首先会对截取的原始图像进行去噪得到去噪图像，以提升图像的清晰度。具体的，在本步骤中通常通过双边滤波法以及中值滤波法对上述原始图像进行去噪，得到连续的5帧去噪图像。有关双边滤波法以及中值滤波法的具体内容可以参考现有技术，在此不再进行赘述。
在本步骤中，连续5帧的去噪图像可以分别记为：
Ik-2(x,y),Ik-1(x,y),Ik(x,y),Ik+1(x,y),Ik+2(x,y)；
其中Ik-2(x,y)为第一帧去噪图像，Ik-1(x,y)为第二帧去噪图像，Ik(x,y)为第三帧去噪图像，Ik+1(x,y)为第四帧去噪图像，Ik+2(x,y)为第五帧去噪图像。
S204：以第3帧去噪图像作为中间帧图像，分别与其余4帧去噪图像做差分运算得到四个差分图像。
本步骤大体已在上述发明实施例中S102做详细介绍，在此不再进行赘述。
在本步骤中，具体会以第三帧去噪图像Ik(x,y)作为中间帧图像，分别与前两帧去噪图像以及后两帧去噪图像做差分运算得到四个差分图像，其计算过程具体为：
D1(x,y)＝|Ik(x,y)-Ik-2(x,y)|；
D2(x,y)＝|Ik(x,y)-Ik-1(x,y)|；
D3(x,y)＝|Ik(x,y)-Ik+1(x,y)|；
D4(x,y)＝|Ik(x,y)-Ik+2(x,y)|；
其中D1(x,y)为涉及第一帧原始图像的差分图像，D2(x,y)为涉及第二帧原始图像的差分图像，D3(x,y)为涉及第四帧原始图像的差分图像，D4(x,y)为涉及第五帧原始图像的差分图像。
S205：调用OTSU模型计算差分图像的分割阈值。
OTSU算法即大津法，又称最大类间方差法。而OTSU模型即基于OTSU算法所构建的计算模型。在本步骤中，调用OTSU模型，基于上述差分图像计算得到的分割阈值，可以准确清晰的将差分图像转换为二值图像。
S206：根据分割阈值将差分图像转换为对应的二值图像。
在本步骤中，其转换过程可以表示为：
Figure BDA0002696980080000091
其中T为S205中计算得到的分割阈值，Hi(x,y)为对应各个差分图像Di(x,y)的二值图像。
S207：对涉及第1帧原始图像的二值图像与涉及第5帧原始图像的二值图像进行或运算，得到第一或运算图像。
在本步骤中，第一或运算图像的计算过程具体为：
Figure BDA0002696980080000101
其中H1(x,y)为涉及第1帧原始图像的二值图像，即通过涉及第一帧原始图像的差分图像D1(x,y)转换来的二值图像；H4(x,y)为涉及第5帧原始图像的二值图像，即通过涉及第五帧原始图像的差分图像D4(x,y)转换来的二值图像；式中
Figure BDA0002696980080000102
表示逻辑“或”运算，H14(x,y)为第一或运算图像。
S208：对涉及第2帧原始图像的二值图像与涉及第4帧原始图像的二值图像进行或运算，得到第二或运算图像。
在本步骤中，第二或运算图像的计算过程具体为：
Figure BDA0002696980080000103
其中H2(x,y)为涉及第2帧原始图像的二值图像，即通过涉及第二帧原始图像的差分图像D2(x,y)转换来的二值图像；H3(x,y)为涉及第4帧原始图像的二值图像，即通过涉及第四帧原始图像的差分图像D3(x,y)转换来的二值图像；式中
Figure BDA0002696980080000104
表示逻辑“或”运算，H23(x,y)为第二或运算图像。
S209：对第一或运算图像与第二或运算图像进行与运算，得到与运算图像。
对H14(x,y),H23(x,y)进行“与”运算，克制“或”运算造成的目标重叠现象，得到目标轮廓，其过程具体为：
Figure BDA0002696980080000105
式中Gk(x,y)为与运算图像，
Figure BDA0002696980080000106
为表示逻辑“与”运算。
S210：对与运算图像进行数学形态学处理，得到待定位图像。
在本步骤中，会对与运算图像进一步处理，以使最终得到的目标物体更加显著，边缘轮廓更连续，检测结果更准确。
具体的，本步骤通常具体为：对所述与运算图像进行腐蚀运算和膨胀运算，得到待定位图像。先用腐蚀运算消除与运算图像中孤立噪声点，再用膨胀运算填充与运算图像中目标物体边缘空洞，可以使最终得到的待定位图像中目标物体更加显著。有关腐蚀运算和膨胀运算的具体内容可以参考现有技术，在此不再进行赘述。
S211：对待定位图像中的目标物体进行定位，并调整所述无人机吊舱的姿态跟踪所述目标物体。
在本步骤中，具体会对待定位图像中的目标物体进行定位，通常是使用画框的方式在每一帧待定位图像中框出目标物体，再通过跟踪算法，例如KCF(Kernel CorrelationFilter)跟踪算法实现对目标物体的定位。相应的，本步骤可以具体为：通过KCF跟踪模型对所述待定位图像中的所述目标物体进行定位。KCF跟踪模型即根据KCF跟踪算法所建立的计算模型，有关KCF跟踪算法的具体步骤可以参考现有技术，在此不再进行赘述。需要说明的是，在本步骤进行定位跟踪过程中，具体是针对每一帧待定位图像中的目标物体进行定位跟踪，而每一帧待定位图像是由5帧原始图像得到。即本步骤通常是基于视频流每5帧计算一次。
在本步骤中，在通过上述步骤完成对目标物体的定位之后，会自动调整无人机吊舱的姿态，例如俯仰角、方位角等等实现对目标物体的跟踪。
本发明实施例所提供的一种基于无人机吊舱的目标跟踪方法，通过对五帧差分法进行改进，五帧差分法自身计算过程简单，具有很高的实时性以及抗干扰能力，且改进后的五帧差分法通过先对二值图像进行或运算，再对或运算的结果进行与运算，可以有效保证图像中目标物体边缘的连续性，以及目标物体轮廓的完整性，使得从通过上述改进的五帧差分法得到的图像中检测目标物体时，可以更加准确的检测出目标物体，从而可以准确实现对目标物体的跟踪。
下面对本发明实施例所提供的一种基于无人机吊舱的目标跟踪装置进行介绍，下文描述的目标跟踪装置与上文描述的目标跟踪方法可相互对应参照。
请参考图4，图4为本发明实施例所提供的一种基于无人机吊舱的目标跟踪装置的结构框图。
参见图4，在本发明实施例中，基于无人机吊舱的目标跟踪装置可以包括：
拍摄模块100：用于通过无人机吊舱中摄像头获取包括目标物体的视频流；所述视频流包括至少5帧原始图像，任一所述原始图像均拍摄有目标物体。
差分模块200：用于获取所述视频流中连续5帧所述原始图像，以第3帧所述原始图像作为中间帧图像，分别与其余4帧所述原始图像做差分运算得到四个差分图像。
二值图模块300：用于通过阈值分割将所述差分图像转换为对应的二值图像。
或运算模块400：用于对预设组合的所述二值图像进行或运算，得到两个或运算图像。
与运算模块500：用于对所述或运算图像进行与运算，得到与运算图像。
追踪模块600：用于对所述与运算图像中的所述目标物体进行定位，并调整所述无人机吊舱的姿态跟踪所述目标物体。
具体的，在本发明实施例中，二值图模块300可以包括：
OTSU单元：用于调用OTSU模型计算所述差分图像的分割阈值。
二值图单元：用于根据所述分割阈值将所述差分图像转换为对应的二值图像。
具体的，在本发明实施例中，或运算模块400可以包括：
第一或运算单元：用于对涉及第1帧所述原始图像的二值图像与涉及第5帧所述原始图像的二值图像进行或运算，得到第一或运算图像。
第二或运算单元：用于对涉及第2帧所述原始图像的二值图像与涉及第4帧所述原始图像的二值图像进行或运算，得到第二或运算图像。
与运算模块500具体用于：
对所述第一或运算图像与所述第二或运算图像进行与运算，得到与运算图像。
具体的，在本发明实施例中，还可以包括：
处理模块：用于对所述与运算图像进行数学形态学处理，得到待定位图像。
追踪模块600具体用于：
对所述待定位图像中的所述目标物体进行定位。
具体的，在本发明实施例中，处理模块具体用于：
对所述与运算图像进行腐蚀运算和膨胀运算，得到待定位图像。
具体的，在本发明实施例中，追踪模块600具体用于：
通过KCF跟踪模型对所述待定位图像中的所述目标物体进行定位。
具体的，在本发明实施例中，差分模块包括：
获取单元：用于获取所述视频流中连续5帧所述原始图像。
去噪单元：用于对5帧所述原始图像进行去噪，得到连续5帧去噪图像。
差分单元：用于以第3帧所述去噪图像作为中间帧图像，分别与其余4帧所述去噪图像做差分运算得到四个差分图像。
本实施例的基于无人机吊舱的目标跟踪装置用于实现前述的基于无人机吊舱的目标跟踪方法，因此目标跟踪装置中的具体实施方式可见前文中目标跟踪方法的实施例部分，例如，拍摄模块100，差分模块200，二值图模块300，或运算模块400，与运算模块500，追踪模块600，分别用于实现上述基于无人机吊舱的目标跟踪方法中步骤S101，S102，S103，S104，S105，以及S106，所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再赘述。
下面对本发明实施例提供的一种基于无人机吊舱的目标跟踪设备进行介绍，下文描述的目标跟踪设备与上文描述的目标跟踪方法以及目标跟踪装置可相互对应参照。
请参考图5，图5为本发明实施例所提供的一种基于无人机吊舱的目标跟踪设备的结构框图。
参照图5，该基于无人机吊舱的目标跟踪设备可以包括处理器11和存储器12。
所述存储器12用于存储计算机程序；所述处理器11用于执行所述计算机程序时实现上述发明实施例中所述的基于无人机吊舱的目标跟踪方法。
本实施例的基于无人机吊舱的目标跟踪设备中处理器11用于安装上述发明实施例中所述的基于无人机吊舱的目标跟踪装置，同时处理器11与存储器12相结合可以实现上述任一发明实施例中所述的基于无人机吊舱的目标跟踪方法。因此目标跟踪设备中的具体实施方式可见前文中的目标跟踪方法的实施例部分，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再赘述。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一发明实施例中所介绍的一种基于无人机吊舱的目标跟踪方法。其余内容可以参照现有技术，在此不再进行展开描述。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的一种基于无人机吊舱的目标跟踪方法、一种基于无人机吊舱的目标跟踪装置、一种基于无人机吊舱的目标跟踪设备以及一种计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种基于无人机吊舱的目标跟踪方法，其特征在于，包括：
通过无人机吊舱中摄像头获取包括目标物体的视频流；所述视频流包括至少5帧原始图像，任一所述原始图像均拍摄有目标物体；
获取所述视频流中连续5帧所述原始图像，以第3帧所述原始图像作为中间帧图像，分别与其余4帧所述原始图像做差分运算得到四个差分图像；
通过阈值分割将所述差分图像转换为对应的二值图像；
对预设组合的所述二值图像进行或运算，得到两个或运算图像；
对所述或运算图像进行与运算，得到与运算图像；
对所述与运算图像中的所述目标物体进行定位，并调整所述无人机吊舱的姿态跟踪所述目标物体。
2.根据权利要求1所述的方法，其特征在于，所述通过阈值分割将所述差分图像转换为对应的二值图像包括：
调用OTSU模型计算所述差分图像的分割阈值；
根据所述分割阈值将所述差分图像转换为对应的二值图像。
3.根据权利要求2所述的方法，其特征在于，所述对预设组合的所述二值图像进行或运算，得到两个或运算图像包括：
对涉及第1帧所述原始图像的二值图像与涉及第5帧所述原始图像的二值图像进行或运算，得到第一或运算图像；
对涉及第2帧所述原始图像的二值图像与涉及第4帧所述原始图像的二值图像进行或运算，得到第二或运算图像；
所述对所述或运算图像进行与运算，得到与运算图像包括：
对所述第一或运算图像与所述第二或运算图像进行与运算，得到与运算图像。
4.根据权利要求3所述的方法，其特征在于，在所述得到与运算图像之后，还包括：
对所述与运算图像进行数学形态学处理，得到待定位图像；
所述对所述与运算图像中的所述目标物体进行定位包括：
对所述待定位图像中的所述目标物体进行定位。
5.根据权利要求4所述的方法，其特征在于，所述对所述与运算图像进行数学形态学处理，得到待定位图像包括：
对所述与运算图像进行腐蚀运算和膨胀运算，得到待定位图像。
6.根据权利要求5所述的方法，其特征在于，所述对所述待定位图像中的所述目标物体进行定位包括：
通过KCF跟踪模型对所述待定位图像中的所述目标物体进行定位。
7.根据权利要求1所述的方法，其特征在于，所述获取所述视频流中连续5帧所述原始图像，以第3帧所述原始图像作为中间帧图像，分别与其余4帧所述原始图像做差分运算得到四个差分图像包括：
获取所述视频流中连续5帧所述原始图像；
对5帧所述原始图像进行去噪，得到连续5帧去噪图像；
以第3帧所述去噪图像作为中间帧图像，分别与其余4帧所述去噪图像做差分运算得到四个差分图像。
8.一种基于无人机吊舱的目标跟踪装置，其特征在于，包括：
拍摄模块：用于通过无人机吊舱中摄像头获取包括目标物体的视频流；所述视频流包括至少5帧原始图像，任一所述原始图像均拍摄有目标物体；
差分模块：用于获取所述视频流中连续5帧所述原始图像，以第3帧所述原始图像作为中间帧图像，分别与其余4帧所述原始图像做差分运算得到四个差分图像；
二值图模块：用于通过阈值分割将所述差分图像转换为对应的二值图像；
或运算模块：用于对预设组合的所述二值图像进行或运算，得到两个或运算图像；
与运算模块：用于对所述或运算图像进行与运算，得到与运算图像；
追踪模块：用于对所述与运算图像中的所述目标物体进行定位，并调整所述无人机吊舱的姿态跟踪所述目标物体。
9.一种基于无人机吊舱的目标跟踪设备，其特征在于，所述设备包括：
存储器：用于存储计算机程序；
处理器：用于执行所述计算机程序时实现如权利要求1至7任一项所述基于无人机吊舱的目标跟踪方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述基于无人机吊舱的目标跟踪方法的步骤。
CN202011009143.0A 2020-09-23 2020-09-23 一种基于无人机吊舱的目标跟踪方法及相关装置 Active CN112102365B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011009143.0A CN112102365B (zh) 2020-09-23 2020-09-23 一种基于无人机吊舱的目标跟踪方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011009143.0A CN112102365B (zh) 2020-09-23 2020-09-23 一种基于无人机吊舱的目标跟踪方法及相关装置

Publications (2)

Publication Number Publication Date
CN112102365A true CN112102365A (zh) 2020-12-18
CN112102365B CN112102365B (zh) 2024-05-31

Family

ID=73756500

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011009143.0A Active CN112102365B (zh) 2020-09-23 2020-09-23 一种基于无人机吊舱的目标跟踪方法及相关装置

Country Status (1)

Country Link
CN (1) CN112102365B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112686921A (zh) * 2021-01-08 2021-04-20 西安羚控电子科技有限公司 一种基于轨迹特征的多干扰无人机检测跟踪方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106846359A (zh) * 2017-01-17 2017-06-13 湖南优象科技有限公司 基于视频序列的运动目标快速检测方法
WO2017185503A1 (zh) * 2016-04-29 2017-11-02 高鹏 目标跟踪方法和装置
CN107886086A (zh) * 2017-12-01 2018-04-06 中国农业大学 一种基于图像视频的目标动物检测方法及装置
CN111325773A (zh) * 2018-12-17 2020-06-23 北京京东尚科信息技术有限公司 运动目标的检测方法、装置、设备及可读存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017185503A1 (zh) * 2016-04-29 2017-11-02 高鹏 目标跟踪方法和装置
CN106846359A (zh) * 2017-01-17 2017-06-13 湖南优象科技有限公司 基于视频序列的运动目标快速检测方法
CN107886086A (zh) * 2017-12-01 2018-04-06 中国农业大学 一种基于图像视频的目标动物检测方法及装置
CN111325773A (zh) * 2018-12-17 2020-06-23 北京京东尚科信息技术有限公司 运动目标的检测方法、装置、设备及可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
周文静;陈玮;: "基于改进帧间差分与局部Camshift相结合的目标跟踪算法", 软件导刊, no. 03 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112686921A (zh) * 2021-01-08 2021-04-20 西安羚控电子科技有限公司 一种基于轨迹特征的多干扰无人机检测跟踪方法
CN112686921B (zh) * 2021-01-08 2023-12-01 西安羚控电子科技有限公司 一种基于轨迹特征的多干扰无人机检测跟踪方法

Also Published As

Publication number Publication date
CN112102365B (zh) 2024-05-31

Similar Documents

Publication Publication Date Title
CN112669349B (zh) 一种客流统计方法、电子设备及存储介质
CN107256225B (zh) 一种基于视频分析的热度图生成方法及装置
EP2858008B1 (en) Target detecting method and system
KR101271092B1 (ko) 감시 카메라 시스템에서 움직임을 검출하기 위한 실시간움직임 영역 분할 방법 및 장치
CN103093198B (zh) 一种人群密度监测方法及装置
CN111881853B (zh) 一种超大桥隧中异常行为识别方法和装置
CN109685045B (zh) 一种运动目标视频跟踪方法及系统
CN107146200B (zh) 一种基于图像拼接质量评价的无人机遥感图像拼接方法
CN103426182A (zh) 基于视觉注意机制的电子稳像方法
CN109325961B (zh) 无人机视频多目标跟踪方法及装置
KR20080020595A (ko) 보안 어플리케이션을 위한 사람을 감지하고 추적하는시스템
WO2018127539A1 (en) Methods and devices for extracting an object from a video sequence
US20150319373A1 (en) Method and device to compose an image by eliminating one or more moving objects
CN109859250B (zh) 一种航空红外视频多目标检测与跟踪方法及装置
CN109711256B (zh) 一种低空复杂背景无人机目标检测方法
CN110827262B (zh) 一种基于连续有限帧红外图像的弱小目标检测方法
CN115131420A (zh) 基于关键帧优化的视觉slam方法及装置
CN112070035A (zh) 基于视频流的目标跟踪方法、装置及存储介质
CN113256683B (zh) 目标跟踪方法及相关设备
CN110414430B (zh) 一种基于多比例融合的行人重识别方法及装置
Verma et al. Analysis of moving object detection and tracking in video surveillance system
CN112102365A (zh) 一种基于无人机吊舱的目标跟踪方法及相关装置
CN112270748B (zh) 基于图像的三维重建方法及装置
CN113542868A (zh) 视频关键帧选取方法、装置、电子设备、存储介质
CN101149803A (zh) 点源目标检测的小虚警率的试验估计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant