CN110660085A - 一种适用于光电吊舱的实时视频图像运动目标检测与稳定跟踪方法 - Google Patents

一种适用于光电吊舱的实时视频图像运动目标检测与稳定跟踪方法 Download PDF

Info

Publication number
CN110660085A
CN110660085A CN201910947516.XA CN201910947516A CN110660085A CN 110660085 A CN110660085 A CN 110660085A CN 201910947516 A CN201910947516 A CN 201910947516A CN 110660085 A CN110660085 A CN 110660085A
Authority
CN
China
Prior art keywords
target
frame
image
tracking
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910947516.XA
Other languages
English (en)
Other versions
CN110660085B (zh
Inventor
酒锐波
吉书鹏
许建铮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kaimai (Luoyang) Measurement and Control Co Ltd
Original Assignee
Kaimai (Luoyang) Measurement and Control Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kaimai (Luoyang) Measurement and Control Co Ltd filed Critical Kaimai (Luoyang) Measurement and Control Co Ltd
Priority to CN201910947516.XA priority Critical patent/CN110660085B/zh
Publication of CN110660085A publication Critical patent/CN110660085A/zh
Application granted granted Critical
Publication of CN110660085B publication Critical patent/CN110660085B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明公开了一种适用于光电吊舱的实时视频图像运动目标检测与稳定跟踪方法，包括如下步骤：S1.人工选择静止目标进行跟踪，使光电吊舱的稳定平台进入跟踪态；S2.使用DSP跟踪静止目标，保持图像画面不动；S3.使用DSP获取目标矩形区域然后实现运动目标检测；S4.使用DSP采用轨迹关联法跟踪运动目标。本发明摒弃了光电吊舱使用过程中传统人工直接指示运动目标的思路，首先稳定跟踪静止目标，进而通过帧差法实现运动目标检测，由于不存在由数据链路以及目标运动导致的延迟，使得检测到的运动目标能够与实际的运动目标很好地重合，同时方法简单，实现过程迅速，既可以实现运动目标的稳定跟踪，又满足了光电吊舱视频处理的实时性要求。

Description

一种适用于光电吊舱的实时视频图像运动目标检测与稳定跟 踪方法
技术领域
本发明属于光电吊舱控制技术领域，具体涉及一种适用于光电吊舱的实时视频图像运动目标检测与稳定跟踪方法。
背景技术
在光电吊舱的运动目标检测与跟踪应用中，采用人工指示目标的方式获取运动目标，由于存在数据链路延迟，使得人工指示的运动目标与实际目标不能很好地重合，这将导致获取的运动目标模板不能准确地描述目标，进而影响到对运动目标的持续稳定跟踪。若采用光流法等运动背景下的运动目标检测方法，由于其复杂性，无法满足光电吊舱的实时视频图像处理。
因此，如何利用光电吊舱的特点，结合简单的运动目标检测方法，既实现运动目标稳定跟踪，又满足所需要的实时性，对于光电吊舱的工程应用有着重要的意义。
发明内容
为了使光电吊舱可以实现运动目标的稳定跟踪，又能满足所需要的实时性，本发明给出了一种适用于光电吊舱的实时视频图像运动目标检测与稳定跟踪方法。
一种适用于光电吊舱的实时视频图像运动目标检测与稳定跟踪方法，包括如下步骤：
S1.人工选择静止目标进行跟踪，使光电吊舱的稳定平台进入跟踪态；
S2.使用DSP跟踪静止目标，保持图像画面不动；
S3.使用DSP获取目标矩形区域然后实现运动目标检测；
S4.使用DSP采用轨迹关联法跟踪运动目标。
进一步地，DSP跟踪静止目标是通过DSP计算静止目标的坐标，将坐标发送给光电吊舱稳定平台，通过稳定平台的调整使图像画面不动，实现跟踪静止目标。
进一步地，DSP获取目标矩形区域的过程中使用了帧差法。
进一步地，所述的帧差法的具体实现过程如下：DSP首先存储一帧图像作为第t帧图像，然后再保存第t+1帧图像作为当前帧图像，计算两帧图像的帧差图像，用得到的帧差图像求二值化图像，用得到的二值化图像求腐蚀图像，用得到的腐蚀图像求膨胀图像，在此基础上再求一次膨胀图像，对得到的膨胀图像进行连通区域分析，获取目标矩形区域。
进一步地，获取目标矩形区域后，将发生重叠或是交叉的目标区域进行合并，取这些区域的平均值作为新区域的中心值，获取最终矩形区域的中心值，作为检测目标的中心，实现运动目标的检测。
进一步地，所述的轨迹关联法跟踪运动目标需要根据上一帧和当前帧的目标检测结果，进行目标轨迹关联来实现，具体如下：
假设第t帧检测到m个目标，表示为
Figure BDA0002220344910000021
第t+1帧检测到n个目标
Figure BDA0002220344910000022
首先计算第t+1帧中每一个目标与第t帧各个目标的距离cost[m×n]，第二步，找出目标对应的最小距离costmin，如果cost小于设定的阈值，则认为目标连续出现，并累计目标出现次数，如果costmin大于设定的阈值，则认为目标消失，并累计目标消失次数，接下来处理第t+1帧中的后续目标
Figure BDA0002220344910000024
随后以此方法将后续帧中的目标继续与第t帧中的目标作比较，如果目标在第t帧后的帧中连续出现5次以上，认为是真实的目标，如果目标连续小于5次以上，则认为该目标已经消失，最后实现运动目标的稳定跟踪。
与现有技术相比，本发明具有如下有益效果：摒弃光电吊舱使用过程中传统人工直接指示运动目标的思路，首先稳定跟踪静止目标，进而通过帧差法实现运动目标检测，由于不存在由数据链路以及目标运动导致的延迟，使得检测到的运动目标能够与实际的运动目标很好地重合，最后将上一帧和后续帧的目标检测结果进行目标轨迹关联，实现了光电吊舱应用中视频图像的运动目标实时稳定跟踪，同时，实现过程迅速，也满足了光电吊舱视频处理的实时性要求。
附图说明
图1：红外图像运动目标检测结果。
图2：可见光图像运动目标检测结果。
具体实施方式
下面结合具体实施例，对本发明进行进一步地解释说明。以下实施例仅是对本发明的解释，并非是对本发明的限定，在本发明基础上进行的简单替换、叠加得到的技术方案均应落入本发明的保护范围。
实施例1
一种适用于光电吊舱的实时视频图像运动目标检测与稳定跟踪方法，采用的装置包括光电吊舱的稳定平台、FPGA、DSP1、DSP2，其中FPGA分别连接稳定平台、DSP1、DSP2，使用的DSP的型号为TMS320C6455。
S1.人工选择静置目标进行跟踪，使光电吊舱的稳定平台进入跟踪态；
S2.DSP1计算静止目标的坐标，发送给光电吊舱的稳定平台，使得稳定平台可以进行调整保持画面不动，即锁定的画面的范围不动；
S3.DSP2存储一帧红外图像作为第t帧图像prev，然后再保存第t+1帧图像作为当前帧图像cur，计算两帧图像的帧差图像diff，求diff的二值化图像bw，求bw的腐蚀图像bw_erode，求bw_erode的膨胀图像bw_dilate，求bw_dilate的膨胀图像bw，对bw进行连通区域分析，获取目标矩形区域，获取目标矩形区域后，将发生重叠或是交叉的目标区域进行合并，取这些区域的平均值作为新区域的中心值，获取最终矩形区域的中心值，作为检测目标的中心，实现运动目标的检测,腐蚀算法结构元素均取3×3矩阵E，矩阵元素全为1，膨胀算法结构元素均取3×3矩阵P，矩阵元素全为1；
S4.DSP2采用轨迹关联法跟踪运动目标，假设第t帧检测到m个目标，表示为
Figure BDA0002220344910000031
第t+1帧检测到n个目标
Figure BDA0002220344910000032
首先计算第t+1帧中每一个目标与第t帧各个目标的距离cost[m×n]，第二步，找出目标
Figure BDA0002220344910000033
对应的最小距离costmin，如果costmin小于设定的阈值，则认为目标连续出现，并累计目标出现次数，如果costmin大于设定的阈值，则认为目标消失，并累计目标消失次数，接下来处理第t+1帧中的后续目标
Figure BDA0002220344910000041
随后以此方法将后续帧中的目标继续与第t帧中的目标作比较，如果目标在第t帧后的帧中连续出现5次以上，认为是真实的目标，如果目标连续小于5次以上，则认为该目标已经消失，最后实现运动目标的稳定跟踪。
如图1所示，为一组红外图像运动目标检测结果，图中包含6帧图像，根据6帧图像的先后顺序，按从左到右，从上到下的方式进行排列。
经过试验验证，本发明能够在光电吊舱平台实现视频图像的是是运动目标检测与跟踪，基于TMS320C6455 DSP实现时，本发明的运算速度达到30FPS。
实施例2
一种适用于光电吊舱的实时视频图像运动目标检测与稳定跟踪方法，采用的装置包括光电吊舱的稳定平台、FPGA、DSP1、DSP2，其中FPGA分别连接稳定平台、DSP1、DSP2，使用的DSP的型号为TMS320C6455。
S1.人工选择静置目标进行跟踪，使光电吊舱的稳定平台进入跟踪态；
S2.DSP1计算静止目标的坐标，发送给光电吊舱的稳定平台，使得稳定平台可以进行调整保持画面不动，即锁定的画面的范围不动；
S3.DSP2存储一帧可见光图像作为第t帧图像prev，然后再保存第t+1帧图像作为当前帧图像cur，计算两帧图像的帧差图像diff，求diff的二值化图像bw，求bw的腐蚀图像bw_erode，求bw_erode的膨胀图像bw_dilate，求bw_dilate的膨胀图像bw，对bw进行连通区域分析，获取目标矩形区域，获取目标矩形区域后，将发生重叠或是交叉的目标区域进行合并，取这些区域的平均值作为新区域的中心值，获取最终矩形区域的中心值，作为检测目标的中心，实现运动目标的检测,腐蚀算法结构元素均取3×3矩阵E，矩阵元素全为1，膨胀算法结构元素均取3×3矩阵P，矩阵元素全为1；
S4.DSP2采用轨迹关联法跟踪运动目标，假设第t帧检测到m个目标，表示为
Figure BDA0002220344910000051
第t+1帧检测到n个目标首先计算第t+1帧中每一个目标与第t帧各个目标的距离cost[m×n]，第二步，找出目标
Figure BDA0002220344910000053
对应的最小距离costmin，如果costmin小于设定的阈值，则认为目标连续出现，并累计目标出现次数，如果costmin大于设定的阈值，则认为目标消失，并累计目标消失次数，接下来处理第t+1帧中的后续目标
Figure BDA0002220344910000054
随后以此方法将后续帧中的目标继续与第t帧中的目标作比较，如果目标在第t帧后的帧中连续出现5次以上，认为是真实的目标，如果目标连续小于5次以上，则认为该目标已经消失，最后实现运动目标的稳定跟踪。
如图2所示，为一组可见光图像运动目标检测结果，图中包含6帧图像，根据6帧图像的先后顺序，按从左到右，从上到下的方式进行排列。
经过试验验证，本发明能够在光电吊舱平台实现视频图像的是是运动目标检测与跟踪，基于TMS320C6455 DSP实现时，本发明的运算速度达到30FPS。

Claims (6)

1.一种适用于光电吊舱的实时视频图像运动目标检测与稳定跟踪方法，其特征在于：包括如下步骤：
S1.人工选择静止目标进行跟踪，使光电吊舱的稳定平台进入跟踪态；
S2.使用DSP跟踪静止目标，保持图像画面不动；
S3.使用DSP获取目标矩形区域然后实现运动目标检测；
S4.使用DSP采用轨迹关联法跟踪运动目标。
2.如权利要求1所述的一种适用于光电吊舱的实时视频图像运动目标检测与稳定跟踪方法，其特征在于：DSP跟踪静止目标是通过DSP计算静止目标的坐标，将坐标发送给光电吊舱稳定平台，通过稳定平台的调整使图像画面不动，实现跟踪静止目标。
3.如权利要求1所述的一种适用于光电吊舱的实时视频图像运动目标检测与稳定跟踪方法，其特征在于：DSP获取目标矩形区域的过程中使用了帧差法。
4.如权利要求3所述的一种适用于光电吊舱的实时视频图像运动目标检测与稳定跟踪方法，其特征在于：所述的帧差法的具体实现过程如下：DSP首先存储一帧图像作为第t帧图像，然后再保存第t+1帧图像作为当前帧图像，计算两帧图像的帧差图像，用得到的帧差图像求二值化图像，用得到的二值化图像求腐蚀图像，用得到的腐蚀图像求膨胀图像，在此基础上再求一次膨胀图像，对得到的膨胀图像进行连通区域分析，获取目标矩形区域。
5.如权利要求4所述的一种适用于光电吊舱的实时视频图像运动目标检测与稳定跟踪方法，其特征在于：获取目标矩形区域后，将发生重叠或是交叉的目标区域进行合并，取这些区域的平均值作为新区域的中心值，获取最终矩形区域的中心值，作为检测目标的中心，实现运动目标的检测。
6.如权利要求1所述的一种适用于光电吊舱的实时视频图像运动目标检测与稳定跟踪方法，其特征在于：所述的轨迹关联法跟踪运动目标需要根据上一帧和当前帧的目标检测结果，进行目标轨迹关联来实现，具体如下：
假设第t帧检测到m个目标，表示为
Figure FDA0002220344900000021
第t+1帧检测到n个目标
Figure FDA0002220344900000022
首先计算第t+1帧中每一个目标与第t帧各个目标的距离cost[m×n]，第二步，找出目标
Figure FDA0002220344900000023
对应的最小距离costmin，如果costmin小于设定的阈值，则认为目标连续出现，并累计目标出现次数，如果costmin大于设定的阈值，则认为目标消失，并累计目标消失次数，接下来处理第t+1帧中的后续目标随后以此方法将后续帧中的目标继续与第t帧中的目标作比较，如果目标在第t帧后的帧中连续出现5次以上，认为是真实的目标，如果目标连续小于5次以上，则认为该目标已经消失，最后实现运动目标的稳定跟踪。
CN201910947516.XA 2019-09-29 2019-09-29 一种适用于光电吊舱的实时视频图像运动目标检测与稳定跟踪方法 Active CN110660085B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910947516.XA CN110660085B (zh) 2019-09-29 2019-09-29 一种适用于光电吊舱的实时视频图像运动目标检测与稳定跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910947516.XA CN110660085B (zh) 2019-09-29 2019-09-29 一种适用于光电吊舱的实时视频图像运动目标检测与稳定跟踪方法

Publications (2)

Publication Number Publication Date
CN110660085A true CN110660085A (zh) 2020-01-07
CN110660085B CN110660085B (zh) 2023-03-28

Family

ID=69038527

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910947516.XA Active CN110660085B (zh) 2019-09-29 2019-09-29 一种适用于光电吊舱的实时视频图像运动目标检测与稳定跟踪方法

Country Status (1)

Country Link
CN (1) CN110660085B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113156996A (zh) * 2021-04-28 2021-07-23 北京理工大学 一种目标跟踪的吊舱控制自适应增益方法
CN113192057A (zh) * 2021-05-21 2021-07-30 上海西井信息科技有限公司 目标检测方法、系统、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020051411A1 (en) * 2000-10-31 2002-05-02 Makoto Asakura Track-following method in optical disc apparatus and optical disc apparatus adopting this method
CN104200492A (zh) * 2014-08-25 2014-12-10 西北工业大学 基于轨迹约束的航拍视频目标自动检测跟踪方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020051411A1 (en) * 2000-10-31 2002-05-02 Makoto Asakura Track-following method in optical disc apparatus and optical disc apparatus adopting this method
CN104200492A (zh) * 2014-08-25 2014-12-10 西北工业大学 基于轨迹约束的航拍视频目标自动检测跟踪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
孙状等: "高清视频车辆检测及跟踪系统的设计与实现", 《中国农业大学学报》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113156996A (zh) * 2021-04-28 2021-07-23 北京理工大学 一种目标跟踪的吊舱控制自适应增益方法
CN113192057A (zh) * 2021-05-21 2021-07-30 上海西井信息科技有限公司 目标检测方法、系统、设备及存储介质

Also Published As

Publication number Publication date
CN110660085B (zh) 2023-03-28

Similar Documents

Publication Publication Date Title
US10769480B2 (en) Object detection method and system
US20210248378A1 (en) Spatiotemporal action detection method
CN109389086B (zh) 检测无人机影像目标的方法和系统
CN106683121A (zh) 一种融合检测过程的鲁棒目标追踪方法
CN106875419B (zh) 基于ncc匹配帧差的弱小动目标跟踪丢失重检方法
CN108022258B (zh) 基于单次多框检测器与卡尔曼滤波的实时多目标跟踪方法
CN102750527A (zh) 一种银行场景中长期稳定的人脸检测与跟踪方法及装置
CN110660085B (zh) 一种适用于光电吊舱的实时视频图像运动目标检测与稳定跟踪方法
US20150317514A1 (en) Image processing apparatus and method of processing image
CN110599522A (zh) 一种视频序列中动态目标检测剔除方法
CN110555377B (zh) 一种基于鱼眼相机俯视拍摄的行人检测与跟踪方法
CN108596946A (zh) 一种运动目标实时检测方法及系统
CN108765455A (zh) 一种基于tld算法的目标稳定跟踪方法
CN108334885A (zh) 一种视频卫星图像空间目标检测方法
CN106960445A (zh) 一种基于金字塔光流的云运动矢量计算方法
CN114038193A (zh) 基于无人机和多目标追踪的智能交通流量数据统计方法及系统
CN106780567A (zh) 一种融合颜色和梯度直方图的免疫粒子滤波扩展目标跟踪方法
CN114612933B (zh) 单目社交距离检测追踪方法
CN113781523B (zh) 一种足球检测跟踪方法及装置、电子设备、存储介质
Arróspide et al. On-board robust vehicle detection and tracking using adaptive quality evaluation
CN107358621A (zh) 对象跟踪方法及装置
CN104408432B (zh) 一种基于直方图修正的红外图像目标检测方法
CN111369578B (zh) 云台异动智能跟踪方法及其系统
CN117315547A (zh) 一种解决动态物体大占比的视觉slam方法
CN110502968B (zh) 基于轨迹点时空一致性的红外弱小运动目标的检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant