CN112270657A - 一种基于天空背景的目标检测与跟踪算法 - Google Patents

一种基于天空背景的目标检测与跟踪算法 Download PDF

Info

Publication number
CN112270657A
CN112270657A CN202011214251.1A CN202011214251A CN112270657A CN 112270657 A CN112270657 A CN 112270657A CN 202011214251 A CN202011214251 A CN 202011214251A CN 112270657 A CN112270657 A CN 112270657A
Authority
CN
China
Prior art keywords
target
algorithm
follows
frame
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011214251.1A
Other languages
English (en)
Inventor
吴彦学
杨志天
任维
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Huanrong Photoelectric Technology Co ltd
Original Assignee
Chengdu Huanrong Photoelectric Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Huanrong Photoelectric Technology Co ltd filed Critical Chengdu Huanrong Photoelectric Technology Co ltd
Priority to CN202011214251.1A priority Critical patent/CN112270657A/zh
Publication of CN112270657A publication Critical patent/CN112270657A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种天空背景下的目标检测与跟踪算法：读取待跟踪视频序列信息，将每一帧图像转化为灰度图；利用视觉显著性模型计算每一帧的视觉显著性图；计算形态学梯度，获取目标的边缘轮廓信息；计算三个相邻帧之间的差分，并获得二值差分mask；对mask采用腐蚀+膨胀形态学操作去除噪点，计算连通域，获得目标的ROI(目标区域)或者若干局部ROI信息；合并距离相近的若干ROI，完成目标检测与跟踪。

Description

一种基于天空背景的目标检测与跟踪算法
技术领域
本发明属于计算机视觉领域，涉及一种具体应用场景下的目标检测与跟踪方法。
背景技术
在一般天空背景下，目标和背景的灰度值存在比较明显的差异，目标与相邻区域的对比度同样会存在明显差异，所以此时目标具有较为明显的颜色统计特征。本文采用图像的颜色全局对比来提取图像的视觉显著性图像。随后，由于帧间差分算法检测前景目标时，容易产生“空洞”和“鬼影”现象，所以采用三帧差分算法有效提取目标的二值mask。进一步地，在图像较为模糊的时候，发现使用差分获得的前景目标mask可能不完整，在计算连通域之后，需要合并相邻的ROI以获取完整目标。
发明内容
本发明公开了一种天空背景下的目标检测与跟踪方法，其特征在于：包含三个步骤，分别是mask生成步骤，连通域计算步骤，和连通域合并步骤；所述mask生成步骤主要利用到视觉显著性模型，形态学梯度和三帧差分；所述连通域计算步骤采用腐蚀+膨胀+连通结构计算算法；所述连通域合并步骤即合并距离比较接近的ROI成一个整体，距离较远的ROI则被认为是不同的目标。
优选的，读取待跟踪视频序列信息，将每一帧图像转化为灰度图；
优选的，mask生成采用视觉显著性模型，形态学梯度和三帧差分算法。
其中，视觉显著性模型公式如下：
Figure BDA0002759509330000021
其中I(x,y)表示点x,y处的像素值，f表示灰度直方图,fi表示灰度等级i的频数；C(·,·)表示距离度量：
C(a,b)＝|a-b|
形态学梯度是一种基于形状的图像处理操作，采用膨胀与腐蚀操作，
其中膨胀是将与物体接触的所有背景点合并到该物体中，是边界向外部扩张的过程；其数学表达式如下：
Figure BDA0002759509330000022
其中X为原始图像，Y为结构算子，E为掩膜；
腐蚀则是消除边界点，使边界向内部收缩的过程，其数学表达式如下：
Figure BDA0002759509330000023
计算形态学梯度的数学表达式如下：
Figure BDA0002759509330000024
三帧差分是在两帧差分算法的基础上进行了改进，算法将相邻三帧图像并为一组进行差分，能够准确检测到运动目标中的像素点。其数学公式描述如下：
Figure BDA0002759509330000025
Figure BDA0002759509330000026
Figure BDA0002759509330000027
其中:W(n+1,n)和W(n,n-1)表示相邻两帧图像的分割结果，Ai(x,y)表示第i帧图像的x坐标和y坐标，Diff(x,y)表示三帧差分算法的分割结果，Q为经验阈值。
优选的，所述连通域计算模块采用腐蚀+膨胀+BBDT-8邻域连通域计算算法，获得目标的ROI或若干局部ROI信息；
优选的，将距离相近的若干ROI看作是一个目标的局部区域，并将其合并成一个整体，完成目标检测与跟踪过程。其算法伪代码如下：
Figure BDA0002759509330000031
附图说明
图1是本发明所提方法的流程图；
图2是ROI合并算法的伪代码描述；
图3是第一个视频序列某一帧得到的显著性图；
图4是图3对应的三帧差分图；
图5是图3对应的检测结果；
图6是第2个视频序列某一帧得到的显著性图；
图7是图6对应的检测结果。
具体实施方式
具体实施方式如图1所示，首先读取视频序列的相邻三帧图像，并将这三帧图像转为灰度图；其次计算显著性图，形态学梯度，利用形态学梯度进行三帧差分，以获得二值前景mask；随后计算mask的连通域，获取目标的ROI或者局部ROI图；最后合并相邻的ROI，并将其看成是同一个目标。上述步骤循环进行，直到视频流读取完毕。
实验结果
图3所示为视频流中某一帧所获得的视觉显著性图。图4为三帧差分获得的mask。可以看到，由于mask中目标区域存在一些断裂，导致最终得到的ROI是同一个目标的多个部分(如图5浅色框所示)，本发明将这些ROI融合成一个整体(如图5深色框所示)。图6为另一组视频序列中的某一帧所获得的视觉显著性图，图7为对应的ROI。可以看到，显著性图可以基本获得目标的形状信息，但由于目标形状比较复杂，因此通过连通域计算会得到较多局部ROI(图7浅色框所示)，ROI合并得到的结果则如图7深色框所示。而且，注意到图像右下角有一个额外的目标，这个目标是忽然出现的，但很显然该目标和图7中的靶机并不属于同一个目标，因此合并的时候形成了两个单独的深色框。

Claims (5)

1.一种天空背景下的目标检测与跟踪方法，其特征在于：包含三个步骤，分别是mask生成步骤，连通域计算步骤，和连通域合并步骤；所述mask生成步骤主要利用到视觉显著性模型，形态学梯度和三帧差分；所述连通域计算步骤采用腐蚀+膨胀+连通结构计算算法；所述连通域合并步骤即合并距离比较接近的ROI成一个整体，距离较远的ROI则被认为是不同的目标。
2.如权利要求1所述的目标检测与跟踪方法，其特征在于，读取待跟踪视频序列信息，将每一帧图像转化为灰度图。
3.如权利要求1所述的目标检测与跟踪方法，其特征在于，mask生成采用视觉显著性模型，形态学梯度和三帧差分算法。其中，视觉显著性模型公式如下：
Figure FDA0002759509320000011
其中I(x,y)表示点x,y处的像素值，f表示灰度直方图,fi表示灰度等级i的频数；C(·,·)表示距离度量：
C(a,b)＝|a-b|
形态学梯度是一种基于形状的图像处理操作，采用膨胀与腐蚀操作，
其中膨胀是将与物体接触的所有背景点合并到该物体中，是边界向外部扩张的过程；其数学表达式如下：
Figure FDA0002759509320000012
其中X为原始图像，Y为结构算子，E为掩膜；
腐蚀则是消除边界点，使边界向内部收缩的过程，其数学表达式如下：
Figure FDA0002759509320000013
计算形态学梯度的数学表达式如下：
Figure FDA0002759509320000014
三帧差分是在两帧差分算法的基础上进行了改进，算法将相邻三帧图像并为一组进行差分，能够准确检测到运动目标中的像素点。其数学公式描述如下：
Figure FDA0002759509320000021
Figure FDA0002759509320000022
Figure FDA0002759509320000023
其中:W(n+1,n)和W(n,n-1)表示相邻两帧图像的分割结果，Ai(x,y)表示第i帧图像的x坐标和y坐标，Diff(x,y)表示三帧差分算法的分割结果，Q为经验阈值。
4.如权利要求1所述的目标检测与跟踪方法，其特征在于，所述连通域计算模块采用腐蚀+膨胀+BBDT-8邻域连通域计算算法，获得目标的ROI或若干局部ROI信息。
5.如权利要求1所述的目标检测与跟踪方法，其特征在于，将距离相近的若干ROI看作是一个目标的局部区域，并将其合并成一个整体，完成目标检测与跟踪过程。其算法伪代码如下：
Figure FDA0002759509320000031
CN202011214251.1A 2020-11-04 2020-11-04 一种基于天空背景的目标检测与跟踪算法 Pending CN112270657A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011214251.1A CN112270657A (zh) 2020-11-04 2020-11-04 一种基于天空背景的目标检测与跟踪算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011214251.1A CN112270657A (zh) 2020-11-04 2020-11-04 一种基于天空背景的目标检测与跟踪算法

Publications (1)

Publication Number Publication Date
CN112270657A true CN112270657A (zh) 2021-01-26

Family

ID=74345011

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011214251.1A Pending CN112270657A (zh) 2020-11-04 2020-11-04 一种基于天空背景的目标检测与跟踪算法

Country Status (1)

Country Link
CN (1) CN112270657A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101739686A (zh) * 2009-02-11 2010-06-16 北京智安邦科技有限公司 运动目标跟踪方法及其系统
CN103116896A (zh) * 2013-03-07 2013-05-22 中国科学院光电技术研究所 一种基于视觉显著性模型的自动检测跟踪方法
US20160210528A1 (en) * 2014-02-24 2016-07-21 Beijing University Of Technology Method for detecting visual saliencies of video image based on spatial and temporal features
CN109472294A (zh) * 2018-10-15 2019-03-15 广州地理研究所 一种城市水体的识别方法、装置、储存介质及设备
CN111325773A (zh) * 2018-12-17 2020-06-23 北京京东尚科信息技术有限公司 运动目标的检测方法、装置、设备及可读存储介质
WO2020133170A1 (zh) * 2018-12-28 2020-07-02 深圳市大疆创新科技有限公司 图像处理方法和装置
CN111369570A (zh) * 2020-02-24 2020-07-03 成都空御科技有限公司 一种视频图像的多目标检测跟踪方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101739686A (zh) * 2009-02-11 2010-06-16 北京智安邦科技有限公司 运动目标跟踪方法及其系统
CN103116896A (zh) * 2013-03-07 2013-05-22 中国科学院光电技术研究所 一种基于视觉显著性模型的自动检测跟踪方法
US20160210528A1 (en) * 2014-02-24 2016-07-21 Beijing University Of Technology Method for detecting visual saliencies of video image based on spatial and temporal features
CN109472294A (zh) * 2018-10-15 2019-03-15 广州地理研究所 一种城市水体的识别方法、装置、储存介质及设备
CN111325773A (zh) * 2018-12-17 2020-06-23 北京京东尚科信息技术有限公司 运动目标的检测方法、装置、设备及可读存储介质
WO2020133170A1 (zh) * 2018-12-28 2020-07-02 深圳市大疆创新科技有限公司 图像处理方法和装置
CN111369570A (zh) * 2020-02-24 2020-07-03 成都空御科技有限公司 一种视频图像的多目标检测跟踪方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
吴言枫: "复杂动背景下的"低小慢"目标检测技术", 中国光学, vol. 12, no. 4, pages 1 - 4 *
张鹏;李思岑;杨燕翔;: "融合边缘检测的三帧差分运动目标检测", 微型机与应用, no. 23 *
杨爽;徐宏宇;唐泽坤;: "基于视觉显著性和区域生长的红外目标提取方法", 沈阳航空航天大学学报, no. 04 *

Similar Documents

Publication Publication Date Title
JP5521164B2 (ja) 連続して存在する英数字を識別するための画像処理システムおよびその方法
CN106683119B (zh) 基于航拍视频图像的运动车辆检测方法
US9542735B2 (en) Method and device to compose an image by eliminating one or more moving objects
CN109934224B (zh) 基于马尔科夫随机场和视觉对比机制的小目标检测方法
Kaur et al. An efficient approach for number plate extraction from vehicles image under image processing
CN111738211B (zh) 基于动态背景补偿与深度学习的ptz摄像机运动目标检测与识别方法
Ahmed et al. On-road automobile license plate recognition using co-occurrence matrix
CN111028263A (zh) 一种基于光流颜色聚类的运动物体分割方法及其系统
CN108335268B (zh) 一种基于盲解卷积的彩色图像去模糊的方法
CN113542868A (zh) 视频关键帧选取方法、装置、电子设备、存储介质
CN106951831B (zh) 一种基于深度摄像机的行人检测跟踪方法
Davix et al. License plate localization by sobel vertical edge detection method
CN112270657A (zh) 一种基于天空背景的目标检测与跟踪算法
Kaur et al. An Efficient Method of Number Plate Extraction from Indian Vehicles Image
CN110264417B (zh) 基于分层模型的局部运动模糊区域自动检测提取方法
Bouaich et al. Vehicle detection using road lines
CN113313707A (zh) 原始图像处理方法、装置、设备及可读存储介质
Chen et al. Robust video content alignment and compensation for clear vision through the rain
Xiang et al. A modified joint trilateral filter based depth map refinement method
Islam et al. An efficient mask generation method for moving object detection in atmospheric imaging
Kalsotra et al. Threshold-based moving object extraction in video streams
Dong Comparison of Edge Detection Techniques and Mathematical Morphology in Car Plate Detection Application
CN112785508B (zh) 一种电子文档图片去噪的方法和装置
CN112258548B (zh) 基于改进ViBe算法的运动目标提取方法
Finger et al. Video Matting from Depth Maps

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination