CN112801032B - 一种用于运动目标检测的动态背景匹配方法 - Google Patents

一种用于运动目标检测的动态背景匹配方法 Download PDF

Info

Publication number
CN112801032B
CN112801032B CN202110197500.9A CN202110197500A CN112801032B CN 112801032 B CN112801032 B CN 112801032B CN 202110197500 A CN202110197500 A CN 202110197500A CN 112801032 B CN112801032 B CN 112801032B
Authority
CN
China
Prior art keywords
matching
image
background
frame
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110197500.9A
Other languages
English (en)
Other versions
CN112801032A (zh
Inventor
胡荣春
马娟
郑克龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest University of Science and Technology
Original Assignee
Southwest University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest University of Science and Technology filed Critical Southwest University of Science and Technology
Priority to CN202110197500.9A priority Critical patent/CN112801032B/zh
Publication of CN112801032A publication Critical patent/CN112801032A/zh
Application granted granted Critical
Publication of CN112801032B publication Critical patent/CN112801032B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/759—Region-based matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Computational Biology (AREA)

Abstract

本发明公开了一种用于运动目标检测的动态背景匹配方法，涉及图像处理技术领域，只采用图像四个角落的四个匹配块与一个随机匹配块进行背景匹配，进行图像的局部匹配即可实现背景的整体匹配。在硬件计算能力较为低下的场合，亦能够使用本申请提供的方法实现动态背景下的简单目标检测。本发明提供的一种用于运动目标检测的动态背景匹配方法，进行背景匹配后再用帧间差分方法检测运动目标，能在摄像机发生大幅晃动、转动、俯仰的情况下成功快速检测到目标。利用简单的局部区域块进行匹配，保持较高背景匹配准确度，精简背景建模算法。

Description

一种用于运动目标检测的动态背景匹配方法
技术领域
本发明涉及图像处理技术领域，特别涉及一种用于运动目标检测的动态背景匹配方法。
背景技术
随着摄像机等硬件成本的降低和制造工艺的改进，以视频摄像头为基础的各项应用得到的了广泛的发展。这些应用中大部分都涉及到对目标的检测、跟踪和识别等需求。
对于大部分视频图像而言，可以将图像中的内容粗略分为背景和前景两大部分。背景是指在图像中占据大部分画面，离摄像头距离较远，处于静止或逐步变化的图像。背景图像中各个物体之间的相对位置关系一般固定不变。前景是指离摄像头距离较近，与背景图像之间有明显相对运动和变化的目标物体。前景目标与背景图像之间没有相对位置约束。
为了检测出前景目标，有多种方法从不同角度来求解该问题。其中大多数方法都需要先对背景进行建模，得到稳定的背景图像，然后使用背景差分或帧间差分方法求得前景目标。当摄像头与拍摄背景保持相对静止时，获得的背景图像也是静止稳定的，可以容易的使用背景差分或帧间差分检测目标。而当摄像头与背景之间发生相对运动时，比如平移、转动或俯仰等，摄像头所拍摄到的背景图像也将发生连续的平移或相应的视场形变。此时，就需要背景建模或匹配算法来得到稳定的背景图像，才能为后续的前景目标检测打下基础。
现有的动态背景建模和匹配算法大多都比较复杂，如应用广泛的混合高斯背景建模，需要对图像进行大量的计算，效率较低，在一些对实时性要求非常高的场合不够理想。而传统的背景匹配方法一般需要进行角点的提取，然后再对两帧图像上的角点进行匹配，并筛选掉不合理的匹配点。这种方法步骤繁琐，比较耗时，难以满足实时性要求。
针对现有技术存在的问题，本申请提供了一种用于运动目标检测的动态背景匹配方法，用于消除背景抖动，利用简单的局部区域块进行匹配，保持较高背景匹配准确度，精简背景建模算法。
发明内容
本发明的目的在于提供一种用于运动目标检测的动态背景匹配方法，用于消除背景抖动，利用简单的局部区域块进行匹配，保持较高背景匹配准确度，精简背景建模算法。
本发明提供了一种用于运动目标检测的动态背景匹配方法，包括以下步骤：
步骤S1：拍摄获取图像，对图像进行边缘检测，去除掉存在移出视场隐患的最外圈图像；
步骤S2：从图像的四个顶角向中间搜索到的第1个边缘点，作为块匹配模板的基点，以该边缘点坐标为基点，在原图像中向外扩展形成一个边长为L的矩阵区域，即作为匹配块；选取图像的4+1个图像区域作为匹配块，其中4个区域匹配块靠近图像的四个角落，1个区域匹配块为随机选择位置；
步骤S3：匹配时对相邻n帧的两幅图像所选取的5个匹配块进行整体平移匹配，匹配准则采用绝对误差和算法，计算公式如下：
Figure BDA0002947597590000021
Figure BDA0002947597590000022
其中，S和T分别表示待匹配的相邻n帧的两幅图像，Area表示匹配区域块内的坐标点范围，D(i，j)表示图像中第i行第j列的点的相似性测度，imatch和jmatch分别表示最匹配点的坐标；
步骤S4：采用图像差分方法对图像进行目标检测，对图像进行帧内和帧间的滤波操作，得到匹配结果。
进一步地，所述步骤S4中提到的图像差分方法包括帧间差分及多帧差分相乘方法。
进一步地，所述步骤S4中目标检测的步骤为：
选取图像的当前帧、前一帧和前两帧图像；
将前一帧的背景匹配到当前帧，进行帧间差分；
将前两帧的背景匹配到前一帧，进行帧间差分；
将两次帧间差分结果相乘；
进行线性滤波、形态学腐蚀膨胀、尺寸滤波，分离出目标。
与现有技术相比，本发明具有如下显著优点：
本发明提出的一种用于运动目标检测的动态背景匹配方法，只采用图像四个角落的四个匹配块与一个随机匹配块进行背景匹配，进行图像的局部匹配即可实现背景的整体匹配。在硬件计算能力较为低下的场合，亦能够使用本申请提供的方法实现动态背景下的简单目标检测。本发明提供的一种用于运动目标检测的动态背景匹配方法，进行背景匹配后再用帧间差分方法检测运动目标，能在摄像机发生大幅晃动、转动、俯仰的情况下成功快速检测到目标。利用简单的局部区域块进行匹配，保持较高背景匹配准确度，精简背景建模算法。
附图说明
图1为本发明实施例提供的背景匹配算法流程示意图；
图2为本发明实施例提供的基于背景匹配的目标检测算法示意图；
图3为本发明实施例提供的匹配块位置选取示意图；
图4为本发明实施例提供的基点位置选取示意图；
图5为本发明实施例提供的使用5个匹配区域块进行匹配的效果示意图。
具体实施方式
下面结合本发明中的附图，对本发明实施例的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。
在视频监控、体育转播等应用场景中，需要在变化的背景中检测到与背景发生相对运动的前景目标。在此过程中，最关键的一个步骤就是对变化的背景进行匹配和建模。只有对背景进行准确的匹配才能得到理想的背景模型，并准确检测到前景目标，背景匹配和建模直接影响到目标检测的性能。本发明就是在运动背景场景下为了检测前景目标而提出的一种快速背景匹配方法。
很多情况下都会造成拍摄到图片的背景出现抖动、位移、形变等等变化，在进行前景目标检测前需要进行背景抖动消除，即背景匹配。本发明提供的方法无需检测提取图像中的角点，也不是整幅图像进行位移匹配，而只需提取4+1个图像区域作为匹配块，这样既降低了计算量，提高了匹配效率，又能保证一定的匹配准确率。
参照图1-5，本发明提供了一种用于运动目标检测的动态背景匹配方法，包括以下步骤：
步骤S1：拍摄获取图像，对图像进行边缘检测，去除掉存在移出视场隐患的最外圈图像；
步骤S2：从图像的四个顶角向中间搜索到的第1个边缘点，作为块匹配模板的基点，以该边缘点坐标为基点，在原图像中向外扩展形成一个边长为L的矩阵区域，即作为匹配块；选取图像的4+1个图像区域作为匹配块，其中4个区域匹配块靠近图像的四个角落，1个区域匹配块为随机选择位置；
步骤S3：匹配时对相邻n帧的两幅图像所选取的5个匹配块进行整体平移匹配，匹配准则采用绝对误差和算法，计算公式如下：
Figure BDA0002947597590000041
Figure BDA0002947597590000051
其中，S和T分别表示待匹配的相邻n帧的两幅图像，Area表示匹配区域块内的坐标点范围，D(i，j)表示图像中第i行第j列的点的相似性测度，imatch和jmatch分别表示最匹配点的坐标；
步骤S4：采用图像差分方法对图像进行目标检测，对图像进行帧内和帧间的滤波操作，得到匹配结果。
实施例1
只需要对五个匹配区域块进行一次整体平移的遍历运算，就能找到最佳匹配偏移量。图5(a)和(b)分别为间隔3帧的两幅图像，图5(c)为使用5个匹配区域块进行平移匹配计算后经过平移后使得背景叠加在同一位置的示意图。
本方法采用4+1个图像区域作为匹配块，其中4个区域匹配块靠近图像的四个角落，1个区域匹配块为随机选择位置。为了保证所选取的匹配块中含有一定的纹理信息，避免直接选取像素块的位置可能选取到大面积相同的像素，从而造成背景匹配的不准确，先对处理的每一帧图像进行边缘检测，去除掉有可能移出视场的最外圈图像，从四个角向中间搜索到的第1个边缘点，作为块匹配模板的基点，如图3所示。以该边缘点坐标为基点，在原图像中向外扩展形成一个边长为L的矩阵区域，即作为匹配块。
在选定靠近四角的匹配块以后，再随机从画面中任意选择一个边缘点作为随机匹配块的基点，如图4中的粗框中的边缘点所示。以该边缘点为中心，在对应的原图上向外扩展为边长为L的匹配块。本发明提供的方法只采用图像四个角落的四个匹配块与1个随机匹配块，只需要进行图像的局部匹配即可实现背景的整体匹配。
实施例2
所述步骤S2中提到的图像差分方法包括帧间差分及多帧差分相乘方法。
所述步骤S2中目标检测的步骤为：
选取图像的当前帧、前一帧和前两帧图像；
将前一帧的背景匹配到当前帧，进行帧间差分；
将前两帧的背景匹配到前一帧，进行帧间差分；
将两次帧间差分结果相乘；
进行线性滤波、形态学腐蚀膨胀、尺寸滤波，分离出目标。
以上公开的仅为本发明的几个具体实施例，但是，本发明实施例并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。

Claims (3)

1.一种用于运动目标检测的动态背景匹配方法，其特征在于，包括以下步骤：
步骤S1：拍摄获取图像，对图像进行边缘检测，去除掉存在移出视场隐患的最外圈图像；
步骤S2：从图像的四个顶角向中间搜索到的第1个边缘点，作为块匹配模板的基点，以该边缘点坐标为基点，在原图像中向外扩展形成一个边长为L的矩阵区域，即作为匹配块；选取图像的4+1个图像区域作为匹配块，其中4个区域匹配块靠近图像的四个角落，1个区域匹配块为随机选择位置；
步骤S3：匹配时对相邻n帧的两幅图像所选取的5个匹配块进行整体平移匹配，匹配准则采用绝对误差和算法，计算公式如下：
Figure FDA0002947597580000011
Figure FDA0002947597580000012
其中，S和T分别表示待匹配的相邻n帧的两幅图像，Area表示匹配区域块内的坐标点范围，D(i，j)表示图像中第i行第j列的点的相似性测度，imatch和jmatch分别表示最匹配点的坐标；
步骤S4：采用图像差分方法对图像进行目标检测，对图像进行帧内和帧间的滤波操作，得到匹配结果。
2.如权利要求1所述的一种用于运动目标检测的动态背景匹配方法，其特征在于，所述步骤S4中提到的图像差分方法包括帧间差分及多帧差分相乘方法。
3.如权利要求2所述的一种用于运动目标检测的动态背景匹配方法，其特征在于，所述步骤S4中目标检测的步骤为：
选取图像的当前帧、前一帧和前两帧图像；
将前一帧的背景匹配到当前帧，进行帧间差分；
将前两帧的背景匹配到前一帧，进行帧间差分；
将两次帧间差分结果相乘；
进行线性滤波、形态学腐蚀膨胀、尺寸滤波，分离出目标。
CN202110197500.9A 2021-02-22 2021-02-22 一种用于运动目标检测的动态背景匹配方法 Active CN112801032B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110197500.9A CN112801032B (zh) 2021-02-22 2021-02-22 一种用于运动目标检测的动态背景匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110197500.9A CN112801032B (zh) 2021-02-22 2021-02-22 一种用于运动目标检测的动态背景匹配方法

Publications (2)

Publication Number Publication Date
CN112801032A CN112801032A (zh) 2021-05-14
CN112801032B true CN112801032B (zh) 2022-01-28

Family

ID=75815322

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110197500.9A Active CN112801032B (zh) 2021-02-22 2021-02-22 一种用于运动目标检测的动态背景匹配方法

Country Status (1)

Country Link
CN (1) CN112801032B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103139568A (zh) * 2013-02-05 2013-06-05 上海交通大学 基于稀疏度和保真度约束的视频稳像方法
CN103353939A (zh) * 2013-06-19 2013-10-16 电子科技大学 动态背景下图像特征对象模版提取及识别方法
CN106157301A (zh) * 2016-06-23 2016-11-23 凌云光技术集团有限责任公司 一种用于图像边缘检测的阈值自确定方法及装置
CN106650542A (zh) * 2016-12-29 2017-05-10 浙江理工大学 多功能手持式物体扫描仪
CN111598919A (zh) * 2020-04-22 2020-08-28 Oppo广东移动通信有限公司 运动估计方法、运动估计装置、存储介质与电子设备
CN111738211A (zh) * 2020-07-17 2020-10-02 浙江大学 基于动态背景补偿与深度学习的ptz摄像机运动目标检测与识别方法
CN112203095A (zh) * 2020-12-04 2021-01-08 腾讯科技（深圳）有限公司 视频运动估计方法、装置、设备及计算机可读存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10489932B2 (en) * 2017-11-27 2019-11-26 Huntercraft Limited Intelligent shooting training management system
JP6791200B2 (ja) * 2018-05-11 2020-11-25 トヨタ自動車株式会社 捜索支援システム、捜索支援装置、及び、捜索支援方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103139568A (zh) * 2013-02-05 2013-06-05 上海交通大学 基于稀疏度和保真度约束的视频稳像方法
CN103353939A (zh) * 2013-06-19 2013-10-16 电子科技大学 动态背景下图像特征对象模版提取及识别方法
CN106157301A (zh) * 2016-06-23 2016-11-23 凌云光技术集团有限责任公司 一种用于图像边缘检测的阈值自确定方法及装置
CN106650542A (zh) * 2016-12-29 2017-05-10 浙江理工大学 多功能手持式物体扫描仪
CN111598919A (zh) * 2020-04-22 2020-08-28 Oppo广东移动通信有限公司 运动估计方法、运动估计装置、存储介质与电子设备
CN111738211A (zh) * 2020-07-17 2020-10-02 浙江大学 基于动态背景补偿与深度学习的ptz摄像机运动目标检测与识别方法
CN112203095A (zh) * 2020-12-04 2021-01-08 腾讯科技（深圳）有限公司 视频运动估计方法、装置、设备及计算机可读存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
"Vision-Based Detection and Tracking of a Moving Target for a Smart Car";Guo Yuqing等;《2018 IEEE 3rd International Conference on Image, Vision and Computing (ICIVC)》;20181018;第586-591页 *
"一种用于突发性事件视频监控的快速人群个体检测算法";马娟等;《2014 26th Chinese Control and Decision Conference (CCDC)》;20140531;第1500-1504页 *
"动态特征块匹配的背景更新在运动检测的应用";李艳荻等;《仪器仪表学报》;20170228;第38卷(第2期);第445-453页 *
"动态背景下运动目标的检测与跟踪";张苑欣;《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》;20170315;第I138-4762页 *

Also Published As

Publication number Publication date
CN112801032A (zh) 2021-05-14

Similar Documents

Publication Publication Date Title
CN107481270B (zh) 乒乓球目标跟踪和轨迹预测方法、装置、存储介质和计算机设备
CN108257146B (zh) 运动轨迹显示方法及装置
Xu et al. Fast feature-based video stabilization without accumulative global motion estimation
US20070030396A1 (en) Method and apparatus for generating a panorama from a sequence of video frames
US11398053B2 (en) Multispectral camera external parameter self-calibration algorithm based on edge features
CN111723801B (zh) 鱼眼相机图片中目标检测矫正的方法与系统
CN108345821B (zh) 面部追踪方法及设备
CN110415269B (zh) 一种动静态背景下的目标跟踪算法
CN110248048A (zh) 一种视频抖动的检测方法及装置
Suhr et al. Background compensation for pan-tilt-zoom cameras using 1-D feature matching and outlier rejection
WO2021057455A1 (zh) 用于红外图像序列的背景运动估计方法、装置及存储介质
CN112215925A (zh) 自适应采煤机随动跟踪多摄像头视频拼接方法
WO2018121841A1 (en) Method and system for identifying targets in scenes shot by a camera
CN109785357B (zh) 一种适用于战场环境的机器人智能化全景光电侦察的方法
Pan et al. A new moving objects detection method based on improved SURF algorithm
CN112801032B (zh) 一种用于运动目标检测的动态背景匹配方法
Subramanyam Automatic image mosaic system using steerable Harris corner detector
CN111145216A (zh) 一种视频图像目标的跟踪方法
Li et al. Panorama video stitching system based on VR Works 360 video
CN110910418B (zh) 基于旋转不变性图像特征描述子的目标跟踪算法
Jagadeeswari et al. A comparative study based on video stitching methods
CN113870307A (zh) 一种基于帧间信息的目标检测方法及装置
Clark et al. Perspective correction for improved visual registration using natural features.
Zhou et al. Speeded-up robust features based moving object detection on shaky video
Hu et al. Digital video stabilization based on multilayer gray projection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant