CN109166137A - 针对抖动视频序列中运动目标检测算法 - Google Patents

针对抖动视频序列中运动目标检测算法 Download PDF

Info

Publication number
CN109166137A
CN109166137A CN201810867457.0A CN201810867457A CN109166137A CN 109166137 A CN109166137 A CN 109166137A CN 201810867457 A CN201810867457 A CN 201810867457A CN 109166137 A CN109166137 A CN 109166137A
Authority
CN
China
Prior art keywords
background
frame
difference
algorithm
picture frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810867457.0A
Other languages
English (en)
Inventor
薛阳
王琳
张亚飞
王舒
张宁
俞志诚
吴海东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai University of Electric Power
University of Shanghai for Science and Technology
Original Assignee
Shanghai University of Electric Power
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai University of Electric Power filed Critical Shanghai University of Electric Power
Priority to CN201810867457.0A priority Critical patent/CN109166137A/zh
Publication of CN109166137A publication Critical patent/CN109166137A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种针对抖动视频序列运动中目标检测算法，先将图像帧四周各去除部分边缘，再对图像帧进行分块后，依据分块灰度投影算法进行视频序列的校正，进而结合背景差分与帧间差分法融合策略增强运动目标区域，最后使用自适应阈值分割法检测出前景目标。使用分块灰度处理方式进行运动矢量估计，通过离散化的决策机制有效剔除灰度变化低与存在局部运动区域，提高全局偏移量估计精度；对于校正后序列通过使用背景差分与连续帧间差分法融合策略，减弱差分过程中受环境与光照变化影响、更全面提取运动目标；本算法在视频序列抖动场景综合检测性能评价较高，运算量较小对硬件需求低有实际应用价值。

Description

针对抖动视频序列中运动目标检测算法
技术领域
本发明涉及一种机器视觉、图像处理技术，特别涉及一种针对抖动视频序列运动中目标检测算法。
背景技术
运动目标检测一直是机器视觉的研究基础，是智能视频监控、人体检测、手势识别、运动目标跟踪等应用的基本处理步骤。运动目标检测方法可分为背景差分法、帧间差分法与背景参考模型利用当前帧与背景帧进行差分获取目标。然而在自然环境中由于摄像机受地面震动、自然风等影响，所采集的视频信号会出现抖动现象，视频序列发生全局运动，大量背景区域易被误检为前景目标，使得检测准确度降低无法获取正确目标。
为解决该问题有研究尝试模拟动态场景，例如混合高斯模型(MOG)，使用高斯概率密度函数混合，根据图像帧中各像素点颜色强度不同对动态背景元素构建模型，该方法对于荡漾的水波或移动树木有良好效果，但易受亮度变化或重复运动影响、且计算复杂制约其应用范围；视觉背景提取(ViBe)算法是另一主要建模方式，算法为各像素点建立样本集，通过将新像素点值与样本集中的值进行匹配判断是否属于背景点，计算速度快占用资源少、有较好检测效果，但在背景变化频繁、阴影较多的恶劣环境中仍存在不足；基于像素自适应分割(PBAS)算法结合样本一致性背景建模算法与ViBe算法的优势，引入控制论思想与背景复杂程度度量方法，使前景判断阈值和背景模型的更新率跟随背景复杂程度进行自适应变化，该算法性能较优，但是计算量大处理速度慢；也有一些方法通过将机器学习引入运动目标检测，使用分类器训练后可准确捕获运动目标，但该方式仍属于研究阶段且硬件要求高，尚无成熟应用。
发明内容
本发明是针对运动目标检测在背景复杂情况下准确度低的问题，提出了一种针对抖动视频序列运动中目标检测算法，该算法可以准确检测出摄像机抖动场景中运动目标，保证较好检测效果的同时检测速度较快。
本发明的技术方案为：一种针对抖动视频序列中运动目标检测算法，先将图像帧四周各去除部分边缘，再对图像帧进行分块后，依据分块灰度投影算法进行视频序列的校正，进而结合背景差分与帧间差分法融合策略增强运动目标区域，最后使用自适应阈值分割法检测出前景目标。
所述针对抖动视频序列中运动目标检测算法，具体包括如下步骤：
1)在待检测的图像帧中选取无运动目标且清晰的图像帧作为背景帧；
2)分块灰度投影计算：输入待检测的图像帧，先将图像帧四周各去除部分边缘，避免抖动所引入边缘信息对投影计算产生的干扰，再将图像帧分成100*100像素大小的数个区域块；然后将当前帧块区域与背景帧相应区域作差，根据所得矩阵计算均方差σ判断离散程度，公式如下：
Xk(i，j)＝Gk(i，j)-Bk(i，j)，
式中Bk(i，j)为背景帧中第k个区域块在点(i，j)处的像素值；Gk(i，j)为当前帧第k个区域块在点(i，j)处像素值，Xk(i，j)为背景帧与当前帧在点(i，j)处差值；N与M分别为该块区域行与列数；μk为第k个区域块均值；σk为第k个区域块的均方差；计算得到所有块均方差，对所得均方差进行比较并判断大小，剔除均方差最大与最小对应的区域块，再使用剩余块区域进行灰度投影算法计算偏移矢量，完成图像校正；
2)三帧差分法与背景差分法融合：将校正后所得图像帧使用三帧差法与背景减法相融合，融合机制为取连续三帧图像，使用相邻帧作差后得Dk(x，y)，Dk-1(x，y)，再获取三帧差分结果Ik(x，y)：
使用当前帧Fk(x，y)与背景帧Br(x，y)相减，获取背景差分图像Ir(x，y)：
Ir(x，y)＝Fk(x，y)-Br(x，y)
对三帧差分结果Ik(x，y)与背景差分结果Ir(x，y)融合得Ikr(x，y)，融合公式为：
3)使用Otsu算法进行阈值分割，提取运动目标：根据三帧差分与背景差分所得融合图像使用Otsu算法进行背景分割，获取前景运动目标。
本发明的有益效果在于：本发明针对抖动视频序列运动中目标检测算法，使用分块灰度处理方式进行运动矢量估计，通过离散化的决策机制有效剔除灰度变化低与存在局部运动区域，提高全局偏移量估计精度；对于校正后序列通过使用背景差分与连续帧间差分法融合策略，减弱差分过程中受环境与光照变化影响、更全面提取运动目标；实验表明本算法在视频序列抖动场景综合检测性能评价较高，运算量较小对硬件需求低有实际应用价值。
附图说明
图1为本发明针对抖动视频序列运动目标检测算法的整体框架图；
图2为本发明算法与其他算法的效果对比图。
具体实施方式
针对抖动视频序列运动中目标检测算法通过将图像帧分块后，剔除易造成误差的块区域，依据分块灰度投影算法进行视频序列的校正，进而结合背景差分与帧间差分法融合策略增强运动目标区域，最后使用自适应阈值分割法检测出前景目标。
如图1所示针对抖动视频序列运动目标检测算法的整体框架图，包括以下步骤：
1、在待检测的图像帧中选取无运动目标且清晰的图像帧作为背景帧。
2、分块灰度投影计算：输入待检测的图像帧，首先将图像帧四周各去除部分边缘，避免抖动所引入边缘信息对投影计算产生较大干扰，再将图像帧分成大约为100*100像素大小的数个区域块，既能保证投影计算效果，又能减弱因为抖动存在一定旋转角度对投影计算产生得误差。然后将当前帧块区域与背景帧相应区域作差，根据所得矩阵计算均方差(σ)判断离散程度，公式如下：
Xk(i，j)＝Gk(i，j)-Bk(i，j)，
式中Bk(i，j)为背景帧中第k个区域块在点(i，j)处的像素值；Gk(i，j)为当前帧第k个区域块在点(i，j)处像素值，Xk(i，j)为背景帧与当前帧在点(i，j)处差值。N与M分别为该块区域行与列数；μk为第k个区域块均值；σk为第k个区域块的均方差。
例如将图像帧分成4个块区域，计算得到均方差为σ1、σ2、σ3、σ4，对所得均方差进行比较并判断大小，剔除均方差最大与最小对应的区域块，再使用剩余块区域进行灰度投影算法计算偏移矢量，完成图像校正。
3、三帧差分法与背景差分法融合，将校正后所得图像帧使用三帧差法与背景减法相融合，融合机制为取连续三帧图像，使用相邻帧作差后得Dk(x，y)，Dk-1(x，y)，再获取三帧差分结果Ik(x，y)：
使用当前帧Fk(x，y)与背景帧Br(x，y)相减，获取背景差分图像Ir(x，y)：
Ir(x，y)＝Fk(x，y)-Br(x，y)
对三帧差分结果Ik(x，y)与背景差分结果Ir(x，y)融合得Ikr(x，y)，融合公式为：
融合三帧差分与背景差分所得图像利用两种差分结果的累加只对运动目标区域增强，减弱环境与光照因素对于目标检测的影响同时提取目标更完整。
4、使用Otsu算法进行阈值分割，提取运动目标，根据三帧差分与背景差分所得融合图像使用Otsu算法进行背景分割，获取前景运动目标。
图2为本发明算法与其他算法的效果对比图，实验所用平台为Matlab2014a，采用计算机配置为Intel Core i5-4570CPU、8.00G RAM。算法主要针对摄像机抖动情况，使用Change detection数据集的camera jitter类视频序列进行测试。图中a为当前帧；b为真实值；c为MOG算法；d为ViBe算法；e为PBAS算法；f为本发明GDM算法。
根据图2结果可见MOG算法受抖动影响较大或动态背景下无法区分运动目标，易将背景误检为前景目标，当运动目标像素点分散时，该算法只能检测出部分轮廓，在序列sidewalk中由于运动目标较小且发生抖动时可能丢失运动目标；ViBe与PBAS算法都为非参数模型，对静态背景下抖动场景适应性较强，动态背景下检测性能需提高，由序列badminton可见ViBe算法检测易出现鬼影现象且受一定的抖动影响，但该算法计算量小检测速度最快；PBAS算法基于像素点自适应更新，受抖动影响最小同时运动目标检测效果较优最能接近真实情况，但该算法计算量最大对于硬件要求高。本发明算法受抖动干扰最小，所检测目标轮廓优于MOG算法，误检点较少，同时计算量远小于PBAS算法，综合效果最优。

Claims (2)

1.一种针对抖动视频序列中运动目标检测算法，其特征在于，先将图像帧四周各去除部分边缘，再对图像帧进行分块后，依据分块灰度投影算法进行视频序列的校正，进而结合背景差分与帧间差分法融合策略增强运动目标区域，最后使用自适应阈值分割法检测出前景目标。
2.根据权利要求1所述针对抖动视频序列中运动目标检测算法，其特征在于，具体包括如下步骤：
1)在待检测的图像帧中选取无运动目标且清晰的图像帧作为背景帧；
2)分块灰度投影计算：输入待检测的图像帧，先将图像帧四周各去除部分边缘，避免抖动所引入边缘信息对投影计算产生的干扰，再将图像帧分成100*100像素大小的数个区域块；然后将当前帧块区域与背景帧相应区域作差，根据所得矩阵计算均方差σ判断离散程度，公式如下：
Xk(i，j)＝Gk(i，j)-Bk(i，j)，
式中Bk(i，j)为背景帧中第k个区域块在点(i，j)处的像素值；Gk(i，j)为当前帧第k个区域块在点(i，j)处像素值，Xk(i，j)为背景帧与当前帧在点(i，j)处差值；N与M分别为该块区域行与列数；μk为第k个区域块均值；σk为第k个区域块的均方差；计算得到所有块均方差，对所得均方差进行比较并判断大小，剔除均方差最大与最小对应的区域块，再使用剩余块区域进行灰度投影算法计算偏移矢量，完成图像校正；
2)三帧差分法与背景差分法融合：将校正后所得图像帧使用三帧差法与背景减法相融合，融合机制为取连续三帧图像，使用相邻帧作差后得Dk(x，y)，Dk-1(x，y)，再获取三帧差分结果Ik(x，y)：
使用当前帧Fk(x，y)与背景帧Br(x，y)相减，获取背景差分图像Ir(x，y)：
Ir(x，y)＝Fk(x，y)-Br(x，y)
对三帧差分结果Ik(x，y)与背景差分结果Ir(x，y)融合得Ikr(x，y)，融合公式为：
3)使用Otsu算法进行阈值分割，提取运动目标：根据三帧差分与背景差分所得融合图像使用Otsu算法进行背景分割，获取前景运动目标。
CN201810867457.0A 2018-08-01 2018-08-01 针对抖动视频序列中运动目标检测算法 Pending CN109166137A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810867457.0A CN109166137A (zh) 2018-08-01 2018-08-01 针对抖动视频序列中运动目标检测算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810867457.0A CN109166137A (zh) 2018-08-01 2018-08-01 针对抖动视频序列中运动目标检测算法

Publications (1)

Publication Number Publication Date
CN109166137A true CN109166137A (zh) 2019-01-08

Family

ID=64898610

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810867457.0A Pending CN109166137A (zh) 2018-08-01 2018-08-01 针对抖动视频序列中运动目标检测算法

Country Status (1)

Country Link
CN (1) CN109166137A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110415268A (zh) * 2019-06-24 2019-11-05 台州宏达电力建设有限公司 一种基于背景差值法和帧间差值法相结合的运动区域前景图像算法
CN111028144A (zh) * 2019-12-09 2020-04-17 腾讯音乐娱乐科技（深圳）有限公司 视频换脸方法及装置、存储介质
CN111047595A (zh) * 2019-11-21 2020-04-21 深圳市若雅方舟科技有限公司 一种基于自适应阈值帧差法的实时海浪分割方法及装置
CN113011217A (zh) * 2019-12-19 2021-06-22 合肥君正科技有限公司 一种车内监控画面晃动状态的判断方法
CN113592756A (zh) * 2021-07-29 2021-11-02 华中科技大学鄂州工业技术研究院 一种消化道共聚焦图像拼接方法
CN115134521A (zh) * 2022-04-22 2022-09-30 咪咕视讯科技有限公司 视频拍摄防抖动方法、装置、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105261037A (zh) * 2015-10-08 2016-01-20 重庆理工大学 一种自适应复杂场景的运动目标检测方法
CN106846359A (zh) * 2017-01-17 2017-06-13 湖南优象科技有限公司 基于视频序列的运动目标快速检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105261037A (zh) * 2015-10-08 2016-01-20 重庆理工大学 一种自适应复杂场景的运动目标检测方法
CN106846359A (zh) * 2017-01-17 2017-06-13 湖南优象科技有限公司 基于视频序列的运动目标快速检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
薛阳 等: ""一种针对抖动视频序列运动目标检测算法"", 《激光与光电子学进展》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110415268A (zh) * 2019-06-24 2019-11-05 台州宏达电力建设有限公司 一种基于背景差值法和帧间差值法相结合的运动区域前景图像算法
CN111047595A (zh) * 2019-11-21 2020-04-21 深圳市若雅方舟科技有限公司 一种基于自适应阈值帧差法的实时海浪分割方法及装置
CN111028144A (zh) * 2019-12-09 2020-04-17 腾讯音乐娱乐科技（深圳）有限公司 视频换脸方法及装置、存储介质
CN111028144B (zh) * 2019-12-09 2023-06-20 腾讯音乐娱乐科技（深圳）有限公司 视频换脸方法及装置、存储介质
CN113011217A (zh) * 2019-12-19 2021-06-22 合肥君正科技有限公司 一种车内监控画面晃动状态的判断方法
CN113011217B (zh) * 2019-12-19 2024-04-30 合肥君正科技有限公司 一种车内监控画面晃动状态的判断方法
CN113592756A (zh) * 2021-07-29 2021-11-02 华中科技大学鄂州工业技术研究院 一种消化道共聚焦图像拼接方法
CN113592756B (zh) * 2021-07-29 2023-05-23 华中科技大学鄂州工业技术研究院 一种消化道共聚焦图像拼接方法
CN115134521A (zh) * 2022-04-22 2022-09-30 咪咕视讯科技有限公司 视频拍摄防抖动方法、装置、设备及存储介质
CN115134521B (zh) * 2022-04-22 2023-09-22 咪咕视讯科技有限公司 视频拍摄防抖动方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN109166137A (zh) 针对抖动视频序列中运动目标检测算法
CN104392468B (zh) 基于改进视觉背景提取的运动目标检测方法
CN102307274B (zh) 基于边缘检测和帧差法的运动检测方法
CN101739550B (zh) 运动目标检测方法及系统
CN107452015B (zh) 一种具有重检测机制的目标跟踪系统
CN101470809B (zh) 一种基于扩展混合高斯模型的运动目标检测方法
CN103258332B (zh) 一种抗光照变化的运动目标的检测方法
TWI649698B (zh) 物件偵測裝置、物件偵測方法及電腦可讀取媒體
CN106683121A (zh) 一种融合检测过程的鲁棒目标追踪方法
Wang et al. Fire smoke detection based on texture features and optical flow vector of contour
CN110298297A (zh) 火焰识别方法和装置
CN111260738A (zh) 基于相关滤波和自适应特征融合的多尺度目标跟踪方法
CN106780560B (zh) 一种基于特征融合粒子滤波的仿生机器鱼视觉跟踪方法
CN106204594A (zh) 一种基于视频图像的弥散性运动物体的方向检测方法
CN108629792A (zh) 基于背景建模与背景差分的激光目标检测方法和装置
Lian et al. A novel method on moving-objects detection based on background subtraction and three frames differencing
CN105740751A (zh) 一种目标检测与识别的方法和系统
CN106570888A (zh) 一种基于fast角点和金字塔klt的目标跟踪方法
CN102917220A (zh) 基于六边形搜索及三帧背景对齐的动背景视频对象提取
CN106570885A (zh) 基于亮度和纹理融合阈值的背景建模方法
CN113379789B (zh) 一种复杂环境下运动目标跟踪方法
Roy et al. A comprehensive survey on computer vision based approaches for moving object detection
CN103049748A (zh) 行为监测方法及装置
CN113409254B (zh) 一种针对模糊成像环境的印刷品缺陷检测方法
CN106650824B (zh) 基于支持向量机的运动目标分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190108

WD01 Invention patent application deemed withdrawn after publication