CN111862152A - 一种基于帧间差分与超像素分割的动目标检测方法 - Google Patents
一种基于帧间差分与超像素分割的动目标检测方法 Download PDFInfo
- Publication number
- CN111862152A CN111862152A CN202010614370.XA CN202010614370A CN111862152A CN 111862152 A CN111862152 A CN 111862152A CN 202010614370 A CN202010614370 A CN 202010614370A CN 111862152 A CN111862152 A CN 111862152A
- Authority
- CN
- China
- Prior art keywords
- image
- difference
- super
- block
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 51
- 230000011218 segmentation Effects 0.000 title claims abstract description 48
- 238000000034 method Methods 0.000 claims abstract description 28
- 238000001914 filtration Methods 0.000 claims abstract description 10
- 238000003708 edge detection Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000005192 partition Methods 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 abstract description 5
- 230000005540 biological transmission Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 9
- 230000000877 morphologic effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000005308 sum rule Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于帧间差分与超像素分割的动目标检测方法,在超像素分割之前对图像中值滤波和灰度化处理,可减少了彩色信息传输的影响,再通过超像素分割对其中一幅图像分割,然后对两帧图像对应的区域块差分处理,最后通过阈值处理,减少了细小区域的检测,提高了检测方法的准确率。本发明使用超像素分割算法避免了检测不完整的问题,减小了检测过程中的漏检率,因此本发明解决了现有技术中存在的运动目标检测不准确和不完整的问题。
Description
技术领域
本发明属于图像分割技术领域,涉及一种基于帧间差分与超像素分割的动目标检测方法
背景技术
运动目标的检测是计算机图像处理与图像理解领域里一个重要研究课题,在智能监控、交通控制、军事战场等领域应用越来越广泛。目前,运动目标检测方法主要有光流分析法、帧间差分法和背景差分法三种。针对机器视觉上的运动目标检测问题,帧间差分存在复杂的场景中提取运动的目标提取的结果不完整。当时间间隔较长,或物体移动的速度过快时,图像上出现“重影”现象;当时间间隔短并且运动目标表面有大面积灰度值相似区域的情况下,做差分图像会出现孔洞的现象,由于以上原因导致帧间差法提取目标只能是大概轮廓,还可能导致漏检和误检。
帧间差分法是是一种检测邻近帧变化量的一种方法,通过序列图相邻的两帧或三帧进行一定图像运算来检测目标。针对帧间差分在检测运动目标时产生的“重影”、目标检测不完整以及对目标检测过程中产生干扰造成运动目标误检的问题,因此在帧间差分的的基础上提出一种新的方法超像素分割。
发明内容
本发明的目的是提供一种基于帧间差分与超像素分割的动目标检测方法,解决了现有技术中存在的缺陷检测不准确的问题。
本发明所采用的技术方案是,一种基于帧间差分与超像素分割的动目标检测方法,具体步骤按照以下步骤实施:
步骤1,输入视频帧序列,取连续的两帧图像第n帧和第n-1帧作为动目标检测图像,将动目标检测图像灰度化处理,然后中值滤波,得到滤波后的图像fn-1和图像fn;
步骤2,采用LSC超像素分割对图像fn进行超像素分割,找出图像fn每个超像素块的信息;
步骤4,利用边缘检测中的canny算子检测Dn’(x,y),即目标区域。
本发明的特点还在于:
步骤1具体按照以下步骤实施:
步骤1.1对连续的两帧图像第n帧图像和第n-1帧图像灰度化处理,使用加权平均法,将彩色像的R、G、B三分量以不同的权重进行加权平均,公式如下:
Gray=0.114B(i,j)+0.587G(i,j)+0.299R(i,j) (1)
步骤1.2对灰度图像做中值滤波处理,得到滤波图像fn和fn-1。
步骤2具体按照以下步骤实施:
步骤2.1,对图像fn进行LSC超像素分割,超像素块数分为1000块;
步骤2.2,找出步骤2.1所得的每一块超像素块的位置信息以及超像素块像素点的个数;
步骤2.3,将步骤2.2所得的每个超像素块中的像素点的个数进行求和;公式如下:
其中fn(x,y)是LSC超像素分割法分割后的超像素块内的像素点。
步骤3具体按照以下步骤实施:
步骤3.1,将图像fn的每个超像素块分别点乘图像fn-1帧图像,得到图像fn-1的每个超像素块;
其中a是LSC超像素分割的区域块内总像素点的个数;
步骤3.3,对步骤3.2所得差分图像Dn(x,y)阈值化处理,最终对所有阈值后的差分图像求和;
步骤3.4,将步骤3.3得到的图像进行数学形态学开运算处理;即得到目标区域。
步骤4的主要步骤有:高斯模糊、计算梯度幅值和方向、非最大值抑制、双阀值、滞后边界跟踪。
步骤3.4具体运算方式为:
其中SE为开运算的结构元素,B为二值图像。
步骤3.3具体为:
步骤3.3.1,将图像fn与图像fn-1对应位置的区域块进行差分处理,阈值设置为100,当阈值小于100时,视区域块为背景,即对应的两个区域块中不存在运动目标;当区域块大于100时,视区域块为前景,即图像fn与图像fn-1的差异部分,具体操作如下:
其中h(x,y)是初始设置的变量,放置两帧图像的差异区域块;threshold是设置的阈值;
步骤3.3.2,对步骤3.3.1阈值后处理的区域块进行求和,公式如下:
其中b是LSC超像素分割的总区域块的个数。
本发明的有益效果是:
1、本发明在对帧间差法进行之前,将图像使用超像素分割,使得两帧图像在做帧差时是对应的区域块进行相减,避免了差分法中点对点相减。
2、本发明对每个区域块差分完成后进行阈值分割,一方面为了对每个图像块做前、背景区域判断;另一方面提取出连续两帧图像对应区域块的前景目标,进一步提高检测的准确性。
附图说明
图1是本发明一种基于帧间差分与超像素分割的动目标检测方法的流程图;
图2是本发明一种基于帧间差分与超像素分割的动目标检测方法实例一的模板图像1;
图3是本发明一种基于帧间差分与超像素分割的动目标检测方法实例一的模板图像2;
图4是本发明一种基于帧间差分与超像素分割的动目标检测方法实例一的模板图像1超像素分割图;
图5是本发明一种基于帧间差分与超像素分割的动目标检测方法实例一动目标区域的图;
图6是本发明一种基于帧间差分与超像素分割的动目标检测方法实例一动目标区域开运算图;
图7是本发明一种基于帧间差分与超像素分割的动目标检测方法实例一在原图标记的动目标区域图;
图8是本发明一种基于帧间差分与超像素分割的动目标检测方法实例二的模板图像1;
图9是本发明一种基于帧间差分与超像素分割的动目标检测方法实例二的模板图像2;
图10是本发明一种基于帧间差分与超像素分割的动目标检测方法实例二的模板图像1超像素分割图;
图11是本发明一种基于帧间差分与超像素分割的动目标检测方法实例二动目标区域的图;
图12是本发明一种基于帧间差分与超像素分割的动目标检测方法实例二动目标区域开运算图;
图13是本发明一种基于帧间差分与超像素分割的动目标检测方法实例二在原图标记的动目标区域图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
一种基于帧间差分与超像素分割的动目标检测方法,流程如图1所示,具体步骤按照以下步骤实施:
步骤1,输入视频帧序列,取连续的两帧图像第n帧和第n-1帧作为动目标检测图像,将动目标检测图像灰度化处理,然后中值滤波,得到滤波后的图像fn-1和图像fn;
步骤2,采用LSC超像素分割对图像fn进行超像素分割,找出图像fn每个超像素块的信息;
步骤4,利用边缘检测中的canny算子检测Dn’(x,y),即目标区域。
步骤1具体按照以下步骤实施:
步骤1.1对连续的两帧图像第n帧图像和第n-1帧图像灰度化处理,使用加权平均法,将彩色像的R、G、B三分量以不同的权重进行加权平均,公式如下:
Gray=0.114B(i,j)+0.587G(i,j)+0.299R(i,j) (1)
步骤1.2对灰度图像做中值滤波处理,得到滤波图像fn和fn-1。
步骤2具体按照以下步骤实施:
步骤2.1,对图像fn进行LSC超像素分割,超像素块数分为1000块;LSC超像素分割算法中有两个重要原则,即推论和法则;
当满足(2)式和(3)式的条件时,加权K-means和Ncuts算法的目标函数的优化方向一致,公式如下:
法则要求亲和度关系W(m,n)必须满足正值性条件。只有当满足这两个条件时,对十维特征空间的加权K-means聚类才等价于对原始图像进行Ncuts分割,并实现线性谱聚类;公式如下:
其中Fkm为加权K-means的目标函数;FNcuts为K-means划分Ncuts的目标函数;C为一个常量;W(m,n)为图像中任意两点的相似度;
步骤2.2,找出步骤2.1所得的每一块超像素块的位置信息以及超像素块像素点的个数;
步骤2.3,将步骤2.2所得的每个超像素块中的像素点的个数进行求和;公式如下:
其中fn(x,y)是LSC超像素分割法分割后的超像素块内的像素点。
步骤3具体按照以下步骤实施:
步骤3.1,将图像fn的每个超像素块分别点乘图像fn-1帧图像,得到图像fn-1的每个超像素块;
其中a是LSC超像素分割的区域块内总像素点的个数;
步骤3.3,对步骤3.2所得差分图像Dn(x,y)阈值化处理,最终对所有阈值后的差分图像求和;
步骤3.4,将步骤3.3得到的图像进行数学形态学开运算处理;即得到目标区域。
步骤4的主要步骤有:高斯模糊、计算梯度幅值和方向、非最大值抑制、双阀值、滞后边界跟踪。
6.如权利要求3所所述的一种基于帧间差分与超像素分割方法,其特征在于,步骤3.4具体运算方式为:
其中SE为开运算的结构元素,B为二值图像。
所述步骤3.3具体为:
步骤3.3.1,将图像fn与图像fn-1对应位置的区域块进行差分处理,阈值设置为100,当阈值小于100时,视区域块为背景,即对应的两个区域块中不存在运动目标;当区域块大于100时,视区域块为前景,即图像fn与图像f n-1的差异部分,具体操作如下:
其中h(x,y)是初始设置的变量,放置两帧图像的差异区域块;threshold是设置的阈值;
步骤3.3.2,对步骤3.3.1阈值后处理的区域块进行求和,公式如下:
其中b是LSC超像素分割的总区域块的个数。
以下为利用本发明一种基于帧间差分与超像素分割的动目标检测方法进行动目标检测的2个实施例,以下2个实施例中所用图像为使用图像采集平台采集的运动目标图像,其中实施例1中的输入图像为多目标图像,实施例1中的背景是基本不动的,但背景图像中有条绳子,在天气的影响下,比如有风的情况下,绳子会随着风晃动,因此在检测的过程中,将绳子检测为前景目标;实施例2中的输入图像为单目标图像,其中实施例2中的背景为静态背景。
实施例1
执行步骤1,输入连续的两帧图像如图1和图2,经过滤波、灰度化处理后,获得灰度图像A1和灰度图像A2;
执行步骤2,对灰度图像A1超像素分割,设置分割区域块为1000,分割结果图如图4,
执行步骤3,将图像A1的每个区域块二值化后分别与图像A2点乘,然后将其结果与图像A1的每个区域块差分处理和阈值分割后得到Dn(x,y),阈值threshold设置为100,并对差分结果块求和提取差异块,如图5所示,因为图5中部分前景目标没有提取完全,所以在经过形态学操作处理后,将动态的前景目标显示完整,如图6;
执行步骤4,针对步骤3中提取到连续两帧图像的前景目标利用边缘检测算法canny检测算子,将两帧图像有差异的部分标记出来,如图7。
实施例2
执行步骤1,输入连续的两帧图像如图8和图9,经过滤波、灰度化处理后,获得灰度图像A1和灰度图像A2;
执行步骤2,对灰度图像A1超像素分割,设置分割区域块为1000,分割结果图如图10,
执行步骤3,将图像A1的每个区域块二值化后分别与图像A2点乘,然后将其结果与图像A1的每个区域块差分处理和阈值分割后得到Dn(x,y),阈值threshold设置为80,并对差分结果块求和提取差异块,如图11所示,因为图5中部分前景目标没有提取完全,所以在经过形态学操作处理后,将动态的前景目标显示完全,如图12;
执行步骤4,针对步骤3中提取到连续两帧图像的前景目标利用边缘检测算法canny检测算子,将两帧图像有差异的部分标记出来,如图13。
本发明在帧间差分检测动目标的基础上,提出了一种基于超像素分割的检测方法,在超像素分割之前对图像中值滤波和灰度化处理,可减少了彩色信息传输的影响,再通过超像素分割对其中一幅图像分割,然后对每个块像素点求和,最后通过阈值处理处理,减少了细小区域的检测,提高了检测方法的准确率。
Claims (7)
2.如权利要求1所述的一种基于帧间差分与超像素分割的动目标检测方法,其特征在于,所述步骤1具体按照以下步骤实施:
步骤1.1对连续的两帧图像第n帧图像和第n-1帧图像灰度化处理,使用加权平均法,将彩色像的R、G、B三分量以不同的权重进行加权平均,公式如下:
Gray=0.114B(i,j)+0.587G(i,j)+0.299R(i,j) (1)
步骤1.2对灰度图像做中值滤波处理,得到滤波图像fn和fn-1。
5.如权利要求4所述的一种基于帧间差分与超像素分割方法,其特征在于,所述步骤4的主要步骤有:高斯模糊、计算梯度幅值和方向、非最大值抑制、双阀值、滞后边界跟踪。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010614370.XA CN111862152B (zh) | 2020-06-30 | 2020-06-30 | 一种基于帧间差分与超像素分割的动目标检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010614370.XA CN111862152B (zh) | 2020-06-30 | 2020-06-30 | 一种基于帧间差分与超像素分割的动目标检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111862152A true CN111862152A (zh) | 2020-10-30 |
CN111862152B CN111862152B (zh) | 2024-04-05 |
Family
ID=72988824
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010614370.XA Active CN111862152B (zh) | 2020-06-30 | 2020-06-30 | 一种基于帧间差分与超像素分割的动目标检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111862152B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112991381A (zh) * | 2021-03-15 | 2021-06-18 | 深圳市慧鲤科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103578119A (zh) * | 2013-10-31 | 2014-02-12 | 苏州大学 | 基于超像素的Codebook动态场景中目标检测方法 |
CN105741277A (zh) * | 2016-01-26 | 2016-07-06 | 大连理工大学 | 基于ViBe算法与SLIC超像素的背景差分法 |
US20180115763A1 (en) * | 2016-10-20 | 2018-04-26 | Altek Semiconductor Corp. | Optimization method of image depth information and image processing apparatus |
CN108229316A (zh) * | 2017-11-28 | 2018-06-29 | 浙江工业大学 | 一种基于超像素分割的车辆轮廓提取方法 |
US20180247126A1 (en) * | 2017-02-24 | 2018-08-30 | Beihang University | Method and system for detecting and segmenting primary video objects with neighborhood reversibility |
CN108537819A (zh) * | 2017-03-03 | 2018-09-14 | 防城港市港口区思达电子科技有限公司 | 超像素运动目标检测方法 |
-
2020
- 2020-06-30 CN CN202010614370.XA patent/CN111862152B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103578119A (zh) * | 2013-10-31 | 2014-02-12 | 苏州大学 | 基于超像素的Codebook动态场景中目标检测方法 |
CN105741277A (zh) * | 2016-01-26 | 2016-07-06 | 大连理工大学 | 基于ViBe算法与SLIC超像素的背景差分法 |
US20180115763A1 (en) * | 2016-10-20 | 2018-04-26 | Altek Semiconductor Corp. | Optimization method of image depth information and image processing apparatus |
US20180247126A1 (en) * | 2017-02-24 | 2018-08-30 | Beihang University | Method and system for detecting and segmenting primary video objects with neighborhood reversibility |
CN108537819A (zh) * | 2017-03-03 | 2018-09-14 | 防城港市港口区思达电子科技有限公司 | 超像素运动目标检测方法 |
CN108229316A (zh) * | 2017-11-28 | 2018-06-29 | 浙江工业大学 | 一种基于超像素分割的车辆轮廓提取方法 |
Non-Patent Citations (3)
Title |
---|
JIE FENG 等: "Superpixel Based Depth Propagation for Semi-Automatic 2D-to-3D Video Conversion", 《2012 THIRD INTERNATIONAL CONFERENCE ON NETWORKING AND DISTRIBUTED COMPUTING》, pages 157 - 160 * |
K.SUGANYA DEVI 等: "Improving the Efficiency of Background Subtraction using Super pixel Extraction and Midpoint for Centroid", 《INTERNATIONAL JOURNAL OF COMPUTER APPLICATIONS》, vol. 43, no. 10, pages 1 - 5 * |
宋涛;李鸥;刘广怡;: "基于空时多线索融合的超像素运动目标检测方法", 《电子与信息学报》, vol. 38, no. 06, pages 1503 - 1511 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112991381A (zh) * | 2021-03-15 | 2021-06-18 | 深圳市慧鲤科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111862152B (zh) | 2024-04-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2022099598A1 (zh) | 一种基于图像像素相对统计特征的视频动态目标检测的方法 | |
WO2021129569A1 (zh) | 一种人体动作识别方法 | |
WO2022027931A1 (zh) | 基于视频图像的运动车辆前景检测方法 | |
CN110782477A (zh) | 基于序列图像的运动目标快速检测方法、计算机视觉系统 | |
CN108389216B (zh) | 面向在线铁谱图像磨粒识别的局部自适应阈值分割方法 | |
CN109472788B (zh) | 一种飞机铆钉表面的伤痕检测方法 | |
CN110555868A (zh) | 一种复杂地面背景下运动小目标检测方法 | |
CN108022249A (zh) | 一种遥感视频卫星运动车辆目标感兴趣区域自动提取方法 | |
CN105513053A (zh) | 一种用于视频分析中背景建模方法 | |
CN113111878B (zh) | 一种复杂背景下的红外弱小目标检测方法 | |
CN109255799B (zh) | 一种基于空间自适应相关滤波器的目标跟踪方法及系统 | |
CN112364865A (zh) | 一种复杂场景中运动小目标的检测方法 | |
CN111028263B (zh) | 一种基于光流颜色聚类的运动物体分割方法及其系统 | |
CN113205494B (zh) | 基于自适应尺度图像块加权差测量的红外小目标检测方法和系统 | |
CN111161308A (zh) | 一种基于关键点匹配的双波段融合目标提取方法 | |
CN111862152B (zh) | 一种基于帧间差分与超像素分割的动目标检测方法 | |
CN108491796B (zh) | 一种时域周期点目标检测方法 | |
CN110415275B (zh) | 一种基于点对点的运动目标检测与跟踪方法 | |
CN111724319A (zh) | 视频监控系统中的图像处理方法 | |
Zhang et al. | Motion detection based on improved Sobel and ViBe algorithm | |
Xu et al. | Moving target tracking based on adaptive background subtraction and improved camshift algorithm | |
CN114820718A (zh) | 一种视觉动态定位跟踪算法 | |
Lv et al. | Method to acquire regions of fruit, branch and leaf from image of red apple in orchard | |
CN111739059A (zh) | 基于帧差法的运动物体检测方法与轨迹跟踪方法 | |
CN114554188A (zh) | 基于图像传感器像素阵列的手机摄像头检测方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |