CN108510517B - 一种自适应的视觉背景提取方法及装置 - Google Patents
一种自适应的视觉背景提取方法及装置 Download PDFInfo
- Publication number
- CN108510517B CN108510517B CN201810298462.4A CN201810298462A CN108510517B CN 108510517 B CN108510517 B CN 108510517B CN 201810298462 A CN201810298462 A CN 201810298462A CN 108510517 B CN108510517 B CN 108510517B
- Authority
- CN
- China
- Prior art keywords
- background
- adaptive
- pixel point
- sum
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 49
- 230000000007 visual effect Effects 0.000 title claims abstract description 29
- 230000011218 segmentation Effects 0.000 claims abstract description 30
- 238000001514 detection method Methods 0.000 claims abstract description 14
- 238000012805 post-processing Methods 0.000 claims abstract description 13
- 238000000034 method Methods 0.000 claims abstract description 8
- 230000003044 adaptive effect Effects 0.000 claims description 43
- 238000004364 calculation method Methods 0.000 claims description 18
- 230000008030 elimination Effects 0.000 claims description 5
- 238000003379 elimination reaction Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 abstract description 3
- 238000005286 illumination Methods 0.000 abstract description 2
- 238000012544 monitoring process Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 7
- 230000006978 adaptation Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000011423 initialization method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明提出一种自适应的视觉背景提取方法,该方法包括以下步骤：S1.利用视频序列前若干奇数帧中的像素对背景模型进行初始化；S2.遍历当前视频帧信息，计算当前像素点的样本集与当前像素点的Sw×Sh邻域内的平均差之和，并根据该平均差之和判断当前像素点的背景复杂程度；S3.根据得到的背景复杂程度得到当前像素点的自适应分割阈值和自适应更新率；S4.对检测出来的结果进行后处理操作。本发明检测精度高、效果好；能够消除检测中存在鬼影的问题；对于动态复杂背景与光照变化等情况具有较强的鲁棒性。
Description
技术领域
本发明涉及智能视频检测中运动目标检测领域，具体涉及一种自适应的视觉背景提取方法及装置。
背景技术
由于近几年全球经济的飞速发展，越来越多的人涌入城市，导致城市中社会安全和交通方面的安全愈趋于复杂。在城市中时不时的会发生东西丢失或车辆碰撞等的情况，这对于普通的人力来寻找偷窃者或肇事者是十分困难的。而计算机视觉技术的诞生，尤其是目标提取技术的发展，为这些情况实现监控提供了可能。现如今，许多住宅小区、公司大厦、公路上、广场里面，还有银行超市等的地方都装上了用于安防的视频监控系统，从而确保生活和工作的安全，或者为安全问题提供了监控的证据，用于协助警方破案。并且随着现代硬件技术如摄像机等的监控设备的普及和计算机视觉技术的发展，使得视频监控逐渐趋向于智能化。相较于传统的视频监控系统，智能监控系统可以更加方便的为使用者提供便捷，不仅仅从监控场景做简单的记录，而且还能进行实时、自动地分析视频中存在的目标运动和目标的行为。这样在减少了负责监控管理的人员的同时，也会降低提取缺失和误提取等的情况。总之，结合了计算机技术、人工智能、模式识别等相关技术的智能监控系统可以实现实时、自动地对视频内容进行有效分析，节省人力、物力资源的同时还可以减少安全隐患。
由此可见，智能监控系统对于现在的生活或生产等的方面是如此的重要。智能监控系统主要由运动目标的提取，运动目标的跟踪、运动目标的行为分析与预测等部分组成。其中，最为重要的就是运动目标的提取，只有提取出了感兴趣的运动目标，才能有针对性的进行之后的跟踪与行为分析预测等的部分。运动目标提取的主要思想就是把视频序列当前帧的背景与运动前景目标进行分割，并把前景目标提取出来，但是对于提取运动目标的方法有好多，许多学者在这方面做出了突出的贡献；此外，对于提取出的运动目标的结果也有质量的好坏之分，这会直接关系到智能视频监控系统之后的跟踪与分析预测等环节。因此，运动目标提取技术具有着极大的研究价值和应用的价值。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种自适应的视觉背景提取方法，该自适应运动目标检测方法具有检测精度高、效率高的特点。
为实现上述目的及其他相关目的，本发明提供一种自适应的视觉背景提取方法，其特征在于，该方法包括以下步骤：S1.利用视频序列前若干奇数帧中的像素对背景模型进行初始化；所述步骤1具体为：选取视频序列前m帧图像中的奇数帧对背景模型进行初始化，并使用
帧为每个像素点选取N个背景样本点作为该像素点的背景模型；所述的N个背景样本点结合选取的视频帧顺序按照1：1：2：2：3：3：3：5的方式组合；S2.遍历当前视频帧信息，计算当前像素点的样本集与当前像素点的Sw×Sh邻域内的平均差之和，并根据该平均差之和判断当前像素点的背景复杂程度；S3.根据得到的背景复杂程度得到当前像素点的自适应分割阈值和自适应更新率；S4.对检测出来的结果进行后处理操作。
优选地所述步骤S3具体包括以下子步骤：
(a)计算当前像素点x背景样本集中样本像素点的均值mbg，具体计算如公式(1)所示：
其中，yi(x)表示样本像素值；
(b)计算像素点x背景样本集中每个样本像素值与mbg差的绝对值之和sbg，具体计算如公式(2)所示：
(c)计算当前的像素点x在Sw×Sh邻域内的像素均值mnei，具体计算如公式(3)所示：
其中，pj(x)表示第j个邻域像素；
(d)计算像素点x在Sw×Sh邻域像素平均差之和nnei，具体计算如公式(4)所示：
(e)通过得到的像素点x在Sw×Sh邻域像素平均差之和nnei、像素点x背景样本集中每个样本像素值与mbg差的绝对值之和sbg获取该像素点x的自适应分割阈值Radaptive和自适应更新率φadaptive，计算如公式(5)、(6)所示：
χinc/dec表示控制自适应阈值的固定参数；Δinc/dec表示控制自适应更新率的参数；(sbg,nnei)表示当前像素点的样本集与邻域信息的平均差之和组成的二维随机变量组；A、B、C分别表示划分背景复杂程度的固定二维阈值空间中高动态背景区域、正常的背景和低动态背景区域；R表示前一帧分割阈值；φ表示原视觉背景提取方法的更新率。
优选地对检测结果图像进行孔洞填充和对孔洞填充后的处理结果进行孤立噪声点的消除。
为实现上述目的及其他相关目的，本发明还提供一种自适应的视觉背景提取装置，该提取装置包括：
初始化模块，适用于利用视频序列前若干奇数帧中的像素对背景模型进行初始化；
背景复杂程度判断模块，适用于遍历当前视频帧信息，计算当前像素点的样本集与当前像素点的Sw×Sh邻域内的平均差之和，并根据该平均差之和判断当前像素点的背景复杂程度；
自适应分割阈值及自适应更新率获取模块，适用于根据得到的背景复杂程度得到当前像素点的自适应分割阈值和自适应更新率；
后处理模块，适用于对检测出来的结果进行后处理操作。
优选地，所述初始化模块选取视频序列前m帧图像中的奇数帧对背景模型进行初始化，并使用
帧为每个像素点选取N个背景样本点作为该像素点的背景模型。
优选地，所述的N个背景样本点结合选取的视频帧顺序按照1：1：2：2：3：3：3：5的方式组合。
优选地，所述自适应分割阈值及自适应更新率获取模块包括：
均值模块，适用于计算当前像素点x背景样本集中样本像素点的均值mbg；
yi(x)表示样本像素值；
绝对值之和计算模块，适用于计算像素点x背景样本集中每个样本像素值与mbg差的绝对值之和sbg；
像素均值模块，适用于计算当前的像素点x在Sw×Sh邻域内的像素均值mnei；
pj(x)表示第j个邻域像素；
像素平均差之和计算模块，适用于计算像素点x在Sw×Sh邻域像素平均差之和nnei；
则自适应分割阈值Radaptive和自适应更新率φadaptive分别表示为：
其中，χinc/dec表示控制自适应阈值的固定参数；Δinc/dec表示控制自适应更新率的参数；(sbg,nnei)表示当前像素点的样本集与邻域信息的平均差之和组成的二维随机变量组；A、B、C分别表示划分背景复杂程度的固定二维阈值空间中高动态背景区域、正常的背景和低动态背景区域；R表示前一帧分割阈值；φ表示原视觉背景提取方法的更新率。
优选地，所述后处理模块包括孔洞填充模块和孤立噪声点消除模块；所述孔洞填充模块适用于对检测结果图像进行孔洞填充；所述孤立噪声消除模块适用于对孔洞填充后的处理结果进行孤立噪声点的消除。
如上所述，本发明的一种自适应的视觉背景提取方法，具有以下有益效果：
1，检测精度高、效果好；2，能够消除检测中存在鬼影的问题；3，对于动态复杂背景与光照变化等情况具有较强的鲁棒性。
附图说明
为了进一步阐述本发明所描述的内容，下面结合附图对本发明的具体实施方式作进一步详细的说明。应当理解，这些附图仅作为典型示例，而不应看作是对本发明的范围的限定。
图1为自适应的视觉背景提取方法示意图；
图2为原始图像示意图；
图3为真实前景结果示意图；
图4为原视觉背景提取算法检测结果示意图；
图5为使用自适应的视觉背景提取方法结果示意图；
图6为背景模型初始化的方式示意图；
图7为背景复杂程度判断区域划分；
图8为本发明所述方法的流程图；
图9为自适应更新率的求取方法图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
如图8所示，本实施例提供一种自适应的视觉背景提取方法，该方法包括以下步骤：
S1.利用视频序列前若干奇数帧中的像素对背景模型进行初始化；
本实施例采用多帧初始化背景模型的方式，选取视频序列的前m帧图像中的奇数帧来初始化背景模型，并且使用
帧为每个像素点选取N个背景样本点作为该像素点的背景模型样本集，这N个样本点结合选取的视频帧的顺序按照1：1：2：2：3：3：3：5的方式组合。这样获取的背景模型可以减少一定的噪声，并且建立了更加可靠的背景模型。例如，对于当前像素点x，在第1帧中随机地选择一个x的邻域像素点作为样本集的一个样本点；在第3帧中随机选择一个x的邻域像素点作为样本集的一个样本点；在第5帧中随机地选择两个x的邻域像素点作为样本集的一个样本点，之后的以此类推。这样就可以得到20个样本点作为x的背景模型。图6展示了背景模型初始化的方式，如果视频序列首帧中存在运动目标，随着视频帧的递增，在运动目标区域的背景会变的越来越可靠。所以，背景模型初始化方式可以为这些区域的像素点得到相对比较可靠的背景模型。
S2.遍历当前视频帧信息，计算当前像素点的样本集与当前像素点的Sw×Sh邻域内的平均差之和，并根据该平均差之和判断当前像素点的背景复杂程度。S3.根据得到的背景复杂程度得到当前像素点的自适应分割阈值和自适应更新率；
具体地，为了获得自适应的分割阈值，必须确定当前像素的背景复杂程度。本发发明分别计算像素的样本集与Sw×Sh邻域内的平均差之和，把这两者结合起来准确地反映当前背景复杂程度，从而对分割阈值实现自适应。具体实现的步骤如下：
(a)计算当前像素点x背景样本集中样本像素点的均值mbg，具体计算如公式(1)所示：
其中，yi(x)表示样本像素值；
(b)计算像素点x背景样本集中每个样本像素值与mbg差的绝对值之和sbg，具体计算如公式(2)所示：
(c)计算当前的像素点x在Sw×Sh邻域内的像素均值mnei，具体计算如公式(3)所示：
其中，pj(x)表示第j个邻域像素；
(d)计算像素点x在Sw×Sh邻域像素平均差之和nnei，具体计算如公式(4)所示：
(e)通过得到的像素点x在Sw×Sh邻域像素平均差之和nnei、像素点x背景样本集中每个样本像素值与mbg差的绝对值之和sbg获取该像素点x的自适应分割阈值Radaptive和自适应更新率φadaptive，计算如公式(5)、(6)所示：
χinc/dec表示控制自适应阈值的固定参数；Δinc/dec表示控制自适应更新率的参数；(sbg,nnei)表示当前像素点的样本集与邻域信息的平均差之和组成的二维随机变量组；A、B、C分别表示划分背景复杂程度的固定二维阈值空间中高动态背景区域、正常的背景和低动态背景区域；R表示前一帧分割阈值；φ表示原视觉背景提取方法的更新率。
由于分别计算了当前像素点的样本集的平均差之和与邻域信息像素的平均差之和，这样会得到sbg和nnei两个相互独立的数据，这两个数据可以分别地反映当前像素背景的复杂程度。因此，对于背景样本信息和邻域信息它们都有自己的范围区间来反映背景复杂程度。结合图7所示，对于背景样本信息当sbg＞s2时，当前像素的背景被认为是高动态区域；如果sbg＜s1，则被认为是低动态区域；sbg∈[s1,s2]则是正常的背景。这样的划分同样适用于邻域信息得到的数据nnei。但只考虑样本集或邻域信息来判断背景的复杂程度得到的记过往往不是很准确，本实施例把样本集与邻域信息的两个数据结合起来，对背景的复杂程度做一个准确的判断。在图7中对于这两个数据可以把它们放到二维空间中得到一组二维随机变量(sbg,nnei)。
图7对得到的二维空间进行划分。例如，对于A1只考虑样本集信息的话，该像素点所处的背景为低动态背景，但对于邻域信息来判断是为复杂的高动态背景，对于这样的情况本实施例仍认为该处为高动态背景。这样的判断同样适用于其他的区间。在划分的9个区间中，A1,...,A5属于A，这样的分类同样适用于B和C。A代表是高动态背景区域，B代表正常的背景区域、C代表低动态背景区域。其中，n1，n2，s1，s2一般取实验得到的经验值，本实施例中n1＝15、n2＝40、s1＝25、s2＝80。对于不同的背景复杂情况区域，本实施例采用自适应因子来实现分割阈值R的自适应。
从公式(5)可以看出，本实施例根据不同的背景复杂程度对分割阈值逐渐自增或自减来实现分割阈值的自适应。但自适应分割阈值Radaptive不宜过大，也不宜过小，如果过大的话会造成前景目标的提取缺失，过小的话就会引入许多误提取的前景像素点，本实施例通过大量的实验得出自适应分割阈值Radaptive的范围应该控制在18到45之间，即Radaptive∈[18,45]。
S4对检测出来的结果进行后处理操作。
具体地，本实施例对提取出来的结果可能会存在一些孔洞的情况进行了一定的填充。孔洞填充的基本思路是：首先寻找提取结果图中的所有轮廓，之后计算找到的轮廓面积。如果轮廓的面积小于预设的值，就把该孔洞进行填充处理。这样在一定程度上可以填充提取结果中的孔洞，并且也考虑到了填充可能会造成目标连接到一起的误填充。
在提取的结果中一些误提取的噪点往往以孤立的形式存在，对于这种情况本实施例提出在该孤立噪点的8邻域内做一个判断处理，从而实现消除该孤立的噪点。基本思路为：在提取结果中对该噪点的8邻域像素点是否为背景点做一个计数统计，如果邻域像素背景点的个数大于设定的阈值#κ，就把该噪点设置为背景点；否则还是为前景点。本实施例的#κ取值为6。
为了验证改进的算法可以实现在复杂的动态背景下进行很好的运动目标检测，本实施例对Highway、Canoe、Traffic和WinterDriveway4组测试视频进行了实验对比分析，主要对比了CodeBook背景模型、混合高斯背景模型、原视觉背景提取算法、自适应的视觉背景提取算法。并且使用精度、召回率以及F度量3个评价指标进行对比分析。从表1-表3反映出自适应的视觉背景提取算法的优越性。
表1.4种算法在4组测试视频中精度的对比
表2.4种算法在4组测试视频中召回率的对比
表3.4种算法在4组测试视频中F度量的对比
结果表明，本实施例提出的自适应的视觉背景提取方法，克服了CodeBook背景模型、混合高斯背景模型和原视觉背景提取算法的不足，能够精确、有效地检测运动目标，能够适应不同的背景环境，具有较强的鲁棒性。
本实施例还提供一种自适应的视觉背景提取装置，该提取装置包括：初始化模块，背景复杂程度判断模块，自适应分割阈值及自适应更新率获取模块，后处理模块。
具体地，初始化模块，适用于利用视频序列前若干奇数帧中的像素对背景模型进行初始化；
所述初始化模块选取视频序列前m帧图像中的奇数帧对背景模型进行初始化，并使用
帧为每个像素点选取N个背景样本点作为该像素点的背景模型。
更加具体地，本实施例采用多帧初始化背景模型的方式，选取视频序列的前m帧图像中的奇数帧来初始化背景模型，并且使用
帧为每个像素点选取N个背景样本点作为该像素点的背景模型样本集，这N个样本点结合选取的视频帧的顺序按照1：1：2：2：3：3：3：5的方式组合。这样获取的背景模型可以减少一定的噪声，并且建立了更加可靠的背景模型。例如，对于当前像素点x，在第1帧中随机地选择一个x的邻域像素点作为样本集的一个样本点；在第3帧中随机选择一个x的邻域像素点作为样本集的一个样本点；在第5帧中随机地选择两个x的邻域像素点作为样本集的一个样本点，之后的以此类推。这样就可以得到20个样本点作为x的背景模型。图6展示了背景模型初始化的方式，如果视频序列首帧中存在运动目标，随着视频帧的递增，在运动目标区域的背景会变的越来越可靠。所以，背景模型初始化方式可以为这些区域的像素点得到相对比较可靠的背景模型。
背景复杂程度判断模块，适用于遍历当前视频帧信息，计算当前像素点的样本集与当前像素点的Sw×Sh邻域内的平均差之和，并根据该平均差之和判断当前像素点的背景复杂程度；自适应分割阈值及自适应更新率获取模块，适用于根据得到的背景复杂程度得到当前像素点的自适应分割阈值和自适应更新率。
更加具体地，所述自适应分割阈值及自适应更新率获取模块包括：
均值模块，适用于计算当前像素点x背景样本集中样本像素点的均值mbg；
yi(x)表示样本像素值；
绝对值之和计算模块，适用于计算像素点x背景样本集中每个样本像素值与mbg差的绝对值之和sbg；
像素均值模块，适用于计算当前的像素点x在Sw×Sh邻域内的像素均值mnei；
pj(x)表示第j个邻域像素；
像素平均差之和计算模块，适用于计算像素点x在Sw×Sh邻域像素平均差之和nnei；
则自适应分割阈值Radaptive和自适应更新率φadaptive分别表示为：
其中，χinc/dec表示控制自适应阈值的固定参数；Δinc/dec表示控制自适应更新率的参数；(sbg,nnei)表示当前像素点的样本集与邻域信息的平均差之和组成的二维随机变量组；A、B、C分别表示划分背景复杂程度的固定二维阈值空间中高动态背景区域、正常的背景和低动态背景区域；R表示前一帧分割阈值；φ表示原视觉背景提取方法的更新率。
由于分别计算了当前像素点的样本集的平均差之和与邻域信息像素的平均差之和，这样会得到sbg和nnei两个相互独立的数据，这两个数据可以分别地反映当前像素背景的复杂程度。因此，对于背景样本信息和邻域信息它们都有自己的范围区间来反映背景复杂程度。结合图7所示，对于背景样本信息当sbg＞s2时，当前像素的背景被认为是高动态区域；如果sbg＜s1，则被认为是低动态区域；sbg∈[s1,s2]则是正常的背景。这样的划分同样适用于邻域信息得到的数据nnei。但只考虑样本集或邻域信息来判断背景的复杂程度得到的记过往往不是很准确，本实施例把样本集与邻域信息的两个数据结合起来，对背景的复杂程度做一个准确的判断。在图7中对于这两个数据可以把它们放到二维空间中得到一组二维随机变量(sbg,nnei)。
图7对得到的二维空间进行划分。例如，对于A1只考虑样本集信息的话，该像素点所处的背景为低动态背景，但对于邻域信息来判断是为复杂的高动态背景，对于这样的情况本实施例仍认为该处为高动态背景。这样的判断同样适用于其他的区间。在划分的9个区间中，A1,...,A5属于A，这样的分类同样适用于B和C。A代表是高动态背景区域，B代表正常的背景区域、C代表低动态背景区域。其中，n1，n2，s1，s2一般取实验得到的经验值，本实施例中n1＝15、n2＝40、s1＝25、s2＝80。对于不同的背景复杂情况区域，本实施例采用自适应因子来实现分割阈值R的自适应。
从公式(5)可以看出，本实施例根据不同的背景复杂程度对分割阈值逐渐自增或自减来实现分割阈值的自适应。但自适应分割阈值Radaptive不宜过大，也不宜过小，如果过大的话会造成前景目标的提取缺失，过小的话就会引入许多误提取的前景像素点，本实施例通过大量的实验得出自适应分割阈值Radaptive的范围应该控制在18到45之间，即Radaptive∈[18,45]。
所述后处理模块包括孔洞填充模块和孤立噪声点消除模块；所述孔洞填充模块适用于对检测结果图像进行孔洞填充；所述孤立噪声消除模块适用于对孔洞填充后的处理结果进行孤立噪声点的消除。
更加具体地，本实施例对提取出来的结果可能会存在一些孔洞的情况进行了一定的填充。孔洞填充的基本思路是：首先寻找提取结果图中的所有轮廓，之后计算找到的轮廓面积。如果轮廓的面积小于预设的值，就把该孔洞进行填充处理。这样在一定程度上可以填充提取结果中的孔洞，并且也考虑到了填充可能会造成目标连接到一起的误填充。
在提取的结果中一些误提取的噪点往往以孤立的形式存在，对于这种情况本实施例提出在该孤立噪点的8邻域内做一个判断处理，从而实现消除该孤立的噪点。基本思路为：在提取结果中对该噪点的8邻域像素点是否为背景点做一个计数统计，如果邻域像素背景点的个数大于设定的阈值#κ，就把该噪点设置为背景点；否则还是为前景点。本实施例的#κ取值为6。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。
Claims (4)
1.一种自适应的视觉背景提取方法，其特征在于，该方法包括以下步骤：
S1.利用视频序列前若干奇数帧中的像素对背景模型进行初始化；
所述步骤S1具体为：选取视频序列前m帧图像中的奇数帧对背景模型进行初始化，并使用
帧为每个像素点选取N个背景样本点作为该像素点的背景模型；所述的N个背景样本点结合选取的视频帧顺序按照1：1：2：2：3：3：3：5的方式组合；
S2.遍历当前视频帧信息，计算当前像素点的样本集与当前像素点的Sw×Sh邻域内的平均差之和，并根据该平均差之和判断当前像素点的背景复杂程度；
S3.根据得到的背景复杂程度得到当前像素点的自适应分割阈值和自适应更新率；
S4.对检测出来的结果进行后处理操作；
所述步骤S3具体包括以下子步骤：
(a)计算当前像素点x背景样本集中样本像素点的均值mbg，具体计算如公式(1)
其中，yi(x)表示样本像素值；
(b)计算像素点x背景样本集中每个样本像素值与mbg差的绝对值之和Sbg，具体计算如公式(2)所示：
(c)计算当前的像素点x在Sw×Sh邻域内的像素均值mnei，具体计算如公式(3)所示：
(d)计算像素点x在Sw×Sh邻域像素平均差之和nnei，具体计算如公式(4)所示：
(e)通过得到的像素点x在Sw×Sh邻域像素平均差之和nnei、像素点x背景样本集中每个样本像素值与mbg差的绝对值之和sbg获取该像素点x的自适应分割阈值Radaptive和自适应更新率φadaptive,计算如公式(5)、(6)所示：
χinc/dec表示控制自适应阈值的固定参数；Δinc/dec表示控制自适应更新率的参数；sbg，nnei表示当前像素点的样本集与邻域信息的平均差之和组成的二维随机变量组；A、B、C分别表示划分背景复杂程度的固定二维阈值空间中高动态背景区域、正常的背景和低动态背景区域；R表示前一帧分割阈值；φ表示原视觉背景提取方法的更新率。
2.根据权利要求1所述的一种自适应的视觉背景提取方法，其特征在于，所述的后处理操作包括：对检测结果图像进行孔洞填充和对孔洞填充后的处理结果进行孤立噪声点的消除。
3.一种自适应的视觉背景提取装置，其特征在于，该提取装置包括：
初始化模块，适用于利用视频序列前若干奇数帧中的像素对背景模型进行初始化；
背景复杂程度判断模块，适用于遍历当前视频帧信息，计算当前像素点的样本集与当前像素点的Sw×Sh邻域内的平均差之和，并根据该平均差之和判断当前像素点的背景复杂程度；
自适应分割阈值及自适应更新率获取模块，适用于根据得到的背景复杂程度得到当前像素点的自适应分割阈值和自适应更新率；
后处理模块，适用于对检测出来的结果进行后处理操作；
所述初始化模块选取视频序列前m帧图像中的奇数帧对背景模型进行初始化，并使用
帧为每个像素点选取N个背景样本点作为该像素点的背景模型；
所述的N个背景样本点结合选取的视频帧顺序按照1：1：2：2：3：3：3：5的方式组合；
所述自适应分割阈值及自适应更新率获取模块包括：
均值模块，适用于计算当前像素点x背景样本集中样本像素点的均值mbg；
绝对值之和计算模块，适用于计算像素点x背景样本集中每个样本像素值与mbg差的绝对值之和sbg；
像素均值模块，适用于计算当前的像素点x在Sw×Sh邻域内的像素均值mnei；
则自适应分割阈值Radaptive和自适应更新率φadaptive分别表示为：
其中，χinc/dec表示控制自适应阈值的固定参数；Δinc/dec表示控制自适应更新率的参数；(sbg，nnei)表示当前像素点的样本集与邻域信息的平均差之和组成的二维随机变量组；A、B、C分别表示划分背景复杂程度的固定二维阈值空间中高动态背景区域、正常的背景和低动态背景区域；R表示前一帧分割阈值；φ表示原视觉背景提取方法的更新率；
像素平均差之和计算模块，适用于计算像素点x在Sw×Sh邻域平均差之和nnei，
4.根据权利要求3所述的一种自适应的视觉背景提取装置，其特征在于，所述后处理模块包括孔洞填充模块和孤立噪声点消除模块；所述孔洞填充模块适用于对检测结果图像进行孔洞填充；所述孤立噪声消除模块适用于对孔洞填充后的处理结果进行孤立噪声点的消除。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810298462.4A CN108510517B (zh) | 2018-04-04 | 2018-04-04 | 一种自适应的视觉背景提取方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810298462.4A CN108510517B (zh) | 2018-04-04 | 2018-04-04 | 一种自适应的视觉背景提取方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108510517A CN108510517A (zh) | 2018-09-07 |
| CN108510517B true CN108510517B (zh) | 2021-06-08 |
Family
ID=63380546
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810298462.4A Active CN108510517B (zh) | 2018-04-04 | 2018-04-04 | 一种自适应的视觉背景提取方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108510517B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110363197B (zh) * | 2019-06-22 | 2023-05-23 | 东北电力大学 | 基于改进视觉背景提取模型的视频感兴趣区域提取方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090096725A1 (en) * | 2006-04-28 | 2009-04-16 | Thales | Organic electroluminescent display |
-
2018
- 2018-04-04 CN CN201810298462.4A patent/CN108510517B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090096725A1 (en) * | 2006-04-28 | 2009-04-16 | Thales | Organic electroluminescent display |
Non-Patent Citations (3)
| Title |
|---|
| Background Subtraction: Experiments and Improvements for ViBe;M. Van Droogenbroeck等;《IEEE Conference on Computer Vision and pattern Recognition Workshops.Washington D.C》;20121230;第32-37页 * |
| 一种新的基于ViBe的运动目标检测方法;胡小冉等;《计算机科学》;20140228;第41卷(第2期);第149-152页 * |
| 一种用于消除伪影的增强视觉背景提取算法;瞿中等;《计算机科学》;20170430;第44卷(第4期);第312-316页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108510517A (zh) | 2018-09-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109816024B (zh) | 一种基于多尺度特征融合与dcnn的实时车标检测方法 | |
| CN108985186B (zh) | 一种基于改进YOLOv2的无人驾驶中行人检测方法 | |
| CN108510467B (zh) | 基于深度可变形卷积神经网络的sar图像目标识别方法 | |
| CN107527009B (zh) | 一种基于yolo目标检测的遗留物检测方法 | |
| CN106780485B (zh) | 基于超像素分割和特征学习的sar图像变化检测方法 | |
| Goyette et al. | Changedetection. net: A new change detection benchmark dataset | |
| CN109598794B (zh) | 三维gis动态模型的构建方法 | |
| CN108052917B (zh) | 一种基于新旧时相变化发现的违章建筑自动识别的方法 | |
| CN108305260B (zh) | 一种图像中角点的检测方法、装置及设备 | |
| Bedruz et al. | Real-time vehicle detection and tracking using a mean-shift based blob analysis and tracking approach | |
| CN110232379A (zh) | 一种车辆姿态检测方法及系统 | |
| CN108804992B (zh) | 一种基于深度学习的人群统计方法 | |
| CN111723773B (zh) | 遗留物检测方法、装置、电子设备及可读存储介质 | |
| CN103093212A (zh) | 基于人脸检测和跟踪截取人脸图像的方法和装置 | |
| CN106778633B (zh) | 一种基于区域分割的行人识别方法 | |
| CN110415260B (zh) | 基于字典与bp神经网络的烟雾图像分割与识别方法 | |
| CN109858438B (zh) | 一种基于模型拟合的车道线检测方法 | |
| CN111191570A (zh) | 图像识别方法和装置 | |
| CN110309765B (zh) | 一种视频运动目标高效检测方法 | |
| CN111046856A (zh) | 基于动静态特征提取并行位姿跟踪与地图创建的方法 | |
| CN104463869A (zh) | 一种视频火焰图像复合识别方法 | |
| Iraei et al. | Object tracking with occlusion handling using mean shift, Kalman filter and edge histogram | |
| CN107871315B (zh) | 一种视频图像运动检测方法和装置 | |
| CN111524121A (zh) | 一种基于机器视觉技术的路桥病害自动检测方法 | |
| CN110636248B (zh) | 目标跟踪方法与装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20231107 Address after: 400000 No.1, Nanping photoelectric Road, Nan'an District, Chongqing Patentee after: SOUTHWEST COMPUTER Co.,Ltd. Address before: 400065 Chongqing Nan'an District huangjuezhen pass Chongwen Road No. 2 Patentee before: CHONGQING University OF POSTS AND TELECOMMUNICATIONS |
|
| TR01 | Transfer of patent right |