CN109636866A - 基于降分辨率的随机聚类统计的前景提取方法 - Google Patents
基于降分辨率的随机聚类统计的前景提取方法 Download PDFInfo
- Publication number
- CN109636866A CN109636866A CN201811525938.XA CN201811525938A CN109636866A CN 109636866 A CN109636866 A CN 109636866A CN 201811525938 A CN201811525938 A CN 201811525938A CN 109636866 A CN109636866 A CN 109636866A
- Authority
- CN
- China
- Prior art keywords
- vibe
- profile
- compression
- image
- result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 71
- 230000003247 decreasing effect Effects 0.000 title claims abstract description 17
- 230000006835 compression Effects 0.000 claims abstract description 55
- 238000007906 compression Methods 0.000 claims abstract description 55
- 238000012545 processing Methods 0.000 claims abstract description 43
- 238000012544 monitoring process Methods 0.000 claims abstract description 9
- 230000000295 complement effect Effects 0.000 claims abstract description 4
- 241000656145 Thyrsites atun Species 0.000 claims description 3
- 238000000605 extraction Methods 0.000 abstract description 6
- 230000009467 reduction Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 3
- 239000000523 sample Substances 0.000 description 3
- 238000013480 data collection Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000004445 quantitative analysis Methods 0.000 description 2
- 238000010189 synthetic method Methods 0.000 description 2
- 241000533950 Leucojum Species 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开基于降分辨率的随机聚类统计的前景提取方法，其包括以下步骤：步骤1，以多种压缩比分别对不同场景数据集的视频图像进行压缩；步骤2，对获得的不同压缩比的图像分别利用ViBe和GMM方法进行处理，记录每一个压缩比下的CPU处理时间、精确率、查全率信息和F指标，作为压缩比的选择参考数据；步骤3，根据目标监控场景基于参考数据选取对应的压缩比进行压缩，再利用ViBe和GMM方法进行处理；步骤4，对ViBe和GMM方法的处理结果进行与运算，对两种前景轮廓的不完整进行互补；步骤5，对融合后的结果进行轮廓查找并绘制轮廓，消除目标内的空洞。本发明提高了前景提取精确率同时处理速度有较大的提升。
Description
技术领域
本发明涉及视频处理技术领域，尤其涉及基于降分辨率的随机聚类统计的前景提取方法。
背景技术
智能视频监控作为计算机视觉的重要应用方向，近年得到广泛重视。前景提取是智能视频监控的关键步骤之一，其性能对于目标分类、目标跟踪和行为理解等后期应用是至关重要的。目前常见的前景提取方法有很多种，考虑到方法的复杂度、计算量大小、性能效果等因素，选取背景减法进行前景提取，主要有GMM方法和ViBe方法。
GMM方法采用多个高斯分布描述背景模型。对图像中每一个像素点使用混合高斯分布模型来表征其特征，当获取新的图像时，适时更新混合高斯分布模型，某一时刻选取混合高斯模型中的一个子集表征当前背景，如果当前图像的某个像素点与混合高斯模型的背景子集匹配，则判定为背景，否则判定为前景点。GMM是背景建模中较为突出的方法，很多新方法都是基于其原理的不同变体，但GMM方法参数复杂且调整困难，在动态场景中GMM方法存在较高的虚警率。
ViBe是一种像素级的背景建模、前景提取方法，该方法主要不同之处是背景模型的更新策略，随机选择需要替换像素的样本，避免了大量样本更新，并随机选择邻域像素进行更新。在无法确定像素变化的模型时，采用随机更新的策略，在一定程度上可以模拟像素变化的不确定性。因此，运算量小，性能优于其他方法而受到广泛关注。ViBe方法主要是利用单帧视频序列初始化背景模型，对于一个像素点，结合相邻点拥有相近像素值的空间分布特性，随机的选择它的邻域点的像素值作为它的模型样本值。ViBe方法不仅减少了背景模型建立的过程，还可以处理背景突然变化的情况，当检测到背景突然变化明显时，只需要舍弃原始的模型，重新利用变化后的首帧图像建立背景模型。
但是，前景提取方法速度的快慢是与视频或图像采集设备的分辨率直接相关的，当监控场景中越来越多地采用高清探头，以及从大量监控视频中提取感兴趣的信息时，速度问题是应用的一大障碍。现有技术中多是基于灰度的背景减方法，当前景与背景灰度接近时，提取的目标存在部分轮廓缺失或内部空洞等现象，这是背景减方法的固有缺陷。
发明内容
本发明的目的在于提供基于降分辨率的随机聚类统计的前景提取方法。
本发明采用的技术方案是：
基于降分辨率的随机聚类统计的前景提取方法，其包括以下步骤：
步骤1，选取具有不同场景的公共数据集，以多种压缩比分别对不同场景的视频图像进行压缩；
步骤2，对获得的不同压缩比的图像分别利用ViBe和GMM方法进行处理，记录每一个压缩比下的CPU处理时间、精确率、查全率信息和F指标，形成不同场景的不同压缩比的指标数据图表，并作为压缩比的选择参考数据；
步骤3，根据目标监控场景基于参考数据选取对应的压缩比对该场景的视频图像进行压缩，再分别利用ViBe和GMM方法进行处理；
步骤4，融合ViBe和GMM方法的处理结果，对ViBe和GMM方法的处理结果进行与运算，对两种前景轮廓的不完整进行互补；
步骤5，对融合后的结果进行轮廓查找并绘制轮廓，将内部小轮廓进行消除，以消除目标内的空洞，并输出结果。
进一步地，步骤2中精确率表示的处理结果中真正的正确结果数量；查全率也称召回率，查全率表示原本结果中被正确处理得到数量。
进一步地，步骤2中F指标是精确率和召回率的加权调和平均；用于评价分类模型的好坏。
进一步地，步骤5中查找轮廓的方法为：融合后的结果是二值图的像素值为0或255，则当前像素值与周围差值的绝对值为255时，则该像素点在位于轮廓处。
进一步地，步骤5中绘制轮廓采用图像处理工具openCV3.4中附带的findContour工具处理发现的小空洞并加以消除。
本发明采用以上技术方案，通过定量分析压缩比与处理结果精确率关系。进而选取对应的压缩比，并将ViBe方法和GMM方法结合，探讨了基于背景减的合成方法，处理结果较两种方法有一定的提升。本发明提高了前景提取精确率同时处理速度有较大的提升。
附图说明
以下结合附图和具体实施方式对本发明做进一步详细说明；
图1为本发明基于降分辨率的随机聚类统计的前景提取方法的流程示意图；
图2为高速公路(highway)数据集ViBe方法处理时的图像压缩比与各指标变化示意图；
图3为高速公路(highway)数据集GMM方法处理时的图像压缩比与各指标变化示意图；
图4为雨雪天气(wetSnow)数据集ViBe方法处理时图像压缩比与各指标变化示意图；
图5为雨雪天气(wetSnow)数据集GMM方法处理时图像压缩比与各指标变化示意图；
图6为收费公路(turnpike)数据集ViBe方法处理时图像压缩比与各指标变化示意图；
图7为收费公路(turnpike)数据集GMM方法处理时图像压缩比与各指标变化示意图；
图8为卡内基梅隆(CMU)数据集ViBe方法处理时图像压缩比与各指标变化示意图；
图9为卡内基梅隆(CMU)数据集GMM方法处理时图像压缩比与各指标变化示意图；
图10为四种数据集不同处理方法的结果对比图。
具体实施方式
如图1-10所示，本发明提出降分辨率的随机聚类统计的前景提取方法，包括以下步骤：
步骤1，选取具有不同场景的公共数据集，以多种压缩比分别对不同场景的视频图像进行压缩；
有学者研究了在降分辨率图像中视觉显著信息(即视觉重点关注信息)的保留。连续拍摄的视频中，通常都会包含时间、空间、视觉等方面的冗余信息。因此，在前景提取时采用降分辨率的方法提高处理速度。通常情况下，当图像被压缩时，压缩比越高处理速度越快；另一方面，压缩时图像中的信息以及噪声将同时被压缩，也即压缩会导致信息丢失，压缩比应折衷进行选择。为选择合适的参数，选取公共数据集changeDetection2014的部分数据集，以及卡梅隆数据集，对多种监控场景的视频图像进行了压缩比与CPU速度、精确率、F指标和查全率等参数之间关系的定量研究。为获取参数变化的详细信息，在实验中选取100种压缩比，从100％(无压缩，原图)变化到1％。
本发明中提到的压缩比，是为了方便数据表达，选取图像单方向上的压缩比率。例如，文中采用的压缩比为20％，实际压缩时，是将图像的横向和纵向分别压缩至原图相应方向的 20％，压缩之后的图像大小是原图的4％，即20％*20％。
步骤2，对步骤1)处理后获得的不同压缩比的图像分别利用ViBe和GMM方法进行处理，记录每一个压缩比下的CPU处理时间、精确率、查全率信息和F指标，形成不同场景的不同压缩比的指标数据图表，并作为压缩比的选择参考数据；
具体而言，精确率是针对处理结果而言的，它表示的处理结果中有多少是真正的正确结果；查全率也称召回率，是针对原本的处理结果而言，它表示原本结果中有多少被正确处理得到。有两种可能，一种是把原来的正确结果提取出来即为正类(TP)，另一种是把原来的正确结果没有提取出来而将其作为相反类别即为负类(FN)。F指标是精确率和召回率的加权调和平均，常用于评价分类模型的好坏。
选取公共数据集changeDetection2014的部分数据集，以及CMU(卡内基梅隆大学)数据集进行测试，列举出部分数据集在不同图像压缩比与精确率(Precision)变化情况、查全率(Recall) 变化情况、F指标变化情况，以及CPU处理速度变化之间的关系，具体的如图1至8所示。
由附图1-8可看出，随着图像压缩比增大，CPU处理速度在快速提升，一般情况下精确率与查全率也在不同程度的降低中。对于恶劣的雨雪天气(wetSnow)数据集在处理时却出现了，随着压缩比增加其精确率不降反升的情况，部分原因可能归因于图像压缩时，复杂背景中的一些干扰成份，如雨点、雪花均随之减少而导致图像压缩后，精确率反而得到提升。CPU 速度与各指标间的关系大致如下：
①当压缩比为80％时，四个数据集的CPU处理速度约有35％-40％左右的提升，同时，精确率几乎没有太大的降低，而查全率略有降低；
②当压缩比为60％时，四个数据集的CPU处理速度约有50％-70％左右的提升，同时，精确率几乎没有太大的降低，而查全率略有降低；
③当压缩比为40％时，四个数据集的CPU处理速度约有60％-85％左右的提升，同时，精确率几乎没有太大的降低，而查全率约有10％-30％的降低；
④当压缩比为20％时，四个数据集的CPU处理速度约有85％-95％左右的提升，同时，精确率在此处略有变化，而查全率在此附近开始急骤降低。
以上测试结果可为智能视频监控应用做一个压缩比的选择参考。
步骤3，根据目标监控场景基于参考数据选取对应的压缩比对该场景的视频图像进行压缩，再分别利用ViBe和GMM方法进行处理；
步骤4，融合ViBe和GMM方法的处理结果，对ViBe和GMM方法的处理结果进行与运算，对两种前景轮廓的不完整进行互补；
步骤5，对融合后的结果进行轮廓查找并绘制轮廓，将内部小轮廓(如面积小于某值)进行消除，以消除目标内的空洞，并输出结果。
具体地，轮廓查找的方法：在图像处理领域，轮廓一般是指像素值或灰度值，或亮度出现剧变，就表示该处是一个边界，也即轮廓所在处。
轮廓查找的手段：一般在查找轮廓时，先设定像素差值的阈值，当一个像素与周围像素的差值超过这个阈值，就表示该像素点位于图像的轮廓处。本发明方法中，融合后的结果是二值图(即图像中所有点非黑即白，像素值只有两种，0或255，则当前像素值与周围差值(绝对值)为255时，就表示该像素点在位于轮廓处。
绘制轮廓采用图像处理工具openCV3.4中附带的findContour工具处理发现的小空洞并加以消除。
以上述选定的压缩比，以及对ViBe和GMM方法的处理结果进行图像后处理的方法得到的结果，即为本发明中所提出的基于降分辨率的随机聚类统计的前景提取方法LRCSFE(Low- resolution Random Clustering Statistical Foreground Extractor)。
本发明通过定量分析压缩比与处理结果精确率关系。将ViBe方法和GMM方法结合，探讨了基于背景减的合成方法，处理结果较两种方法有一定的提升。本发明提高了前景提取精确率同时处理速度有较大的提升。
参考文献
[1]C.Stauffer,and W.E.L.Grimson,“Learning patterns of activity usingreal-time tracking,”IEEE Transactions on pattern analysis and machineintelligence,vol.22,no.8,pp.747-757,2000.
[2]Z.Zivkovic,"Improved adaptive Gaussian mixture model forbackground subtraction."pp.28-31.
[3]O.Barnich,and M.Van Droogenbroeck,“ViBe:A universal backgroundsubtraction algorithm for video sequences,”IEEE Transactions on Imageprocessing,vol.20,no.6,pp.1709-1724,2011.
[4]O.B.Mac Van Droogenbroeck,Visual Background Extractor,EP20070112011,to Université,de Liège,E.P.Office,2007.
[5]S.A.Yohanandan,A.G.Dyer,D.Tao et al.,“Saliency Preservation inLow-Resolution Grayscale Images,”arXiv preprint arXiv:1712.02048,2017.
[6]T.Judd,F.Durand,and A.Torralba,“Fixations on low-resolutionimages,”Journal of Vision,vol.11, no.4,pp.14-14,2011.
[7]S.Hamel,N.Guyader,D.Pellerin et al.,"Contribution of ColorInformation in Visual Saliency Model for Videos."pp.213-221.
[8]张帆,基于心理视觉冗余和PCA的图像压缩算法,科学技术与工程,no.26,pp.7688-7691,2013.
[9]Y.Wang,P.-M.Jodoin,F.Porikli et al.,“CDnet 2014:An Expanded ChangeDetection Benchmark Dataset,”pp.393-400,2014.
[10]Y.Sheikh,and M.Shah,“Bayesian modeling of dynamic scenes forobject detection,”IEEE transactions on pattern analysis and machineintelligence,vol.27,no.11,pp.1778-1792,2005。
Claims (6)
1.基于降分辨率的随机聚类统计的前景提取方法，其特征在于：其包括以下步骤：
步骤1，选取具有不同场景的公共数据集，以多种压缩比分别对不同场景的视频图像进行压缩；
步骤2，对获得的不同压缩比的图像分别利用ViBe和GMM方法进行处理，记录每一个压缩比下的CPU处理时间、精确率、查全率信息和F指标，作为压缩比的选择参考数据；
步骤3，根据目标监控场景基于参考数据选取对应的压缩比对该场景的视频图像进行压缩，再分别利用ViBe和GMM方法进行处理；
步骤4，融合ViBe和GMM方法的处理结果，对ViBe和GMM方法的处理结果进行与运算，对两种前景轮廓的不完整进行互补；
步骤5，对融合后的结果进行轮廓查找并绘制轮廓，将内部小轮廓进行消除，以消除目标内的空洞。
2.根据权利要求1所述的基于降分辨率的随机聚类统计的前景提取方法，其特征在于：步骤1中公共数据集changeDetection2014的高速公路数据集、雨雪天气数据集、收费公路数据集以及卡梅隆数据集。
3.根据权利要求1所述的基于降分辨率的随机聚类统计的前景提取方法，其特征在于：步骤2中精确率表示的处理结果中真正的正确结果数量；查全率也称召回率，查全率表示原本结果中被正确处理得到数量。
4.根据权利要求1所述的基于降分辨率的随机聚类统计的前景提取方法，其特征在于：步骤2中F指标是精确率和召回率的加权调和平均。
5.根据权利要求1所述的基于降分辨率的随机聚类统计的前景提取方法，其特征在于：步骤5中查找轮廓的方法为：融合后的结果是二值图的像素值为0或255，则当前像素值与周围差值的绝对值为255时，则该像素点在位于轮廓处。
6.根据权利要求1所述的基于降分辨率的随机聚类统计的前景提取方法，其特征在于：步骤5中绘制轮廓采用图像处理工具openCV3.4中附带的findContour工具处理发现的小空洞并加以消除。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811525938.XA CN109636866A (zh) | 2018-12-13 | 2018-12-13 | 基于降分辨率的随机聚类统计的前景提取方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811525938.XA CN109636866A (zh) | 2018-12-13 | 2018-12-13 | 基于降分辨率的随机聚类统计的前景提取方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109636866A true CN109636866A (zh) | 2019-04-16 |
Family
ID=66073668
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811525938.XA Pending CN109636866A (zh) | 2018-12-13 | 2018-12-13 | 基于降分辨率的随机聚类统计的前景提取方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109636866A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111062886A (zh) * | 2019-12-10 | 2020-04-24 | 携程计算机技术（上海）有限公司 | 酒店图片的超分辨方法、系统、电子产品和介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101017573A (zh) * | 2007-02-09 | 2007-08-15 | 南京大学 | 一种基于视频监控的运动目标检测与识别方法 |
| JP2008102946A (ja) * | 1999-10-22 | 2008-05-01 | Toshiba Corp | 画像の輪郭抽出方法、画像からの物体抽出方法およびこの物体抽出方法を用いた画像伝送システム |
| CN104331905A (zh) * | 2014-10-31 | 2015-02-04 | 浙江大学 | 一种基于运动物体检测的监控视频摘要提取方法 |
| CN108805897A (zh) * | 2018-05-22 | 2018-11-13 | 安徽大学 | 一种改进的运动目标检测vibe算法 |
-
2018
- 2018-12-13 CN CN201811525938.XA patent/CN109636866A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008102946A (ja) * | 1999-10-22 | 2008-05-01 | Toshiba Corp | 画像の輪郭抽出方法、画像からの物体抽出方法およびこの物体抽出方法を用いた画像伝送システム |
| CN101017573A (zh) * | 2007-02-09 | 2007-08-15 | 南京大学 | 一种基于视频监控的运动目标检测与识别方法 |
| CN104331905A (zh) * | 2014-10-31 | 2015-02-04 | 浙江大学 | 一种基于运动物体检测的监控视频摘要提取方法 |
| CN108805897A (zh) * | 2018-05-22 | 2018-11-13 | 安徽大学 | 一种改进的运动目标检测vibe算法 |
Non-Patent Citations (1)
| Title |
|---|
| MIN CHEN ETC: ""Background Subtraction using Compressed Low-Resolution Images"", 《ARXIV》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111062886A (zh) * | 2019-12-10 | 2020-04-24 | 携程计算机技术（上海）有限公司 | 酒店图片的超分辨方法、系统、电子产品和介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107256225B (zh) | 一种基于视频分析的热度图生成方法及装置 | |
| CN110414559B (zh) | 智能零售柜商品目标检测统一框架的构建方法及商品识别方法 | |
| WO2022099598A1 (zh) | 一种基于图像像素相对统计特征的视频动态目标检测的方法 | |
| CN105404847B (zh) | 一种遗留物实时检测方法 | |
| CN111738342B (zh) | 一种受电弓异物检测方法、存储介质及计算机设备 | |
| CN106682665B (zh) | 一种基于计算机视觉的七段式数显仪表数字识别方法 | |
| CN105513053B (zh) | 一种用于视频分析中背景建模方法 | |
| CN102663362B (zh) | 一种基于灰度特征的运动目标检测方法 | |
| CN106157332A (zh) | 一种基于ViBe算法的运动检测优化方法 | |
| CN112489055B (zh) | 融合亮度-时序特征的卫星视频动态车辆目标提取方法 | |
| CN111723773B (zh) | 遗留物检测方法、装置、电子设备及可读存储介质 | |
| CN110309765B (zh) | 一种视频运动目标高效检测方法 | |
| CN103093198A (zh) | 一种人群密度监测方法及装置 | |
| Zhang et al. | Application research of YOLO v2 combined with color identification | |
| CN111159150A (zh) | 一种数据扩充方法及装置 | |
| Ghahremannezhad et al. | Automatic road detection in traffic videos | |
| CN107247967B (zh) | 一种基于r-cnn的车窗年检标检测方法 | |
| CN109035296A (zh) | 一种改进的视频中运动物体检测方法 | |
| CN116030396A (zh) | 一种用于视频结构化提取的精确分割方法 | |
| CN105405153A (zh) | 智能移动终端抗噪声干扰运动目标提取方法 | |
| KR101690050B1 (ko) | 지능형 영상보안 시스템 및 객체 추적 방법 | |
| Zhang et al. | An optical flow based moving objects detection algorithm for the UAV | |
| CN107301655B (zh) | 一种基于背景建模的视频移动目标侦测方法 | |
| CN109636866A (zh) | 基于降分辨率的随机聚类统计的前景提取方法 | |
| Jin et al. | Fusing Canny operator with vibe algorithm for target detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190416 |