CN104766065B - 基于多视角学习的鲁棒性前景检测方法 - Google Patents
基于多视角学习的鲁棒性前景检测方法 Download PDFInfo
- Publication number
- CN104766065B CN104766065B CN201510174979.9A CN201510174979A CN104766065B CN 104766065 B CN104766065 B CN 104766065B CN 201510174979 A CN201510174979 A CN 201510174979A CN 104766065 B CN104766065 B CN 104766065B
- Authority
- CN
- China
- Prior art keywords
- foreground
- background
- pixel
- image
- probability
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 21
- 230000000007 visual effect Effects 0.000 title abstract 2
- 238000000034 method Methods 0.000 claims abstract description 31
- 230000004927 fusion Effects 0.000 claims abstract description 15
- 230000011218 segmentation Effects 0.000 claims abstract description 8
- 230000006870 function Effects 0.000 claims description 18
- 238000001914 filtration Methods 0.000 claims description 7
- 230000002123 temporal effect Effects 0.000 claims description 5
- 238000009499 grossing Methods 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 14
- 238000005286 illumination Methods 0.000 description 7
- 238000010801 machine learning Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 241000023320 Luma <angiosperm> Species 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供的基于多视角学习的鲁棒性前景检测方法，包括：将输入视频通过时域中值滤波方法获取参考背景图像，对当前图像和所述参考背景图像进行迭代搜索和多尺度融合获取异类特征；利用所述异类特征的条件独立性计算前景类的条件概率密度和背景类的条件概率密度，并且根据前景似然、背景似然和先验概率利用贝叶斯规则计算前景的后验概率和背景的后验概率；通过所述前景的后验概率、所述背景的后验概率和时空一致性约束构建马尔科夫随机场模型的能量函数，利用置信传播算法将所述能量函数最小化得到前景和背景的分割结果。本发明可以在复杂挑战环境下，实现鲁棒性前景检测。
Description
技术领域
本发明涉及智能视频监控技术，特别是涉及一种基于多视角学习的鲁棒性前景检测方法。
背景技术
智能视频监控是一种重要的信息采集手段，而前景检测或背景消减是智能视频监控研究中一个很有挑战性的底层问题。在前景检测的基础上，可以实现目标跟踪、识别、异常检测等其他应用。前景检测的基本原则是将视频场景的当前图像与背景模型相比较，检测有显著区别的区域。虽然看似简单，前景检测在实际应用中经常遇到三种挑战：运动阴影、光照变化和图像噪声。运动阴影是由于光源被前景目标遮挡造成的，在晴天时为硬阴影，在阴天时为软阴影。无论何种形式，运动阴影容易被检测为前景，干扰对被分割前景目标的尺寸和形状信息的提取。光照变化在交通场景中很常见。例如，随着太阳在天空中移动，光照也缓慢变化；当太阳进入或移出云层时，光照也可能发生快速变化。另外，在图像的采集、压缩和传输过程中，不可避免会引入噪声。如果信噪比太低，将难以从背景场景中区分出前景目标。
我们将前景检测技术分为稀疏模型、参数模型、非参数模型、机器学习模型等。稀疏模型主要利用主成分分析和矩阵分解的各种变体，将背景建模为低秩表示，将前景建模为稀疏离群点。但是这类方法的计算复杂性较高，并且难以检测与背景颜色相似的前景。参数模型利用某种概率分布来建模背景。非参数模型在概率密度估计中具有更高的灵活性。机器学习模型利用支持向量机、神经网络等机器学习方法进行前景和背景的分类。
现有技术存在以下问题。第一，只利用亮度特征，但是亮度特征对光照变化和运动阴影比较敏感。第二，只建立背景模型，将前景像素识别为离群点，难以区分与背景颜色相似的前景。第三，没有利用视频序列中的时空一致性约束。
发明内容
本发明提供的基于多视角学习的鲁棒性前景检测方法，可以准确地实现前景和背景的分割。
根据本发明的一方面，提供一种基于多视角学习的鲁棒性前景检测方法，包括：
将输入视频通过时域中值滤波方法获取参考背景图像，对当前图像和所述参考背景图像进行迭代搜索和多尺度融合获取异类特征；
利用所述异类特征的条件独立性计算前景类的条件概率密度和背景类的条件概率密度，并且根据前景似然、背景似然和先验概率利用贝叶斯规则计算前景的后验概率和背景的后验概率；
通过所述前景的后验概率、所述背景的后验概率和时空一致性约束构建马尔科夫随机场模型的能量函数，利用置信传播算法将所述能量函数最小化得到前景和背景的分割结果。
本发明实施例提供的基于多视角学习的鲁棒性前景检测方法，可以根据前景似然、背景似然和先验概率利用贝叶斯规则计算前景的后验概率和背景的后验概率，并通过前景的后验概率、背景的后验概率和时空一致性约束构建马尔科夫随机场模型的能量函数，从而利用置信传播算法准确地实现前景和背景的分割。
附图说明
图1为本发明实施例提供的基于多视角学习的鲁棒性前景检测方法流程图；
图2为本发明实施例提供的输入视频图像和参考背景图像示意图；
图3为本发明实施例提供的金字塔搜索模板示意图；
图4为本发明实施例提供的基于迭代搜索和多尺度融合的纹理变化特征示意图；
图5为本发明实施例提供的RGB颜色模型示意图；
图6为本发明实施例提供的亮度变化特征和色度变化特征示意图；
图7为本发明实施例提供的候选背景获取方法流程图；
图8为本发明实施例提供的异类特征频率直方图；
图9为本发明实施例提供的图像标记结果示意图；
图10为本发明实施例提供的前景和背景的分割结果示意图。
具体实施方式
下面结合附图对本发明实施例提供的基于多视角学习的鲁棒性前景检测方法进行详细描述。
图1为本发明实施例提供的基于多视角学习的鲁棒性前景检测方法流程图。
参照图1，在步骤S101，将输入视频通过时域中值滤波方法获取参考背景图像，对当前图像和所述参考背景图像进行迭代搜索和多尺度融合获取异类特征。
在步骤S102，利用所述异类特征的条件独立性计算前景类的条件概率密度和背景类的条件概率密度，并且根据前景似然、背景似然和先验概率利用贝叶斯规则计算前景的后验概率和背景的后验概率。
在步骤S103，通过所述前景的后验概率、所述背景的后验概率和时空一致性约束构建马尔科夫随机场模型的能量函数，利用置信传播算法将所述能量函数最小化得到前景和背景的分割结果。
进一步地，所述将输入视频通过时域中值滤波方法获取参考背景图像包括：
读取所述输入视频的每帧图像；
将所述每帧图像通过时域中值滤波方法获取阈值时间窗口内各个像素的中值；
根据所述各个像素的中值得到所述参考背景图像。
这里，阈值时间窗口为500帧图像的持续时间，具体参照如图2所示的本发明实施例提供的输入视频图像和参考背景图像示意图，(a)为输入视频图像，(b)为参考背景图像。
进一步地，所述异类特征为纹理变化特征，所述对当前图像和所述参考背景图像进行迭代搜索和多尺度融合获取异类特征包括：
根据公式(1)计算所述纹理变化特征：
其中，TVi为所述纹理变化特征，i为当前像素，[IR(i),IG(i),IB(i)]为所述当前像素的颜色模型RGB的颜色值，j为所述当前像素对应的背景像素，[ER(j),EG(j),EB(j)]为所述背景像素的RGB的颜色值，m∈N(i)为所述当前像素的空间邻域，n∈N(j)为所述背景像素的空间邻域。
这里，对于当前图像的任意像素i，假设它的空间邻域N(i)为8邻域。
纹理变化特征对运动阴影和光照变化有很强的鲁棒性，但是对动态背景却很敏感。如果不加以适当处理，晃动的有纹理背景区域可以导致大的纹理变化。因此，为解决上述问题，通过迭代搜索和多尺度融合策略将当前图像中的像素i与参考背景图像中的像素j进行匹配。
图3为本发明实施例提供的金字塔搜索模板示意图。如图3所示，图(a)为大金字塔搜索模板，图(b)为小金字塔搜索模板。具体搜索过程如下：首先，利用大金字塔模板进行粗搜索，在第一轮迭代前，将像素点i初始化为搜索模板的中心点，每次迭代最多需要考察9个位置，将最优位置(即最小化TVi的位置)设为下一轮迭代的中心点，重复执行此迭代过程，直到最优位置恰好为搜索模板的中心点；其次，利用小金字塔模板进行细搜索，在细搜索过程中，只需考察5个位置，将最小化TVi的那个像素确定为最优位置；最后获取与当前图像的像素i相对应的参考背景图像中的像素j。
为了处理迭代搜索陷入局部极小值的问题，本发明利用多尺度图像包含的互补信息进行特征提取，具体参照如图4所示的本发明实施例提供的基于迭代搜索和多尺度融合的纹理变化特征示意图。
首先，将当前图像和参考背景图像的尺寸依次缩放为原始尺寸的1/2倍和1/4倍，在原始尺寸图像和缩放图像上都进行特征提取；其次，将三种尺度的特征在原始尺度上进行融合，融合算子为中值运算子。
进一步地，所述异类特征为亮度变化特征，所述对当前图像和所述参考背景图像进行迭代搜索和多尺度融合获取异类特征包括：
根据公式(2)计算所述亮度变化特征：
BVi＝(αi-1)||OEj|| (2)
其中，BVi为所述亮度变化特征，αi为所述当前像素的亮度与所述背景像素的亮度的比值，Ej为所述背景像素的RGB的颜色值，||OEj||为原点O与Ej的直线距离。
这里，将RGB空间中当前像素与参考背景像素的差异分解为亮度变化特征BV和色度变化特征CV，具体参照如图5所示的本发明实施例提供的RGB颜色模型示意图。如图5所示，对于当前图像I中的像素i∈I，计算Ii相对于参考背景像素值Ej的亮度变化。令[IR(i),IG(i),IB(i)]表示当前像素i的RGB颜色值，[ER(j),EG(j),EB(j)]表示对应背景像素j的RGB颜色值。具体过程为：首先计算当前像素亮度与背景亮度的比值αi，αi由公式(3)可知；其次，像素i的亮度变化特征BVi为αiEj相对于Ej的有符号距离，具体由公式(2)可知：
由公式(2)可知，||OEj||表示原点O与Ej的直线距离，如果当前像素亮度等于背景亮度，则BVi＝0。如果当前像素亮度小于背景亮度，则BVi<0。如果当前像素亮度大于背景亮度，则BVi>0。因此，亮度变化BVi反映了当前像素和对应背景像素在亮度上的差异。
进一步地，所述异类特征为色度变化特征，所述对当前图像和所述参考背景图像进行迭代搜索和多尺度融合获取异类特征包括：
根据公式(4)计算所述色度变化特征：
其中，CVi为所述色度变化特征，αi为所述当前像素的亮度与所述背景像素的亮度的比值，[IR(i),IG(i),IB(i)]为所述当前像素的RGB的颜色值，[ER(j),EG(j),EB(j)]为所述背景像素的RGB的颜色值。
这里，基于迭代搜索和多尺度融合的亮度变化特征和色度变化特征的具体过程如下：首先，将当前图像和参考背景图像依次缩放为原始尺寸的1/2倍和1/4倍，在原始尺寸图像和缩放图像上都进行特征提取；其次，将三种尺度的特征在原始尺度上进行融合，得到最终的亮度变化特征和色度变化特征。具体参照如图6所示的本发明实施例提供的亮度变化特征和色度变化特征示意图。
BVi和CVi都是RGB颜色空间中的距离，有相同的测量单位。本发明将这两个特征的取值直接量化为整数，可以实现高效率的核密度估计。
由于亮度变化特征、色度变化特征和纹理变化特征反映了图像不同侧面的特性，在给定像素类别标记C的情况下，这三种特征的概率分布条件独立，由公式(5)可知：
p(BV,CV,TV|C)＝p(BV|C)p(CV|C)p(TV|C) (5)
其中，所述类别标记C可以是前景类或背景类。
进一步地，所述利用所述异类特征的条件独立性计算前景类的条件概率密度和背景类的条件概率密度包括：
根据公式(6)计算所述前景类的条件概率密度：
p(BV|FG)＝p(BV|CV>τCV或TV>τTV),
p(CV|FG)＝p(CV|BV>τBV或TV>τTV), (6)
p(TV|FG)＝p(TV|BV>τBV或CV>τCV),
其中，FG为所述前景类，p(BV|FG)为在所述前景类的条件下所述亮度变化特征的概率密度，p(CV|FG)为在所述前景类的条件下所述色度变化特征的概率密度，p(TV|FG)为在所述前景类的条件下所述纹理变化特征的概率密度，τBV为所述亮度变化特征的阈值，τCV为所述色度变化特征的阈值，τTV为所述纹理变化特征的阈值。
这里，亮度变化特征、色度变化特征和纹理变化特征在当前图像中，选择可信前景像素，累积并持续更新三种特征的频率直方图，利用多视角学习方法来估计前景类的条件概率密度。
由公式(6)可知，如果亮度变化特征、色度变化特征和纹理变化特征中的其中一个特征的取值足够大，表明该像素是可信前景像素，可以加入频率直方图，用来估计其他特征的前景类条件概率密度。在本发明实施例中，设定τCV＝20、τTV＝3.6，这里表示在整幅图像中BV的中值，用于补偿图像的全局亮度变化。
进一步地，所述利用所述异类特征的条件独立性计算前景类的条件概率密度和背景类的条件概率密度还包括：
从所述当前图像中获取可信前景区域；
对所述可信前景区域进行膨胀得到膨胀的可信前景区域；
从所述当前图像中，将位于所述膨胀的可信前景区域之外的区域作为候选背景区域，并且根据所述候选背景区域计算所述背景类的条件概率密度。
这里，候选背景获取方法具体参照如图7所示的本发明实施例提供的候选背景获取方法流程图。如果当前图像中的某些像素的特征满足BV>τBV或CV>τCV或TV>τTV，那么这些像素属于可信前景区域。
图8为本发明实施例提供的异类特征频率直方图。如图8所示，图a和图d为亮度变化特征，图b和图e为色度变化特征，图c和图f为纹理变化特征。图a、图b和图c是基于ground-truth的特征频率直方图，图d、图e和图f是基于多视角学习的特征频率直方图。
这里，利用核密度估计，建模前景类条件概率密度和背景类条件概率密度，将亮度变化和色度变化的取值量化为整数，将纹理变化特征的取值量化为0.1间隔，采用高斯核函数，将三种特征的核宽度分别设为σBV＝2.0、σCV＝2.0和σTV＝0.2。
进一步地，所述根据前景似然、背景似然和先验概率利用贝叶斯规则计算前景的后验概率和背景的后验概率包括：
根据公式(7)计算所述前景的后验概率：
其中，Pi(FG|x)为所述前景的后验概率，p(x|C)为所述前景似然或背景似然，Pi(C)为所述前景的先验概率或所述背景的先验概率。
进一步地，所述根据前景似然、背景似然和先验概率利用贝叶斯规则计算前景的后验概率和背景的后验概率包括：
根据公式(8)计算所述背景的后验概率：
Pi(BG|x)＝1-Pi(FG|x) (8)
其中，Pi(FG|x)为所述前景的后验概率，Pi(BG|x)为所述背景的后验概率。
这里，先验概率可以是空间相异的，与场景中的树木、建筑物、天空等区域相比，道路区域应该有更大的前景先验概率。先验概率还可以是随时间变化的，如果最近一段时间，某个像素比前一段时间更加频繁地被标记为前景，则它的前景先验概率增大，否则它的前景先验概率减小。因此，本发明基于先前图像的标记结果，构建一个动态先验模型，具体由公式(9)可知：
Pi,t+1(FG)＝(1-ρ)Pi,t(FG)+ρLi,t (9)
其中，Pi,t+1(FG)为像素i在t+1时刻的前景先验概率，Pi,t(FG)为像素i在t时刻的前景先验概率，Li,t表示像素i在t时刻的标记，ρ为学习率参数。
如果像素i在t时刻被标记为前景，则Li,t＝1；如果像素i在t时刻被标记为背景，则Li,t＝0。ρ是学习率参数，将ρ设定为0.001。在系统启动时，Pi,t(FG)设定为0.2。
图9为本发明实施例提供的图像标记结果示意图。如图9所示，图a为像素的前景先验概率，图b为像素的前景后验概率。从图a可以看出，道路区域比树木区域有更大的前景先验概率。从图b可以看出，真实的前景目标区域比其他区域有更大的前景后验概率。
进一步地，所述利用所述前景的后验概率、所述背景的后验概率和时空一致性约束构建马尔科夫随机场模型的能量函数包括：
根据公式(10)计算所述能量函数：
其中，f为标记过程，E(f)为所述能量函数，Di(fi)为数据项，W(fi,fu)为平滑项。
这里，令I为当前图像中的像素集，L为标记集。标记为每个像素的估计值，将前景的估计值标记为1，背景的估计值标记为0。所述标记过程f即是为每个像素i∈I赋予一个标记fi∈L。在马尔科夫随机场框架下，标记可以在图像空间中缓慢变化，但是在一些位置，例如目标边界，标记可以快速变化，标记的质量取决于能量函数E(f)。
由公式(10)可知，N表示图模型结构中的边集，Di(fi)是数据项，它衡量将标记fi赋给像素i的代价，W(fi,fu)是平滑项，它衡量将标记fi和fu赋给空间相邻的两个像素i和u的代价。使能量函数最小化的标记对应于马尔科夫随机场的最大后验估计。
数据项Di(fi)由两部分组成。第一部分Di 1(fi)与每个像素属于前景的后验概率和属于背景的后验概率有关，即：
其中，数据项Di(fi)对每个像素施加约束，鼓励标记与像素观测值一致。
第二部分为标记施加时域一致性约束。假设在连续图像中一对关联像素应该有相同的标记。在计算光流时，将当前图像(即t时刻的图像)反向映射到前一帧图像(即t-1时刻的图像)，使每个当前像素i∈I与前一帧图像中的像素v关联。由于标记fv已知，由公式(12)可知：
其中，γ>0是一个权值参数。由于噪声、大运动、边界效应等的影响，将γ设定为γ＝0.5。
将两部分结合，数据项变为但是应当注意，如果视频的帧率很低，时域一致性约束将不可用，于是
平滑项W(fi,fu)鼓励标记的空间一致性。如果两个空间相邻像素有不同的标记，需要付出代价。具体由公式(13)可知：
其中，φ＝5.0是权值参数，Z(Ii,Iu)是受像素i和u的亮度差控制的递减函数。函数Z由公式(14)可知：
其中，σI为方差参数，σI设定为400。
图10为本发明实施例提供的前景和背景的分割结果示意图。
如图10所示，第一列为实施例编号，第二列为原始图像，第三列为前景检测结果，第四列为ground-truth。根据定量分析，本发明的平均召回率(recall)为0.8271，平均精度(precision)为0.8316，平均F-measure为0.8252。
图中包含运动阴影、光照变化、图像噪声等干扰，本发明提出的基于多视角学习的鲁棒性前景检测方法具有较强的鲁棒性，可以克服这些干扰，并准确得到前景检测结果。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种基于多视角学习的鲁棒性前景检测方法，其特征在于，所述方法包括：
将输入视频通过时域中值滤波方法获取参考背景图像，对当前图像和所述参考背景图像进行迭代搜索和多尺度融合获取异类特征；
利用所述异类特征的条件独立性计算前景类的条件概率密度和背景类的条件概率密度，并且根据前景似然、背景似然和先验概率利用贝叶斯规则计算前景的后验概率和背景的后验概率；
通过所述前景的后验概率、所述背景的后验概率和时空一致性约束构建马尔科夫随机场模型的能量函数，利用置信传播算法将所述能量函数最小化得到前景和背景的分割结果。
2.根据权利要求1所述的方法，其特征在于，所述将输入视频通过时域中值滤波方法获取参考背景图像包括：
读取所述输入视频的每帧图像；
将所述每帧图像通过时域中值滤波方法获取阈值时间窗口内各个像素的中值；
根据所述各个像素的中值得到所述参考背景图像。
3.根据权利要求1所述的方法，其特征在于，所述异类特征为纹理变化特征，所述对当前图像和所述参考背景图像进行迭代搜索和多尺度融合获取异类特征包括：
根据下式计算所述纹理变化特征：
<mrow>
<msub>
<mi>TV</mi>
<mi>i</mi>
</msub>
<mo>=</mo>
<msqrt>
<mrow>
<munder>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mi>n</mi>
<mo>&Element;</mo>
<mi>N</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
</mrow>
</munder>
<mrow>
<mi>n</mi>
<mo>&Element;</mo>
<mi>N</mi>
<mrow>
<mo>(</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
</mrow>
</munder>
<mrow>
<mo>{</mo>
<mrow>
<msup>
<mrow>
<mo>(</mo>
<mrow>
<mfrac>
<mrow>
<msub>
<mi>I</mi>
<mi>R</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>m</mi>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msub>
<mi>I</mi>
<mi>R</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
<mo>-</mo>
<mfrac>
<mrow>
<msub>
<mi>E</mi>
<mi>R</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>n</mi>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msub>
<mi>E</mi>
<mi>R</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
</mrow>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mrow>
<mo>(</mo>
<mrow>
<mfrac>
<mrow>
<msub>
<mi>I</mi>
<mi>G</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>m</mi>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msub>
<mi>I</mi>
<mi>G</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
<mo>-</mo>
<mfrac>
<mrow>
<msub>
<mi>E</mi>
<mi>G</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>n</mi>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msub>
<mi>E</mi>
<mi>G</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
</mrow>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mrow>
<mo>(</mo>
<mrow>
<mfrac>
<mrow>
<msub>
<mi>I</mi>
<mi>B</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>m</mi>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msub>
<mi>I</mi>
<mi>B</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
<mo>-</mo>
<mfrac>
<mrow>
<msub>
<mi>E</mi>
<mi>B</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>n</mi>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msub>
<mi>E</mi>
<mi>B</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
</mrow>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
<mo>}</mo>
</mrow>
</mrow>
</msqrt>
</mrow>
其中，TVi为所述纹理变化特征，i为当前像素，[IR(i),IG(i),IB(i)]为所述当前像素的颜色模型RGB的颜色值，j为所述当前像素对应的背景像素，[ER(j),EG(j),EB(j)]为所述背景像素的RGB的颜色值，m∈N(i)为所述当前像素的空间邻域，n∈N(j)为所述背景像素的空间邻域；IR(m)、IG(m)、IB(m)分别表示所述空间邻域的像素m的颜色模型R、G、B的颜色值，ER(n)、EG(n)、EB(n)分别表示所述空间邻域的像素n的颜色模型R、G、B的颜色值。
4.根据权利要求3所述的方法，其特征在于，所述异类特征为亮度变化特征，所述对当前图像和所述参考背景图像进行迭代搜索和多尺度融合获取异类特征包括：
根据下式计算所述亮度变化特征：
BVi＝(αi-1)||OEj||
其中，BVi为所述亮度变化特征，αi为所述当前像素的亮度与所述背景像素的亮度的比值，Ej为所述背景像素的RGB的颜色值，||OEj||为原点O与Ej的直线距离。
5.根据权利要求4所述的方法，其特征在于，所述异类特征为色度变化特征，所述对当前图像和所述参考背景图像进行迭代搜索和多尺度融合获取异类特征包括：
根据下式计算所述色度变化特征：
<mrow>
<msub>
<mi>CV</mi>
<mi>i</mi>
</msub>
<mo>=</mo>
<msqrt>
<mrow>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>I</mi>
<mi>R</mi>
</msub>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
<mo>-</mo>
<msub>
<mi>&alpha;</mi>
<mi>i</mi>
</msub>
<msub>
<mi>E</mi>
<mi>R</mi>
</msub>
<mo>(</mo>
<mi>j</mi>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>I</mi>
<mi>G</mi>
</msub>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
<mo>-</mo>
<msub>
<mi>&alpha;</mi>
<mi>i</mi>
</msub>
<msub>
<mi>E</mi>
<mi>G</mi>
</msub>
<mo>(</mo>
<mi>j</mi>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>I</mi>
<mi>B</mi>
</msub>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
<mo>-</mo>
<msub>
<mi>&alpha;</mi>
<mi>i</mi>
</msub>
<msub>
<mi>E</mi>
<mi>B</mi>
</msub>
<mo>(</mo>
<mi>j</mi>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
</msqrt>
</mrow>
其中，CVi为所述色度变化特征，αi为所述当前像素的亮度与所述背景像素的亮度的比值，[IR(i),IG(i),IB(i)]为所述当前像素的RGB的颜色值，[ER(j),EG(j),EB(j)]为所述背景像素的RGB的颜色值。
6.根据权利要求1所述的方法，其特征在于，所述利用所述异类特征的条件独立性计算前景类的条件概率密度和背景类的条件概率密度包括：
根据下式计算所述前景类的条件概率密度：
p(BV|FG)＝p(BV|CV＞τCV或TV＞τTV),
p(CV|FG)＝p(CV|BV＞τBV或TV＞τTV),
p(TV|FG)＝p(TV|BV＞τBV或CV＞τCV),
其中，FG为所述前景类，p(BV|FG)为在所述前景类的条件下亮度变化特征的概率密度，p(CV|FG)为在所述前景类的条件下色度变化特征的概率密度，p(TV|FG)为在所述前景类的条件下纹理变化特征的概率密度，τBV为所述亮度变化特征的阈值，τCV为所述色度变化特征的阈值，τTV为所述纹理变化特征的阈值；BV为所述亮度变化特征，CV为所述色度变化特征，TV为所述纹理变化特征。
7.根据权利要求6所述的方法，其特征在于，所述利用所述异类特征的条件独立性计算前景类的条件概率密度和背景类的条件概率密度还包括：
从所述当前图像中获取可信前景区域；
对所述可信前景区域进行膨胀得到膨胀的可信前景区域；
从所述当前图像中，将位于所述膨胀的可信前景区域之外的区域作为候选背景区域，并且根据所述候选背景区域计算所述背景类的条件概率密度。
8.根据权利要求1所述的方法，其特征在于，所述根据前景似然、背景似然和先验概率利用贝叶斯规则计算前景的后验概率和背景的后验概率包括：
根据下式计算所述前景的后验概率：
<mrow>
<msub>
<mi>P</mi>
<mi>i</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>F</mi>
<mi>G</mi>
<mo>|</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<mi>p</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>|</mo>
<mi>F</mi>
<mi>G</mi>
<mo>)</mo>
</mrow>
<mo>&times;</mo>
<msub>
<mi>P</mi>
<mi>i</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>F</mi>
<mi>G</mi>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msub>
<mi>&Sigma;</mi>
<mrow>
<mi>C</mi>
<mo>=</mo>
<mi>F</mi>
<mi>G</mi>
<mo>,</mo>
<mi>B</mi>
<mi>G</mi>
</mrow>
</msub>
<mi>p</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>|</mo>
<mi>C</mi>
<mo>)</mo>
</mrow>
<mo>&times;</mo>
<msub>
<mi>P</mi>
<mi>i</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>C</mi>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
</mrow>
其中，Pi(FG|x)为所述前景的后验概率，p(x|C)为所述前景似然或背景似然，Pi(C)为所述前景的先验概率或所述背景的先验概率；p(x|FG)表示所述前景似然，Pi(FG)表示所述前景的先验概率；FG为所述前景类，BG为所述背景类，C表示类别标记，i表示像素，x表示特征量。
9.根据权利要求8所述的方法，其特征在于，所述根据前景似然、背景似然和先验概率利用贝叶斯规则计算前景的后验概率和背景的后验概率包括：
根据下式计算所述背景的后验概率：
Pi(BG|x)＝1-Pi(FG|x)
其中，Pi(FG|x)为所述前景的后验概率，Pi(BG|x)为所述背景的后验概率。
10.根据权利要求1所述的方法，其特征在于，所述利用所述前景的后验概率、所述背景的后验概率和时空一致性约束构建马尔科夫随机场模型的能量函数包括：
根据下式计算所述能量函数：
<mrow>
<mi>E</mi>
<mrow>
<mo>(</mo>
<mi>f</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>&Element;</mo>
<mi>I</mi>
</mrow>
</munder>
<msub>
<mi>D</mi>
<mi>i</mi>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>f</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>+</mo>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>u</mi>
<mo>)</mo>
<mo>&Element;</mo>
<mi>N</mi>
</mrow>
</munder>
<mi>W</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>f</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<msub>
<mi>f</mi>
<mi>u</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>,</mo>
</mrow>
其中，f为标记过程，E(f)为所述能量函数，Di(fi)为数据项，W(fi,fu)为平滑项；I表示当前图像中的像素集，N表示图模型结构中的边集，u表示与i相邻的像素，fi表示为像素i赋予标记，fu表示为像素u赋予标记。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510174979.9A CN104766065B (zh) | 2015-04-14 | 2015-04-14 | 基于多视角学习的鲁棒性前景检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510174979.9A CN104766065B (zh) | 2015-04-14 | 2015-04-14 | 基于多视角学习的鲁棒性前景检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104766065A CN104766065A (zh) | 2015-07-08 |
| CN104766065B true CN104766065B (zh) | 2018-04-27 |
Family
ID=53647879
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510174979.9A Expired - Fee Related CN104766065B (zh) | 2015-04-14 | 2015-04-14 | 基于多视角学习的鲁棒性前景检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104766065B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107209931B (zh) * | 2015-05-22 | 2020-03-10 | 华为技术有限公司 | 颜色校正装置和方法 |
| CN106097336B (zh) * | 2016-06-07 | 2019-01-22 | 重庆科技学院 | 基于置信传播和自相似差异测度的前后景立体匹配方法 |
| CN108073879A (zh) * | 2016-11-18 | 2018-05-25 | 北京体基科技有限公司 | 基于图像种子区域识别手部区域的方法及装置 |
| CN106815299A (zh) * | 2016-12-09 | 2017-06-09 | 中电科华云信息技术有限公司 | 基于分布式数据流的核密度估计离群点的检测方法 |
| CN109272012A (zh) * | 2018-08-01 | 2019-01-25 | 天津大学 | 基于遥感图像的渤海湾污染区域判定的快速算法 |
| CN110519532A (zh) * | 2019-09-02 | 2019-11-29 | 中移物联网有限公司 | 一种信息获取方法及电子设备 |
| CN111931584B (zh) * | 2020-07-14 | 2024-04-09 | 北京京东叁佰陆拾度电子商务有限公司 | 用于分割点云的方法、装置、设备及计算机可读存储介质 |
| CN114972518A (zh) * | 2022-07-14 | 2022-08-30 | 中国人民解放军国防科技大学 | 实时目标位姿跟踪方法、装置、计算机设备和存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101398894A (zh) * | 2008-06-17 | 2009-04-01 | 浙江师范大学 | 机动车车牌自动识别方法及其实现装置 |
| CN102542543A (zh) * | 2012-01-06 | 2012-07-04 | 西安电子科技大学 | 基于块相似性的交互式图像分割方法 |
| CN103729620A (zh) * | 2013-12-12 | 2014-04-16 | 北京大学 | 一种基于多视角贝叶斯网络的多视角行人检测方法 |
| CN104361339A (zh) * | 2014-11-27 | 2015-02-18 | 北京市新技术应用研究所 | 掌形图形提取及识别方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080298643A1 (en) * | 2007-05-30 | 2008-12-04 | Lawther Joel S | Composite person model from image collection |
-
2015
- 2015-04-14 CN CN201510174979.9A patent/CN104766065B/zh not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101398894A (zh) * | 2008-06-17 | 2009-04-01 | 浙江师范大学 | 机动车车牌自动识别方法及其实现装置 |
| CN102542543A (zh) * | 2012-01-06 | 2012-07-04 | 西安电子科技大学 | 基于块相似性的交互式图像分割方法 |
| CN103729620A (zh) * | 2013-12-12 | 2014-04-16 | 北京大学 | 一种基于多视角贝叶斯网络的多视角行人检测方法 |
| CN104361339A (zh) * | 2014-11-27 | 2015-02-18 | 北京市新技术应用研究所 | 掌形图形提取及识别方法 |
Non-Patent Citations (6)
| Title |
|---|
| A Statistical Approach for Real-time Robust Background Subtraction and Shadow Detection;Thanarat Horprasert etal;《IEEE Frame Rate Workshop》;19991231;第1-19页 * |
| Background and Foreground Modeling Using Nonparametric Kernel Density Estimation for Visual Surveillance;Ahmed Elgammal etal;《Proceedings of the IEEE》;20021231;第1151-1163页 * |
| Bayesian Modeling of Dynamic Scenes for Object Detection;Yaser Sheikh etal;《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》;20051130;第27卷(第5期);第1778-1791页 * |
| Density-Based Multifeature Background Subtraction with Support Vector Machine;Bohyung Han etal;《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》;20120531;第34卷(第5期);第1017-1022页 * |
| 智能视觉监控中多运动目标检测与跟踪方法研究;万琴;《中国博士学位论文全文数据库 信息科技辑》;20101215;第I138-103页 * |
| 面向智能视频监控的事件检测建模及优化;邱靖邦;《中国优秀硕士学位论文全文数据库 信息科技辑》;20120315;第I138-2291页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104766065A (zh) | 2015-07-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104766065B (zh) | 基于多视角学习的鲁棒性前景检测方法 | |
| CN110119728B (zh) | 基于多尺度融合语义分割网络的遥感图像云检测方法 | |
| WO2016165064A1 (zh) | 基于多视角学习的鲁棒性前景检测方法 | |
| US10096122B1 (en) | Segmentation of object image data from background image data | |
| Crabb et al. | Real-time foreground segmentation via range and color imaging | |
| US9129380B2 (en) | Background understanding in video data | |
| Maddalena et al. | The 3dSOBS+ algorithm for moving object detection | |
| Wang et al. | A multi-view learning approach to foreground detection for traffic surveillance applications | |
| WO2021008019A1 (zh) | 姿态跟踪方法、装置及计算机可读存储介质 | |
| CN102542571B (zh) | 一种运动目标检测方法及装置 | |
| Cuevas et al. | Improved background modeling for real-time spatio-temporal non-parametric moving object detection strategies | |
| Ajith et al. | Unsupervised segmentation of fire and smoke from infra-red videos | |
| KR101436369B1 (ko) | 적응적 블록 분할을 이용한 다중 객체 검출 장치 및 방법 | |
| Sengar et al. | Motion detection using block based bi-directional optical flow method | |
| CN112465021B (zh) | 基于图像插帧法的位姿轨迹估计方法 | |
| CN105741319B (zh) | 基于盲目更新策略和前景模型的改进视觉背景提取方法 | |
| Devi et al. | A survey on different background subtraction method for moving object detection | |
| CN111368883B (zh) | 基于单目摄像头的避障方法、计算装置及存储装置 | |
| CN107704864B (zh) | 基于图像对象性语义检测的显著目标检测方法 | |
| Zhang et al. | Dehazing with improved heterogeneous atmosphere light estimation and a nonlinear color attenuation prior model | |
| Lee et al. | Multiple moving object segmentation using motion orientation histogram in adaptively partitioned blocks for high-resolution video surveillance systems | |
| Chowdhury et al. | A background subtraction method using color information in the frame averaging process | |
| Lin et al. | Foreground object detection in highly dynamic scenes using saliency | |
| Al-Maadeed et al. | Robust human silhouette extraction with Laplacian fitting | |
| Guo et al. | A robust foreground segmentation method by temporal averaging multiple video frames |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| EXSB | Decision made by sipo to initiate substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20180427 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |