CN105427281A - 一种变化区域检测方法及装置 - Google Patents

Abstract

本申请提供了一种变化区域检测方法及装置，包括：获取场景的深度视频图像，所述深度视频图像包括深度信息；使用所述深度视频图像每帧的深度信息更新预先建立的第一周期深度背景模型和第二周期深度背景模型；所述第一周期比所述第二周期长；比较所述第一周期深度背景模型和所述第二周期深度背景模型，得到像素点变化大于预设第一阈值的点的集合；根据所述点的集合得到连通区域，将所述连通区域与预设第二阈值相比，检测得到变化区域。由于本申请是获取包括深度信息的深度视频图像，利用场景的深度信息对预先建立的深度背景模型进行更新，通过比较两个深度背景模型中像素点变化来检测得到变化区域，无需预先在场景中安装传感器，通用性更强。

Description

一种变化区域检测方法及装置

技术领域

本申请涉及计算机视觉技术领域，尤其涉及一种变化区域检测方法及装置。

背景技术

随着计算机视觉技术的不断发展，越来越多的应用场景需要进行三维变化检测。精确的三维长效变化检测有其重要的应用意义，尤其是在一些涉及安全和敏感信息的设备上，例如：银行的ATM机，当插卡处、出钞口被加装异物时，及时的检测并报警可以避免财产损失。

目前的变化检测方法，主要是利用特定的传感器，例如：在敏感区域安装特殊的感应器，当感应到该区域被覆盖或遮挡一定时间后报警，但这种方式的扩展性和通用性均不强。

现有技术不足在于：

现有的变化检测方法利用预先安装的传感器进行检测，通用性较弱。

发明内容

本申请实施例提出了一种变化区域检测方法及装置，以解决现有技术中变化检测方法利用预先安装的传感器进行检测，通用性较弱的技术问题。

本申请实施例提供了一种变化区域检测方法，包括如下步骤：

获取场景的深度视频图像，所述深度视频图像包括深度信息；

使用所述深度视频图像每帧的深度信息更新预先建立的第一周期深度背景模型和第二周期深度背景模型；所述第一周期比所述第二周期长；

比较所述第一周期深度背景模型和所述第二周期深度背景模型，得到像素点变化大于预设第一阈值的点的集合；

根据所述点的集合得到连通区域，将所述连通区域与预设第二阈值相比，检测得到变化区域。

本申请实施例提供了一种变化区域检测装置，包括：

获取模块，用于获取场景的深度视频图像，所述深度视频图像包括深度信息；

更新模块，用于使用所述深度视频图像每帧的深度信息更新预先建立的第一周期深度背景模型和第二周期深度背景模型；所述第一周期比所述第二周期长；

比较模块，用于比较所述第一周期深度背景模型和所述第二周期深度背景模型，得到像素点变化大于预设第一阈值的点的集合；

检测模块，用于根据所述点的集合得到连通区域，将所述连通区域与预设第二阈值相比，检测得到变化区域。

有益效果如下：

本申请实施例所提供的变化区域检测方法及装置，由于本申请实施例中是获取包括深度信息的深度视频图像，利用场景的深度信息对预先建立的第一周期深度背景模型和第二周期深度背景模型进行更新，通过比较两个深度背景模型中像素点变化来检测得到变化区域，无需预先在场景中安装传感器，从而可以简单方便的检测出场景内的变化区域，通用性更强。

附图说明

下面将参照附图描述本申请的具体实施例，其中：

图1示出了本申请实施例中变化区域检测方法实施的流程示意图；

图2示出了本申请实施例中具体场景示意图；

图3示出了本申请实施例中变化区域检测装置的结构示意图。

具体实施方式

为了使本申请的技术方案及优点更加清楚明白，以下结合附图对本申请的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本申请的一部分实施例，而不是所有实施例的穷举。并且在不冲突的情况下，本说明中的实施例及实施例中的特征可以互相结合。

发明人在发明过程中注意到：

对于变化检测方法还可以利用基于颜色的视频分析技术，但该方法只使用传感器的彩色信息，对光照变化的稳定性较差，当光照突然发生变化时，会产生大量误检前景，从而会因为光照变化而造成误检。因此，当前景和背景十分相似时，基于颜色的视频分析技术进行变化检测的方法准确率较低。

针对上述不足，本申请实施例提出了一种变化区域检测方法及装置，通过RGBD传感器，充分利用传感器获得深度信息，实现计算机视觉的长效三维变化检测，下面进行说明。

图1示出了本申请实施例中变化区域检测方法实施的流程示意图，如图所示，所述变化区域检测方法可以包括如下步骤：

步骤101、获取场景的深度视频图像，所述深度视频图像包括深度信息；

步骤102、使用所述深度视频图像每帧的深度信息更新预先建立的第一周期深度背景模型和第二周期深度背景模型；所述第一周期比所述第二周期长；

步骤103、使用所述深度图像每帧的深度信息更新所述第一周期深度背景模型和所述第二周期深度背景模型；

步骤104、比较所述第一周期深度背景模型和所述第二周期深度背景模型，得到像素点变化大于预设阈值的点的集合；

步骤105、根据所述点的集合得到连通区域，将所述连通区域与预设第二阈值相比，检测得到变化区域。

具体实施中，可以通过场景的监控摄像头采集场景信息，所述摄像头可以为RGBD传感器，通过所述RGBD传感器可以获取到场景的深度视频图像，所述深度视频图像中即可以包括图像颜色信息，还可以包括各个像素点的深度信息。

根据所述深度视频图像进行背景建模，建立两个深度背景模型，具体为：第一周期深度背景模型和第二周期深度背景模型。其中，第一周期深度背景模型可以指利用长时间段内的样本统计信息的背景表示，第二周期深度背景模型可以指利用短时间段内样本统计信息的背景表示。所述第一周期深度背景模型和所述第二周期深度背景模型可以分别称为第一周期深度背景模型和第二周期深度背景模型，所述第一周期比所述第二周期长；例如：第一周期深度背景模型可以为以1分钟为周期的样本进行建模，即，1分钟采集一次视频图像进行建模；第二周期深度背景模型可以为以1秒为周期的样本进行建模，即，1秒钟采集一次视频图像进行建模。

在建立深度背景模型之后，可以使用获取到的深度视频图像中每帧的深度信息来更新所述第一周期深度背景模型和所述第二周期深度背景模型。具体更新时，可以在第一周期(长计时周期)内更新所述第一周期深度背景模型，在第二周期(短计时周期)内更新所述第二周期背景模型。例如：假设第一周期深度背景模型是以每1分钟采集的样本建立的，那么在更新所述第一周期深度背景模型时可以以1分钟为周期进行；假设第二周期深度背景模型是以每1秒钟采集的样本建立的，那么在更新所述第二周期深度背景模型时可以以1秒钟为周期进行。

本申请实施例可以利用具有不同更新频率的两个混合高斯模型进行背景建模，分别对应第一周期背景模型和第二周期背景模型。其中一个背景模型的更新频率较快，对应第二周期背景模型；另一个背景模型的更新频率较慢，对应第一周期背景模型。

通过比较所述第一周期深度背景模型和所述第二周期深度背景模型，即可根据深度信息中每个点的变化情况，得到变化大的点的集合，所述变化大的点可以为大于预设阈值的点。

根据这些变化大的点的集合，可以得到所述视频图像的连通区域，将所述连通区域与预设第二阈值相比，即可确定哪些区域是变化区域。当所述连通区域的面积大于预设第二阈值时，则可以判定该区域为变化区域。

本申请实施例中，使用RGBD传感器得到场景的深度图像，利用混合高斯模型进行背景建模，建立的深度背景模型包括第一周期背景模型和第二周期背景模型；将接收的每帧深度信息用于更新第一周期背景模型和第二周期背景模型，比较第一周期背景模型和第二周期背景模型，根据深度信息中每个点的变化情况，得到变化大的点的集合，从这个集合中得到连通区域，由此，检测出变化的区域。

由于本申请实施例中是获取包括深度信息的深度视频图像，利用场景的深度信息进行检测，通过比较两个深度背景模型中像素点变化来检测得到变化区域，无需预先在场景中安装传感器，从而可以简单方便的检测出场景内所有变化区域，通用性更强。

除此之外，由于本申请实施例中获取的是场景的深度视频图像，其中包括深度信息，利用深度视频图像建立两个深度背景模型进行比较，而不仅仅是利用颜色信息检测变化，因此，当前景和背景的颜色十分相似或相同时，采用本申请实施例所提供的方法也可以有效的检测出变化区域，从而提高了变化区域检测的精确度。

实施中，在所述获取场景的深度视频图像之前，所述方法可以进一步包括：

利用混合高斯模型对预先获取的深度视频图像建立深度背景模型，所述深度背景模型包括第一周期深度背景模型和第二周期深度背景模型。

具体实施中，所述根据所述深度视频图像建立深度背景模型，具体可以为：利用混合高斯模型进行背景建模，所述深度视频图像中的每个像素点的值在序列图像中的变化通过高斯分布描述。

混合高斯背景建模是基于像素样本统计信息的背景表示方法，利用像素在较长时间内大量样本值的概率密度等统计信息(如模式数量、每个模式的均值和标准差)表示背景，在混合高斯背景模型中，认为像素之间的深度信息互不相关，对各像素点的处理都是相互独立的。

对于视频深度图像中的每一个像素点，其值在序列图像中的变化可看作是不断产生像素值的随机过程，即用高斯分布来描述每个像素点的颜色呈现规律。

对于多峰高斯分布模型，所述深度视频图像的每个像素点按不同权值的多个高斯分布的叠加来建模，每种高斯分布对应一个可能产生像素点所呈现深度的状态，各个高斯分布的权值和分布参数随时间更新。

实施中，所述利用混合高斯模型进行背景建模后，对于随机变量X的观测数据集{X₁，X₂，...，X_n}，X_t＝(d_t)为t时刻像素的样本，d_t为该像素处的深度值，单个采样点X_t可以服从以下混合高斯分布概率密度函数：

$p\left(x_t\right)={\mathrm{\Σ}}_{i=1}^k{w}_{i,t}*\mathrm{\η}(x_t,{\mathrm{\μ}}_{i,t},{\mathrm{\τ}}_{i,t}),$

$\mathrm{\η}(x_t,{\mathrm{\μ}}_{i,t},{\mathrm{\τ}}_{i,t})=\frac{1}{|{\mathrm{\τ}}_{i,t}{|}^{1/2}}{e}^{-\frac{1}{2}{(x_t-{\mathrm{\μ}}_{i,t})}^T{\mathrm{\τ}}_{i,t}^{-1}(x_t-{\mathrm{\μ}}_{i,t})},$

τ_i，t＝δ_i，t ²I，

其中，k为分布模式总数，η(x_t，μ_i，t，τ_i，t)为t时刻第i个高斯分布，μ_i，t为均值，τ_i，t为协方差矩阵，δ_i，t为方差，I为三维单位矩阵，ω_i，t为t时刻第i个高斯分布的权重。

实施中，所述使用所述深度视频图像每帧的深度信息更新所述第一周期深度背景模型和所述第二周期深度背景模型，具体可以为：

确定与所述深度视频图像中像素点的深度值匹配的分布模式；

将各模式的权值按照以下公式更新：W_k，t＝(1-α)*W_k，t-1+α*M_k，t；其中，W_k，t为模式的权值，α为学习频率，对于匹配的模式M_k，t＝1，不匹配的模式M_k，t＝0；

按照以下公式更新匹配模式的参数：μ_t＝(1-ρ)*μ_t-1+ρ*X_t；其中，ρ＝α*η(X_t|μ_k，σ_k)，μ_t为均值，σ为标准差，X_t为t时刻该像素点处的深度值。

具体实施中，每个新的像素点的像素值X_t与当前k个模式按以下公式进行比较，直至找到匹配所述像素值的分布模式，即，与该模式的均值偏差在2.5σ内：

|X_t-μ_i，t-1|≤2.5σ_i，t-1；

如果所匹配的模式符合预设的背景要求，则该像素点属于背景；否则，该像素属于前景。例如：假设某像素点一直没有变化，则可以认为该像素点属于背景。

各模式权值按以下公式更新：

W_k，t＝(1-α)*W_k，t-1+α*M_k，t；

对于匹配的模式M_k，t＝1，否则M_k，t＝0；其中，α是学习速率。

然后，各模式的权重进行归一化。

未匹配模式的均值μ和标准差σ不变，匹配模式的参数按照以下公式更新：

μ_t＝(1-ρ)*μ_t-1+ρ*X_t；

其中，ρ＝α*η(X_t|μ_k，σ_k)，μ_t为均值，σ为标准差，X_t为t时刻该像素点处的深度值。

如果没有找到匹配的分布模式，则将权重最小的模式替换，替换后该模式的均值为当前像素的深度值，标准差为预设的初始最大值，权重为预设的初始最小值。

最后，将各模式根据W_k，t/α²按降序排列，权重大、标准差小的模式排列靠前。

具体实施中，越靠前的模式越可能为符合实际场景的高斯分布，即越靠前的模式越可能为背景；而越靠后的模式则可能是噪声等干扰导致的，实际实施时可以设置排序靠前的一定数量的模式作为背景模型，而排序靠后的模式则忽略不计。

实施中，所述比较所述第一周期深度背景模型和所述第二周期深度背景模型，得到像素点变化大于预设第一阈值的点的集合，具体可以为：

比较所述第一周期背景模型和所述第二周期背景模型中每个像素点的均值μ，当两个均值的差大于预设第一阈值时，将所述像素点加入所述集合。

本申请实施例中，比较第一周期深度背景模型和第二周期深度背景模型，根据深度信息中每个点的变化情况，得到变化大的点的集合。两个深度背景模型的比较指的是比较每个像素点的均值μ，当该两个均值的差大于设定的阈值时，则加入变化大的点的集合。第一周期深度背景模型更新速率慢，第二周期深度背景模型的更新速率快，所以变化区域内两个背景模型的均值有较大差异。

实施中，所述点的集合组成二值图像，所述根据所述点的集合得到连通区域，将所述连通区域与预设第二阈值相比，检测得到变化区域，具体可以为：

对所述二值图像进行连通区域扫描，标记所有目标像素点并记录等价标记对；

在扫描结束后根据所述等价标记对连通区域进行修正，得到最终的连通区域；

当所述连通区域面积大于预设第二阈值时，确定所述连通区域为变化区域。

具体实施中，由于深度摄像头精度的问题，会产生不同程度的噪音，导致未变化的区域也可能产生较大的波动。因此，本申请实施例可以将变化大的点组成一幅二值图像。所谓二值图像，是指图像中每一个像素点只有两个可能的取值，首先对二值图像进行高斯平滑，然后对二值图像进行连通域检测。

首先，连通区域是对二值图像进行处理的，即，该图像只有黑(0)和白(255)两种颜色，这里假设目标为白色，背景为黑色。标记算法首先对二值图像进行一次完整的扫描，标记所有目标像素点的同时，得到并记录等价标记对。等价标记对(以下简称等价对)的产生是由于扫描次序的不同，导致开始时认为是两个不同的连通区域，后来随着扫描的深入，又发现这两个区域是连通的。所以，本申请实施例可以通过记录等价对，以表明它们隶属于同一个连通区域，以便第一次扫描结束后进行修正。

对所有等价对进行处理，得到最终的连通区域，当连通域面积大于设定的阈值，则判定此区域为变化的区域。

本申请实施例利用深度信息进行背景建模，对深度背景模型进行比较，而不是对前景二值图进行比较，通过提取的深度信息进行变化检测，当异物和背景的颜色相同时也可以检测出来。

为了便于本申请的实施，下面以实例进行说明。

实施例一、

本申请实施例可以使用深度相机(RGBD传感器)得到场景的深度图像，然后利用混合高斯模型进行背景建模，建立的背景模型可以包括第一周期深度背景模型(以下称长周期深度背景模型)和第二周期深度背景模型(以下称短周期深度背景模型)。

混合高斯背景建模是基于像素样本统计信息的背景表示方法，利用像素在较长时间内大量样本值的概率密度等统计信息(如模式数量、每个模式的均值和标准差)表示背景。在混合高斯背景模型中，认为像素之间的深度信息互不相关，对各像素点的处理都是相互独立的。

对于视频深度图像中的每一个像素点，其值在序列图像中的变化可看作是不断产生像素值的随机过程，即用高斯分布来描述每个像素点的颜色呈现规律。对于多峰高斯分布模型，深度图像的每一个像素点按不同权值的多个高斯分布的叠加来建模，每种高斯分布对应一个可能产生像素点所呈现深度的状态，各个高斯分布的权值和分布参数随时间更新。对于随机变量X的观测数据集{X₁，X₂，...，X_N}，X_t＝(d_t)为t时刻像素的样本，d_t为该像素处的深度值，则单个采样点x_t其服从的混合高斯分布概率密度函数：

$p\left(x_t\right)={\mathrm{\Σ}}_{i=1}^k{w}_{i,t}*\mathrm{\η}(x_t,{\mathrm{\μ}}_{i,t},{\mathrm{\τ}}_{i,t}),$

$\mathrm{\η}(x_t,{\mathrm{\μ}}_{i,t},{\mathrm{\τ}}_{i,t})=\frac{1}{|{\mathrm{\τ}}_{i,t}{|}^{1/2}}{e}^{-\frac{1}{2}{(x_t-{\mathrm{\μ}}_{i,t})}^T{\mathrm{\τ}}_{i,t}^{-1}(x_t-{\mathrm{\μ}}_{i,t})},$

τ_i，t＝δ_i，t ²I，

其中，k为分布模式总数，η(x_t，μ_i，t，τ_i，t)为t时刻第i个高斯分布，μ_i，t为其均值，τ_i，t为其协方差矩阵，δ_i，t为方差，I为三维单位矩阵，ω_i，t为t时刻第i个高斯分布的权重。

进行背景建模的详细算法流程可以如下：

1)每个新像素值Xt与当前k个模型按以下公式进行比较，直到找到匹配新像素值的分布模型，即，与该模型的均值偏差在2.5σ内：

|X_t-μ_i，t-1|≤2.5σ_i，t-1；

2)各模式权值按以下公式更新：

W_k，t＝(1-α)*W_k，t-1+α*M_k，t

其中α是学习速率，对于匹配的模式M_k，t＝1，否则M_k，t＝0；然后，各模式的权重进行归一化。

3)未匹配模式的均值μ与标准差σ不变，匹配模式的参数按照以下公式更新：

μ_t＝(1-ρ)*μ_t-1+ρ*X_t；

其中，ρ＝α*η(X_t|μ_k，σ_k)，μ_t为均值，σ为标准差，X_t为t时刻该像素点处的深度值。

4)如果第一步中没有任何模式匹配，则权重最小的模式被替换，即该模式的均值为当前像素的深度值，标准差为预设的初始最大值，权重为预设的初始最小值；

5)各模式根据W_k，t/α²按降序排列，权重大、标准差小的模式排列靠前。

本申请实施例可以利用具有不同更新频率的两个混合高斯模型进行背景建模，分别对应长周期背景模型和短周期背景模型。其中一个背景模型的更新频率较快，对应短周期背景模型；另一个背景模型的更新频率较慢，对应长周期背景模型。

比较长周期背景模型和短周期背景模型，根据深度信息中每个点的变化情况，得到变化大的点的集合。

两个背景模型的比较，指的是比较每个像素点的均值μ，当该两个均值的差大于设定的阈值时，则加入变化大的点的集合。长周期背景模型更新速率慢，短周期背景模型的更新速率快，所以变化区域内两个背景模型的均值有较大差异。

从变化大的点的集合中得到连通区域，由此检测出变化的区域。

由于深度摄像头精度的问题，会产生不同程度的噪音，导致未变化的区域也可能产生较大的波动。

由变化大的点可以组成一幅二值图像，所谓二值图像，是指图像中每一个像素点只有两个可能的取值，首先对二值图像进行高斯平滑，然后对二值图像进行连通域检测。

首先，连通区域是对二值图像进行处理的，即，该图像，只有黑(0)和白(255)两种颜色，这里，假设目标为白色，背景为黑色。

标记算法首先对二值图像进行一次完整的扫描，标记所有目标像素点的同时，得到并记录等价标记对。等价标记对(以下简称等价对)的产生是由于扫描次序的不同，导致开始时认为是两个不同的连通区域，后来随着扫描的深入，又发现这两个区域是连通的。所以，需要记录等价对，以表明它们隶属于同一个连通区域，以便第一次扫描结束后进行修正。

标记算法首先对二值图像的每一个像素进行8连通区域的标记，即：对任意一个像素的上、下、左、右、左上、右上、右下、左下，共8个相邻像素进行比较。由于不是每个像素都有8个相邻像素，对于一些特殊位置的像素点需要特殊考虑，其中包括：

(1)二值图像左上角的像素，由于是第一个要扫描的像素，无需进行8连通区域的检测，也无需考虑记录等价对的问题。

(2)二值图像第一行的像素，只需要考虑左边相邻像素的连通性，无需考虑记录等价对。

(3)二值图像第一列的像素，只需要考虑上和右上2个相邻像素的连通性。

(4)二值图像最后一列的像素，只需要考虑左、左上、上3个相邻像素的连通性。

除了以上4种情况，其它像素都需要考虑其8个相邻像素的连通性，如果出现不同连通标记的相邻像素，还需要考虑记录等价对的问题。

具体实施中，连通算法中的二值图像扫描步骤可以如下：

(1)标记图像左上角，即，第一行第一列的像素。如果其像素值为255，则标记该点的值为1，否则，开始扫描第一行第二列的像素。

(2)标记第一行的其它像素，此时，不会产生等价对的情况，不必考虑记录等价对。对该行的每一个像素，如果其值为255，检测左边像素是否为255，若是，则该点标记为左边像素点的标记；否则，该点的标记为前一个标记值加一；若该点的像素值为0，继续扫描下一个像素。

(3)对除了第一行以外的像素行进行标记，此时会出现等价对的情况，需要进行记录。

(3.1)首先对第一列进行处理，若该点像素值为0，则扫描该行下一个像素，否则，检测上、右上两个像素位置的像素值。若上被标记过，该点标记为上像素点的标记值。这时，再看右上是否被标记过，若也被标记过，比较上和右上的标记值是否相等，如果不相等，则记录上和右上为一个等价对，并将其记录在等价对记录表中。若上没有被标记，而右上被标记了，则该点标记为右上的标记值。如果上和右上都没有被标记，该点的标记值为上一个标记值加一。

(3.2)对中间列进行处理，若该像素的像素值为255，则检测左、左上、上、右上位置的像素值。若上述四个位置的像素值都为0，则该点的标记值为上一个标记值加一。如果上述四个位置中只有一个的像素值为255，则该点就标记为那个像素点的标记值。如果其中有m(m大于1，小于等于4)个像素点的像素值为255，则按照左、左上、上、右上的优先顺序来确定该点的标记值，然后对这m个像素位置的标记值进行等价对的分析，并进行相应的记录。

(3.3)对最后一列进行处理，步骤同上。

(3.4)依次扫描，直到所有像素值都被扫描。

(4)对等价记录表中的所有等价对进行处理，得到最终的连通区域标记。

当连通域面积大于设定的阈值，则确定该区域为变化的区域。

实施例二、

以银行自动存取款机所在的室内场景为例，下面进行说明。

图2示出了本申请实施例中具体场景示意图，如图所示，该场景内设置有一台自助存取款设备，自助存取款设备上方设置有用于监控的深度摄像头(未画出)。

所述深度摄像头持续将采集到的深度视频图像传输至后台服务器，所述后台服务器获取到所述深度视频图像之后，利用混合高斯模型进行建模。具体的建模包括两部分：

一部分是，将所述深度视频图像以1分钟为周期，例如：12：00：00采集到的图像、12：01：00采集到的图像、12：02：00采集到的图像、...，作为样本建立模型，得到长周期深度背景模型；

另一部分是，将所述深度视频图像以1秒钟为周期，例如：12：00：00采集到的图像、12：00：01采集到的图像、12：00：02采集到的图像...，作为样本建立模型，得到短周期深度背景模型。

在建立两个深度背景模型后，不断使用获取到的深度视频图像每帧的深度信息更新这两个深度背景模型。具体的，可以以1分钟为周期采集的图像来更新所述长周期深度背景模型，例如：用13：01：00采集的图像、13：02：00采集的图像等更新所述长周期深度背景模型；以1秒钟为周期采集的图像来更新所述短周期深度背景模型，例如：用13：01：00采集的图像、13：01：01采集的图像...等更新所述短周期深度背景模型。

假设在17：00：00时刻，场景中自助存取款机的按键处被犯罪分子覆盖了一层与按键一模一样的薄膜。

以17：01：00采集到的图像，更新所述长周期深度背景模型，更新过程可以如下：

1)将17：01：00采集到的图像的每个像素点的像素值与所述长周期深度背景模型的分布模式(假设所述长周期深度背景模型包括3个峰值，分布模式为3个)进行比较，匹配得到像素点的均值与分布模式的均值偏差在2.5σ内的分布模式；

2)按照以下公式更新所述长周期深度背景模型中的所有分布模式的权值，假设α为0.1，当α增大时，新来的样本值对于模型的影响会变大，将α设置为较小的值，可以防止与之对应的权重过大，导致对于变化大的场景反应变慢。对于与像素点匹配的分布模式M_k，t＝1，不匹配的分布模式M_k，t＝0：

W_k，t＝(1-α)*W_k，t-1+α*M_k，t；

即，匹配的分布模式的权值W_k，t＝(1-α)*W_k，t-1+α＝0.9*W_k，t-1+0.1；

不匹配的分布模式的权值W_k，t＝(1-α)*W_k，t-1＝0.9*W_k，t-1；

3)不匹配的分布模式的参数(均值μ和标准差σ)不变，匹配模式的参数按照如下公式更新：

μ_t＝(1-ρ)*μ_t-1+ρ*X_t；

其中，ρ＝α*η(X_t|μ_k，σ_k)，μ_t为均值，σ为标准差，X_t为t时刻该像素点处的深度值。

4)如果第一步中没有任何模式匹配，则权重最小的模式被替换，即该模式的均值为当前像素的深度值，标准差为预设的初始最大值，权重为预设的初始较小值；

5)各模式根据W_k，t/α²按降序排列，权重大、标准差小的模式排列靠前。

由上，完成使用17：01：00采集到的图像更新所述长周期深度背景模型操作，更新所述短周期深度背景模型的过程可以按照上述步骤执行即可。

由于长周期深度背景模型和短周期深度背景模型的更新速率不一样，导致按键处两个模型的均值有较大差异，比较两个背景模型中每个像素点的均值，如果同一像素点两个模型中均值的差大于1毫米，则认为属于变化大的点，最终得到变化大的点的集合，即按键区域。

由这些变化大的点可以组成二值图像，假设背景为黑色、目标为白色，对二值图进行扫描，标记所有目标像素点(白色部分)，标记可能使同一连通区域具有不同的标记值，因此在本次扫描之后还会产生一组等价标记表。

对等价对记录表中所有等价对采用递归方法分析，逐步提取出属于同一连通域的所有连通标记，最后得到最终的连通区域标记。

当连通区域面积大于设定的阈值，则判定此区域为变化的区域。其中，阈值的设置根据需要检测的区域面积进行设置，一般设置为待检测区域的20％大小

基于同一发明构思，本申请实施例中还提供了一种变化检测装置，由于这些设备解决问题的原理与一种变化检测方法相似，因此这些设备的实施可以参见方法的实施，重复之处不再赘述。

图3示出了本申请实施例中变化区域检测装置的结构示意图，如图所示，所述变化区域检测装置可以包括：

获取模块301，用于获取场景的深度视频图像，所述深度视频图像包括深度信息；

更新模块302，用于使用所述深度视频图像每帧的深度信息更新预先建立的第一周期深度背景模型和第二周期深度背景模型；所述第一周期比所述第二周期长；

比较模块303，用于比较所述第一周期深度背景模型和所述第二周期深度背景模型，得到像素点变化大于预设第一阈值的点的集合；

检测模块304，用于根据所述点的集合得到连通区域，将所述连通区域与预设第二阈值相比，检测得到变化区域。

实施中，所述装置可以进一步包括：

建模模块305，用于在所述获取场景的深度视频图像之前，利用混合高斯模型对预先获取的深度视频图像建立深度背景模型，所述深度背景模型包括第一周期深度背景模型和第二周期深度背景模型。

实施中，所述建模模块具体可以用于对于随机变量X的观测数据集{X₁，X₂，...，X_n}，X_t＝(d_t)为t时刻像素的样本，d_t为该像素处的深度值，单个采样点X_t服从以下混合高斯分布概率密度函数：

$p\left(x_t\right)={\mathrm{\Σ}}_{i=1}^k{w}_{i,t}*\mathrm{\η}(x_t,{\mathrm{\μ}}_{i,t},{\mathrm{\τ}}_{i,t}),$

$\mathrm{\η}(x_t,{\mathrm{\μ}}_{i,t},{\mathrm{\τ}}_{i,t})=\frac{1}{|{\mathrm{\τ}}_{i,t}{|}^{1/2}}{e}^{-\frac{1}{2}{(x_t-{\mathrm{\μ}}_{i,t})}^T{\mathrm{\τ}}_{i,t}^{-1}(x_t-{\mathrm{\μ}}_{i,t})},$

τ_i，t＝δ_i，t ²I，

其中，k为分布模式总数，η(x_t，μ_i，t，τ_i，t)为t时刻第i个高斯分布，μ_i，t为均值，τ_i，t为协方差矩阵，δ_i，t为方差，I为三维单位矩阵，ω_i，t为t时刻第i个高斯分布的权重。

实施中，所述更新模块具体可以包括：

模式确定单元，用于确定与所述深度视频图像中像素点的深度值匹配的分布模式；

第一更新单元，用于将各模式的权值按照以下公式更新：W_k，t＝(1-α)*W_k，t-1+α*M_k，t；其中，W_k，t为模式的权值，α为学习频率，对于匹配的模式M_k，t＝1，不匹配的模式M_k，t＝0；

第二更新单元，用于按照以下公式更新匹配模式的参数：μ_t＝(1-ρ)*μ_t-1+ρ*X_t；其中，ρ＝α*η(X_t|μ_k，σ_k)，μ_t为均值，σ为标准差，X_t为t时刻该像素点处的深度值。

实施中，所述比较模块具体可以用于比较所述第一周期背景模型和所述第二周期背景模型中每个像素点的均值μ，当两个均值的差大于预设阈值时，将所述像素点加入所述集合。

实施中，所述点的集合组成二值图像，所述检测模块具体可以包括：

扫描单元，用于对所述二值图像进行连通区域扫描，标记所有目标像素点并记录等价标记对；

修正单元，用于在扫描结束后根据所述等价标记对连通区域进行修正，得到最终的连通区域；

确定单元，用于当所述连通区域面积大于预设阈值时，确定所述连通区域为变化区域。

为了描述的方便，以上所述装置的各部分以功能分为各种模块或单元分别描述。当然，在实施本申请时可以把各模块或单元的功能在同一个或多个软件或硬件中实现。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

Claims (12)

1.一种变化区域检测方法，其特征在于，包括如下步骤：

获取场景的深度视频图像，所述深度视频图像包括深度信息；

使用所述深度视频图像每帧的深度信息更新预先建立的第一周期深度背景模型和第二周期深度背景模型；所述第一周期比所述第二周期长；

比较所述第一周期深度背景模型和所述第二周期深度背景模型，得到像素点变化大于预设第一阈值的点的集合；

根据所述点的集合得到连通区域，将所述连通区域与预设第二阈值相比，检测得到变化区域。

2.如权利要求1所述的方法，其特征在于，在所述获取场景的深度视频图像之前，进一步包括：

利用混合高斯模型对预先获取的深度视频图像建立深度背景模型，所述深度背景模型包括第一周期深度背景模型和第二周期深度背景模型。

3.如权利要求2所述的方法，其特征在于，所述利用混合高斯模型进行背景建模后，对于随机变量X的观测数据集{X₁，X₂，...，X_n}，X_t＝(d_t)为t时刻像素的样本，d_t为该像素处的深度值，单个采样点X_t服从以下混合高斯分布概率密度函数：

$p\left(x_t\right)={\Σ}_{i=1}^k{w}_{i,t}*\mathrm{\η}\left(x_t,{\mathrm{\μ}}_{i,t},{\mathrm{\τ}}_{i,t}\right),$

$\mathrm{\η}\left(x_t,{\mathrm{\μ}}_{i,t},{\mathrm{\τ}}_{i,t}\right)=\frac{1}{|{\mathrm{\τ}}_{i,t}{|}^{1/2}}{e}^{-\frac{1}{2}{(x_t-{\mathrm{\μ}}_{i,t})}^T{\mathrm{\τ}}_{i,t}^{-1}(x_t-{\mathrm{\μ}}_{i,t})},$

τ_i，t＝δ_i，t ²I，

其中，k为分布模式总数，η(x_t，μ_i，t，τ_i，t)为t时刻第i个高斯分布，μ_i，t为均值，τ_i，t为协方差矩阵，δ_i，t为方差，I为三维单位矩阵，ω_i，t为t时刻第i个高斯分布的权重。

4.如权利要求3所述的方法，其特征在于，所述使用所述深度视频图像每帧的深度信息更新所述第一周期深度背景模型和所述第二周期深度背景模型，具体为，

确定与所述深度视频图像中像素点的深度值匹配的分布模式；

将各模式的权值按照以下公式更新：W_k，t＝(1-α)*W_k，t-1+α*M_k，t；其中，W_k，t为模式的权值，α为学习频率，对于匹配的模式M_k，t＝1，不匹配的模式M_k，t＝0；

按照以下公式更新匹配模式的参数：μ_t＝(1-ρ)*μ_t-1+ρ*X_t；其中，ρ＝α*η(X_t|μ_k，σ_k)，μ_t为均值，σ为标准差，X_t为t时刻该像素点处的深度值。

5.如权利要求1所述的方法，其特征在于，所述比较所述第一周期深度背景模型和所述第二周期深度背景模型，得到像素点变化大于预设第一阈值的点的集合，具体为：比较所述第一周期背景模型和所述第二周期背景模型中每个像素点的均值μ，当两个均值的差大于预设第一阈值时，将所述像素点加入所述集合。

6.如权利要求1所述的方法，其特征在于，所述点的集合组成二值图像，所述根据所述点的集合得到连通区域，将所述连通区域与预设第二阈值相比，检测得到变化区域，具体为：

对所述二值图像进行连通区域扫描，标记所有目标像素点并记录等价标记对；

在扫描结束后根据所述等价标记对连通区域进行修正，得到最终的连通区域；

当所述连通区域面积大于预设第二阈值时，确定所述连通区域为变化区域。

7.一种变化区域检测装置，其特征在于，包括：

获取模块，用于获取场景的深度视频图像，所述深度视频图像包括深度信息；

更新模块，用于使用所述深度视频图像每帧的深度信息更新预先建立的第一周期深度背景模型和第二周期深度背景模型；所述第一周期比所述第二周期长；

比较模块，用于比较所述第一周期深度背景模型和所述第二周期深度背景模型，得到像素点变化大于预设第一阈值的点的集合；

检测模块，用于根据所述点的集合得到连通区域，将所述连通区域与预设第二阈值相比，检测得到变化区域。

8.如权利要求7所述的装置，其特征在于，进一步包括：

建模模块，用于在所述获取场景的深度视频图像之前，利用混合高斯模型对预先获取的深度视频图像建立深度背景模型，所述深度背景模型包括第一周期深度背景模型和第二周期深度背景模型。

9.如权利要求8所述的装置，其特征在于，所述建模模块具体用于对于随机变量X的观测数据集{X₁，X₂，...，X_n}，X_t＝(d_t)为t时刻像素的样本，d_t为该像素处的深度值，单个采样点X_t服从以下混合高斯分布概率密度函数：

$p\left(x_t\right)={\Σ}_{i=1}^k{w}_{i,t}*\mathrm{\η}\left(x_t,{\mathrm{\μ}}_{i,t},{\mathrm{\τ}}_{i,t}\right),$

$\mathrm{\η}\left(x_t,{\mathrm{\μ}}_{i,t},{\mathrm{\τ}}_{i,t}\right)=\frac{1}{|{\mathrm{\τ}}_{i,t}{|}^{1/2}}{e}^{-\frac{1}{2}{(x_t-{\mathrm{\μ}}_{i,t})}^T{\mathrm{\τ}}_{i,t}^{-1}(x_t-{\mathrm{\μ}}_{i,t})},$

τ_i，t＝δ_i，t ²I，

其中，k为分布模式总数，η(x_t，μ_i，t，τ_i，t)为t时刻第i个高斯分布，μ_i，t为均值，τ_i，t为协方差矩阵，δ_i，t为方差，I为三维单位矩阵，ω_i，t为t时刻第i个高斯分布的权重。

10.如权利要求9所述的装置，其特征在于，所述更新模块具体包括：

模式确定单元，用于确定与所述深度视频图像中像素点的深度值匹配的分布模式；

第一更新单元，用于将各模式的权值按照以下公式更新：W_k，t＝(1-α)*W_k，t-1+α*M_k，t；其中，W_k，t为模式的权值，α为学习频率，对于匹配的模式M_k，t＝1，不匹配的模式M_k，t＝0；

第二更新单元，用于按照以下公式更新匹配模式的参数：μ_t＝(1-ρ)*μ_t-1+ρ*X_t；其中，ρ＝α*η(X_t|μ_k，σ_k)，μ_t为均值，σ为标准差，X_t为t时刻该像素点处的深度值。

11.如权利要求7所述的装置，其特征在于，所述比较模块具体用于比较所述第一周期背景模型和所述第二周期背景模型中每个像素点的均值μ，当两个均值的差大于预设阈值时，将所述像素点加入所述集合。

12.如权利要求7所述的装置，其特征在于，所述点的集合组成二值图像，所述检测模块具体包括：

扫描单元，用于对所述二值图像进行连通区域扫描，标记所有目标像素点并记录等价标记对；

修正单元，用于在扫描结束后根据所述等价标记对连通区域进行修正，得到最终的连通区域；

确定单元，用于当所述连通区域面积大于预设阈值时，确定所述连通区域为变化区域。