CN104952054B - 背景建模的方法及装置 - Google Patents

Abstract

本发明公开了一种背景建模的方法及装置，属于视频监控领域。所述方法包括：获取当前图像中的每个像素点的像素值和深度值；根据所述每个像素点的像素值和深度值，分别计算所述当前图像的方差和均值；根据所述当前图像的方差和均值，从预设的混合高斯模型包括的多个单高斯模型中选择一个匹配单高斯模型；根据所述当前图像的方差和均值，对所述每个像素点对应的匹配单高斯模型的方差和均值进行更新，以完成背景建模。所述装置包括：获取模块、计算模块、选择模块和更新模块。本发明能够提高背景建模的准确度，且从该图像中提取前景图像的效果较佳。

Description

背景建模的方法及装置

技术领域

本发明涉及视频监控领域，特别涉及一种背景建模的方法及装置。

背景技术

当前，公共安全受到了社会各界的广泛关注，由此产生了监控视频。监控视频中不仅包括背景图像，还包括前景图像。前景图像一般是指假设背景为静止的情况下任何有意义的运动物体的图像。为了从该监控视频中提取出前景图像，需要对该视频进行背景建模处理。

目前背景建模的过程为：采用普通摄像头采集视频，根据采集的当前图像中的每个像素点的像素值，计算当前图像的方差和均值。将当前图像的方差和均值与混合高斯模型中的多个单高斯模型的方差和均值进行比较，得到与当前图像匹配的单高斯模型；根据当前图像的方差和均值，更新匹配的单高斯模型的方差和均值，并对匹配的单高斯模型的权重值进行更新，以完成背景建模。

当室内场景光影的突然变化、前景图像的颜色和背景图像的颜色相似、或者物体之间的相互遮挡时，背景图像的像素点的像素值会受到影响，所以根据每个像素点的像素值进行背景建模时会出现错误，进而从该监控视频中提取前景图像的效果较差。

发明内容

为了解决现有技术的问题，本发明提供了一种背景建模的方法及装置。所述技术方案如下：

一方面，提供了一种背景建模的方法，所述方法包括：

获取当前图像中的每个像素点的像素值和深度值；

根据所述每个像素点的像素值和深度值，分别计算所述当前图像的方差和均值；

根据所述当前图像的方差和均值，从预设的混合高斯模型包括的多个单高斯模型中选择一个匹配单高斯模型；

根据所述当前图像的方差和均值，对所述每个像素点对应的匹配单高斯模型的方差和均值进行更新，以完成背景建模。

可选地，所述根据所述每个像素点的像素值和深度值，分别计算所述当前图像的方差和均值，包括：

根据所述每个像素点的像素值和深度值，计算所述每个像素点对应的第一数值；

根据所述每个像素点对应的第一数值，计算所述当前图像的均值；

根据所述每个像素点对应的第一数值和所述当前图像的均值，计算所述当前图像的方差。

可选地，所述根据所述每个像素点的像素值和深度值，计算所述每个像素点对应的第一数值，包括：

对像素值设置第一权重值，以及对深度值设置第二权重值；

将所述每个像素点的像素值与所述第一权重值进行相乘，得到所述每个像素点对应的第二数值；

将所述每个像素点的深度值与所述第二权重值进行相乘，得到所述每个像素点对应的第三数值；

将所述每个像素点对应的第二数值和所述每个像素点对应的第三数值进行相加，得到所述每个像素点对应的第一数值。

可选地，所述根据所述当前图像的方差和均值，从预设的混合高斯模型包括的多个单高斯模型中选择一个匹配单高斯模型，包括：

从预设的混合高斯模型包括的多个单高斯模型中选择一个单高斯模型；

如果所述当前图像的方差与选择的单高斯模型的方差满足第一预设条件且所述当前图像的均值与所述选择的单高斯模型的均值满足第二预设条件，则将所述选择的单高斯模型确定为匹配单高斯模型。

可选地，所述根据所述当前图像的方差和均值，对所述每个像素点对应的匹配单高斯模型的方差和均值进行更新，包括：

根据所述每个像素点对应的第一数值和前一张图像的均值，对所述每个像素点对应的匹配单高斯模型的均值进行更新；

根据所述每个像素点对应的第一数值、所述当前图像的均值和所述前一张图像的方差，对所述每个像素点对应的匹配单高斯模型的方差进行更新。

另一方面，提供了一种背景建模的装置，所述装置包括：

获取模块，用于获取当前图像中的每个像素点的像素值和深度值；

计算模块，用于根据所述每个像素点的像素值和深度值，分别计算所述当前图像的方差和均值；

选择模块，用于根据所述当前图像的方差和均值，从预设的混合高斯模型包括的多个单高斯模型中选择一个匹配单高斯模型；

更新模块，用于根据所述当前图像的方差和均值，对所述每个像素点对应的匹配单高斯模型的方差和均值进行更新，以完成背景建模。

可选地，所述计算模块包括：

第一计算单元，用于根据所述每个像素点的像素值和深度值，计算所述每个像素点对应的第一数值；

第二计算单元，用于根据所述每个像素点对应的第一数值，计算所述当前图像的均值；

第三计算单元，用于根据所述每个像素点对应的第一数值和所述当前图像的均值，计算所述当前图像的方差。

可选地，所述第一计算单元包括：

设置子单元，用于对像素值设置第一权重值，以及对深度值设置第二权重值；

第一相乘子单元，用于将所述每个像素点的像素值与所述第一权重值进行相乘，得到所述每个像素点对应的第二数值；

第二相乘子单元，用于将所述每个像素点的深度值与所述第二权重值进行相乘，得到所述每个像素点对应的第三数值；

相加子单元，用于将所述每个像素点对应的第二数值和所述每个像素点对应的第三数值进行相加，得到所述每个像素点对应的第一数值。

可选地，所述选择模块包括：

选择单元，用于从预设的混合高斯模型包括的多个单高斯模型中选择一个单高斯模型；

确定单元，用于如果所述当前图像的方差与选择的单高斯模型的方差满足第一预设条件且所述当前图像的均值与所述选择的单高斯模型的均值满足第二预设条件，则将所述选择的单高斯模型确定为匹配单高斯模型。

可选地，所述更新模块包括：

第一更新单元，用于根据所述每个像素点对应的第一数值和前一张图像的均值，对所述每个像素点对应的匹配单高斯模型的均值进行更新；

第二更新单元，用于根据所述每个像素点对应的第一数值、所述当前图像的均值和所述前一张图像的方差，对所述每个像素点对应的匹配单高斯模型的方差进行更新。

在本发明实施例中，根据当前图像中的每个像素点的像素值和深度值，分别计算当前图像的方差和均值，根据当前图像的方差和均值，从预设的混合高斯模型包括的多个单高斯模型中选择一个匹配的单高斯模型。根据当前图像的方差和均值，对每个像素点对应的匹配单高斯模型的方差和均值进行更新，以完成背景建模。其中，由于深度值是根据每个物体所在像素点离深度摄像头的距离得到的，深度值不会随着室内场景光影的突然变化、前景图像的颜色和背景图像的颜色相似、或者物体之间的相互遮挡时而受到影响，所以将深度值加入背景建模中，可以避免背景建模时出现的错误，提高了背景建模的准确度，进而从该图像中提取前景图像的效果较佳。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例1提供的一种背景建模的方法流程图；

图2是本发明实施例2提供的一种背景建模的方法流程图；

图3是本发明实施例3提供的一种背景建模的装置结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

实施例1

图1是本发明实施例提供的一种背景建模的方法流程图，参见图1，该方法包括：

步骤101：获取当前图像中的每个像素点的像素值和深度值；

步骤102：根据获取的每个像素点的像素值和深度值，分别计算当前图像的方差和均值；

步骤103：根据当前图像的方差和均值，从预设的混合高斯模型包括的多个单高斯模型中选择一个匹配单高斯模型；

步骤104：根据当前图像的方差和均值，对每个像素点对应的匹配单高斯模型的方差和均值进行更新，以完成背景建模。

可选地，根据获取的每个像素点的像素值和深度值，分别计算当前图像的方差和均值，包括：

根据获取的每个像素点的像素值和深度值，计算每个像素点对应的第一数值；

根据每个像素点对应的第一数值，计算当前图像的均值；

根据每个像素点对应的第一数值和当前图像的均值，计算当前图像的方差。

可选地，根据每个像素点的像素值和深度值，计算每个像素点对应的第一数值，包括：

对像素值设置第一权重值，以及对深度值设置第二权重值；

将每个像素点的像素值与第一权重值进行相乘，得到每个像素点对应的第二数值；

将每个像素点的深度值与第二权重值进行相乘，得到每个像素点对应的第三数值；

将每个像素点对应的第二数值和每个像素点对应的第三数值进行相加，得到每个像素点对应的第一数值。

可选地，根据当前图像的方差和均值，从预设的混合高斯模型包括的多个单高斯模型中选择一个匹配单高斯模型，包括：

从预设的混合高斯模型包括的多个单高斯模型中选择一个单高斯模型；

如果当前图像的方差与选择的单高斯模型的方差满足第一预设条件且当前图像的均值与选择的单高斯模型的均值满足第二预设条件，则将选择的单高斯模型确定为匹配单高斯模型。

可选地，根据当前图像的方差和均值，对每个像素点对应的匹配单高斯模型的方差和均值进行更新，包括：

根据每个像素点对应的第一数值和前一张图像的均值，对每个像素点对应的匹配单高斯模型的均值进行更新；

根据每个像素点对应的第一数值、当前图像的均值和前一张图像的方差，对每个像素点对应的匹配单高斯模型的方差进行更新。

在本发明实施例中，根据当前图像中的每个像素点的像素值和深度值，分别计算当前图像的方差和均值，根据当前图像的方差和均值，从预设的混合高斯模型包括的多个单高斯模型中选择一个匹配的单高斯模型。根据当前图像的方差和均值，对每个像素点对应的匹配单高斯模型的方差和均值进行更新，以完成背景建模。其中，由于深度值是根据每个物体所在像素点离深度摄像头的距离得到的，深度值不会随着室内场景光影的突然变化、前景图像的颜色和背景图像的颜色相似、或者物体之间的相互遮挡时而受到影响，所以将深度值加入背景建模中，可以避免背景建模时出现的错误，提高了背景建模的准确度，进而从该图像中提取前景图像的效果较佳。

实施例2

图2是本发明实施例提供的一种背景建模的方法流程图，参见图2，该方法包括：

步骤201：获取当前图像中的每个像素点的像素值和深度值。

具体地，采用彩色摄像头采集当前图像，以及采用深度摄像头采集当前图像。从彩色摄像头采集的当前图像中获取每个像素点的像素值，以及从深度摄像头采集的当前图像中获取每个像素点的深度值。

其中，在本发明实施例中，光影的变化不会影响到深度值的变化，颜色和背景相似的物体，该物体的深度值和背景的深度值也不一样，且物体相互遮挡时，相互遮挡的多个物体的深度值也不同，所以在本发明实施例中，采用深度值可以很好地确定前景图像和背景图像。

步骤202：根据获取的每个像素点的像素值和深度值，计算每个像素点对应的第一数值。

具体地，对像素值设置第一权重值，以及对深度值设置第二权重值；将获取的每个像素点的像素值与第一权重值进行相乘，得到每个像素点对应的第二数值；将获取的每个像素点的深度值与第二权重值进行相乘，得到每个像素点对应的第三数值；将每个像素点对应的第二数值和每个像素点对应的第三数值进行相加，得到每个像素点对应的第一数值。

其中，第一权重值与第二权重值之和为1。

步骤203：根据每个像素点对应的第一数值，计算当前图像的均值。

具体地，将每个像素点对应的第一数值进行相加，将相加得到的数值除以当前图像中的像素点的个数，得到当前图像的均值。

步骤204：根据每个像素点对应的第一数值和当前图像的均值，计算当前图像的方差。

具体地，根据每个像素点对应的第一数值和当前图像的均值，按照如下公式（1）计算当前图像的方差，

其中，在上述公式（1）中，σ²为当前图像的方差，I_i为第i个像素点对应的第一数值，u为当前图像的均值，n为当前图像包括的像素点的个数。

步骤205：根据当前图像的方差和均值，从预设的混合高斯模型包括的多个单高斯模型中选择一个匹配单高斯模型。

具体地，从预设的混合高斯模型包括的多个单高斯模型中选择一个单高斯模型；如果当前图像的方差与选择的单高斯模型的方差满足第一预设条件且当前图像的均值与选择的单高斯模型的均值满足第二预设条件，则将选择的单高斯模型确定为匹配单高斯模型。

其中，预设的混合高斯模型中包括多个单高斯模型，每个单高斯模型均对应一个权值，且每个单高斯模型对应的权值之和为1。一般情况下预设的混合高斯模型中包括K个单高斯模型，K为3-5。

进一步地，如果当前图像的方差与选择的单高斯模型的方差不满足第一预设条件和/或当前图像的均值与选择的单高斯模型的均值不满足第二预设条件，则从预设的混合高斯模型中重新选择一个单高斯模型，重新执行上述步骤。

如果当前图像的方差与选择的单高斯模型的方差不满足第一预设条件且当前图像的均值与选择的单高斯模型的均值不满足第二预设条件，则确定预设的混合高斯模型中没有匹配单高斯模型，此时，可以根据当前图像的方差和均值，重新构造一个单高斯模型，并预设的混合高斯模型中权值最小的单高斯模型替换为重新构造的单高斯模型，完成背景建模。

其中，第一预设条件为当前图像的方差与选择的单高斯模型的方差直的差值的绝对值小于或等于预设阈值。第二预设条件为当前图像的均值与选择的单高斯模型的均值的差值的绝对值小于或等于预设阈值。

步骤206：根据每个像素点对应的第一数值和前一张图像的均值，对每个像素点对应的匹配单高斯模型的均值进行更新。

具体地，根据每个像素点对应的第一数值和前一张图像的均值，按照如下公式（2）计算每个像素点对应的均值，将每个像素点对应的匹配单高斯模型的均值替换为计算的每个像素点对应的均值。

u_t=ρI_t+(1-ρ)u_t-1 （2）

其中，在上述公式（2）中，u_t为当前图像中计算的每个像素点对应的均值，ρ为更新率常数，一般为0.01，I_t为当前图像中每个像素点对应的第一数值，u_t-1为前一张图像中每个像素点对应的均值。

步骤207：根据每个像素点对应的第一数值、当前图像的均值和前一张图像的方差，对每个像素点对应的匹配单高斯模型的方差进行更新，以完成背景建模。

具体地，根据每个像素点对应的第一数值、当前图像的均值和前一张图像的方差，按照如下公式（3）计算每个像素点对应的方差，将每个像素点对应的匹配单高斯模型的方差替换为计算的每个像素点对应的方差。

其中，在上述公式（3）中，为当前图像中计算的每个像素点对应的方差，为前一张图像中每个像素点对应的方差。

进一步地，根据上述步骤201-207的步骤对每个像素点完成背景建模之后，每个像素点均对应一个如下所示的公式（4），对于当前图像中包括的像素点中的任一像素点，可以根据该像素点对应的公式（4）计算该像素点的概率，根据该像素点的概率确定该像素点为前景点还是背景点。

其中，在上述公式（4）中，P(I_t)为像素点的概率，ω_i,t为第i个单高斯模型的权值，k为预设的混合高斯模型中包括的单高斯模型的个数，为该第i个单高斯模型，u_i,t为第i个单高斯模型的均值，为第i个单高斯模型的方差。

其中，在本发明实施例中，如果当前图像是获取的第一张图像时，可以根据上述步骤201-207的步骤完成背景建模。如果当前图像是获取的第一张图像之后的图像时，也可以根据上述步骤201-207的步骤完成背景建模，只是将上述步骤201-207中的预设的混合高斯模型替换为前一张图像更新的混合高斯模型。

在本发明实施例中，根据当前图像中的每个像素点的像素值和深度值，分别计算当前图像的方差和均值，根据当前图像的方差和均值，从预设的混合高斯模型包括的多个单高斯模型中选择一个匹配的单高斯模型。根据当前图像的方差和均值，对每个像素点对应的匹配单高斯模型的方差和均值进行更新，以完成背景建模。其中，由于深度值是根据每个物体所在像素点离深度摄像头的距离得到的，深度值不会随着室内场景光影的突然变化、前景图像的颜色和背景图像的颜色相似、或者物体之间的相互遮挡时而受到影响，所以将深度值加入背景建模中，可以避免背景建模时出现的错误，提高了背景建模的准确度，进而从该图像中提取前景图像的效果较佳。

实施例3

图3是本发明实施例提供的一种背景建模的装置结构示意图，参见图3，该装置包括：

获取模块301，用于获取当前图像中的每个像素点的像素值和深度值；

计算模块302，用于根据获取的每个像素点的像素值和深度值，分别计算当前图像的方差和均值；

选择模块303，用于根据当前图像的方差和均值，从预设的混合高斯模型包括的多个单高斯模型中选择一个匹配单高斯模型；

更新模块304，用于根据当前图像的方差和均值，对每个像素点对应的匹配单高斯模型的方差和均值进行更新，以完成背景建模。

可选地，计算模块302包括：

第一计算单元，用于根据获取的每个像素点的像素值和深度值，计算每个像素点对应的第一数值；

第二计算单元，用于根据获取的每个像素点对应的第一数值，计算当前图像的均值；

第三计算单元，用于根据每个像素点对应的第一数值和当前图像的均值，计算当前图像的方差。

可选地，第一计算单元包括：

设置子单元，用于对像素值设置第一权重值，以及对深度值设置第二权重值；

第一相乘子单元，用于将每个像素点的像素值与第一权重值进行相乘，得到每个像素点对应的第二数值；

第二相乘子单元，用于将每个像素点的深度值与第二权重值进行相乘，得到每个像素点对应的第三数值；

相加子单元，用于将每个像素点对应的第二数值和每个像素点对应的第三数值进行相加，得到每个像素点对应的第一数值。

可选地，选择模块303包括：

选择单元，用于从预设的混合高斯模型包括的多个单高斯模型中选择一个单高斯模型；

确定单元，用于如果当前图像的方差与选择的单高斯模型的方差满足第一预设条件且当前图像的均值与选择的单高斯模型的均值满足第二预设条件，则将选择的单高斯模型确定为匹配单高斯模型。

可选地，更新模块304包括：

第一更新单元，用于根据每个像素点对应的第一数值和前一张图像的均值，对每个像素点对应的匹配单高斯模型的均值进行更新；

第二更新单元，用于根据每个像素点对应的第一数值、当前图像的均值和前一张图像的方差，对每个像素点对应的匹配单高斯模型的方差进行更新。

在本发明实施例中，根据当前图像中的每个像素点的像素值和深度值，分别计算当前图像的方差和均值，根据当前图像的方差和均值，从预设的混合高斯模型包括的多个单高斯模型中选择一个匹配的单高斯模型。根据当前图像的方差和均值，对每个像素点对应的匹配单高斯模型的方差和均值进行更新，以完成背景建模。其中，由于深度值是根据每个物体所在像素点离深度摄像头的距离得到的，深度值不会随着室内场景光影的突然变化、前景图像的颜色和背景图像的颜色相似、或者物体之间的相互遮挡时而受到影响，所以将深度值加入背景建模中，可以避免背景建模时出现的错误，提高了背景建模的准确度，进而从该图像中提取前景图像的效果较佳。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种背景建模的方法，其特征在于，所述方法包括：

获取当前图像中的每个像素点的像素值和深度值；

根据所述每个像素点的像素值和深度值，计算所述每个像素点对应的第一数值；

根据所述每个像素点对应的第一数值，计算所述当前图像的均值；

根据所述每个像素点对应的第一数值和所述当前图像的均值，计算所述当前图像的方差；

根据所述当前图像的方差和均值，从预设的混合高斯模型包括的多个单高斯模型中选择一个匹配单高斯模型；

根据所述当前图像的方差和均值，对所述每个像素点对应的匹配单高斯模型的方差和均值进行更新，以完成背景建模。

2.如权利要求1所述的方法，其特征在于，所述根据所述每个像素点的像素值和深度值，计算所述每个像素点对应的第一数值，包括：

对像素值设置第一权重值，以及对深度值设置第二权重值；

将所述每个像素点的像素值与所述第一权重值进行相乘，得到所述每个像素点对应的第二数值；

将所述每个像素点的深度值与所述第二权重值进行相乘，得到所述每个像素点对应的第三数值；

将所述每个像素点对应的第二数值和所述每个像素点对应的第三数值进行相加，得到所述每个像素点对应的第一数值。

3.如权利要求1或2所述的方法，其特征在于，所述根据所述当前图像的方差和均值，从预设的混合高斯模型包括的多个单高斯模型中选择一个匹配单高斯模型，包括：

从预设的混合高斯模型包括的多个单高斯模型中选择一个单高斯模型；

如果所述当前图像的方差与选择的单高斯模型的方差满足第一预设条件且所述当前图像的均值与所述选择的单高斯模型的均值满足第二预设条件，则将 所述选择的单高斯模型确定为匹配单高斯模型。

4.如权利要求1所述的方法，其特征在于，所述根据所述当前图像的方差和均值，对所述每个像素点对应的匹配单高斯模型的方差和均值进行更新，包括：

根据所述每个像素点对应的第一数值和前一张图像的均值，对所述每个像素点对应的匹配单高斯模型的均值进行更新；

根据所述每个像素点对应的第一数值、所述当前图像的均值和所述前一张图像的方差，对所述每个像素点对应的匹配单高斯模型的方差进行更新。

5.一种背景建模的装置，其特征在于，所述装置包括：

获取模块，用于获取当前图像中的每个像素点的像素值和深度值；

计算模块，包括第一计算单元、第二计算单元和第三计算单元，所述第一计算单元，用于根据所述每个像素点的像素值和深度值，计算所述每个像素点对应的第一数值；所述第二计算单元，用于根据所述每个像素点对应的第一数值，计算所述当前图像的均值；所述第三计算单元，用于根据所述每个像素点对应的第一数值和所述当前图像的均值，计算所述当前图像的方差；

选择模块，用于根据所述当前图像的方差和均值，从预设的混合高斯模型包括的多个单高斯模型中选择一个匹配单高斯模型；

更新模块，用于根据所述当前图像的方差和均值，对所述每个像素点对应的匹配单高斯模型的方差和均值进行更新，以完成背景建模。

6.如权利要求5所述的装置，其特征在于，所述第一计算单元包括：

设置子单元，用于对像素值设置第一权重值，以及对深度值设置第二权重值；

第一相乘子单元，用于将所述每个像素点的像素值与所述第一权重值进行相乘，得到所述每个像素点对应的第二数值；

第二相乘子单元，用于将所述每个像素点的深度值与所述第二权重值进行相乘，得到所述每个像素点对应的第三数值；

相加子单元，用于将所述每个像素点对应的第二数值和所述每个像素点对 应的第三数值进行相加，得到所述每个像素点对应的第一数值。

7.如权利要求5或6所述的装置，其特征在于，所述选择模块包括：

选择单元，用于从预设的混合高斯模型包括的多个单高斯模型中选择一个单高斯模型；

确定单元，用于如果所述当前图像的方差与选择的单高斯模型的方差满足第一预设条件且所述当前图像的均值与所述选择的单高斯模型的均值满足第二预设条件，则将所述选择的单高斯模型确定为匹配单高斯模型。

8.如权利要求5所述的装置，其特征在于，所述更新模块包括：

第一更新单元，用于根据所述每个像素点对应的第一数值和前一张图像的均值，对所述每个像素点对应的匹配单高斯模型的均值进行更新；

第二更新单元，用于根据所述每个像素点对应的第一数值、所述当前图像的均值和所述前一张图像的方差，对所述每个像素点对应的匹配单高斯模型的方差进行更新。