CN105005992A - 一种基于深度图的背景建模和前景提取的方法 - Google Patents

Abstract

本发明涉及一种基于深度图的图像背景建模和前景提取的方法，其特征在于包括：步骤一，获取表征物体距离摄像头距离的深度图像；步骤二，初始化实时深度背景模型；步骤三，更新实时深度背景模型；步骤四，获取表征物体距离摄像头距离的当前深度图像；步骤五，基于实时深度背景模型提取当前深度图像的前景图像；步骤六，输出前景图像，生成实时目标掩膜图；步骤七，更新实时深度背景模型：根据实时目标掩模图，更新实时深度背景模型中每个像素点的码组信息.本发明具有公知的使用色彩图建模方法所无法比拟的稳定性、高效率以及处理位置关系的优越性，且不需要对场景进行初始建模，简化了实施步骤，整体效能大幅度提高。

Description

一种基于深度图的背景建模和前景提取的方法

技术领域

本发明属于计算机图像处理技术领域，特别是涉及一种基于深度图的图像背景建模和前景提取的方法。

背景技术

目前，背景建模以及前景提取针对的图像源主要为色彩图，本身针对色彩图有一套色彩图的背景建模及前景提取的方法，主要有高斯背景建模和码书背景建模等。现有对色彩图进行建模存在的主要问题：一是单纯通过颜色的变化来区分背景与前景信息，不能体现出图像中各个目标之间的方位关系；二是色彩图受光照以及外部环境的影响大，前景提取的结果受其影响较大，稳定性差；三是色彩图单个像素点数据量大，建模过程中运算效率较低。

Kyungnam Kim Thanarat H.Chalidabhongse David Harwood Larry DavisReal-time foreground–background segmentation using codebook model-2005–Elsevier一文中提出的方案，虽然具有可以在彩色视频流中建立背景模型，并且可以保证算法实时的提取前景目标的优点，但还存在明显不足，例如在色彩图中提取前景物体很容易受到光照和纹理的影响，如在光线较暗的房间，则基于色彩图的背景建模和前景提取效果较差。同时，使用该论文的背景建模方式需要对场景有一个初始建模过程，之后才可以进行较为准确的前景提取，在实际用途中影响用户体验。

中国专利申请201110132428.8公开了“三维场景的分析”，该方法是用两幅深度图作为背景模型。虽然该方法可有效解决基于深度图的目标提取，但还存在以下明显不足，一是该方法无法解决更加复杂背景模型情况，比如背景为一个有规律运动的背景，例如电风扇的旋转，也是作为一个背景模型存在；二是没有实时的更新背景模型，基于的是一种静态背景的假设，不能处理更加复杂背景变化的情况。

中国专利申请201310301859.1公开了“一种基于轮廓差异及区块主方向直方图的前景与特征提取方法”，该方法是用原视频与背景建模得到的背景图像两者的轮廓差异来定位运动物体，保留运动物体轮廓，并利用去除背景的梯度信息和区块主梯度方向结合提取基于区块主方向的梯度直方图特征，弥补其过分依赖局部细节特征的缺点。虽然该方法可有效解决复杂背景下的目标提取问题，使得前景提取和特征进行分类准确率可达到94.04％，但还存在以下明显不足，一是本专利是基于一个已经建立好的背景模型，无法处理在背景模型一开始就无法提供的情况；二是计算量较大，需要计算梯度特征并使用分类器进行识别。

综上所述，如何克服现有技术所存在的不足已成为当今计算机图像处理技术领域中亟待解决的重大难题之一。

发明内容

本发明的目的是为克服现有技术的不足而提供一种基于深度图的图像背景建模和前景提取的方法，本发明具有公知的使用色彩图建模方法所无法比拟的稳定性、高效率以及处理位置关系的优越性，且不需要对场景进行初始建模，简化了实施步骤，整体效能大幅度提高。

根据本发明提出的一种基于深度图的图像背景建模和前景提取的方法，其特征在于，包括步骤一至步骤七，根据步骤七是否已满足最终结果的要求，如果未满足，则可以该结果为输入，继续重复步骤四至步骤七，以其不断循环的方式来达到最终结果，具体步骤如下：

步骤一，获取表征物体距离摄像头距离的深度图像：所述深度图像为不限定分辨率的数字图像，其中深度图像的每个像素点的深度值都是当前场景中物体垂直于摄像头主光轴的直线距离；

步骤二，初始化实时深度背景模型：使用整个深度图像中所有像素点初始化以码组为单元的实时深度背景模型，所述码组是指统计像素点的背景信息，每个像素点具有一个码组，每个码组包含多个码字；所述码字的数量的最大值为预先设定的确定值，该码字数量的最大值由深度图本身的成像稳定性决定，成像稳定性高，则码字数量的最大值小；

步骤三，更新实时深度背景模型：通过目标识别生成目标掩模图，并根据目标掩模图更新实时深度背景模型中每个像素点所对应的码组信息；所述目标掩模图包括表征图像中每个目标的所包含的像素点的目标区域，以及非目标的背景区域，目标掩模图中目标区域作为前景像素点进行更新，目标掩模图中背景区域作为背景像素点进行更新；

步骤四，再次获取表征物体距离摄像头距离的当前深度图像；

步骤五，基于实时深度背景模型提取前景图像：根据当前深度图像中任意一个像素点的深度值对其所对应码组的所有码字进行搜索与比较，从而判断该像素点为背景点或前景点，将所述背景点赋值为背景值，所述前景点赋值为前景值，从而构成前景图像；

步骤六，输出前景图像，生成实时目标掩膜图：根据所述前景图像进行目标识别，识别出当前深度图像中的目标物体，并生成实时目标掩膜图；所述实时目标掩模图包括用于表征所述当前深度图像中每个目标所包含的像素点的目标区域，和非目标所包含的像素点的背景区域；

步骤七，更新实时深度背景模型：根据实时目标掩模图，更新实时深度背景模型中每个像素点的码组信息，其中所述实时目标掩膜图中的目标区域作为前景像素点进行更新，所述实时目标掩模图中的背景区域作为背景像素点进行更新。

本发明提出的一种基于深度图的图像背景建模和前景提取的方法的进一步优选方案是：

本发明步骤三所述更新实时深度背景模型中每个像素点的码组信息，是指更新码组内已经存在的码字信息和增加删减码组内的码字数量；其中，更新背景像素点所对应的码组信息，其方法为更新码组内已经存在的码字信息和增加码组内的码字数量；更新前景像素点所对应的码组信息，其方法为删减码组内的码字数量；所述的增加码组内的码字数量是指在不超过码字数量最大值的前提下增加；所述的减少码组内的码字数量是指可以最终减少到0个码字。

所述码字包括码字中心阈值Treshold_center，码字出现次数F，码字未出现次数L，所述更新码组内已经存在的码字信息，是指更新码字中心阈值Treshold_center、码字出现次数F和码字未出现次数L。

所述码字中心阈值Treshold_center，是指用于判断对应的像素值深度值是否属于该码字；判断依据为深度值是否处于以码字中心阈值为中心的高低阈值范围内；设中心阈值为Treshold_center，低阈值Treshold_low的计算公式为：

Treshold_low＝Treshold_center-D

上式中：D为当前像素点深度值对应的深度阈值，该深度阈值是根据不同深度预先设定的数值；低阈值计算结果小于0时，低阈值为0；对应的高阈值的计算公式为：

Treshold_high＝Treshold_center+D

上式中：当高阈值的计算结果大于可能出现的最大深度值时，则高阈值的结果为最大的深度值。

所述码字出现次数F，是指记录所有属于该码字的深度值的出现次数；其中，每一个属于该码字的深度值都在以码字的Treshold_center为中心的高低阈值之间。

所述码字未出现次数L，是指记录所有不属于该码字的深度值出现次数；当像素位置对应的码组中有至少一个码字时，当更新的深度值不属于该码字，则该码字记录未出现的次数。

所述更新码组内已经存在的码字信息，包括：更新码字的中心阈值Treshold_center，更新条件为深度值处于该码字的范围内；满足条件后使用如下更新公式为：

${\mathrm{Treshold}}_{center}=\frac{{\mathrm{Treshold}}_{center}\×F+Depth}{F+1}$

上式中：等式左边的Treshold_center为计算后中心阈值结果，等式右边的Treshold_center为更新前的中心阈值，Depth为处于该码字范围内的深度值，F为码字出现的次数F；更新码字的出现次数F，更新条件为深度值处于该码字的范围内；满足条件后F值加1；更新码字的未出现次数L，深度值处于该码字的范围内，对应码字的L赋值为0；深度值不处于该码字的范围内，对应的所有码字的L值加1。

本发明步骤五所述根据当前深度图像中任意一个像素点的深度值对其所对应码组的所有码字进行搜索与比较，是指比较当前深度图像中像素点的深度值和像素点对应的码组中所有码字内的高低阈值，如果深度值在至少一个码字的高低阈值范围之内，则认为该像素点为当前深度图的背景点，如果深度值没有处在码组中任何码字的高低阈值范围之内，则认为该像素点为当前深度图的前景点。

本发明步骤七所述更新实时深度背景模型，是指更新背景像素点所对应的码组信息，更新方式为更新码组内已经存在的码字信息和增加码组内码字数量；更新前景像素点所对应的码组信息，更新方式为删减码组内码字数量。

所述更新码组内已经存在的码字信息和增加码组内码字数量是指，在已存在的码字中找到深度值属于阈值范围内的码字，则按照权利要求7的方法对该码字进行更新；在已存在的码字中未找到深度值属于的码字，并且码组中的码字数量未到设定的最大值，则增加一个码字，以完成对该码字的初始化，其中，码字的中心阈值Treshold_center赋值为当前的深度值，码字出现的次数F赋值为1，码字未出现的次数L赋值为0；在已存在的码字中未找到深度值属于的码字，并且码组中的码字数量达到了设定的最大值，则用当前深度值生成一个新的码字来取代原来一个陈旧的码字。

所述新的码字取代原来一个陈旧的码字，是指陈旧码字的选取以及更新方法包括：一是查找中心阈值与当前深度值最接近的码字，所述最接近的码字即所包含的中心阈值与深度值差的绝对值最小，当该绝对值小于预先设定的绝对值常数，则将中心阈值与深度值平均后的结果作为新码字中心阈值，新码字的F值赋值为1，新码字的L值赋值为0；二是当该绝对值大于预先设定的绝对值常数，则查找所有已存在码字中L值最大的码字，即未出现次数最大的码字作为陈旧码字，使用当前深度值作为中心阈值，F赋值为1，L值赋值为0的新码字替换旧码字。

所述前景像素点更新方式为删减码字，是指分析像素码组中的所有码字信息，前景像素点对应的深度值是否在码字对应的高低阈值范围内，如果在阈值范围内，则删除该码字，对于不满足深度值在高低阈值范围内的码字，不做任何处理。

本发明与现有技术相比其显著的优点在于：

一是为解决现有技术因采用色彩图为三通道的数字图像，所以在处理色彩图的背景建模时需要处理更多的数据，运算复杂性高，在实现背景建模的过程中容易受到光线以及纹理色彩变化的影响，稳定性差的问题，本发明依据深度图的特殊属性而设计出来的新的背景建模和前景图提取的方法，它具有公知的使用色彩图建模方法所无法比拟的稳定性、高效率以及处理位置关系的优越性。

二是本发明运用基于深度图的背景建模方法，不仅具有运算量小的优点，而且还具有实时性好、生成前景目标稳定可靠性高等优点。

三是本发明的深度图背景建模方法与目标识别模块相结合，可以根据目标提取的情况更新实时深度背景模型，因此本发明与现有其他深度图背景建模方法相比，在实现前景图提取过程中不需要对场景进行初始建模，大大简化了实施步骤，使得本发明的整体效能大幅度提高。

附图说明

图1为场景中背景墙面示意图。

图2为本发明提出的一种基于深度图的图像背景建模和前景提取的方法的流程示意图。

具体实施方式

下面将结合附图和实施例对本发明的具体实施方式作进一步的详细说明。

结合图2，本发明提出的一种基于深度图的图像背景建模和前景提取的方法，包括步骤一至步骤七，根据步骤七所得结果的状况，可以该结果为输入，重复步骤四至步骤七，以其不断循环的方式来实现最终结果，具体步骤如下：

步骤一，获取表征物体距离摄像头距离的深度图像：所述深度图像为不限定分辨率的数字图像，其中深度图像的每个像素点的深度值都是当前场景中物体垂直于摄像头主光轴的直线距离；

步骤二，初始化实时深度背景模型：使用整个深度图像中所有像素点初始化以码组为单元的实时深度背景模型，所述码组是指统计像素点的背景信息，每个像素点具有一个码组，每个码组包含多个码字；所述码字的数量的最大值为预先设定的确定值，该码字数量的最大值由深度图本身的成像稳定性决定，成像稳定性高，则码字数量的最大值小；

步骤三，更新实时深度背景模型：通过目标识别生成目标掩模图，并根据目标掩模图更新实时深度背景模型中每个像素点所对应的码组信息；所述目标掩模图包括表征图像中每个目标的所包含的像素点的目标区域，以及非目标的背景区域，目标掩模图中目标区域作为前景像素点进行更新，目标掩模图中背景区域作为背景像素点进行更新；

步骤四，获取表征物体距离摄像头距离的当前深度图像；

步骤五，基于实时深度背景模型提取当前深度图像的前景图像：根据当前深度图像中任意一个像素点的深度值对其所对应码组的所有码字进行搜索与比较，从而判断该像素点为背景点或前景点，将所述背景点赋值为背景值，所述前景点赋值为前景值，从而构成前景图像；

步骤六，输出前景图像，生成实时目标掩膜图：根据所述前景图像进行目标识别，识别出当前深度图像中的目标物体，并生成实时目标掩膜图；所述实时目标掩模图包括用于表征所述深度图像中每个目标所包含的像素点的目标区域，和非目标所包含的像素点的背景区域；

步骤七，更新实时深度背景模型：根据实时目标掩模图，更新实时深度背景模型中每个像素点的码组信息，其中所述实时目标掩膜图中的目标区域作为前景像素点进行更新，所述实时目标掩模图中的背景区域作为背景像素点进行更新。

结合图1、图2，对本发明提出的一种基于深度图的图像背景建模和前景提取的方法及其优选方案的具体应用实施例进一步说明如下：

第一，基于深度图的目标提取整体算法流程。本发明的主要作用是为协助其它算法模块提取深度图中的特定目标，其具体实施方式如下：

如图1所示，101为场景中背景墙面，103、104、105为场景中的家具图像，而102为场景需要提取的人物目标图像；在深度图中，本发明将实现101、102、103、104、105等不同目标图像的分割；在图2中201和301获取深度图的方式包括基于结构光的深度图，基于光的飞行时间的深度图以及基于多目视觉的深度图。

基于结构光的深度图生成设备，包括一个发射端和一个接收端，发射端的光源打到特定的光学图案上并将图案投射到应用场景中，该场景中的物体由于距离的不同，将生成的光学图案进行调制，生成场景的光学图案；之后接收端将生成的图案采集到深度图生成设备中，并与一张特定的参考图进行比较，可以获得场景中物体的视差信息，通过视差信息可以最终获得场景中所有物体的深度图。

基于光的飞行时间的深度图设备，包括一个发射端和一个接收端，所述发射端使用红外光组件将红外光发射到场景上。本实施例中，可以使用脉冲红外光，使得可以测量出射光脉冲与相应的入射光脉冲之间的时间，并且将其用于确定从深度图设备到场景中的目标或物体上的特定位置的物理距离；也可将出射光波的相位与入射光波的相位相比较来确定相移；然后可以使用该相移来确定从深度图设备到目标或物体上的特定位置的物理距离；还可使用飞行时间分析来通过经由包括例如快门式光脉冲成像在内的各种技术分析反射光束随时间的强度来间接地确定从深度图设备到目标或物体上的特定位置的物理距离。

基于多目视觉的深度图，本实施例中，多目视觉可通过多个不同位置的摄像机来捕获场景中的图像，并通过相关匹配的方式以及摄像机的位置关系获得场景中物体距离深度图设备的距离。

最终获得深度图为一个二维矩阵形式，矩阵中的每个位置的点为图像的像素点，像素点的数值表征的是场景中的物体距离深度图设备的物理距离。

再回到图2中，其中202初始化实时深度背景模型，使用整个深度图像中所有像素点初始化以码组为单元的实时深度背景模型，码组是指统计像素点的背景信息，每个像素点具有一个码组，每个码组包含多个码字，码字的数量的最大值为预先设定的确定值，该码字数量的最大值由深度图本身的成像稳定性决定，成像稳定性高，则码字数量的最大值小。

完成初始化实时深度背景模型之后，进入203更新实时深度背景模型步骤，通过目标识别生成目标掩模图，并根据目标掩模图更新实时深度背景模型中每个像素点所对应的码组信息；目标掩模图包括表征图像中每个目标的所包含的像素点的目标区域，以及非目标的背景区域，目标掩模图中目标区域作为前景像素点进行更新，目标掩模图中背景区域作为背景像素点进行更新。

在步骤203更新实时深度背景模型步骤之后，即获得可用的实时深度背景模型，用于下面进一步的实时图像背景建模和前景提取。

301获取新一帧深度图像，302提取前景图像模块基于已经建立的实时深度背景模型进行前景提取操作，提取的方式包括使用当前深度图的像素点与实时深度背景模型中的码字进行比较，具体实现将在下文进行描述。最终输出为一张前景图，前景图中通过将像素标记不同的数值以区分是前景像素和背景像素。

完成提取前景图像后，将进入303输出前景图像，生成实时目标掩膜图步骤，该步骤包括多种实现方式，结合前景图像，进行目标识别，并输出需要提取的目标物体(比如人体目标)；在一些实例中，可以使用前景的结果作为目标识别的结果。在一些实例中，可以使用人体的轮廓信息对目标进行识别，由于人体的头部和肩部满足一定形状约束，因此可以通过提取头肩特征，使用预先定义好的头肩模型进行特征匹配进行识别。在一些实例中，可以使用运动和非运动物体对目标进行识别，相对于背景而言，运动物体更有可能为人体目标或需要识别的目标。在一些实例中，可以使用上一帧的信息对目标进行识别，在上一帧的目标位置可以作为当前帧的目标的位置，通过上述所述方法可以检测到当前帧的目标位置。在另一些实例中，可以使用以上所述的实例综合使用对目标物体进行打分，并且与预设的打分阈值进行比较，打分超过阈值即为目标物体。最终目标识别模块输出为一个深度连续的目标物体，生成一张具有目标物体位置的掩模图。在目标物体像素和非目标物体像素分别标记不同数值。

完成目标识别后进入304更新实时深度背景模型模块，使用已经识别的目标作为更新的方法，目标物体部分的像素不更新实时深度背景模型，非目标物体部分即为背景的像素点，使用背景的像素点更新实时深度背景模型。实时深度背景模型将用于下一帧前景提取的计算。

第二，实时深度背景模型的信息构成。实时深度背景模型是根据图像的像素点数量建立起来的以码组为单元的数据集合，每一个像素点具有一个码组，其中，所述码组是单个像素点统计背景信息的基本单元；

其中，每个码组包含多个码字，码字数量的最大值为预先设定的确定值；每个像素使用码组来表征该像素在实时深度背景模型中的所有信息，一个码组是由多个码字构成，每个码字表征该像素曾经为背景时候的深度值范围，作为背景深度值出现的频率，以及作为背景深度值的陈旧性。通过多个码字的表现，我们可以建立多个时间节点的实时深度背景模型。

码字的数量最大值由深度图本身的成像稳定性决定，成像稳定性高，则码字数量的最大值小；生成的码组空间存储于固定的存储空间中。

其中，码字包括以下信息：码字的中心阈值Treshold_center，码字的出现次数F，码字的未出现次数L。

中心阈值用于判断对应的像素值深度值是否属于该码字；判断依据为深度值是否处于以码字中心阈值为中心的高低阈值范围内；设中心阈值为Treshold_center，低阈值Treshold_low的计算公式为：

Treshold_low＝Treshold_center-D

上式中，D为当前像素点深度值对应的深度范围阈值，用于控制作为背景的以中心阈值为中心的背景范围。该深度阈值是根据不同深度预先设定的数值。低阈值计算结果小于0时，低阈值为0。

对应的高阈值的计算公式为：

Treshold_high＝Treshold_center+D

上式中，当高阈值的计算结果大于可能出现的最大深度值时，则高阈值的结果为最大的深度值。

码字出现次数F，其作用在于，记录所有属于该码字的深度值的出现次数。其中，每一个属于该码字的深度值都在以码字的Treshold_center为中心的高低阈值之间。出现次数定义了该像素点在此深度阈值范围作为背景的频率，在对背景的更新以及提取前景过程提供了重要参考，频率越高则说明作为背景的次数越多。并且在更新中心阈值时，使用F作为均值漂移统计量。

码字未出现次数L，其作用在于，记录所有不属于该码字的深度值出现次数。即该码字的陈旧性，码字的陈旧性表征了该深度值范围不作为背景的持续时间。当像素位置对应的码组中有至少一个码字时，当更新的深度值不属于该码字，则该码字记录未出现的次数。

第三，模块204和304更新实时深度背景模型的方法。更新实时深度背景模型需要使用一张去除了目标位置像素点的掩模图，即需要标记当前帧目标位置以及背景的图像。目标像素点与非目标像素点更新的方式不同；其中，对于非目标像素点背景的码组信息更新方式如下：

寻找该目标像素点对应的深度值是否属于已经存在的码字高低阈值之间；

在已存在的码字中找到深度值属于阈值范围内的码字，则按照以下的方法对该码字进行更新：更新码字的中心阈值Treshold_center。更新公式为：

${\mathrm{Treshold}}_{center}=\frac{{\mathrm{Treshold}}_{center}\×F+Depth}{F+1}$

上式中，等式左边的Treshold_center为计算后中心阈值结果，等式右边的Treshold_center为更新前的中心阈值，Depth为处于该码字对应的深度值，F为码字出现的次数F。

更新码字的出现次数F，F值加1。更新码字的未出现次数L，深度值处于高低阈值范围内的码字，对应码字的L赋值为0。深度值不处于高低阈值范围内的所有码字，对应的码字的L值加1。

在已存在的码字中未找到深度值属于阈值范围内的码字，并且码组中的码字数量未到设定的最大值，则增加一个码字。以及完成对该码字的初始化，其中，码字的中心阈值Treshold_center赋值为当前的深度值，码字出现的次数F赋值为1，码字未出现的次数L赋值为0；

在已存在的码字中未找到深度值属于阈值范围内的码字，并且码组中的码字数量达到了设定的最大值，则用当前深度值生成一个新的码字来取代原来一个陈旧的码字。

其中，查找陈旧码字并替换为新的码字的方法如下：首先查找中心阈值与当前深度值最接近的码字，所述最接近的码字即所包含的中心阈值与深度值差的绝对值最小，当该绝对值小于预先设定的绝对值常数，则将中心阈值与深度值平均后的结果作为新码字中心阈值，新码字的F值赋值为1，新码字的L值赋值为0；当该绝对值大于预先设定的绝对值常数，则查找所有已存在码字中L值最大的码字，即未出现次数最大的码字作为陈旧码字，使用当前深度值作为中心阈值，F赋值为1，L值赋值为0的新码字替换旧码字。

同时，对于目标像素点的码组信息更新方式如下：

分析目标像素点码组中的所有码字信息，目标像素点对应的深度值是否在码字对应的高低阈值范围内，如果在阈值范围内，则删除该码字，对于不满足深度值在高低阈值范围内的码字，不做任何处理。

第四，302模块实时深度背景模型进行前景提取的方法。实时深度背景模型是通过前几帧累积起来的码组信息的集合，通过这个模型可以对当前深度图进行背景和前景的区分，即前景提取。使用深度图像中任意一点的像素点的深度值在其对应的码组信息中进行搜索，与码组中所有码字的高低阈值比较；如果深度值在至少一个码字的高低阈值范围之内，则认为该像素点为当前深度图的背景点；反之，深度值没有处在码组中任何码字的高低阈值范围之内，则认为该像素点为当前深度图的前景点；使用同样的方法对当前深度图像中的所有点进行搜索操作，最终可以区分出图像中的所有前景点和背景点，从而完成了图像的前景提取操作。

采用该实施例提供的图像的前景背景检测方法，使用深度图完成，不需要色彩图；不受环境光的影响，处理数据量少，生成的前景图较色彩图的稳定性大幅度提高，更加稳定并且快速的提取场景中的前景目标。

从以上的描述中，可以看出，本发明实现了如下技术效果：在已有深度图的情况下，完成了在场景中提取前景目标的任务，为后续的目标识别与跟踪提供了重要的参考依据，不但降低了色彩图中受环境的影响，而且在提取场景的前景目标时，处理的数据少，使得提取前景目标的检测效率提高。

特别需要说明的是，本领域的技术人员完全能够理解，上述本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，优选地，它们可以用计算装置可执行的程序代码来实现，从而可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合，即本发明不限制于任何特定的硬件和软件的结合。

本发明的具体实施方式中凡未涉到的说明属于本领域的公知技术，可参考公知技术加以实施。

本发明经反复试验验证，取得了满意的试用效果。

以上具体实施方式及实施例是对本发明提出的一种基于深度图的图像背景建模和前景提取的方法技术思想的具体支持，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在本技术方案基础上所做的任何等同变化或等效的改动，均仍属于本发明技术方案保护的范围。

Claims (12)

1.一种基于深度图的图像背景建模和前景提取的方法，其特征在于，包括步骤一至步骤七，根据步骤七是否已满足最终结果的要求，如果未满足，则可以该结果为输入，继续重复步骤四至步骤七，以其不断循环的方式来达到最终结果，具体步骤如下：

步骤一，获取表征物体距离摄像头距离的深度图像：所述深度图像为不限定分辨率的数字图像，其中深度图像的每个像素点的深度值都是当前场景中物体垂直于摄像头主光轴的直线距离；

步骤二，初始化实时深度背景模型：使用整个深度图像中所有像素点初始化以码组为单元的实时深度背景模型，所述码组是指统计像素点的背景信息，每个像素点具有一个码组，每个码组包含多个码字；所述码字的数量的最大值为预先设定的确定值，该码字数量的最大值由深度图本身的成像稳定性决定，成像稳定性高，则码字数量的最大值小；

步骤三，更新实时深度背景模型：通过目标识别生成目标掩模图，并根据目标掩模图更新实时深度背景模型中每个像素点所对应的码组信息；所述目标掩模图包括表征图像中每个目标的所包含的像素点的目标区域，以及非目标的背景区域，目标掩模图中目标区域作为前景像素点进行更新，目标掩模图中背景区域作为背景像素点进行更新；

步骤四，再次获取表征物体距离摄像头距离的当前深度图像；

步骤五，基于实时深度背景模型提取前景图像：根据当前深度图像中任意一个像素点的深度值对其所对应码组的所有码字进行搜索与比较，从而判断该像素点为背景点或前景点，将所述背景点赋值为背景值，所述前景点赋值为前景值，从而构成前景图像；

步骤六，输出前景图像，生成实时目标掩膜图：根据所述前景图像进行目标识别，识别出当前深度图像中的目标物体，并生成实时目标掩膜图；所述实时目标掩模图包括用于表征所述当前深度图像中每个目标所包含的像素点的目标区域，和非目标所包含的像素点的背景区域；

步骤七，更新实时深度背景模型：根据实时目标掩模图，更新实时深度背景模型中每个像素点的码组信息，其中所述实时目标掩膜图中的目标区域作为前景像素点进行更新，所述实时目标掩模图中的背景区域作为背景像素点进行更新。

2.根据权利要求1所述的一种深度背景建模和前景提取的方法，其特征在于，步骤三所述更新实时深度背景模型中每个像素点的码组信息，是指更新码组内已经存在的码字信息和增加删减码组内的码字数量；其中，更新背景像素点所对应的码组信息，其方法为更新码组内已经存在的码字信息和增加码组内的码字数量；更新前景像素点所对应的码组信息，其方法为删减码组内的码字数量；所述的增加码组内的码字数量是指在不超过码字数量最大值的前提下增加；所述的减少码组内的码字数量是指可以最终减少到0个码字。

3.根据权利要求2所述的一种深度背景建模和前景提取的方法，其特征在于，所述码字包括码字中心阈值Treshold_center，码字出现次数F，码字未出现次数L，所述更新码组内已经存在的码字信息，是指更新码字中心阈值Treshold_center、码字出现次数F和码字未出现次数L。

4.根据权利要求3所述的一种深度背景建模和前景提取的方法，其特征在于，所述码字中心阈值Treshold_center，是指用于判断对应的像素值深度值是否属于该码字；判断依据为深度值是否处于以码字中心阈值为中心的高低阈值范围内；设中心阈值为Treshold_center，低阈值Treshold_low的计算公式为：

Treshold_low＝Treshold_center-D

上式中：D为当前像素点深度值对应的深度阈值，该深度阈值是根据不同深度预先设定的数值；低阈值计算结果小于0时，低阈值为0；对应的高阈值的计算公式为：

Treshold_high＝Treshold_center+D

上式中：当高阈值的计算结果大于可能出现的最大深度值时，则高阈值的结果为最大的深度值。

5.根据权利要求4所述的一种深度背景建模和前景提取的方法，其特征在于，所述码字出现次数F，是指记录所有属于该码字的深度值的出现次数；其中，每一个属于该码字的深度值都在以码字的Treshold_center为中心的高低阈值之间。

6.根据权利要求5所述的一种深度背景建模和前景提取的方法，其特征在于，所述码字未出现次数L，是指记录所有不属于该码字的深度值出现次数；当 像素位置对应的码组中有至少一个码字时，当更新的深度值不属于该码字，则该码字记录未出现的次数。

7.根据权利要求2所述的一种深度背景建模和前景提取的方法，其特征在于，所述更新码组内已经存在的码字信息，包括：更新码字的中心阈值 Treshold_center更新条件为深度值处于该码字的范围内；满足条件后使用如下更新公式为：

上式中：等式左边的Treshold_center为计算后中心阈值结果，等式右边的Treshold_center为更新前的中心阈值，Depth为处于该码字范围内的深度值，F为码字出现的次数F；更新码字的出现次数F，更新条件为深度值处于该码字的范围内；满足条件后F值加1；更新码字的未出现次数L，深度值处于该码字的范围内，对应码字的L赋值为0；深度值不处于该码字的范围内，对应的所有码字的L值加1。

8.根据权利要求4所述的一种深度背景建模和前景提取的方法，其特征在于，步骤五所述根据当前深度图像中任意一个像素点的深度值对其所对应码组的所有码字进行搜索与比较，是指比较当前深度图像中像素点的深度值和像素点对应的码组中所有码字内的高低阈值，如果深度值在至少一个码字的高低阈值范围之内，则认为该像素点为当前深度图的背景点，如果深度值没有处在码组中任何码字的高低阈值范围之内，则认为该像素点为当前深度图的前景点。

9.根据权利要求1所述的一种深度背景建模和前景提取的方法，其特征在于，步骤七所述更新实时深度背景模型，是指更新背景像素点所对应的码组信息，更新方式为更新码组内已经存在的码字信息和增加码组内码字数量；更新前景像素点所对应的码组信息，更新方式为删减码组内码字数量。

10.根据权利要求9所述的一种深度背景建模和前景提取的方法，其特征在于，所述更新码组内已经存在的码字信息和增加码组内码字数量是指：

在已存在的码字中找到深度值属于阈值范围内的码字，则按照权利要求7的方法对该码字进行更新；

在已存在的码字中未找到深度值属于的码字，并且码组中的码字数量未到设 定的最大值，则增加一个码字，以完成对该码字的初始化，其中，码字的中心阈值Treshold_center赋值为当前的深度值，码字出现的次数F赋值为1，码字未出现的次数L赋值为0；

在已存在的码字中未找到深度值属于的码字，并且码组中的码字数量达到了设定的最大值，则用当前深度值生成一个新的码字来取代原来一个陈旧的码字。

11.根据权利要求10所述的一种深度背景建模和前景提取的方法，其特征在于，所述新的码字取代原来一个陈旧的码字，是指陈旧码字的选取以及更新方法包括：

一是查找中心阈值与当前深度值最接近的码字，所述最接近的码字即所包含的中心阈值与深度值差的绝对值最小，当该绝对值小于预先设定的绝对值常数，则将中心阈值与深度值平均后的结果作为新码字中心阈值，新码字的F值赋值为1，新码字的L值赋值为0；

二是当该绝对值大于预先设定的绝对值常数，则查找所有已存在码字中L值最大的码字，即未出现次数最大的码字作为陈旧码字，使用当前深度值作为中心阈值，F赋值为1，L值赋值为0的新码字替换旧码字。

12.根据权利要求9所述的一种深度背景建模和前景提取的方法，其特征在于，所述前景像素点更新方式为删减码字，是指分析像素码组中的所有码字信息，前景像素点对应的深度值是否在码字对应的高低阈值范围内，如果在阈值范围内，则删除该码字，对于不满足深度值在高低阈值范围内的码字，不做任何处理。