CN105374030A - 一种背景模型和运动物体检测方法及系统 - Google Patents

Abstract

本发明公开了一种背景模型和运动物体检测方法，包括模型初始化得到背景帧和掩码帧，明显运动部位检测，根据检测出的明显部位做运动物体边缘提取，根据运动物体边缘限定搜索区域，对明显运动部位进行方向性区域增长，最后输出完整运动物体并更新背景帧。本发明还公开了一种背景模型和运动物体检测系统，包括模型初始化模块，明显运动部位检测模块，运动物体边缘提取模块，限定搜索区域模块，方向性区域增长模块，输出完整运动物体模块，更新背景帧模块。本发明提供的背景模型和运动物体检测方法及系统不需要专门训练背景模型，即插即用，而且可以学习随着时间变化的背景，并且不要求特定的初始条件。

Description

一种背景模型和运动物体检测方法及系统

技术领域

本发明涉及背景模型技术领域，特别是指一种背景模型和运动物体检测方法及系统。

背景技术

背景模型是计算机视觉里最基础的步骤之一，目的是为了寻找运动的物体，例如运动的人体。计算机视觉在对连续变化的图像进行处理时，需要判断哪些是运动的，哪些是背景部分。为了达到这样的目的，通常有两种途径：一种方法是直接从一帧静态图形上用模式识别的方法找到人体。但是这种方法有局限性，它要求模式识别的分类器中包括所有可能的人体姿态，这在现实中很难做到。

另一种方法是建立一个背景模型，即背景帧，用来代表真正的背景，然后通过比较输入帧和背景帧的差异，来寻找运动的物体。这种方法对通常的应用是有效的。但是如果运动的物体从一开始就存在于视野中，而且只有一部分产生运动的时候，这种方法就无法检测到完整的运动物体。比如，一个人从一开始就站在摄像机的前面，然后手部或者腿部开始运动，这时候身体其他不动的部位就无法通过比较背景的方式检测到。

发明内容

有鉴于此，本发明的目的在于提出一种背景模型和运动物体检测方法及系统，不需要专门训练背景模型，而且可以学习随着时间变化的背景，并且不要求特定的初始条件。

基于上述目的本发明提供的背景模型和运动物体检测方法，包括：

将第一帧图像作为背景帧，从第二帧开始，最新的一帧为输入帧，通过比较背景帧和输入帧，从而得到掩码帧和标号帧；

从运动物体掩码帧中对所有明显运动部位进行提取并分别标号；

根据提取到的明显运动部位，对输入帧作边缘提取，找到输入帧中所有属于运动物体边缘的像素点，得到运动物体边缘图像；

沿着运动物体边缘图像找到包括该物体边缘的矩形框；

结合运动物体边缘图像以及包括该物体边缘的矩形框，对检测到的明显运动部位进行基于深度连续性的区域增长，从而得到要检测的运动物体；

根据要检测的运动物体，得到一个0/1分布的完整运动物体的图像，其中0表示背景像素，1表示运动物体像素。表示输入帧中明显运动部位所属于的完整运动物体；

将输入帧中所有不属于完整运动物体位置的部分判定为背景像素，其用来在当前输入帧处理结束之后更新背景帧。

在一些实施方式中，所述比较背景帧和输入帧的步骤包括：

设定用来区别当前运动像素和当前背景像素的负阈值，因为通常物体比背景更接近深度摄像头，因此深度值比背景要小，故而阈值为负。以及用于区别前一刻运动像素和前一刻背景像素的正阈值；

对输入帧和背景帧进行做差运算，差值是输入帧减去背景帧；

所述得到表示输入帧中明显运动部分所处位置的掩码帧的步骤包括：

对深度差小于负阈值的像素点，判定为当前运动像素，在掩码帧中标记为1，其余的像素点判定为当前背景像素，在掩码帧中标记为0；

所述得到用来表示背景帧中明显运动部分所处位置的标号帧步骤包括：

对深度差大于正阈值的像素点，判定为前一刻运动像素，在标号帧中标记为0，其余的像素点判定为前一刻背景像素，在标号帧中标记为1；

将掩码帧初始时刻的第一帧单独保存为初始运动物体掩码帧，接下来的时刻中，掩码帧均表示运动物体掩码帧。

在一些实施方式中，所述从运动物体掩码帧中对所有明显运动部位进行提取并分别标号的步骤，包括：

输入0/1分布的运动物体掩码帧图像和深度图像输入帧；

初始化表示物体的数据结构：{矩形框＝空，均值＝0，像素点集合＝空}，拷贝0/1分布的运动物体掩码帧到标号帧，并设定标号初始值为2；

从左到右，从上到下，逐行扫描标号帧；

如果发现0/1分布的标号帧上的一个像素点值为1，则将所述像素点重新赋值为当前的标号值，接着从输入帧上获取该像素点对应的深度值，更新当前深度均值，将当前深度均值、该像素点位置及其相关信息一起压入堆栈；

如果堆栈非空，从堆栈弹出一个标号帧上的像素点，搜索该像素点的邻域像素点，如果某个邻域像素点值为1，赋值为当前标号值，并把该像素点和深度图像输入帧上对应像素点的相关信息压入堆栈；

如果堆栈为空，标号值增加1，并把现有的像素点集合和信息拷贝到输出序列中；

直到整个图形扫描完毕，输出所有提取到的物体及多个物体的深度均值、像素点集合及其相关信息。

在一些实施方式中，所述沿着运动物体边缘图像找到包括该物体边缘的矩形框的步骤，包括：

输入为0/1分布的运动物体边缘图像和检测到的明显运动部位；

初始化表示物体的数据结构：{矩形框＝空，均值＝0，像素点集合＝空}；

从左到右，从上到下，分别逐行扫描运动物体边缘图像和检测到的明显运动部位；

如果堆栈非空，如果发现运动物体边缘图像中的一个点的值为1，并且检测到的明显运动部位中对应像素点也是1，则更新矩形框和均值，同时把该像素点位置及其相关信息压入堆栈。将处理过的像素点重置为0，之后不扫描该像素点；

从堆栈弹出一个像素点，搜索该像素点的邻域，如果某个邻域像素点的值为1并且和当前堆栈弹出像素点的距离小于给定阈值，更新并把该像素点位置及其相关信息压入堆栈。将处理过的像素点重置为0，之后不扫描该像素点；

如果堆栈为空，把现有的像素点集合和信息拷贝到输出序列中作为一个物体的矩形框；

直到整个图形扫描完毕，提取到包括该物体边缘的矩形框，输出运动物体的矩形框。

在一些实施方式中，所述在当前输入帧处理结束之后更新背景帧的步骤，可选用选择性的渐进更新方案对背景帧进行更新，即根据标号帧中值为0的像素点所处位置，将背景帧与输入帧中同样位置的像素点进行加权，用加权后的结果对背景帧进行更新。

本发明还提供的一种背景模型和运动物体检测系统，其特征在于，包括：

模型初始化模块，用于将第一帧图像作为背景帧，从第二帧开始，最新的一帧为输入帧，通过比较背景帧和输入帧，从而得到掩码帧和标号帧；

明显运动部位检测模块，用于从运动物体掩码帧中对所有明显运动部位进行提取并分别标号；

运动物体边缘提取模块，用于根据提取到的明显运动部位，对输入帧作边缘提取，找到输入帧中所有属于运动物体边缘的像素点，得到运动物体边缘图像；

限定搜索区域模块，用于沿着运动物体边缘图像找到如包括该物体边缘的矩形框；

方向性区域增长模块，用于结合运动物体边缘图像以及包括该物体边缘的矩形框，对检测到的明显运动部位进行基于深度连续性的区域增长，从而得到要检测的运动物体；

输出完整运动物体模块，用于根据要检测的运动物体，得到一个0/1分布的完整运动物体的图像，表示输入帧中明显运动部分所属于的完整运动物体；

更新背景帧模块，用于将输入帧中所有不属于完整运动物体位置的部分判定为背景像素，其用来在当前输入帧处理结束之后更新背景帧。

在一些实施方式中，所述模型初始化模块包括：

阈值设定模块，用于设定用来区别当前运动像素和当前背景像素的负阈值，以及用于区别前一刻运动像素和前一刻背景像素的正阈值；

做差模块，用于对输入帧和背景帧进行做差运算；

掩码帧生成模块，用于对深度差小于负阈值的像素点，判定为当前运动像素，在掩码帧中标记为1，其余的像素点判定为当前背景像素，在掩码帧中标记为0；

标号帧生成模块，用于对深度差大于正阈值的像素点，判定为前一刻运动像素，在标号帧中标记为0，其余的像素点判定为前一刻背景像素，在标号帧中标记为1；

运动物体掩码帧生成模块，用于将掩码帧初始时刻的第一帧单独保存为初始运动物体掩码帧，接下来的时刻中，掩码帧均表示运动物体掩码帧。

在一些实施方式中，所述明显运动部位检测模块，包括：

检测输入模块，用于输入0/1分布的运动物体掩码帧图像和深度图像输入帧；

检测初始化模块，用于初始化表示物体的数据结构：{矩形框＝空，均值＝0，像素点集合＝空}，拷贝0/1分布的运动物体掩码帧到标号帧，并设定标号初始值为2；

检测扫描模块，用于从左到右，从上到下，逐行扫描标号帧；

检测赋值模块，用于如果发现0/1分布的标号帧上的一个像素点值为1，则将所述像素点重新赋值为当前的标号值，接着从输入帧上获取该像素点对应的深度值，更新当前深度均值，将当前深度均值、该像素点位置及其相关信息一起压入堆栈；

检测标号模块，用于如果堆栈非空，从堆栈弹出一个标号帧上的像素点，搜索该像素点的邻域像素点，如果某个邻域像素点值为1，赋值为当前标号值，并把该像素点和深度图像输入帧上对应像素点的相关信息压入堆栈；

检测更新模块，用于如果堆栈为空，标号值增加1，并把现有的像素点集合和信息拷贝到输出序列中；

检测输出模块，用于直到整个图形扫描完毕，输出所有提取到的物体及多个物体的深度均值、像素点集合及其相关信息。

在一些实施方式中，所述限定搜索区域模块，包括：

限定搜索输入模块，用于输入为0/1分布的运动物体边缘图像和检测到的明显运动部位；

限定搜索初始化模块，用于初始化表示物体的数据结构：{矩形框＝空，均值＝0，像素点集合＝空}；

限定搜索扫描模块，用于从左到右，从上到下，分别逐行扫描运动物体边缘图像和检测到的明显运动部位；

限定搜索赋值模块，用于如果发现运动物体边缘图像中的一个像素点的值为1，并且检测到的明显运动部位中对应像素点也是1，则更新矩形框和均值，同时把该像素点位置及其相关信息压入堆栈。将处理过的像素点重置为0，之后不扫描该像素点；

限定搜索标号模块，用于如果堆栈非空，从堆栈弹出一个像素点，搜索该像素点的邻域，如果某个邻域像素点的值为1并且和当前堆栈弹出像素点的距离小于给定阈值，更新并把该像素点位置及其相关信息压入堆栈。将处理过的像素点重置为0，之后不扫描该像素点；

限定搜索更新模块，用于如果堆栈为空，把现有的像素点集合和信息拷贝到输出序列中作为一个物体的矩形框；

限定搜索输出模块，用于直到整个图形扫描完毕，提取到包括该物体边缘的矩形框，输出运动物体的矩形框。

从上面所述可以看出，本发明提供的背景模型和运动物体检测方法及系统有以下优点：

1.由于本发明直接将第一帧输入帧视作背景帧，再提取第二帧输入帧中检测到的运动部位，根据该运动部位判断出完整的运动物体，所以，即使运动物体始终在摄像机视野内，只要运动物体的一部分产生运动，便可通过本发明的方法进行捕捉并推断出完整运动物体，从而对背景模型和前景物体加以区分，便于接下来在应用的过程中实时的对背景模型进行学习和更新。

2.由于本发明的背景帧不需要在检测之前就准备好，直接利用第一帧输入帧作为背景帧，使得背景模型的建立不需要学习过程，可以即插即用。

3.结合提取出的包括运动物体边缘的矩形框和改良后的方向性区域增长算法，可以根据物体中部分的运动来推测完整的运动物体。

4.由于减少了前期大量的背景学习过程，使得本发明所需运算量较小，适合资源有限的嵌入式系统。

附图说明

图1为本发明提供的背景模型和运动物体检测方法实施例流程示意图；

图2为本发明提供的背景模型和运动物体检测方法实施例第一帧背景帧B示意图；

图3为本发明提供的背景模型和运动物体检测方法实施例第二帧输入帧F示意图；

图4为本发明提供的背景模型和运动物体检测方法实施例中表示输入帧F中明显运动部分所处位置的掩码帧M示意图；

图5为本发明提供的背景模型和运动物体检测方法实施例中表示背景帧B中明显运动部分所处位置的标号帧T示意图；

图6为本发明提供的背景模型和运动物体检测方法实施例中要检测的运动物体示意图；

图7为本发明提供的背景模型和运动物体检测方法实施例中检测到的明显运动部位示意图；

图8为本发明提供的背景模型和运动物体检测方法实施例中提取出的运动物体边缘示意图；

图9为本发明提供的背景模型和运动物体检测方法实施例中包括运动物体边缘的矩形框示意图；

图10为本发明提供的背景模型和运动物体检测方法实施例步骤S500中全区域搜索示意图；

图11为本发明提供的背景模型和运动物体检测方法实施例步骤S500中定向搜索示意图；

图12为本发明提供的背景模型和运动物体检测方法实施例中最终检测到的完整运动物体O示意图；

图13为本发明提供的背景模型和运动物体检测方法实施例中步骤S100的进一步具体流程示意图；

图14为本发明提供的背景模型和运动物体检测方法实施例中步骤S200的进一步具体流程示意图；

图15为本发明提供的背景模型和运动物体检测方法实施例中步骤S400的进一步具体流程示意图；

图16为本发明提供的背景模型和运动物体检测系统实施例结构示意图；

图17为本发明提供的背景模型和运动物体检测系统实施例中模块810的进一步具体结构示意图；

图18为本发明提供的背景模型和运动物体检测系统实施例中模块820的进一步具体结构示意图；

图19为本发明提供的背景模型和运动物体检测系统实施例中模块840的进一步具体结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。

本发明提供了一种背景模型和运动物体检测方法，实现了在有噪声的深度数据流里，提取出完整的运动物体的方法。该方法适用于多种初始状况，包括：运动物体初始不在视野里，然后进入视野并开始运动；运动物体开始位于视野里，从没有明显运动，然后开始运动；运动物体从开始就在视野里，并且始终处于运动状态。使得背景模型的建立不需要训练便可从中准确提取运动物体。

参照附图1，为本发明提供的一种背景模型和运动物体检测方法实施例流程示意图。

所述背景模型和运动物体检测方法，包括：

步骤S100：模型初始化。

将第一帧图像作为背景帧B。从第二帧开始，最新的一帧为输入帧F且只考虑有效的深度输入，即通过比较背景帧B和输入帧F，从而得到掩码帧M和标号帧T。其中，

掩码帧M(可参考附图4)和标号帧T(可参考附图5)均为0/1分布的图像，其中每个小方块代表一个像素点，每个像素点的M_ij值或者T_ij值为0或1；

掩码帧M中所有M_ij值为1的像素点表示输入帧F中明显运动部分所处位置，所有值为0的像素点表示背景；

标号帧T中所有T_ij值为0的像素点表示背景帧B中明显运动部分所处位置，所有值为1的像素点表示背景；

背景帧B(可参考附图2)和输入帧F(可参考附图3)均为深度图，其中每个元素的小方块代表一个像素点，每个像素点的B_ij值或者F_ij值为该点深度值。

在三维图像处理中，可以用深度值表示每个像素点的三维特征信息，可以类比二维图像中的灰度值。由于深度图像不受光源照射方向及物体表面的发射特性的影响，而且不存在阴影，所以可以准确地表现物体目标表面的三维深度信息。

步骤S200：明显运动部位检测。

为了最终检测出附图6所示的要检测的运动物体，在本步骤中首先要检测运动物体中的明显运动部位，这便需要结合输入帧F从运动物体掩码帧M中对所有属于明显运动部位的像素点进行提取并分别重新标号。本实施例提出了一种快速的多目标标记和提取算法，基于深度差别的区域增长特性，对运动物体掩码帧进行处理并一次性提取出若干组属于明显运动部位的像素点的集合，设定用于筛选运动点集合的阈值Th₃，去掉属于明显运动部位的像素点的集合中像素点数量小于Th₃的集合，剩下的集合表示的便是检测到的明显运动部位，即如附图7所示的明显运动部位2和明显运动部位3。

步骤S300：运动物体边缘提取。

根据检测到的明显运动部位，利用边缘提取算法，对输入帧F作边缘提取。具体地，所述输入帧F是深度图，找到输入帧F中所有属于运动物体边缘的像素点，然后使用图像变换的方法，去掉运动物体边缘上的噪声，只留下单像素的宽度形成如附图8所示的运动物体边缘图像，其中将每个运动物体边缘上的像素点的值标为1，将图像上其余像素点的值标为0。

所述边缘提取的算法可以使用Canny算法，也可以使用任何其他常见的边缘提取算法，只要保证最终的物体边缘是单像素宽度即可。

步骤S400：限定搜索区域。

基于所述运动物体边缘图像上的像素点和检测到的明显运动部位必须在深度上是连续的，即相邻的像素点在深度上的差值小于指定的阈值，本发明实施例提出了一种基于深度连续性的矩形框提取方法，从而沿着图像的边缘找到如附图9所示的包括该物体边缘的矩形框。

步骤S500：方向性区域增长。

结合运动物体边缘图像，对检测到的明显运动部位进行基于深度连续性的区域增长，从而得到附图6所示的要检测的运动物体。本发明实施例提出了一种基于深度连续性的方向性区域增长算法，即当传统所述区域增长算法执行到腿部及以上部位的时候，使用如附图10所示的全区域搜索，当执行到腿部以下的部位的时候，使用如附图11所示的定向搜索，将区域增长的方向限制到只能向下方增长。同时搜索的范围也被包括运动物体边缘的矩形框所限制。

例如，对如附图7所示的检测到的明显运动部位进行基于深度连续性的区域增长，即从左右手的部分开始往附图10所示的1-8这八个方向进行增长，所谓“增长”就是在输入帧F中找到与左右手在深度上连续的像素点，并判定这些像素点属于运动物体，再结合运动物体边缘图像，使得增长范围不超出运动物体边缘以及矩形框，最终找到输入帧F这个深度图像中明显运动部位所属于的完整的人。在腿以上部位进行八个方向的增长是由于身体与明显运动部位连接的位置不能确定在哪个方位，且八个方向皆有可能。但当算法判断出增长位置到了腿部时，再往下就只有与地面相连并对人产生支撑作用的腿了，故将增长方向限定在6-8这三个向下的方向。

这样做的好处是有效解决了脚部和地面相连的问题，因为在实际的深度图中，由于人的脚部是站立在地面上的，所以将会造成脚部和地面在各个方向上深度都是连续变化的。而传统的基于深度连续性的区域增长算法使用的是对深度图进行全区域搜索，可参考附图10。这样的事实导致传统的基于深度连续性的区域增长算法无法找到脚部和地面连接的边缘，因此如果不采取特殊措施，在检测过程中很容易把地面和运动的人体连在一起，导致检测无效。

步骤S600：输出完整运动物体。

参照附图12，为本发明提供的背景模型和运动物体检测方法实施例中最终检测到的完整运动物体O示意图。

根据步骤S500中增长出的结果，得到输入帧F中明显运动部分所属于的运动物体，将属于运动物体部分的像素点的值标为1，其余像素点的值标为0，从而得到一个0/1分布的完整运动物体O的图像。

步骤S700：更新背景帧，

利用最终检测到的完整运动物体O，所有在完整运动物体O中值为0的像素点，在输入帧F中均能找到相同位置的像素点，将输入帧F中这些所述像素点判定为输入帧F中的背景像素，由于输入帧F中的背景像素含有在背景帧B被明显运动部位遮挡住的部分，所以，输入帧F中的背景像素可用来在当前输入帧F处理结束之后更新背景帧B，从而保证背景帧B跟上输入帧F的变化。

从上述实施例可以看出，本发明提供的背景模型和运动物体检测方法不需要专门训练背景模型，即插即用，而且可以学习随着时间变化的背景，并且不要求特定的初始条件，运动物体可以自始至终处于视野里，也可以一直处于运动状态。该方法不需要大量的运算，很适合于计算资源有限的场合，例如移动设备或者嵌入式设备。

较佳的，参照附图13，为本发明提供的背景模型和运动物体检测方法实施例中步骤S100的进一步具体流程示意图。

所述模型初始化的步骤S100还可进一步包括以下步骤：

步骤S101：设定用来区别当前运动像素点和当前背景像素点的负阈值-Th₁，以及用于区别前一刻运动像素点和前一刻背景像素点的正阈值Th₂。

本实施例中，正负阈值的选取应参考运动物体所在环境加以判断，例如人和背景的距离的大小，一般选取正负阈值的绝对值不小于0.5米。

步骤S102：对输入帧F和背景帧B进行做差运算，即对输入帧F和背景帧B中对应位置的点进行做差：F_ij-B_ij。

步骤S103：对深度差小于负阈值-Th₁的像素点，判定为当前运动像素点，将所述当前运动像素点的M_ij值在掩码帧M中标记为1，其余的像素点判定为当前背景像素点，将所述当前背景像素点的M_ij值在掩码帧M中标记为0，如公式(1)所示。

$M_{ij}=\left\{\begin{array}{cc}1& \left(F_{ij}-B_{ij}\right)<-{\mathrm{Th}}_{1}And{F}_{ij}>0\\ 0& else\end{array}\right.---\left(1\right)$

步骤S104：如公式(2)所示，对深度差大于正阈值Th₂的像素点，判定为前一刻运动像素点，将所述前一刻运动像素点的T_ij值在标号帧T中标记为0，其余的像素点判定为前一刻背景像素点，将所述前一刻背景像素点的T_ij值在标号帧T中标记为1。

$T_{ij}=\left\{\begin{array}{cc}0& \left(F_{ij}-B_{ij}\right)>{\mathrm{Th}}_2\\ 1& else\end{array}\right.---\left(2\right)$

其中，步骤S103与步骤S104的顺序可以互换，也可以同时执行。

步骤S105：将掩码帧M初始时刻的第一帧单独保存为初始运动物体掩码帧M_O，接下来的时刻中，掩码帧M均表示运动物体掩码帧。

从上述步骤可以看出，将掩码帧M作为整体物体检测的起始条件，这可以有效去除深度图像本身的噪声，减小误判的可能性。

参照附图14，为本发明提供的背景模型和运动物体检测方法实施例中步骤S200的进一步具体流程示意图；

较佳的，明显运动部位检测的步骤S200中，所述一种快速的多目标标记和提取算法，还可进一步包括以下步骤：

步骤S201：输入0/1分布的运动物体掩码帧M图像和深度图像输入帧F。

步骤S202：初始化表示物体的数据结构：{矩形框＝空，均值＝0，像素点集合＝空}，拷贝0/1分布的运动物体掩码帧M到标号帧T，并设定当前的标号值初始值为2，标号值用来将标号帧T中满足条件的像素点的T_ij值替换成对应的标号值。

步骤S203：从左到右，从上到下，逐行扫描标号帧T。其中，也可以从右到左，从下到上，或采用其他顺序扫描。

步骤S204：如果发现0/1分布的标号帧T上的一个像素点的T_ij值为1，则将所述像素点的T_ij值重新赋值为当前的标号值，接着从输入帧F上获取该像素点对应的深度值，重新计算当前标有相同标号值的所有像素点的深度均值，更新当前深度均值，将当前深度均值、该像素点位置及其相关信息一起压入堆栈。将处理过的像素点的T_ij值重置为0，之后不扫描该点。其中，在扫描标号帧T的过程中，如果标号帧T上的一个像素点的值为0则继续向下一个像素点扫描。

步骤S205：如果堆栈非空，从堆栈弹出一个标号帧T上的像素点，搜索该像素点的邻域像素点，如果某个邻域像素点的T_ij值为1，将该像素点的T_ij值赋值为当前标号值，并把该像素点和深度图像输入帧F上对应像素点的相关信息压入堆栈。

步骤S206：如果堆栈为空，标号值增加1，并把现有的像素点集合和信息拷贝到输出序列中。

步骤S207：直到整个图形扫描完毕，输出所有提取到的物体及多个物体的深度均值、像素点集合及其相关信息。

步骤S200的目的是将明显运动部分所处位置，即标号帧T中标1的属于不同明显运动部位的像素点同时提取出来，并将深度图像输入帧F中对应像素点的深度信息加以提取和保存。例如，当步骤S200的输入为附图4所示的标号帧T和附图3所示的输入帧F时，标号帧T中所有属于明显运动部位的像素点标号均为1。本算法要将属于不同的明显运动部位的像素点标记为不同的标号值，即将如附图4所示的标号帧T中左右两只手中原本全部标为1的像素点分别标记成不同的标号值，例如附图7中两只手上的像素点的值分别为2和3。由于标号帧T原本是0/1分布的，故本实施例中标号值从2开始。在执行步骤S203的扫描过程中，遇到的第一个标号帧T中值为1的像素点将会被执行步骤S204所述的动作，并将其相关信息计算并压入堆栈，其中，所述遇到的第一个标号帧T中值为1的像素点会根据扫描顺序的不同出现在标号帧T上的不同位置。接下来，执行步骤S205，搜索这个值为1的像素点相邻的像素点并进行处理，直到附图7中人的右手所有值为1的像素点都被标成了2，当右手中所有的像素点被标记完毕后，堆栈为空，接下来执行步骤S206，标号值加1变成了3，此时回到步骤S205，重复上述过程标记附图7中人的左手。最终会将标号帧T中所有属于明显运动部分的像素点标记为不同的标号值输出。

参照附图15，为本发明提供的背景模型和运动物体检测方法实施例中步骤S400的进一步具体流程示意图；

较佳的，限定搜索区域的步骤S400中，所述一种基于深度连续性的矩形框提取方法，还可以进一步包括以下步骤：

步骤S401：输入为0/1分布的运动物体边缘图像和检测到的明显运动部位。

步骤S402：初始化表示物体的数据结构：{矩形框＝空，均值＝0，像素点集合＝空}。

步骤S403：从左到右，从上到下，分别逐行扫描运动物体边缘图像和检测到的明显运动部位。其中，也可以从右到左，从下到上，或采用其他顺序扫描。

步骤S404：如果发现运动物体边缘图像中的一个像素点的值为1，并且检测到的明显运动部位中对应位置的像素点的值也是1，则更新矩形框使矩形框包含该像素点，更新所述检测到的明显运动部位中对应值也是1的像素点的均值，同时把该点位置及其相关信息压入堆栈。将处理过的像素点重置为0，之后不扫描该像素点。

通过步骤S404看到，在扫描过后，若运动物体边缘图像中的一个像素点的值为1，先不直接处理该像素点对应的深度值及相关信息，而是仅当检测到的明显运动部位中对应像素点的值也是1时，才对该像素点的深度值及相关信息进行处理，通过这种方式可以使得对一个像素点是否属于运动物体的判断更加准确。

步骤S405：如果堆栈非空，从堆栈弹出一个像素点，搜索该像素点的邻域，如果某个邻域像素点的值为1并且和当前堆栈弹出像素点的距离小于给定阈值，更新并把该像素点位置及其相关信息压入堆栈。将处理过的像素点重置为0，之后不扫描该像素点。

步骤S406：如果堆栈为空，把现有的像素点集合和信息拷贝到输出序列中作为一个物体的矩形框。

步骤S407：直到整个图形扫描完毕，提取到包括该物体边缘的矩形框，输出运动物体的矩形框。

步骤S400的目的是得到刚好包括运动物体的矩形框，而结合运动物体边缘图像和检测到的明显运动部位进行运算的目的是为了让两者之间互相配合修正，使得结果更加准确。

需要说明的是，所述提取到包括该物体边缘的矩形框，本实施例中仅给出提取一个人边缘的矩形框，实际应用中若同时提取出多个运动物体，则分别得到包括不同运动物体的矩形框。

较佳的，利用选择性的渐进更新方案对背景帧B进行更新，根据标号帧T值为0的像素点所处位置，将背景帧B与输入帧F中同样位置的像素点进行加权，用加权后的结果对背景帧B进行更新，如公式(3)所示。

$B_{ij}=\left\{\begin{array}{cc}{\mathrm{\&alpha;B}}_{ij}+(1-\mathrm{\&alpha;})F_{ij}& O_{ij}=0And{T}_{ij}=0\\ B_{ij}& else\end{array}\right.---\left(3\right)$

其中，α代表渐进更新的权重，其通常取决于背景变化的快慢，通常取0.9到1之间。

本发明的另一方面还提供了一种背景模型和运动物体检测系统，参照附图16，为本发明提供的背景模型和运动物体检测系统实施例结构示意图。

所述背景模型和运动物体检测系统800，包括：

模型初始化模块810，用于将第一帧图像作为背景帧，从第二帧开始，最新的一帧为输入帧，通过比较背景帧和输入帧，从而得到掩码帧M和标号帧T；

明显运动部位检测模块820，用于从运动物体掩码帧中对所有明显运动部位进行提取并分别标号；

运动物体边缘提取模块830，用于根据检测到的明显运动部位，对输入帧作边缘提取，找到输入帧中所有属于运动物体边缘的像素点，得到运动物体边缘图像；

限定搜索区域模块840，用于沿着运动物体边缘图像找到如包括该物体边缘的矩形框；

方向性区域增长模块850，用于结合运动物体边缘图像，对检测到的明显运动部位进行基于深度连续性的区域增长，从而得到要检测的运动物体；

输出完整运动物体模块860，用于根据要检测的运动物体，得到一个0/1分布的完整运动物体的图像，表示输入帧中明显运动部分所属于的运动物体；

更新背景帧模块870，用于将输入帧中所有不属于完整运动物体位置的部分判定为背景像素，其用来在当前输入帧处理结束之后更新背景帧。

从上述实施例可以看出，本发明提供的背景模型和运动物体检测系统不需要专门训练背景模型，即插即用，而且可以学习随着时间变化的背景，并且不要求特定的初始条件，运动物体可以自始至终处于视野里，也可以一直处于运动状态。该方法不需要大量的运算，很适合于计算资源有限的场合，例如移动设备或者嵌入式设备。

较佳的，参照附图17，为本发明提供的背景模型和运动物体检测系统实施例中模块810的进一步具体结构示意图

所述模型初始化模块810，还可以进一步包括：

阈值设定模块811，用于设定用来区别当前运动像素点和当前背景像素点的负阈值，以及用于区别前一刻运动像素点和前一刻背景像素点的正阈值；

做差模块812，用于对输入帧和背景帧进行做差运算；

掩码帧生成模块813，用于对深度差小于负阈值的点，判定为当前运动像素点，在掩码帧中标记为1，其余的点判定为当前背景像素点，在掩码帧中标记为0；

标号帧生成模块814，用于对深度差大于正阈值的像素点，判定为前一刻运动像素点，在标号帧中标记为0，其余的像素点判定为前一刻背景像素点，在标号帧中标记为1，标号帧初始化为全部是1，表示任何一点都不能判定为背景像素；

运动物体掩码帧生成模块815，用于将掩码帧初始时刻的第一帧单独保存为初始运动物体掩码帧，接下来的时刻中，掩码帧均表示运动物体掩码帧。

从上述模块可以看出，将掩码帧作为整体物体检测的起始条件，这可以有效去除深度图像本身的噪声，减小误判的可能性。

较佳的，参照附图18，为本发明提供的背景模型和运动物体检测系统实施例中模块820的进一步具体结构示意图。

所述明显运动部位检测模块820，还可以进一步包括：

检测输入模块821，用于输入0/1分布的运动物体掩码帧图像和深度图像输入帧；

检测初始化模块822，用于初始化表示物体的数据结构：{矩形框＝空，均值＝0，像素点集合＝空}，拷贝0/1分布的运动物体掩码帧到标号帧，并设定标号初始值为2；

检测扫描模块823，用于从左到右，从上到下，逐行扫描标号帧；

检测赋值模块824，用于如果发现0/1分布的标号帧上的一个像素点值为1，则将所述点的值重新赋值为当前的标号值，接着从输入帧上获取该像素点对应的深度值，更新当前深度均值，将当前深度均值、该像素点位置及其相关信息一起压入堆栈；

检测标号模块825，用于如果堆栈非空，从堆栈弹出一个标号帧上的像素点，搜索该像素点的邻域点，如果某个邻域像素点值为1，赋值为当前标号值，并把该像素点和深度图像输入帧上对应像素点的相关信息压入堆栈；

检测更新模块826，用于如果堆栈为空，标号值增加1，并把现有的像素点集合和信息拷贝到输出序列中；

检测输出模块827，用于直到整个图形扫描完毕，输出所有提取到的物体及多个物体的深度均值、像素点集合及其相关信息。

较佳的，参照图19，为本发明提供的背景模型和运动物体检测系统实施例中模块840的进一步具体结构示意图。

所述限定搜索区域模块840，还可以进一步包括：

限定搜索输入模块841，用于输入为0/1分布的运动物体边缘图像和检测到的明显运动部位；

限定搜索初始化模块842，用于初始化表示物体的数据结构：{矩形框＝空，均值＝0，点集合＝空}；

限定搜索扫描模块843，用于从左到右，从上到下，分别逐行扫描运动物体边缘图像和检测到的明显运动部位；

限定搜索赋值模块844，用于如果发现运动物体边缘图像中的一个像素点的值为1，并且检测到的明显运动部位中对应像素点也是1，则更新矩形框和均值，同时把该像素点位置及其相关信息压入堆栈。将处理过的像素点重置为0，之后不扫描该像素点；

限定搜索标号模块845，用于如果堆栈非空，从堆栈弹出一个像素点，搜索该像素点的邻域，如果某个邻域像素点的值为1并且和当前堆栈弹出像素点的距离小于给定阈值，更新并把该像素点位置及其相关信息压入堆栈。将处理过的像素点重置为0，之后不扫描该像素点；

限定搜索更新模块846，用于如果堆栈为空，把现有的像素点集合和信息拷贝到输出序列中作为一个物体的矩形框；

限定搜索输出模块847，用于直到整个图形扫描完毕，提取到包括该物体边缘的矩形框，输出运动物体的矩形框。

下面参照附图1，简要介绍采用本发明提供的背景模型和运动物体检测系统800进行背景模型和运动物体检测的方法：

背景模型和运动物体检测方法，包括：

步骤S100：模型初始化模块810进行模型初始化，即将第一帧图像作为背景帧B。从第二帧开始，最新的一帧为输入帧F且只考虑有效的深度输入，即通过比较背景帧B和输入帧F，从而得到掩码帧M和标号帧T；

步骤S200：明显运动部位检测模块820进行明显运动部位检测，即结合输入帧F从运动物体掩码帧M中对所有属于明显运动部位的像素点进行提取并分别重新标号；

步骤S300：运动物体边缘提取模块830进行运动物体边缘提取，即根据检测到的明显运动部位，对输入帧F作边缘提取，找到输入帧F中所有属于运动物体边缘的像素点，得到运动物体边缘图像；

步骤S400：限定搜索区域模块840进行限定搜索区域，即沿着运动物体边缘图像找到如包括该物体边缘的矩形框；

步骤S500：方向性区域增长模块850进行方向性区域增长，即结合运动物体边缘图像，对检测到的明显运动部位进行基于深度连续性的区域增长，从而得到要检测的运动物体；

步骤S600：输出完整运动物体模块860进行输出完整运动物体，即根据要检测的运动物体，得到一个0/1分布的完整运动物体的图像O，表示输入帧F中明显运动部分所属于的运动物体；

步骤S700：更新背景帧模块870进行更新背景帧，即将输入帧F中所有不属于完整运动物体O位置的部分判定为背景像素，其用来在当前输入帧F处理结束之后更新背景帧B。

需要特别指出的是，上述装置的实施例仅采用了所述方法的实施例来具体说明各模块的工作过程，本领域技术人员能够很容易想到，将这些模块应用到所述方法的其他实施例中。当然，由于所述方法实施例中的各个步骤均可以相互交叉、替换、增加、删减，因此，这些合理的排列组合变换之于所述装置也应当属于本发明的保护范围，并且不应将本发明的保护范围局限在所述实施例之上。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，并存在如上所述的本发明的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种背景模型和运动物体检测方法，其特征在于，包括：

将第一帧图像作为背景帧，从第二帧开始，最新的一帧为输入帧，通过比较背景帧和输入帧，从而得到掩码帧和标号帧；

从运动物体掩码帧中对所有明显运动部位进行提取并分别标号；

根据提取到的明显运动部位，对输入帧作边缘提取，找到输入帧中所有属于运动物体边缘的像素点，得到运动物体边缘图像；

沿着运动物体边缘图像找到包括该物体边缘的矩形框；

结合运动物体边缘图像以及包括该物体边缘的矩形框，对检测到的明显运动部位进行基于深度连续性的区域增长，从而得到要检测的运动物体；

根据要检测的运动物体，得到一个0/1分布的完整运动物体的图像，表示输入帧中明显运动部位所属于的完整运动物体；

将输入帧中所有不属于完整运动物体位置的部分判定为背景像素，其用来在当前输入帧处理结束之后更新背景帧。

2.根据权利要求1所述的方法，其特征在于，

所述比较背景帧和输入帧的步骤包括：

设定用来区别当前运动像素和当前背景像素的负阈值，以及用于区别前一刻运动像素和前一刻背景像素的正阈值；

对输入帧和背景帧进行做差运算；

所述得到表示输入帧中明显运动部分所处位置的掩码帧的步骤包括：

对深度差小于负阈值的像素点，判定为当前运动像素，在掩码帧中标记为1，其余的像素点判定为当前背景像素，在掩码帧中标记为0；

所述得到用来表示背景帧中明显运动部分所处位置的标号帧步骤包括：

对深度差大于正阈值的像素点，判定为前一刻运动像素，在标号帧中标记为0，其余的像素点判定为前一刻背景像素，在标号帧中标记为1；

将掩码帧初始时刻的第一帧单独保存为初始运动物体掩码帧，接下来的时刻中，掩码帧均表示运动物体掩码帧。

3.根据权利要求1所述的方法，其特征在于，所述从运动物体掩码帧中对所有明显运动部位进行提取并分别标号的步骤，包括：

输入0/1分布的运动物体掩码帧图像和深度图像输入帧；

初始化表示物体的数据结构：{矩形框＝空，均值＝0，像素点集合＝空}，拷贝0/1分布的运动物体掩码帧到标号帧，并设定标号初始值为2；

从左到右，从上到下，逐行扫描标号帧；

如果发现0/1分布的标号帧上的一个像素点值为1，则将所述像素点重新赋值为当前的标号值，接着从输入帧上获取该像素点对应的深度值，更新当前深度均值，将当前深度均值、该像素点位置及其相关信息一起压入堆栈；

如果堆栈非空，从堆栈弹出一个标号帧上的像素点，搜索该像素点的邻域像素点，如果某个邻域像素点值为1，赋值为当前标号值，并把该像素点和深度图像输入帧上对应像素点的相关信息压入堆栈；

如果堆栈为空，标号值增加1，并把现有的像素点集合和信息拷贝到输出序列中；

直到整个图形扫描完毕，输出所有提取到的物体及多个物体的深度均值、像素点集合及其相关信息。

4.根据权利要求1所述的方法，其特征在于，所述沿着运动物体边缘图像找到包括该物体边缘的矩形框的步骤，包括：

输入为0/1分布的运动物体边缘图像和检测到的明显运动部位；

初始化表示物体的数据结构：{矩形框＝空，均值＝0，像素点集合＝空}；

从左到右，从上到下，分别逐行扫描运动物体边缘图像和检测到的明显运动部位；

如果堆栈非空，如果发现运动物体边缘图像中的一个点的值为1，并且检测到的明显运动部位中对应像素点也是1，则更新矩形框和均值，同时把该像素点位置及其相关信息压入堆栈。将处理过的像素点重置为0，之后不扫描该像素点；

从堆栈弹出一个像素点，搜索该像素点的邻域，如果某个邻域像素点的值为1并且和当前堆栈弹出像素点的距离小于给定阈值，更新并把该像素点位置及其相关信息压入堆栈。将处理过的像素点重置为0，之后不扫描该像素点；

如果堆栈为空，把现有的像素点集合和信息拷贝到输出序列中作为一个物体的矩形框；

直到整个图形扫描完毕，提取到包括该物体边缘的矩形框，输出运动物体的矩形框。

5.根据权利要求1所述的方法，其特征在于，所述在当前输入帧处理结束之后更新背景帧的步骤，可选用选择性的渐进更新方案对背景帧进行更新，即根据标号帧中值为0的像素点所处位置，将背景帧与输入帧中同样位置的像素点进行加权，用加权后的结果对背景帧进行更新。

6.一种背景模型和运动物体检测系统，其特征在于，包括：

模型初始化模块，用于将第一帧图像作为背景帧，从第二帧开始，最新的一帧为输入帧，通过比较背景帧和输入帧，从而得到掩码帧和标号帧；

明显运动部位检测模块，用于从运动物体掩码帧中对所有明显运动部位进行提取并分别标号；

运动物体边缘提取模块，用于根据提取到的明显运动部位，对输入帧作边缘提取，找到输入帧中所有属于运动物体边缘的像素点，得到运动物体边缘图像；

限定搜索区域模块，用于沿着运动物体边缘图像找到如包括该物体边缘的矩形框；

方向性区域增长模块，用于结合运动物体边缘图像以及包括该物体边缘的矩形框，对检测到的明显运动部位进行基于深度连续性的区域增长，从而得到要检测的运动物体；

输出完整运动物体模块，用于根据要检测的运动物体，得到一个0/1分布的完整运动物体的图像，表示输入帧中明显运动部分所属于的完整运动物体；

更新背景帧模块，用于将输入帧中所有不属于完整运动物体位置的部分判定为背景像素，其用来在当前输入帧处理结束之后更新背景帧。

7.根据权利要求6所述的系统，其特征在于，所述模型初始化模块包括：

阈值设定模块，用于设定用来区别当前运动像素和当前背景像素的负阈值，以及用于区别前一刻运动像素和前一刻背景像素的正阈值；

做差模块，用于对输入帧和背景帧进行做差运算；

掩码帧生成模块，用于对深度差小于负阈值的像素点，判定为当前运动像素，在掩码帧中标记为1，其余的像素点判定为当前背景像素，在掩码帧中标记为0；

标号帧生成模块，用于对深度差大于正阈值的像素点，判定为前一刻运动像素，在标号帧中标记为0，其余的像素点判定为前一刻背景像素，在标号帧中标记为1，标号帧初始化全部为1；

运动物体掩码帧生成模块，用于将掩码帧初始时刻的第一帧单独保存为初始运动物体掩码帧，接下来的时刻中，掩码帧均表示运动物体掩码帧。

8.根据权利要求6所述的系统，其特征在于，所述明显运动部位检测模块，包括：

检测输入模块，用于输入0/1分布的运动物体掩码帧图像和深度图像输入帧；

检测初始化模块，用于初始化表示物体的数据结构：{矩形框＝空，均值＝0，像素点集合＝空}，拷贝0/1分布的运动物体掩码帧到标号帧，并设定标号初始值为2；

检测扫描模块，用于从左到右，从上到下，逐行扫描标号帧；

检测赋值模块，用于如果发现0/1分布的标号帧上的一个像素点值为1，则将所述像素点重新赋值为当前的标号值，接着从输入帧上获取该像素点对应的深度值，更新当前深度均值，将当前深度均值、该像素点位置及其相关信息一起压入堆栈；

检测标号模块，用于如果堆栈非空，从堆栈弹出一个标号帧上的像素点，搜索该像素点的邻域像素点，如果某个邻域像素点值为1，赋值为当前标号值，并把该像素点和深度图像输入帧上对应像素点的相关信息压入堆栈；

检测更新模块，用于如果堆栈为空，标号值增加1，并把现有的像素点集合和信息拷贝到输出序列中；

检测输出模块，用于直到整个图形扫描完毕，输出所有提取到的物体及多个物体的深度均值、像素点集合及其相关信息。

9.根据权利要求6所述的系统，其特征在于，所述限定搜索区域模块，包括：

限定搜索输入模块，用于输入为0/1分布的运动物体边缘图像和检测到的明显运动部位；

限定搜索初始化模块，用于初始化表示物体的数据结构：{矩形框＝空，均值＝0，像素点集合＝空}；

限定搜索扫描模块，用于从左到右，从上到下，分别逐行扫描运动物体边缘图像和检测到的明显运动部位；

限定搜索赋值模块，用于如果发现运动物体边缘图像中的一个像素点的值为1，并且检测到的明显运动部位中对应像素点也是1，则更新矩形框和均值，同时把该像素点位置及其相关信息压入堆栈。将处理过的像素点重置为0，之后不扫描该像素点；

限定搜索标号模块，用于如果堆栈非空，从堆栈弹出一个像素点，搜索该像素点的邻域，如果某个邻域像素点的值为1并且和当前堆栈弹出像素点的距离小于给定阈值，更新并把该像素点位置及其相关信息压入堆栈。将处理过的像素点重置为0，之后不扫描该像素点；

限定搜索更新模块，用于如果堆栈为空，把现有的像素点集合和信息拷贝到输出序列中作为一个物体的矩形框；

限定搜索输出模块，用于直到整个图形扫描完毕，提取到包括该物体边缘的矩形框，输出运动物体的矩形框。