CN105225217B - 基于深度的背景模型更新方法和系统 - Google Patents

Abstract

公开了一种基于深度的背景模型更新方法和系统，该方法包括：响应于预定的背景更新条件发生，接收在预定的背景更新条件发生之后的一个或多个拍摄的深度图像；根据原始背景模型，得到所述一个或多个拍摄的深度图像中相比于在预定的背景更新条件发生时新增的前景图像；针对新增的前景图像中的前景像素，比较当前的深度值和在预定的背景更新条件发生之前的深度值；如果当前的深度值大于所述之前的深度值，则将当前新增的前景像素更新到原始背景模型中作为更新后的背景模型。

Description

基于深度的背景模型更新方法和系统

技术领域

本申请涉及图像处理领域，且更具体地，涉及基于深度的背景模型更新方法和系统。

背景技术

背景建模(并由此进行前景分割)在对象检测和定位中十分重要。但是，在背景建模的过程中也存在一些干扰和扰动。一个主要的因素是全局的或局部的光照改变包括但不限于办公室区域内控制作用的开关灯，暂时的灯泡遮挡，以及拉下/收起窗帘等，而这会导致虚假的前景像素。例如，在光照条件变亮的情况下，可能原本未被背景建模的区域由于光照增加而显露出真实的背景，然而此时由于原本未被背景建模，因此可能将此新增的区域错误地识别为前景像素，这样就导致不仅背景模型仍然不正确、且导致错误地识别了虚假的前景像素。

图1示出了现有技术中的由于光照情况突然变化而检测的错误的前景像素的示意图。图1显示了当光照变亮时出现大量虚假的前景像素。其中，第一列的RGB(Red(红)、Green(绿)、Blue(蓝))图像，深度图像和前景图像是在较暗光照条件下获得的，而第二列的RGB图像，深度图像和前景图像是在较亮光照条件下获得的。可以看到在左图的圈中，几乎没有像素拥有深度值，这是因为较差的光照使物体表面的纹理难以分辨(或利用立体相机拍摄的左右图不匹配)，因此将这些不能分辨的像素的深度值设置为0。在光线变亮以后，该圈内的许多像素在纹理增强的条件下得以分辨而获得了深度值。这样，对于这些像素来说，在暗光照条件下建立的背景模型将不能与在较亮光照下获取的深度值匹配，导致了许多如右下图中所示的虚假前景像素。而这些虚假前景像素对于进一步的检测和跟踪来说是有害的。

事实上，许多研究人员已经提出一些在光照改变的条件下改进背景建模的方法。但大部分方法是针对RGB图像，以及光照缓慢变化的情形。但是并没有针对深度图像、尤其是光照剧烈变化(如开关等)的情形。因此，本发明旨在解决或缓解针对深度图像的由光照剧烈变化引起的背景建模问题。

发明内容

根据本公开的一个方面，提供一种基于深度的背景模型更新方法，包括：响应于预定的背景更新条件发生，接收在预定的背景更新条件发生之后的一个或多个拍摄的深度图像；根据原始背景模型，得到所述一个或多个拍摄的深度图像中相比于在预定的背景更新条件发生时新增的前景图像；针对新增的前景图像中的前景像素，比较当前的深度值和在预定的背景更新条件发生之前的深度值；如果当前的深度值大于所述之前的深度值，则将当前新增的前景像素更新到原始背景模型中作为更新后的背景模型。

根据本公开的另一个方面，提供一种基于深度的背景模型更新系统，包括：接收装置，被配置为响应于预定的背景更新条件发生，接收在预定的背景更新条件发生之后的一个或多个拍摄的深度图像；得到装置，被配置为根据原始背景模型，得到所述一个或多个拍摄的深度图像中相比于在预定的背景更新条件发生时新增的前景图像；比较装置，被配置为针对新增的前景图像中的前景像素，比较当前的深度值和在预定的背景更新条件发生之前的深度值；更新装置，被配置为如果当前的深度值大于所述之前的深度值，则将当前新增的前景像素更新到原始背景模型中作为更新后的背景模型。

附图说明

图1示出了现有技术中的由于光照情况突然变化而检测的错误的前景像素的示意图。

图2示出了应用本发明的实施例的方法的硬件环境示例图。

图3示出了根据本发明的一个实施例的基于深度的背景模型更新方法的流程图。

图4示出了根据本发明的另一实施例的更具体的基于深度的背景模型更新方法的流程图。

图5示出了光照条件变化的亮度增加的示意图。

图6示出了真实的前景深度和真实的背景深度之间的关系。

图7示出了在光照条件变化后的像素的深度值增加的示意图。

图8示出了根据本发明的一个实施例的基于深度的背景模型更新系统的方框图。

具体实施方式

现在将详细参照本发明的具体实施例，在附图中例示了本发明的例子。尽管将结合具体实施例描述本发明，但将理解，不是想要将本发明限于所述的实施例。相反，想要覆盖由所附权利要求限定的在本发明的精神和范围内包括的变更、修改和等价物。应注意，这里描述的方法步骤都可以由任何功能块或功能布置来实现，且任何功能块或功能布置可被实现为物理实体或逻辑实体、或者两者的组合。

为了使本领域技术人员更好地理解本发明，下面结合附图和具体实施方式对本发明作进一步详细说明。

以对象识别(鉴别类别)和跟踪恢复为最终目标，目前背景建模(也即一种前景分割方法)的方案是十分重要的，因为它能够提供对象检测和跟踪所需的3D投影点。但是，在这一建模过程中有一些扰动。

逐像素的背景建模可以被大致分为静态背景建模方法和动态背景建模方法。在此，静态建模方法以深度图为输入，用一个单高斯模型表达一个给定像素处的深度值的均值即变化量(方差)。而动态建模以RGB图像作为输入，用多高斯模型表达一个像素处的像素值的变化。显然，在静态背景建模中，单高斯模型的约束使得在这个模型中只有一个峰值会出现，表达了在一段时间上深度值的统计特性。另一方面，在动态背景建模中有多个高斯模型，这些高斯模型的线性组合表达了在一段时间上深度值的统计特性。

导致上述问题的原因可能是：理想情况下深度信息是固有的物理距离，不随光照而变，但是实际中，较暗的光照将会导致观测对象的纹理变弱(比如，像素与其局部区域的对比度变弱)。从而在视差搜索阶段无法匹配左右图的像素，成为无效点，其深度值可以被设置为0。利用这种深度图建立的背景模型(采取在多帧深度图上逐像素统计均值与方差)，将无法与在光照变亮时突然变得能够进行左右匹配的无效点重新获得的较为精确的深度值相适应。这会进一步产生大量虚假前景点，难以满足实际应用需求。

但是另一方面，在最初始的背景建模完成后，场景中可能会存在移动的对象(如人)，它们是真实的前景像素。因此，需要在消除有光照剧变引起的虚假前景像素的同时保持真实的前景像素。

这实际上并非一个简单的光照改变的问题。更确切地说，光照改变只是问题的触发因子。如图1所示，真实的前景像素是由感兴趣对象(人)运动产生的，而图1的右下图的圈中的像素(虚假的前景点)是由于光照条件出发的旧模型和新数据的不匹配造成的。因此，为了实现在场景中进行对象(如人)的检测这一目标，问题被转化成：怎样在消除虚假的前景像素的同时保持尽可能多的真实前景像素。考虑两个极端的情形。一个是去掉全部前景像素，如果这样，所有的虚假前景像素都被去掉了。但同时真实的前景像素也损失了。另一种情形是保持前景像素不变，如果这样，所有真实的前景像素都被保持，但同时虚假像素也未能去除。于是这是一个悖论。

根据将要克服的技术问题，需要构建一个光照自适应的方案，它能够在光照变亮时去除虚假的前景点的同时维护由于对象运动产生的真正的前景点。

解决这个问题有两个考虑：

(1)使用某个预定义的条件来触发积累过程，以定位新出现的前景像素(例如，一个光照检测单元，它仅在检测到光照有剧烈变亮时、在此时的较为理想条件下、触发背景的更新)，然后总是用当前的深度值逐像素地更新背景模型。两种前景像素将会产生：通过对象运动产生的真实的前景像素，以及通过光照改变引起的虚假的前景像素。对于这两类像素，需要提供一种统一的处理方法，并未对它们进行正式的分类。

(2)考虑一个物理原理：对于一个给定的像素位置，真实前景的深度总是小于背景的深度。据此，在像素水平，对象的运动将可能暴露背景像素，从而留出加大的深度值。这样就提供了背景模型更新的目标像素的基础。

根据基本思路中的考虑，本发明可以从以下角度出发：

(1)检测预先定义的条件以触发定位新出现的前景点的积累；

(2)逐像素地进行深度比较以消除错误的模型更新，也即，仅更新运动的前景像素。

因此，可以使得在较暗光照条件下建立的背景模型在光照条件变好以后进行更新。因此，在经历了那一时期以后将不会有显著的错误的前景像素出现，使得更新的背景模型对于快速的关照变化鲁棒。

图2示出了应用本发明的实施例的方法的硬件环境示例图。

如图2所示，立体相机(例如双目相机)可以将拍摄到的立体图像传输到解码器，解码器可以将其解码并转换为任何需要的图像、例如视差(即深度)图、灰度图等，数字信号处理器则可以将目标图像(包括但不限于视差图、灰度图)作为输入，并与存储设备交互来进行处理以输出更新的背景模型和其他相关数据到车辆控制模块，而车辆控制模块可以根据检测到的目标和其他相关数据来进行车辆的控制，例如检测前景、识别行人、车辆、道路、自主驾驶等。其中，数字信号处理器可以连接输入设备(双目相机与解码器)、输出设备(车辆控制模块)以及存储设备。而本公开提出的方法就可以运行于该数字信号处理器当中。

图3示出了根据本发明的一个实施例的基于深度的背景模型更新方法的流程图。

如图3所示，图3所示的基于深度的背景模型更新方法包括：步骤S301，响应于预定的背景更新条件发生，接收在预定的背景更新条件发生之后的一个或多个拍摄的深度图像；步骤S302，根据原始背景模型，得到所述一个或多个拍摄的深度图像中相比于在预定的背景更新条件发生时新增的前景图像；步骤S303，针对新增的前景图像中的前景像素，比较当前的深度值和在预定的背景更新条件发生之前的深度值；步骤S304，如果当前的深度值大于所述之前的深度值，则将当前新增的前景像素更新到原始背景模型中作为更新后的背景模型。

如此，在预定的背景更新条件发生之后，可以通过比较新增的前景图像中的前景像素的深度值与原始的深度值的大小，来将深度值大于原始深度值的前景像素的更新到原始背景模型中作为更新后的背景模型，从而能够自适应地更新背景模型。

在一个实施例中，所述预定的背景更新条件可以包括如下中的至少一个：环境亮度的增加量或增加率中大于预定阈值；环境亮度的变化量或变化率大于预定阈值；经过预定时间段等。例如，在光照条件突然变亮时，即、亮度增加量或增加率中大于预定阈值时，由于光照条件变好而显露出真实的背景，然而此时由于原本未被背景建模，因此可能将此新增的区域错误地识别为前景像素，这样就导致不仅背景模型仍然不正确、且导致错误地识别了虚假的前景像素，因此此时可以开始根据本发明的实施例的背景更新方法。当然，以光照条件变好作为开始背景更新的触发仅是一个示例，也可以存在其他可能需要背景模型更新的触发条件、包括但不限于定时更新，周期性更新，或者获得灯光控制信号。

另外，也可以设置更新了一次背景模型之后，再次遇到光照条件突然从暗变亮的条件，则不再进行更新了，因为之前的更新已经达到合适的效果了，即，可以将背景模型更新的次数设置为1。当然，背景模型更新的次数还可以被设置为其他值，另外，在每次光照条件突然从暗变亮时都进行一次背景更新。

在一个实施例中，所述原始背景模型中的未建模像素的深度值可以被设置为0。在光照条件比较暗的情况下，因为较差的光照使物体表面的纹理难以分辨(或利用立体相机拍摄的左右图不匹配)，因此将这些不能分辨的像素的深度值设置为0，所以这些像素没有深度值。当然，在其他情况下，也可以将这些不能分辨的像素的深度值设置为其他值，以表示这些像素是没有被背景建模的。

在一个实施例中，根据原始背景模型，得到所述一个或多个拍摄的深度图像中相比于在预定的背景更新条件发生时新增的前景图像的步骤S302可以包括：根据原始背景模型得到在预定的背景更新条件发生时拍摄的深度图像中的第一前景图像；根据原始背景模型得到在预定的背景更新条件发生之后的所述一个或多个拍摄的深度图像中的各个第二前景图像；将所述各个第二前景图像与所述第一前景图像相减；将所述相减后得到的所述一个或多个拍摄的深度图像中各自的新增的前景图像作为所述新增的前景图像；省略述相减后得到的这些深度图像中各自的消失的前景图像和所述相减后抵消的前景图像。

通过将所述一个或多个拍摄的深度图像与在预定的背景更新条件发生之前拍摄的深度图像相减，可以得到相比于原来的深度图像而变化的前景像素，如果是正的，则可以认为是新增的前景像素，而如果是负的则可以认为是消失的前景像素，如果是被抵消为0，则可以认为是没有变化的位置。因此，可以不考虑消失的前景像素和没有变化的前后抵消的前景像素，因为，这些都不是因为例如光照条件改变而新增的可能是真实背景的前景像素。如此，可以仅针对新增的可能是真实背景的前景像素来进行深度值的比较，来减少进行比较的计算成本和时间，加快运行速度。

在一个实施例中，如果当前的深度值大于所述之前的深度值，则将当前新增的前景像素更新到原始背景模型中作为更新后的背景模型的步骤包括：将当前新增的前景像素的位置和深度值等更新到原始背景模型中作为更新后的背景模型。通常，只要更新该像素的位置和深度值作为新的背景模型即可，但是也可以更新灰度值或RGB值等等以更好地标识背景。

如此，可以在预定的背景更新条件发生自适应地更新背景模型，从而不断得到更准确的背景模型。

如下，结合图示，描述一个具体的背景模型更新的例子。注意，该图4和后续图所示的示例仅是一个具体的例子，而不作为限制本发明的实施例必须为如下具体的步骤、数值、条件、数据、顺序等等。本领域技术人员可以通过阅读本说明书来运用本发明的构思来构造本说明书中未提到的更多实施例。

图4示出了根据本发明的另一实施例的更具体的基于深度的背景模型更新方法的流程图。

图4所示的方法包括：S401:判断光照条件；S402，响应于满足光照条件，接收在光照增加期间的从第N帧到第N+m帧的深度图像(N、m是正整数)；S403，根据原始背景模型，得到从第N帧到第N+m帧深度图像中的一系列前景图像；S404，将第N+1帧到第N+m帧的前景图像都减去第N帧的前景图像来定位这m帧中各自的新出现的前景像素，当然这包括真实的前景图像和由于光照改变引起的虚假的前景图像；S405，逐像素判断这些新增的前景像素的当前的深度值是否大于原始深度值；如果大于，则进入步骤S406，使用当前深度值作为更新的背景模型，从而消除错误的模型，以只更新真实的由运动产生的前景像素；如果不大于，则返回下一个要判断的像素。

在步骤S401中，判断光照条件。如果检测到了一个快速的光照增强，例如图5的左侧图所示(图5示出了光照条件变化的亮度增加的示意图)，可以将此作为预定的背景更新条件，来开始背景更新的流程。

例如，对于一幅RGB图像，它能够被转到YUV(或YCbCr，Luminance-Chrominance，亮度色度)空间，其中的Y通道表示亮度分量。因此，可以通过检测Y亮度分量的一个陡峭的上升沿(图5的左图)来确定一个快速的光照增强，而可以这种快速光照增强可以被视为一个触发条件。在光照增强期，逐像素的模型将会被当前深度值更新。图5的右图显示一个室内光照变化的曲线，包含了开灯，关灯，再开灯的三个动作。

当然，可以设置更新了一次背景模型之后，再次遇到光照条件突然从暗变亮的条件，则不再进行更新了(即图5的右图所示的关灯后再开灯，即第二次光线增强时，不再进行更新了)，因为之前的更新已经达到合适的效果了，即，可以将背景模型更新的次数设置为1。当然，背景模型更新的次数还可以被设置为其他值，另外，在每次光照条件突然从暗变亮时都进行一次背景更新。

接下来，假设在第N帧，检测单元检测到了一个快速的光照增强(例如图5的左侧图所示)，则检测单元将触发如下模式的为更新背景模型而进行的积累：假定一旦光照增强的事件在第N帧被检测到，第N帧可以被视为一个基准。即，接收接下来的m帧(步骤S402)。并且，对于接收到的接下来的m帧(即从第N+1帧到第N+m帧)，计算它们的基于原始背景模型的前景图像(步骤S403)，并将其各自减去第N帧基准的基于原始背景模型的前景图像，以得到这m帧的各自的新增的前景像素(即，相减为正(Positive)的前景像素，而忽略相减为0或负的前景像素)(步骤S404)。通过这种方式，在较亮光照下和在较暗光照下的前景掩模的差异被保存下来，作为建立更新位置(或区域)的关键信息，以充分利用在光照变亮时出现的深度值。通过这种方式，将能够获得“正部分”(“Positive Parts”，即相减为正的前景像素)，也即在较暗光照条件下和在较亮光照条件下获得的前景掩模的差异作为更新位置(或区域)的关键信息被保存下来，即使这个更新位置(或区域)既包含由对象运动产生的真实的前景像素，也包含由于光照改变引起的虚假的前景像素。根据本实施例，保存这样的信息，也就是将每一帧的差异积累到一幅特殊的图像上(称为正部分图像)。将其称为“正部分”(“Positive Parts”)，是因为较亮光照条件下的前景掩模中的1对应的像素与较暗光照条件下的前景掩模中的0在最终的积累图像中被记录为正(1-0＝1)，而其它情形(如1–1＝0，0–0＝0,0–1＝-1)得到非正值，会在最终的积累图像中忽略掉。在这一过程中，在每一帧进行积累的时候，较亮光照下，在当前“正部分”的掩模图像(而不是整幅图)上，深度值将会被用来更新原始的背景模型，以保证一个平滑的更新。这样就能充分利用光照较好时更可信的深度数据。

对于一个给定的像素位置，通常，真正的前景深度小于真正的背景深度。例如，图6所示(图6示出了真实的前景深度和真实的背景深度之间的关系)，沿着同一条投影线，背景点Q’总会被前景点Q遮住，从而在图像平面上产生Q而不是Q’的像点(q)。当然，如果Q移动到Q’的后方并且仍然处于投影线上，那么Q就会被Q’遮住，从而是不可见的了。这时Q’的像将会呈现在图像平面上。这一原理提供了进行背景模型更新的候选像素，因为在像素级，对象的移动会暴露出真实的背景像素，从而产生一个比原来的深度值更大的深度值。如图6中的红色箭头和指示词“移动”表示，前景对象Q向图示方向移动后，其背景Q’就显露出来了，而此时如果比较该像素位置处的深度值Z’和原来的深度值Z(步骤S405)，则可知该像素位置处的深度值Z’就比原来的深度值Z更大，因此可以将该像素位置处的Q’判断为背景像素，从而将其更新到背景模型中，以得到更准确的背景模型(步骤S406)。

图7示出了在光照条件变化后的像素的深度值增加的示意图。通过逐像素的深度比较去掉错误的模型更新，以致更新真正的移动前景像素。假设摄像机坐标系中，一个对象的位置在N帧以后改变到一个新的位置，则在这个对象原来位置上的像素的深度值将会增加，因为在这些位置上的真正的背景像素将会被暴露出来，而不是原来的前景遮挡。应该注意到，这是一个逐步积累运动偏移的过程，以使得这个过程更加平滑。作为一个实施例，最简单的策略是使用获得的最大深度值：

Background(current)＝max(depth{N，N+1，…，Current})

(1)

这里Background(current)是通过深度值表示的背景模型，depth(x)表示x帧的深度值(x∈[N,N+m])，它由从第N帧到当前帧(即m帧中的一帧)的最大的深度值计算得到。当然，除了上式，其它的策略(例如，对于一个像素，设置一个更新时间来在此时进行深度值的比较和背景模型更新)也是有可能的。也就是说，在本实施例中，将在预定的背景更新条件发生之后的m帧中，仅考虑最大的深度值作为背景更新的深度值(因为背景通常是最深)，当然这仅是示例。实际上，也可以仅考虑第m帧(即最后一帧)的前景像素的深度值，或者考虑这m帧的该前景像素处的深度值的平均值等等，作为背景更新的深度值，当然根据所要实现的背景模型更新的准确性和可靠性的程度，可以进行不同的设计。

另外，本领域技术人员还可以考虑在预定的背景更新条件发生时的空间中的前景对象的移动方向和速度，从而可以在移动方向和速度与如前所述的通常情况下的显露背景的方向和速度不同时，不考虑将该前景对象的深度值更新为背景模型，而在移动方向和速度与如前所述的通常情况下的显露背景的方向和速度一致时，才考虑将该前景对象的深度值更新为背景模型。这样可以去除一些不可能是显露背景的情景，来消除错误的背景模型更新。

图8示出了根据本发明的一个实施例的基于深度的背景模型更新系统的方框图。

如图8所示的基于深度的背景模型更新系统800包括：接收装置801，被配置为响应于预定的背景更新条件发生，接收在预定的背景更新条件发生之后的一个或多个拍摄的深度图像；得到装置802，被配置为根据原始背景模型，得到所述一个或多个拍摄的深度图像中相比于在预定的背景更新条件发生时新增的前景图像；比较装置803，被配置为针对新增的前景图像中的前景像素，比较当前的深度值和在预定的背景更新条件发生之前的深度值；更新装置804，被配置为如果当前的深度值大于所述之前的深度值，则将当前新增的前景像素更新到原始背景模型中作为更新后的背景模型。

如此，在预定的背景更新条件发生之后，可以通过比较新增的前景图像中的前景像素的深度值与原始的深度值的大小，来将深度值大于原始深度值的前景像素的更新到原始背景模型中作为更新后的背景模型，从而能够自适应地更新背景模型。

在一个实施例中，所述预定的背景更新条件可以包括如下中的至少一个：环境亮度的增加量或增加率中大于预定阈值；环境亮度的变化量或变化率大于预定阈值；经过预定时间段等。例如，在光照条件突然变亮时，即、亮度增加量或增加率中大于预定阈值时，由于光照条件变好而显露出真实的背景，然而此时由于原本未被背景建模，因此可能将此新增的区域错误地识别为前景像素，这样就导致不仅背景模型仍然不正确、且导致错误地识别了虚假的前景像素，因此此时可以开始根据本发明的实施例的背景更新方法。当然，以光照条件变好作为开始背景更新的触发仅是一个示例，也可以存在其他可能需要背景模型更新的触发条件、包括但不限于定时更新，周期性更新，或者获得灯光控制信号。

另外，也可以设置更新了一次背景模型之后，再次遇到光照条件突然从暗变亮的条件，则不再进行更新了，因为之前的更新已经达到合适的效果了，即，可以将背景模型更新的次数设置为1。当然，背景模型更新的次数还可以被设置为其他值，另外，在每次光照条件突然从暗变亮时都进行一次背景更新。

在一个实施例中，所述原始背景模型中的未建模像素的深度值可以被设置为0。在光照条件比较暗的情况下，因为较差的光照使物体表面的纹理难以分辨(或利用立体相机拍摄的左右图不匹配)，因此将这些不能分辨的像素的深度值设置为0，所以这些像素没有深度值。当然，在其他情况下，也可以将这些不能分辨的像素的深度值设置为其他值，以表示这些像素是没有被背景建模的。

在一个实施例中，得到装置802可以被配置为：根据原始背景模型得到在预定的背景更新条件发生时拍摄的深度图像中的第一前景图像；根据原始背景模型得到在预定的背景更新条件发生之后的所述一个或多个拍摄的深度图像中的各个第二前景图像；将所述各个第二前景图像与所述第一前景图像相减；将所述相减后得到的所述一个或多个拍摄的深度图像中各自的新增的前景图像作为所述新增的前景图像；省略述相减后得到的这些深度图像中各自的消失的前景图像和所述相减后抵消的前景图像。

通过将所述一个或多个拍摄的深度图像与在预定的背景更新条件发生之前拍摄的深度图像相减，可以得到相比于原来的深度图像而变化的前景像素，如果是正的，则可以认为是新增的前景像素，而如果是负的则可以认为是消失的前景像素，如果是被抵消为0，则可以认为是没有变化的位置。因此，可以不考虑消失的前景像素和没有变化的前后抵消的前景像素，因为，这些都不是因为例如光照条件改变而新增的可能是真实背景的前景像素。如此，可以仅针对新增的可能是真实背景的前景像素来进行深度值的比较，来减少进行比较的计算成本和时间，加快运行速度。

在一个实施例中，如果当前的深度值大于所述之前的深度值，则将当前新增的前景像素更新到原始背景模型中作为更新后的背景模型的步骤包括：将当前新增的前景像素的位置和深度值等更新到原始背景模型中作为更新后的背景模型。通常，只要更新该像素的位置和深度值作为新的背景模型即可，但是也可以更新灰度值或RGB值等等以更好地标识背景。

如此，可以在预定的背景更新条件发生自适应地更新背景模型，从而不断得到更准确的背景模型。

本发明的各个实施例能够在预定的背景更新条件发生的情况下自适应地开始背景模型的更新，从而获得更准确的背景模型。为了度量这种准确性，定义了三种技术指标：

技术指标1：SNR＝信号/噪声，显示了前景信号相对于噪声的显著性；

技术指标2：Hit Rate＝信号/真实的信号，显示了对于真实前景信息的保存能力；

技术指标3:运行时间,显示了系统的实时性。

通过实验证明，本发明的各个实施例在尽可能增加SNR的同时能够保持一个可以接受的Hit Rate，并且只消耗较少时间。例如，从一次实验数据可以得出，一般情况下，本发明的各个实施例能够使得信噪比增加五倍，而HitRate可以保持到原来的80％。

当然，上述的具体实施例仅是例子而非限制，且本领域技术人员可以根据本发明的构思从上述分开描述的各个实施例中合并和组合一些步骤和装置来实现本发明的效果，这种合并和组合而成的实施例也被包括在本发明中，在此不一一描述这种合并和组合。

注意，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本发明的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本发明为必须采用上述具体的细节来实现。

本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

本公开中的步骤流程图以及以上方法描述仅作为例示性的例子并且不意图要求或暗示必须按照给出的顺序进行各个实施例的步骤。如本领域技术人员将认识到的，可以按任意顺序进行以上实施例中的步骤的顺序。诸如“其后”、“然后”、“接下来”等等的词语不意图限制步骤的顺序；这些词语仅用于引导读者通读这些方法的描述。此外，例如使用冠词“一个”、“一”或者“该”对于单数的要素的任何引用不被解释为将该要素限制为单数。

另外，本文中的各个实施例中的步骤和装置并非仅限定于某个实施例中实行，事实上，可以根据本发明的概念来结合本文中的各个实施例中相关的部分步骤和部分装置以构思新的实施例，而这些新的实施例也包括在本发明的范围内。

以上所述的方法的各个操作可以通过能够进行相应的功能的任何适当的手段而进行。该手段可以包括各种硬件和/或软件组件和/或模块，包括但不限于电路、专用集成电路(ASIC)或处理器。

可以利用被设计用于进行在此所述的功能的通用处理器、数字信号处理器(DSP)、ASIC、场可编程门阵列信号(FPGA)或其他可编程逻辑器件(PLD)、离散门或晶体管逻辑、离散的硬件组件或者其任意组合而实现或进行所述的各个例示的逻辑块、模块和电路。通用处理器可以是微处理器，但是作为替换，该处理器可以是任何商业上可获得的处理器、控制器、微控制器或状态机。处理器还可以实现为计算设备的组合，例如DSP和微处理器的组合，多个微处理器、与DSP核协作的一个或多个微处理器或任何其他这样的配置。

结合本公开描述的方法或算法的步骤可以直接嵌入在硬件中、处理器执行的软件模块中或者这两种的组合中。软件模块可以存在于任何形式的有形存储介质中。可以使用的存储介质的一些例子包括随机存取存储器(RAM)、只读存储器(ROM)、快闪存储器、EPROM存储器、EEPROM存储器、寄存器、硬碟、可移动碟、CD-ROM等。存储介质可以耦接到处理器以便该处理器可以从该存储介质读取信息以及向该存储介质写信息。在替换方式中，存储介质可以与处理器是整体的。软件模块可以是单个指令或者许多指令，并且可以分布在几个不同的代码段上、不同的程序之间以及跨过多个存储介质。

在此公开的方法包括用于实现所述的方法的一个或多个动作。方法和/或动作可以彼此互换而不脱离权利要求的范围。换句话说，除非指定了动作的具体顺序，否则可以修改具体动作的顺序和/或使用而不脱离权利要求的范围。

所述的功能可以按硬件、软件、固件或其任意组合而实现。如果以软件实现，功能可以作为一个或多个指令存储在切实的计算机可读介质上。存储介质可以是可以由计算机访问的任何可用的切实介质。通过例子而不是限制，这样的计算机可读介质可以包括RAM、ROM、EEPROM、CD-ROM或其他光碟存储、磁碟存储或其他磁存储器件或者可以用于携带或存储指令或数据结构形式的期望的程序代码并且可以由计算机访问的任何其他切实介质。如在此使用的，碟(disk)和盘(disc)包括紧凑盘(CD)、激光盘、光盘、数字通用盘(DVD)、软碟和蓝光盘，其中碟通常磁地再现数据，而盘利用激光光学地再现数据。

因此，计算机程序产品可以进行在此给出的操作。例如，这样的计算机程序产品可以是具有有形存储(和/或编码)在其上的指令的计算机可读的有形介质，该指令可由一个或多个处理器执行以进行在此所述的操作。计算机程序产品可以包括包装的材料。

软件或指令也可以通过传输介质而传输。例如，可以使用诸如同轴电缆、光纤光缆、双绞线、数字订户线(DSL)或诸如红外、无线电或微波的无线技术的传输介质从网站、服务器或者其他远程源传输软件。

此外，用于进行在此所述的方法和技术的模块和/或其他适当的手段可以在适当时由用户终端和/或基站下载和/或其他方式获得。例如，这样的设备可以耦接到服务器以促进用于进行在此所述的方法的手段的传送。或者，在此所述的各种方法可以经由存储部件(例如RAM、ROM、诸如CD或软碟等的物理存储介质)提供，以便用户终端和/或基站可以在耦接到该设备或者向该设备提供存储部件时获得各种方法。此外，可以利用用于将在此所述的方法和技术提供给设备的任何其他适当的技术。

其他例子和实现方式在本公开和所附权利要求的范围和精神内。例如，由于软件的本质，以上所述的功能可以使用由处理器、硬件、固件、硬连线或这些的任意的组合执行的软件实现。实现功能的特征也可以物理地位于各个位置，包括被分发以便功能的部分在不同的物理位置处实现。而且，如在此使用的，包括在权利要求中使用的，在以“至少一个”开始的项的列举中使用的“或”指示分离的列举，以便例如“A、B或C的至少一个”的列举意味着A或B或C，或AB或AC或BC，或ABC(即A和B和C)。此外，措辞“示例的”不意味着描述的例子是优选的或者比其他例子更好。

可以不脱离由所附权利要求定义的教导的技术而进行对在此所述的技术的各种改变、替换和更改。此外，本公开的权利要求的范围不限于以上所述的处理、机器、制造、事件的组成、手段、方法和动作的具体方面。可以利用与在此所述的相应方面进行基本相同的功能或者实现基本相同的结果的当前存在的或者稍后要开发的处理、机器、制造、事件的组成、手段、方法或动作。因而，所附权利要求包括在其范围内的这样的处理、机器、制造、事件的组成、手段、方法或动作。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本发明。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本发明的范围。因此，本发明不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本发明的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (7)

1.一种基于深度的背景模型更新方法，包括：

响应于预定的背景更新条件发生，接收在预定的背景更新条件发生之后的一个或多个拍摄的深度图像；

根据原始背景模型，得到所述一个或多个拍摄的深度图像中相比于在预定的背景更新条件发生时新增的前景图像；

针对新增的前景图像中的前景像素，比较当前的深度值和在预定的背景更新条件发生之前的深度值；

如果当前的深度值大于所述之前的深度值，则将当前新增的前景像素更新到原始背景模型中作为更新后的背景模型，

其中，如果当前的深度值大于所述之前的深度值，则将当前新增的前景像素更新到原始背景模型中作为更新后的背景模型的步骤包括：

将当前新增的前景像素的位置和深度值更新到原始背景模型中作为更新后的背景模型。

2.根据权利要求1所述的方法，其中，所述预定的背景更新条件包括如下中的至少一个：

环境亮度的增加量或增加率大于预定阈值；

经过预定时间段。

3.根据权利要求1所述的方法，其中，所述原始背景模型中的未建模像素的深度值被设置为0。

4.根据权利要求1所述的方法，其中，根据原始背景模型，得到所述一个或多个拍摄的深度图像中相比于在预定的背景更新条件发生时新增的前景图像的步骤包括：

根据原始背景模型得到在预定的背景更新条件发生时拍摄的深度图像中的第一前景图像；

根据原始背景模型得到在预定的背景更新条件发生之后的所述一个或多个拍摄的深度图像中的各个第二前景图像；

将所述各个第二前景图像与所述第一前景图像相减；

将所述相减后得到的所述一个或多个拍摄的深度图像中各自的新增的前景图像作为所述新增的前景图像；

省略述相减后得到的这些深度图像中各自的消失的前景图像和所述相减后抵消的前景图像。

5.根据权利要求1所述的方法，其中，设置背景模型更新的次数为正整数。

6.根据权利要求2所述的方法，其中，环境亮度通过将当前拍摄的深度图像转换到亮度色度空间而得到的亮度值来得到。

7.一种基于深度的背景模型更新系统，包括：

接收装置，被配置为响应于预定的背景更新条件发生，接收在预定的背景更新条件发生之后的一个或多个拍摄的深度图像；

得到装置，被配置为根据原始背景模型，得到所述一个或多个拍摄的深度图像中相比于在预定的背景更新条件发生时新增的前景图像；

比较装置，被配置为针对新增的前景图像中的前景像素，比较当前的深度值和在预定的背景更新条件发生之前的深度值；

更新装置，被配置为如果当前的深度值大于所述之前的深度值，则将当前新增的前景像素更新到原始背景模型中作为更新后的背景模型，

其中，所述更新装置还被配置为：

将当前新增的前景像素的位置和深度值更新到原始背景模型中作为更新后的背景模型。