CN109658441B - 基于深度信息的前景检测方法及装置 - Google Patents

Abstract

本发明涉及计算机视觉领域，其公开了一种基于深度信息的前景检测方法及装置，解决传统检测方案存在的区域内数据不稳定、图像信息缺失的问题，以进行更准确、快速的前景检测任务。该方法包括：A.对深度图像序列基于像素级别进行建模，根据邻域内像素深度值初始化背景模板库；B.当输入待检测深度图像序列时，根据背景模板库对当前帧的像素深度值进行比对分析，判定是否为前景点；C.如果当前像素点不属于前景点，则对背景模板库进行更新。

Description

基于深度信息的前景检测方法及装置

技术领域

本发明涉及计算机视觉领域，特别是一种基于深度信息的前景检测方法及装置。

背景技术

基于视频序列的前景检测或背景建模一直是计算机视觉领域的一个重要研究课题，是目标检测与跟踪、视频监控、姿态分析等后续研究的基础。在智能交通、智能家居、智能机器人等领域有着重要的研究与应用价值。

前景检测是指在摄像头相对静止的条件下，针对视频图像序列按照一定的算法进行计算和比较，能够提取出当前场景下存在的运动目标或则进入该场景下的目标，有效的区分背景信息和目标信息。但是，由于背景图像的不稳定性(光照、天气)容易造成干扰影响，使得前景检测成为一项十分困难工作。

目前，已知的前景检测算法基本上都是基于RGB图像信息来进行，包括帧间差分法、背景差分法、光流算法等。帧间差分法是将视频里面相邻两帧或几帧的两幅图像的像素值作减法，并通过对相减后的图像做阈值处理来获取图像的运动区域。背景差分法是一种对静止场景进行运动区域提取的方法，通过当前图像帧与背景图像做差分运算，得到目标运动区域图，对区域图进行阈值化来提取运动区域。基于光流方法的前景检测采用了运动目标随时间变化的光流特性来提取和跟踪运动目标。

随着深度摄像头的广泛应用，如何应用深度信息来获取前景区域也是人们研究的热点，目前存在两种方式，一种是通过RGB信息的配合使用，另一种是只基于深度信息。第一种方式会增加应用的硬件成本，因为需要同时配备深度和RGB摄像头，同时计算量也比较大，限制了该类方法的实际应用范围。第二种方法单独采用深度信息，目前大多是借鉴基于RGB信息的方法，如帧间差分法、历史图像建模法等。

然而，由于目前硬件技术的局限，深度摄像头获取的深度信息针对玻璃、皮质物、毛发等物体的成像效果并不理想，容易造成区域内数据不稳定、图像信息缺失等影响。因此，传统的基于深度信息的前景检测算法并不能很准确的、稳定的完成检测任务。

发明内容

本发明所要解决的技术问题是：提出一种基于深度信息的前景检测方法及装置，解决传统检测方案存在的区域内数据不稳定、图像信息缺失的问题，以进行更准确、快速的前景检测任务。

本发明解决上述技术问题所采用的技术方案是：

基于深度信息的前景检测方法，包括以下步骤：

A.对深度图像序列基于像素级别进行建模，根据邻域内像素深度值初始化背景模板库；

B.当输入待检测深度图像序列时，根据背景模板库对当前帧的像素深度值进行比对分析，判定是否为前景点；

C.如果当前像素点不属于前景点，则对背景模板库进行更新。

作为进一步优化，步骤A中，所述对深度图像序列基于像素级别进行建模，具体包括：

建立像素级别背景模板库M_n(x,y)，其中x，y表示像素在深度图像中的位置，n表示背景模板深度，即每个像素对应的背景模板值数量，n∈{1,2,3,…,N}；

所述每个像素对应的背景模板值的获取方式为：在该像素一定大小的邻域内，采用一种策略保存邻域内某个像素值作为背景模板值。

作为进一步优化，所述采用一种策略保存领域内某个像素值作为背景模板值的方法为：

针对位于(x,y)处的像素，选择一定大小的邻域，以等概率的方式，取领域中某一个像素值作为(x,y)处像素的背景模板值。

作为进一步优化，步骤A中，对于建立背景模板库的深度图像序列，可能存在运动或将要运动的前景目标，结合背景区域存在的三种状态：吸光区，稳定区，闪烁区；则建立的背景模板库M_n(x,y)包含以下情况：

M_n(x,y)包含部分零值和背景深度值(近似等概率)；

M_n(x,y)包含全是零值(M_n(x,y)≤α)；

M_n(x,y)包含全是背景深度值；

M_n(x,y)包含目标深度值、零值、背景深度值；

M_n(x,y)包含目标深度值、零值；

M_n(x,y)包含目标深度值、背景深度值；

其中，α表示摄像头最小成像距离。

作为进一步优化，所述吸光区表示无深度信息区域；所述稳定区表示有深度信息，并且深度值变化很小，近似于恒定；闪烁区表示深度值不稳定，时有时无，一般其深度值在零值与真实背景值两者间跳变。

作为进一步优化，步骤B中，所述根据背景模板库对当前帧的像素深度值进行比对分析，具体包括：

对于当前像素点深度值D(x,y)限定初始条件为：

D(x,y)≥α

max(M_n(x,y))–D(x,y)≥θ

其中，α表示摄像头最小成像距离，D(x,y)≥α表示当前像素位置(x,y)处的深度值不是由于距离过近造成的零值点，也不是闪烁区和吸光区的零值点；

max(M_n(x,y))–D(x,y)表示背景深度值的最大值与当前像素在(x,y)处的深度值的差值，θ是一个大于0的正数，由摄像头精度控制，保证所取得点不是背景点；

在比对分析时，采用逐像素比对的方式，对比当前像素深度值和背景模板库深度值：

Φ_n(x,y)＝D[x,y]–M_n[x,y]

Φ_n(x,y)表示当前像素深度值与背景深度值在(x,y)位置处的差值；

然后，将Φ_n(x,y)的绝对值与预设的阈值θ进行比较。

作为进一步优化，所述判定是否为前景点的方法为：

若经过计算，当前像素对应的背景模板值的个数中，超过一定比例均满足Φ_n(x,y)的绝对值大于θ，则判定当前像素为前景点。

作为进一步优化，所述一定比例为50％。

作为进一步优化，步骤C中，所述对背景模板库更新的方法为：

若当前像素点D(x,y)大于α，当前点对应的所有背景深度值中的一个值，随机更新n个模板值中的一个比当前深度值小的点；

若当前像素点D(x,y)小于α，说明当前像素点可能是吸光区或则闪烁区，随机更新n个模板中大于α值的一个点；

若连续T帧，当前点D(x,y)被判定为前景点，且D(x,y)的值大于α，D(x,y)的变化度小于θ，则将该点更新为背景。

此外，本发明还提供了一种基于深度信息的前景检测装置，其包括：

背景建模模块，用于对深度图像序列基于像素级别进行建模，根据邻域内像素深度值初始化背景模板库；

前景检测模块，用于根据背景模板库，对当前帧的像素深度值进行比对分析，判定是否为前景点；

背景模板更新模块，用于当前像素点不属于前景点时，对背景模板库进行更新。

本发明的有益效果是：根据深度图像序列以一种选择方式进行像素级别的背景模板库的初始化；然后，当新的一帧深度图像输入时，以一种计算方式来判断当前帧对应像素点是否属于前景点；如果不是前景点，那么以一种更新方式更新背景模板库。最后，获取当前帧的前景目标区域，同时针对非前景点对背景库进行更新。基于本发明的方案可以更准确、快速地完成前景检测任务。

附图说明

图1为实施例1的前景检测原理示意图；

图2(a)为实施例1的背景建模中初始化序列示意图；

图2(b)为实施例1的背景建模中单像素位置模板库示意图；

图3为实施例1中前景检测过程示意图；

图4为实施例1中模型更新示意图；

图5为实施例2中的前景检测装置结构框图。

具体实施方式

本发明旨在提出一种基于深度信息的前景检测方法及装置，解决传统检测方案存在的区域内数据不稳定、图像信息缺失的问题，以进行更准确、快速的前景检测任务。

下面结合附图及实施例对本发明的方案作进一步的描述：

实施例1：

如图1所示，本实施例中，首先根据深度图像序列以一种选择方式进行像素级别的背景模板库的初始化；然后，当新的一帧深度图像输入时，以一种计算方式来判断当前帧对应像素点是否属于前景点；如果不是前景点，那么以一种更新方式更新背景模板库。最后，获取当前帧的前景目标区域，同时针对非前景点对背景库进行更新。

具体实施步骤如下：

步骤1：根据深度图像序列随机性的选取对应像素位置的邻域内深度值作为背景，建立背景模板库；

在具体实现上，本步骤包括以下手段：

(1).选取连续深度图像序列，长度为N；

(2).建立每一个像素对应位置的背景模板库，维度为N；从图像序列长度N＝0开始，每一帧图像内各个像素对应的背景模板库选取的方式是：取该像素邻域大小3x3的9个像素值，如图2(a)所示，Px0、Px1、Px2分别是前三帧(x,y)处的像素点，那么，在像素位置(x,y)处的背景模板库的可能取值为Px，以等概率方式选择其邻域内的深度值作为Px，由于共N帧初始序列，那么得到的模板库M_n(x,y)每个像素点包含N个背景值，如图2(b)所示；

步骤2：当新的一帧深度图像输入时，对应像素位置的深度值与背景深度值做差分计算，并给定一个阈值作为判定条件，获取当前帧的前景点。如图3所示，具体步骤如下：

(1)背景深度值M_n(x,y)在建模过程中存在两种情况：一是包含运动目标区域，二是只包含背景区域。背景区域包含三种情况：一是吸光区(玻璃、距离过近造成无法成像)，二是闪烁区(不稳定区域，深度值在真实背景值和0值波动)，三是真实背景区(成像稳定区域)。

若包含运动目标区域，则M_n(x,y)：

1)如果建模过程中，存在静止或则缓慢移动目标，那么M_n(x,y)包含部分目标深度值，占有比依据目标移动的快慢，移动的快，背景库则包含目标深度少，移动慢，则包含多。

若只是背景区域，则M_n(x,y)：

1)如果建模过程中，背景存在闪烁区，那么M_n(x,y)包含部分0值和背景深度值；

2)如果建模过程中，背景存在吸光区，那么M_n(x,y)全部是0值(Mn(x,y)≤α)；

3)如果建模过程中，背景是稳定区，那么M_n(x,y)全是背景深度值；

包含运动目标区域并结合背景区域情况，M_n(x,y)可以细分为：

1)M_n(x,y)包含部分0值和背景深度值(近似等概率)；

2)M_n(x,y)包含全是0值(M_n(x,y)≤α)；

3)M_n(x,y)包含全是背景深度值；

4)M_n(x,y)包含目标深度值D(x,y)、0值、背景深度值；

5)M_n(x,y)包含目标深度值D(x,y)、0值；

6)M_n(x,y)包含目标深度值D(x,y)、背景深度值；

(2)对于D(x,y)限定初始条件为：

D(x,y)≥α

max(M_n(x,y))–D(x,y)≥θ

其中α表示摄像头最小成像距离，D(x,y)≥α表示当前像素位置x,y处的深度值不是由于距离过近造成的零值点，也不是闪烁区和吸光区的零值点；max(M_n(x,y))–D(x,y)表示背景模板值的最大值和当前像素在x,y处的差值，θ是一个大于0得正数，由摄像头精度控制，保证所取得点不是背景点。

(3)当待测图像输入时，采用逐像素比对的方式，对比当前像素深度值和背景模板库深度值：

Φ_n(x,y)＝|D[x,y]–M_n[x,y]|

Φ_n(x,y)表示当前像素深度值与背景模板库在x,y位置处的差值。D(x,y)表示当前位置x,y处的深度值，M_n[x,y]表示对应位置背景模板深度值。n表示当前像素对应的背景模板深度值个数，n＝{1，2，3，…，N}。

(4)对于Φ_n(x,y)给定一个阈值θ作为判决是否属于前景点，如果n个差值中，如果超过50％的值大于θ，即num>n/2,那么该像素位置确定为前景点，否则为背景点，θ的取值依赖于深度摄像头的精度，num表示差值Φ_n(x,y)大于θ的个数。

步骤3：以随机的方式更新M_n(x,y)的值，如图4所示，具体步骤如下：

若D(x,y)<＝α：

其中，n以等概率方式取令M_n(x,y)>＝α的值之一。

若D(x,y)>＝α：

其中，n以等概率方式取令M_n(x,y)≤D(x,y)的值之一。

步骤4：为了避免远距离的背景被新加入的近距离背景替换而无法区分是否是前景点，我们采取如下更新方式：

若D(x,y)>＝α,且判断为前景的前提下，若果连续T帧没有改变，D(x,y)的变化度小于θ，那么将该点更新为背景点。

实施例2：

如图5所示，本实施例提供的一种基于深度信息的前景检测装置，包括：

背景建模模块，用于对深度图像序列基于像素级别进行建模，根据邻域内像素深度值初始化背景模板库。其具体实现过程参考实施例1。

前景检测模块，用于根据背景模板库，对当前帧的像素深度值进行比对分析，判定是否为前景点。其具体实现过程参考实施例1。

背景模板更新模块，用于当前像素点不属于前景点时，对背景模板库进行更新。其具体实现过程参考实施例1。

Claims (7)

1.基于深度信息的前景检测方法，其特征在于，包括以下步骤：

A.对深度图像序列基于像素级别进行建模，根据邻域内像素深度值初始化背景模板库；

B.当输入待检测深度图像序列时，根据背景模板库对当前帧的像素深度值进行比对分析，判定是否为前景点；

C.如果当前像素点不属于前景点，则对背景模板库进行更新；

步骤A中，所述对深度图像序列基于像素级别进行建模，具体包括：

建立像素级别背景模板库M_n(x,y)，其中x，y表示像素在深度图像中的位置，n表示背景模板深度，即每个像素对应的背景模板值数量，n∈{1,2,3,…,N}；

所述每个像素对应的背景模板值的获取方式为：在该像素一定大小的邻域内，采用一种策略保存邻域内某个像素值作为背景模板值；

步骤A中，对于建立背景模板库的深度图像序列，可能存在运动或将要运动的前景目标，结合背景区域存在的三种状态：吸光区，稳定区，闪烁区；则建立的背景模板库M_n(x,y)包含以下情况：

若背景区域存在稳定区，则建立的背景模板库M_n(x,y)对应两种情况：(1)M_n(x,y)包含全是背景深度值；(2)M_n(x,y)包含目标深度值、背景深度值；

若背景区域存在闪烁区，则建立的背景模板库M_n(x,y)对应两种情况：(1)M_n(x,y)包含部分零值和背景深度值；(2)M_n(x,y)包含目标深度值、零值、背景深度值；

若背景区域存在吸光区，则建立的背景模板库M_n(x,y)对应两种情况：(1)M_n(x,y)包含全是零值；(2)M_n(x,y)包含目标深度值、零值；

所述吸光区表示无深度信息区域；

所述稳定区表示有深度信息，并且深度值变化很小，近似于恒定；

闪烁区表示深度值不稳定，时有时无，其深度值在零值与真实背景值两者间跳变。

2.如权利要求1所述的基于深度信息的前景检测方法，其特征在于，

所述采用一种策略保存邻 域内某个像素值作为背景模板值的方法为：

针对位于(x,y)处的像素，选择一定大小的邻域，以等概率的方式，取邻 域中某一个像素值作为(x,y)处像素的背景模板值。

3.如权利要求1所述的基于深度信息的前景检测方法，其特征在于，

步骤B中，所述根据背景模板库对当前帧的像素深度值进行比对分析，具体包括：

对于当前像素点深度值D(x,y)限定初始条件为：

D(x,y)≥α

max(M_n(x,y))–D(x,y)≥θ

其中，α表示摄像头最小成像距离，D(x,y)≥α表示当前像素位置(x,y)处的深度值不是由于距离过近造成的零值点，也不是闪烁区和吸光区的零值点；

max(M_n(x,y))–D(x,y)表示背景深度值的最大值与当前像素在(x,y)处的深度值的差值，θ是一个大于0的正数，由摄像头精度控制，保证所取得点不是背景点；

在比对分析时，采用逐像素比对的方式，对比当前像素深度值和背景模板库深度值：

Φ_n(x,y)＝D[x,y]–M_n[x,y]

Φ_n(x,y)表示当前像素深度值与背景深度值在(x,y)位置处的差值；

然后，将Φ_n(x,y)的绝对值与预设的阈值θ进行比较。

4.如权利要求3所述的基于深度信息的前景检测方法，其特征在于，

所述判定是否为前景点的方法为：

若经过计算，当前像素对应的背景模板值的个数中，超过一定比例均满足Φ_n(x,y)的绝对值大于θ，则判定当前像素为前景点。

5.如权利要求4所述的基于深度信息的前景检测方法，其特征在于，

所述一定比例为50％。

6.如权利要求4所述的基于深度信息的前景检测方法，其特征在于，

步骤C中，所述对背景模板库更新的方法为：

若当前像素点D(x,y)大于α，当前点对应的所有背景深度值中的一个值，随机更新n个模板值中的一个比当前深度值小的点；

若当前像素点D(x,y)小于α，说明当前像素点可能是吸光区或则闪烁区，随机更新n个模板中大于α值的一个点；

若连续T帧，当前点D(x,y)被判定为前景点，且D(x,y)的值大于α，D(x,y)的变化度小于θ，则将该点更新为背景。

7.基于深度信息的前景检测装置，其特征在于，包括：

背景建模模块，用于对深度图像序列基于像素级别进行建模，根据邻域内像素深度值初始化背景模板库；

前景检测模块，用于根据背景模板库，对当前帧的像素深度值进行比对分析，判定是否为前景点；

背景模板更新模块，用于当前像素点不属于前景点时，对背景模板库进行更新；

所述对深度图像序列基于像素级别进行建模，具体包括：

建立像素级别背景模板库M_n(x,y)，其中x，y表示像素在深度图像中的位置，n表示背景模板深度，即每个像素对应的背景模板值数量，n∈{1,2,3,…,N}；

所述每个像素对应的背景模板值的获取方式为：在该像素一定大小的邻域内，采用一种策略保存邻域内某个像素值作为背景模板值；

对于建立背景模板库的深度图像序列，可能存在运动或将要运动的前景目标，结合背景区域存在的三种状态：吸光区，稳定区，闪烁区；则建立的背景模板库M_n(x,y)包含以下情况：

若背景区域存在稳定区，则建立的背景模板库M_n(x,y)对应两种情况：(1)M_n(x,y)包含全是背景深度值；(2)M_n(x,y)包含目标深度值、背景深度值；

若背景区域存在闪烁区，则建立的背景模板库M_n(x,y)对应两种情况：(1)M_n(x,y)包含部分零值和背景深度值；(2)M_n(x,y)包含目标深度值、零值、背景深度值；

若背景区域存在吸光区，则建立的背景模板库M_n(x,y)对应两种情况：(1)M_n(x,y)包含全是零值；(2)M_n(x,y)包含目标深度值、零值；

所述吸光区表示无深度信息区域；

所述稳定区表示有深度信息，并且深度值变化很小，近似于恒定；

闪烁区表示深度值不稳定，时有时无，其深度值在零值与真实背景值两者间跳变。

Images