CN104361577A - 一种基于深度图像与可见光图像融合的前景检测方法 - Google Patents

Abstract

本发明公开了一种基于深度图像与可见光图像融合的前景检测方法，首先对可见光图像以及深度图像进行背景建模，在深度图像的背景建模中，对深度值和深度值是否有效的概率进行了建模，在可见光图像中，利用时空域混合随机采样得到背景模型，然后再对检测到的前景进行融合。本发明将可见光图像与深度图像进行了有机融合，克服了单独利用可见光图像或者深度图像进行前景检测可能存在的检测不准确的问题。

Description

一种基于深度图像与可见光图像融合的前景检测方法

技术领域

本发明涉及视频图像中的前景检测领域,特别是一种基于深度图像与可见光图像融合的前景检测方法。

背景技术

视频图像中的前景检测是计算机视觉可视化应用系统中最基础也是最重要的部分。目前学术界以及工业界都已有较多的前景检测方案，不过基本上都是利用的可见光图像，其前景检测基本分为三大类：帧间差，减背景，光流法。由于可见光图像的颜色信息并不稳定，光照变化、阴影、反射、树叶摇曳、相机抖动等都将降导致图像的变化，降低仅依赖于颜色信息的前景检测准确度，进而影响系统后续分析的准确性以及稳定性，因而精准的前景检测迄今为止还是一个尚未很好解决的开放性问题。这些导致计算机视觉应用系统性能达不到需求的根本原因就在于在透视成像变换的过程中丢失了深度信息，而深度信息在前景检测中起着决定性的作用，因此在前景检测中有效融入深度图像的信息是至关重要的。目前，深度图像也开始逐渐独立的应用于视频前景检测，通常深度信息获取的方式有以下三种：基于双目视觉的方法，基于飞行时间的方法和基于光斑编码的方法。基于双目视觉的方法无法得到密集的点云数据，因为在颜色的平坦区域得不到准确的视差数据。基于飞行时间法的方式成像精度高，但是速度较慢，体积，质量，尺寸都较大，而且成本较高。基于光斑的方法能够得到密集点云，测量速度较快，成本较低，体积、质量以及功耗都可以做得较好，虽测量精度不如飞行时间法，在三种方法的对比中也能具有较好的综合性能。另外光斑编码以及飞行时间法都有一个较明显的缺陷，如果光照区域表面对主动光的反射率较低或者有强光干扰，可能使得探测器无法检测到反射回来的主动光信号，也就不能够得到有效的深度值。可见光图像与深入图像之间还未能进行有效的融合以便提升检测的性能。

发明内容

本发明所要解决的技术问题是，针对现有技术不足，提供一种基于深度图像与可见光图像融合的前景检测方法，将可见光图像与深度图像进行有机融合，解决单独利用可见光图像或者深度图像进行前景检测可能存在的检测不准确的问题；提高依据深度图像进行前景检测的准确度。

为解决上述技术问题，本发明所采用的技术方案是：一种基于深度图像与可见光图像融合的前景检测方法，包括以下步骤：

1)连续选取N帧深度图像，统计所述深度图像各个像素上深度值为有效值，即深度值被正确测量的次数，当深度值无法被测量时，像素值为一个与探测器有关的默认值，将各个像素深度值被正确测量的次数存入矩阵Time_validate，同时累加有效深度值的和，存入矩阵depth_acc，利用矩阵点除法得到每个像素上的平均有效深度值depth_bg；统计出整幅深度图像上有效深度值的相对方差矩阵并求出有效深度值出现的概率其中var表示由各个像素上有效深度值的方差构成的矩阵；

2)将所述深度图像中深度值为有效值的概率小于的像素集合记为将所述深度图像中深度值为有效值的概率大于的像素集合记为将所述深度图像中深度值为有效值，且与所述深度图像的平均有效深度值满足公式 $\frac{|{\mathrm{depth}}_{\mathrm{bg}}(u,v)-{\mathrm{depth}}_{\mathrm{curr}}(u,v)|}{\max \{{\mathrm{depth}}_{\mathrm{bg}}(u,v),{\mathrm{depth}}_{\mathrm{curr}}(u,v)\}}>2.5{\mathrm{VAR}}_{\mathrm{relative}}$ 的像素集合记为其中为深度值无效的概率阈值；为深度值有效的概率阈值；depth_curr表示当前帧深度图像中点(u,v)的深度值；depth_bg(u,v)表示当前帧深度图像中点(u,v)平均有效深度值；

3)选取多帧可见光图像，将所述可见光图像中当前像素及其周围M个邻域像素历史灰度值或者颜色值所构成的集合定义为背景模型；若所述当前像素的灰度值或者颜色值与所述背景模型中某个元素的灰度值或者颜色值之差低于阈值T_chrom，则表示当前像素与该元素匹配；若所述背景模型中与所述当前像素匹配的元素的个数与所述背景模型中元素的个数之比大于Th_card，则当前像素为背景，反之当前像素为前景；同理判断所述可见光图像中的其余所有像素是否为前景，最后得到的所有前景组成前景集合FG_chor；当一个像素被判断为背景时，该像素将以一定概率(典型如)随机替代背景模型中的一个元以实现背景的更新；

4)利用下式得到融合后的前景

${\mathrm{FG}}_{\mathrm{fusion}}^{\mathrm{all}}={\mathrm{FG}}_{\mathrm{fusion}}^1\∪{\mathrm{FG}}_{\mathrm{fusion}}^2\∪{\mathrm{FG}}_{\mathrm{depth}}^3;$

上式中，

${\mathrm{FG}}_{\mathrm{fusion}}^1=({\mathrm{depth}}_{\mathrm{curr}}(u,v)=\mathrm{invalide})\&cap;({\mathrm{Ratio}}_{\mathrm{validate}}<{\mathrm{Th}}_{\mathrm{ratio}}^{\mathrm{low}})\&cap;{\mathrm{FG}}_{\mathrm{chor}};$

${\mathrm{FG}}_{\mathrm{fusion}}^2=({\mathrm{FG}}_{\mathrm{depth}}^1\&cup;({\mathrm{FG}}_{\mathrm{depth}}^2\&cap;({\mathrm{intensity}}_{\mathrm{curr}}<{\mathrm{th}}_{\mathrm{gray}}^{\mathrm{low}}\&cup;{\mathrm{intensity}}_{\mathrm{curr}}>{\mathrm{th}}_{\mathrm{gray}}^{\mathrm{high}})))\&cap;{\mathrm{FG}}_{\mathrm{chor}};$

其中，depth_curr(u,v)＝invalide表示当前帧深度图像中点(u,v)深度值无效；intensity_curr为当前帧可见光图像的灰度；为低灰度阈值；为高灰度阈值。

上述步骤2)中，保证深度图像前景检测的准确性。

步骤3)中，M＝20，在保证背景模型的准确性的前提下，减小计算量；Th_card＝0.2；对于灰度图像，T_chrom＝20；对于彩色图像，T_chrom＝40，保证背景和前景判断的准确性； ${\mathrm{th}}_{\mathrm{gray}}^{\mathrm{low}}=30;{\mathrm{th}}_{\mathrm{gray}}^{\mathrm{high}}=225,$ 保证融合有效性。

与现有技术相比，本发明所具有的有益效果为：本发明将可见光图像与深度图像进行了有机融合，克服了单独利用可见光图像或者深度图像进行前景检测可能存在的检测不准确的问题；在深度图像的背景建模中，不仅对深度值进行了建模，也对深度值是否有效的概率进行了建模，提高了依据深度图像进行前景检测的准确度；背景模型能够迅速的从光照环境的突变中恢复出来，并能够有效克服摄像头受外力所导致的轻微抖动，具有较好的前景检测性能。

具体实施方式

本发明具体实现步骤如下：

第一步：深度图像背景建模

待系统开机稳定运行以后，连续选取N帧深度图像，统计各个像素上深度值为有效值的次数，并存入矩阵Time_validate，同时累加有效深度值的和，存入矩阵depth_acc，利用矩阵点除法，得到每个像素上的平均有效深度值。同时统计出整幅图像上有效深度值的相对方差矩阵并求出有效深度值出现的概率其中var表示由各个像素上有效值的方差构成的矩阵。这样就能获取到有关像素的深度值是否能够有效获取的概率以及所获取的有效深度值的均值以及相对方差。

第二步：基于深度图的前景检测

仅基于深度图像的前景检测包括三部分：第一部分记为是由当前深度值为有效值，而深度背景图像中像素值为有效深度值的概率较低的像素构成，即其中为深度值无效的概率阈值，典型如如果则表示此处的深度值多数情况下是无效值，当出现有效值的时候多是因为前景造成的；第二部分记为代表了当前深度值为无效值，而背景深度值为有效深度值的概率较高的像素，即其中为深度值有效的概率阈值，典型如如果则表示此处的深度值多数情况下是有效值，当出现无效值的时候多是由前景造成的；第三部分记为是由当前深度值是有效值且与背景的平均深度值差异明显，公式表示为的像素构成，depth_curr表示当前帧的深度图。

第三步：可见光图像背景建模

针对常见的可见光背景建模方法中存在的模型描述不精确，模型初始化响应不迅速，以及模型更新中广泛存在的计算量大，更新策略不具有普适性等问题，我们提出一种基于时空域混合随机采样的背景描述、初始化以及更新方案。

在此方法中，背景被建模为一个由当前像素以及周围邻域像素历史灰度或者颜色值所构成的一个集合，如果当前像素与背景模型中某个元素的灰度或者颜色值差异低于阈值T_chrom，那么表示当前像素值与此元素匹配，如果背景模型中与当前像素匹配的元素的势与背景模型的势之比大于Th_card，那么认为此像素属于背景，反之则属于前景FG_chor。对于灰度图像，阈值典型值为T_chrom＝20，对于彩色图像典型值为T_chrom＝40，而Th_card均为Th_card＝0.2。

随机选取M个邻域内的元素值作为背景模型中的元素值，邻域可以是四邻域或者是八邻域，而M一般选择为20，可以通过对邻域内的点集按照均匀分布的原则随机进行选取M次构成一个势为M的背景模型。

对于模型的更新采用保守随机更新方式，只有当前像素值被判断为背景时，才利用当前像素值对背景进行更新。更新时以一定概率(典型如的概率)将当前判断为背景的值随机更新集合中的一个元素，这样能够避免出现严格的先进先出更新策略，也能够使得较早的元素通过多次可能的替代以小概率出现在后面的背景模型中，进而逐渐消隐。另外邻域内像素的背景模型中的元素也会以一定随机概率(典型如的概率)替代当前像素背景模型中的一个随机元素，也就是说模型之间具有空间相关性。系统会在突然检测到大面积的前景时，自动判断出现了快速光照变化，并将强制进行背景模型的更新。

第四步：融合前景检测

在前景的融合检测中，我们首先得到由时空域混合随机采样背景模型检测到的前景FG_chor然后再按照如下方式进行融合：

${\mathrm{FG}}_{\mathrm{fusion}}^1=({\mathrm{depth}}_{\mathrm{curr}}(u,v)=\mathrm{invalide})\&cap;({\mathrm{Ratio}}_{\mathrm{validate}}<{\mathrm{Th}}_{\mathrm{ratio}}^{\mathrm{low}})\&cap;{\mathrm{FG}}_{\mathrm{chor}};$

上式中depth_curr(u,v)＝invalide，分别表示当前帧和背景深度值为无效值。

${\mathrm{FG}}_{\mathrm{fusion}}^2=({\mathrm{FG}}_{\mathrm{depth}}^1\&cup;({\mathrm{FG}}_{\mathrm{depth}}^2\&cap;({\mathrm{intensity}}_{\mathrm{curr}}<{\mathrm{th}}_{\mathrm{gray}}^{\mathrm{low}}\&cup;{\mathrm{intensity}}_{\mathrm{curr}}>{\mathrm{th}}_{\mathrm{gray}}^{\mathrm{high}})))\&cap;{\mathrm{FG}}_{\mathrm{chor}};$

上式中表示当前帧图像灰度低于一个低阈值典型如 表示当前帧图像灰度高于一个高阈值典型如当前图像的灰度值可以是直接由可见光灰度图像直接得到或者可见光彩色图像经过转换为灰度图像得到。

${\mathrm{FG}}_{\mathrm{fusion}}^{\mathrm{all}}={\mathrm{FG}}_{\mathrm{fusion}}^1\&cup;{\mathrm{FG}}_{\mathrm{fusion}}^2\&cup;{\mathrm{FG}}_{\mathrm{depth}}^3;$

上式表示最终前景图像由三部分前景融合得到，至此已经完成了深度图像以及可见光图像的融合前景检测。

Claims (4)

1.一种基于深度图像与可见光图像融合的前景检测方法，其特征在于，包括以下步骤：

1)连续选取N帧深度图像，统计所述深度图像各个像素上深度值为有效值，即深度值被正确测量的次数，将各个像素深度值被正确测量的次数存入矩阵Time_validate，同时累加有效深度值的和，存入矩阵depth_acc，利用矩阵点除法得到每个像素上的平均有效深度值depth_bg；统计出整幅深度图像上有效深度值的相对方差矩阵 ${\mathrm{VAR}}_{\mathrm{relative}}=\mathrm{mean}\left(\frac{\mathrm{var}}{{\mathrm{depth}}_{\mathrm{bg}}}\right),$ 并求出有效深度值出现的概率 ${\mathrm{Ratio}}_{\mathrm{validate}}=\frac{{\mathrm{Time}}_{\mathrm{validate}}}{N},$ 其中var表示由各个像素上有效深度值的方差构成的矩阵；

2)将所述深度图像中深度值为有效值的概率小于的像素集合记为将所述深度图像中深度值为有效值的概率大于的像素集合记为将所述深度图像中深度值为有效值，且与所述深度图像的平均有效深度值满足公式 $\frac{|{\mathrm{depth}}_{\mathrm{bg}}(u,v)-{\mathrm{depth}}_{\mathrm{curr}}(u,v)|}{\max \{{\mathrm{depth}}_{\mathrm{bg}}(u,v),{\mathrm{depth}}_{\mathrm{curr}}(u,v)\}}>2.5{\mathrm{VAR}}_{\mathrm{relative}}$ 的像素集合记为其中为深度值无效的概率阈值；为深度值有效的概率阈值；depth_curr表示当前帧深度图像中点(u,v)的深度值；depth_bg(u,v)表示当前帧深度图像中点(u,v)平均有效深度值；

3)选取多帧可见光图像，将所述可见光图像中当前像素及其周围M个邻域像素历史灰度值或者颜色值所构成的集合定义为背景模型；若所述当前像素的灰度值或者颜色值与所述背景模型中某个元素的灰度值或者颜色值之差低于阈值T_chrom，则表示当前像素与该元素匹配；若所述背景模型中与所述当前像素匹配的元素的个数与所述背景模型中元素的个数之比大于Th_card，则当前像素为背景，反之当前像素为前景；同理判断所述可见光图像中的其余所有像素是否为前景，最后得到的所有前景组成前景集合FG_chor；

4)利用下式得到融合后的前景

${\mathrm{FG}}_{\mathrm{fusion}}^{\mathrm{all}}={\mathrm{FG}}_{\mathrm{fusion}}^1\&cup;{\mathrm{FG}}_{\mathrm{fusion}}^2\&cup;{\mathrm{FG}}_{\mathrm{depth}}^3;$

上式中，

${\mathrm{FG}}_{\mathrm{fusion}}^1=({\mathrm{depth}}_{\mathrm{curr}}(u,v)=\mathrm{invalide})\&cap;({\mathrm{Ration}}_{\mathrm{validate}}<{\mathrm{Th}}_{\mathrm{ratio}}^{\mathrm{low}})\&cap;{\mathrm{FG}}_{\mathrm{chor}};$

${\mathrm{FG}}_{\mathrm{fusion}}^2=({\mathrm{FG}}_{\mathrm{depth}}^1\&cup;({\mathrm{FG}}_{\mathrm{depth}}^2\&cap;({\mathrm{intensity}}_{\mathrm{curr}}<{\mathrm{th}}_{\mathrm{gray}}^{\mathrm{low}}\&cup;{\mathrm{intensity}}_{\mathrm{curr}}>{\mathrm{th}}_{\mathrm{gray}}^{\mathrm{high}})))\&cap;{\mathrm{FG}}_{\mathrm{chor}};$

其中，depth_curr(u,v)＝invalide表示当前帧深度图像中点(u,v)深度值无效；intensity_curr为当前帧可见光图像的灰度；为低灰度阈值；为高灰度阈值。

2.根据权利要求1所述的基于深度图像与可见光图像融合的前景检测方法，其特征在于，所述步骤2)中， ${\mathrm{Th}}_{\mathrm{ratio}}^{\mathrm{low}}=0.1;{\mathrm{Th}}_{\mathrm{ratio}}^{\mathrm{high}}=0.9.$

3.根据权利要求1或2所述的基于深度图像与可见光图像融合的前景检测方法，其特征在于，所述步骤3)中，M＝20；Th_card＝0.2；对于灰度图像，T_chrom＝20；对于彩色图像，T_chrom＝40。

4.根据权利要求3所述的基于深度图像与可见光图像融合的前景检测方法，其特征在于， ${\mathrm{th}}_{\mathrm{gray}}^{\mathrm{low}}=30;{\mathrm{th}}_{\mathrm{gray}}^{\mathrm{high}}=225.$