CN111145210B

CN111145210B - 一种前景提取方法及装置、可读存储介质

Info

Publication number: CN111145210B
Application number: CN201911328264.9A
Authority: CN
Inventors: 莫洪程; 田景军; 刘翔; 朱煜枫; 黄浩然
Original assignee: Shanghai Fullhan Microelectronics Co ltd
Current assignee: Shanghai Fullhan Microelectronics Co ltd
Priority date: 2019-12-20
Filing date: 2019-12-20
Publication date: 2023-09-08
Anticipated expiration: 2039-12-20
Also published as: CN111145210A

Abstract

本发明提供一种前景提取方法及装置、可读存储介质，方法包括：获取第一带噪图像以及第一背景图像；其中，所述第一带噪图像包含待提取前景和噪声，所述第一背景图像不包含所述待提取前景和噪声；获取所述第一带噪图像和所述第一背景图像的残差图像，作为第一残差图像；对所述第一残差图像进行小波分解与重建，得到滤波图像，作为第一滤波图像；将所述第一滤波图像进行二值化，得到第一二值化图像，利用基于密度的聚类算法从所述第一二值化图像中提取所述待提取前景的区域，得到第一前景图像，并对所述第一前景图像进行形态学操作处理。本发明的方案可以解决在有噪声存在的情况下，前景提取容易出现误判且实时性不佳的问题。

Description

一种前景提取方法及装置、可读存储介质

技术领域

本发明属于数字图像处理技术领域，特别涉及一种前景提取方法及装置、可读存储介质。

背景技术

随着智能化时代的发展，越来越多的研究人员在改进利用机器来帮助人类感知世界作出决策的方式，其中计算视觉领域涉及范围非常广，视频监控是计算机视觉的一个重要应用方向。视频也被称为图像序列，视频中静止不动的物体为背景，运动的物体是前景，对背景和前景进行区分是视频图像处理的一个关键任务，在运动估计、目标跟踪、目标分类等实际任务中有着很广阔的应用价值。

目前常见的前景提取方法有很多种，有利用高斯混合模型来给背景建模的GMM方法、有基于颜色空间或者纹理信息来对前景进行分割的方法、有基于模糊理论的前景提取方法、有ViBe基于背景集合更新的算法等，这些方法经过多年的发展都愈加成熟，对于干净背景下的运动物体前景提取效果都非常优良。

但这些视频前景提取方法存在有以下缺陷：上述方法都是针对待提取前景图像为干净图像的前提进行研究实现，而当所需要提取前景的图像存在较大的噪声时，容易出现误判的情况，而对于实际场景中，噪声往往难以避免。另外，背景模型的初始化复杂度较高，且储存模型比较耗费内存，对于清晰度较高的监控视频尺寸会产生较大的带宽压力，实时性不佳。

发明内容

本发明的目的在于提供一种前景提取方法及装置、可读存储介质，以解决在有噪声存在的情况下，前景提取容易出现误判且实时性不佳的问题。

具体的技术方案如下：

为了实现上述目的，本发明提供了一种前景提取方法，包括：

获取第一带噪图像以及第一背景图像；其中，所述第一带噪图像包含待提取前景和噪声，所述第一背景图像不包含所述待提取前景和噪声；

获取所述第一带噪图像和所述第一背景图像的残差图像，作为第一残差图像；

对所述第一残差图像进行小波分解与重建，得到滤波图像，作为第一滤波图像；

将所述第一滤波图像进行二值化，得到第一二值化图像，利用基于密度的聚类算法从所述第一二值化图像中提取所述待提取前景的区域，得到第一前景图像，并对所述第一前景图像进行形态学操作处理。

可选的，在上述的前景提取方法中，所述第一带噪图像还包含光影，所述第一背景图像不包含光影；

所述方法还包括：

将所述第一背景图像和所述第一带噪图像分别进行下采样，得到第二背景图像和第二带噪图像；

获取所述第二带噪图像和所述第二背景图像的残差图像，作为第二残差图像；

对所述第二残差图像进行小波分解与重建，得到滤波图像，作为第二滤波图像；

将所述第二滤波图像进行二值化，得到第二二值化图像，利用基于密度的聚类算法从所述第二二值化图像中提取所述待提取前景的区域，得到第二前景图像；

将所述第二前景图像进行上采样，将上采样后的所述第二前景图像与所述第一前景图像进行融合，对融合后的图像进行形态学操作处理，得到第三前景图像。

可选的，在上述的前景提取方法中，所述对所述第一残差图像进行小波分解与重建，得到滤波图像的方法包括：

将所述第一残差图像进行小波分解变换到小波域，得到低频子带LL、垂直高频子带HL、水平高频子带LH和对角高频子带HH的小波系数；

对各个子带的小波系数采用硬阈值函数将残差稀疏化，得到滤波图像。

可选的，在上述的前景提取方法中，所述硬阈值函数为：

其中，w₀＝3*Sig，Sig表示所述第一带噪图像的噪声等级的强度，w表示经过小波分解后的小波系数值。

可选的，在上述的前景提取方法中，采用的小波函数为Haar小波，小波分解级别为3级。

可选的，在上述的前景提取方法中，所述利用基于密度的聚类算法从所述第一二值化图像中提取所述待提取前景的区域的方法包括：

计算所述第一二值化图像中各个像素点的密度；

将密度大于初始密度阈值的像素点判定为初始核心点，将所有可密度直达的初始核心点归类成一个簇，统计所有簇内初始核心点的密度信息，根据所述密度信息确定不同簇的密度阈值；

针对每一像素点，确定与该像素点距离最近的簇作为目标簇，若该像素点的密度大于所述目标簇的密度阈值，则判定该像素点为核心点，否则再判断该像素点的邻域内是否存在核心点，如果存在则判定该像素点为边界点，如果不存在则判定该像素点为噪声点；

将所有核心点和边界点组成的区域作为所述待提取前景的区域。

可选的，在上述的前景提取方法中，所述计算所述第一二值化图像中各个像素点的密度的方法包括：

针对所述第一二值化图像中的每一像素点，利用K维空间树对该像素点进行区域划分，将该区域内不为0的像素点的个数与该区域的面积的比值，作为该像素点的密度。

基于同一发明构思，本发明还提供一种前景提取装置，包括：

第一获取模块，用于获取第一带噪图像以及第一背景图像；其中，所述第一带噪图像包含待提取前景和噪声，所述第一背景图像不包含所述待提取前景和噪声；

第二获取模块，用于获取所述第一带噪图像和所述第一背景图像的残差图像，作为第一残差图像；

第一滤波模块，用于对所述第一残差图像进行小波分解与重建，得到滤波图像，作为第一滤波图像；

第一提取模块，用于将所述第一滤波图像进行二值化，得到第一二值化图像，利用基于密度的聚类算法从所述第一二值化图像中提取所述待提取前景的区域，得到第一前景图像，并对所述第一前景图像进行形态学操作处理。

可选的，在上述的前景提取装置中，所述第一带噪图像还包含光影，所述第一背景图像不包含光影；

所述装置还包括：

下采样模块，用于将所述第一背景图像和所述第一带噪图像分别进行下采样，得到第二背景图像和第二带噪图像；

第三获取模块，用于获取所述第二带噪图像和所述第二背景图像的残差图像，作为第二残差图像；

第二滤波模块，用于对所述第二残差图像进行小波分解与重建，得到滤波图像，作为第二滤波图像；

第二提取模块，用于将所述第二滤波图像进行二值化，得到第二二值化图像，利用基于密度的聚类算法从所述第二二值化图像中提取所述待提取前景的区域，得到第二前景图像；

融合模块，用于将所述第二前景图像进行上采样，将上采样后的所述第二前景图像与所述第一前景图像进行融合，对融合后的图像进行形态学操作处理，得到第三前景图像。

可选的，在上述的前景提取装置中，所述第一滤波模块对所述第一残差图像进行小波分解与重建，得到滤波图像的方法包括：

可选的，在上述的前景提取装置中，所述硬阈值函数为：

可选的，在上述的前景提取装置中，采用的小波函数为Haar小波，小波分解级别为3级。

可选的，在上述的前景提取装置中，所述第一提取模块利用基于密度的聚类算法从所述第一二值化图像中提取所述待提取前景的区域的方法包括：

计算所述第一二值化图像中各个像素点的密度；

可选的，在上述的前景提取装置中，所述第一提取模块计算所述第一二值化图像中各个像素点的密度的方法包括：

基于同一发明构思，本发明还提供一种可读存储介质，其上存储有计算机程序，所述计算机程序被一处理器执行时能实现如上任一项所述的前景提取方法。

与现有技术相比，本发明提供的前景提取方法及装置、可读存储介质具有如下有益效果：

(1)在前景提取时对噪声的鲁棒性较好，可以作为图片存在较大噪声情况下的前景提取方案或者去噪时进行运动估计的前景判定方案；

(2)本方案不需要进行初始化建模，在算力条件足够的情况下可以更容易实现实时运算；

(3)本方案在不同分辨率尺度下针对不同类型的前景进行提取，利用大尺度获取小物体的细节，利用小尺度获取变化幅度小的大物体，可以有效地获得光影等前景。

附图说明

图1是本发明一实施例提供的一种前景提取方法的流程示意图；

图2a示出了所述第一带噪图像的一个示例图；

图2b示出了所述第一背景图像的一个示例图；

图3是本发明一实施例提供的另一种前景提取方法的流程示意图；

图4是本发明一具体实施例的前景提取方法的流程示意图；

图5是图4中步骤106的细分子步骤的流程示意图；

图6是本发明一实施例提供的一种前景提取装置的结构示意图。

具体实施方式

如背景技术所述，现有技术的前景提取方法都是针对待提取前景图像为干净图像的前提进行研究实现的，而当所需要提取前景的图像存在较大的噪声时，容易出现误判的情况，而对于实际场景中，噪声往往难以避免。另外，背景模型的初始化复杂度较高，且储存模型比较耗费内存，对于清晰度较高的监控视频尺寸会产生较大的带宽压力，实时性不佳。

基于此，本发明提供一种前景提取方法及装置，针对有噪声存在的图像，能够更好地提取出运动物体的前景信息，以解决现有技术中在有噪声存在的情况下，前景提取容易出现误判的问题。本发明提供的方案不仅可实现噪声情况下的目标检测，也可以作为时域去噪进行分层处理的方案。

为使本发明的目的、特征更明显易懂，下面结合附图对本发明的技术方案作详细的说明，然而，本发明可以用不同的形式实现，不应只是局限在所述的实施例。此外，需要说明的是，本文的框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机程序指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。

请参考图1，本发明一实施例提供一种前景提取方法，包括以下步骤：

步骤S101、获取第一带噪图像以及第一背景图像。

步骤S102、获取所述第一背景图像和所述第一带噪图像的残差图像，作为第一残差图像。

步骤S103、对所述第一残差图像进行小波分解与重建，得到滤波图像，作为第一滤波图像。

步骤S104、将所述第一滤波图像进行二值化，得到第一二值化图像，利用基于密度的聚类算法从所述第一二值化图像中提取所述待提取前景的区域，得到第一前景图像，并对所述第一前景图像进行形态学操作处理。

步骤S101中，所述第一带噪图像包含待提取前景和噪声，所述第一背景图像不包含所述待提取前景和噪声。图2a示出了所述第一带噪图像P₀的一个示例图，图2b示出了所述第一背景图像I₀的一个示例图，图2b所示的第一背景图像I₀为干净的、没有运动物体也没有噪声的图像，图2a所示的第一带噪图像P₀为包含运动物体(行驶中的车辆)和噪声的图像。

以下以所述第一带噪图像P₀和第一背景图像I₀为例进行说明。

步骤S102获取所述第一背景图像和所述第一带噪图像的残差图像，即，在所述第一背景图像I₀的图像维度尺寸上计算出所述第一背景图像I₀和所述第一带噪图像P₀的残差diff₀＝P₀-I₀，从而得到第一残差图像diff₀。

步骤S103将所述第一残差图像diff₀变换到具有极大稀疏性的小波域中，在小波域内将残差稀疏化，对所述残差图像diff₀进行小波分解与重建，得到第一滤波图像Q₀。

具体的，步骤S103将第一残差图像diff₀进行小波分解变换到小波域，得到低频子带LL、垂直高频子带HL、水平高频子带LH和对角高频子带HH的小波系数，对不同子带的小波系数采用硬阈值函数来进行稀疏化，从而达到滤波效果。

其中，硬阈值函数为

且一般情况下，w₀＝3*Sig，Sig表示所述第一带噪图像的噪声等级的强度，w表示经过小波分解后的小波系数值。

本步骤中，采用的小波函数为Haar小波，小波分解级别为3级。

Haar小波基本尺度函数定义如下

对所述第一残差图像进行小波分解与重建，是为了得到细节层面上的大致前景范围，由于噪声的存在，此时所得到的第一滤波图像Q₀的背景还存在一定的噪点，均匀分布于背景区域，但前景区域像素更为密集，因此通过步骤S104来获得前景图像。

步骤S104首先将所述第一滤波图像Q₀进行二值化，将图像中所有不为0的像素点置1得到第一二值化图像T₀，然后本发明提出一种基于密度的聚类算法，来对所述第一二值化图像T₀进行前景提取，将所有像素点分成核心点、边界点和噪声点，核心点和边界点共同组成所提取出的前景区域，即得到第一前景图像F₀，并且还需要对所述第一前景图像进行形态学操作处理。形态学操作包括开操作和闭操作，开操作表示对图像进行先腐蚀后膨胀，目的在于消除细的突出物，即背景有可能会残留的小噪声；闭操作表示对图像进行先膨胀后腐蚀，目的在于消除小的孔洞。

对于上述的密度的聚类算法，首先定义密度为单位面积内像素点的个数，定义半径为Eps，像素点阈值为MinPts，则密度的表达式为

定义密度阈值ρ_w，则上述的核心点、边界点和噪声点这三类像素点可按照如下原则划分：

核心点：ρ大于ρ_w的点；

边界点：ρ小于ρ_w，但位于核心点邻域范围内的；

噪声点：核心点和边界点以外的点。

初始密度阈值ρ_w0和半径Eps与噪声强度正相关，噪声强度越大，选取的半径越大，初始密度阈值越大。

边界点的判定条件为对于任一非核心点，若其邻域内存在有核心点，则将其判定为边界点，一个边界点可能同时落入一个或者多个核心点的邻域内。

下面对所述利用基于密度的聚类算法从所述第一二值化图像中提取所述待提取前景的区域的方法进行详细介绍，可以包括如下子步骤：

S41，计算所述第一二值化图像中各个像素点的密度；

S42，将密度大于初始密度阈值的像素点判定为初始核心点，将所有可密度直达的初始核心点归类成一个簇，统计所有簇内初始核心点的密度信息，根据所述密度信息确定不同簇的密度阈值；

S43，针对每一像素点，确定与该像素点距离最近的簇作为目标簇，若该像素点的密度大于所述目标簇的密度阈值，则判定该像素点为核心点，否则再判断该像素点的邻域内是否存在核心点，如果存在则判定该像素点为边界点，如果不存在则判定该像素点为噪声点；

S44，将所有核心点和边界点组成的区域作为所述待提取前景的区域。

在子步骤S41中，针对所述第一二值化图像中的每一像素点，利用K维空间树对该像素点进行区域划分，将该区域内不为0的像素点的个数与该区域的面积的比值，作为该像素点的密度。K维空间树(KD-Tree)是一种二叉树结构，将每个超矩形区域的数据储存在叶子节点上，这样可以通过二叉树查找来确定距离，以提高计算速度。这里K＝2，通过两个维度的值划分来得到每个像素点所对应的2维超矩形区域，从而降低距离计算时的计算量，并且采用最大方差法来建树，即每次划分点根据维度上的数据的方差来决定，选择方差较大的维度进行切分，以增大每个点的框定区域，使得距离分布更加均匀。

计算每个像素点的密度的方法为：选择一个预设大小的窗(例如15*15)，遍历所述第一二值化图像中的每一个像素点，统计以这个像素点为中心的15*15的矩阵内不为0的像素点的个数，个数与窗大小的比值称之为该像素点的密度。

在子步骤S42中，将密度大于初始密度阈值的像素点判定为初始核心点，则整个第一二值化图像中所有初始核心点构成的区域就是初始核心区域。此处，本发明还定义了一个密度直达的概念，密度直达指的是在某一核心点的邻域内，存在有另一核心点。如此，可将所有可密度直达的核心点归类成一个簇。然后，统计所有簇内初始核心点的密度信息，根据所述密度信息确定不同簇的密度阈值，具体可以为：针对每个簇，计算该簇内所有初始核心点的密度的均值，根据均值确定该簇的密度阈值，例如将该簇的密度阈值设为k*ρi，其中k为预设系数，ρi为该簇内所有初始核心点的密度的均值。

在子步骤S43中，再次对所述第一二值化图像中的各个像素点进行搜索，按照各个簇的密度阈值重新判定各个像素点属于核心点、边界点还是噪声点。具体的，遍历每一个像素点，寻找与该像素点距离最近的簇作为目标簇，用目标簇的密度阈值判断该像素点到底是不是核心点，若该像素点的密度大于目标簇的密度阈值，则判定该像素点是核心点，否则就再判断该像素点的邻域内是否存在核心点，若存在则判定该像素点为边界点，若不存在则判定该像素点为噪声点。

如此，就对所述第一二值化图像中的所有像素点进行了核心点、边界点和噪声点的划分。其中，所有核心点和边界点组成的区域就构成了所述待提取前景的区域。

本申请的发明人进一步研究发现，对于图像中的阴影区域，比如光线、影子等，在有噪声干扰的情况下也很难被区分，尤其对于背景建模等算法，光影的分布和噪声的分布存在一定的近似，从而出现严重误差。

图1所示实施例提供的前景提取方法中，对于光影区域而言，由于残差较小，在所述第一残差图像diff₀上的分布近似于噪声，经过一次小波滤波后，光影区域会变得比较稀疏，在聚类算法中会有一定概率误判成噪声点，因此还进一步处理以提取光影区域。

基于此，为了在有噪声和光影存在的情况下，更好的提取出运动物体和光影的前景信息，本发明一实施例提供了另一种前景提取方法。

在图1所示实施例提供的一种前景提取方法的基础上，本实施例中，所述第一带噪图像还包含光影且所述第一背景图像不包含光影，如图3所示，本实施例提供的前景提取方法还包括：

S105，将所述第一背景图像和所述第一带噪图像分别进行下采样，得到第二背景图像和第二带噪图像。

S106，获取所述第二带噪图像和所述第二背景图像的残差图像，作为第二残差图像；

S107，对所述第二残差图像进行小波分解与重建，得到滤波图像，作为第二滤波图像；

S108，将所述第二滤波图像进行二值化，得到第二二值化图像，利用基于密度的聚类算法从所述第二二值化图像中提取所述待提取前景的区域，得到第二前景图像；

S109，将所述第二前景图像进行上采样，将上采样后的所述第二前景图像与所述第一前景图像进行融合，对融合后的图像进行形态学操作处理，得到第三前景图像。

步骤S105对所述第一背景图像I₀和所述第一带噪图像P₀分别进行下采样，得到第二背景图像I₁和第二带噪图像P₁，下采样获得低分辨率的背景图像和带噪图像，这样会使得所述第二残差图像diff₁中的光影区域更加密集，提高光影区域像素点之间的梯度，从而提高小波分解时该处高频小波系数的值，在小波滤波后残差能够得到更好的保留。

在步骤S106、S107和S108与图1中的步骤S102、S103和S104基本类似，在此不做赘述。通过步骤S106、S107和S108可以得到第二前景图像F₁，在所述第二前景图像F₁中，所述光影区域得到了更高的保留程度。

步骤S109将所述第二前景图像F₁进行上采样，上采样后的所述第二前景图像F₁和原图的尺寸一致，将上采样后的所述第二前景图像F₁与所述第一前景图像F₀取并集，可以得到融合图像，对融合图像进行形态学操作处理，即可得到所述第三前景图像，所述第三前景图像中包含运动物体和光影区域。

本实施例中，步骤S102-S104与步骤S105-S108的先后执行顺序不做限定，可以先执行步骤S102-S104再执行步骤S105-S108，也可以先执行步骤S105-S108再执行步骤S102-S104，还可以同时执行步骤S102-S104和步骤S105-S108。

进一步地，若需加快运算速度，在对前景准确度要求不高的情况下，可选取较低分辨率的图像进行前景提取；若对细节保留要求较高的话，则采用高分辨率图像进行提取。

下面以一个具体实施例对本发明实施例提供的一种前景提取方法进行介绍。如图4所示的总体实施流程图所示：

步骤101、获取第一背景图像。这里选择的背景图像为YUV格式，分辨率为1920*1080，在Y通道上进行前景提取。

步骤102、获取待提取前景的第一带噪图像。根据第一带噪图像的噪声等级的强度可以确定小波域去噪的阈值w₀、聚类半径Eps和密度阈值ρ_w0。

步骤103、下采样。例如，采用最大池化下采样对第一背景图像和第一带噪图像进行下采样，得到第二背景图像和第二带噪图像。下采样可提高图像数据的密集程度。

步骤104、计算残差。即，计算第一背景图像和第一带噪图像的残差得到第一残差图像，以及计算第二背景图像和第二带噪图像的残差得到第二残差图像。如此，可得到噪声和前景的混合分布的第一残差图像和第二残差图像，此时噪声和前景区域并存。

步骤105、小波域滤波。即，分别将第一残差图像和第二残差图像转换到小波域上，利用小波域的稀疏性来稀疏化小波系数，以达到滤波的作用，使得大部分噪声变为0，但会存在小部分噪声分布在背景上，如此可得到第一滤波图像和第二滤波图像。

步骤106、聚类计算前景。即，分别对第一滤波图像和第二滤波图像进行基于密度的聚类计算，得到属于前景的核心点和边界点。

该步骤106可细化到如下子步骤，对于第一滤波图像和第二滤波图像均执行以下子步骤，如图5所示：

步骤106-1、从上一步骤105得到滤波后的图像。

步骤106-2、将滤波图像二值化，把所有大于0的值置为1，用这些待分类前景点建立KD-Tree。

步骤106-3、根据预先设定的半径和初始密度阈值来筛选初始核心点，设置半径和密度阈值与Sig正相关。

步骤106-4、将所有可密度直达的初始核心点判定为一个簇，从而得到簇的数量，便于之后计算其他像素点和邻近簇之间的距离。

步骤106-5、统计所有初始核心点的密度值，根据密度值的分布来确定不同区域的密度阈值，从而提高检测的准确度。

步骤106-6、再次进行判定，寻找距离每个像素点最近的簇，按照这个簇的密度阈值来判定该像素点是否属于核心点，如果不是再进一步判定该像素点是边界点还是噪声点，最终根据所有核心点和边界点得到前景点图。

然后执行步骤107、将不同分辨率下获得的前景点图进行结合，得到包含光影区域在内的全部前景图。

步骤108、对所有区域的前景图进行形态学操作，使用闭运算去除前景范围内的空洞，得到最终的前景区域。

本具体实施例提供一种针对带噪图像的前景提取方法，先对原始数据进行下采样，在不同尺度上对残差进行小波域去噪，得到滤波图像；将滤波图像二值化后对其进行基于密度的聚类计算，利用KD-Tree来加快运算速度，将不同尺度下的前景进行结合，得到最终的前景区域。本具体实施例对噪声鲁棒性较强，且对于光影有较好的提取效果。

基于同一发明构思，本发明还提供一种前景提取装置，如图6所示，所述前景提取装置包括：

第一获取模块301，用于获取第一带噪图像以及第一背景图像；其中，所述第一带噪图像包含待提取前景和噪声，所述第一背景图像不包含所述待提取前景和噪声；

第二获取模块302，用于获取所述第一带噪图像和所述第一背景图像的残差图像，作为第一残差图像；

第一滤波模块303，用于对所述第一残差图像进行小波分解与重建，得到滤波图像，作为第一滤波图像；

第一提取模块304，用于将所述第一滤波图像进行二值化，得到第一二值化图像，利用基于密度的聚类算法从所述第一二值化图像中提取所述待提取前景的区域，得到第一前景图像，并对所述第一前景图像进行形态学操作处理。

所述装置还包括：

可选的，在上述的前景提取装置中，所述第一滤波模块303对所述第一残差图像进行小波分解与重建，得到滤波图像的方法包括：

可选的，在上述的前景提取装置中，所述硬阈值函数为：

可选的，在上述的前景提取装置中，所述第一提取模块304利用基于密度的聚类算法从所述第一二值化图像中提取所述待提取前景的区域的方法包括：

计算所述第一二值化图像中各个像素点的密度；

可选的，在上述的前景提取装置中，所述第一提取模块304计算所述第一二值化图像中各个像素点的密度的方法包括：

基于同一发明构思，本发明一实施例还提供一种可读存储介质，其上存储有计算机程序，所述计算机程序被一处理器执行时能实现本发明一实施例所述的前景提取方法。所述可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备，例如可以是但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所描述的计算机程序可以从可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收所述计算机程序，并转发该计算机程序，以供存储在各个计算/处理设备中的可读存储介质中。用于执行本发明操作的计算机程序可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。所述计算机程序可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机程序的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。

这里参照根据本发明实施例的方法、系统和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机程序实现。这些计算机程序可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些程序在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机程序存储在可读存储介质中，这些计算机程序使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有该计算机程序的可读存储介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机程序加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的计算机程序实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

综上所述，本发明提供的前景提取方法及装置、可读存储介质具有如下有益效果：

(2)本方案在不同分辨率尺度下针对不同类型的前景进行提取，利用大尺度获取小物体的细节，利用小尺度获取变化幅度小的大物体，可以有效地获得光影等前景；

(3)本方案不需要进行初始化建模，在算力条件足够的情况下可以更容易实现实时运算。

在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

上述描述仅是对本发明较佳实施例的描述，并非对本发明范围的任何限定，本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰，均属于权利要求书的保护范围。

Claims

1.一种前景提取方法，其特征在于，包括：

将所述第一滤波图像进行二值化，得到第一二值化图像，利用基于密度的聚类算法从所述第一二值化图像中提取所述待提取前景的区域，得到第一前景图像，并对所述第一前景图像进行形态学操作处理；

其中，所述利用基于密度的聚类算法从所述第一二值化图像中提取所述待提取前景的区域的方法包括：

计算所述第一二值化图像中各个像素点的密度；

针对每一像素点，确定与该像素点距离最近的簇作为目标簇，若该像素点的密度大于所述目标簇的密度阈值，则判定该像素点为核心点，否则再判断该像素点的邻域内是否存在核心点，如果存在则判定该像素点为边界点，如果不存在则判定该像素点为噪声；

2.如权利要求1所述的前景提取方法，其特征在于，所述第一带噪图像还包含光影，所述第一背景图像不包含光影；

所述方法还包括：

3.如权利要求1所述的前景提取方法，其特征在于，所述对所述第一残差图像进行小波分解与重建，得到滤波图像的方法包括：

4.如权利要求3所述的前景提取方法，其特征在于，所述硬阈值函数为：

5.如权利要求3所述的前景提取方法，其特征在于，采用的小波函数为Haar小波，小波分解级别为3级。

6.如权利要求1所述的前景提取方法，其特征在于，所述计算所述第一二值化图像中各个像素点的密度的方法包括：

7.一种前景提取装置，其特征在于，包括：

第一提取模块，用于将所述第一滤波图像进行二值化，得到第一二值化图像，利用基于密度的聚类算法从所述第一二值化图像中提取所述待提取前景的区域，得到第一前景图像，并对所述第一前景图像进行形态学操作处理；

其中，所述第一提取模块利用基于密度的聚类算法从所述第一二值化图像中提取所述待提取前景的区域的方法包括：

计算所述第一二值化图像中各个像素点的密度；

8.如权利要求7所述的前景提取装置，其特征在于，所述第一带噪图像还包含光影，所述第一背景图像不包含光影；

所述装置还包括：

9.一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被一处理器执行时能实现权利要求1至6中任一项所述的前景提取方法。