CN113409350B - 一种视频前景和背景分离方法及其相关装置 - Google Patents

Abstract

本申请公开了一种视频前景和背景分离方法及其相关装置，通过预置多尺度特征提取模型根据初始权重获取视频的前三帧图像的特征融合图，进而构建背景模型和更新初始权重，得到第一背景模型和第一权重；基于第一权重获取视频的第i帧图像的特征融合图，再根据第一背景模型和第i帧图像对应的特征融合图分离出该第i帧图像的前景点和背景点；根据第i帧图像对应的特征融合图和前景背景分离结果更新第一背景模型和第一权重，然后通过更新后的第一背景模型和更新后的第一权重对第i+1帧图像进行前景背景分离，直至完成对视频所有图像的前景背景分离，改善了现有的前景背景分离方法存在的分离效果不理想的技术问题。

Description

一种视频前景和背景分离方法及其相关装置

技术领域

本申请涉及视频处理技术领域，尤其涉及一种视频前景和背景分离方法及其相关装置。

背景技术

监控视频前景背景分离即从视频流中分离出运动的前景目标和静态的背景，在现实生活中具有重要的应用价值，比如目标追踪、城市交通监测等等。

现有的视频前景背景分离方法大都基于单个像素在时间轴上的建模或者基于局部信息的建模，这样未能充分利用整体信息的变化，使得分离效果不理想。

发明内容

本申请提供了一种视频前景和背景分离方法及其相关装置，用于改善现有的前景背景分离方法存在的分离效果不理想的技术问题。

有鉴于此，本申请第一方面提供了一种视频前景和背景分离方法，包括：

S1、通过预置多尺度特征提取模型根据初始权重对视频的前三帧图像分别进行多尺度特征提取和特征融合，得到该前三帧图像对应的特征融合图；

S2、根据视频的前三帧图像对应的特征融合图构建背景模型和更新所述初始权重，得到第一背景模型和第一权重；

S3、通过所述预置多尺度特征提取模型根据所述第一权重对所述视频的第i帧图像进行多尺度特征提取和特征融合，得到所述视频中的第i帧图像对应的特征融合图，其中，i∈[4,N]，N为所述视频的帧数；

S4、根据所述第一背景模型和第i帧图像对应的特征融合图分离出该第i帧图像的前景点和背景点，得到该第i帧图像的前景背景分离结果；

S5、根据第i帧图像对应的特征融合图和前景背景分离结果更新所述第一背景模型和所述第一权重，得到更新后的第一背景模型和更新后的第一权重，设置i＝i+1，返回步骤S3，直至i＝N，完成对所述视频的前景背景分离。

可选的，步骤S1具体包括；

通过所述预置多尺度特征提取模型对所述视频的第1帧图像、第2帧图像、第3帧图像分别进行多尺度特征提取，得到所述视频的第1帧图像、第2帧图像、第3帧图像对应的尺度特征层，每帧图像对应的尺度特征层包括多个尺度的特征层；

通过所述预置多尺度特征提取模型根据所述初始权重分别对所述视频的第1帧图像、第2帧图像、第3帧图像对应的尺度特征层进行特征融合，得到所述视频的第1帧图像、第2帧图像、第3帧图像对应的特征融合图。

可选的，步骤S2具体包括：

S21、基于所述视频的第1帧图像和第3帧图像对应的特征融合图构建初始背景模型；

S22、根据所述初始背景模型和所述视频的第2帧图像对应的特征融合图分离出该第2帧图像中的前景点和背景点，得到该第2帧图像的前景背景分离结果；

S23、根据所述视频的第2帧图像对应的特征融合图和前景背景分离结果更新所述初始背景模型和所述初始权重，得到第一背景模型和第一权重。

可选的，步骤S21具体包括：

计算所述视频的第1帧图像和第3帧图像对应的特征融合图的平均特征，得到初始背景模型。

可选的，步骤S22具体包括：

计算所述视频的第2帧图像对应的特征融合图与所述初始背景模型中同一位置的特征值的绝对差值；

将所述绝对差值大于或等于前背景分离阈值的特征值对应位置的像素点判定为前景点，将所述绝对差值小于所述前背景分离阈值的特征值对应位置的像素点判定为背景点，得到该第2帧图像的前景背景分离结果；

其中，所述前背景分离阈值基于所述视频的第1帧图像和第3帧图像的平均像素差值计算得到。

可选的，步骤S23具体包括：

从所述视频的第2帧图像对应的前景背景分离结果中获取该第2帧图像中为背景点的像素点，得到目标像素点；

根据所述目标像素点在第2帧图像对应的特征融合图中的特征值对所述初始背景模型中与该目标像素点位于同一位置的特征值进行更新，得到第一背景模型；

根据所述视频的第2帧图像对应的前景背景分离结果确定该第2帧图像中前景点的比例；

根据该第2帧图像中前景点的比例对所述初始权重进行更新，得到第一权重。

本申请第二方面提供了一种视频前景和背景分离装置，包括：

第一特征提取和融合单元，用于通过预置多尺度特征提取模型根据初始权重对视频的前三帧图像分别进行多尺度特征提取和特征融合，得到该前三帧图像对应的特征融合图；

构建和更新单元，用于根据视频的前三帧图像对应的特征融合图构建背景模型和更新所述初始权重，得到第一背景模型和第一权重；

第二特征提取和融合单元，用于通过所述预置多尺度特征提取模型根据所述第一权重对所述视频的第i帧图像进行多尺度特征提取和特征融合，得到所述视频中的第i帧图像对应的特征融合图，其中，i∈[4,N]，N为所述视频的帧数；

分离单元，用于根据所述第一背景模型和第i帧图像对应的特征融合图分离出该第i帧图像的前景点和背景点，得到该第i帧图像的前景背景分离结果；

更新单元，用于根据第i帧图像对应的特征融合图和前景背景分离结果更新所述第一背景模型和所述第一权重，得到更新后的第一背景模型和更新后的第一权重，设置i＝i+1，触发所述第二特征提取和融合单元，直至i＝N，完成对所述视频的前景背景分离。

可选的，所述构建和更新单元具体包括：

构建子单元，用于基于所述视频的第1帧图像和第3帧图像对应的特征融合图构建初始背景模型；

分离子单元，用于根据所述初始背景模型和所述视频的第2帧图像对应的特征融合图分离出该第2帧图像中的前景点和背景点，得到该第2帧图像的前景背景分离结果；

更新子单元，用于根据所述视频的第2帧图像对应的特征融合图和前景背景分离结果更新所述初始背景模型和所述初始权重，得到第一背景模型和第一权重。

本申请第三方面提供了一种电子设备，所述设备包括处理器以及存储器；

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令执行第一方面任一种所述的视频前景和背景分离方法。

本申请第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行第一方面任一种所述的视频前景和背景分离方法。

从以上技术方案可以看出，本申请具有以下优点：

本申请提供了一种视频前景和背景分离方法，包括：S1、通过预置多尺度特征提取模型根据初始权重对视频的前三帧图像分别进行多尺度特征提取和特征融合，得到该前三帧图像对应的特征融合图；S2、根据视频的前三帧图像对应的特征融合图构建背景模型和更新初始权重，得到第一背景模型和第一权重；S3、通过预置多尺度特征提取模型根据第一权重对视频的第i帧图像进行多尺度特征提取和特征融合，得到视频中的第i帧图像对应的特征融合图，其中，i∈[4,N]，N为视频的帧数；S4、根据第一背景模型和第i帧图像对应的特征融合图分离出该第i帧图像的前景点和背景点，得到该第i帧图像的前景背景分离结果；S5、根据第i帧图像对应的特征融合图和前景背景分离结果更新第一背景模型和第一权重，得到更新后的第一背景模型和更新后的第一权重，设置i＝i+1，返回步骤S3，直至i＝N，完成对视频的前景背景分离。

本申请中，考虑到一个像素点的变化对其他像素点都会产生不同程度的影响，对视频的各帧图像进行不同尺度的特征提取，并将不同尺度的特征图按照不同的权重进行融合，以将整体信息的变化考虑进去；并且通过视频的前三帧图像构建背景模型和权重初始化，从第4帧图像开始进行前景背景分离，并根据图像的分离结果自适应优化背景模型和更新权重，对常见背景分离法出现的“空洞”情况有很好的抑制效果，从而提高了视频前景背景分离效果，改善了现有的前景背景分离方法存在的分离效果不理想的技术问题。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1为本申请实施例提供的一种视频前景和背景分离方法的一个流程示意图；

图2为本申请实施例提供的一种预置多尺度特征提取模型的一个结构示意图；

图3为本申请实施例提供的构建背景模型和更新初始权重的一个流程示意图；

图4为本申请实施例提供的一种视频前景和背景分离过程的一个示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

为了便于理解，请参阅图1，本申请提供的一种视频前景和背景分离方法的一个实施例，包括：

S1、通过预置多尺度特征提取模型根据初始权重对视频的前三帧图像分别进行多尺度特征提取和特征融合，得到该前三帧图像对应的特征融合图。

传统的背景分离算法都是基于单个像素在时间轴上的建模或者基于局部信息的建模，这样未能充分利用整体信息的变化，使得分离效果不理想。本申请实施例考虑到，任何一个像素点的变化对于其他像素点而言都产生了不同程度的影响，因此，本申请实施例对输入图像进行不同尺度的特征提取，并将不同尺度的特征图按照不同的权重进行融合，以将整体信息的变化考虑进去。

具体的，通过预置多尺度特征提取模型对视频的第1帧图像、第2帧图像、第3帧图像分别进行多尺度特征提取，得到视频的第1帧图像、第2帧图像、第3帧图像对应的尺度特征层，每帧图像对应的尺度特征层包括多个尺度的特征层；通过预置多尺度特征提取模型根据初始权重分别对视频的第1帧图像、第2帧图像、第3帧图像对应的尺度特征层进行特征融合，得到视频的第1帧图像、第2帧图像、第3帧图像对应的特征融合图。

请参考图2提供的一种预置多尺度特征提取模型，包括4个卷积层、3个采样层和一个特征融合层。第一个卷积层(conv1层)的卷积核大小为3*3，步长为1，并用0填充，假设该预置多尺度特征提取模型的输入图像大小为300*300，conv1层对输入图像进行卷积处理，提取输入图像的边缘信息，提取得到300*300大小的特征层F₁，特征层F₁的大小与输入图像大小一样，特征层F₁每个特征点表征1*1的信息。

第二个卷积层(conv2层)的卷积核大小为3*3，步长为3，不填充，通过conv2层对特征层F₁进行卷积处理，提取得到100*100大小的特征层F₂，特征层F₂的每个特征点表征3*3的信息。

第三个卷积层(conv3层)的卷积核大小为3*3，步长为3，不填充，通过conv3层对特征层F₂进行卷积处理，提取得到34*34大小的特征层F₃，特征层F₃的每个特征点表征9*9的信息。

第四个卷积层(conv4层)的卷积核大小为3*3，步长为3，不填充，通过conv3层对特征层F₃进行卷积处理，提取得到12*12大小的特征层F₄，特征层F₄的每个特征点表征27*27的信息。

由于预置多尺度特征提取模型提取的4个特征层的尺度大小不同，不能直接对这4个特征层进行特征融合，因此在conv2、conv3和conv4后分别增加一个上采样层，通过采样层对特征层F₂、特征层F₃、特征层F₄进行上采样处理，使得采样后的特征层F₂、采样后的特征层F₃、采样后的特征层F₄与特征层F₁的尺度一致，即保持与输入图像的大小一致。然后特征融合层根据初始权重W＝{W₁，W₂，W₃，W₄}对输入图像对应的特征层F₁、采样后的特征层F₂、采样后的特征层F₃、采样后的特征层F₄进行特征融合，得到输入图像对应的特征融合图

其中，初始权重W₁，W₂，W₃，W₄大小与输入图像大小一样，分别为特征层F₁、采样后的特征层F₂、采样后的特征层F₃、采样后的特征层F₄的权重系数，由于特征层数低的特征点表征的细节纹理信息比较丰富，所以其权重比较大，并假设其满足高斯分布，并进行归一化操作得到：

W₁＝0.6439*E，W₂＝0.2369*E，W₃＝0.0871*E，W₄＝0.0321*E；

式中，E为单位矩阵，与输入图像大小一样。

通过预置多尺度特征提取模型对视频的第1帧图像、第2帧图像、第3帧图像分别进行多尺度特征提取，得到视频的第1帧图像、第2帧图像、第3帧图像对应的尺度特征层，第1帧图像、第2帧图像、第3帧图像对应的尺度特征层均包括4个尺度的特征层；通过预置多尺度特征提取模型根据初始权重对该第1帧图像对应的尺度特征层进行特征融合得到该第1帧图像对应的特征融合图B₁，通过预置多尺度特征提取模型根据初始权重对该第2帧图像对应的尺度特征层进行特征融合得到该第2帧图像对应的特征融合图B₂，通过预置多尺度特征提取模型根据初始权重对该第3帧图像对应的尺度特征层进行特征融合得到该第3帧图像对应的特征融合图B₃。

S2、根据视频的前三帧图像对应的特征融合图构建背景模型和更新初始权重，得到第一背景模型和第一权重。

具体的，请参考图3，步骤S2具体包括：

S21、基于视频的第1帧图像和第3帧图像对应的特征融合图构建初始背景模型。

计算视频的第1帧图像和第3帧图像对应的特征融合图的平均特征，得到初始背景模型

即：

S22、根据初始背景模型和视频的第2帧图像对应的特征融合图分离出该第2帧图像中的前景点和背景点，得到该第2帧图像的前景背景分离结果。

计算视频的第2帧图像对应的特征融合图与初始背景模型中同一位置的特征值的绝对差值；

将绝对差值大于或等于前背景分离阈值的特征值对应位置的像素点判定为前景点，将绝对差值小于前背景分离阈值的特征值对应位置的像素点判定为背景点，得到该第2帧图像的前景背景分离结果；

其中，前背景分离阈值基于视频的第1帧图像和第3帧图像的平均像素差值计算得到，即：

式中，T为前背景分离阈值，K为系数，优选设置K＝4，N为视频的第1帧图像或第3帧图像的像素点的行数，M为视频的第1帧图像或第3帧图像的像素点的列数，I_3(i,j)为视频的第3帧图像中位于位置(i，j)处的像素点的像素值，I_1(i,j)为视频的第1帧图像中位于位置(i，j)处的像素点的像素值。

具体的，当|b_2(i,j)-b_(i,j)|≥T，则判定视频的第2帧图像中位于位置(i，j)处的像素点为前景点；

当|b_2(i,j)-b_(i,j)|＜T，则判定视频的第2帧图像中位于位置(i，j)处的像素点为背景点；

其中，b_2(i,j)为视频的第2帧图像对应的特征融合图B₂中位于位置(i，j)处的特征值，b_(i,j)为初始背景模型

中位于位置(i，j)处的特征值。

S23、根据视频的第2帧图像对应的特征融合图和前景背景分离结果更新初始背景模型和初始权重，得到第一背景模型和第一权重。

其中，初始背景模型的更新过程为：

从视频的第2帧图像对应的前景背景分离结果中获取该第2帧图像中为背景点的像素点，得到目标像素点；

根据目标像素点在第2帧图像对应的特征融合图中的特征值对初始背景模型中与该目标像素点位于同一位置的特征值进行更新，得到第一背景模型。

具体的，当视频的第2帧图像中位置(i，j)处的像素点为背景点时，将该位置(i，j)处的像素点作为目标像素点，根据目标像素点在第2帧图像对应的特征融合图中的特征值b_2(i，j)对初始背景模型

中与该目标像素点位于同一位置(i，j)的特征值b_(i,j)进行更新，得到第一背景模型。具体的，初始背景模型

在位置(i，j)处的特征值b_(i,j)的更新公式为：

式中，b^* _(i,j)为特征值b_(i,j)更新后的值，即第一背景模型中在位置(i，j)处的特征值。

初始权重的更新过程为：

根据视频的第2帧图像对应的前景背景分离结果确定该第2帧图像中前景点的比例；

根据该第2帧图像中前景点的比例对初始权重进行更新，得到第一权重。

本申请实施例中，根据各特征层特征点的贡献度来进行权重的更新，贡献度大的权重增大，贡献度小的权重减小，然后再进行归一化得到，即：

式中，W_t(i,j)为第t层位于位置(i，j)处的特征点的初始权重，

为第t层位于位置(i，j)处的特征点更新后的权重，

为更新后得到的第一权重；P_t(i,j)为第t特征层(即特征层F₁、采样后的特征层F₂、采样后的特征层F₃、采样后的特征层F₄)位于位置(i，j)处的特征点的贡献度，即表征原图信息中含有前景像素点的比例；P_k(i,j)为第k特征层位于位置(i，j)处的特征点的贡献度。

需要说明的是，可以通过计算第t特征层的特征点(i，j)的邻域(可以为3*3邻域)内的前景点的比例得到P_t(i,j)，例如3*3邻域内的前景点的比例＝该3*3邻域内前景点的数量/(3*3)，通过前景背景分离结果确定邻域内哪些特征点是前景点。

S3、通过预置多尺度特征提取模型根据第一权重对视频的第i帧图像进行多尺度特征提取和特征融合，得到视频中的第i帧图像对应的特征融合图。

在通过视频的前三帧图像构建得到背景模型和第一权重后，将视频剩余帧图像(即第4帧图像到最后一帧图像)作为待分离图像进行前景背景分离。将视频的第i帧图像输入到预置多尺度特征提取模型进行多尺度特征提取，得到尺度特征层，其中，i∈[4,N]，N为视频的帧数；预置多尺度特征提取模型中的特征融合层根据更新后得到的第一权重对该帧图像对应的尺度特征层进行特征融合，得到视频的第i帧图像对应的特征融合图，具体过程与前述步骤中的特征融合图的提取过程类似，在此不再进行赘述。

S4、根据第一背景模型和第i帧图像对应的特征融合图分离出该第i帧图像的前景点和背景点，得到该第i帧图像的前景背景分离结果。

计算视频的第i帧图像对应的特征融合图与第一背景模型中同一位置的特征值的绝对差值；将绝对差值大于或等于前背景分离阈值的特征值对应位置的像素点判定为前景点，将绝对差值小于前背景分离阈值的特征值对应位置的像素点判定为背景点，得到该第i帧图像的前景背景分离结果，根据背景分离结果生成得到该第i帧图像的前景背景分离二值图。具体分离过程可以参考第2帧图像的前景背景分离过程，在此不再进行赘述。

S5、根据第i帧图像对应的特征融合图和前景背景分离结果更新第一背景模型和第一权重，得到更新后的第一背景模型和更新后的第一权重，设置i＝i+1，返回步骤S3，直至i＝N，完成对视频的前景背景分离。

从视频的第i帧图像对应的前景背景分离结果中获取该第i帧图像中为背景点的像素点，得到目标像素点；根据目标像素点在第i帧图像对应的特征融合图中的特征值对第一背景模型中与该目标像素点位于同一位置的特征值进行更新，得到更新后的第一背景模型。

根据视频的第i帧图像对应的前景背景分离结果确定该第i帧图像中前景点的比例；根据该第i帧图像中前景点的比例对初始权重进行更新，得到更新后的第一权重。

第一背景模型的具体更新过程可以参考初始背景模型的更新过程，第一权重的具体更新过程可以参考初始权重的更新过程，在此不再进行赘述。

通过视频的第i帧图像对应的特征融合图和前景背景分离结果更新第一背景模型和第一权重后，设置i＝i+1，返回步骤S3，对视频的下一帧图像进行前景背景分离以及背景模型和权重更新，直至i＝N，完成对视频的前景背景分离，可以参考图4。

本申请实施例中，考虑到一个像素点的变化对其他像素点都会产生不同程度的影响，对视频的各帧图像进行不同尺度的特征提取，并将不同尺度的特征图按照不同的权重进行融合，以将整体信息的变化考虑进去；并且通过视频的前三帧图像构建背景模型和权重初始化，从第4帧图像开始进行前景背景分离，并根据图像的分离结果自适应优化背景模型和更新权重，对常见背景分离法出现的“空洞”情况有很好的抑制效果，从而提高了视频前景背景分离效果，改善了现有的前景背景分离方法存在的分离效果不理想的技术问题。

以上为本申请提供的一种视频前景和背景分离方法的一个实施例，以下为本申请提供的一种视频前景和背景分离装置的一个实施例。

本申请实施例提供的一种视频前景和背景分离装置，包括：

第一特征提取和融合单元，用于通过预置多尺度特征提取模型根据初始权重对视频的前三帧图像分别进行多尺度特征提取和特征融合，得到该前三帧图像对应的特征融合图；

构建和更新单元，用于根据视频的前三帧图像对应的特征融合图构建背景模型和更新初始权重，得到第一背景模型和第一权重；

第二特征提取和融合单元，用于通过预置多尺度特征提取模型根据第一权重对视频的第i帧图像进行多尺度特征提取和特征融合，得到视频中的第i帧图像对应的特征融合图，其中，i∈[4,N]，N为视频的帧数；

分离单元，用于根据第一背景模型和第i帧图像对应的特征融合图分离出该第i帧图像的前景点和背景点，得到该第i帧图像的前景背景分离结果；

更新单元，用于根据第i帧图像对应的特征融合图和前景背景分离结果更新第一背景模型和第一权重，得到更新后的第一背景模型和更新后的第一权重，设置i＝i+1，触发第二特征提取和融合单元，直至i＝N，完成对视频的前景背景分离。

作为进一步地改进，第一特征提取和融合单元具体用于：

通过预置多尺度特征提取模型对视频的第1帧图像、第2帧图像、第3帧图像分别进行多尺度特征提取，得到视频的第1帧图像、第2帧图像、第3帧图像对应的尺度特征层，每帧图像对应的尺度特征层包括多个尺度的特征层；

通过预置多尺度特征提取模型根据初始权重分别对视频的第1帧图像、第2帧图像、第3帧图像对应的尺度特征层进行特征融合，得到视频的第1帧图像、第2帧图像、第3帧图像对应的特征融合图。

作为进一步地改进，构建和更新单元具体包括：

构建子单元，用于基于视频的第1帧图像和第3帧图像对应的特征融合图构建初始背景模型；

分离子单元，用于根据初始背景模型和视频的第2帧图像对应的特征融合图分离出该第2帧图像中的前景点和背景点，得到该第2帧图像的前景背景分离结果；

更新子单元，用于根据视频的第2帧图像对应的特征融合图和前景背景分离结果更新初始背景模型和初始权重，得到第一背景模型和第一权重。

作为进一步地改进，构建子单元具体用于：

计算视频的第1帧图像和第3帧图像对应的特征融合图的平均特征，得到初始背景模型。

作为进一步地改进，分离子单元具体用于：

计算视频的第2帧图像对应的特征融合图与初始背景模型中同一位置的特征值的绝对差值；

将绝对差值大于或等于前背景分离阈值的特征值对应位置的像素点判定为前景点，将绝对差值小于前背景分离阈值的特征值对应位置的像素点判定为背景点，得到该第2帧图像的前景背景分离结果；

其中，前背景分离阈值基于视频的第1帧图像和第3帧图像的平均像素差值计算得到。

作为进一步地改进，更新子单元具体用于：

从视频的第2帧图像对应的前景背景分离结果中获取该第2帧图像中为背景点的像素点，得到目标像素点；

根据目标像素点在第2帧图像对应的特征融合图中的特征值对初始背景模型中与该目标像素点位于同一位置的特征值进行更新，得到第一背景模型；

根据视频的第2帧图像对应的前景背景分离结果确定该第2帧图像中前景点的比例；

根据该第2帧图像中前景点的比例对初始权重进行更新，得到第一权重。

本申请实施例中，考虑到一个像素点的变化对其他像素点都会产生不同程度的影响，对视频的各帧图像进行不同尺度的特征提取，并将不同尺度的特征图按照不同的权重进行融合，以将整体信息的变化考虑进去；并且通过视频的前三帧图像构建背景模型和权重初始化，从第4帧图像开始进行前景背景分离，并根据图像的分离结果自适应优化背景模型和更新权重，对常见背景分离法出现的“空洞”情况有很好的抑制效果，从而提高了视频前景背景分离效果，改善了现有的前景背景分离方法存在的分离效果不理想的技术问题。

本申请实施例还提供了一种电子设备，设备包括处理器以及存储器；

存储器用于存储程序代码，并将程序代码传输给处理器；

处理器用于根据程序代码中的指令执行前述方法实施例中的视频前景和背景分离方法。

本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质用于存储程序代码，程序代码用于执行前述方法实施例中的视频前景和背景分离方法。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以通过一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文全称：Read-OnlyMemory，英文缩写：ROM)、随机存取存储器(英文全称：RandomAccess Memory，英文缩写：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (8)

1.一种视频前景和背景分离方法，其特征在于，包括：

S1、通过预置多尺度特征提取模型根据初始权重对视频的前三帧图像分别进行多尺度特征提取和特征融合，得到该前三帧图像对应的特征融合图；

S2、根据视频的前三帧图像对应的特征融合图构建背景模型和更新所述初始权重，得到第一背景模型和第一权重；

S3、通过所述预置多尺度特征提取模型根据所述第一权重对所述视频的第i帧图像进行多尺度特征提取和特征融合，得到所述视频中的第i帧图像对应的特征融合图，其中，i∈[4,N]，N为所述视频的帧数；

S4、根据所述第一背景模型和第i帧图像对应的特征融合图分离出该第i帧图像的前景点和背景点，得到该第i帧图像的前景背景分离结果；

S5、根据第i帧图像对应的特征融合图和前景背景分离结果更新所述第一背景模型和所述第一权重，得到更新后的第一背景模型和更新后的第一权重，设置i＝i+1，返回步骤S3，直至i＝N，完成对所述视频的前景背景分离；

步骤S2具体包括：

S21、基于所述视频的第1帧图像和第3帧图像对应的特征融合图构建初始背景模型；

S22、根据所述初始背景模型和所述视频的第2帧图像对应的特征融合图分离出该第2帧图像中的前景点和背景点，得到该第2帧图像的前景背景分离结果；

S23、根据所述视频的第2帧图像对应的特征融合图和前景背景分离结果更新所述初始背景模型和所述初始权重，得到第一背景模型和第一权重。

2.根据权利要求1所述的视频前景和背景分离方法，其特征在于，步骤S1具体包括；

通过所述预置多尺度特征提取模型对所述视频的第1帧图像、第2帧图像、第3帧图像分别进行多尺度特征提取，得到所述视频的第1帧图像、第2帧图像、第3帧图像对应的尺度特征层，每帧图像对应的尺度特征层包括多个尺度的特征层；

通过所述预置多尺度特征提取模型根据所述初始权重分别对所述视频的第1帧图像、第2帧图像、第3帧图像对应的尺度特征层进行特征融合，得到所述视频的第1帧图像、第2帧图像、第3帧图像对应的特征融合图。

3.根据权利要求1所述的视频前景和背景分离方法，其特征在于，步骤S21具体包括：

计算所述视频的第1帧图像和第3帧图像对应的特征融合图的平均特征，得到初始背景模型。

4.根据权利要求1所述的视频前景和背景分离方法，其特征在于，步骤S22具体包括：

计算所述视频的第2帧图像对应的特征融合图与所述初始背景模型中同一位置的特征值的绝对差值；

将所述绝对差值大于或等于前背景分离阈值的特征值对应位置的像素点判定为前景点，将所述绝对差值小于所述前背景分离阈值的特征值对应位置的像素点判定为背景点，得到该第2帧图像的前景背景分离结果；

其中，所述前背景分离阈值基于所述视频的第1帧图像和第3帧图像的平均像素差值计算得到。

5.根据权利要求1所述的视频前景和背景分离方法，其特征在于，步骤S23具体包括：

从所述视频的第2帧图像对应的前景背景分离结果中获取该第2帧图像中为背景点的像素点，得到目标像素点；

根据所述目标像素点在第2帧图像对应的特征融合图中的特征值对所述初始背景模型中与该目标像素点位于同一位置的特征值进行更新，得到第一背景模型；

根据所述视频的第2帧图像对应的前景背景分离结果确定该第2帧图像中前景点的比例；

根据该第2帧图像中前景点的比例对所述初始权重进行更新，得到第一权重。

6.一种视频前景和背景分离装置，其特征在于，包括：

第一特征提取和融合单元，用于通过预置多尺度特征提取模型根据初始权重对视频的前三帧图像分别进行多尺度特征提取和特征融合，得到该前三帧图像对应的特征融合图；

构建和更新单元，用于根据视频的前三帧图像对应的特征融合图构建背景模型和更新所述初始权重，得到第一背景模型和第一权重；

第二特征提取和融合单元，用于通过所述预置多尺度特征提取模型根据所述第一权重对所述视频的第i帧图像进行多尺度特征提取和特征融合，得到所述视频中的第i帧图像对应的特征融合图，其中，i∈[4,N]，N为所述视频的帧数；

分离单元，用于根据所述第一背景模型和第i帧图像对应的特征融合图分离出该第i帧图像的前景点和背景点，得到该第i帧图像的前景背景分离结果；

更新单元，用于根据第i帧图像对应的特征融合图和前景背景分离结果更新所述第一背景模型和所述第一权重，得到更新后的第一背景模型和更新后的第一权重，设置i＝i+1，触发所述第二特征提取和融合单元，直至i＝N，完成对所述视频的前景背景分离；

所述构建和更新单元具体包括：

构建子单元，用于基于所述视频的第1帧图像和第3帧图像对应的特征融合图构建初始背景模型；

分离子单元，用于根据所述初始背景模型和所述视频的第2帧图像对应的特征融合图分离出该第2帧图像中的前景点和背景点，得到该第2帧图像的前景背景分离结果；

更新子单元，用于根据所述视频的第2帧图像对应的特征融合图和前景背景分离结果更新所述初始背景模型和所述初始权重，得到第一背景模型和第一权重。

7.一种电子设备，其特征在于，所述设备包括处理器以及存储器；

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令执行权利要求1-5任一项所述的视频前景和背景分离方法。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行权利要求1-5任一项所述的视频前景和背景分离方法。

Images