CN109859248A - 一种基于时域差分的二次背景建模方法 - Google Patents

Abstract

本发明公开了一种基于时域差分的二次背景建模方法。本方法是：输入原始图像后，快速生成背景图像能够提高背景参考和编码效率，BCBR算法筛选背景块的时域跨度小，相比于LDBCBR能更快地生成背景图像，因此先使用BCBR算法生成临时背景图像供后续图像编码参考，同时使用LDBCBR算法削弱前景时域相关性进行背景建模。当相同位子编码块使用BCBR和LDBCBR都搜索到背景块时，用二次建模算法再对其建模得到最终的纯净背景图像。由于LDBCBR削弱了前景的时域相关性，建模所需时间增长，而BCBR算法采用基于块更新的建模方式，建模速度快，将两者结合使用，解决了BCBR背景质量不高和LDBCBR建模时间长的问题。

Description

一种基于时域差分的二次背景建模方法

技术领域

本发明涉及图像/视频背景建模编码技术领域，具体地说是涉及一种基于时域差分的二次背景建模方法。

背景技术

监控视频相较于普通视频有一个很明显的区别，即大多数监控视频的背景是几乎不变的，或者说变化极其缓慢，因此监控视频存在很大的背景冗余。本发明利用了这一特点，对监控视频进行编码时添加背景编码，后续图像在编码时候参考背景帧，可以在编码背景区域节省比特数，从而提高视频编码效率。

最早提出背景建模时候，有人提出单纯地挑选一帧作为背景，帧被后续图像参考，这种做法随机性太强，而且很难出现一帧纯粹都是背景没有前景的图像；后来提出选择一定数量的图像作为训练集，对训练集内图像取均值来得到背景图像，相比于之前，该方法背景图像有一定程度提高，但是由于前景的存在，求均值后会出现鬼影，不利于后续的参考。现在，已有很多背景建模技术被人提出，背景建模的模型有很多种，大体上可分为两类：参数模型和非参数模型。参数模型典型的代表有均值背景模型、单高斯模型、混合高斯模型等，建模所得的背景效果也逐步提高，从均值建模所得背景中含有“鬼影”到混合高斯模型生成比较纯净的背景，进一步提高了编码效率。非参数背景建模模型有贝叶斯模型，均值漂移，核密度估计等，相比于参数模型，非参数模型不需要指定潜在的模型，不需要明确的估计参数，所以它们能应对任何数据分布未知的情况。但是，非参数化模型在时间和空间复杂度上不如参数化模型那么有效，计算复杂度成为了它的主要缺陷。之后出现了快速高斯变换，新ball-tree算法，核密度估计和K近邻，分类等多种算法来提高非参数化模型的速度。

尽管现有的背景建模算法已有许多，但是受到系统和硬件的限制，用于背景生成的内存不会太大，而且考虑到建模的速度和质量，满足视频编解码需求的算法却很少。现有的背景建模算法存在着一些问题：1.使用BCBR算法获得的背景块，由于建模的速度相对较快，存在着将部分前景误判为背景的可能，影响后续编码性能。2.对于某些相对静止的背景区域，更新后的背景块与原先背景块几乎不变，再次更新该背景块会造成比特浪费。为了解决上述问题，本发明提出了基于时域差分二次背景建模算法。该算法将BCBR和LDBCBR相结合，先采用BCBR快速生成临时背景参考帧，同时使用LDBCBR建模生成背景图像，之后对两个背景图像进行二次建模生成纯净的背景图像。

发明内容

本发明的目的在于，针对现有技术存在的缺陷提供基于时域差分的二次背景建模方法，是避免单独编码背景图像带来的码率激增，减小缓慢移动前景对背景搜索造成的干扰，并且能够应对视频背景突变的情况下的背景建模算法。实验表明，本方法在减少计算量的同时保证了编码精度，又能达到较好的性能。

为达到上述目的，本发明的构思是：

输入原始图像后，快速生成背景图像能够提高背景参考和编码效率，BCBR算法筛选背景块的时域跨度小，相比于LDBCBR能更快地生成背景图像，因此先使用BCBR算法生成临时背景图像供后续图像编码参考，同时使用LDBCBR算法削弱前景时域相关性进行背景建模。当相同位子编码块使用BCBR和LDBCBR都搜索到背景块时，用二次建模算法再对其建模得到最终的纯净背景图像。由于LDBCBR削弱了前景的时域相关性，建模所需时间增长，而BCBR算法采用基于块更新的建模方式，建模速度快，将两者结合使用，解决了BCBR背景质量不高和LDBCBR建模时间长的问题。

根据上述构思，本发明采用的技术方案如下：

一种基于时域差分的二次背景建模方法，包括两种算法的综合建模过程，具体步骤如下：

步骤一：首先运用BCBR算法确定背景帧中的BCBR背景块：当输入序列的第一帧的时候，先用BCBR算法，来确定每个CTU的背景块；对于输入序列的每一帧图像划分为一个个CTU，一个CTU的大小为64乘64大小的块；当读取到输入序列的第二帧时，BCBR算法开始启动；

步骤1.1：首先它在第二帧中找到对应于第一帧中相同位置的CTU块，利用下列公式(1)和公式(2)来判断该CTU是不是背景块：

其中i和j为一个CTU中的横纵坐标，MAX_CU为64,cb_i,j是当前帧上的位置的像素值，pb_i,j表示前面的帧的相同位置的像素值，difnum(i，j)表示两帧相同位置CTU中的像素差函数，σ代表两帧之间相同位置的CTU的偏差程度。遍历一个CTU中的每一个坐标；根据BCBR算法，计算序列中第二帧图像与第一帧图像中的相同位置的像素值的差值大于20的个数；即将差值大于20的像素块difnum(i,j)置为1，将差值小于20的像素块difnum(i,j)置为0，然后统计值为1的个数，用公式(1)来计算σ值，σ代表两个帧之间的偏差值。若σ结果小于1％则认为第二帧中的该位置的CTU是一个BCBR背景块，将这个CTU存入临时背景帧缓存中，同时将该背景块标上一个标志位说明这个块是一个背景块；在程序中标志位1表示这是一个背景块，标志位0则表示这不是一个背景块；若计算出来的结果大于1％，则说明当前帧中的该位置的CTU不是背景块；继续在这一帧中判断下一个CTU是不是背景块；当遍历完当前帧的所有CTU的时候，会有一部分的CTU被判断为背景块，而另外一部分CTU则被判断为不是背景块；

步骤1.2:这时候读取第三帧，仍然先和第二帧比较相同位置的那些还不是背景块的CTU，按照公式(1)和(2)判断当前帧中的CTU是不是背景块，若计算出来的比值小于1％则认为是背景块，遍历第三帧中的CTU又会得到当前帧的部分的背景块；遍历完成后将第三帧和第一帧比较那些还未被判断为背景块的CTU的像素值，此时仍然利用公式(1)和(2)来判断，但是此时的阈值需要改变；若σ的值小于2％则认为当前帧中的该CTU是背景块，若该比值大于2％则认为当前帧中的该CTU不是背景块，该块需要跳过在下一帧中继续找；这样遍历完第三帧后，仍然有很多位置的CTU还没有匹配到背景块；然后读取第四帧，将第四帧与第三帧，第四帧与第二帧按照公式(1)(2)分别进行对比；这样依次往后进行，当读取到第n帧时，将第n帧先和第(n-1)帧比较，阈值设为1％，σ小于1％则被判断被背景块；σ大于1％的需要再次判断然后将第n帧和第(n-2)帧比较，阈值设为2％，σ小于2％则被判断被判断为背景块。σ大于2％，则认为该块不是背景块，在当前帧中跳过不在再判断。这样依次往后读取直到背景帧中的每一个位置的CTU都确定了背景块。

步骤二：将运用LDBCBR方法重新计算一个序列中的每一帧中的同一个位置的背景块。LDBCBR算法是在BCBR算法的基础上添加了一个long diastnce简称为LD，在程序中即实在时域上添加了一个参数N；BCBR算法是参考前面一帧或者前两帧来判断当前帧的某个位置的CTU是不是背景块，从而建立背景帧；而LDBCBR是参考前面第(n-N)帧或者第(n-2N)帧来判断当前帧的某个位置的CTU是不是背景块；即输入一个测试序列只有当读取到第N帧时才会开始LDBCBR算法，前面的N-1帧不会进行LDBCBR算法；经实验发现，对于标准测试序列最优的n的取值是13；而LDBCBR算法判断一个CTU是不是背景块的方法也是基于公式(1)和(2),若第N+1帧中与第一帧中的相同位置的CTU中的像素值差大20的块的个数运用公式(1)计算出的σ的值小于1％则认为该CTU是背景块，将其存入临时背景帧缓存中，同时在该背景块上置一个标志位；若比值大于1％则说明当前帧中该位置的CTU不是背景块，继续读取下一帧:

步骤2.1：当读取到第(N+1)帧时，将第(N+1)帧和第1帧进行比较运算，σ仍然是1％，来判断当前位置的某个CTU是不是背景块；

步骤2.2：当依次往后读取到第2N+1帧及后续的帧的时候，就需要比较两次；首先将第(2N+1)与第(N+1)帧进行对比，运用公式(1)和(2)，σ的阈值设为1％来判断当前帧中的CTU是不是背景块，小于1％则认为是背景块；当前帧中所有位置都比较完成后，将第(2N+1)帧与第1帧进行对比判断，同样运用公式(1)和(2)而此时的σ的阈值设为2％；两次对比判断之后第2N+1帧中剩余部分的CTU则认为不存在背景块，这些位置的背景块需要读取下一帧来判断；这样依次往后读取，往后的每一帧都需要进行两次对比判断，直至背景帧中的所有CTU都找到了对应的背景块；

步骤三：当BCBR和LDBCBR在相同位置都搜索到背景块时，把搜索到的背景块作为输入图像，由于背景图像可能由于抖动、重影、前景不规则运动导致背景不纯，对它二次背景建模可极大地减小上述影响；

步骤四：利用二次背景建模算法来确定最终稳定的背景帧，具体操作方法：对于那些同一位置两种算法均生成了背景块的CTU，利用公式(3)和公式(4)来更新背景块。

其中σ代表当前临时背景块pb_i,j和LDBCBR筛选出的ld_i,j之间的偏差，MAX_CU＝64为CU的最大尺寸，i和j为一个CTU中的横纵坐标，difnum(i,j)表示两种背景建模生成的背景块的像素值的差，pb_i,j是由BCBR算法生成的背景块的像素值，ld_i,j是由LDBCBR生成的背景块的像素值；遍历pb_i,j和ld_i,j像素值，计算两者的偏差，若σ<1％，则认为两个背景块差异极小，将pb_i,j作为当前纯净背景块被长期参考；否则，判定两个块差异较大，将ld_i,j作为临时背景参考块，继续建模搜索；

步骤五：如此重复操作至二次背景建模算法生成长期稳定的背景帧。

本发明与现有技术相比，具有如下显而易见的突出实质性特点和显著技术进步：

利用BCBR算法和LDBCBR算法同时建模，并将建模所得背景图像作为输入图像二次建模，LDBCBR算法引入变量n来减小前景的时域相关性，再通过二次建模，极大减小了前景对背景图像的影响，获得更纯净的背景图像。

附图说明

图1是本发明一种基于时域差分的二次背景建模的编码流程图。

具体实施方式

本发明的优选实施例结合附图详叙如下：

本基于时域差分的二次背景建模方法包括两种算法的结合建模过程，具体操作步骤如下:

步骤一：首先运用BCBR算法确定背景帧中的BCBR背景块：当输入序列的第一帧的时候，先用BCBR算法，来确定每个CTU的背景块；对于输入序列的每一帧图像划分为一个个CTU，一个CTU的大小为64乘64大小的块；当读取到输入序列的第二帧时，BCBR算法开始启动；

步骤1.1：首先它在第二帧中找到对应于第一帧中相同位置的CTU块，利用下列公式(1)和公式(2)来判断该CTU是不是背景块：

其中i和j为一个CTU中的横纵坐标，MAX_CU为64,cb_i,j是当前帧上的位置的像素值，pd_i,j表示前面的帧的相同位置的像素值，difnum(i,j)表示两帧相同位置CTU中的像素差函数，σ代表两帧之间相同位置的CTU的偏差程度。遍历一个CTU中的每一个坐标；根据BCBR算法，计算序列中第二帧图像与第一帧图像中的相同位置的像素值的差值大于20的个数；即将差值大于20的像素块difnum(i,j)置为1，将差值小于20的像素块difnum(i,j)置为0，然后统计值为1的个数，用公式(1)来计算σ值，σ代表两个帧之间的偏差值。若σ结果小于1％则认为第二帧中的该位置的CTU是一个BCBR背景块，将这个CTU存入临时背景帧缓存中，同时将该背景块标上一个标志位说明这个块是一个背景块；在程序中标志位1表示这是一个背景块，标志位0则表示这不是一个背景块；若计算出来的结果大于1％，则说明当前帧中的该位置的CTU不是背景块；继续在这一帧中判断下一个CTU是不是背景块；当遍历完当前帧的所有CTU的时候，会有一部分的CTU被判断为背景块，而另外一部分CTU则被判断为不是背景块；

步骤1.2：这时候读取第三帧，仍然先和第二帧比较相同位置的那些还不是背景块的CTU，按照公式(1)和(2)判断当前帧中的CTU是不是背景块，若计算出来的比值小于1％则认为是背景块，遍历第三帧中的CTU又会得到当前帧的部分的背景块；遍历完成后将第三帧和第一帧比较那些还未被判断为背景块的CTU的像素值，此时仍然利用公式(1)和(2)来判断，但是此时的阈值需要改变；若σ的值小于2％则认为当前帧中的该CTU是背景块，若该比值大于2％则认为当前帧中的该CTU不是背景块，该块需要跳过在下一帧中继续找；这样遍历完第三帧后，仍然有很多位置的CTU还没有匹配到背景块；然后读取第四帧，将第四帧与第三帧，第四帧与第二帧按照公式(1)(2)分别进行对比；这样依次往后进行，当读取到第n帧时，将第n帧先和第(n-1)帧比较，阈值设为1％，σ小于1％则被判断被背景块；σ大于1％的需要再次判断然后将第n帧和第(n-2)帧比较，阈值设为2％，σ小于2％则被判断被判断为背景块。σ大于2％，则认为该块不是背景块，在当前帧中跳过不在再判断。这样依次往后读取直到背景帧中的每一个位置的CTU都确定了背景块。

步骤二：将运用LDBCBR方法重新计算一个序列中的每一帧中的同一个位置的背景块。LDBCBR算法是在BCBR算法的基础上添加了一个long diastnce简称为LD，在程序中即实在时域上添加了一个参数N；BCBR算法是参考前面一帧或者前两帧来判断当前帧的某个位置的CTU是不是背景块，从而建立背景帧；而LDBCBR是参考前面第(n-N)帧或者第(n-2N)帧来判断当前帧的某个位置的CTU是不是背景块；即输入一个测试序列只有当读取到第N帧时才会开始LDBCBR算法，前面的N-1帧不会进行LDBCBR算法；经实验发现，对于标准测试序列最优的n的取值是13；而LDBCBR算法判断一个CTU是不是背景块的方法也是基于公式(1)和(2),若第N+1帧中与第一帧中的相同位置的CTU中的像素值差大20的块的个数运用公式(1)计算出的σ的值小于1％则认为该CTU是背景块，将其存入临时背景帧缓存中，同时在该背景块上置一个标志位；若比值大于1％则说明当前帧中该位置的CTU不是背景块，继续读取下一帧；

步骤2.1：当读取到第(N+1)帧时，将第(N+1)帧和第1帧进行比较运算，σ仍然是1％，来判断当前位置的某个CTU是不是背景块；

步骤2.2：当依次往后读取到第2N+1帧及后续的帧的时候，就需要比较两次；首先将第(2N+1)与第(N+1)帧进行对比，运用公式(1)和(2)，σ的阈值设为1％来判断当前帧中的CTU是不是背景块，小于1％则认为是背景块；当前帧中所有位置都比较完成后，将第(2N+1)帧与第1帧进行对比判断，同样运用公式(1)和(2)而此时的σ的阈值设为2％；两次对比判断之后第2N+1帧中剩余部分的CTU则认为不存在背景块，这些位置的背景块需要读取下一帧来判断；这样依次往后读取，往后的每一帧都需要进行两次对比判断，直至背景帧中的所有CTU都找到了对应的背景块；

步骤三：当BCBR和LDBCBR在相同位置都搜索到背景块时，把搜索到的背景块作为输入图像，由于背景图像可能由于抖动、重影、前景不规则运动导致背景不纯，对它二次背景建模可极大地减小上述影响；

步骤四：利用二次背景建模算法来确定最终稳定的背景帧，具体操作方法：对于那些同一位置两种算法均生成了背景块的CTU，利用公式(3)和公式(4)来更新背景块。

其中σ代表当前临时背景块pb_i,j和LDBCBR筛选出的ld_i,j之间的偏差，MAX_CU＝64为CU的最大尺寸，i和j为一个CTU中的横纵坐标，difnum(i,j)表示两种背景建模生成的背景块的像素值的差，pb_i,j是由BCBR算法生成的背景块的像素值，ld_i,j是由LDBCBR生成的背景块的像素值；遍历pb_i,j和ld_i,j像素值，计算两者的偏差，若σ<1％，则认为两个背景块差异极小，将pb_i,j作为当前纯净背景块被长期参考；否则，判定两个块差异较大，将ld_i,j作为临时背景参考块，继续建模搜索；

步骤五：如此重复操作至二次背景建模算法生成长期稳定的背景帧。

Claims (1)

1.一种基于时域差分的二次背景建模方法，其特征在于包括两种算法的综合建模过程，具体操作步骤如下：

步骤一：首先运用BCBR算法确定背景帧中的BCBR背景块：当输入序列的第一帧的时候，先用BCBR算法，来确定每个CTU的背景块；对于输入序列的每一帧图像划分为一个个CTU，一个CTU的大小为64乘64大小的块；当读取到输入序列的第二帧时，BCBR算法开始启动；

步骤1.1：首先它在第二帧中找到对应于第一帧中相同位置的CTU块，利用下列公式(1)和公式(2)来判断该CTU是不是背景块：

其中i和j为一个CTU中的横纵坐标，MAX_CU为64,cb_i,j是当前帧上的位置的像素值，pd_i,j表示前面的帧的相同位置的像素值，difnum(i,j)表示两帧相同位置CTU中的像素差函数，σ代表两帧之间相同位置的CTU的偏差程度；遍历一个CTU中的每一个坐标；根据BCBR算法，计算序列中第二帧图像与第一帧图像中的相同位置的像素值的差值大于20的个数；即将差值大于20的像素块difnum(i，j)置为1，将差值小于20的像素块difnum(i,j)置为0，然后统计值为1的个数，用公式(1)来计算σ值，σ代表两个帧之间的偏差值；若σ结果小于1％则认为第二帧中的该位置的CTU是一个BCBR背景块，将这个CTU存入临时背景帧缓存中，同时将该背景块标上一个标志位说明这个块是一个背景块；在程序中标志位1表示这是一个背景块，标志位0则表示这不是一个背景块；若计算出来的结果大于1％，则说明当前帧中的该位置的CTU不是背景块；继续在这一帧中判断下一个CTU是不是背景块；当遍历完当前帧的所有CTU的时候，会有一部分的CTU被判断为背景块，而另外一部分CTU则被判断为不是背景块；

步骤1.2：这时候读取第三帧，仍然先和第二帧比较相同位置的那些还不是背景块的CTU，按照公式(1)和(2)判断当前帧中的CTU是不是背景块，若计算出来的比值小于1％则认为是背景块，遍历第三帧中的CTU又会得到当前帧的部分的背景块；遍历完成后将第三帧和第一帧比较那些还未被判断为背景块的CTU的像素值，此时仍然利用公式(1)和(2)来判断，但是此时的阈值需要改变；若σ的值小于2％则认为当前帧中的该CTU是背景块，若该比值大于2％则认为当前帧中的该CTU不是背景块，该块需要跳过在下一帧中继续找；这样遍历完第三帧后，仍然有很多位置的CTU还没有匹配到背景块；然后读取第四帧，将第四帧与第三帧，第四帧与第二帧按照公式(1)(2)分别进行对比；这样依次往后进行，当读取到第n帧时，将第n帧先和第(n-1)帧比较，阈值设为1％，σ小于1％则被判断被背景块；σ大于1％的需要再次判断然后将第n帧和第(n-2)帧比较，阈值设为2％，σ小于2％则被判断被判断为背景块，σ大于2％，则认为该块不是背景块，在当前帧中跳过不在再判断；这样依次往后读取直到背景帧中的每一个位置的CTU都确定了背景块；

步骤二：将运用LDBCBR方法重新计算一个序列中的每一帧中的同一个位置的背景块；LDBCBR算法是在BCBR算法的基础上添加了一个long diastnce简称为LD，在程序中即实在时域上添加了一个参数N；BCBR算法是参考前面一帧或者前两帧来判断当前帧的某个位置的CTU是不是背景块，从而建立背景帧；而LDBCBR是参考前面第(n-N)帧或者第(n-2N)帧来判断当前帧的某个位置的CTU是不是背景块；即输入一个测试序列只有当读取到第N帧时才会开始LDBCBR算法，前面的N-1帧不会进行LDBCBR算法；经实验发现，对于标准测试序列最优的n的取值是13；而LDBCBR算法判断一个CTU是不是背景块的方法也是基于公式(1)和(2),若第N+1帧中与第一帧中的相同位置的CTU中的像素值差大20的块的个数运用公式(1)计算出的σ的值小于1％则认为该CTU是背景块，将其存入临时背景帧缓存中，同时在该背景块上置一个标志位；若比值大于1％则说明当前帧中该位置的CTU不是背景块，继续读取下一帧；

步骤2.1：当读取到第(N+1)帧时，将第(N+1)帧和第1帧进行比较运算，σ仍然是1％，来判断当前位置的某个CTU是不是背景块；

步骤2.2：当依次往后读取到第2N+1帧及后续的帧的时候，就需要比较两次；首先将第(2N+1)与第(N+1)帧进行对比，运用公式(1)和(2)，σ的阈值设为1％来判断当前帧中的CTU是不是背景块，小于1％则认为是背景块；当前帧中所有位置都比较完成后，将第(2N+1)帧与第1帧进行对比判断，同样运用公式(1)和(2)而此时的σ的阈值设为2％；两次对比判断之后第2N+1帧中剩余部分的CTU则认为不存在背景块，这些位置的背景块需要读取下一帧来判断；这样依次往后读取，往后的每一帧都需要进行两次对比判断，直至背景帧中的所有CTU都找到了对应的背景块；

步骤三：当BCBR和LDBCBR在相同位置都搜索到背景块时，把搜索到的背景块作为输入图像，由于背景图像可能由于抖动、重影、前景不规则运动导致背景不纯，对它二次背景建模可极大地减小上述影响；

步骤四：利用二次背景建模算法来确定最终稳定的背景帧，具体操作方法：对于那些同一位置两种算法均生成了背景块的CTU，利用公式(3)和公式(4)来更新背景块；

其中σ代表当前临时背景块pb_i，j和LDBCBR筛选出的ld_i，j之间的偏差，MAX_CU＝64为CU的最大尺寸，i和j为一个CTU中的横纵坐标，difnum(i，j)表示两种背景建模生成的背景块的像素值的差，pb_i，j是由BCBR算法生成的背景块的像素值，ld_i，j是由LDBCBR生成的背景块的像素值；遍历pb_i，j和ld_i，j像素值，计算两者的偏差，若σ<1％，则认为两个背景块差异极小，将pb_i,j作为当前纯净背景块被长期参考；否则，判定两个块差异较大，将ld_i,j作为临时背景参考块，继续建模搜索；

步骤五：如此重复操作至二次背景建模算法生成长期稳定的背景帧。