CN102665082A - 一种适用于视频监控系统的错误隐藏的方法 - Google Patents

Abstract

本发明公开了一种适用于视频监控系统的错误隐藏的方法。该方法具体流程如下：判断当前视频帧的丢失宏块属于视频前景还是视频背景；如果当前丢失宏块是属于视频的背景，那么直接从参考帧中拷贝宏块进行掩盖；如果当前丢失宏块是属于视频的前景，那么通过周围宏块的运动运动矢量估计当前丢失块的残差信息，用选出的具有最佳运动矢量的宏块替换错误的宏块进行错误掩盖；算法流程结束。本发明通过对丢包的视频帧进行错误隐藏来实现系统来更好的主客观流媒体视频质量，明显改善用户体验。

Description

一种适用于视频监控系统的错误隐藏的方法

技术领域

本发明涉及数字家庭视频监控技术领域，尤其涉及一种适用于视频监控系统的错误隐藏的方法。

背景技术

随着近年来数字家庭产业的发展，人们已不仅仅满足于传统的电视节目和服务，开始提出更高的要求——在数字家庭上实现更智能、更丰富、更全面的音视频服务。这就对当前数字家庭的智能化和人性化提出了更高的要求，智能家居孕育而生。智能家居主要的应用是在家庭中的安全防范、娱乐、智能控制方面。而具有智能的网络家电则更侧重依靠互联网络来对家电进行控制，数字电视则是通过普及面广泛的数字电视网络来实现强大的网络控制功能。在这种前提和要求下，视频监控领域逐渐从本地监控向远程监控发展，出现了以网络流媒体服务器为代表的远程网络视频监控系统。网络视频服务器解决了视频流在网络上的传输问题，利用网络摄像头从采集开始进行数字化处理、传输，这样使得传输线路的选择更加多样性，只要有网络的地方，就提供了图像传输的可能，使整个安防系统趋向平台化、智能化。

流媒体是采用流式传输的方式在Internet播放的媒体格式。流媒体技术采用一个视频传送服务器把节目当成数据包发出，传送到网络上。接收端通过解压设备对这些数据进行解压后，节目就会像发送前那样显示出来。H.264是一种针对流媒体的高度压缩数字视频编解码标准。它是由目前国际上制定视频编解码技术的组织“国际电联(ITU-T)”和“国际标准化组织(ISO)”共同组建的联合视频组(JVT)共同制定的。H.264的最大优势是具有很高的数据压缩比率，同时拥有高质量流畅的图像，在实时或者网络环境相对恶劣的情况下，所需的带宽更少，更加的经济，具有低码率、高质量、容错强等特点。相对于传统的数据业务，流媒体视频信号中存在大量的空间和时间冗余。同时由于流媒体的传输对带宽有相对严格的要求，在进行端到端的传输时，对抖动非常敏感。流媒体传输通常基于不可靠得传输协议，如UDP，无线信道高的误码率会导致包的丢失和传输错误。为使得流媒体视频数据在特定显示设备上正常显示，可以利用视频后处理模块对图像画面进行相应的差错掩盖。

差错掩盖(Error Concealment)作为一种视频后处理(Digital VideoPost-Processing)的方法，在解码端实现对流媒体信道传输中丢失的信息的预测和替代。通常视频通信中避免和弥补传输错误有两种方式，一种是采用传统数据通信中的差错控制和数据恢复技术，如纠错编码(FEC)，自动重传机制(ARQ)等；另一种采用错误恢复技术，如信号重建(ER)和差错掩盖(EC)。

第一种方法目的在于提高视频传输的质量，减少误码率，而第二种方法的目的在于尽可能地对错误进行掩盖以还原源图像。由于前一种方法作用在视频的编码端和传输端，会增加编码的结构复杂度和传输的冗余信息，因此对于源设备的编码能力和网络负载能力有较高的要求，不适合实时流媒体环境。由于人眼的视觉特性对图像或视频出现一定程度的失真也是可以忍受的，所以可以利用人眼的特性使用错误隐藏技术，在码流出现传输错误的解码端，通过视频后处理模块对数据流进行错误隐藏，根据压缩流的冗余信息在正确接收的信息中寻找相关数据替代差错信息。采用这种独立于编码的处理技术，避免了传输延时，在现有的设备上比较容易实现，具有通用性。因此，错误隐藏技术正逐渐成为流媒体视频环境中处理错误的主要技术。

发明内容

本发明的目的是为了克服现有技术的缺陷，提供一种适用于视频监控系统的错误隐藏的方法，通过该方法来实现对图像质量的改善。

一种适用于视频监控系统的错误隐藏的方法，该方法具体流程如下：判断当前视频帧的丢失宏块属于视频前景还是视频背景；如果当前丢失宏块是属于视频的背景，那么直接从参考帧中拷贝宏块进行掩盖；如果当前丢失宏块是属于视频的前景，那么通过周围宏块的运动矢量估计当前丢失块的残差信息，用选出的具有最佳运动矢量的宏块替换错误的宏块进行错误掩盖；算法流程结束。

优选地，视频前景和背景的判别公式如下：

优选地，丢失宏块的最佳估计运动矢量

为候选向量中使得块匹配误差最小的那个，如下面公式所示：

$\hat{V}(x,y)={\arg }_{V(x,y)\∈C}\min \left(\mathrm{SAD}\right)$

上式中，V(x，y)为候选运动向量，C为候选运动向量集合，SAD分别为补偿宏块的上下左右内边界与相邻宏块相应方向边界的匹配误差。

优选地，结合了BMA算法和DMVE算法的优缺点，利用BMA算法的空域优越性和DMVE算法的时域优越性进行SAD权重的计算，最终的SAD值计算如下：

SAD^s(mv_i，mv_j)＝α×SAD^BMA(mv_i，mv_j)+β×SAD^DMVE(mv_i，mv_j)。

本发明技术方案带来的有益效果：本发明的目的是针对无线视频流媒体网络不稳定易丢包的情况，根据当前丢失宏块进行目标检测，通过对丢包的视频帧进行错误隐藏来实现系统来更好的主客观流媒体视频质量，明显改善用户体验。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本发明中运动矢量候补集示意图；

图2是本发明中BMA算法边界区域示意图；

图3是本发明中DMVE算法边界区域示意图；

图4是本发明适用于视频监控系统的错误隐藏的方法的算法流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是针对现有的错误隐藏算法进行改进，提出一种适用于视频监控系统的错误隐藏的方法，应用到嵌入式视频监控系统中，运用到监控系统中的客户端机顶盒上，对发生误码的视频帧图像进行错误的掩盖和修复，使视频监控的图像画质更加的完善。

本发明的重点是对现有的空域差错掩盖算法和时域差错掩盖算法进行研究，经过分析国内外现有算法的对比分析，首先提出了一种改进基于解码运动矢量预测的时域差错掩盖算法，该算法通过计算丢失宏块周围的外边界与替代宏块周围相应位置的像素SAD值，该SAD的值通过两者之间的相关系数来确定，依此选择最佳的候选运动矢量块。然后利用BMA和改进的DMVE算法计算的SAD分配权重，提出了一种多假设的运动补偿掩盖重建方法。最后根据以上的策略，考虑针对实时视频监控系统可利用的前景和背景的关系比较现有的视频监控系统进行改进，提出了一种适用于视频监控系统的错误隐藏的方法。

如图1所示，MB为丢失宏块，可用其上下左右相邻宏块对MB的运动矢量进行估计，前提是四个相邻宏块都是正确接收的。其候选运动向量有上相邻宏块的运动矢MVtop，左相邻宏块的运动矢量mvleft1和mvleft2，下相邻宏块的运动矢量mvdown、右相邻宏块的运动矢量MVright，此外边界匹配算法(BMA)还考虑了零运动矢量MVzero为其候选向量。然后我们要再这些运动矢量中选取最合适的来代替丢失宏块的运动矢量，选取标准是使得块匹配误差最小。所谓块匹配误差，即当前受损宏块相邻边界像素和运动补偿块的内边界像素的绝对差值和(SAD，Sum of Absolute Difference)。BMA的边界匹配区域如图2所示。

丢失宏块的最佳估计运动矢量

为候选向量中使得块匹配误差最小的那个，如下面公式所示：

$\hat{V}(x,y)={\arg }_{V(x,y)\∈C}\min \left(\mathrm{SAD}\right)$

上式中，V(x，y)为候选运动向量，C为候选运动向量集合，SAD分别为补偿宏块的上下左右内边界与相邻宏块相应方向边界的匹配误差，定义为：

${\mathrm{SAD}}^{\mathrm{BMA}}({\mathrm{mv}}_i,{\mathrm{mv}}_j)=\frac{1}{({\mathrm{\ω}}_T+{\mathrm{\ω}}_L+{\mathrm{\ω}}_B+{\mathrm{\ω}}_R)}$

$\×\left[{\mathrm{\ω}}_T\underset{m=0}{\overset{M-1}{\mathrm{\Σ}}}\right|f(i+m,j-1,n)-f(i+{\mathrm{mv}}_i+m,j+{\mathrm{mv}}_j,n-1)|$

$+{\mathrm{\ω}}_L\underset{m=0}{\overset{M-1}{\mathrm{\Σ}}}|f(i+m,j+M,n)-f(i+{\mathrm{mv}}_i+m,j+{\mathrm{mv}}_j+M,n-1)|$

$+{\mathrm{\ω}}_B\underset{m=0}{\overset{M-1}{\mathrm{\Σ}}}|f(i-1,j+M,n)-f(i+{\mathrm{mv}}_i,j+{\mathrm{mv}}_j+M,n-1)|$

$+{\mathrm{\ω}}_R\underset{m=0}{\overset{M-1}{\mathrm{\Σ}}}|f(i+M,j+m,n)-f(i+{\mathrm{mv}}_i+M-1,j+{\mathrm{mv}}_j+m,n-1)|$

$]$

BMA算法可以以宏块为单位估计运动矢量，也可以以更小的块为单位估计运动矢量，可以图像内容自适应地进行选择。但是在物体边缘部分的恢复效果不好，因为物体边缘的内外边界匹配误差较大，以至于正确的候选运动矢量在进行矢量选择的过程中被丢弃，导致差错掩盖的效果不理想。

与BMA算法类似，DMVE算法的匹配区域改为如图3所示的情况。这样可以充分考虑到视频帧的时域相关性，对错误的恢复会有更好的效果。

本发明结合了BMA算法和DMVE算法的优缺点，利用BMA算法的空域优越性和DMVE算法的时域优越性进行SAD权重的计算，最终的SAD值计算如下：

SAD^s(mv_i，mv_j)＝α×SAD^BMA(mv_i，mv_j)+β×SAD^DMVE(mv_i，mv_j)

监控视频的一个显著的特点就是作为监控地点的背景不变，变得是作为前景的车辆。因此，可以将交通视频分成前景和背景两个部分，对两部分分别进行处理。当解码器检测到丢包或者误码的时候，先对该错误宏块进行分析判断，确定宏块是属于前景还是属于背景，如果是属于背景，那么采用直接拷贝参考帧中相应的宏块即可。如果是属于前景，那么就要用到本发明前述的方法选出最佳的替换运动矢量进行错误隐藏。视频前景和背景的判别公式如下：

至此，整个发明的错误隐藏的方法流程如图4所示：

第一步：判断当前视频帧的丢失宏块属于视频前景还是视频背景；

第二步：如果当前丢失宏块是属于视频的背景，那么直接从参考帧中拷贝宏块进行掩盖；

第三步：如果当前丢失宏块是属于视频的前景，那么通过周围宏块的运动矢量估计当前丢失块的残差信息，用选出的具有最佳运动矢量的宏块替换错误的宏块进行错误掩盖；

第四步：算法流程结束。

本发明技术方案带来的有益效果：

本发明的目的是针对无线视频流媒体网络不稳定易丢包的情况，根据当前丢失宏块进行目标检测，通过对丢包的视频帧进行错误隐藏来实现系统来更好的主客观流媒体视频质量，明显改善用户体验。

以上对本发明实施例所提供的一种适用于视频监控系统的错误隐藏的方法，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (4)

1.一种适用于视频监控系统的错误隐藏的方法，其特征在于，该方法具体流程如下：判断当前视频帧的丢失宏块属于视频前景还是视频背景；如果当前丢失宏块是属于视频的背景，那么直接从参考帧中拷贝宏块进行掩盖；如果当前丢失宏块是属于视频的前景，那么通过周围宏块的运动矢量估计当前丢失块的残差信息，用选出的具有最佳运动矢量的宏块替换错误的宏块进行错误掩盖；算法流程结束。

2.如权利要求1所述的方法，其特征在于，视频前景和背景的判别公式如下：

3.如权利要求1所述的方法，其特征在于，丢失宏块的最佳估计运动矢量为候选向量中使得块匹配误差最小的那个，如下面公式所示：

$\hat{V}(x,y)={\arg }_{V(x,y)\∈C}\min \left(\mathrm{SAD}\right)$

上式中，V(x，y)为候选运动向量，C为候选运动向量集合，SAD分别为补偿宏块的上下左右内边界与相邻宏块相应方向边界的匹配误差。

4.如权利要求1或3所述的方法，其特征在于，结合了BMA算法和DMVE算法的优缺点，利用BMA算法的空域优越性和DMVE算法的时域优越性进行SAD权重的计算，最终的SAD值计算如下：

SAD^s(mv_i，mv_j)＝α×SAD^BMA(mv_i，mv_j)+β×SAD^DMVE(mv_i，mv_j)。

Images