CN101272490B

CN101272490B - 具有相同背景的视频图像中出错宏块处理方法

Info

Publication number: CN101272490B
Application number: CN 200710202649
Authority: CN
Inventors: 廖志坚
Original assignee: CHENGDU SANTAI ELECTRONIC INDUSTRY Co Ltd
Current assignee: Chengdu Santai Intelligent Technology Co ltd
Priority date: 2007-11-23
Filing date: 2007-11-23
Publication date: 2011-02-02
Anticipated expiration: 2027-11-23
Also published as: CN101272490A

Abstract

本发明涉及视频图像解码技术，特别涉及视频图像中出错宏块的处理方法。本发明公开了一种具有相同背景的视频图像中出错宏块处理方法。本发明的技术方案，根据包含出错宏块的当前帧与前一帧的相关性，分别不同情况对出错宏块进行误码掩盖。本发明的有益效果是，充分利用视频监控图像背景固定的特点，既考虑到运动物体在空间上的相关性，也兼顾了运动物体在时间上的相关性。以较低的运算复杂度达到了较好的差错掩盖效果。

Description

具有相同背景的视频图像中出错宏块处理方法

技术领域

本发明涉及视频图像解码技术，特别涉及视频图像中出错宏块的处理方法。

背景技术

数字媒体的应用已经深入到了社会的各个领域，从家庭娱乐，安防监控到广电系统，人们生活的方方面面都与数字媒体有关，数字媒体产品在家庭、金融、交通、平安城市等行业中得到了大规模的应用。目前监控系统，尤其是银行监控系统都采用集中监控的技术。各个监控点采集的视频数据，按照一定的视频编码标准，如当前比较流行的H264、AVS等，编码后通过网络传输到各个监控中心。在传输的过程中，丢包等网络错误难以避免，直接丢弃有错误的帧解码下一帧的处理方式，已经不能满足愈来愈高的视频解码精度要求。视频误码掩盖技术是目前热门的研究课题，有很多新发表的算法，大多是集中在通用的视频数据处理方面，充分利用视频数据在时域和频域的冗余来达到误码掩盖的目的。

现有技术的不足之处是：

目前开发的通用视频误码掩盖算法，多应用于数字娱乐等领域，没有针对视监控的特点做特殊的优化和处理。目前广泛采用的出错宏块运动矢量导出方法，仅仅考虑了运动物体在空间上的相关性，而没有考虑运动物体在时间上的相关性。

发明内容

本发明所要解决的技术问题，就是针对视频监控图像背景相对固定的特点，提供一种视频图像中出错宏块处理方法。

本发明解决所述技术问题，采用的技术方案是，具有相同背景的视频图像中出错宏块处理方法，包括以下步骤：

a.检测到视频图像当前帧中宏块D为出错宏块，根据宏块D的相邻宏块N在上一帧中的对应宏块N^/的位置，确定宏块D在上一帧中的对应宏块D^/的大致位置；

b.设宏块N、宏块N^/、宏块D^/解码后的图像，减去同一背景图像S相应位置图像后，在其差值图像中的对应宏块分别为宏块n、宏块n^/及宏块d^/；如果宏块n、宏块n^/及宏块d^/的像素值均小于门限值T1，则进入步骤c，否则进入步骤d；

c.以所述背景图像S对应位置的像素作为宏块D的像素；

d.分析d^/与n^/中各个宏块的连通性，如果d^/仅与n^/中某一宏块连通，该宏块在当前帧中对应为宏块E，则以宏块E的运动矢量mvE作为宏块D的运动矢量mvD，进入步骤e；如果d^/与n^/中某些宏块连通，这些宏块在当前帧中分别对应为宏块E1、宏块E2…，则以宏块E1、宏块E2…的运动矢量mvE1、mvE2…，按照一定的规则作为当前宏块D的运动矢量mvD，进入步骤e；如果d^/与n^/中的任何一个都不连通，则执行步骤c；

e.根据步骤d确定的运动矢量mvD，在上一帧解码后的图像与背景图像S的差值图像Spre中找到与宏块D对应的宏块，对于该宏块的每个像素点，如果该像素点及周围一定范围内的像素点的值小于门限值T2，则用背景图像在该点的像素值作为该点的像素值，否则使用mvD做运动补偿得到对应点的像素值。

本发明的有益效果是，充分利用视频监控图像背景固定的特点，既考虑到运动物体在空间上的相关性，也兼顾了运动物体在时间上的相关性。以较低的运算复杂度达到了较好的差错掩盖效果。

附图说明

图1是当前帧中宏块D与相邻宏块的位置关系示意图；

图2是上一帧中宏块D^/与相邻宏块的位置关系示意图；

图3是实施例的流程图。

具体实施方式

本发明的技术方案，充分利用了监控视频中，背景图像固定的特点，既考虑到运动物体在空间上的相关性，也兼顾了运动物体在时间上的相关性，但误码掩盖处理计算却相对简单得多。为了便于描述本发明的技术方案，我们规定：当前已经解码的图像Fcur减去背景图像S的对应部分得到当前已经解码的部分中相对背景帧所增加的对象，相减所得结果为差值图像Scur；用上一帧已经解码的图像Fpre减去背景图像S得到上一帧中相对背景所增加的对象，相减所得的结果为差值图像Spre。

实施例

对应每个摄像头，存储一个或者多个背景图片，当监控视频在传输过程中发生了丢包等错误并检测出出错位置后，按照以下步骤处理出错宏块的解码：

检测到当前帧中待解码的出错宏块D，在其相邻宏块N中，选择3个宏块，分别为宏块D的左上块宏块A、左边块宏块C、上边块宏块B，如图1所示。根据已经解码的宏块A、宏块B、宏块C的运动矢量，找到宏块A、宏块B、宏块C在上一帧图像中的对应宏块A^/、宏块B^/、宏块C^/。根据宏块A^/、宏块B^/、宏块C^/的位置，获取宏块D在上一帧中的对应宏块D^/的大致位置。如图2所示，设A^/的最右下像素点的坐标为(x，y)，则宏块D^/的最左上元素坐标为：(x+dx，y+dy)。这里的位置只是粗略估计，选择的相邻宏块越多，估计的位置越准确，但计算越复杂。本例中选择3个特殊位置的宏块，即宏块A、宏块C不在同一行上且均与宏块B相邻，它们分别是宏块D的左上块、左边块和上边块。既能够保证位置估计的一定精度，计算也不会太复杂。

用宏块a、宏块b、宏块c分别表示宏块A、宏块B、宏块C在差值图像Scur中的对应宏块；用宏块a^/、宏块b^/、宏块c^/、宏块d^/分别表示宏块A^/、宏块B^/、宏块C^/、宏块D^/在差值图像Spre中的对应宏块。

如果宏块a、宏块b、宏块c，宏块a^/、宏块b^/、宏块c^/、宏块d^/对应像素值都小于门限值T1(门限值T1可以设定，范围一般在0～10，值越大，越倾向与取背景帧，一般取值为3)，可以认为场景中除了背景外没有额外对象，直接使用背景图像S对应位置的像素作为宏块D的像素。否则，分析宏块a、宏块b、宏块c，宏块a^/、宏块b^/、宏块c^/、宏块d^/的连通性，如果宏块d^/与宏块a^/、宏块b^/、宏块c^/中的一个连通，假设其在当前帧中对应为宏块E，则以宏块E的运动矢量mvE作为宏块D的运动矢量mvD。如果宏块d^/与宏块a^/、宏块b^/、宏块c^/中的多个连通，假设与其连通的宏块在当前帧中对应为宏块E1、宏块E2…，这些宏块的运动矢量分别为mvE1，mvE2…，按照AVS第二部分规定的亮度运动矢量预测的方法，只不过这里的块仅限于与d^/连通的块，不连通的视为不可用，得到运动矢量mvD与运动矢量mvE1，mvE2…的关系(mvD＝f(mvE1，mvE2…))，使用这个运动矢量mvD在差值图像Spre中找到与当前块对应的块，对于该块的每个像素点，如果该像素点及周围一定范围(可以按照需要选取，一般选取3×3大小的窗口，窗口越小，越多的使用了背景图象)内的像素值小于门限值T2(门限值T2范围一般在0～10，一般选在3，这个值越大，越倾向使用背景图象)，用背景图像S在该点的像素值作为该点的像素值，否则使用运动矢量mvD做运动补偿得到对应的像素值。如果d^/与a^/、b^/、c^/中的任何一个都不连通，则直接使用背景图像S对应位置的像素作为宏块D的像素。程序流程见图3。

Claims

1.具有相同背景的视频图像中出错宏块处理方法，其特征在于，包括以下步骤：

c.以所述背景图像S对应位置的像素作为宏块D的像素；

d.分析d^/与n^/中各个宏块的连通性，如果d^/仅与n^/中某一宏块连通，该宏块在当前帧中对应为宏块E，则以宏块E的运动矢量mvE作为宏块D的运动矢量mvD，进入步骤e；如果d^/与n^/中某些宏块连通，这些宏块在当前帧中分别对应为宏块E1、宏块E2…，则以宏块E1、宏块E2…的运动矢量mvE1、mvE2…，按照AVS第二部分规定的亮度运动矢量预测的方法得到当前宏块D的运动矢量mvD，进入步骤e；如果d^/与n^/中的任何一个都不连通，则执行步骤c；

2.根据权利要求1所述的具有相同背景的视频图像中出错宏块处理方法，其特征在于，所述宏块N包括宏块A、宏块B、宏块C，所述宏块N^/对应包括宏块A^/、宏块B^/、宏块C^/，所述宏块n对应包括宏块a、宏块b、宏块c，所述宏块n^/对应包括宏块a^/、宏块b^/、宏块c^/。

3.根据权利要求2所述的具有相同背景的视频图像中出错宏块处理方法，其特征在于，所述宏块A、宏块C不在同一行上且均与宏块B相邻。

4.根据权利要求3所述的具有相同背景的视频图像中出错宏块处理方法，其特征在于，所述宏块A为宏块D的左上块，所述宏块B为宏块D的上边块，所述宏块C为宏块D的左边块。

5.根据权利要求2、3或4所述的具有相同背景的视频图像中出错宏块处理方法，其特征在于，步骤a中，所述宏块A^/、宏块B^/、宏块C^/的位置根据宏块A、宏块B、宏块C的运动矢量确定。

6.根据权利要求1所述的具有相同背景的视频图像中出错宏块处理方法，其特征在于，步骤d中所述按照一定的规则，是指按照AVS标准第二部分亮度运动矢量预测方法中的规则。

7.根据权利要求1所述的具有相同背景的视频图像中出错宏块处理方法，其特征在于，门限值T1取值范围为3～10。

8.根据权利要求7所述的具有相同背景的视频图像中出错宏块处理方法，其特征在于，门限值T1＝3。

9.根据权利要求1所述的具有相同背景的视频图像中出错宏块处理方法，其特征在于，门限值T2取值范围为3～10。

10.根据权利要求9所述的具有相同背景的视频图像中出错宏块处理方法，其特征在于，门限值T2＝3。