CN101163241B - 一种视频序列编解码系统 - Google Patents

Abstract

本发明公开了一种视频编解码体系结构，其包括基本层编码模块、编码控制模块、增强层编码模块三部分，其中：基本层编码模块的图像通过上采样作为增强层参考帧或层间预测削除基本层与增强层之间的信息冗余；编码控制模块根据感兴趣区域策略控制基本层与增强层中感兴趣区域的编码方式，通过光线模式判断控制基本层和增强层中支持全天候编码模块；增强层编码模块采用分层技术在以上各编码模块的基础上实现对增强层输入视频流的编码。本视频编解码体系结构既能实现基本层对现有视频编码标准的兼容，又可以满足安防监控应用对视频编码的特殊要求。

Description

一种视频序列编解码系统

技术领域

本发明涉及视频编解码领域，特别是涉及适应于安防监控特殊要求的视频序列编解码系统。

背景技术

视频监控技术正在沿着数字化、网络化、智能化的方向发展。视频编解码技术是视频监控的实现基础和关键技术，视频监控在不断发展的同时，对应用于安防领域的视频编解码技术的要求也在不断提高。但目前国内外还没有专门针对视频监控应用的音视频压缩标准，现有的国际信源编码标准如：MPEG-2、MPEG-4、H.264等无法完全满足安防的特殊需求。

目前视频监控设备种类繁多，采用的视频压缩传输标准以及传输协议不统一，行业用户采用了不同开发商的产品而只能构成一个个信息孤岛，难以互连成更大规模的网络。采用统一的音视频编解码标准是不同系统互通的基础，制定面向安防的自主音视频标准AVS-S将是实现标准统一的最好途径之一。

我国目前在视音频产业领域不掌握核心技术标准，相关企业长期受制于国外持有标准化专利与技术的企业和组织。随着安防系统的复杂化，音视频信源编码技术必将成为安防领域的核心技术问题之一。对于中国的安防产业来说，随着产业规模的不断扩大，知识产权与专利收费问题的压力不断增加，由此对企业生产经营的负面影响日趋突出。在核心标准上受制于人将极大的阻碍了我国安防产业的健康持续发展。

“安防行业十一五发展规划纲要”草案中指出：安防产业的发展趋势为专业化、规模化、国际化，安防产业的发展要注意通过品牌战略和标准化战略的实施，促使产业结构合理化。安防电子产业由大做强，关键是看有没有自主核心技术，能不能形成以自主技术为基础的新工业标准。我国安防电子业正面临挑战与机会双选择的局面。目前TC100和AVS两个标准化已经同意共同开展面向安防监控的音、视频编码标准(AVS-S)标准的制定。制定国有自主知识产权的AVS-S音视频标准对于规范安防视频监控核心技术、推动安防监控产业的健康可持续性发展具有非常重要的意义。

今后视频编码技术的发展趋势为：传输数字化、大规模组网，存储网路化、应急联动，管理智能化、传输网络无线化，终端小型化，移动化。根据AVS标准组经过3月份北京会议、4月份杭州会议、6月份哈尔滨会议与安防领域相关企业和专家的详细讨论，达成一致认同，抽象出以下视频监控的技术需求，并作为输出文档进行标准化，这将成为今后AVS-S制定的需求目标：

1.必须支持实时视频编码和存储。

2.必须支持编码过程中图像分辨率、码率、帧率和质量的可调整，也必须支持不同图像分辨率、码率、帧率和质量的多个码流的实现。

3.必须适应全天候采集的视频信号。

4.必须支持特殊帧的标记、多区域标记。

5.必须支持基于区域的不同空间分辨率、不同质量编码。

6.必须支持黑白、彩色和红外视频信号。

7.可支持视频信息的可信编码：具有篡改感知能力，例如水印等技术。

8.能适应多种网络情况，支持通过专网、互联网、无线网络等传输。

以上需求中，和以往视频编码技术相比，主要的技术特色为：多码流实现、基于区域的编码、全天候信号编码和篡改感知能力。编解码体系结构的选择必须以满足以上应用需求为目标，尽量同时兼顾技术优势和经济优势。

发明内容

本发明所要解决的技术问题是：提出一种视频序列编解码系统，主要解决与传统编码方式的兼容问题，异构网络的传输问题，如何保证感兴趣区域图像质量的问题，如何适应不同光照条件和天气状况下的图像编码问题，以及编码信息的安全性问题。

本发明按下述技术方案解决其技术问题：包括基本层编码模块、编码控制模块、增强层编码模块三部分，其中：基本层编码模块的图像通过上采样作为增强层参考帧或层间预测削除基本层与增强层之间的信息冗余；编码控制模块根据感兴趣区域(ROI，Region of Interest)策略控制基本层与增强层中ROI区域的编码方式，通过光线模式判断控制基本层和增强层中支持全天候的编码，具体是编码控制模块根据不同的光线和不同的天气条件下，采用不同的量化、变换、熵编码方法，支持全天候的编码，并且生成的码流的码率不会产生剧烈变化；增强层编码模块采用分层技术在以上基本层编码模块、编码控制模块和增强层编码模块的基础上实现对增强层输入视频流的编码。

本发明与现有技术相比具有以下的主要突出优点：

其一.采用可分级编码技术，可以使对视频图像服务质量(QoS，Quality of Service)有不同要求的、通过异构网连接的多用户同时并发访问视频源数据变得比较容易；

其二.采用基于区域的编码技术，可根据用户对图像不同区域的不同感兴趣程度，灵活控制这些图像区域的编码质量，对感兴趣区域(如人脸、车牌、车型等)采用高精度图像编码方式，对非感兴趣区域(如背景区域)采用低精度图像编码方式能够满足由于安防监控的特殊性，某些应用中需要对某个特殊区域进行特殊编码的需求；

其三.采用安全性技术，可以利用脆弱性水印技术增强基本层、增强层、编码控制层的安全性；

其四.采用全天候信号编码技术，可以在不同的光照条件下对安防监控的视频源进行编码时，都能够具有比较稳定的编码效率。

其五.本编解码系统通过采用以上技术，既能实现基本层对现有视频编码标准的兼容，又可以满足安防监控应用对视频编码的特殊要求。

附图说明

图1为本发明提供的一种视频序列编解码系统的示意图。该图显示了本发明的编解码系统具有基本层、编码控制层、安全性技术层和增强层四层结构，在实际运用中，可以根据需求在此基础上实现多个增强层。

图2为本发明提供的一种视频序列解码体系结构的示意图。该图显示了本发明的解码体系结构具有基本层和增强层结构，同理在实际应用中，可以根据需要在此基础上实现多个增强层。

图3为本发明提供的一种B帧时域层次分级的结构示意图。

图4为本发明提供的一种基于区域的视频编码方法的区域划分示意图。

图5为本发明提供的一种实现全天候编码技术的流程图。

图6为本发明提供的一种采用分频带量化算法的8x8块频带分割示意图。

图7为本发明提供的一种现有的DCT域水印嵌入流程图。

具体实施方式

本发明提供的一种视频序列编解码体系结构，其包括基本层编码模块、编码控制模块、增强层编码模块三部分，其中：基本层编码模块的图像通过上采样作为增强层参考帧或层间预测削除基本层与增强层之间的信息冗余；编码控制模块根据ROI策略控制基本层与增强层中ROI区域的编码方式，通过光线模式判断控制基本层和增强层中支持全天候编码模块；增强层编码模块采用分层技术在以上各编码模块的基础上实现对增强层输入视频流的编码。

本发明提供的一种视频序列编解码体系结构还包括一个安全性技术模块，该模块负责水印算法和相关时间信息的嵌入，其可以利用数字水印等安全性技术增强基本层、增强层、编码控制模块图像信息的安全性。

上述的基本层编码模块，其编码出来的基本层码流与现有视频编码标准保持一致，方便和已有的产品兼容。

上述的编码控制模块，其负责ROI控制策略和光线模式判断，支持基于区域的编码和全天候编码；该模块可以根据用户对图像不同区域的不同感兴趣程度，灵活控制这些图像区域的编码质量，使感兴趣区域获得较高的编码质量，非感兴趣区域获得较低的编码质量。还可以根据不同的光线和不同的天气条件下，采用不同的量化、变换、熵编码方法，支持全天候的编码，并且生成的码流的码率不会产生剧烈变化。

上述的增强层编码模块，可以根据不同用户对不同图像质量的需求、不同网络对图像传输要求和不同设备对图像的不同显示要求，采用分层方法使得生成的码流具有时域、空域和质量上的分级性，实现多码流的应用。还可以根据不同应用需要，实现一个或多个增强层。

本发明提供的视频序列编解码体系结构，其在实现基本层对现有视频编码标准的兼容的应用。

本发明提供的视频序列编解码体系结构，特别适合安防监控应用对视频编码的特殊要求。

下面结合附图和具体实施例对本发明作进一步详细说明，但本发明不限于这些实施例。

实施例：

采用的是如图1所示的一种具有基本层和增强层两层结构的视频序列编码体系结构和如图2所示的基本层和增强层两层结构的视频序列解码体系结构。

一.基本层编码模块采用AVS视频编码标准编码结构。

二.增强层编码模块采用层次B帧技术实现时域分级：

如图3所示：基本层采用I帧或P帧图象编码类型，增强层采用的是B帧图象编码类型，通过对图象组中的各编码帧进行时域层次标注，并且在编码B帧过程中根据时域层次级别来搜索获取当前编码B帧的两个参考帧，参考帧可以是I帧或P帧，也可以是B帧，这样就使得码流帧率按照2的整数次幂的倍数进行伸缩。

增强层模块使用时，可将基本层的重建图像上采样作为增强层的参考图像和使用基本层的残差数据作为增强层残差数据的预测来进行层间预测，以消除层间的信息冗余，并以此实现空域分级。

三.编码控制模块中的ROI策略采用分层编码技术：

1.基本层采用基于区域的编码技术，其具体实施步骤为：

1)以计算机可读格式提供数字图像数据，其包括大批关于像素的数值和坐标的数据；

2)选择输入数字图像的感兴趣区域、背景区域和过渡带区域，该输入数字图像是从输入视频中去除了时域冗余而得到的帧图像。三区域的划分见图4。

3)根据至少三个优先级对输入数字图像数据进行优先级划分，其具体方法为：

对输入的视频或图像数据根据用户信息或者其它区域分割算法，确定感兴趣区域、过渡带区域和背景区域的坐标范围。一般说来，三个部分中，最外的是背景区域，最内的是感兴趣区域，居中的是过渡带区域，其连接背景区域和感兴趣区域(见图4)。

对应于感兴趣区域的数字图像数据与对应于感兴趣区域以外区域的数字图像数据相比，具有更高的优先级或者和过渡带区域的数字图像数据具备相同的优先级；对应于过渡带区域的数字图像数据与背景区域的数字图像数据相比，具有更高的优先级；感兴趣区域内部的数字图像数据以宏块为单位，优先级高低相间。所述感兴趣区域内部的优先级高低相间指的是包括但不限于采用小块相间的方法，即使区域中每个小块的优先级与相邻的纵向和横向的小块的不同，但与斜向上的小块相同。

设背景区域的优先级参数为IMP1，设过渡带区域的优先级参数为IMP2，感兴趣区域的优先级参数为IMP3和IMP4，其中：

IMP 1＝1；    (1)

IMP1≤IMP2    (2)

IMP2≤IMP3    (3)

IMP3≤IMP4；    (4)

当公式(2)取小于符号时，过渡带质量优于背景质量；取等于符号时，过渡带质量等于背景质量。

当公式(3)取小于符号时，ROI质量优于过渡带质量；取等于符号时，ROI质量等于过渡带质量。

当公式(4)取小于符号时，ROI区域内部存在两种不同的优先级；取等于符号时，ROI区域内部优先级一致。

4)按照优先级的设定，分别对各个区域的预测变换后的数据进行分级量化，不同区域的量化系数的选择依照优先级进行，并对变换后的图像数据进行量化操作。变换方法包括离散余弦变换和小波变换。

对于不同区域的量化系数的选择依照优先级进行的方法为：量化系数的等级总数和优先级的等级总数相等。量化系数的顺序从高到低排列，优先级的顺序从低到高排列，并且两个集合一一对应；或者，量化系数的顺序从低到高排列，优先级的顺序从高到低排列，并且两个集合一一对应。

其中由于在接口输入中每帧初始量化值在编码器中已经确定，所以背景区域的量化值QP1为已知；过渡带的量化值QP2，感兴趣区域中深色宏块的量化值QP3和白色宏块的量化值QP4通过下述方法计算得到：

QP3定义为：QP3＝QP1/IMP3，其中IMP3为已知的量，因此QP3也间接的为已知量。

QP4定义为：QP4＝QP1/IMP4，其中IMP4为已知的量，因此QP4也间接的为已知量。

QP2定义为：QP2＝(QP1-QP3)*dis/(width+1)+QP3，其中，dis为过渡带区域宏块到感兴趣区域边界的距离，width为过渡带区域的宽度。

然后可按照一般的视频/图像编码系统对数字信号进行编码，包含运动估计单元、预测单元、变换单元、量化单元、熵编码单元等等。其中在量化单元需根据步骤3产生的量化值对各个区域的数据进行分级量化。

5)在输出码流中记录感兴趣区域的位置信息、过渡带宽度信息以及各个区域的优先级数据；

编码控制模块通过交互式的方式由用户指定当前的光线模式，即白天模式还是夜晚模式，进而调整量化参数，使得夜晚模式下当噪声比较大时码率不会变化很大。

2.增强层采用基于感兴趣区域的一种低码率空域增强层编码方法：

该方法是基于感兴趣区域的一种低码率空域增强层编码方法：在编码空域增强层之前载入每帧感兴趣区域信息，并根据此信息对增强层的原始输入图像进行剪切。然后对剪切后的感兴趣区域编码，当进行层内的帧间预测时，其参考图像是本层帧前重构的感兴趣区域部分和对应基本层重构的上采样后非感兴趣区域部分相结合的图像。解码时必须先解基本层，得到低分辨率的完整图像；若用户只需看高分辨率的感兴趣区域图像，那么再对增强层解码即可；若用户需要看高分辨率的全景时，则对增强层解码，并将基本层的非感兴趣区域上采样后与解码的增强层拼成一副完整的高分辨图像。本发明在保证了空域增强层感兴趣区域视频信息质量不变的同时，大大减小了空域增强层的传输比特数。与普通方法相比，空域增强层码率相同时，感兴趣区域PSNR-Y值提高1.5-4db左右。

四.编码控制模块中的全天候编码技术，在不同的光照条件下对安防监控的视频源进行编码时，都能够具有比较稳定的编码效率。

本发明实现全天候编码技术的流程图如图5所示：包括基本层编码模块、光线模式判断模块、夜间场景编码模块。基本层编码模块使得编码出来的基本层码流与现有视频编码标准保持一致，并且兼容已有的产品，用来编码白天场景(即光线较好时)图象；光线模式判断模块负责进行光线模式判断，区分白天场景和夜间场景，然后再采用不同的编码方式；夜间场景编码模块负责对光线模式判断模块处理后的夜间场景进行编码；本编码框架能够实现全天候信号编码，可以在不同的光照条件下对安防监控的视频源进行编码时，都能够具有比较稳定的编码效率。

图1中的编码控制模块中有实现全天候编码的功能，可根据不同的光线和不同的天气条件下，采用不同的量化、变换、熵编码方法，支持全天候的编码，并且生成的码流的码率不会产生剧烈变化。

所使用的核心技术为：

1.编码模式判断：

可以采用多种方式来进行判断。一方面可以通过外部方式，比如根据时间的触发设定，人为的把晚上七点到第二天早上七点设置采用夜间序列编码方式；或者是判断变换编码后的系数统计分布来进行选择，当变换域码率大于一个事先设定的值时就采用夜间编码方式进行编码。

2.自适应参数量化算法：

夜间监控序列相对于白天序列具有较多的高频噪点，编码后码率仍然比较大，这给带宽受限的视频监控系统带来了很大的困难。而如何有效地降低码率也成为压缩夜间序列时必须解决的关键问题。根据离散余弦变换后系数的特性以及人眼视觉特性将系数块矩阵划分为若干个频带。频带代表不同大小的系数频率，也代表不同类型的系数频率。现有AVS标准中变换系数块大小为8x8。因此可以定义8x8的系数频带模型如图所示。如图6中8x8块分为两个频带区域，对他们分别采用不同的量化参数进行标量量化。

设灰色块区域的量化参数为QP1，白色区域量化参数为QP2，则令QP2＝QP1+8。这样可以有效的减少量化后高频端的非零数，从而降低编码比特率，并且有效的保存了视觉敏感信息。

五.安全性技术模块：

采用对量化后的DCT域进行数字水印的嵌入，可以降低算法复杂度，以满足实时性要求。如图7所示为一种现有的DCT域水印嵌入流程图，其具体实施原理及步骤为：

经过DCT变换得到量化后的各系数，对于交流系数而言，它表示图像的变化情况，幅值最大的位置，意味着此位置所含的信息量最多，对应于空域块中的主要结构信息。通过大量实验发现，经过多种攻击以后，此位置的值仍然是幅值最大，由此可见幅值最大的位置具有良好的鲁棒性。根据这个特点，如果把水印加在这个位置，再根据人眼视觉特性，在保证水印具有一定不可感知性的条件下，选择合适的水印强度，将两者结合起来可能会使水印有比较好的鲁棒性，这就是本实施例考虑的出发点。

1.水印嵌入的具体实现方法：

通过对分块DCT系数中幅值最大的AC系数进行修改，来实现水印的嵌入。嵌入水印的算法步骤如下：

(1)将图像进行8×8分块，然后对每块进行DCT变换，经过JPEG量化表量化，得到分块的DC和AC系数：

(2)采取{-1，1}伪随机序列作为嵌入的水印信息，生成的水印长度L＝ImgW*ImgH/64，其中，ImgW表示图像宽度，ImgH表示图像高度；

(3)对于图像中的每一块，找到AC系数中的最大幅值的位置，并记录下来，用于嵌入水印信息。即每一块最多嵌入伪随机序列中的一比特。嵌入水印时，针对不同特性的块嵌入不同强度的水印信息。

以下是水印嵌入式子：

F′(i，j)＝F(i，j)+α·W(i)  (1)

这里采取了cox的扩频通信原理[1]，其中W(i)是生成的水印信息，α是一个比例因子，根据块特性的不同而自适应调整大小，这里将其与AC系数的方差以及块的平均亮度联系起来。根据人眼视觉特性，如果对比较暗及平滑区域的块修改AC系数，结果将影响块的结构，人眼容易识别出来。综合考虑算法的不可感知性和鲁棒性，α根据块的方差和所要嵌入位置AC系数的大小动态选取：

α＝0.5*log[F(i，1)*var(F(i，2∶64))]

如果α＜0，就令α＝0，因为如果α＜0，就表示此块可能是比较暗的平滑区域，就不嵌入水印。相应地，对于活动性比较强的块，对应的值就很大，嵌入的水印信息强度就会大一些。

2.水印的提取的具体实现方法：

该方法是一种盲检测的方法，一般检测水印的方法是采取相关性来判断图像中是否含有水印信息。根据水印嵌入的准则，对嵌有水印的图像进行8×8 DCT变换，然后量化，提取AC系数幅值最大的值F＂(i，j)，利用相关性计算：

T＝1n∑F＂(i，j)*W(i)  (3)

当T＞Tg，我们就可以判断该图像含有水印信息。其中，Tg可以根据实验获得。由于输出响应的峰值比较高，Tg的选择有很大的冗余度。

Claims (8)

1.一种视频序列编解码系统，其特征是包括基本层编码模块、编码控制模块、增强层编码模块三部分，其中：基本层编码模块的图像通过上采样作为增强层参考帧或层间预测削除基本层与增强层之间的信息冗余；编码控制模块根据感兴趣区域策略控制基本层与增强层中感兴趣区域的编码方式，通过光线模式判断控制基本层和增强层中支持全天候的编码，具体是编码控制模块根据不同的光线和不同的天气条件下，采用不同的量化、变换、熵编码方法，支持全天候的编码，并且生成的码流的码率不会产生剧烈变化；增强层编码模块采用分层技术在以上基本层编码模块、编码控制模块和增强层编码模块的基础上实现对增强层输入视频流的编码。

2.根据权利要求1所述的视频序列编解码系统，其特征是再增加一个安全性技术模块。

3.根据权利要求2所述的视频序列编解码系统，其特征是安全性技术模块利用安全性技术增强基本层、增强层、编码控制模块图像信息的安全性。

4.根据权利要求1所述的视频序列编解码系统，其特征是编码控制模块根据用户对图像不同区域的不同感兴趣程度，灵活控制这些图像区域的编码质量，使感兴趣区域获得较高的编码质量，非感兴趣区域获得较低的编码质量。

5.根据权利要求1所述的视频序列编解码系统，其特征是增强层编码模块根据不同用户对不同图像质量的需求、不同网络对图像传输要求和不同设备对图像的不同显示要求，采用分层方法使得生成的码流具有时域、空域和质量上的分级性。

6.根据权利要求1所述的视频序列编解码系统，其特征是增强层编码模块根据不同应用需要，实现一个或多个增强层。

7.根据权利要求1至6中任一权利要求所述的视频序列编解码系统，其特征是在实现基本层对现有视频编码标准的兼容的应用。

8.根据权利要求1至6中任一权利要求所述的视频序列编解码系统，其特征是适合安防监控应用对视频编码的特殊要求。

Images