CN101478671A

CN101478671A - 应用于视频监控的视频编码装置及其视频编码方法

Info

Publication number: CN101478671A
Application number: CN 200810002307
Authority: CN
Inventors: 钟毅睿; 高毅
Original assignee: ZTE Corp
Current assignee: ZTE Corp
Priority date: 2008-01-02
Filing date: 2008-01-02
Publication date: 2009-07-08
Anticipated expiration: 2028-01-02
Also published as: CN101478671B

Abstract

本发明公开了一种应用于视频监控的视频编码方法，采用空域分解技术将输入视频数据进行下采样得到低分辨率视频数据，对低分辨率视频数据进行预测编码得到基本层码流；对基本层码流进行上采样得到的高分辨率视频数据，对比基本层码流和增强层码流，利用图像相关性找出层间预测帧；对基本层码流的视频图像划分感兴趣区域得到感兴趣区域信息；从高分辨率视频数据找出层间预测帧作为重搜索的参考，并根据感兴趣区域信息对输入视频数据中的输入图像进行剪切，对剪切后的感兴趣区域进行预测编码形成增强层码流；将基本层码流和增强层码流进行复用，得到输出视频码流。本发明还公开了一种应用于视频监控的视频编码装置。

Description

应用于视频监控的视频编码装置及其视频编码方法

技术领域

本发明涉及一种视频编码方法，具体说，涉及一种应用于视频监控的视频编码装置及其视频编码方法。

背景技术

视频监控技术正在沿着数字化、网络化、智能化的方向发展。视频编解码技术是视频监控的实现基础和关键技术，视频监控在不断发展的同时，对于视频编解码技术的要求也在不断提高。

但是，视频编码技术还存在如下缺陷：

1、面向特定区域的压缩。

在视频监控应用中，重点监控区域的图像细节对于调查取证至关重要，传统的编码方法对整体图像进行无差异性的编码，造成了存储空间和传输带宽的浪费。

2、没有解决监控范围和局部清晰度的问题。

某些应用情况下，对特定监控对象需要具备不同的采样清晰度，现有的编解码方法无法提供基于区域的不同采样清晰度问题。

3、不能适应异常复杂的网络环境。

大规模联网视频监控系统要求编码技术能灵活地生成多路码流，以便于同时保证传输和存储，适应异构网络、保证不同接入条件的用户的需求。但是，现有的编码技术并不能够适应异常复杂的网络环境。

发明内容

本发明要解决的技术问题是提供一种应用于视频监控的视频编码方法，解决了与传统编码方式的兼容问题和多码流实现问题，同时保证了感兴趣区域图像质量。

技术方案如下：

一种应用于视频监控的视频编码装置，包括：空域分解模块和基本层编码器，其中，

空域分解模块，接收输入视频数据，采用空域分解技术将输入的原始视频数据进行下采样，得到低分辨率视频数据发送到所述基本层编码器；

基本层编码器，接收所述低分辨率视频数据，用于对所述低分辨率视频进行预测编码得到基本层码流，并发送；

还包括：上采样模块、层间预测模块、感兴趣区域处理模块、增强层编码器和复用模块，其中，

上采样模块，接收所述基本层编码器产生的基本层码流，用于对所述基本层码流进行上采样，将得到高分辨率视频数据作为后续增强层码流的参考帧或层间预测帧；

层间预测模块，接收所述基本层编码器产生的基本层码流，用于对比基本层码流和增强层码流，利用图像相关性找出层间预测帧；

感兴趣区域处理模块，接收所述基本层编码器产生的基本层码流，用于对所述基本层码流的视频图像划分感兴趣区域，得到感兴趣区域信息；

增强层编码器，接收所述输入视频数据、感兴趣区域信息和层间预测帧，所述增强层编码器将所述层间预测帧作为重搜索的参考，并根据所述感兴趣区域信息对所述输入视频数据中的输入图像进行剪切，对剪切后的感兴趣区域进行预测编码形成增强层码流，并发送到所述复用模块；

复用模块，接收所述基本层码流和所述增强层编码器产生的增强层码流，用于对所述基本层码流和增强层码流进行复用，得到输出视频码流。

优选的，还包括安全性技术处理模块，所述安全性技术处理模块接收所述基本层码流，对所述基本层码流进行数字安全性技术处理，得到加入数字安全保护的基本层码流，发送到所述复用模块；所述复用模块用于对所述加入数字安全保护的基本层码流和增强层码流进行复用，得到输出视频码流。

优选的，所述基本层的编码器采用H.264或者MPEG4的编码方法。

本发明所解决的另一个技术问题是提供一种应用于视频监控的视频编码方法，解决了与传统编码方式的兼容问题和多码流实现问题，同时保证了感兴趣区域图像质量。

技术方案如下：

一种应用于视频监控的视频编码方法，步骤包括：

(1)采用空域分解技术将输入视频数据进行下采样得到低分辨率视频数据，对所述低分辨率视频数据进行预测编码得到基本层码流；

(2)对所述基本层码流进行上采样，得到的高分辨率视频数据，对比基本层码流和增强层码流，利用图像相关性找出层间预测帧；对所述基本层码流的视频图像划分感兴趣区域，得到感兴趣区域信息；

(3)从所述高分辨率视频数据找出层间预测帧作为重搜索的参考，并根据所述感兴趣区域信息对所述输入视频数据中的输入图像进行剪切，对剪切后的感兴趣区域进行预测编码形成增强层码流；

(4)将所述基本层码流和增强层码流进行复用，得到输出视频码流。

进一步，步骤(1)中，将所述输入视频数据分为多个空域层次，基本层为最低分辨率，增强层分辨率依次递增。

进一步，步骤(1)中，对所述输入视频数据采取标准的视频编码技术进行编码。

进一步，步骤(2)中，根据用户对图像不同区域的不同感兴趣程度，将所述基本侧码流中图像区域划分为感兴趣区域和非感兴趣区域。

进一步，步骤(3)中，增强层只对所述感兴趣区域编码，忽略所述非感兴趣区域的图像的编码；所述非感兴趣区域的图像直接从基本层的重构图像上采样得到。

进一步，步骤(3)中，对所述基本层码流进行数字安全性技术处理，得到加入数字安全保护的基本层码流；此时，步骤(4)中，将加入数字安全保护的基本层码流和增强层码流进行复用，得到输出视频码流。

进一步，步骤(3)中，所述数字安全性技术处理过程中，使用数字水印或者数字签名方法对所述基本层码流进行保护，在进行数字安全保护时，同时将时间信息加入到数字水印或者数字签名中。

本发明视频编码装置主要解决了与传统编码方式的兼容问题和多码流实现问题，同时保证了感兴趣区域图像质量，而且支持编码信息的安全性。通过采用本发明技术，既能实现基本层对现有视频编码标准的兼容，又可以满足安防监控应用对视频编码的特殊要求。

附图说明

图1是本发明中视频编码装置的结构示意图；

图2是本发明中基本层和增强层运动矢量缩放示意图。

具体实施方式

下面参照附图，对本发明的优选实施例做详细描述。

如图1所示，是本发明中视频编码装置的结构示意图，下面结合该附图对视频编码装置10做详细说明。

本优选实施例中，视频编码装置10包括增强层编码器11、复用模块12、上采样模块13、层间预测模块14、感兴趣区域(ROI，Region of Interest)处理模块15、空域分解模块16、基本层编码器17和安全性技术处理模块18。

其中，空域分解模块16接收输入视频数据，采用空域分解技术将输入的原始视频数据进行下采样，得到较低分辨率视频数据，发送到基本层编码器17。空域分解模块16将输入视频数据分为多个空域层次，基本层为最低分辨率，增强层分辨率依次递增。空间分解可以采用多种现有技术，例如多分辨率空间分解、下采样插值滤波等。

基本层编码器17对基本层的低分辨率视频数据进行预测编码得到基本层码流。对基本层的编码可以采取标准的视频编码技术进行编码，例如帧内和帧间编码。在对基本层进行编码时，可以采取时域分层方法进行编码，以提高基本层的扩展性，例如可以采用H.264或者MPEG4的时域分层编码方法。

上采样模块13接收基本层编码器17产生的基本层码流，对基本层码流进行上采样，将得到较高分辨率视频数据作为增强层码流的参考帧或层间预测帧，以消除基本层与增强层之间的信息冗余。

层间预测模块14接收基本层编码器17产生的基本层码流，对比基本层码流和增强层码流，利用图像相关性找出层间预测帧作为小范围重搜索的参考。

在多个空域层次中，由于低层次的图像和高层次的图像纹理存在很大的相关度，且处于同一个时刻点，相比不同时刻的图像相关性更强，但是由于上采样的问题，需要在相关位置附近进行重搜索，提高层间预测的效果。因此，可以利用基本层对应帧的重建图像的上采样图像作为小范围重搜索的参考。由于增强层的图像信息和基本层的图像信息存在相关性，所以利用基本层运动信息来预测增强层运动信息，以节省码率，提高压缩性能。

感兴趣区域处理模块15接收基本层编码器17产生的基本层码流，根据基本层码流的视频图像划分ROI，得到感兴趣区域信息，即ROI的起始宏块号和终止宏块号，以便于在进行增强层编码时，只对ROI进行编码。

增强层编码器11接收输入视频数据，感兴趣区域处理模块15输入的感兴趣区域信息和接收层间预测模块14产生的层间预测帧，层间预测帧作为小范围重搜索的参考，并根据感兴趣区域信息对输入视频数据中的输入图像进行剪切，对剪切后的感兴趣区域进行预测编码形成增强层码流。编码过程中做层内的帧间预测时，其参考图像是基本层重构的上采样后图像，包括感兴趣区域和非感兴趣区域。非感兴趣区域的图像直接从输入视频数据的重构图像上采样得到。增强层编码器11采用层间预测技术降低了多层码率之间的冗余和计算复杂度。

安全性技术处理模块18对基本层码流进行数字安全性技术处理，得到加入数字安全保护的基本层码流。

复用模块12将加入数字安全保护的基本层码流和增强层编码器11产生的增强层码流进行复用，得到输出视频码流。

如图2所示，是基本层和增强层运动矢量缩放示意图，参照该图对增强层编码器11的编码过程做详细说明。

在进行增强层编码时，增强层编码器可以采取如图2所示的策略来提高编码效率。由于增强层的运动信息和基本层的运动信息存在相关性，所以利用基本层运动信息来预测增强层运动信息，以节省码率，提高压缩性能。在高分辨率的增强层编码过程中，只传递预测残差系数和少量的MV(MotionVector，运动矢量)修正信息，可降低码率，提高压缩效率。由于增强层的运动信息和基本层的运动信息存在相关性，所以利用基本层运动信息来预测增强层运动信息，以节省码率，提高压缩性能。

在增强层设置这样一种编码模式BLMotion：

Blocksize：16×16

PMV：scaled(基本层相应块的MV)

Search Range：{-1，0，1}

若BLMotion模式被选中，则该16×16块只传递预测残差系数和少量的MV修正信息，可降低码率，提高压缩效率。

在本实施例中，增强层的编码宏块为16象素×16象素大小，而基本层的编码宏块大小为8象素×8象素大小。因此可以在基本层中找到对应于增强层中16象素×16象素大小宏块的8象素×8象素大小宏块。然后将这个对应宏块的运动矢量进行修正或者缩放，得到增强层的运动矢量。因此在增强层编码视频码流只需存储缩放系数和残差数据即可，从而可以提高编码效率。为了针对视频监控应用进一步提高编码效率，在进行增强层编码时，只对ROI进行编码。

下面对应用于视频监控的视频编码方法做详细说明。

步骤1，采用空域分解技术，将输入的原始视频数据进行下采样得到较低分辨率视频数据。

将输入视频数据分为多个空域层次，基本层为最低分辨率，增强层分辨率依次递增。

步骤2，对低分辨率视频数据在基本层编码器17中进行预测编码得到基本层码流。

对基本层的编码可以采取标准的视频编码技术进行编码，例如帧内和帧间编码。在对基本层进行编码时，可以采取时域分层方法进行编码，以提高基本层的扩展性。

步骤3，对原始分辨率的输入视频数据用增强层编码器11进行预测编码得到增强层码流。

采用基于区域的编码技术，可根据用户对图像不同区域的不同感兴趣程度，灵活控制这些图像区域的编码质量，对感兴趣区域(如人脸、车牌、车型等)采用高精度图像编码方式，对非感兴趣区域(如背景区域)采用低精度图像编码方式能够满足由于安防监控的特殊性，某些应用中需要对某个特殊区域进行特殊编码的需求。

增强层只对其感兴趣区域编码，而忽略其它非感兴趣区域的图像的编码，从而减小空域增强层码率，保证空域增强层感兴趣区域视频信息的质量。非感兴趣区域的图像直接从基本层的重构图像上采样得到。增强层从基本层载入感兴趣区域信息，并根据感兴趣区域信息对增强层的原始输入图像进行剪切，对剪切后得到的感兴趣区域编码。编码过程中做层内的帧间预测时，其参考图像是本层帧前重构的感兴趣区域部分和对应基本层重构的上采样后非感兴趣区域部分相结合的图像。

步骤4，对基本层码流进行数字安全性技术处理，得到加入数字安全保护的基本层码流。

可以使用数字水印或者数字签名方法对基本层码流进行保护，在进行数字安全保护时，同时可以将时间信息加入到数字水印或者数字签名中，从而为输出视频码流提供带有安全保护的时间信息。

步骤5，将加入数字安全保护的基本层码流和增强层码流进行复用，得到输出视频码流。

Claims

1、一种应用于视频监控的视频编码装置，包括：空域分解模块和基本层编码器，其中，

其特征在于，还包括：上采样模块、层间预测模块、感兴趣区域处理模块、增强层编码器和复用模块，其中，

2、根据权利要求1所述的应用于视频监控的视频编码装置，其特征在于，还包括安全性技术处理模块，所述安全性技术处理模块接收所述基本层码流，对所述基本层码流进行数字安全性技术处理，得到加入数字安全保护的基本层码流，发送到所述复用模块；所述复用模块用于对所述加入数字安全保护的基本层码流和增强层码流进行复用，得到输出视频码流。

3、根据权利要求1所述的应用于视频监控的视频编码装置，其特征在于，所述基本层的编码器采用H.264或者MPEG4的编码方法。

4、一种应用于视频监控的视频编码方法，步骤包括：

5、如权利要求4所述的应用于视频监控的视频编码方法，其特征在于，步骤(1)中，将所述输入视频数据分为多个空域层次，基本层为最低分辨率，增强层分辨率依次递增。

6、如权利要求4所述的应用于视频监控的视频编码方法，其特征在于，步骤(1)中，对所述输入视频数据采取标准的视频编码技术进行编码。

7、如权利要求4所述的应用于视频监控的视频编码方法，其特征在于，步骤(2)中，根据用户对图像不同区域的不同感兴趣程度，将所述基本侧码流中图像区域划分为感兴趣区域和非感兴趣区域。

8、如权利要求7所述的应用于视频监控的视频编码方法，其特征在于，步骤(3)中，增强层只对所述感兴趣区域编码，忽略所述非感兴趣区域的图像的编码；所述非感兴趣区域的图像直接从基本层的重构图像上采样得到。

9、如权利要求4所述的应用于视频监控的视频编码方法，其特征在于，步骤(3)中，对所述基本层码流进行数字安全性技术处理，得到加入数字安全保护的基本层码流；此时，步骤(4)中，将加入数字安全保护的基本层码流和增强层码流进行复用，得到输出视频码流。

10、如权利要求9所述的应用于视频监控的视频编码方法，其特征在于，步骤(3)中，所述数字安全性技术处理过程中，使用数字水印或者数字签名方法对所述基本层码流进行保护，在进行数字安全保护时，同时将时间信息加入到数字水印或者数字签名中。