CN109803147A - 基于视频纹理特征的变换处理方法及装置 - Google Patents

Abstract

本发明的实施例公开一种基于视频纹理特征的变换处理方法及装置，涉及视频处理技术领域，用于解决现有技术中无法根据视频纹理特征对视频数据进行适应性的变换编码处理导致视频压缩效率较低的技术问题。该方法包括：接收混合编码系统对原始视频中的每帧视频图像进行切分处理后得到的至少一个视频片；其中，每个视频片具有单一的视频纹理特征；根据视频片的视频纹理特征确定视频片的变换方式，以便于混合编码系统根据该变换方式对视频片的预测残差进行变换处理。本发明实施例用于视频的变换编码处理。

Description

基于视频纹理特征的变换处理方法及装置

技术领域

本发明的实施例涉及视频处理技术领域，具体涉及一种基于视频纹理特征的变换处理方法及装置。

背景技术

随着互联网技术及视频技术的快速发展，互联网中用户观看视频所消耗的流量在互联网总流量中的占比逐渐增大，据统计，高峰时期视频网站消耗的流量在全网总流量的占比接近1/2，且该占比还在呈现上升的趋势。在此情况下，为了保证视频数据的正常传输，一方面可以增大网络带宽，以增大网络中单位时间内能够传输的数据量；一方面可以提升视频的压缩效率，以有效降低视频数据传输过程中传输的数据量。其中，当带宽既定时，提升视频的压缩效率成为保证视频数据的正常传输的关键。

实际情况中，对视频进行压缩编码时，现有的视频压缩编码方式对全部的视频数据采用相同的变换方式，对于视频纹理不断变换的视频流而言其针对性较差，压缩效率偏低，无法满足目前巨大的视频流量需求。

发明内容

本发明的实施例提供一种基于视频纹理特征的变换处理方法及装置，用于解决现有技术中无法根据视频纹理特征对视频数据进行适应性的变换处理导致视频压缩效率较低的技术问题。

第一方面，本发明的实施例提供一种基于视频纹理特征的变换处理方法，包括：

接收混合编码系统对原始视频中的每帧视频图像进行切分处理后得到的至少一个视频片；其中，每个视频片具有单一的视频纹理特征；

根据视频片的视频纹理特征确定视频片的变换方式，以便于混合编码系统根据变换方式对视频片的预测残差进行变换处理。

由此可见，在本发明提供的基于视频纹理特征的变换处理方法中，能够根据视频纹理特征确定适用于该视频纹理特征的变换方式，对于具有单一视频纹理特征的视频片而言，能够基于视频片的视频纹理特征对采用适用于该视频片的变换方式对视频片进行变换处理，变换方式更具针对性，有效提升了视频压缩效率。

第二方面，本发明提供一种基于视频纹理特征的变换处理装置，包括：

接收模块，用于接收混合编码系统对原始视频中的每帧视频图像进行切分处理后得到的至少一个视频片；其中，每个视频片具有单一的视频纹理特征；

处理模块，用于根据视频片的视频纹理特征确定视频片的变换方式，以便于混合编码系统根据变换方式对视频片的预测残差进行变换处理。

第三方面，提供一种基于视频纹理特征的变换处理装置，包括：一个或多个处理器；处理器用于执行存储器中的计算机程序代码，计算机程序代码包括指令、使得基于视频纹理特征的变换处理装置执行上述第一方面的基于视频纹理特征的变换处理方法。

第四方面，提供一种存储介质，其特征在于，存储介质存储有指令代码，指令代码用于执行如上述第一方面的基于视频纹理特征的变换处理方法。

第五方面，提供一种计算机程序产品，其特征在于，计算机程序产品包括指令代码，指令代码用于执行如上述第一方面的基于视频纹理特征的变换处理方法。

可以理解地，上述提供的基于视频纹理特征的变换处理装置、存储介质以及计算机产品用于执行上文所提供的第一方面对应的方法，因此，其所能达到的有益效果可参考上文第一方面的方法以及下文具体实施方式中对应的方案的有益效果，此处不再赘述。

附图说明

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1示出了混合混合编码系统的架构的结构示意图；

图2示出了本发明实施例提供的一种基于视频纹理特征的变换处理方法的方法流程图；

图3示出了本发明实施例提供的一种基于视频纹理特征的变换处理方法应用于混合混合编码系统架构的结构示意图；

图4示出了本发明实施例提供的一种基于视频纹理特征的变换处理装置的功能结构框图；

图5示出了本发明实施例提供的一种基于视频纹理特征的变换处理装置的功能结构框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。在本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

本发明实施例基于混合编码系统来实现。在介绍本发明之前，首先对混合编码系统的架构进行简单介绍。

图1为混合编码系统的架构的结构示意图，参见图1所示，基于混合编码系统对视频进行压缩编码的处理过程包括：首先，将原始视频的图像划分为基本的块单元(即：将一帧图像分成若干个大小相同且互不重叠的矩形块，每一个矩形块作为一个块单元为最大编码单元，此处处理过程图1中未示出)，根据图像类型选择帧内预测或帧间预测以对块单元进行预测(对应图1中帧间/帧内预测)，得到原始块单元与预测信号之差(从预测帧中减去参考帧形成残差帧，帧间/帧内预测后输出预测帧，原始视频输出参考帧)，即预测残差；然后对预测残差进行变换和量化处理，对于得到的量化后的变换系数，该变换系数一方面经由熵编码得到编码数据，即压缩后的视频流；另一方面通过逆量化和逆变换处理，得到预测残差的近似值，并同预测信号相加得到重构图像，将重构图像经过一定处理(例如环路滤波处理，图1中未示出)后最终送入参考图像缓冲区(对应图1中帧缓存部分)，以便于下次进行帧内预测或帧间预测时作为后续图像编码的预测信号。目前，H.264和H.265基于上述基于块的混合编码系统来实现，是当前应用最广的编解码技术之一。相较于H.264，H.265通过设置多种编码结构和配置来降低码率，可以节省70％-80％的带宽以及约50％的比特率，但H.265目前仍存在如下缺陷：H.265一旦设置了编码模式后，所有的帧在编码时都遵循相同的模式，对于视频纹理不断变换的视频流而言缺乏针对性；同时对于最重要的变换编码环节，H.265对于所有视频都采用离散余弦变换(Discrete Cosine Transform，简称DCT)，实际情况中，除离散余弦变换外，还有多种可以采用的变换方式(如离散正弦变换(Discretesine Transform，简称DST)、霍特林变换(Karhunen-Loeve Transform，K-L变换)等)，然而目前由于缺少针对不同的视频纹理适用的变换方式(即：编码变换方式)的研究，导致H.265输出的压缩后的视频数据的信噪比较高，这显然影响到了H.265的压缩效率。

基于上述存在的问题，本发明提供一种基于视频纹理特征的变换处理方法，参见图2所示，包括：

步骤S201：接收混合编码系统对原始视频中的每帧视频图像进行切分处理后得到的至少一个视频片；其中，每个视频片具有单一的视频纹理特征。

具体地，参见图3所示，每帧视频图像可编码成一个或者多个视频片(slice)，每个视频片包含至少一个宏块(图3中未示出)。将原始视频输入混合编码系统后，混合编码系统根据每帧视频图像中视频纹理特征将每帧视频图像切分为一个或多个视频片，输出具有单一的视频纹理特征的视频片，其中每个视频片具有单一的视频纹理特征。在本步骤中，接收编解码系统输出的具有单一的视频纹理特征的视频片，以便于在后续步骤(对应步骤S202)中根据视频片的视频纹理特征确定视频片的变换方式。

其中，上述视频纹理特征可以包括：静态纹理特征，动态连续纹理特征以及动态离散纹理特征。具体地，若视频中视频图像处于静止状态，或者视频图像只是通过镜头拍摄角度的变化而变化的，则定义为静态纹理；反之则为动态纹理；在动态纹理中，根据视频纹理上的像素是否具有牵连结构对动态纹理进行进一步划分，当视频纹理上的像素具有牵连结构时，则定义为连续动态纹理(如波纹荡漾的水面)，当视频纹理上的像素没有牵连结构时，则定义为离散动态纹理(如爆炸的烟花)。

当然，可以理解的是，具体实施中，为了实现更优的压缩效果，在上述分类基础上，还可以对每类视频纹理特征进行进一步细分，例如，对于静态纹理特征，若视频图像完全处于静止状态，则为完全静态纹理特征，反之，若视频图像通过镜头拍摄角度的变化而变化，则为非完全静态纹理特征，等等。

步骤S202：根据视频片的视频纹理特征确定视频片的变换方式，以便于混合编码系统根据变换方式对视频片的预测残差进行变换处理。

具体地，在本步骤中，预先确定各视频纹理特征与变换方式的对应关系，然后根据上述对应关系确定视频片的视频纹理特征对应的变换方式。

确定各视频纹理特征与变换方式的对应关系的过程可以包括：

步骤一：建立视频纹理库，通过人的视神经行为将实际生活中的视频基于视频纹理特征进行分类，并通过HEVC(High Efficiency Video Coding)标准测试代码对视频纹理库内的视频进行编解码，收集编解码过程的数据以验证上述分类是否准确(例如收集平均分割宏块数等数据以验证视频纹理分类的合理性)。

步骤二：将已分类的视频做针对性测试，将不同类型视频纹理的视频序列加入高斯白噪声，并模拟DCT、DST、K-L变换编码过程，在相同程度的噪声下比较不同类型纹理的最适变换方式。具体实施中，可以通过MATLAB(Matrix Laboratory，矩阵实验室)模拟DCT、DST、K-L变换编码过程，本发明对模拟DCT、DST、K-L变换编码过程的方式不作限定。

下面以一个具体实施例来进行说明。具体地，本发明实施例中的视频纹理特征可以包括：静态纹理、连续动态纹理以及离散动态纹理；视频片的变换方式可以包括：离散余弦变换、离散正弦变换、以及K-L变换。

确定各视频纹理特征与变换方式的对应关系时，可以包括：

步骤一：对每类视频纹理添加高斯白噪声，模拟视频的常规失真；

步骤二：对每类视频分别进行三种不同的变换方式的处理。

具体地，对静态纹理的视频分别进行DCT、DST、以及K-L变换处理，对连续动态纹理的视频分别进行DCT、DST、以及K-L变换处理，对离散动态纹理的视频分别进行DCT、DST、以及K-L变换处理。

步骤三：将经过变换处理后的视频经过量化、逆量化以及逆变换，获得重建图像，计算该重建图像与原始视频的SNR(信噪比，Signal to Noise Ratio)，得到如下结果：

视频纹理特征与适用于每种视频纹理特征的变换方式的对应关系为：静态纹理-离散正弦变换，离散动态纹理-离散余弦变换，连续动态纹理-K-L变换。

在确定各视频纹理特征对应的变换方式时，通过如下方式实现：

首先，确定视频片的视频纹理特征，然后根据上述视频纹理特征与适用于每种视频纹理特征的变换方式的对应关系，确定视频片的视频纹理特征对应的变换方式。

其中，若视频片的视频纹理特征为静态纹理，则确定视频片的变换方式为离散正弦变换，则在混合编码系统的变换过程中，根据离散正弦变换对该静态纹理的视频片的预测残差进行变换以及逆变换。

若视频片的视频纹理特征为离散动态纹理，则确定视频片的变换方式为离散余弦变换，则在混合编码系统的变换过程中，根据离散余弦变换对该离散动态纹理的视频片的预测残差进行变换以及逆变换。

若视频片的视频纹理特征为连续动态纹理，则确定视频片的变换方式为K-L变换，则在混合编码系统的变换过程中，根据K-L变换对该连续动态纹理的视频片的预测残差进行变换以及逆变换。

最后，将同一帧视频图像的视频片经过熵编码压缩为视频流，并顺次连接。重构图像时，将同一帧视频图像的全部视频片经过上述逆变换后重新拼接为完整的一帧视频图像。

当然，可以理解的是，上述所列举的方式仅仅为一种优选方式，具体实施中，当对视频纹理特征进行更为细致的划分时，可以对每种视频纹理特征采用上述同样的方式确定视频纹理特征与适用于每种视频纹理特征的变换方式的对应关系，根据上述对应关系确定视频纹理特征对应的变换方式，并采用该变换方式对该视频纹理特征的视频片进行变换以及逆变换。

由此可见，在本发明提供的基于视频纹理特征的变换处理方法中，能够根据视频纹理特征确定适用于该视频纹理特征的变换方式，对于具有单一视频纹理特征的视频片而言，能够基于视频片的视频纹理特征对采用适用于该视频片的变换方式对视频片进行变换处理，变换方式更具针对性，有效提升了视频压缩效率。

本发明还提供一种基于视频纹理特征的变换处理装置，参见图4所示，包括：

接收模块41，用于接收混合编码系统对原始视频中的每帧视频图像进行切分处理后得到的至少一个视频片；其中，每个视频片具有单一的视频纹理特征。

其中，混合编码系统的对原始视频中的每帧视频图像进行切分处理后得到的至少一个视频片。

处理模块42，用于根据视频片的视频纹理特征确定视频片的变换方式，以便于混合编码系统根据变换方式对视频片的预测残差进行变换处理。

可选地，视频纹理特征包括：静态纹理、连续动态纹理以及离散动态纹理；变换方式包括：离散余弦变换、离散正弦变换、以及K-L变换；

则处理模块42具体用于：

若视频片的视频纹理特征为静态纹理，则确定视频片的变换方式为离散正弦变换；

若视频片的视频纹理特征为离散动态纹理，则确定视频片的变换方式为离散余弦变换；

若视频片的视频纹理特征为连续动态纹理，则确定视频片的变换方式为K-L变换。

可选地，变换处理包括：变换以及逆变换。

上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，其作用在此不再赘述。

在采用集成的模块的情况下，基于视频纹理特征的变换处理装置包括：存储单元、处理单元以及接口单元。处理单元用于对基于视频纹理特征的变换处理装置的动作进行控制管理，例如，处理单元用于支持基于视频纹理特征的变换处理装置执行图2中的各步骤。接口单元用于基于视频纹理特征的变换处理装置与其他装置的交互；存储单元，用于存储基于视频纹理特征的变换处理装置代码和数据。

其中，以处理单元为处理器，存储单元为存储器，接口单元为通信接口为例。其中，基于视频纹理特征的变换处理装置参照图5中所示，包括通信接口501、处理器502、存储器503和总线504，通信接口501、处理器502通过总线504与存储器503相连。

处理器502可以是一个通用中央处理器(Central Processing Unit，CPU)，微处理器，特定应用集成电路(Application-Specific Integrated Circuit，ASIC)，或一个或多个用于控制本申请方案程序执行的集成电路。

存储器503可以是只读存储器(Read-Only Memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器

(Random Access Memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(Electrically Erasable Programmable Read-only Memory，EEPROM)、只读光盘

(Compact Disc Read-Only Memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立存在，通过总线与处理器相连接。存储器也可以和处理器集成在一起。

其中，存储器503用于存储执行本申请方案的应用程序代码，并由处理器502来控制执行。通讯接口501用于支持基于视频纹理特征的变换处理装置与其他装置的交互。处理器502用于执行存储器503中存储的应用程序代码，从而实现本发明实施例中的方法。

结合本发明公开内容所描述的方法或者算法的步骤可以硬件的方式来实现，也可以是由处理器执行软件指令的方式来实现。本发明实施例还提供一种存储介质，该存储介质可以包括存储器，用于储存为基于视频纹理特征的变换处理装置所用的计算机软件指令，其包含执行基于视频纹理特征的变换处理方法所设计的程序代码。具体的，软件指令可以由相应的软件模块组成，软件模块可以被存放于随机存取存储器(Random AccessMemory，RAM)、闪存、只读存储器(Read Only Memory，ROM)、可擦除可编程只读存储器(Erasable Programmable ROM，EPROM)、电可擦可编程只读存储器(Electrically EPROM，EEPROM)、寄存器、硬盘、移动硬盘、只读光盘(CD-ROM)或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。

本发明实施例还提供一种计算机程序，该计算机程序可直接加载到存储器中，并含有软件代码，该计算机程序经由计算机载入并执行后能够实现上述的基于视频纹理特征的变换处理方法。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。

以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (9)

1.一种基于视频纹理特征的变换处理方法，其特征在于，包括：

接收混合编码系统对原始视频中的每帧视频图像进行切分处理后得到的至少一个视频片；其中，每个视频片具有单一的视频纹理特征；

根据所述视频片的视频纹理特征确定所述视频片的变换方式，以便于混合编码系统根据所述变换方式对所述视频片的预测残差进行变换处理。

2.根据权利要求1所述的基于视频纹理特征的变换处理方法，其特征在于，所述视频纹理特征包括：静态纹理、连续动态纹理以及离散动态纹理；所述变换方式包括：离散余弦变换、离散正弦变换、以及K-L变换；

则所述根据所述视频片的视频纹理特征确定所述视频片的变换方式，包括：

若所述视频片的视频纹理特征为静态纹理，则确定所述视频片的变换方式为离散正弦变换；

若所述视频片的视频纹理特征为离散动态纹理，则确定所述视频片的变换方式为离散余弦变换；

若所述视频片的视频纹理特征为连续动态纹理，则确定所述视频片的变换方式为K-L变换。

3.根据权利要求1或2所述的基于视频纹理特征的变换处理方法，其特征在于，所述变换处理包括：变换以及逆变换。

4.一种基于视频纹理特征的变换处理装置，其特征在于，包括：

接收模块，用于接收混合编码系统对原始视频中的每帧视频图像进行切分处理后得到的至少一个视频片；其中，每个视频片具有单一的视频纹理特征；

处理模块，用于根据所述视频片的视频纹理特征确定所述视频片的变换方式，以便于混合编码系统根据所述变换方式对所述视频片的预测残差进行变换处理。

5.根据权利要求4所述的基于视频纹理特征的变换处理装置，其特征在于，所述视频纹理特征包括：静态纹理、连续动态纹理以及离散动态纹理；所述变换方式包括：离散余弦变换、离散正弦变换、以及K-L变换；

则所述处理模块具体用于：

若所述视频片的视频纹理特征为静态纹理，则确定所述视频片的变换方式为离散正弦变换；

若所述视频片的视频纹理特征为离散动态纹理，则确定所述视频片的变换方式为离散余弦变换；

若所述视频片的视频纹理特征为连续动态纹理，则确定所述视频片的变换方式为K-L变换。

6.根据权利要求4或5所述的基于视频纹理特征的变换处理装置，其特征在于，所述变换处理包括：变换以及逆变换。

7.一种基于视频纹理特征的变换处理装置，其特征在于，包括：一个或多个处理器；所述处理器用于执行存储器中的计算机程序代码，计算机程序代码包括指令、使得基于视频纹理特征的变换处理装置执行如权利要求1-3任一项所述的基于视频纹理特征的变换处理方法。

8.一种存储介质，其特征在于，所述存储介质存储有指令代码，所述指令代码用于执行如权利要求1-3任一项所述的基于视频纹理特征的变换处理方法。

9.一种计算机程序产品，其特征在于，所述计算机程序产品包括指令代码，所述指令代码用于执行如权利要求1-3任一项所述的基于视频纹理特征的变换处理方法。