CN107431821A - 高效低复杂度视频压缩 - Google Patents

Abstract

揭露一种压缩运动估计的失真信息从而大量减少所需存储容量的低复杂度且高效有损压缩方法。也揭露了一种实现所述方法的系统和一种用于存储所述方法的计算机可读介质。所述方法包括确定并存储多个试验运动矢量中每个试验运动矢量的失真值。每个试验运动矢量指定相对于参考帧的搜索区域的位置。所述方法还包括：基于所述存储失真值中的最小失真值将所述失真值中的每一个压缩为固定数量的位，和重新存储每个压缩的失真值来代替其未压缩的值。

Description

高效低复杂度视频压缩

相关申请的交叉引用

本申请请求2015年4月6日提交的美国非临时专利申请No.14/679,799的权益，据此所述专利申请的内容以引用方式并入本文。

发明领域

本发明一般涉及视频处理，并且更具体来说，涉及视频压缩。

背景

视频编码器应用运动补偿预测以减少必须编码的图像数据量。这是通过利用连续帧之间的时间相关性进行的。例如，如果视频示出了一个对象相对于固定背景移动，那么一旦已经获得代表背景的信息就只需要编码代表移动对象的信息。参考帧和当前正在被编码的帧之间对象的运动由运动矢量来描述。

运动补偿预测或运动估计(ME)包括对于当前帧的每个可能的像素块大小，在称为参考帧的先前已编码帧内块之间寻找“最好的”匹配。大多数编码器测量通过选择某一块作为预测指标而引入的失真。“最好的”匹配是通过最小化经受比特率预算的失真值而选择。由于失真往往随着比特率增加而增加，所以寻找经受比特率预算的“最好的”匹配被称为率-失真(RD)优化。

高精度ME算法在计算复杂性和存储器带宽方面极其昂贵。ME的复杂性已经随着最近的高效率视频编码(HEVC)标准而增加，所述高效率视频编码(HEVC)标准允许预测块大小从4x8像素增大到64x64像素，而以前常用标准通常使用8X8像素块。由于寻找每个可能的块大小的最佳匹配涉及冗余计算，故当评估较大块(例如，32x32和64x64)的RD成本时，软件和/或硬件视频编码器的实际实现存储较小块(例如，4x8、8x8和16x16)的失真值。

这种基于合并的战略提供了以低计算复杂性和低存储器带宽成本来提供准确的运动估计的优势。然而，这些优势都以高存储要求为代价而获得，因为失真值需要存储搜索区域内块大小和运动矢量的每个可能性的组合。

概要

揭露一种压缩运动估计的失真信息从而大量减少所需存储容量的低复杂度且高效方法。也揭露了一种实现所述方法的系统和一种用于存储所述方法的计算机可读介质。在一个实施方案中，所述方法包括确定并存储多个试验运动矢量中每个试验运动矢量的失真值。每个试验运动矢量指定相对于参考帧的搜索区域的位置。所述方法还包括：基于所述存储失真值中的最小失真值将所述失真值中的每一个压缩为固定数量的位，和重新存储每个压缩的失真值来代替其未压缩的值。

附图简述

可从以下结合附图的例子的描述来更详细地理解本发明，其中：

图1示出在视频处理中压缩运动估计信息的方法的例子；

图2示出搜索区域的例子；

图3示出在视频处理中压缩运动估计信息的方法的另一例子；和

图4是其中可实现一个或多个揭露的方法实施方案的示例性系统的框图。

详细描述

图1示出在视频处理中压缩运动估计信息的方法的例子。在105限定当前帧中图像像素块的搜索区域。搜索区域的面积可能比参考帧的面积小，且搜索区域可能具有固定的形状或变化的形状。运动矢量限定了搜索区域相对于参考帧的位置。在110，从多个运动矢量中选择试验运动矢量。在115确定并存储选定运动矢量的失真值。此顺序继续，直到在120已确定并存储每个试验运动矢量的失真值。

一旦已经确定并存储了每个试验运动矢量的失真值，那么在125确定存储失真值中的最小失真值。然后，存储失真值中的每一个被压缩为固定数量的位，或者使用固定数量的位，压缩使用最小失真值。然后在130重新存储每个压缩的失真值来代替其未压缩的值。以这种方式，存储不同试验运动矢量的失真值所需的存储空间量有可能会大大减少。

可使用许多已知方法中的任何一种方法来确定失真值，所述方法包括但不限于绝对误差和(SAD)、绝对转换误差和(SATD)或平方误差和(SSE)。通常，失真测量展示了以下特性：

1)它们是正整数或零；

2)它们具有高的空间相关性–也就是说，对于给定块，邻近的运动矢量具有接近的失真值；和

3)更有可能会选择与较小块的低失真值相关的试验运动矢量。

在这种方法中，将搜索区域中的像素值与参考帧中对应区域里的像素值作比较。代表这些比较的数字然后被组合成单一数字–失真值–所述单一数字充当对两组像素值有多相似或者多不同的测量。在一个实施方案中，将失真值压缩并解码为固定数量的位230可使用只需要添加、移位和按位AND操作的方法来完成，从而简化并加速方法的执行。这些方法可适用于运行中的编码和解码。作为这些方法的例子，压缩失真值可通过确定并存储两个二进制整数p和q来进行，这两个都具有用户定义的位长度，使得对于所有可能这些二进制整数对，表达式：

p*2^q+s+D_k 等式(1)

最接近被压缩的失真值，其中D_k是最小失真值而s是固定压缩位移。压缩的失真值D'然后可被表达为

D'≈p*2^q+s+D_k 等式(2)

其中“≈”可读成“约等于”。为了进行后期计算，解码失真值D可通过检索存储p和q并计算以下值而获得

D＝p*2^q+s+D_k 等式(3)

其中“＝”读作“等于”。在这个实施方案的一个具体例子中，p的用户定义的位长度可为6，而q的用户定义的位长度可为2，其中失真值被压缩为8位。对比之下，在过去，SAD或SATD的非压缩存储值已用16-24位来表示。

如等式2中压缩失真值的算法的例子是：

如等式3中解码失真值的算法的例子是：

使用例如上文所述的方法确定的运动矢量的精度可使用图2和图3中示出的方法来精化。图2示出被分为子区域的搜索区域200的例子，所述子区域显示为搜索区域200内的更小方块。搜索区域200示出为被分成7X7数组的49个子区域的方块，但是这些特征–子区域的形状、数量等–中无一应被认为是限制性的。搜索区域200代表给定块的具有最小失真值的搜索区域，如上文所述。中心子区域205的位置大约指示与搜索区域200相关的先前确定的运动矢量。其他子区域中的每一个的位置指示与先前确定运动矢量不同但很接近的运动矢量。

图3示出精化与最小失真相关的先前确定的运动矢量的方法。在310，从存储检索最小化搜索区域。这个最小化搜索区域与先前确定的试验运动矢量相关，从而产生最小失真值，如上文所述。最小搜索区域被分成子区域，如图2示出且如上文所描述(315)。然后在320选择这些子区域的子集。所述子集的例子并不应被理解为限制性，且在图2中由黑色方格210示出。不在子集中的子区域被示出为较明亮的方块215。子集可大约以子区域205为中心，子区域205与跟最小失真值相关的试验运动矢量相关。子集中子区域的密度可随着与中心子区域205的距离的增大而减小，从而反映出最佳运动矢量更可能接近中心205的想法。

返回图3，一旦限定子区域的子集，那么在325就确定并存储子集中每个子区域的新的失真值。每个新的失真值可使用例如上文所述的方法在存储之前压缩。从子集确定的新的失真值中确定新的最小失真值，且在330确定与新的最小失真值相关的新的精化运动矢量。

在替代性实施方案中，不在子集中的每个子区域(例如，图2中的子区域215)的失真值可使用子集210中子区域的存储的失真值来内推。然后可与子集210确定的失真值一起使用内推的失真值，以精化先前确定的运动矢量。

图4是其中可实现一个或多个揭露的实施方案的示例性系统400的框图。系统400可包括例如计算机、游戏设备、手持设备、机顶盒、电视、手机或平板计算机。系统400包括处理器402、存储器404、存储设备406、一个或多个输入设备408，和一个或多个输出设备410。系统400还可能可选地包括输入驱动程序412和输出驱动程序414。应理解，系统400可包括图4中未示出的额外的组件。

处理器402可包括中央处理单元(CPU)、图形处理单元(GPU)(CPU和GPU位于相同的裸片上)，或一个或多个处理器内核，其中每个处理器内核可为CPU或GPU。存储器404可能与处理器402位于相同的裸片上，或者可与处理器402分开设置。存储器404可包括易失性或非易失性存储器，例如，随机存取存储器(RAM)、动态RAM，或高速缓存。

存储设备406可包括固定或可移除的存储装置，例如，硬盘、固态硬盘、光盘或闪存驱动器。输入设备408可包括视频摄像机、视频光盘播放器，或其他视频图像来源、键盘、小键盘、触摸屏、触摸板、探测器、麦克风、加速度计、陀螺仪、生物识别扫描仪或网络连接(例如，用于传输和/或接收无线IEEE 802信号的无线局域网络卡)。输出设备410可包括视屏、显示器、扬声器、打印机、触觉反馈设备、一个或多个灯、天线，或网络连接(例如，用于传输和/或接收无线IEEE 802信号的无线局域网络卡)。

输入驱动程序412与处理器402和输入设备408通信，并允许处理器402从输入设备408接收输入。输出驱动程序414与处理器402和输出设备410通信，并允许处理器402向输出设备410发送输出。应注意，输入驱动程序412和输出驱动程序414是可选组件，且系统400将以与如果不存在输入驱动程序412和输出驱动程序414的情况下相同的方式来操作。

系统400可被配置以执行如本文以上所述在视频处理中压缩运动估计信息的方法的实施方案。例如，存储器404或存储设备406可被配置以存储块的搜索区域和多个试验运动矢量。处理器402可被配置以确定与多个试验运动矢量中每个试验运动矢量相关的失真值，每个试验运动矢量指定搜索区域相对于块的位置。处理器402可被配置以将失真值存储在存储器404或存储设备406中。处理器402可被配置以确定存储失真值中的最小失真值和其相关的试验运动矢量。处理器402可被配置以使用最小失真值来将失真值中的每一个压缩为固定数量的位，并将每个压缩的失真值重新存储在存储器404或存储设备406中。

应理解，基于本文的揭露，许多变化是可能的。虽然上文描述了特定组合的特征和元件，但是每个特征和元件可在没有其他特征和元件的情况下单独使用，或者在具有或不具有其他特征和元件的情况下进行各种组合。

所提供的方法可在通用计算机、处理器或处理器内核中实现。合适的处理器以举例的方式包括通用处理器、专用处理器，传统处理器、数字信号处理器(DSP)、多个微处理器、结合DSP内核的一个或多个微处理器、控制器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)电路、任何其他类型的集成电路(IC)，和/或状态机。所述处理器可通过使用加工的硬件描述语言(HDL)指令和包括网表的其他中介的数据(所述指令能够被存储在计算机可读介质上)的结果配置制造过程来制造。这种处理的结果可能是掩膜作品，所述掩膜作品然后用于半导体制造过程以制造实现本发明的方面的处理器。

本文提供的方法或流程图可在并入计算机可读存储介质以供一般用途计算机或处理器执行的计算机程序、软件或固件中实现。计算机可读存储介质的例子包括只读存储器(ROM)、随机存取存储器(RAM)、寄存器、缓存存储器、半导体存储器设备、例如内部硬盘和可移动磁盘的磁介质、磁光介质，和例如CD-ROM盘和数字多功能光盘(DVD)的光学介质。

Claims (20)

1.一种在视频处理中压缩运动估计信息的方法，所述方法包括：

确定并存储多个试验运动矢量中每个试验运动矢量的失真值，其中每个试验运动矢量指定相对于参考帧的搜索区域的位置；和

基于所述存储失真值中的最小失真值将所述失真值中的每一个压缩为固定数量的位，和重新存储每个压缩的失真值来代替其未压缩的值。

2.如权利要求1所述的方法，其中所述失真值是以下中的一个：绝对误差和(SAD)、绝对转换误差和(SATD)，或平方误差和(SSE)。

3.如权利要求1所述的方法，其中压缩所述失真值中的每一个只需要添加、移位和按位AND操作。

4.如权利要求1所述的方法，其中压缩所述失真值中的每一个包括：确定并存储二进制整数p和q，这两个都具有用户定义的位长度，使得表达式

p*2^q+s+D_k

最接近被压缩的所述失真值，其中D_k是所述最小失真值且s是固定压缩位移。

5.如权利要求4所述的方法，其中p的所述用户定义的位长度是6且q的所述用户定义的位长度是2。

6.如权利要求4所述的方法，还包括解码每个压缩的失真值以进行后期计算，其中所述解码值等于p*2^q+s+D_k。

7.如权利要求1所述的方法，还包括通过以下方式来精化与最小失真相关的所述试验运动矢量：

检索具有与所述最小失真值相关的所述试验运动矢量的最小化搜索区域；

将所述最小化搜索区域细分为子区域；

限定大约以与所述最小失真值相关的所述试验运动矢量为中心的所述子区域的子集；

确定所述子集中每个子区域的失真值；和

确定与所述子集中每个子区域的所述失真值中最小失真值相关的新运动矢量。

8.如权利要求7所述的方法，还包括使用所述子集中子区域的存储失真值来内推不在所述子集中的每个子区域的失真值。

9.一种用于视频编码的系统，包括：

处理器；和

存储设备；

所述系统被配置以执行在视频处理中压缩运动估计信息的方法，所述方法包括：

所述处理器确定多个试验运动矢量中每个试验运动矢量的失真值并将所述失真值存储在所述存储设备中，其中每个试验运动矢量指定相对于参考帧的搜索区域的位置；和

所述处理器基于所述存储失真值中的最小失真值将所述失真值中的每一个压缩为固定数量的位，和将每个压缩的失真值重新存储在所述存储设备中。

10.如权利要求9所述的系统，其中所述处理器被配置以将所述失真值确定为以下中的一个：绝对误差和(SAD)、绝对转换误差和(SATD)，或平方误差和(SSE)。

11.如权利要求9所述的系统，其中所述处理器被配置以只使用添加、移位和按位AND操作来压缩所述失真值中的每一个。

12.如权利要求9所述的系统，其中所述处理器被配置以通过确定二进制整数p和q并将二进制整数p和q存储在所述存储设备中来压缩所述失真值中的每一个，这两个整数都具有用户定义的位长度，使得表达式

p*2^q+s+D_k

最接近被压缩的所述失真值，其中D_k是所述最小失真值且s是固定压缩位移。

13.如权利要求12所述的系统，其中所述处理器被配置以使用p的用户定义的位长度6和q的用户定义的位长度2来压缩所述失真值中的每一个。

14.如权利要求12所述的系统，其中所述处理器被配置以解码每个压缩的失真值以进行后期计算，解码包括计算所述值p*2^q+s+D_k。

15.如权利要求9所述的系统，还被配置以精化与最小失真相关的所述试验运动矢量，其中所述处理器被配置以：

从所述存储设备检索具有与所述最小失真值相关的所述试验运动矢量的最小化搜索区域；

确定所述最小化搜索区域的预定义子区域的预定义子集中每个子区域的失真值并将所述失真值存储在所述存储设备中，所述预定义子集大约以与所述最小失真值相关的所述试验运动矢量为中心；和

确定与所述子集中每个子区域的所述失真值中最小失真值相关的新运动矢量。

16.如权利要求15所述的系统，其中所述处理器还被配置以使用所述子集中子区域的存储失真值来内推不在预定义子区域的所述预定义子集中的每个子区域的失真值。

17.一种非暂时性计算机可读存储介质，其包括当在处理系统中执行时通过以下步骤使所述系统压缩运动估计信息的指令：

确定并存储多个试验运动矢量中每个试验运动矢量的失真值，其中每个试验运动矢量指定相对于参考帧的搜索区域的位置；和

基于所述存储失真值中的最小失真值将所述失真值中的每一个压缩为固定数量的位，和重新存储每个压缩的失真值来代替其未压缩的值。

18.如权利要求17所述的非暂时性计算机可读存储介质，其中压缩所述失真值中的每一个只需要添加、移位和按位AND操作。

19.如权利要求17所述的非暂时性计算机可读存储介质，其中压缩所述失真值中的每一个包括：确定并存储二进制整数p和q，这两个都具有用户定义的位长度，使得表达式

p*2^q+s+D^k

最接近被压缩的所述失真值，其中D_k是所述最小失真值且s是固定压缩位移。

20.如权利要求17所述的非暂时性计算机可读存储介质，其中所述压缩还包括：通过以下方式来精化与最小失真相关的所述试验运动矢量：

检索具有与所述最小失真值相关的所述试验运动矢量的最小化搜索区域；

将所述最小化搜索区域细分为子区域；

限定大约以与所述最小失真值相关的所述试验运动矢量为中心的所述子区域的子集；

确定并存储所述子集中每个子区域的失真值；和

确定与所述子集中每个子区域的所述失真值中最小失真值相关的新运动矢量。