CN113194313B - 视频帧压缩、解压方法和设备 - Google Patents

视频帧压缩、解压方法和设备 Download PDF

Info

Publication number
CN113194313B
CN113194313B CN202110491419.1A CN202110491419A CN113194313B CN 113194313 B CN113194313 B CN 113194313B CN 202110491419 A CN202110491419 A CN 202110491419A CN 113194313 B CN113194313 B CN 113194313B
Authority
CN
China
Prior art keywords
macro block
components
motion
target
compression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110491419.1A
Other languages
English (en)
Other versions
CN113194313A (zh
Inventor
沈珈立
罗小伟
彭晓峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Spreadtrum Communications Shanghai Co Ltd
Original Assignee
Spreadtrum Communications Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Spreadtrum Communications Shanghai Co Ltd filed Critical Spreadtrum Communications Shanghai Co Ltd
Priority to CN202110491419.1A priority Critical patent/CN113194313B/zh
Publication of CN113194313A publication Critical patent/CN113194313A/zh
Application granted granted Critical
Publication of CN113194313B publication Critical patent/CN113194313B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及运动补偿技术领域，尤其涉及一种视频帧压缩、解压方法和设备。该方法包括：对原始视频帧中的目标宏块进行分频，得到多个宏块分量；根据所述目标宏块的运动向量，确定所述目标宏块的运动剧烈程度值；根据所述运动剧烈程度值，确定所述多个宏块分量分别对应的压缩参数；根据所述多个宏块分量分别对应的压缩参数，对所述多个宏块分量进行压缩，得到多个压缩分量。本发明实施例方案，能够根据运动向量自适应调整原始视频帧中各个宏块的压缩参数。在高分辨率和高帧率的运动补偿场景下，能够根据运动剧烈程度自适应调整图像内容的压缩率。由此可以在保证图像质量的前提下，最大限度地减少内存带宽的消耗。

Description

视频帧压缩、解压方法和设备
技术领域
本发明涉及运动补偿技术领域，尤其涉及一种视频帧压缩、解压方法和设备。
背景技术
在播放高速运动场景的视频时，容易出现“拖影”或者“模糊”等问题。为了使视频画面流程，相关技术提出了MEMC(Motion Estimation Motion Compensation，运动估计和运动补偿)方案。其中，运动估计是指利用相邻的视频帧预测目标物体的运动轨迹。运动补偿是指利用原始视频帧和估计出的运动轨迹，构建出原本不存在的中间帧。MEMC通过构建中间帧，能够在一定程度上改善视频播放效果。但利用原始视频帧构建原本不存在的中间帧，需要占用非常大的内存带宽。因此，如何减少MEMC过程中的内存带宽消耗就变得越发重要。
一些厂商提出了帧缓存压缩技术。该技术首先将原始视频帧分割为若干个宏块，每个宏块作为编码单元，首先经过两次差分运算后再进行编码，这样就能使用较少的比特数来表示编码单元的数据。整个原始视频帧通过以上方式压缩后，再传输给运动补偿模块进行中间帧重建。
通常情况下，采用帧缓存压缩技术能够降低MEMC过程中的带宽消耗。但在高分辨率和高帧率的运动补偿场景下，则难以有效减少该场景下的内存带宽消耗。
发明内容
有鉴于此，本发明实施例提供了一种视频帧压缩、解压方法和设备，能够根据运动向量自适应调整原始视频帧中各个宏块的压缩参数。在高分辨率和高帧率的运动补偿场景下，能够根据运动剧烈程度自适应调整图像内容的压缩率。由此可以在保证图像质量的前提下，最大限度地减少内存带宽的消耗。
第一方面，本发明实施例提供了一种视频帧压缩方法，包括：
对原始视频帧中的目标宏块进行分频，得到多个宏块分量；
根据所述目标宏块的运动向量，确定所述目标宏块的运动剧烈程度值；
根据所述运动剧烈程度值，确定所述多个宏块分量分别对应的压缩参数；
根据所述多个宏块分量分别对应的压缩参数，对所述多个宏块分量进行压缩，得到多个压缩分量。
可选的，对原始视频帧中的目标宏块进行分频，得到多个宏块分量，包括：采用预设的分频滤波器对所述目标宏块进行分频，得到多个宏块分量。
可选的，根据所述目标宏块的运动向量，确定所述目标宏块的运动剧烈程度值，包括：根据所述运动向量的模值，确定所述目标宏块的运动剧烈程度值。
可选的，所述压缩参数包括：压缩比例；所述多个宏块分量中，频率高的宏块分量的压缩比例大于频率低的宏块分量的压缩比例。
可选的，所述压缩参数包括：压缩比例；所述多个宏块分量的压缩比例均与所述运动剧烈程度值呈正相关关系。
可选的，所述目标宏块的运动向量是根据所述目标宏块在所述原始视频帧的位置信息，从运动向量缓存中获取的。
可选的，所述方法还包括：根据所述目标宏块的位置信息，从所述运动向量缓存中获取所述目标宏块的领域宏块的运动向量；
根据所述目标宏块以及所述邻域宏块的运动向量，确定所述目标宏块位于所述原始视频帧的运动区域和非运动区域的边界位置时，分别减小各个宏块分量的压缩比例，所述压缩比例包含于压缩参数。
可选的，根据所述目标宏块以及所述邻域宏块的运动向量，确定所述目标宏块位于所述原始视频帧的运动区域和非运动区域的边界位置，包括：
如果所述目标宏块与所述领域宏块的运动向量之间的差值大于第一阈值，则确定所述目标宏块位于所述原始视频帧的运动区域和非运动区域的边界位置。
第二方面，本发明实施例提供了一种视频帧解压方法，包括：
获取目标宏块的多个压缩分量，所述多个压缩分量是对所述目标宏块的多个宏块分量分别进行压缩得到的，所述多个宏块分量分别对应的压缩参数根据所述目标宏块的运动剧烈程度值确定；
对所述多个压缩分量分别进行解压缩，得到多个解压分量；
根据所述多个解压分量，得到恢复后的目标宏块，所述恢复后的目标宏块用于建立重建帧。
第三方面，本发明实施例提供了一种视频帧压缩装置，包括：
分频模块，用于对原始视频帧中的目标宏块进行分频，得到多个宏块分量；
运动状态评估模块，用于根据所述目标宏块的运动向量，确定所述目标宏块的运动剧烈程度值；
参数计算模块，用于根据所述运动剧烈程度值，确定所述多个宏块分量分别对应的压缩参数；
压缩模块，用于根据所述多个宏块分量分别对应的压缩参数，对所述多个宏块分量进行压缩，得到多个压缩分量。
可选的，所述装置还包括：运动向量获取模块，用于根据目标宏块在原始视频帧的位置信息，从运动向量缓存中获取所述目标宏块的运动向量并提供给所述运动状态评估模块。
可选的，所述运动向量获取模块，还用于根据所述目标宏块的位置信息，从所述运动向量缓存中获取所述目标宏块的领域宏块的运动向量；
所述参数计算模块，还用于根据所述目标宏块以及所述邻域宏块的运动向量，确定所述目标宏块位于所述原始视频帧的运动区域和非运动区域的边界位置时，减小各个宏块分量的压缩比例，所述压缩比例包含于压缩参数。
第四方面，本发明实施例提供了一种视频帧解压装置，包括：
解压缩模块，用于获取目标宏块的多个压缩分量，所述多个压缩分量是对所述目标宏块的多个宏块分量分别进行压缩得到的，所述多个宏块分量分别对应的压缩参数根据所述目标宏块的运动剧烈程度值确定；还用于对所述多个压缩分量分别进行解压缩，得到多个解压分量；
合成模块，用于根据所述多个解压分量，得到恢复后的目标宏块，所述恢复后的目标宏块用于建立重建帧。
第五方面，本发明实施例提供了一种终端设备，包括：至少一个处理器；以及与所述处理器通信连接的至少一个存储器，其中：所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令以执行以执行第一方面、第二方面或者第一方面/第二方面任一可能实施例的方法。
第六方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行第一方面、第二方面或者第一方面/第二方面任一可能实施例的方法。
本发明实施例中方法中，根据运动向量确定运动剧烈程度值，进而根据运动剧烈程度值，自适应调整图像的压缩率，对于高速运动场景可以采用较高的压缩比例，由此可以降低系统内存带宽的消耗。进一步，该方案在对图像压缩时，至少分为高频分量和低频分量，对于高频分量和低频分量分别采用不同的压缩比例，由此可以在降低内存带宽和保证图像质量之间进行平衡，达到在保证图像质量的情况下降低内存带宽消耗的效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种MEMC构建重建帧的效果示意图；
图2是本发明实施例提供的一种构建重建帧的流程图；
图3是本发明实施例提供的一种视频帧压缩方法的流程图；
图4是本发明实施例提供的一种视频帧解压方法的流程图；
图5是本发明实施例提供的一种视频帧压缩/解压缩装置的结构示意图；
图6是本发明实施例提供的一种终端设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是本发明实施例提供的一种MEMC构建重建帧的效果示意图。如图1所示，采集的原始帧数据中包括原始帧1和原始帧2。其中，原始帧1的采集时间为T，原始帧1中包括对象A和对象B，对象A位于原始帧的左上角，对象B位于原始帧的左下角(位置1)。原始帧2的采集时间为T+1，在原始帧2中对象A仍然位于原位置，对象B位于原始帧2的右上角(位置2)。结合原始帧1和原始帧2，可以估计对象A处于静止态，对象B处于运动态，且对象B的运动轨迹从原始帧的左下角至右上角，即从位置1运动到位置2。由此，可以推测，对象B在从位置1运动到位置2的路径中，会经过位置3和位置4。运动补偿模块可以根据原始帧1和原始帧2以及对象B的运动轨迹，构建出位于原始帧1和原始帧2之间的重建帧11和重建帧12。在重建帧11中，对象A位于原位置，对象B位于位置3；在重建帧12中，对象A位于原位置，对象B位于位置4。
如图2所示，根据原始帧1和原始帧2构建重建帧的过程包括：(1)运动估计模块可以根据原始帧1和原始帧2估计出目标对象的运动轨迹，例如，图1中的对象A为静止态，对象B从位置1运动到位置2，则对象B的运动轨迹为从位置1指向位置2。(2)压缩模块对原始帧数据(如原始帧1和原始帧2)进行压缩，并通过数据总线将压缩数据传输到解压缩模块。(3)解压缩模块对压缩数据进行解压缩，得到解压后的原始帧数据。(4)运动补偿模块从解压缩模块获取解压后的原始帧数据，并结合运动估计模块计算出的运动估计，构建重建帧。其中，在图1所示的场景中，运动补偿模块构建出的重建帧可以包括重建帧1、重建帧11、重建帧12和重建2。重建帧1对应原始帧1，重建帧2对应原始帧2，重建帧11和重建帧12是构建出的原始帧数据中不存在的中间帧。在基于构建出的重建帧进行视频播放时，对象B从位置1经位置3、位置4运动到位置1，通过MEMC构建中间帧可以增加视频播放的流畅性。
在图2所示的流程中，压缩模块可以采用相关技术中提出的帧缓存压缩技术对原始帧数据进行压缩，以降低内存带宽消耗。但为了更好地适应高分辨率和高帧率的运动补偿场景，本发明实施例提供了一种视频帧压缩方案，该方案能够根据运动剧烈程度自适应调整图像内容的压缩比例，进而在保证图像质量的前提下，最大限度地减少内存带宽的消耗。
仍以图1所示场景为例，对象A处于静止态，对象B处于运动状态。对于运动状态的物体，人眼本来就难以看清，因此在进行原始帧数据压缩时，可以适当降低图像质量，提高压缩比例。对于处于静止态或者缓慢运动态的物体，人眼会着重观察，因此在压缩时，需要保持图像质量。
进一步，人眼在观察运动态的物体时，更关注运动物体的运动轨迹、形状、亮度等宏观信息，往往会忽略运动物体的细节纹理等微观信息。另外，在视频拍摄时，运动越快的物体保留的纹理细节信息越少，运动越慢的物体保留的纹理细节越多。
基于上述原理，本发明实施例提供的视频帧压缩方法，首先对原始视频帧进行分频，其中，频率高的部分对应图像的细节纹理，频率低的部分对应图像的形状和亮度。在进行原始视频帧压缩时，可以对不同频率的图像内容可以设置不同的压缩参数。进一步，本发明实施例中，还可以根据运动物体的运动向量，确定运动剧烈程度，运动越剧烈，相应的压缩比例也可以设置地较高，通过牺牲图像质量降低内存消耗；运动越缓慢，相应的压缩比例可以设置地较低，通过牺牲压缩比例保证图像质量。
基于上述原则，本发明实施例提供的视频帧压缩方法，如图3所示，包括：
101，对原始视频帧的目标宏块进行分频，得到多个宏块分量。如图5所示，在MEMC构建重建帧的场景中，运动补偿模块301向图像获取模块302发送需要获取的目标宏块在原始视频帧的位置信息。图像获取模块302根据运动补偿模块301发送的位置信息，从原始视频帧中获取目标宏块。之后，分频模块303对该目标宏块进行分频，得到多个宏块分量。可选的，分频模块303可以采用预设的分频滤波器对目标宏块进行分频，得到多个宏块分量。可选的，根据分频滤波器频段的设定，通过对目标宏块分频可以得到多个频率取值范围互不相同的宏块分量。在一个示例中，如图5所示，分频模块303可以采用低通滤波器对目标宏块分频，得到低频宏块分量和高频宏块分量。当然，在其它实施例中还可以通过对分频滤波器频段进行设置，分频得到低频宏块分量、中频宏块分量和高频宏块分量。所述低频、中频和高频可以根据实际需要设置，对于其它可能的频段划分方式此处不再一一举例说明。
在一个具体示例中，分频模块303对目标宏块I_原始进行分频，得到低频宏块分量I_低频和高频宏块分量I_高频，I_原始＝I_低频+I_高频。I_高频包括目标宏块的纹理、细节和噪声等信息，I_低频包括目标宏块的轮廓、亮度和形状等信息。
102，根据目标宏块的运动向量，确定目标宏块的运动剧烈程度值。可选的，运动状态评估模块304获取运动补偿模块301发送的目标宏块的位置信息。运动状态评估模块304根据该位置信息，从运动向量缓存中获取目标宏块的运动向量。可选的，运动向量缓存中存储有原始视频帧包括的各个宏块的运动向量。可选的，运动状态评估模块304可以集成向量获取功能，并基于向量获取功能从运动向量缓存中获取目标宏块的运动向量。可选的，在一些实施例中，还可以将向量获取功能实现为一个运动向量获取模块305。如图5所示，运动状态评估模块304可以通过运动向量获取模块305从运动向量缓存中获取目标宏块的运动向量。相应的，运动向量获取模块305获取目标宏块的位置信息，之后，根据目标宏块的位置信息从运动向量缓存中获取运动向量。运动向量获取模块305将从运动向量缓存获取的运动向量发送给运动状态评估模块304。运动状态评估模块304根据目标宏块的运动向量，计算目标宏块的运动剧烈程度值。
其中，运动状态评估模块304计算目标宏块的运动剧烈程度值包括：运动状态评估模块304根据目标宏块运动向量的模值，计算目标宏块的运动剧烈程度值。在一些实施例中，目标宏块的运动向量的模值可以根据公式Mr＝sqrt(Vr_x2+Vr_y2)，或者Mr＝(|Vr_x|+|Vr_y|)/2计算。该公式中，Vr_x表示运动向量x方向的值，Vr_y表示运动向量y方向的值。运动剧烈程度值可以根据运动向量的模值进行取值。可选的，目标宏块的运动剧烈程度值与运动向量的模值呈正相关关系，即运动向量的模值越大，运动剧烈程度值越大。在一些示例中，运动剧烈程度值可以等于运动向量的模值。
103，根据运动剧烈程度值，确定多个宏块分量分别对应的压缩参数。本发明实施例中，预先建立各个宏块分量与运动剧烈程度的函数关系。运动状态评估模块304计算得到目标宏块的运动剧烈程度值之后，将目标宏块的运动剧烈程度值发送给参数计算模块306。参数计算模块306可以根据各个宏块分量与运动剧烈程度值之间的函数关系，确定各个宏块分量分别对应的压缩参数。更为具体的，各个宏块分量与运动剧烈程度值之间的函数关系本质上是各个宏块分量对应的频段与剧烈程度值之间的函数关系。因此，参数计算模块306在得到运动剧烈程度值之后，可以得到各个频段对应的压缩参数。如图5所示，在对目标宏块分频为高频宏块分量和低频宏块分量的场景中，参数计算模块306可以根据运动剧烈程度值得到高频频段对应的高频压缩参数，以及低频频段对应的低频压缩参数。参数计算模块306将高频压缩参数和低频压缩参数分别提供给对应的压缩模块307。
可选的，参数计算模块306计算出的压缩参数中包括压缩比例。各个宏块分量的压缩比例与运动剧烈程度值呈正相关关系。运动剧烈程度值越大，表示运动越剧烈，各个宏块分量对应的压缩比例也越大，压缩后的数据也较小，恢复后的图像质量相对较差。同理，运动剧烈程度值越小，运动越平缓，各个宏块分量对应的压缩比例也越小，压缩后的数据较大，恢复后的图像质量相对较好。
可选的，对于同一运动剧烈程度值，各个宏块分量中，频率高的宏块分量对应的压缩比例大于频率低的宏块分量对应的压缩比例。例如，对于同一运动剧烈程度值，高频压缩参数中的压缩比例大于低频压缩参数中的压缩比例。即，对于目标宏块中的纹理、细节和噪声等高频信息采用较高的压缩比例，对于轮廓、亮度和形状等信息采用较低的压缩比例。
在一些实施例中，如果目标宏块位于运动区域和非运动区域的边界位置处，则仅根据目标宏块的运动向量计算出的上述压缩参数，可能会使压缩后的图像有较大失真。因此，在基于运动剧烈程度值确定出各个宏块分量对应的压缩参数之后，需要进一步对各个宏块分量分别对应的压缩参数进行校正。
可选的，对各个宏块分量分别对应的压缩参数进行校正的方式可以是：运动向量获取模块305在得到目标宏块的位置信息之后，还从运动向量缓存中获取目标宏块的领域宏块的运动向量。运动向量获取模块305将邻域模块的运动向量发送给运动状态评估模块304。运动状态评估模块304计算目标宏块与领域宏块对应的运动向量之间的差值mv_diff＝∑(|Vr_x-Vneighbour_x|+|Vr_y-Vneighbour_y|)。该方式中，Vneighbour_x表示领域宏块的运动向量x方向的值，Vneighbour_y表示邻域宏块的运动向量y方向的值。
可选的，运动状态评估模块304将差值mv_diff发送给参数计算模块306。参数计算模块306根据差值mv_diff，确定目标宏块是否位于原始视频帧的运动区域和非运动区域的边界位置。可选的，如果差值mv_diff大于第一阈值，则可以确定目标宏块位于原始视频帧的运动区域和非运动区域的边界位置，此时，可以减小各个宏块分量对应的压缩比例。如果差值mv_diff小于或者等于第一阈值，则可以不对各个宏块分量对应的压缩比例进行调整。在一些实施例中，也可以建立压缩比例与差值mv_diff的函数关系。当计算得到各个宏块分量对应的压缩比例之后，可以根据该函数关系对各个宏块分量的压缩比例进行校正。其中，差值mv_diff越大，目标宏块越有可能位于原始视频帧的运动区域和非运动区域的边界位置处，各个宏块分量对应的压缩比例需要降低。差值mv_diff越小，目标宏块越有可能位于非边界位置处，各个宏块分量对应的压缩比例则可以无需调整。
104，根据多个宏块分量分别对应的压缩参数，对多个宏块分量进行压缩，得到多个压缩分量。本发明实施例中，压缩模块307从分频模块303获取目标宏块的各个宏块分量。压缩模块307从参数计算模块306获取各个宏块分量分别对应的压缩参数。之后，压缩模块307基于各个宏块分量分别对应的压缩参数，对各个宏块分量进行压缩。在一些实施例中，压缩模块307的数量可以为一个或者多个。可选的，压缩模块307的数量可以根据宏块分量的个数确定。即，压缩模块307和各个宏块分量一一对应。如图5所示，分频模块303输出的高频宏块分量和低频宏块分量由各自对应的压缩模块307进行压缩，并分别输出压缩后的高频分量和压缩后的低频分量。压缩后的高频分量和低频分量通过数据总线传输给解压缩模块308进行解压缩的流程。
本发明实施例中方法中，根据运动向量确定运动剧烈程度值，进而根据运动剧烈程度值，自适应调整图像的压缩率，对于高速运动场景可以采用较高的压缩比例，由此可以降低系统内存带宽的消耗。进一步，该方案在对图像压缩时，至少分为高频分量和低频分量，对于高频分量和低频分量分别采用不同的压缩比例，由此可以在降低内存带宽和保证图像质量之间进行平衡，达到在保证图像质量的情况下降低内存带宽消耗的效果。而且，本发明实施例中，对处于运动区域和非运动区域边界的图像可以适当降低压缩比例，由此以保证图像边界区域的图像质量。
图4是本发明实施例提供的一种视频帧解压方法的流程图。如图4所示，该方法的处理步骤包括：
201，获取目标宏块的多个压缩分量，所述多个压缩分量是对目标宏块的多个宏块分量分别进行压缩得到的，所述多个宏块分量分别对应的压缩参数根据目标宏块的运动剧烈程度值确定。可选的，压缩模块307输出的目标宏块的各个压缩分量通过数据总线发送给解压缩模块308。如图5所示，压缩模块307输出的压缩后的高频分量和低频分量通过数据总线发送给解压缩模块308。可选的，解压缩模块308的数量可以为一个或者多个。在一些实施例中，解压缩模块308的数量根据压缩分量的个数确定，解压缩模块308和各个压缩分量一一对应。如图5中，压缩后的高频分量和低频分量分别传输给各自对应的解压缩模块308。
202，对多个压缩分量分别进行解压缩，得到多个解压分量。如图5所示，解压缩模块308对各自接收到的压缩分量进行解压缩，得到解压分量。解压缩模块308将解压输出的解压分量传输给合成模块309。如图5所示，两个解压缩模块308分别输出的解压后的高频分量和低频分量均传输给合成模块309。
203，根据多个解压分量，得到恢复后的目标宏块。如图5所示，合成模块309根据接收到的各个解压分量合成输出恢复后的目标宏块。合成模块309将恢复后的目标宏块发送给运动补偿模块301。
204，根据恢复后的目标宏块，建立重建帧。如图5所示，运动补偿模块301根据恢复后的目标宏块建立重建帧。
对应上述视频帧压缩方法，本发明实施例还提供了一种视频帧压缩装置。本领域技术人员可以理解，这些装置均可使用市售的硬件组件通过本方案所教导的步骤进行配置来构成。如图5所示，该视频帧压缩装置包括：分频模块303、运动状态评估模块304、参数计算模块306和压缩模块307；其中：
分频模块303，用于对原始视频帧中的目标宏块进行分频，得到多个宏块分量；运动状态评估模块304，用于根据所述目标宏块的运动向量，确定所述目标宏块的运动剧烈程度值；参数计算模块306，用于根据所述运动剧烈程度值，确定所述多个宏块分量分别对应的压缩参数；压缩模块307，用于根据所述多个宏块分量分别对应的压缩参数，对所述多个宏块分量进行压缩，得到多个压缩分量。
在一些实施例中，该装置还包括图像获取模块302，用于根据目标宏块的位置信息从原始视频帧中获取目标宏块，并将目标宏块发送给分频模块。
在一些实施例中，该装置还包括运动向量获取模块305。其中，运动向量获取模块305，用于根据目标宏块在原始视频帧的位置信息，从运动向量缓存中获取所述目标宏块的运动向量并提供给所述运动状态评估模块304。
在一些实施例中，所述运动向量获取模块305，还用于根据所述目标宏块的位置信息，从所述运动向量缓存中获取所述目标宏块的领域宏块的运动向量；所述参数计算模块306，还用于根据所述目标宏块以及所述邻域宏块的运动向量，确定所述目标宏块位于所述原始视频帧的运动区域和非运动区域的边界位置时，减小各个宏块分量的压缩比例，所述压缩比例包含于压缩参数。
本发明实施例的视频帧压缩装置可以上述实施例的视频帧压缩方法。本实施例未详细描述的部分，可以参考方法部分的相关说明。该技术方案的执行过程和技术效果方法实施例中的描述，在此不再赘述。
对应上述视频帧解压方法，本发明实施例还提供了一种视频帧解压装置。如图5所示，该视频帧解压装置包括：解压缩模块308和合成模块309；其中：
解压缩模块308，用于获取目标宏块的多个压缩分量，所述多个压缩分量是对所述目标宏块的多个宏块分量分别进行压缩得到的，所述多个宏块分量分别对应的压缩参数根据所述目标宏块的运动剧烈程度值确定；还用于对所述多个压缩分量分别进行解压缩，得到多个解压分量；合成模块309，用于根据所述多个解压分量，得到恢复后的目标宏块，所述恢复后的目标宏块用于运动补偿模块301建立重建帧。进一步，图5所示的运动补偿模块301，用于提供目标宏块在原始视频帧的位置信息，以及用于根据恢复后的目标宏块建立重建帧。
本发明实施例的视频帧解压装置可以上述实施例的视频帧解压方法。本实施例未详细描述的部分，可以参考方法部分的相关说明。该技术方案的执行过程和技术效果方法实施例中的描述，在此不再赘述。
应理解，本发明实施例中上述视频帧压缩装置和视频帧解压装置可以在同一设备中实现，也可以分别在不同的设备中实现。可选的，图5所示的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块以软件通过处理元件调用的形式实现，部分模块通过硬件的形式实现。例如，运动状态评估模块304可以为单独设立的处理元件，也可以集成在电子设备的某一个芯片中实现。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit；以下简称：ASIC)，或，一个或多个微处理器(Digital Singnal Processor；以下简称：DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array；以下简称：FPGA)等。再如，这些模块可以集成在一起，以片上系统(System-On-a-Chip；以下简称：SOC)的形式实现。
图6是本发明实施例提供的一种终端设备的结构示意图。如图6所示，终端设备以通用计算设备的形式表现。终端设备的组件可以包括但不限于：一个或者多个处理器410，通信接口420，存储器430，连接不同系统组件(包括存储器430、通信接口420和处理单元410)的通信总线440。
通信总线440表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture；以下简称：ISA)总线，微通道体系结构(Micro Channel Architecture；以下简称：MAC)总线，增强型ISA总线、视频电子标准协会(Video Electronics StandardsAssociation；以下简称：VESA)局域总线以及外围组件互连(Peripheral ComponentInterconnection；以下简称：PCI)总线。
电子设备典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储器430可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(Random Access Memory；以下简称：RAM)和/或高速缓存存储器。电子设备可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。存储器430可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明实施例的视频帧压缩方法，或者，执行本发明实施例的视频帧解压缩方法，或者既执行视频帧压缩方法又执行视频帧解压缩方法。
具有一组(至少一个)程序模块的程序/实用工具，可以存储在存储器430中，这样的程序模块包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块通常执行本说明书所描述的实施例中的功能和/或方法。
处理器410通过运行存储在存储器430中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例中的视频帧压缩方法和/或视频帧解压缩方法。
具体实现中，本申请还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，该程序执行时可包括本申请提供的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(英文：read-only memory，简称：ROM)或随机存储记忆体(英文：random access memory，简称：RAM)等。
具体实现中，本发明实施例还提供了一种计算机程序产品，所述计算机程序产品包含可执行指令，当所述可执行指令在计算机上执行时，使得计算机执行上述方法实施例中的部分或全部步骤。
本发明实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示单独存在A、同时存在A和B、单独存在B的情况。其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项”及其类似表达，是指的这些项中的任意组合，包括单项或复数项的任意组合。例如，a，b和c中的至少一项可以表示：a,b,c,a-b,a-c,b-c,或a-b-c，其中a,b,c可以是单个，也可以是多个。
本领域普通技术人员可以意识到，本文中公开的实施例中描述的各单元及算法步骤，能够以电子硬件、计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本发明所提供的几个实施例中，任一功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，简称ROM)、随机存取存储器(random access memory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。本发明的保护范围应以所述权利要求的保护范围为准。

Claims (15)

1.一种视频帧压缩方法，其特征在于，包括：
对原始视频帧中的目标宏块进行分频，得到多个宏块分量；
根据所述目标宏块的运动向量，确定所述目标宏块的运动剧烈程度值；
根据所述运动剧烈程度值，确定所述多个宏块分量分别对应的压缩参数；
根据所述多个宏块分量分别对应的压缩参数，对所述多个宏块分量进行压缩，得到多个压缩分量。
2.根据权利要求1所述的方法，其特征在于，对原始视频帧中的目标宏块进行分频，得到多个宏块分量，包括：
采用预设的分频滤波器对所述目标宏块进行分频，得到多个宏块分量。
3.根据权利要求1所述的方法，其特征在于，根据所述目标宏块的运动向量，确定所述目标宏块的运动剧烈程度值，包括：
根据所述运动向量的模值，确定所述目标宏块的运动剧烈程度值。
4.根据权利要求1所述的方法，其特征在于，所述压缩参数包括：压缩比例；所述多个宏块分量中，频率高的宏块分量的压缩比例大于频率低的宏块分量的压缩比例。
5.根据权利要求1所述的方法，其特征在于，所述压缩参数包括：压缩比例；所述多个宏块分量的压缩比例均与所述运动剧烈程度值呈正相关关系。
6.根据权利要求1所述的方法，其特征在于，所述目标宏块的运动向量是根据所述目标宏块在所述原始视频帧的位置信息，从运动向量缓存中获取的。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
根据所述目标宏块的位置信息，从所述运动向量缓存中获取所述目标宏块的邻域宏块的运动向量；
根据所述目标宏块以及所述邻域宏块的运动向量，确定所述目标宏块位于所述原始视频帧的运动区域和非运动区域的边界位置时，分别减小各个宏块分量的压缩比例，所述压缩比例包含于压缩参数。
8.根据权利要求7所述的方法，其特征在于，根据所述目标宏块以及所述邻域宏块的运动向量，确定所述目标宏块位于所述原始视频帧的运动区域和非运动区域的边界位置，包括：
如果所述目标宏块与所述邻域宏块的运动向量之间的差值大于第一阈值，则确定所述目标宏块位于所述原始视频帧的运动区域和非运动区域的边界位置。
9.一种视频帧解压方法，其特征在于，包括：
获取目标宏块的多个压缩分量，所述多个压缩分量是对所述目标宏块的多个宏块分量分别进行压缩得到的，所述多个宏块分量分别对应的压缩参数根据所述目标宏块的运动剧烈程度值确定；
对所述多个压缩分量分别进行解压缩，得到多个解压分量；
根据所述多个解压分量，得到恢复后的目标宏块，所述恢复后的目标宏块用于建立重建帧。
10.一种视频帧压缩装置，其特征在于，包括：
分频模块，用于对原始视频帧中的目标宏块进行分频，得到多个宏块分量；
运动状态评估模块，用于根据所述目标宏块的运动向量，确定所述目标宏块的运动剧烈程度值；
参数计算模块，用于根据所述运动剧烈程度值，确定所述多个宏块分量分别对应的压缩参数；
压缩模块，用于根据所述多个宏块分量分别对应的压缩参数，对所述多个宏块分量进行压缩，得到多个压缩分量。
11.根据权利要求10所述的装置，其特征在于，所述装置还包括：
运动向量获取模块，用于根据目标宏块在原始视频帧的位置信息，从运动向量缓存中获取所述目标宏块的运动向量并提供给所述运动状态评估模块。
12.根据权利要求11所述的装置，其特征在于，所述运动向量获取模块，还用于根据所述目标宏块的位置信息，从所述运动向量缓存中获取所述目标宏块的邻域宏块的运动向量；
所述参数计算模块，还用于根据所述目标宏块以及所述邻域宏块的运动向量，确定所述目标宏块位于所述原始视频帧的运动区域和非运动区域的边界位置时，减小各个宏块分量的压缩比例，所述压缩比例包含于压缩参数。
13.一种视频帧解压装置，其特征在于，包括：
解压缩模块，用于获取目标宏块的多个压缩分量，所述多个压缩分量是对所述目标宏块的多个宏块分量分别进行压缩得到的，所述多个宏块分量分别对应的压缩参数根据所述目标宏块的运动剧烈程度值确定；还用于对所述多个压缩分量分别进行解压缩，得到多个解压分量；
合成模块，用于根据所述多个解压分量，得到恢复后的目标宏块，所述恢复后的目标宏块用于建立重建帧。
14.一种终端设备，其特征在于，包括：
至少一个处理器；以及
与所述处理器通信连接的至少一个存储器，其中：
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令以执行如权利要求1至8或者权利要求9中任一项所述的方法。
15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行权利要求1至9任一所述的方法。
CN202110491419.1A 2021-05-06 2021-05-06 视频帧压缩、解压方法和设备 Active CN113194313B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110491419.1A CN113194313B (zh) 2021-05-06 2021-05-06 视频帧压缩、解压方法和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110491419.1A CN113194313B (zh) 2021-05-06 2021-05-06 视频帧压缩、解压方法和设备

Publications (2)

Publication Number Publication Date
CN113194313A CN113194313A (zh) 2021-07-30
CN113194313B true CN113194313B (zh) 2022-09-27

Family

ID=76984160

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110491419.1A Active CN113194313B (zh) 2021-05-06 2021-05-06 视频帧压缩、解压方法和设备

Country Status (1)

Country Link
CN (1) CN113194313B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1992533A (zh) * 2005-12-26 2007-07-04 索尼株式会社 信号编码设备和方法、信号译码设备和方法、程序及介质
CN106878727A (zh) * 2016-12-31 2017-06-20 深圳市共进电子股份有限公司 视频数据处理方法及装置
CN110113547A (zh) * 2018-01-31 2019-08-09 三星电子株式会社 图像传感器、电子装置以及控制图像处理装置的方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2941873A1 (en) * 2013-01-07 2015-11-11 VID SCALE, Inc. Motion information signaling for scalable video coding

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1992533A (zh) * 2005-12-26 2007-07-04 索尼株式会社 信号编码设备和方法、信号译码设备和方法、程序及介质
CN106878727A (zh) * 2016-12-31 2017-06-20 深圳市共进电子股份有限公司 视频数据处理方法及装置
CN110113547A (zh) * 2018-01-31 2019-08-09 三星电子株式会社 图像传感器、电子装置以及控制图像处理装置的方法

Also Published As

Publication number Publication date
CN113194313A (zh) 2021-07-30

Similar Documents

Publication Publication Date Title
CN103024248B (zh) 运动自适应的视频图像降噪方法及其装置
JP2920209B2 (ja) 動画像の符号化によるブロック化現象除去方法
US8488009B2 (en) Image processing apparatus, image processing method, and program
US20020051496A1 (en) Deblocking filtering apparatus and method
JP2012516637A5 (zh)
CN109963048B (zh) 降噪方法、降噪装置及降噪电路系统
CN112584149A (zh) 用于视频编码的内容自适应降噪的方法和系统
CN102119401A (zh) 用于带状伪像检测的方法和设备
EP1700491A1 (en) Image and video quality measurement
CN113411581B (zh) 视频序列的运动补偿方法、系统、存储介质及终端
CN113194313B (zh) 视频帧压缩、解压方法和设备
KR20200019853A (ko) 비디오 인코딩의 연기된 포스트-프로세스들을 위한 시스템들 및 방법들
US20100322304A1 (en) Multi-source filter and filtering method based on h.264 de-blocking
JP2005150903A (ja) 画像処理装置、ノイズ除去方法及びノイズ除去プログラム
JPS6028392A (ja) 動画像信号の動き内插方式
Seiler et al. Spatio-temporal error concealment in video by denoised temporal extrapolation refinement
CN107592547B (zh) 一种基于hevc压缩域的运动感知图提取方法
US11538169B2 (en) Method, computer program and system for detecting changes and moving objects in a video view
Dai et al. Generalized multihypothesis motion compensated filter for grayscale and color video denoising
Stankiewicz et al. Estimation of temporally-consistent depth maps from video with reduced noise
KR100688536B1 (ko) 영상신호 잡음제거장치 및 영상신호 잡음제거방법
Dai et al. Color video denoising based on adaptive color space conversion
KR100772405B1 (ko) 전역 움직임 추정에 근거한 적응성 잡음 감쇄 방법 및 영상처리 시스템
TWI392379B (zh) Television image adjustment method and device
JP2001346208A (ja) 画像信号復号化装置および方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant