CN102057676A - 用于视频编码器和解码器联合优化的方法和系统 - Google Patents

用于视频编码器和解码器联合优化的方法和系统 Download PDF

Info

Publication number
CN102057676A
CN102057676A CN2009801207764A CN200980120776A CN102057676A CN 102057676 A CN102057676 A CN 102057676A CN 2009801207764 A CN2009801207764 A CN 2009801207764A CN 200980120776 A CN200980120776 A CN 200980120776A CN 102057676 A CN102057676 A CN 102057676A
Authority
CN
China
Prior art keywords
video
block
coding
encoded
decoder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2009801207764A
Other languages
English (en)
Other versions
CN102057676B (zh
Inventor
史小瑾
H-J·吴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Computer Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Computer Inc filed Critical Apple Computer Inc
Publication of CN102057676A publication Critical patent/CN102057676A/zh
Application granted granted Critical
Publication of CN102057676B publication Critical patent/CN102057676B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/127—Prioritisation of hardware or computational resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明的实施例提供了视频编码的装置和方法。该装置和方法还提供根据基于块的编码处理对源视频序列进行编码，估计目标解码器的处理能力，确定估计的处理能力是否足以执行解块滤波。如果不足，该装置和方法还提供为源视频序列的像素块计算在解码时使用的解块滤波器强度，并且在编码的视频数据信号中与编码的视频数据一起传输该解块滤波器强度。此外，如果不足，该装置和方法还提供编码参数的改变，所述编码参数包括但不限于块大小、变换大小和Qmatrix。

Description

用于视频编码器和解码器联合优化的方法和系统
与相关申请的交叉引用
本申请按照35U.S.C.119(e)要求题目为“Method and System for Joint Optimization of Complexity and Visual Quality of the Deblocking Process for Resource Limited Devices”的提交于2008年6月6日的美国临时申请61/059725的优先权。
技术领域
本发明的实施例涉及视频编码和解码。特别地，本发明涉及用于改进资源有限解码器的解块的装置和方法。
背景技术
通常使用视频编码器对源视频编码，以便实现带宽压缩。可以将编码的视频数据以比特流的形式经通信通道(例如，因特网或缆线网络)传输到接收设备。接收设备诸如手持设备可以对收到的比特流进行解码，恢复源视频的副本，并且在显示屏上显示恢复的视频。
在接收设备处的恢复的视频数据不等同于编码设备处输入的视频数据的意义上，编码、传输和解码处理可能是有损的。视频编码和解码中的损失可能产生自量化处理，和/或导致数据压缩但是以数据丢失为代价的其它操作。另外，视频编码和解码中的损失可以引起恢复的视频数据内的可视觉感知的伪像。视频压缩内的一种已知类型的伪像是通常存在于基于块的编码器，例如MPEG-x或H.264编码器内的所谓成块伪像。基于块的编码器通常在处理源视频数据之前，将源视频数据组织为阵列(或“像素块”)；而在恢复编码的块时，就可能观察到恢复的像素块之间的不连续，对于观看者来说，这可能看上去不自然。
可以在解码器执行的后处理步骤中，例如，通过低通滤波器减少成块伪像。最近的视频压缩标准，例如，H.264还可以包括解码器内的环内解块滤波器。图1示出了源视频数据110由编码器120编码，在通道130上传输，并且然后由解码器140解码以便产生解码的视频数据160的功能方框图。源视频数据110可以是从模拟的或未压缩视频数字化的视频。源视频通常包含一系列图像帧，每个图像帧可以包括矩形像素阵列。编码器120可以对源视频数据110编码以便产生编码的视频数据170，并且经通信通道130将编码的视频数据170传输到解码器140。编码器可将编码的视频数据划分为像素片(136、142)。编码的视频数据可以包括编码的图像帧和指示解码器140如何对编码的视频数据解码的指令(135、141)两者。解码器140可以基于这些指令对编码的视频数据进行解码。
编码处理可以如下操作。编码器120将源视频数据110分解为片，并且然后将片分解为块(例如，4×4像素或8×8像素或16×16像素)。编码器120可以使用各种编码方法对源视频数据110进行编码。例如，编码器120可以根据前面的块预测一个块的像素值，并且基于像素块对像素值和预测的像素值之间的差进行编码。编码器可以选择可用于实现不同类型或级别的压缩的编码参数132、138，并且将其传给解码器。这些控制参数可以确定在编码处理中引起了多大损失，并且因此确定解码的视频数据160的质量。例如，编码器120可以具有用于离散余弦变换(DCT)处理器122、量化处理器124、片扫描系统126和熵编码128的控制参数。特别地，编码器120可以选择用于量化处理124的编码参数132、134，编码参数132、134确定可以对源视频数据110的块进行多少级别的量化。较小的量化级别数目可以增加零的数目，并且因此允许更大的压缩。变为零的数据丢失，但是编码的视频数据170得以压缩。
对于基于块的视频压缩，由于像素值量化，可能存在成块伪像。成块伪像是在解码的视频中作为异常大的像素块出现的失真。例如，视频图像可以表现为具有大块或黑白行，或图像可能表现出具有平均在一起的块。通常，成块伪像可能以围绕某些解码的像素块的输出的像素发生。
解码器140可以包括解块滤波器150以便减少成块伪像。解码器内的解块滤波器可以具有若干控制参数。例如，按照H.264(“Advanced Video Coding for Generic Audiovisual Services”，ITU-T Rec.H.264(11/2007)，通过引用结合在此)，可由表示比特流内的量化级别的参数全局控制解码器内的环内解块滤波器的强度。编码器可以在编码处理过程中，例如，在视频数据136、142的片的编码过程中，设置这些全局解块滤波器参数。
解码器140可以如下操作。解码器140接收包括编码参数132和解块滤波器参数134的编码的视频数据170。然后解码器140根据编码参数132、138和解块滤波器参数134对编码的视频数据170进行逐块解码。编码参数132、138确定熵解码器142、逆片扫描系统144、逆量化处理器146和逆DCT处理器148如何对编码的视频数据170进行解码。
解块滤波器150可以如下操作。编码器120可以，例如，经由H.264标准的alpha和beta参数，在片级别上全局控制解块滤波器150的强度，其中可以基于片的平均量化参数确定alpha和beta。然而，由于编码器120仅对解块滤波器150具有片级别控制，因此片内的某些像素块可能过滤波，并且片内的某些像素块可能欠滤波。过滤波可能过度平滑解码的视频数据160，例如，使得边缘模糊，并且降低视频的感知质量。在另一方面，欠滤波可能不足以减少成块伪像。
因此，除了解块滤波器的全局控制之外，解码器还可以基于图像内容或像素块之内或之外的像素值，计算每个像素块的解块滤波器强度。例如，根据H.264，可以基于像素值和块边缘的位置，计算解块滤波器强度的4个级别(bS)。级别4(bS＝4)表示最强滤波，并且级别1(bS＝1)表示最弱滤波。根据这种安排，滤波更加以每个块为目标，这可以产生针对块的正确滤波数量。然而，基于块的解块滤波可能需要解码器计算解块强度的正确数量。这种计算可能给仅有有限计算资源的接收设备带来负担。对于这些设备，额外的计算负担可能导致解码器例如丢帧，并且因此降低视觉质量。
另外，接收设备可能包括处理器，例如，可以并行操作的CPU或GPU。然而，编码的视频数据170内的数据相关性可能阻止并行执行解块。例如，在预测编码中，可以根据编码序列内的前面的像素块和/或后面的像素块的像素值，计算将被滤波的像素块。因此，由于当前像素块所依赖的后面的像素块未被处理完，可能不能发生并行处理。
因此，需要用于有效控制在块级别应用的解块的装置和方法。另外，本领域需要联合管理解块滤波器的复杂性预算，以及对可被并行解块滤波的视频源数据进行编码。
附图说明
图1示出了源视频数据被编码，在通道上传输，并且然后被解码以便产生解码的视频数据的功能方框图；
图2示出了被划分为片的编码的图像；
图3A示出了具有解块滤波器参数和编码参数的图像的片；
图3B示出了可以对其应用解块滤波的像素块边缘上的像素元组；
图3C示出了片内的一个块；
图4A示出了具有数据相关性的编码的视频数据的片；
图4B示出数据相关性已被去除；
图4C示出了相邻解块滤波器之间的数据相关性；
图5示出了资源有限解码器的解块处理的复杂性和视觉质量联合优化方法的实施例；
图6示出了资源有限解码器的解块处理的复杂性和视觉质量联合优化方法的另一个实施例；
图7示出了可用于执行图5和6所示的编码方法的计算机系统的简化功能方框图。
具体实施方式
本发明的实施例提供了视频编码的装置和方法。该装置和方法还提供根据基于块的编码处理对源视频序列进行编码，估计目标解码器的处理能力，确定估计的处理能力是否足以执行解块滤波。如果能力不足，该装置和方法还提供为源视频序列的像素块计算在解码时使用的解块滤波器强度，并且在编码的视频数据信号中与编码的视频数据一起传输该解块滤波器强度。
在本发明的一个示例实施例中，视频编码器可以基于解码设备的能力对视频数据进行编码。对于特定类型的解码设备，编码设备可以确定解码设备是否具有执行基于块的解块滤波处理而不降低视觉质量的计算资源。在解码设备不具有足够资源的情况下，编码设备可以代表解码器估计基于块的滤波强度，并且将解块滤波器强度编码在比特流内。因此，解码器可以执行基于块的解块滤波，而不需要估计解块滤波器强度。
在本发明的另一个示例实施例中，基于解码器的能力，编码器可以改变像素块的大小。在预测编码中，可以基于像素块(或变换块)变换像素。由于成块伪像往往出现在这些像素块的边缘，可以在这些像素块的边缘上应用解块滤波器。较小的像素块可以在解块滤波之后以较高的处理代价产生较高的显示质量。在另一方面，解块滤波器的较大的像素块可能需要较少的处理，但是以较低的显示质量为代价。编码器可以基于解码器的能力确定像素块的大小，并且以适当的块大小级别编码。
另外，在本发明的一个实施例中，编码器还可以确定解码器并行处理的能力。如果解码器能够进行并行处理，编码器则可去除某些解块滤波相关性，以便完全利用解码器的并行处理能力。
图2示出了划分为片的编码的图像210。图像210可被划分为多个片250。片250可以包括像素，例如，按照H.264，16×16像素的一系列宏块(未示出)。宏块还可以包括像素块(例如，4×4或8×8像素)的阵列。本发明的目标是以块的级别控制解块滤波器强度。
图3A示出了包括宏块和像素块的片。该片可以包含宏块310(例如，16×16像素的宏块)，该宏块还可以包含像素块(例如，8×8或4×4像素的像素块)。相邻的宏块可被以宏块边缘间隔开，并且相邻的像素块可被以像素块边缘间隔开。如图3A所示，在宏块的边界处，像素块边缘可以与宏块边缘重叠。
图3B示出了用于描述可以对其应用解块滤波器的像素块边缘上的像素的约定。像素块可以是8×8或4×4。因此，解块滤波器可以是具有例如4或8个像素的基数的水平或垂直的一维滤波器。图3B的示例图示包括第一像素块内的像素p0…p3以及第二像素块内的像素q0…q3。解块滤波器可被单独应用于每个分量平面，例如，按照H.264，图像帧的luma和两个chroma。
可以在编码器端确定一些解块滤波器参数。例如，解块滤波器参数320可以包括可被全局应用于像素片的H.264标准内的alpha和beta参数。H.264编码器通常计算可被应用于片内的所有宏块的alpha和beta参数。该片的这些全局参数320可被与该片的其它控制参数集中存储。
对于每个像素块边缘，解码器可以相对于像素块边缘计算解块滤波器强度。例如，根据H.264，解码器可以基于若干因素估计四个级别之一的解块强度(在H.264中称为bS)，所述因素包括例如p0和q0是否处于不同宏块、片类型、或宏块内预测模式等。然而，当解码器仅具有有限处理资源时，解块滤波器强度的计算可能使得解码器负担过重。
在本发明的一个实施例中，在确定解码器的有限处理能力之后(例如，通过将解码器设备与一列已知的资源有限设备进行比较)，编码器可以代表解码器计算像素块边缘的解块滤波器强度。编码器可以基于形成像素块边缘的像素块，计算解块滤波器强度。参考图3A，编码器可以随同每个像素块的编码参数330.1-330.9一起，对包括解块强度在内的解块参数进行编码。在一个示例实施例中，编码器可以首先将视频源编码为例如符合H.264的比特流。定制编码器可以估计解块参数，例如，H.264中的解块滤波器强度(bS)。参考图3C，这些解块滤波器参数可被再次与像素块的编码参数330.5一起编码，并且被传输到接收端的解码器。
图3C示出图3A的片的一个块340.5。块340.5可以是片310的一部分，其可以包括解块滤波器参数320。块340.5还可以包括编码参数330.5，其可以包括使用的量化的粗糙度、以块引用的参考帧数目、以及使用的编码系数的数目。另外，块340.4已被基于其它块预测编码。解块滤波器参数320和编码参数330.5可被传输给解码器350，以便确定应用于块340.5的解块滤波器强度。
图4A示出了具有数据相关性420的编码的视频数据的片410，并且图4B示出了数据相关性420已被去除。图4A示出了编码后的源视频数据的片410。分别根据块400.1和400.2的一部分预测了块400.2和400.3。因为块400.2和400.3的预测编码，解码器处的解块滤波器直到块420.2已被解块才能对块400.3进行解块，直到块400.1已被解块才能对块400.2进行解块。在确定解码器的能力之后，编码器可以改变应用于块400.2和400.3的编码类型。因此，在某些情况下，可能希望不对块400.2和400.3预测编码，而是基于块400.2和400.3内的像素，分别对其进行块内编码。图4B示出了编码器已经改变了块400.2和400.3的编码方案之后的片410。相关性已被去除，从而可以在解码器处对块400.1-400.4进行并行解块。
当解块滤波器长度大于像素块大小的一半时，也可能产生数据相关性。参考图4C，4×4像素块可以具有左侧边缘L和右侧边缘R。可以使用解块滤波器L对边缘L进行滤波，并且可以使用解块滤波器R对边缘R进行滤波。当解块滤波器的长度比块大小的一半长时，用于两个相邻边缘的两个滤波器(例如，滤波器L和R)会彼此重叠。因此，滤波器L的计算可能依赖滤波器R的结果，或者反之亦然。为了去除这种类型的滤波相关性，在一个实施例中，编码器可以选择使用较大的宏块大小，以便避免重叠解块滤波器问题。例如，如果解块滤波器大小对于4×4块为3阶长(tap)，编码器则可取而代之选择使用更大的宏块诸如8×8，以便避免重叠解块滤波器的问题。
图5示出了为资源有限的解码器设备联合优化复杂性和解块处理的视觉质量的实施例。这个实施例可以包括编码器设备504、解码器524、用于在编码器和解码器之间传递数据的通信链路522。在不同实施例中，编码器和解码器可被以硬件实现。例如，解码器可以是具有用于视频编码和解码的专用芯片组的设备。编码器和解码器还可被实现为运行在通用处理器上的软件编码器或解码器。编码器和解码器还可被实现为软件和硬件的混合，诸如带有硬件解码器的软件编码器(或者反之亦然)。通信链路可以是有线的或无线的。编码的视频可被通过存储介质诸如存储器存储设备或光盘传递给解码器。
在一个实施例中，可将源视频502提供给视频编码器504以便针对解码器524进行编码。响应收到源视频，编码器可以获取预期解码器的知识。解码器的处理资源可能涉及例如解码器处可用的计算能力，包括处理器(CPU和GPU)的速度和存储器，或可用于并行计算的处理器的数目。在一个实施例中，可以基于解码器设备的类型，例如，通过与特定类型的硬件设备的识别匹配，在506估计解码器的处理资源。不同设备模块可以相应地具有不同的识别号。在另一个示例实施例中，编码器设备可以在506基于对解码器硬件资源的采样(包括处理器模块和处理器数目)来估计解码器的能力。编码器设备可以通过将可用硬件与预先制定的表相比较来进行估计。在再一个示例实施例中，编码器设备可以具有已知解码器设备的预先汇编的列表或表格。随后编码器设备可以基于特定类型的解码器定制视频编码。
在508，基于关于解码器的信息，编码器设备可以确定解码器是否有足够资源进行解块滤波。在做出这种确定时，编码器还可以考虑解码的视频的显示质量。例如，低分辨率的显示设备，例如，手持设备，可能需要较少的解块滤波，并且因此需要较少的解码器资源。在另一方面，高分辨率显示设备，例如，HD监视器，可能需要过多解块滤波，并且因此需要更多的解码器资源。解码的视频的显示质量还可能与解码器的丢帧率有关。解块滤波可能要求如此多的计算资源，以至于解码器可能需要显示丢帧。可以通过在特定硬件配置上试验不同的解块滤波器，预先确定该硬件的丢帧率。因此，基于解码器的硬件配置和视频的所希望的显示质量确定解码器资源是否有限。在另一个示例实施例中，该确定附加地取决于源视频自身的复杂性。
如果编码器设备确定解码器具有足够的资源进行解块滤波和以所希望的质量显示解码的视频，编码器设备则可在518使用默认的编码策略对源视频进行编码，并且在520经由通信链路522将编码的视频传输到解码器。可以设计默认的编码策略，以便实现最有效的编码，例如，最紧凑的视频比特流。
如果编码器设备在508确定解码器对于解块滤波是资源有限的设备，编码器设备则可基于解码器的可用资源定制源视频的编码策略。编码策略可以包括可调整参数或因素，包括但不限于变换块大小、宏块间和宏块内的折衷、编码的参数的数目、宏块qp和Q矩阵。通过为一组宏块调整这些因素，可以联合优化解块滤波的复杂级别和视觉质量。
在一个示例实施例中，在510，编码器设备可以确定编码的视频比特流内的像素块的大小。如上面结合图3A讨论的，像素块的边缘可以确定可以在何处应用解块滤波。像素块的大小越小，解码器用于解块滤波的资源越多。像素块的大小越大，解码器用于解块滤波的资源越少。因此，如果编码器设备确定解码器具有用于解块滤波的有限资源，编码器设备可以增加在对源视频编码时使用的像素块的大小。在一个示例实施例中，编码器设备可以将像素块的平均大小增加到目标值。在另一个示例实施例中，编码器设备可以控制像素块的大小等于或大于一个阈值，例如4×4。
在一个实施例中，在512，编码器设备可以基于解码器的可用资源，确定编码的视频比特流中的块相关性的量。如上面结合图4C讨论的，当用于两个相邻边缘的解块滤波器彼此重叠时，一个边缘处的解块滤波可能依赖于另一个边上的解块滤波。从而，用于这些相关边缘中的某些的解块滤波可能直到相关的边缘已被处理才会发生，而这会阻碍解块滤波的并行处理。因此，对于包含能够进行并行计算的硬件的解码器，例如，多个处理器或多核CPU/GPU，编码器设备可以改变宏块大小，从而相邻边缘之间不存在相关性。
在一个实施例中，在514，在确定解码器具有用于计算解块滤波器强度的有限资源之后，编码器设备可以代表解码器计算解块滤波器强度(例如，H.264下的bS)。如上面结合图3A-C讨论的，可以与像素块的编码并发地计算解块滤波器强度。例如，编码器可以对源视频编码，并且基于编码参数计算解块滤波器强度。按照H.264，可以影响解块滤波器强度的编码参数可以包括p0和q0的位置(参考图3A，像素块边缘是否也是宏块边缘)以及片的编码类型(例如，H.264的slice_type(片_类型))。解块滤波器强度可被作为额外信息单独传输给解码器，或可替换地，随同其它解块滤波器参数320一并传输给解码器。
图6示出了对资源有限解码器设备的解块处理的复杂性和视觉质量进行联合优化的另一个示例实施例。在601，编码器接收源视频的图像帧。在602，图像帧可被进一步划分为像素片。在603，可以确定像素片的解块滤波参数。这些参数可以全局影响像素片内的所有像素。在604，可以为片内的特定区域确定最优解块。片内区域的确定可能涉及检测图像内的边缘或对象，以及估计可以在片的各个部分上应用多少解块滤波。例如，可以确定场景内的背景中的墙可能仅需要低的解块或不需要解块。
在605，可以调整片内的像素块的特性，以便优化解块质量和/或最小化解块滤波器的复杂性。通常，解块滤波器基于块的特性做出关于应用多大解块强度的默认假设(以及整个像素片的参数集合)。可以调整许多因素以便实现最佳解块和复杂性。在一个示例实施例中，可以针对质量和复杂性的最佳折衷，调整相邻宏块的类型(I、P或B类型)。例如，与块间编码的块相比，I块通常可以接受强的解块滤波。为了增加块的解块强度，可以使用块内编码宏块(Mb)。在另一个示例实施例中，可以使用编码系数的数目调整解块滤波器强度。对宏块系数进行编码的方法可以增加或降低(或者甚至是打开或关闭)解块滤波器强度。例如，对于两个相邻的H.264块间编码的宏块，当没有系数被编码时，解块滤波器可以弱于任意相邻宏块内有某些系数被编码的情况。因此，通过控制两个相邻宏块的编码系数的数目，可以优化解块的强度和复杂性。还可以调整其它因素，包括但不限于参考图像、参考帧数目和不同的运动矢量值，以便优化解块滤波器的强度和复杂性。
上述方法可以使用状态机，以便追踪解码器的解块滤波器正在使用的复杂性。由于解码器内有缓冲器，并且由于以前的片可能增加功率、CPU或GPU周期或时间以便对当前片解块，因此状态机可以追踪以前的块。总的解块能力/资源通常是有限的，并且通常与Mb组/片/图片的复杂性以及开始对当前帧解块时的当前状态相关。当目标解码器的解块滤波器资源不足以执行预期解块时，将获得次优解码性能，例如，丢帧、漂移等。编码器可以具有解块滤波器的复杂性预算模型，以便在任意时间追踪解块器的状态。编码器通过组合初始状态的信息和Mb组/片/图片的复杂性来追踪解块滤波器状态。因此，可以确保解块滤波器可以具有足够资源来完成所有必要的工作。可以包括其它技术作为编码器复杂性控制的一部分，以便确保解码器的解块滤波器不会负担过度。
在506，可将像素片划分为若干像素块，可以调整像素块的大小和数目，以便实现目标解码器的解块滤波的最佳质量和复杂性。在一种典型实现中，像素块大小越小，解块滤波器越复杂。
在本发明的一个实施例中，还可以调整量化参数，以便优化目标解码器的解块滤波。例如，量化参数(q)还可以确定目标解码器的解块滤波器的强度。可以通过对量化系数矩阵(QMatrix)应用一个缩放比例因子来调整量化参数。例如，q＝30可以意味着强的解块强度。对于这个量化参数，本发明的方法和装置可以确定片内的区域不应当被解块(或不是如同q＝30那样强)，或目标解码器没有足够能力进行相应于q＝30的解块强度。因此，编码器可以减小量化参数(例如，q＝6)，并且因此减小解块强度。可以相应地调整QMatrix以便实现有效的q＝30。
在607，可以确定整个像素片的总的优化参数。这些参数可以包括目标解码器用于该片的解块滤波器的alpha和beta。
图7是计算机系统700的简化功能方框图。可以用硬件、软件或它们的每种组合实现本发明的编码器和解码器。编码器和/或解码器可被编码在计算机系统700可读的计算机可读介质上。例如，本发明的编码器和/或解码器可被使用计算机系统实现。
如图7所示，计算机系统700包括处理器702、存储器系统704和通过通信“构造(fabric)”通信的一个或多个输入/输出(I/O)设备706。通信构造可被以各种方式实现，并且如图7所示，可以包括一个或多个计算机总线708、710和/或桥路设备712。I/O设备706可以包括网络适配器和/或大容量存储设备，计算机系统700可以从其接收压缩的视频数据，以便当计算机系统700作为解码器操作时由处理器702进行解码。可替换地，计算机系统700可以接收源视频数据，以便当计算机系统700作为编码器操作时由处理器702进行编码。
应当理解，如本领域的普通技术人员容易明了的，存在本发明和其各个方面的其它变型和修改的实现，并且本发明不限于此处描述的特定实施例。上述特征和实施例可被组合。因此，预期覆盖落在此处公开和提出的基本底层原理范围内的任意和所有修改、变型、组合或等同物。

Claims (23)

1.一种视频编码方法，包括：
根据基于块的编码处理，对源视频序列进行编码；
估计目标解码器的处理能力；
确定估计的处理能力是否足以执行解块滤波，和
如果不是：
计算将在解码时使用的针对所述源视频序列的像素块的解块滤波器强度；和
在编码的视频数据信号内与该编码的视频数据一起传输所述解块滤波器强度。
2.如权利要求1所述的方法，还包括：
如果处理能力足以执行解块滤波：
以默认编码策略对源视频进行编码，所述默认编码策略包括默认编码参数；和
传输所述编码的视频。
3.如权利要求1所述的方法，其中估计目标解码器的处理能力基于目标解码器的硬件配置，以及目标解码器的解码的视频的显示质量。
4.如权利要求3所述的方法，其中通过解码器处理器的类型确定所述硬件配置。
5.如权利要求3所述的方法，其中通过解码器处理器的数目确定所述硬件配置。
6.如权利要求3所述的方法，其中显示质量的一个因素是目标解码器的显示分辨率。
7.如权利要求3所述的方法，其中显示质量的一个因素是解码器的丢帧率。
8.如权利要求1所述的方法，其中所述视频被按照H.264标准编码。
9.如权利要求1所述的方法，其中所述视频被按照MPEG标准编码。
10.如权利要求1所述的方法，其中所述解块滤波器强度是四个级别中的一个。
11.如权利要求1所述的方法，其中计算出的解块滤波器强度被编码为所述编码的视频的编码参数的一部分。
12.一种视频编码方法，包括：
根据基于块的编码处理，对源视频序列进行编码；
估计目标解码器的处理能力；
确定估计的处理能力是否足以执行解块滤波，和
如果不是：
基于估计的处理能力确定像素块大小；和
根据确定的像素块大小对视频进行编码。
13.如权利要求12所述的方法，其中所述确定的像素块大小是用于对视频进行编码的平均像素块大小。
14.如权利要求12所述的方法，其中所述确定的像素块大小是用于对视频进行编码的最小像素块大小。
15.一种视频编码方法，包括：
根据基于块的编码处理，对源视频序列进行编码；
估计目标解码器的处理能力；
确定目标解码器是否具有并行处理能力；
如果是：
去除编码的视频内的滤波相关性；和
将所述编码的视频传输给目标解码器。
16.一种视频编码方法，包括：
根据基于块的编码处理，对源视频序列进行编码；
估计目标解码器的处理能力；
确定目标解码器是否具有并行处理能力；
如果是，对于宏块，确定用于该宏块的第一边缘的第一解块滤波器是否与用于该宏块的第二边缘的第二解块滤波器重叠；
如果是，
增大该宏块的大小，使得第一解块滤波器和第二解块滤波器不相重叠；和
对增大的宏块内的像素进行编码。
17.一种视频编码方法，包括：
根据基于块的编码处理，对源视频序列进行编码；
估计目标解码器的处理能力；
确定估计的处理能力是否足以执行解块滤波，和
如果不是，对于像素片，
调整该像素片内的至少一个宏块的类型；
根据调整后的宏块类型对视频进行编码。
18.如权利要求17所述的视频编码方法，其中所述调整是从I类型宏块调整为P类型宏块。
19.如权利要求17所述的视频编码方法，其中所述调整是从I类型宏块调整为B类型宏块。
20.如权利要求17所述的视频编码方法，其中所述方法以帧为基础加以应用。
21.一种视频编码方法，包括：
根据基于块的编码处理，对源视频序列进行编码；
估计目标解码器的处理能力；
确定估计的处理能力是否足以执行解块滤波，和
如果不是，对于默认的量化参数值，
调整该默认的量化参数值，从而减小目标解码器的解块滤波的复杂性；
调整量化矩阵，以便补偿调整后的量化参数；和
根据调整后的量化参数和量化矩阵对视频进行编码。
22.一种基于关于目标解码器的资源的信息来对源视频进行编码的视频编码系统，包括：
视频编码器，用于根据基于块的编码处理，对源视频进行编码；
解块估计器，用于：
估计接收编码的视频数据的目标解码器的处理能力；
确定估计的处理能力是否足以执行解块滤波，和
如果不是，计算将在解码时使用的针对源视频序列的像素块的解块滤波器强度；
传输器单元，用于将编码的视频和解块滤波器强度传输到通道。
23.一种计算机可读介质，其具有用于执行视频编码方法的计算机可执行程序，包括：
根据基于块的编码处理，对源视频序列进行编码；
估计目标解码器的处理能力；
确定估计的处理能力是否足以执行解块滤波，和
如果不是：
计算将在解码时使用的针对所述源视频序列的像素块的解块滤波器强度；和
在编码的视频数据信号内与该编码的视频数据一起传输所述解块滤波器强度。
CN2009801207764A 2008-06-06 2009-06-03 用于视频编码器和解码器联合优化的方法和系统 Expired - Fee Related CN102057676B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US5972508P 2008-06-06 2008-06-06
US61/059,725 2008-06-06
PCT/US2009/046079 WO2009149151A2 (en) 2008-06-06 2009-06-03 Method and system for video coder and decoder joint optimization

Publications (2)

Publication Number Publication Date
CN102057676A true CN102057676A (zh) 2011-05-11
CN102057676B CN102057676B (zh) 2013-07-24

Family

ID=41153189

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009801207764A Expired - Fee Related CN102057676B (zh) 2008-06-06 2009-06-03 用于视频编码器和解码器联合优化的方法和系统

Country Status (8)

Country Link
US (1) US20090304086A1 (zh)
EP (1) EP2294823A2 (zh)
JP (1) JP5174958B2 (zh)
KR (2) KR101238974B1 (zh)
CN (1) CN102057676B (zh)
BR (1) BRPI0913375A2 (zh)
HK (1) HK1157100A1 (zh)
WO (1) WO2009149151A2 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104303501A (zh) * 2012-04-03 2015-01-21 高通股份有限公司 用于视频译码的量化矩阵和解块滤波器
CN107172427A (zh) * 2011-09-09 2017-09-15 太阳专利托管公司 解码方法及解码装置
CN107580226A (zh) * 2013-10-11 2018-01-12 联发科技股份有限公司 画面内预测方法以及画面内预测装置
CN110971903A (zh) * 2019-10-17 2020-04-07 西安万像电子科技有限公司 编码方法、设备及系统

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7456760B2 (en) * 2006-09-11 2008-11-25 Apple Inc. Complexity-aware encoding
JP5435452B2 (ja) * 2009-01-20 2014-03-05 株式会社メガチップス 画像処理装置および画像変換装置
EP2396735A4 (en) * 2009-02-11 2012-09-26 Quartics Inc FRONT PROCESSOR WITH EXPANDABLE DATA PATH
JP5359657B2 (ja) 2009-07-31 2013-12-04 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
US20110116545A1 (en) * 2009-11-17 2011-05-19 Jinwen Zan Methods and devices for in-loop video deblocking
KR20110123651A (ko) 2010-05-07 2011-11-15 한국전자통신연구원 생략 부호화를 이용한 영상 부호화 및 복호화 장치 및 그 방법
EP2592831A2 (en) * 2010-07-09 2013-05-15 Samsung Electronics Co., Ltd Method and apparatus for encoding video using adjustable loop filtering, and method and apparatus for decoding video using adjustable loop filtering
US8976856B2 (en) * 2010-09-30 2015-03-10 Apple Inc. Optimized deblocking filters
JP5605188B2 (ja) * 2010-11-24 2014-10-15 富士通株式会社 動画像符号化装置
CN103716632B (zh) 2010-12-07 2017-04-19 索尼公司 图像处理设备和图像处理方法
CN106385586A (zh) 2010-12-07 2017-02-08 索尼公司 图像处理设备和图像处理方法
US9060174B2 (en) 2010-12-28 2015-06-16 Fish Dive, Inc. Method and system for selectively breaking prediction in video coding
CN103563374B (zh) * 2011-05-27 2017-02-08 索尼公司 图像处理设备及方法
CN103828366B (zh) * 2011-07-21 2017-10-20 黑莓有限公司 一种编码和解码方法、编码和解码设备
US10045089B2 (en) 2011-08-02 2018-08-07 Apple Inc. Selection of encoder and decoder for a video communications session
US9148670B2 (en) 2011-11-30 2015-09-29 Freescale Semiconductor, Inc. Multi-core decompression of block coded video data
JP5514338B2 (ja) * 2012-04-11 2014-06-04 シャープ株式会社 映像処理装置、映像処理方法、テレビジョン受像機、プログラム、及び記録媒体
CN102833551B (zh) * 2012-09-25 2014-10-29 中南大学 一种Slice级编解码端联合时间最小化方法
JP2014236264A (ja) 2013-05-31 2014-12-15 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
KR20170037120A (ko) 2015-09-25 2017-04-04 주식회사 에이치투씨디자인 브리지 걸이식 와이어안경
US10750171B2 (en) * 2018-06-25 2020-08-18 Google Llc Deblocking filtering
CA3050147A1 (en) * 2018-07-17 2020-01-17 Comcast Cable Communications, Llc Systems and methods for deblocking filtering
CN112449183B (zh) * 2019-09-03 2023-05-09 联咏科技股份有限公司 视频编码器、视频解码器以及视频系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6226410B1 (en) * 1997-06-30 2001-05-01 Intel Corporation Method and apparatus for providing image and video coding with iterative post-processing using transmitted step size information
US20050163400A1 (en) * 2004-01-27 2005-07-28 Canon Kabushiki Kaisha Resolution conversion method and device
WO2006080261A2 (en) * 2005-01-27 2006-08-03 Matsushita Electric Industrial Co., Ltd. Portable image transmission/reception terminal having power consumption influences encoding/decoding modes
US20070237241A1 (en) * 2006-04-06 2007-10-11 Samsung Electronics Co., Ltd. Estimation of block artifact strength based on edge statistics
CN101123726A (zh) * 2006-08-07 2008-02-13 株式会社东芝 视频解码设备和方法
WO2008033830A2 (en) * 2006-09-11 2008-03-20 Apple Inc. Complexity-aware encoding

Family Cites Families (95)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4958226A (en) * 1989-09-27 1990-09-18 At&T Bell Laboratories Conditional motion compensated interpolation of digital motion video
FR2656129B1 (fr) * 1989-12-20 1992-03-13 Gen Electric Cgr Procede de reconstruction multi-echelle de l'image de la structure d'un corps.
US5465119A (en) * 1991-02-22 1995-11-07 Demografx Pixel interlacing apparatus and method
JP3215952B2 (ja) * 1991-04-10 2001-10-09 三菱電機株式会社 符号化装置及び復号化装置
US5313204A (en) * 1991-04-25 1994-05-17 Mitsubishi Denki Kabushiki Kaisha Encoding and decoding devices with predictor and detector
US5467136A (en) * 1991-05-31 1995-11-14 Kabushiki Kaisha Toshiba Video decoder for determining a motion vector from a scaled vector and a difference vector
US5414469A (en) * 1991-10-31 1995-05-09 International Business Machines Corporation Motion video compression system with multiresolution features
US5408328A (en) * 1992-03-23 1995-04-18 Ricoh Corporation, California Research Center Compressed image virtual editing system
JPH05316360A (ja) * 1992-05-14 1993-11-26 Fuji Xerox Co Ltd 画像信号の符号化復号装置
JP3293920B2 (ja) * 1993-01-22 2002-06-17 キヤノン株式会社 画像処理装置およびその方法
CA2126467A1 (en) * 1993-07-13 1995-01-14 Barin Geoffry Haskell Scalable encoding and decoding of high-resolution progressive video
KR970003102B1 (ko) * 1993-09-17 1997-03-14 대우전자 주식회사 영상 복호기에서의 하프 픽셀 움직임 보상 회로
JP2956464B2 (ja) * 1993-12-29 1999-10-04 日本ビクター株式会社 画像情報圧縮伸長装置
DE69535800D1 (de) * 1994-06-08 2008-09-11 Matsushita Electric Ind Co Ltd Bildumsetzungsvorrichtung
JP3732867B2 (ja) * 1995-03-09 2006-01-11 株式会社ルネサステクノロジ 画像伸張装置
US5742892A (en) * 1995-04-18 1998-04-21 Sun Microsystems, Inc. Decoder for a software-implemented end-to-end scalable video delivery system
US5619256A (en) * 1995-05-26 1997-04-08 Lucent Technologies Inc. Digital 3D/stereoscopic video compression technique utilizing disparity and motion compensated predictions
US5612735A (en) * 1995-05-26 1997-03-18 Luncent Technologies Inc. Digital 3D/stereoscopic video compression technique utilizing two disparity estimates
US5999189A (en) * 1995-08-04 1999-12-07 Microsoft Corporation Image compression to reduce pixel and texture memory requirements in a real-time image generator
US5673210A (en) * 1995-09-29 1997-09-30 Lucent Technologies Inc. Signal restoration using left-sided and right-sided autoregressive parameters
US5786855A (en) * 1995-10-26 1998-07-28 Lucent Technologies Inc. Method and apparatus for coding segmented regions in video sequences for content-based scalability
US6026183A (en) * 1995-10-27 2000-02-15 Texas Instruments Incorporated Content-based video compression
JPH09182083A (ja) * 1995-12-27 1997-07-11 Matsushita Electric Ind Co Ltd ビデオ画像符号化方法及び復号化方法とその装置
US5778097A (en) * 1996-03-07 1998-07-07 Intel Corporation Table-driven bi-directional motion estimation using scratch area and offset valves
EP0854652B1 (en) * 1996-08-07 2010-11-17 Panasonic Corporation Picture and sound decoding device, picture and sound encoding device, and information transmission system
JP3263807B2 (ja) * 1996-09-09 2002-03-11 ソニー株式会社 画像符号化装置および画像符号化方法
KR100235347B1 (ko) * 1996-09-19 1999-12-15 전주범 윤곽선 영상신호 부호화 방법 및 장치
US6341144B1 (en) * 1996-09-20 2002-01-22 At&T Corp. Video coder providing implicit coefficient prediction and scan adaptation for image coding and intra coding of video
JP2001502504A (ja) * 1996-10-11 2001-02-20 サーノフ コーポレイション 立体視ビデオを符号化及び複号する装置及び方法
US5952943A (en) * 1996-10-11 1999-09-14 Intel Corporation Encoding image data for decode rate control
US5978509A (en) * 1996-10-23 1999-11-02 Texas Instruments Incorporated Low power video decoder system with block-based motion compensation
US5886736A (en) * 1996-10-24 1999-03-23 General Instrument Corporation Synchronization of a stereoscopic video sequence
US6173013B1 (en) * 1996-11-08 2001-01-09 Sony Corporation Method and apparatus for encoding enhancement and base layer image signals using a predicted image signal
US6043846A (en) * 1996-11-15 2000-03-28 Matsushita Electric Industrial Co., Ltd. Prediction apparatus and method for improving coding efficiency in scalable video coding
US6148026A (en) * 1997-01-08 2000-11-14 At&T Corp. Mesh node coding to enable object based functionalities within a motion compensated transform video coder
US5960111A (en) * 1997-02-10 1999-09-28 At&T Corp Method and apparatus for segmenting images prior to coding
US6347116B1 (en) * 1997-02-14 2002-02-12 At&T Corp. Non-linear quantizer for video coding
EP0859326A3 (en) * 1997-02-14 1999-05-12 Canon Kabushiki Kaisha Data transmission apparatus, system and method, and image processing apparatus
US6005980A (en) * 1997-03-07 1999-12-21 General Instrument Corporation Motion estimation and compensation of video object planes for interlaced digital video
US6404813B1 (en) * 1997-03-27 2002-06-11 At&T Corp. Bidirectionally predicted pictures or video object planes for efficient and flexible video coding
US6453071B2 (en) * 1997-04-04 2002-09-17 Canon Kabushiki Kaisha Data communication apparatus, method and system and programs for data communication process stored in computer readable storage medium
US6057884A (en) * 1997-06-05 2000-05-02 General Instrument Corporation Temporal and spatial scaleable coding for video object planes
US6310857B1 (en) * 1997-06-16 2001-10-30 At&T Corp. Method and apparatus for smoothing and multiplexing video data flows
US6351563B1 (en) * 1997-07-09 2002-02-26 Hyundai Electronics Ind. Co., Ltd. Apparatus and method for coding/decoding scalable shape binary image using mode of lower and current layers
US6993201B1 (en) * 1997-07-08 2006-01-31 At&T Corp. Generalized scalability for video coder based on video objects
US6233356B1 (en) * 1997-07-08 2001-05-15 At&T Corp. Generalized scalability for video coder based on video objects
US6317131B2 (en) * 1997-07-15 2001-11-13 At&T Corp. Interaction modalities for multimedia delivery and presentation using nodes
JPH11122624A (ja) * 1997-10-16 1999-04-30 Matsushita Electric Ind Co Ltd ビデオデコーダ処理量を低減する方法および装置
US6067118A (en) * 1997-12-16 2000-05-23 Philips Electronics North America Corp. Method of frame-by-frame calculation of quantization matrices
US6731811B1 (en) * 1997-12-19 2004-05-04 Voicecraft, Inc. Scalable predictive coding method and apparatus
US6347157B2 (en) * 1998-07-24 2002-02-12 Picsurf, Inc. System and method for encoding a video sequence using spatial and temporal transforms
US6459731B1 (en) * 1998-08-28 2002-10-01 Lucent Technologies Inc. Technique for video communications using a coding-matched filter arrangement
US6412011B1 (en) * 1998-09-14 2002-06-25 At&T Corp. Method and apparatus to enhance a multicast information stream in a communication network
US6542549B1 (en) * 1998-10-13 2003-04-01 Matsushita Electric Industrial Co., Ltd. Method and model for regulating the computational and memory requirements of a compressed bitstream in a video decoder
US6693957B1 (en) * 1998-12-31 2004-02-17 Nortel Networks Limited Adaptive front end for discrete multitone modem
US6748113B1 (en) * 1999-08-25 2004-06-08 Matsushita Electric Insdustrial Co., Ltd. Noise detecting method, noise detector and image decoding apparatus
US6678416B1 (en) * 2000-02-08 2004-01-13 University Of Washington Detecting and segmenting local deformation in a tracked video object
US6750148B2 (en) * 2000-07-07 2004-06-15 Dainippon Printing Co., Ltd. Method of manufacturing wireless suspension blank
US6931063B2 (en) * 2001-03-26 2005-08-16 Sharp Laboratories Of America, Inc. Method and apparatus for controlling loop filtering or post filtering in block based motion compensationed video coding
JP2002366602A (ja) * 2001-04-06 2002-12-20 Seiko Epson Corp ソフトウエア及びハードウエアのシミュレーション方法及びシステム並びにプログラム
US6554369B2 (en) * 2001-07-12 2003-04-29 The Sollami Company Cutting tool with hardened insert
SE0103002D0 (sv) * 2001-09-10 2001-09-10 Trelleborg Ab Vibration damping material
US20030198294A1 (en) * 2002-04-23 2003-10-23 Andre Zaccarin Methods and apparatuses for selecting encoding options based on decoding energy requirements
US20030235250A1 (en) * 2002-06-24 2003-12-25 Ankur Varma Video deblocking
US7190135B2 (en) * 2002-06-26 2007-03-13 Delphi Technologies, Inc. Method of inverter linearization in electric machines through secondary modulation
US6728315B2 (en) * 2002-07-24 2004-04-27 Apple Computer, Inc. Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding with reduced requirements for division operations
US7227901B2 (en) * 2002-11-21 2007-06-05 Ub Video Inc. Low-complexity deblocking filter
WO2004064373A2 (en) * 2003-01-09 2004-07-29 The Regents Of The University Of California Video encoding methods and devices
US7193649B2 (en) * 2003-04-01 2007-03-20 Logitech Europe S.A. Image processing device supporting variable data technologies
DE602004017180D1 (de) * 2003-06-27 2008-11-27 Nxp Bv Codierungsverfahren für tragbare vorrichtungen
TW594881B (en) * 2003-07-01 2004-06-21 Au Optronics Corp Method of repairing thin film transistor circuit on display panel by local thin film deposition
US20050024651A1 (en) * 2003-07-29 2005-02-03 Zhenghua Yu Adaptive complexity scalable post-processing method
US7724827B2 (en) * 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
US7457362B2 (en) * 2003-10-24 2008-11-25 Texas Instruments Incorporated Loop deblock filtering of block coded video in a very long instruction word processor
US7881386B2 (en) * 2004-03-11 2011-02-01 Qualcomm Incorporated Methods and apparatus for performing fast mode decisions in video codecs
US20050201469A1 (en) * 2004-03-11 2005-09-15 John Sievers Method and apparatus for improving the average image refresh rate in a compressed video bitstream
US8315307B2 (en) * 2004-04-07 2012-11-20 Qualcomm Incorporated Method and apparatus for frame prediction in hybrid video compression to enable temporal scalability
US7460596B2 (en) * 2004-04-29 2008-12-02 Mediatek Incorporation Adaptive de-blocking filtering apparatus and method for MPEG video decoder
US20050243914A1 (en) * 2004-04-29 2005-11-03 Do-Kyoung Kwon Adaptive de-blocking filtering apparatus and method for mpeg video decoder
US7397854B2 (en) * 2004-04-29 2008-07-08 Mediatek Incorporation Adaptive de-blocking filtering apparatus and method for MPEG video decoder
US7400679B2 (en) * 2004-04-29 2008-07-15 Mediatek Incorporation Adaptive de-blocking filtering apparatus and method for MPEG video decoder
US7496141B2 (en) * 2004-04-29 2009-02-24 Mediatek Incorporation Adaptive de-blocking filtering apparatus and method for MPEG video decoder
US7539248B2 (en) * 2004-04-29 2009-05-26 Mediatek Incorporation Adaptive de-blocking filtering apparatus and method for MPEG video decoder
US7397853B2 (en) * 2004-04-29 2008-07-08 Mediatek Incorporation Adaptive de-blocking filtering apparatus and method for MPEG video decoder
US8316068B2 (en) * 2004-06-04 2012-11-20 Telefonaktiebolaget Lm Ericsson (Publ) Memory compression
US8116379B2 (en) * 2004-10-08 2012-02-14 Stmicroelectronics, Inc. Method and apparatus for parallel processing of in-loop deblocking filter for H.264 video compression standard
KR100678958B1 (ko) * 2005-07-29 2007-02-06 삼성전자주식회사 인트라 ｂｌ 모드를 고려한 디블록 필터링 방법, 및 상기방법을 이용하는 다 계층 비디오 인코더/디코더
CN101371584B (zh) * 2006-01-09 2011-12-14 汤姆森特许公司 提供用于多视图视频编码的降低分辨率的更新模式的方法和装置
JP4643454B2 (ja) * 2006-01-10 2011-03-02 株式会社東芝 動画像復号装置及び動画像復号方法
KR101232780B1 (ko) * 2006-01-12 2013-09-03 (주)휴맥스 통합 코덱 장치 및 방법
US8253752B2 (en) * 2006-07-20 2012-08-28 Qualcomm Incorporated Method and apparatus for encoder assisted pre-processing
JP2008042566A (ja) * 2006-08-07 2008-02-21 Toshiba Corp 情報処理装置および情報処理装置のデコード制御方法
CN101669360B (zh) * 2007-04-26 2016-08-03 宝利通公司 去块滤波器设备
US8743972B2 (en) * 2007-12-20 2014-06-03 Vixs Systems, Inc. Coding adaptive deblocking filter and method for use therewith
US20090304085A1 (en) * 2008-06-04 2009-12-10 Novafora, Inc. Adaptive Deblocking Complexity Control Apparatus and Method

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6226410B1 (en) * 1997-06-30 2001-05-01 Intel Corporation Method and apparatus for providing image and video coding with iterative post-processing using transmitted step size information
US20050163400A1 (en) * 2004-01-27 2005-07-28 Canon Kabushiki Kaisha Resolution conversion method and device
WO2006080261A2 (en) * 2005-01-27 2006-08-03 Matsushita Electric Industrial Co., Ltd. Portable image transmission/reception terminal having power consumption influences encoding/decoding modes
US20070237241A1 (en) * 2006-04-06 2007-10-11 Samsung Electronics Co., Ltd. Estimation of block artifact strength based on edge statistics
CN101123726A (zh) * 2006-08-07 2008-02-13 株式会社东芝 视频解码设备和方法
WO2008033830A2 (en) * 2006-09-11 2008-03-20 Apple Inc. Complexity-aware encoding

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HU YU ET ALL: "Decoder-Friendly Adaptive Deblocking Filter (DF-ADF) Mode Decision in H.264/AVC", 《CIRCUITS AND SYSTEMS, 2007. ISCAS 2007. IEEE INTERNATIONAL SYMPOSIUM ON》 *
TUNG-CHIEN CHEN ET ALL: "Hardware Architecture Design of an H.264/AVC Video Codec", 《DESIGN AUTOMATION, 2006. ASIA AND SOUTH PACIFIC CONFERENCE ON》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107172427A (zh) * 2011-09-09 2017-09-15 太阳专利托管公司 解码方法及解码装置
CN104303501A (zh) * 2012-04-03 2015-01-21 高通股份有限公司 用于视频译码的量化矩阵和解块滤波器
US9756327B2 (en) 2012-04-03 2017-09-05 Qualcomm Incorporated Quantization matrix and deblocking filter adjustments for video coding
CN104303501B (zh) * 2012-04-03 2017-12-05 高通股份有限公司 用于视频译码的量化矩阵和解块滤波器
CN107580226A (zh) * 2013-10-11 2018-01-12 联发科技股份有限公司 画面内预测方法以及画面内预测装置
CN110971903A (zh) * 2019-10-17 2020-04-07 西安万像电子科技有限公司 编码方法、设备及系统

Also Published As

Publication number Publication date
KR101238974B1 (ko) 2013-03-04
WO2009149151A3 (en) 2010-04-22
KR101298389B1 (ko) 2013-08-20
KR20110003575A (ko) 2011-01-12
CN102057676B (zh) 2013-07-24
WO2009149151A2 (en) 2009-12-10
JP5174958B2 (ja) 2013-04-03
EP2294823A2 (en) 2011-03-16
US20090304086A1 (en) 2009-12-10
JP2011523300A (ja) 2011-08-04
KR20120118503A (ko) 2012-10-26
HK1157100A1 (en) 2012-06-22
BRPI0913375A2 (pt) 2015-11-24

Similar Documents

Publication Publication Date Title
CN102057676B (zh) 用于视频编码器和解码器联合优化的方法和系统
US11895296B2 (en) Methods and apparatus for collaborative partition coding for region based filters
CN101040532B (zh) 去块滤波器
EP2664149B1 (en) Deblocking filtering
EP2141927A1 (en) Filters for video coding
CN103370936A (zh) 用于改进环内滤波的方法与装置
KR20140093247A (ko) 영상의 재구성된 샘플 세트에 대한 보상 오프셋들의 인코딩/디코딩을 최적화하는 방법 및 장치
CN102804780A (zh) 图像编码装置、图像解码装置、图像编码方法以及图像解码方法
CN101742323B (zh) 无再损视频编码和解码的方法和装置
CN101540900A (zh) 降低视频流中的区块效应的方法
US7613351B2 (en) Video decoder with deblocker within decoding loop
KR102166313B1 (ko) 적응적 밴드 오프셋 구간을 이용한 인-루프 필터링 방법 및 장치, 그리고 적응적 밴드 오프셋 구간을 이용한 부호화 및 복호화 장치
KR100885441B1 (ko) 블록 경계 영역 필터링 방법
CN113243107A (zh) 图像编码设备、图像编码方法、图像解码设备和图像解码方法
KR100917207B1 (ko) 블록 경계 영역 필터링 방법
JP6396782B2 (ja) デブロッキング処理方法、デブロッキング処理装置、コンピュータプログラム及び記録媒体
JP2011082801A (ja) 画像処理装置および画像処理方法
CN118525512A (zh) 用于图像编码和解码的滤波
KR100917208B1 (ko) 블록 경계 영역 필터링 방법
KR100839304B1 (ko) 동영상 디코딩 방법
KR100598367B1 (ko) 블록 경계 영역 필터링 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1157100

Country of ref document: HK

C14 Grant of patent or utility model
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1157100

Country of ref document: HK

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130724

Termination date: 20150603

EXPY Termination of patent right or utility model