CN1492686A - 用于视频解块的方法和设备 - Google Patents

用于视频解块的方法和设备 Download PDF

Info

Publication number
CN1492686A
CN1492686A CNA031586627A CN03158662A CN1492686A CN 1492686 A CN1492686 A CN 1492686A CN A031586627 A CNA031586627 A CN A031586627A CN 03158662 A CN03158662 A CN 03158662A CN 1492686 A CN1492686 A CN 1492686A
Authority
CN
China
Prior art keywords
pixel
image
frame
pixel value
relevant
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA031586627A
Other languages
English (en)
Other versions
CN100380974C (zh
Inventor
C・金
C·金
J·舒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Publication of CN1492686A publication Critical patent/CN1492686A/zh
Application granted granted Critical
Publication of CN100380974C publication Critical patent/CN100380974C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提供了一种用于减少已解压缩图像的图像块之间的块人工产物的方法。该方法从选择一个与最接近图像块之间边界的象素对应于的象素位置集合开始。然后，确定在显示已解压缩图像时要插入的附加帧的数量。接下来，对于每个附加帧，修正与最接近该边界的象素集合的每个象素相关的象素值。然后，以交替模式显示原始帧和附加帧，这样在图像块之间在视觉上减少了块人工产物。还提供了能够减少块人工产物的计算机可读媒体、集成电路以及装置。

Description

用于视频解块的方法和设备
技术领域
本发明总的涉及数字视频技术，并且更具体地涉及用于平滑相邻图像块之间由低比特率视频编码而产生的人工不连续性(artificialdiscontinuity)而不会引入不期望的模糊的算法。
背景技术
当今的低比特率视频编码标准(诸如MPEG-4、ITU-T H.263等)包含的算法使诸如视频会议和视频电话的多种应用成为可能。这些标准和使用了它们的系统利用时间冗余以及空间冗余来压缩视频数据。尽管在许多方式中这些标准都十分有效，但是它们生成的已解压缩图像有时会出现图像块之间的人工不连续性，也被称为块人工产物(blockingartifact)。这些块人工产物基本是由压缩处理的量化步骤期间的量化引起的。
图1是一个简化的原理图，它用插图表示了与图像数据相关的块人工产物。此处数据帧fn包括边界102，它位于图像数据帧的块1和块2之间。块1包括象素a和象素b，而块2包括象素c和象素d。线100表示象素c和d相对于象素a和b的象素值。例如，线100可以表示象素c和d对应于数值1，而象素a和b对应于数值0。因此，已解码的视频在块1和2之间的边界102处将会有块效应(Blocky effect)。图2是原始亮度和由于块效应而引起的原始亮度与失真相比较的图解表示。原始亮度显示出在穿过边界102时渐进并平滑的增加，而不是陡峭的变化。然而由于量化导致的高频系数的截断，会在已解压缩图像中观察到块效应。
在基于块的编码中，原始图像的单色调区中象素亮度逐渐变化，在穿过块边界时最显著地受到陡峭变化的影响，引起了块人工产物。按照离散余弦转换(DCT)，当DCT系数的量化步长大于可见度门限时，由于量化消除了AC系数而引起灰度值的不连续性。这些不连续性在视频图像帧的块之间的边界处变得清晰可见。
在静止图像编码以及视频编码领域中已经提出了各种解块方案，其中大多数的解块方案在空间域使用了低通滤波器。一个著名的减少块人工产物的方法就是基于替换的凸集投影技术(projection onto convexset)(POCS)的理论，假设块人工产物总是位于块边界。然而，由于迭代结构和长的收敛时间，故这种方法仅适用于静态图象。
在视频编码中，为了维持特定的比特率，需要对已转换的系数进行适当的量化。作为量化结果，在重建的图像中会产生块效应。这种人工产物可以是清楚可见的，因此严重降低了图像质量。一种改善该图象质量的尝试是对已解码的视频数据实施后处理步骤，诸如在空间域采用的低通滤波。然而，当前的后处理步骤的缺点在于它们的计算复杂性，它需要接收器中所需的总计算功率的大约30％-40％。应当清楚：对于移动终端，即电池驱动的消费电子产品，诸如包括薄膜晶体管(TFT)技术、超扭曲向列(STN)以及移动数字薄膜二极管(mobile digital-thin filmdiode：MD-TFD)的终端来说，它们的功率消耗过高因而不能接受。当前使用的低通滤波器的另一缺点是，滤波操作的时间累积将会在图像显示中引起显著的延时。由于控制这些设备的嵌入式系统的资源有限，故这种时延对于便携式电子计算系统特别显著。
因此，需要解决现有技术的这些问题，并且提供一种方法和设备，使得实时应用的后处理算法能够从功率和时间的角度更加有效地减少块人工产物。
发明内容
总的来说，本发明通过根据本地特性进行自适应非线性滤波来提供用于减少块人工产物的方法和系统，满足了这些需要。应当清楚本发明可以用多种方式实现，包括如方法、系统或者装置。下面描述了本发明的几种创造性实施例。
在一个实施例中，提供了一种用于平滑与数字数据相关的图像块之间的人工不连续性的方法。该方法从重建与数字数据相关的图像块的基于块的象素重现开始。然后，它确定该基于块的象素表示的相邻图像块之间的差值是否小于或者等于量化参数。如果基于块的象素表示的相邻图像块之间的差值小于或者等于量化参数，那么该方法包括修正边界象素值以定义至少一个附加帧，并且然后以交替的方式显示该至少一个附加帧以及原始帧，这样获得平滑的块边界，它在视觉上具有和空间平均相同的效果。
在另一个实施例中，提供了一种用于减少已解压缩图像的图像块之间的块人工产物的方法。该方法从选择与最接近图像块之间的边界的象素相对应于的象素位置集合开始。然后，确定在显示已解压缩图像时，要插入的附加帧的数量。接下来，对每个附加帧修正与最接近该边界的象素集的每个象素相关的象素值。然后，以交替的模式显示原始帧和附加帧，这样减少图像块之间的块人工产物。
在又一个实施例中，提供了一种用于滤除视频图像帧的相邻块之间的边界上的不连续性的帧速率调制方法，该方法从识别位于视频图像的第一帧的相邻块之间边界的每侧上的相邻象素开始。每个相邻象素与象素值相联系。然后，确定相邻块之间的差值。如果第一帧的相邻图像块之间的差值小于或者等于量化参数，那么该方法包括定义具有对于每个相邻象素互换了象素值的第二帧，然后，通过交替显示与每个相邻象素相关的象素值来平均与每个相邻象素相关的象素值，以便显示具有平滑的块边界的图像。
在再一个实施例中，提供了一个计算机可读媒体，它具有用于减少已解压缩图像的图像块之间的块人工产物的程序指令。该计算机可读媒体包括用于选择与最接近图像块之间边界的象素相对应于的象素位置的集合的程序指令。提供了用于确定在显示该已解压缩图像时，要插入的附加帧数量的程序指令。包括用于对每个附加帧修正与最接近该边界的象素集的每个象素相关的象素值的程序指令。用于以交替的模式显示原始帧和附加帧以便减少图像块之间的块人工产物的程序指令。
在又一个实施例中，提供了一种具有用于减少已解压缩图像的图像块之间的块人工产物的逻辑的集成电路芯片。该集成电路芯片包括用于选择与最接近该图像块之间的边界的象素相对应于的象素位置的集合的逻辑，以及用于确定在显示该已解压缩图像时要插入的附加帧数目的逻辑。还包括用于对每个附加帧修正与最接近边界的每个象素相关的象素值的逻辑。还包括用于以交替的模式显示原始帧和附加帧以使得图像块之间的块人工产物减少的逻辑。
在又一个实施例中，提供了一种用于显示数字视频图像的装置。该装置包括中央处理器(CPU)和用于存储图像数据帧的存储器。该装置还包括图像解块电路。该图像解块电路包括用于修正与最接近图像数据帧的块边界的每个象素相关的象素值从而定义图像数据的附加帧的电路。还包括用于以交替的模式显示图像数据帧和图像数据的附加帧的电路以使得在图像块之间的块人工产物减少的逻辑。
结合用于示例本发明原理的附图，从以下的详细描述中将更加清楚本发明的其它方面和优点。
附图说明
结合附图，根据以下详细描述将更容易理解本发明，在图中相同的结构元件使用相同的参考数字标记。
图1是用插图表示与图像数据有关的块人工产物的一维例图。
图2是和已解压缩图像的表示相比较的原始亮度的图形表示。
图3是表示依照本发明的一个实施例，能够平滑视频图像的相邻块之间的块不连续性的交替模式的简化原理图。
图4是在块边界处对于块人工产物的平滑效应的图形表示。
图5是图3的实施例的另一个一维图形表示。
图6是依照本发明中的一个实施例，用于通过使用帧速率调制来最小化块人工产物的方案的一维图形表示，该调制方式具有5抽头低通滤波器的效果。
图7是依照本发明的一个实施例，使用帧速率调制来解块的一般化的一维图形表示。
图8是依照本发明的一个实施例，用于减少已解压缩图像的图像块之间的块人工产物的方法操作的流程图。
图9是依照本发明的一个实施例，具有图像解块电路的装置的简化原理图。
具体实施方式
本发明描述的是用于平滑图像数据帧的块边界处的不连续性的设备和方法。然而，很明显对于一个精通本领域的人来说，不需要这些具体细节的部分或者全部也能够实践本发明。在其它的实例中，为了不会混淆本发明，没有详细描述那些众所周知的处理操作。图1和图2已在“背景技术”部分中做了介绍。
本发明的实施例提供了一种用于平滑图像块之间的人工不连续性(块人工产物)的算法，而不会引入不期望的模糊。如下面将进一步解释的，本发明可以在设备、方法或者程序指令中实施。本发明是参照低比特率视频编码应用来说明的，然而，应该清楚该实施例可以被应用于任何合适的视频编码应用中。
在一个实施例中，帧速率调制被用于平滑图像块之间的块人工产物。如通常所知的，帧速率是指屏幕(诸如平板显示器)的刷新频率。典型地，便携式装置最常用的平板显示器是超扭曲向列(STN)液晶显示(LCD)板，它的响应时间的数量级是数百毫秒。由于此类慢速平板的响应时间大于帧速率周期，即这些平板的刷新速率周期典型值是大约16毫秒(ms)。因此，此处所说明的帧速率调制利用了STN LCD板的这种差别来增加本发明实施例中被显示的灰度梯度(gray shade)数目。在另一个实施例中，为了显示灰度梯度等于0.5的象素，每隔一帧对象素进行激励，即以交替方式把各个像素接通一次就需要2帧。换而言之，象素每隔一帧被显示一次，使得灰度梯度的外观等于当象素在恒通状态时象素亮度的50％。
图3是表示依照本发明的一个实施例，能够平滑视频图像的相邻块之间的块不连续性的交替模式的简化原理图。一维表示110表示在边界112处对相邻象素值平均的结果。因而，一维表示118是原始帧fn，其中块边界112对应于如直线116a所示的象素值的变化。根据原始帧118，如原理图120中所示定义了附加帧fn 2。除了帧fn118在象素位置B和象素位置C处的象素值已经在帧fn 2120中进行了交换以外，帧fn 2120与原始帧fn118相似。这样，帧fn和帧fn 2以交替的方式显示时，观察者的视觉感知和在原理图110中的帧fn’的感知相同。即观察者将认为在象素位置B和象素位置C处的象素值比象素位置D处的象素值小大约50％，如原理图110的直线114在帧fn’中所示。因而，在边界112处的块不连续性被平滑，以使由于象素值变化而引起块边界处的陡峭跳变时的块效应最小化。
在另一个实施例中，边界112处的象素值可以通过交替显示原理图122和124中所示的帧进行平滑处理。在原理图122中，原始帧使用象素位置B的象素值代替象素位置C的值。在原理图124定义的第二帧，其中象素位置C处的象素值已经取代了象素位置B。应当明白，通过以交替模式显示原理图122和124所示的帧，观察者将会类似地看到原理图110中所示的帧fn’，其中在象素B和象素C的边界112处的象素值将是象素D象素值的大约50％。对于熟悉本领域的人员来说显然可以通过改变帧的数目以便在此获得任意灰度梯度。在一个实施例中，只要抖动矩阵(dither matrix)足够大，则灰度梯度的数目等于抖动矩阵的阶数。
图4是在块边界处对于块人工产物的平滑效应的图形表示。原理图130表示具有象素134-1到134-3的第一块的象素值，与之比较的是具有象素134-4到134-6的第二块的象素。在一个实施例中，已译码的象素134-1到134-6可以进行平均，即进行平滑处理以使得块人工产物被最小化，如将参考图6和7进一步详细解释的。因而，在块边界112处的陡峭变化被转换成渐进的变化以减少块人工产物。在一个实施例中如果差值(D)小于量化参数(QP)，则已译码的象素只按照此处的实施例中所介绍的方式进行滤波。如果差值(D)大于或者等于QP，则块边界112处的陡峭变化被认为是实际的边缘，因而不执行使用帧速率调制的滤波。熟悉本领域的人员会明白量化参数在编码阶段中设定。
图5是图3中的一个实施例的另一种一维图形表示。此处，上述的帧速率调制被用于平滑在原始帧fn140的象素D和E的位置之间发生的不连续性，即块人工产物。通过交替显示帧fn 1144和fn 2146获得帧fn’142中所示的平滑块边界。应当明白fn 1具有互换了象素D和E的边界象素值，而fn 2146就是原始的块信号fn140。由于通过交替显示fn 1144和fn 2146所获得的时间平均，结果图象fn’142在视觉上和对象素位置D和E处的象素值进行平均的低通滤波图像相同。因而，此处所述的帧速率调制取消了及时而又繁重的空间域低通滤波，而同时又在视觉上获得了相同的结果。
图6是依照本发明中的一个实施例，用于通过使用具有5抽头低通滤波器效果的帧速率调制来最小化块人工产物的方案的一维图形表示。此处，如帧fn’152所示对于在边界112处具有块人工产物的块信号fn150进行平滑处理。在本实施例中，原始帧fn 1154与4个附加帧交替显示。四个附加帧fn 2156、fn 3158、fn 4160和fn 5162修正了块边界112周围的象素值，以便在这些帧以交替模式显示时提供被观察者认为是平滑的边界。熟悉本领域的人将会明白可以对该帧进行任意数目的适当修正，以便获得期望的平滑块边界的视觉效果。即，尽管图6表示了发生在象素位置B和象素位置G之间的变化是按照20％增加的，任何适当百分比的增加都可以通过改变所示的附加帧的数目和配置而获得。此外，尽管在图6中选择了4个象素位置(C-F)来进行平滑处理，但是可以选择任意适当数目的象素位置来进行平滑。当然，应该通过测量块边界处的象素值的差值并把该差值和量化参数相比较来防止对真正的边缘进行平滑。如果差值大于量化参数，那么如参考图4所讨论的将不执行此处所述的滤波。
图7是依照本发明的一个实施例，使用帧速率调制来解块的一般化的一维图形表示。帧(Fr)170表示原始的块信号。块1包括象素位置a、b、c以及d。块2包括象素位置e、f、g和h。应当明白使用象素位置处的大写字母来表示象素值。例如，象素位置a具有象素值A，象素位置b具有象素值B，依此类推。等式184表示了在本发明的一个实施例中n抽头滤波器的一般化公式。参数N表示等式184的大括号内值的数目。在一个实施例中用户可以选择要进行模糊(即平滑)处理的象素位置。为了示例，参考图7选择了象素位置c、d、e和f来进行平滑处理，然而也可以选择比这更多或者更少的象素位置。另外，为了示例，根据5抽头滤波器讨论使用帧速率调制来解块的一般情况。因此，每个被选的象素使用n＝5个象素来平均，而要插入的帧的数目被计算为N-1，在这里等于4。即除了原始帧以外还要插入4个附加帧。这4个附加帧是帧1172、帧2 174、帧4 178以及帧5 180。原始帧被表示为帧3 176。
仍然参考图7，帧1-5(172-180)的每个都具有与表示象素位置相关的象素值。与被选择进行平滑处理的象素位置相关的象素值被修正。因而，与象素位置c相关的象素值现在是A、B、C、D和E。因此，象素位置c与由5个不同象素值的平均组成的值相关。相似地，与象素位置d相关的象素值是B、C、D、E以及F。可见，象素位置E和F也具有已经修正了的象素值。当然，可以使用任何类型的平均，例如加权平均可以在特殊的象素值上放置更多的权重。应当清楚的是，通过以交替的方式显示帧1-5(172-180)，边界112处的陡峭变化在视觉上被观察者感知为渐进的变化。在图7的图形182一维地显示了这种视觉上的平滑边界。因此，当N等于5时，对于象素位置c已低通滤波的值等于(A+B+C+D+E)/5。熟悉本领域的人将会明白这等价于在时域交替显示A、B、C、D以及E。同理也可以适用于象素位置d、e、f的已滤波的值。换而言之，如果和块1相关的象素值被视为0而与块2相关的象素值被视为1，那么与图形182的象素位置a和b的每一个相关的象素值是0。而与象素位置c相关的象素值是1除以5，等于0.2，即与块2的象素相关的象素值的20％，而与象素d相关的象素值是2除以5，等于40％。相似地，与象素位置e相关的象素值是60％，与象素位置f相关的象素值是80％。因而，在块边界112处觉察到的是一个比较平滑的变化，而不是从0到100％的陡峭变化。大体上以20％的变化步长从0增加到1。
图8是依照本发明的一个实施例，用于减少已解压缩图像的图像块之间的块人工产物的方法操作的流程图。该方法从选择象素位置集合的操作190开始。这些象素位置对应于最接近相邻图像块之间的边界的象素。这里，象素位置可以是在块边界任一侧的两个相邻象素位置，如参考图5所示。可替换地，象素位置可以是在块边界两侧的多个象素，如参考图6和7所讨论的例子。然后，该方法前进到操作192，确定要插入到显示图形中的附加帧的数目。在一个实施例中，当所有的滤波器系数都被相同的加权时，在显示面板中要插入的附加帧的数量等于滤波器系数的数目减1，即比滤波器的抽头数小1。
图8的方法然后前进到操作194，在该步骤对每个附加帧修正那些与最接近边界的每个象素相关的象素值。在一个实施例中，通过上述的帧速率调制对象素值进行操作。例如可以修正象素值，以便在最接近块边界的区域中提供渐变阶梯图形，如参考图6和7所描述的。在另一个实施例中，两个象素(其中每个象素处在块边界的相对侧)位置的象素值可以被互换，如参考图5所述。在又一实施例中，在已经确定来自第一块的译码象素的值和来自第二块的译码象素的值之间的差小于量化参数后，象素值被修正。该方法然后前进到操作196，以交替的模式显示原始帧和附加帧。因而，如参考图5所讨论的在附加帧被插入的地方，以交替的方式显示每个帧，通过为块边界处的象素值中的差提供更渐进的变化来减少块人工产物。即，在本实施例中，每隔一帧就激励边界象素，以便提供象素值50％的感知效果。应当明白此处所述的实施例可以适用于整个块边界。例如，当一个块与各侧的四个其它块接连时，此处所述的象素平均或象素互换可以适用于每一侧(即每个块边界)被选择的象素。
图9是依照本发明的一个实施例，具有图像解块电路的装置的简化原理图。装置200包括CPU202，它通过总线208和存储器204以及图像解块电路206通信。装置200在监视器210上显示图像。当然，监视器210可以是装置200中集成的部分也可以是独立的单元。当装置200是诸如蜂窝电话、网络手写板(web tablet)、个人数字助理等等的移动终端时，配置图像解块电路206，以便在最小化消耗功率的同时减少在监视器210上显示的图像的块效应。在一个实施例中，如以上参考图3-8所讨论的，解块电路206平滑了图像数据帧的图像块之间的边界。例如，解块电路206可以被配置通过交替显示图像数据的原始帧和图像数据的附加帧来平均最接近图像块之间边界的象素值，其中图像数据的附加帧已经改变了最接近图像块之间边界的象素值。即，以上讨论得帧速率调制通过解块电路206被执行，以便最小化被显示图像的块人工产物。熟悉本领域的人员将会明白，可以配置装置200以便使它连接在一个诸如硬盘、与网络连接的存储器等的存储装置上。可替换地，可配置装置200以便从诸如因特网的分布网络中下载图像数据。在另一个实施例中，该图像解块电路被放置在诸如主机总线适配卡的印刷电路板上。
上述本发明提供了一种用于最小化由于越过块边界的象素值变化而引起的块效应的方法和系统。在一个实施例中，位于块边界对立侧的象素的象素值被互换以便定义附加帧。该附加帧和原始帧一起交替显示以便平滑块人工产物。原始帧和附加帧的交替显示在此也被称为帧速率调制。帧速率调制提供一种减少了块人工产物的显示方式。在另一个实施例中，在块边界的每侧的一些象素位置被互换，以便定义一个或多个附加帧。在此，一个或多个附加帧和原始帧仍然被交替显示以便最小化任何块效应。然而，在块边界处被定义为真正的边缘的地方，不执行平滑算法。
在一个实施例中，真正的边缘根据来自第一块的已解码象素的值和来自第二块的解码象素的值之间的差值来确定，其中该差值和在编码阶段设定的量化参数比较。更具体地，在象素值的差值大于量化参数的地方，在块边界处出现真正的边缘，因此，在这种情形下不执行平滑算法。可以明白此处所述的实施例减少了图像块之间的块人工产物，而不会模糊真正的边缘也不会使用在空间域十分繁琐的低通滤波。因而对于使用嵌入式系统的移动媒体终端和装置来说，在此计算功率比译码信号的质量有更高的优先级，以上讨论的实施例为之提供了一个可接收的图像质量，它在节约功率的同时减少了块人工产物。
在考虑以上实施例的同时，应当明白本发明可以采用各种计算机实施的操作，也包括存储在计算机系统中的数据在内。这些操作包括需要物理数量的物理处理的操作。通常，尽管并非必要地，这些数量采取电或者磁信号的形式，能够被存储、转移、组合、比较以及其它的处理。而且，所执行的这些处理通常使用诸如生成、识别、确定或者比较等的术语来称呼。
本发明也可以在计算机可读媒体上作为计算机可读代码实现。该计算机可读的媒体是任何能够存储数据的数据存储装置，这些数据此后可以被计算机系统读出。一些计算机可读媒体的例子包括硬盘驱动器、与网络连接的存储器(NAS)、只读存储器、随机存取存储器、CD-ROM、CD-R、CD-RW、磁带以及其它的光学和非光学数据存储装置。该计算机可读媒体能够通过连接到计算机系统上的网络被分发，这样以分布的形式存储和执行该计算机可读代码。
尽管为了便于理解得清楚，已经详细描述了以上的发明，但是很明显可以在附加的权利要求范围内进行某些改动和修正。因此本实施例仅应当被认为是示例性的而非限制性的，并且本发明不受此处给出的细节的限制，而是可以在附属的权利要求的范围和等同要求中进行修正。

Claims (27)

1.一种用于平滑和数字数据相关的图像块之间的人工不连续性的方法，包括：
重建和数字数据相关的图像块的基于块的象素表示；
如果基于块的象素表示的相邻图像块之间的差值小于或等于量化参数，则该方法包括：
修正边界象素值以便规定至少一个附加帧；以及
以交替的方式显示该至少一个附加帧和原始帧，以便在相邻图像块之间在视觉上获得平滑的块边界。
2.权利要求1的方法，其中位于相邻图像之间的边界对立两侧上的相邻象素位置之间的边界象素值被互换。
3.权利要求1的方法，其中量化参数在对数字数据编码的阶段被设定。
4.一种用于减少已解压缩图像的图像块之间的块人工产物的方法，包括：
选择一个与最接近图像块之间边界的象素相对应于的象素位置集合；
确定在显示该已解压缩图像时要插入的附加帧的数目；
对于每个附加帧，修正与最接近该边界的象素集合的每个象素相关的象素值；以及
以交替的模式显示原始帧和附加帧，以便减少图像块之间的块人工产物。
5.权利要求4的方法，其中附加帧的数目至少是两个附加帧。
6.权利要求4的方法，其中附加帧的数目是一个附加帧。
7.权利要求6的方法，其中对于每个附加帧，修正与最接近边界的象素集合的每个象素相关的象素值的方法操作包括
每隔一帧激励象素集合中的每个象素。
8.权利要求4的方法，还包括：
首先计算在边界处象素值之间的差值；以及
如果计算的差值大于或者等于量化参数，则结束该方法。
9.权利要求4的方法，其中对于每个附加帧，修正与最接近该边界的象素集合的每个象素相关的象素值的方法操作包括：
使用与接近该边界的象素相关的适量的象素值来平均与每个象素相关的象素值。
10.权利要求9的方法，其中象素值的总量等于滤波器系数的数目。
11.权利要求10的方法，其中滤波器系数的数目等于滤波器抽头的个数。
12.权利要求10的方法，平均与每个象素相关的象素值的该方法操作采用加权平均。
13.一种用于滤除在视频图像帧的相邻块之间边界处的不连续性的帧速率调制方法，包括：
a)识别位于视频图像的第一帧的相邻块之间边界每一侧上的相邻象素，每个相邻象素与一个象素值相关；
b)根据相邻象素的象素值确定相邻块之间的差值；
c)如果第一帧的相邻图像块之间的差值小于量化参数，则该方法包括：
定义具有对于每个相邻象素互换了象素值的第二帧；以及
通过交替显示与每个相邻象素相关的象素值来平均与每个相邻象素相关的象素值，以便显示具有平滑块边界的图像。
14.权利要求13的方法，还包括
对于视频图像帧的块的每个边界象素执行操作a、b和c。
15.权利要求13的方法，其中通过交替显示与每个相邻象素相关的象素值来平均与每个相邻象素相关的象素值以便显示具有平滑块边界的图像的该方法操作包括
每隔一帧对于每个相邻象素激励该象素值。
16.具有用于减少已解压缩图像的图像块之间的块人工产物的程序指令的计算机可读媒体，包括：
用于选择与最接近图像块之间边界的象素相对应于的象素位置集合的程序指令；
用于确定在显示已解压缩图像时要插入的附加帧数量的程序指令；
用于对每个附加帧修正与最接近边界的象素集合的每个象素相关的象素值的程序指令；以及
用于以交替模式显示原始帧和附加帧以使得图像块之间的块人工产物最小化的程序指令。
17.权利要求16的计算机可读媒体，其中附加帧的数量是一个附加帧。
18.权利要求17的计算机可读媒体，其中用于对每个附加帧修正与最接近该边界的象素集合的每个象素相关的象素值的程序指令包括
用于每隔一帧激励象素集合的每个象素的程序指令。
19.权利要求16的计算机可读媒体，其中对于每个附加帧修正与最接近该边界的象素集合的每个象素相关的象素值的程序指令包括
用于使用与最接近该边界的象素相关的适量的象素值来平均与每个象素相关的象素值的程序指令。
20.权利要求19的计算机可读媒体，其中象素值的数量等于滤波器系数的数目。
21.一种集成电路芯片，具有用于减少解压缩图象的图像块之间的块人工产物的逻辑，包括：
用于选择与最接近图像块之间边界的象素相对应于的象素位置集合的逻辑；
用于确定在显示该已解压缩图像时要插入的附加帧数量的逻辑；
用于对每个附加帧修正与最接近该边界的每个象素相关的象素值的逻辑；以及
用于以交替模式显示原始帧和附加帧以使得图像块之间的块人工产物减少的逻辑。
22.权利要求21的集成电路芯片，其中该集成电路芯片位于印刷电路板上。
23.权利要求21的集成电路芯片，其中用于对每个附加帧修正与最接近该边界的每个象素相关的象素值的逻辑包括：
使用与最接近该边界的象素相关的适量的象素值来平均与每个象素相关的象素值的逻辑。
24.一种用于显示数字视频图像的装置，包括：
中央处理单元；
用于存储图像数据帧的存储器；
图像解块电路，该图像解块电路包括：
用于修正与最接近图像数据帧的块边界的每个象素相关的象素值，由此规定图像数据的附加帧的电路；以及
用于以交替模式显示图像数据帧和图像数据的附加帧的电路，从而通过对每个附加帧的、与最接近该边界的每个象素相关的、被修正的象素值来减少图像块之间的块人工产物。
25.权利要求24的装置，还包括用于显示图像数据帧的监视器。
26.权利要求24的装置，其中图像解块电路包括：
用于识别量化参数的电路；
用于确定图像数据块的边界处的象素值中差值的数量的电路；以及
用于确定量化参数和象素值中差值的数量之间的差值的电路。
27.权利要求24的装置，其中该装置能够由电池供电。
CNB031586627A 2002-09-20 2003-09-19 用于视频解块的方法和设备 Expired - Fee Related CN100380974C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/247942 2002-09-20
US10/247,942 US7031392B2 (en) 2002-09-20 2002-09-20 Method and apparatus for video deblocking

Publications (2)

Publication Number Publication Date
CN1492686A true CN1492686A (zh) 2004-04-28
CN100380974C CN100380974C (zh) 2008-04-09

Family

ID=31946450

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB031586627A Expired - Fee Related CN100380974C (zh) 2002-09-20 2003-09-19 用于视频解块的方法和设备

Country Status (5)

Country Link
US (2) US7031392B2 (zh)
EP (1) EP1401212A3 (zh)
JP (1) JP2004120748A (zh)
KR (1) KR100569162B1 (zh)
CN (1) CN100380974C (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101322395B (zh) * 2005-11-30 2010-08-04 安泰科技有限公司 成像装置和用于成像装置的图像处理器芯片
WO2022116054A1 (zh) * 2020-12-02 2022-06-09 Oppo广东移动通信有限公司 图像处理方法、系统、视频编码器及视频解码器

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7543326B2 (en) * 2002-06-10 2009-06-02 Microsoft Corporation Dynamic rate control
US20030235250A1 (en) * 2002-06-24 2003-12-25 Ankur Varma Video deblocking
FR2841423A1 (fr) * 2002-06-25 2003-12-26 Koninkl Philips Electronics Nv Procede de detection d'artefacts de bloc
US7496141B2 (en) * 2004-04-29 2009-02-24 Mediatek Incorporation Adaptive de-blocking filtering apparatus and method for MPEG video decoder
US7539248B2 (en) * 2004-04-29 2009-05-26 Mediatek Incorporation Adaptive de-blocking filtering apparatus and method for MPEG video decoder
US7460596B2 (en) * 2004-04-29 2008-12-02 Mediatek Incorporation Adaptive de-blocking filtering apparatus and method for MPEG video decoder
US20050243914A1 (en) * 2004-04-29 2005-11-03 Do-Kyoung Kwon Adaptive de-blocking filtering apparatus and method for mpeg video decoder
WO2005107265A1 (en) * 2004-04-30 2005-11-10 Koninklijke Philips Electronics N.V. Method and device for post-processing image data
US20060013315A1 (en) * 2004-07-19 2006-01-19 Samsung Electronics Co., Ltd. Filtering method, apparatus, and medium used in audio-video codec
US7961357B2 (en) * 2004-12-08 2011-06-14 Electronics And Telecommunications Research Institute Block artifact phenomenon eliminating device and eliminating method thereof
US8023559B2 (en) * 2005-10-06 2011-09-20 Vudu, Inc. Minimizing blocking artifacts in videos
JP4621574B2 (ja) * 2005-10-06 2011-01-26 株式会社東芝 画像符号化装置および画像符号化方法
US20090016442A1 (en) * 2005-10-06 2009-01-15 Vvond, Inc. Deblocking digital images
WO2008084996A1 (en) * 2007-01-11 2008-07-17 Samsung Electronics Co, . Ltd. Method and apparatus for deblocking-filtering video data
GB2451437B (en) * 2007-07-27 2012-11-14 Hewlett Packard Development Co Content encoder and decoder and methods of encoding and decoding content
DE102007037857A1 (de) * 2007-08-10 2009-02-12 Micronas Gmbh Verfahren zur Reduktion von Bildartefakten
US8913670B2 (en) * 2007-08-21 2014-12-16 Blackberry Limited System and method for providing dynamic deblocking filtering on a mobile device
US8369638B2 (en) 2008-05-27 2013-02-05 Microsoft Corporation Reducing DC leakage in HD photo transform
US8447591B2 (en) * 2008-05-30 2013-05-21 Microsoft Corporation Factorization of overlapping tranforms into two block transforms
US8275209B2 (en) * 2008-10-10 2012-09-25 Microsoft Corporation Reduced DC gain mismatch and DC leakage in overlap transform processing
CA2684678A1 (en) * 2009-11-03 2011-05-03 Research In Motion Limited System and method for dynamic post-processing on a mobile device
JP6191160B2 (ja) * 2012-07-12 2017-09-06 ノーリツプレシジョン株式会社 画像処理プログラムおよび画像処理装置
US9357232B2 (en) 2014-10-28 2016-05-31 Sony Corporation Image processing system with binary decomposition and method of operation thereof
US10356410B2 (en) 2014-10-28 2019-07-16 Sony Corporation Image processing system with joint encoding and method of operation thereof
US10063889B2 (en) 2014-10-28 2018-08-28 Sony Corporation Image processing system with conditional coding and method of operation thereof
US9294782B1 (en) 2014-10-28 2016-03-22 Sony Corporation Image processing system with artifact reduction mechanism and method of operation thereof
US9674554B2 (en) 2014-10-28 2017-06-06 Sony Corporation Image processing system with coding mode and method of operation thereof
US9591330B2 (en) 2014-10-28 2017-03-07 Sony Corporation Image processing system with binary adaptive Golomb coding and method of operation thereof
US11656378B2 (en) 2020-06-08 2023-05-23 Saudi Arabian Oil Company Seismic imaging by visco-acoustic reverse time migration

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5107348A (en) * 1990-07-11 1992-04-21 Zenith Electronics Corporation Temporal decorrelation of block artifacts
US5454051A (en) * 1991-08-05 1995-09-26 Eastman Kodak Company Method of reducing block artifacts created by block transform compression algorithms
KR0166717B1 (ko) 1992-06-18 1999-03-20 강진구 가변화면분할기법을 이용한 부호화/복호화방법 및 장치
KR0165497B1 (ko) * 1995-01-20 1999-03-20 김광호 블럭화현상 제거를 위한 후처리장치 및 그 방법
KR0155890B1 (ko) * 1995-09-28 1998-12-15 윤종용 화상 표시 장치의 다계조 표시 구동 방법
US6151420A (en) * 1995-12-15 2000-11-21 Polaroid Corporation Minimizing blocking artifacts in a filtered image
KR100242636B1 (ko) * 1996-03-23 2000-02-01 윤종용 블록화효과 및 링잉노이즈 감소를 위한 신호적응후처리시스템
DE19626985C1 (de) * 1996-07-04 1998-01-02 Siemens Ag Verfahren und Anordnung zur Reduktion von Codierungsartefakten von blockbasierten Bildcodierungsverfahren und objektbasierten Bildcodierungsverfahren
KR100213089B1 (ko) * 1997-01-29 1999-08-02 윤종용 루프필터링 방법 및 루프필터
US6188799B1 (en) * 1997-02-07 2001-02-13 Matsushita Electric Industrial Co., Ltd. Method and apparatus for removing noise in still and moving pictures
US6035060A (en) * 1997-02-14 2000-03-07 At&T Corp Method and apparatus for removing color artifacts in region-based coding
JP3095140B2 (ja) * 1997-03-10 2000-10-03 三星電子株式会社 ブロック化効果の低減のための一次元信号適応フィルター及びフィルタリング方法
KR100234316B1 (ko) * 1997-04-04 1999-12-15 윤종용 링잉노이즈 감소를 위한 신호적응 필터링 방법 및 신호적응필터
KR100211123B1 (ko) 1997-05-23 1999-07-15 윤종용 고속 패킷 스위칭을 위한 다단 상호 연결 망
US6335990B1 (en) * 1997-07-03 2002-01-01 Cisco Technology, Inc. System and method for spatial temporal-filtering for improving compressed digital video
US6064359A (en) * 1997-07-09 2000-05-16 Seiko Epson Corporation Frame rate modulation for liquid crystal display (LCD)
KR100281099B1 (ko) * 1997-07-30 2001-04-02 구자홍 동영상의부호화에따른블록화현상제거방법
KR100244290B1 (ko) * 1997-09-09 2000-02-01 구자홍 저속 전송에서의 동영상을 위한 디블록킹 필터링 방법
US6229929B1 (en) * 1998-05-14 2001-05-08 Interval Research Corporation Border filtering of video signal blocks
US6285801B1 (en) * 1998-05-29 2001-09-04 Stmicroelectronics, Inc. Non-linear adaptive image filter for filtering noise such as blocking artifacts
US6141380A (en) * 1998-09-18 2000-10-31 Sarnoff Corporation Frame-level rate control for video compression
US6317522B1 (en) 1998-12-03 2001-11-13 Philips Electronics North America Corp. Systems and methods for post-processing decompressed images
KR100335055B1 (ko) * 1999-12-08 2002-05-02 구자홍 압축 영상신호의 블럭현상 및 링현상 제거방법
FI117534B (fi) * 2000-01-21 2006-11-15 Nokia Corp Menetelmä digitaalisten kuvien suodattamiseksi ja suodatin

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101322395B (zh) * 2005-11-30 2010-08-04 安泰科技有限公司 成像装置和用于成像装置的图像处理器芯片
WO2022116054A1 (zh) * 2020-12-02 2022-06-09 Oppo广东移动通信有限公司 图像处理方法、系统、视频编码器及视频解码器

Also Published As

Publication number Publication date
JP2004120748A (ja) 2004-04-15
US20040057631A1 (en) 2004-03-25
US7623577B2 (en) 2009-11-24
US20060126731A1 (en) 2006-06-15
US7031392B2 (en) 2006-04-18
KR20040025814A (ko) 2004-03-26
CN100380974C (zh) 2008-04-09
EP1401212A2 (en) 2004-03-24
EP1401212A3 (en) 2004-08-18
KR100569162B1 (ko) 2006-04-07

Similar Documents

Publication Publication Date Title
CN100380974C (zh) 用于视频解块的方法和设备
KR100242636B1 (ko) 블록화효과 및 링잉노이즈 감소를 위한 신호적응후처리시스템
GB2329090A (en) Removing blocking artifacts in a video coding ststem
CN101816182A (zh) 图像编码装置、图像编码方法、图像编解码系统
JPH10313456A (ja) 信号適応フィルタリング方法及び信号適応フィルター
KR20110122223A (ko) 비디오 디스플레이 드라이버를 위한 멀티-픽셀 어드레싱 방법
Fang et al. Subpixel-based image down-sampling with min-max directional error for stripe display
CN109324778B (zh) 补偿表压缩方法
CN112927640A (zh) 局部补偿显示画面亮度不均的资料压缩方法及储存装置
Someya et al. The suppression of noise on a dithering image in LCD overdrive
CN108521575B (zh) 图像噪声的降噪方法及装置
JPH05219384A (ja) 画像の直交変換符号化による圧縮・伸張方法
Chen et al. Design a deblocking filter with three separate modes in DCT-based coding
KR101336629B1 (ko) 다수의 이전 영상 프레임을 사용하는 ｌｃｄ 오버드라이브 장치 및 방법
JP4942808B2 (ja) 表示装置および表示装置の輝度ムラ補正方法
Wang et al. High performance overdrive using improved motion adaptive codec in LCD
CN107967478A (zh) 一种简化dct像素灰度图片相似判定方法
JP2011124866A (ja) 符号化装置および表示制御装置
KR101106439B1 (ko) 영상 변조 장치, 그 변조 방법, 이를 구비한 액정표시장치및 그 구동방법
KR20060130676A (ko) 디지털 비디오 처리를 위한 비디오 인코딩 메트릭을사용하는 휘도 트랜지언트 개선
Shao Simultaneous coding artifact reduction and sharpness enhancement for block-based compressed images and videos
KR101159314B1 (ko) 영상 변조 장치, 그 처리 방법, 이를 구비한 액정표시장치및 그 구동방법
CN115240606B (zh) 基于最大值法的两次背光修正区域动态调光方法
JP2011164190A (ja) 画像処理装置および画像表示装置
JP2008252726A (ja) 画像処理装置、画像処理方法及び画像処理プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20080409

Termination date: 20160919

CF01 Termination of patent right due to non-payment of annual fee