CN103081472A - 用于图像帧内预测的方法和设备以及使用所述方法和设备的图像解码方法和设备 - Google Patents

用于图像帧内预测的方法和设备以及使用所述方法和设备的图像解码方法和设备 Download PDF

Info

Publication number
CN103081472A
CN103081472A CN2011800395231A CN201180039523A CN103081472A CN 103081472 A CN103081472 A CN 103081472A CN 2011800395231 A CN2011800395231 A CN 2011800395231A CN 201180039523 A CN201180039523 A CN 201180039523A CN 103081472 A CN103081472 A CN 103081472A
Authority
CN
China
Prior art keywords
pixel
value
boundary pixel
prediction
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011800395231A
Other languages
English (en)
Inventor
朴永五
宋宽雄
周永勋
高圣济
南亨旼
郑载润
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Korea University Research and Business Foundation
Original Assignee
Samsung Electronics Co Ltd
Korea University Research and Business Foundation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd, Korea University Research and Business Foundation filed Critical Samsung Electronics Co Ltd
Publication of CN103081472A publication Critical patent/CN103081472A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding

Abstract

提供一种图像帧内预测方法和图像帧内预测设备以及一种使用图像帧内预测方法的解码设备和解码方法。图像帧内预测方法包括：备份与将被解码的块邻近的边界像素的值；基于所述边界像素和与所述边界像素邻近的像素之间的相关性，修正与将被解码的块邻近的边界像素的值；基于修正的边界像素的值，预测将根据多个帧内模式之中的帧内模式而被解码的块；从备份的值恢复边界像素的值。

Description

用于图像帧内预测的方法和设备以及使用所述方法和设备的图像解码方法和设备
技术领域
与示例性实施例一致的设备和方法涉及一种图像数据解码系统，更具体地讲，涉及一种用于支持大小缩小的图像的图像解码器中的图像帧内预测方法和图像帧内预测设备，以及使用所述图像帧内预测方法和所述图像帧内预测设备的图像解码方法和图像解码设备。
背景技术
一般而言，通过使用高性能图像压缩编解码器(诸如MPEG-4、H.264等)的小部分能力就可欣赏高质量图像。然而，由于高质量图像具有高解码复杂度，因此低性能的个人计算机(PC)或移动装置可能在解码高质量图像方面存在问题。另外，用于输出图像的显示装置(诸如移动装置)的大小越小，图像的大小就必须根据显示装置的大小而被调整的更多。因此，一般而言，在图像解码处理期间执行调整大小的操作的嵌入式缩放(ES)技术被用于减少图像解码和调整大小的冗余计算量。
所述ES技术根据各种视频压缩标准(例如，MPEG-2、MPEG-4和H/264)在图像解码处理期间执行调整大小的操作，从而降低解码模块的复杂度和图像分辨率。ES技术修正具有高解码复杂度的运动补偿(MC)和离散余弦反变换(IDCT)。
例如，ES技术修正MC以便通过使用运动矢量(MV)来产生大小缩小的低分辨率的预测图像，从而降低MC模块的复杂度。另外，ES技术修正IDCT以便从DCT系数产生低分辨率的差分图像，从而降低IDCT模块的复杂度。因此，解码器可通过使用具有低复杂度的MC模块和IDCT模块组合预测图像和差分图像来恢复低分辨率的图像。
H.264/高级视频编码(AVC)提供了现有技术的压缩标准未提供的帧内预测操作。
一般而言，H.264/AVC的帧内预测操作通过仅使用相同帧中的信息来提供用于对帧中的块进行预测编码的各种预测模式。所述预测处理在提高H.264/AVC的压缩效率方面发挥了重要作用。
发明内容
技术问题
在H.264/AVC中，帧内预测操作是一种为了增加压缩率的核心操作并且占据解码复杂度的主要部分。因此，在ES技术中实现帧内预测技术以便将H.264/AVC应用到ES技术。然而，如果H.264/AVC标准提供的方法被用于将帧内预测应用到ES技术，则图像质量严重恶化。
解决方案
一个或多个示例性实施例提供了一种图像帧内预测方法和图像帧内预测设备，通过所述图像帧内预测方法和所述图像帧内预测设备，用于支持嵌入式缩放(ES)操作的压缩解码器有效地执行帧内预测。
一个或多个示例性实施例还提供了一种使用所述图像帧内预测方法和所述图像帧内预测设备的图像解码方法和图像解码设备。
有益效果
根据示例性实施例，支持ES操作的压缩解码器(诸如H.264解码器)有效地执行帧内预测，从而提高将被解码的图像的质量。另外，根据示例性实施例的帧内预测方法可被应用于用于提取图像的缩略图的I帧，并且也可被应用于基于ES的H.264。
附图说明
通过参照附图详细描述示例性实施例，上述和其他方面将变得更加清楚，其中：
图1是根据示例性实施例的图像解码设备的框图；
图2是图1的缩放的帧内预测单元的详细框图；
图3示出由图1的缩放的MC单元执行的运动补偿(MC)；
图4是示出根据示例性实施例的图像帧内预测方法的流程图；
图5示出现有技术的H.264标准提出的帧内预测方法；
图6(a)和图6(b)示出由现有技术的H.264编码器执行的帧内预测和由现有技术的具有嵌入式缩放(ES)的H.264解码器执行的帧内预测的比较；
图7示出根据示例性实施例的用于调整被用于执行帧内预测的边界像素的值的外插。
图8(a)和图8(b)示出由现有技术的H.264编码器执行的帧内预测和由现有技术的具有ES的H.264解码器执行的帧内预测的比较；
图9(a)到图9(i)示出根据示例性实施例的用于帧内模式的预测方向；
图10(a)和图10(b)示出通过使用具有ES的264帧内预测方法获得的值和在帧内预测期间按照对角线下-右预测模式在原始大小的块中执行帧内预测而获得的缩小的值的比较；
图11是示出根据示例性实施例的修正将被解码的块的边界像素的值的方法的详细流程图；
图12是示出根据示例性实施例的图像解码方法的流程图。
实现本发明的最佳模式
根据示例性实施例的一方面，提供了一种图像帧内预测方法，包括：备份与将被解码的块邻近的边界像素的值；基于所述边界像素和与所述边界像素邻近的像素之间的相关性，修正与将被解码的块邻近的边界像素的值；基于修正的边界像素的值，预测将根据多个帧内模式之中的帧内模式而被解码的块；从备份的值恢复边界像素的值。
所述修正边界像素的值的步骤可包括：将边界像素和与边界像素邻近的像素进行比较；根据比较的结果调整边界像素的值。
所述调整边界像素的值的步骤可包括：获得边界像素和与边界像素邻近的像素之间的差；如果获得的边界像素和与边界像素邻近的像素之间的差大于阈值，则调整边界像素的值；如果获得的边界像素和与边界像素邻近的像素之间的差小于阈值，则保持边界像素的值。
所述预测将被解码的块的步骤可包括：通过使用修正的边界像素的值来预测针对帧内模式而被缩小的像素值。
所述预测将被解码的块的步骤可包括：当帧内模式是DC模式、水平模式和垂直模式时，通过使用标准压缩方法来预测像素值，当帧内模式是对角线左/右模式、垂直左/右模式和水平左/右模式时，使用通过使用标准压缩方法而预测的像素值的平均值来预测像素值。
所述恢复边界像素的值的步骤可包括：用备份的值替换修正的边界像素的值。
所述边界像素的值可以是缩小的像素值。
可通过用于支持嵌入式缩放(ES)操作的压缩解码器来执行所述图像帧内预测。
根据另一示例性实施例的一方面，提供了一种图像解码方法，包括：通过对比特流进行熵解码，产生残差块信息、运动矢量(MV)和预测模式信息；通过反量化产生的残差块信息来提取残差块系数；缩小产生的残差块系数；执行帧内预测，其中，所述帧内预测基于与将被解码的块邻近的边界像素的修正值而被缩放，所述边界像素的值通过使用所述边界像素和与所述边界像素邻近的像素之间的相关性而被修正；通过将通过缩小而产生的残差信号和通过执行帧内预测而产生的帧内预测信号相加来产生重构的图像信号。
执行帧内预测的步骤可包括：基于修正的边界像素的值，预测将根据多个帧内模式之中的帧内模式而被解码的块。
根据另一示例性实施例的一方面，提供了一种图像帧内预测设备，包括：图像备份单元，用于备份与将被解码的块邻近的边界像素的值；外插单元，用于基于与将被解码的块邻近的边界像素和与所述边界像素邻近的像素之间的相关性，修正将被解码的块的边界像素的值；内插单元，用于基于修正的边界像素的值，预测将根据多个帧内模式之中的帧内模式而被解码的块；图像恢复单元，用于用备份的边界像素的值替换修正的边界像素的值。
根据另一示例性实施例的一方面，提供了一种图像解码设备，包括：熵解码单元，用于通过对比特流进行熵解码来产生残差块信息、MV和预测模式信息；反量化单元，用于通过反量化由熵解码单元产生的残差块信息来提取残差块系数；残差大小缩小单元，用于缩小由反量化单元产生的产生的残差块系数；图像预测单元，用于执行帧内预测，其中，所述帧内预测基于与将被解码的块邻近的边界像素的值而被缩放，所述边界像素的值通过使用所述边界像素和与所述边界像素邻近的像素之间的相关性而被修正；相加单元，用于通过将由残差大小缩小单元产生的残差信号和由图像预测单元产生的帧内预测信号相加来重构图像信号。
所述图像预测单元可包括：图像备份单元，用于备份与将被解码的块邻近的边界像素的值；外插单元，用于基于所述边界像素和与所述边界像素邻近的像素之间的相关性，修正与将被解码的块邻近的边界像素的值；内插单元，用于基于修正的边界像素的值，预测将根据多个帧内模式之中的帧内模式而被解码的块；图像恢复单元，用于用备份的值替换修正的边界像素的值。
根据另一示例性实施例的一方面，提供了一种图像帧内预测方法，包括：获得与将被解码的块邻近的边界像素的修正值，所述修正值基于所述边界像素和与所述边界像素邻近的像素(在将被解码的块的外面)之间的相关性；基于获得的修正值，预测将根据多个帧内模式之中的帧内模式而被解码的块。
具体实施方式
现在，将参照附图更充分地描述示例性实施例，其中，相同的标号始终指示相同的元件。
图1是根据示例性实施例的图像解码设备的框图。
参照图1，所述图像解码设备可以是支持嵌入式缩放(ES)操作的压缩解码器(诸如H.264解码器)。
图像解码设备包括：熵解码单元110、反量化单元120、残差大小缩小单元130、相加单元140、去块滤波单元150、帧存储单元160和图像预测单元100。
熵解码单元110对输入的比特流进行熵解码并提取残差块信息、运动矢量(MV)信息和预测模式信息(帧间/帧内模式信息)。通过从当前块减去预测块来获得残差块信息。
反量化单元120反量化从熵解码单元110提取的残差块信息，并提取多个残差块系数。
残差大小缩小单元130缩小从反量化单元120提取的残差块系数，并将缩小的残差块系数反变换为残差信号。因此，残差大小缩小单元130产生具有低分辨率的残差图像，从而降低反变换的复杂度。反变换可以是离散余弦反变换(IDCT)。
根据另一示例性实施例，残差大小缩小单元130将残差块系数反变换为残差信号，并缩小反变换的残差块系数。
相加单元140通过将残差大小缩小单元130产生的残差信号和图像预测单元170产生的帧间预测信号或帧内预测信号相加来产生重构的图像信号。
相加单元140将预测信号和残差信号进行组合，并且恢复低分辨率的图像。
去块滤波单元150执行滤波，从而去除相加单元140重构的图像信号的块效应，并输出经过滤波的图像信号。
帧存储单元160按照帧单位存储去块单元150输出的图像。
图像预测单元100选择性地执行根据熵解码单元110产生的预测模式信息(帧间/帧内模式信息)而被缩放的帧间预测和帧内预测。
更详细地，图像预测单元100包括帧间预测单元170和缩放的帧内预测单元180。
帧间预测单元170包括MV缩小单元172和缩放的运动补偿(MC)单元174。
MV缩小单元172缩小熵解码单元110产生的MV。
缩放的MC单元174通过使用被MV缩小单元172缩小的MV和存储在帧存储单元160中的图像数据来执行MC。因此，缩放的MC单元174通过使用被缩小的MV来产生低分辨率的预测图像，从而降低MC模块的复杂度。
缩放的帧内预测单元180通过使用存储在帧存储单元160中的经过缩放的外围块的空间信息来执行经过缩放的帧内预测。
图2是图1的缩放的帧内预测单元180的详细的框图。
参照图2，缩放的帧内预测单元180包括备份单元212、外插单元214、内插单元216和恢复单元218。
备份单元212通过使用存储在帧存储单元160中的图像帧来备份将被解码的块的边界像素的值。
外插单元214通过使用将被解码的块的边界像素(所述边界像素在备份单元212中被备份)和与所述边界像素邻近的像素之间的差来修正将被解码的块的边界像素的值。
内插单元216通过使用外插单元214修正的边界像素的值来针对每个帧内模式预测将被解码的块。就这一点而言，内插单元216通过使用外插单元214修正的边界像素的值，预测针对每个帧内模式而被缩小的像素值，其中，通过例如标准来定义所述每个帧内模式。
恢复单元218恢复备份单元212备份的、将被解码的块的边界像素的值，从而用将被解码的块的边界像素的值替换修正的边界像素的值。
图3示出由图1的缩放的MC单元174执行的MC。
缩小原始分辨率的MV，并且使用缩小的图像和缩小的MV来预测缩小的分辨率的图像。
图4是示出根据示例性实施例的图像帧内预测方法的流程图。
参照图4，如果比特流被输入，则备份将被解码的块的边界像素的值，以便保持先前解码的块的像素的值(操作410)。所述将被解码的块的边界像素的值是缩小的值。
然后，通过使用备份的将被解码的块的边界像素的值和与所述边界像素邻近的像素之间的相关性来修正将被解码的块的边界像素的值(操作420)。
现在将更详细地描述用于修正将被解码的块的边界像素的值的外插。
如图5中所示，现有技术的H.264标准提出的帧内预测方法通过使用先前解码的外围宏块的像素值A～M来预测将被解码的块的像素值a～p。例如，如果帧内预测模式是对角线下-右模式，则通过使用等式(B/4+C/2+D/4)计算像素值d。然而，由于先前解码的外围宏块的像素值A～M已经通过使用ES技术被缩小，因此像素值A～M不同于被编码器用于执行帧内预测的外围宏块的像素值。即，如图6A中所示，现有技术的H.264编码器通过使用先前重构的宏块的像素值50来预测宏块的像素值150。然而，如图6B中所示，由于具有ES技术的H.264解码器通过使用先前缩小的宏块的像素值100来执行帧内预测，因此具有ES技术的H.264解码器预测与被编码器用于执行帧内预测的像素值150不同的像素值100。就这一点而言，通过从边界像素值150减去缩小的像素值100获得的预测误差值会是50。
因此，现有技术的帧内预测方法导致屏幕上的错误的预测，这使图像质量严重恶化。
在本示例性实施例中，通过使用与将被解码的块的边界像素邻近的像素的值的趋势来预测将被解码的块的边界像素的值。
如图7中所示，当在帧内预测期间计算将被解码的块的像素值a～p时，通过使用宏块的像素值A～M和与宏块的像素值A～M邻近的像素值A′～M′来调整将被解码的块的像素值a～p外围的宏块的像素值A～M。即，根据下面的等式1计算使用像素值A和与像素值A邻近的像素值A′而修正的外围块的像素值A*。
[等式1]
其中，可实验性地将α和β分别定义为0.25和30。
如图8(b)中所示，如果使用本示例性实施例的外插而获得的修正的外围宏块的像素值A*被用于执行帧内预测，则具有ES的H.264解码器可获得与图8(a)的H.264编码器预测的像素值150接近的像素值。所述接近的像素值可被获得作为100+Δ。就这一点而言，Δ＝α(A-A′)。
因此，产生了与外围块的像素值A*～M*对应的新像素值，其中，所述新像素值通过使用宏块的像素值A～M和与宏块的像素值A～M邻近的像素值A′～M′被修正。
返回参照图4，基于修正的外围块的像素值A*～M*预测将针对每个帧内模式而被解码的块(操作430)。
现在将更详细地描述用于预测将被解码的块的内插。
例如，H.264/AVC帧内预测方法通过使用包含在同一帧中的信息来预测帧中的块，并且为亮度信号提供4个16×16预测模式和9个4×4预测模式，并为色度信号提供4个8×8预测模式。
图9(a)到图9(i)示出根据示例性实施例的用于帧内模式的预测方向。
参照图9(a)到图9(i)，4×4块的帧内预测包括垂直预测模式(模式0)、水平预测模式(模式1)、DC预测模式(模式2)、对角线下左预测模式(模式3)、对角线下-右预测模式(模式4)、垂直-左预测模式(模式5)、水平下预测模式(模式6)、垂直-左预测模式(模式7)和水平-上预测模式(模式8)。箭头指示4×4块的预测方向。模式2是不具有方向的DC预测模式，并且未用箭头指示。A*～G*表示修正的外围块的像素值(下文称为“边界值”)。a～d表示预测像素。
如果本示例性实施例的帧内预测模式是DC预测模式、水平预测模式和垂直预测模式，则使用通过使用上述外插获得的修正的边界值来预测相应的块。同时，如果本示例性实施例的帧内预测模式是对角线预测模式，则可能有以下问题：用于预测将被解码的当前块的像素值的系数被用作修正的边界值。
当帧内预测模式是对角线下-右预测模式时，通过使用具有ES的H.264的帧内预测方法获得的值(如图10(a)中所示)与通过在原始大小的块中执行帧内预测而获得的缩小的值(如图10(b)中所示)彼此不同。
例如，如果帧内预测模式是对角线预测模式，则缩小的预测像素值c是c1、c2、c3和c4的平均值。如果根据H.264标准获得c1、c2、c3和c4，则c1＝E1/4+E2/2+F1/4，c2＝G/4+E1/2+E2/4，c3＝E2/4+F1/2+F2/4并且c4＝c1。结果，c＝(c1+c2+c3+c4)/4＝(G+4E1+6E2+4F1+F2)/16＝(G+10E+5E)/16。
然而，通过使用具有ES的现有技术的H.264标准的帧内预测方法获得的预测像素值c等于(G1+2E+F)/4。
因此，如图9(a)到图9(i)中所示，在下面的预测模式中，可通过使用修正的边界值A*～G*来计算预测像素a～d：
1)垂直预测模式：a＝c＝A*，b＝d＝B*(与现有技术的帧内预测方法相同)
2)水平预测模式：a＝b＝E*，c＝d＝F*(与现有技术的帧内预测方法相同)
3)DC预测模式：a＝b＝c＝d＝(A*+B*+C*+D*)/4(与现有技术的帧内预测方法相同)
4)对角线下-左预测模式：a＝(5A*+10B*+C*)/16，b＝c(5B*+10C*+D*)/16，d＝(5C*+11D*)/16
5)对角线下-右预测模式：a＝d＝(A*+2G*+1E*)/4，b＝(G*+10A*+5B*)/16，c＝(G*+10E*+5F*)/16
6)垂直-右预测模式：a＝(E*+5G*+10A*)/16，b＝(6A*+10B*)/16，c＝(F*+7E*+5G*+3A*)/16，d＝(G*+12A*+3B*)/16
7)水平-下预测模式：a＝(10E*+5G*+A*)/16，b＝(3E*+5G*+7A*+B*)/16，c＝(6E*+10F*)/16，d＝(G*+12E*+3F*)/16
8)垂直-左预测模式：a＝(10A*+6B*)/16，b＝(10B*+6C*)/16，c＝(3A*+12B*+C*)/16，d＝(3B*+12C*+D*)/16
9)水平-上预测模式：a＝(10E*+6F*)/16，b＝(3E*+13F*)/16，c＝d＝F*
总之，如图9(a)到9(i)中所示，本示例性实施例为每个帧内模式提供一种图像预测方法，以便对缩小的图像准确地执行帧内预测。即，当帧内模式是DC模式、水平模式和垂直模式时，将被解码的块的帧内预测处理通过使用标准压缩方法来预测像素，当帧内模式是对角线左/右模式、垂直左/右模式和水平左/右模式时，将被解码的块的帧内预测处理使用通过使用标准压缩方法预测的像素值的平均值来预测像素。
另外，为了选择最佳帧内预测模式，针对定义的所有帧内预测方向执行编码，针对帧内预测模式计算率失真代价(RD代价)，并且选择具有最小RD代价的帧内预测模式。
返回参照图4，备份的将被解码的块的边界像素的值被恢复为原始的边界像素的值，所述原始的边界像素的值通过外插和内插而被改变(操作440)。例如，如图7中所示，新像素值A*～M*代替原始像素值A～M。
图11是示出根据示例性实施例的修正将被解码的块的边界像素的值的方法的详细流程图。
参照图11，选择将被解码的块的边界像素(被称为A)和与所述边界像素邻近的像素(被称为A′)(操作1110)。
然后，将被解码的块的边界像素A和与所述边界像素邻近的像素A被相互比较(操作1120)。即，计算将被解码的块的边界像素A和与所述边界像素邻近的像素A之间的差。
然后，如果将被解码的块的边界像素A和与所述边界像素邻近的像素A之间的差大于阈值β，则调整边界像素A的值(操作1130)。如果将被解码的块的边界像素A和与所述边界像素邻近的像素A′之间的差小于阈值β，则保持边界像素A的值。阈值β被实验性地预先设置为最佳值。
因此，边界像素的值根据对将被解码的块的边界像素A和与所述边界像素邻近的像素A′进行比较的结果而被修正。
图12是示出根据示例性实施例的图像解码方法的流程图。
参照图12，通过对比特流进行熵解码来产生残差块信息、MV和预测模式信息(操作1210)。
然后，通过反量化产生的残差块信息来提取残差块系数(操作1220)。
缩小产生的残差块系数(操作1230)。
执行基于将被解码的块的边界像素的值而缩放的帧内预测，所述值通过使用所述边界像素和与所述边界像素邻近的像素之间的相关性而被修正(操作1240)。
产生通过将残差信号与帧内预测信号相加而重构的图像信号(操作1250)。
因此，根据示例性实施例，支持ES操作的压缩解码器(诸如H.264解码器)有效地执行帧内预测，从而提高将被解码的图像的质量。另外，根据示例性实施例的帧内预测方法可被应用于用于提取图像的缩略图的I帧，并且也可被应用于基于ES图像的H.264。
产业上的应用
示例性实施例还可被实现为计算机可读记录介质上的计算机可读代码。所述计算机可读记录介质可以是任何可存储其后可被计算机系统读取的数据的数据存储装置。所述计算机可读记录介质的示例包括：只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光学数据存储装置。所述计算机可读记录介质还可被分布在联网的计算机系统上，从而所述计算机可读代码以分布式方式被存储和执行。
虽然上面已经具体地显示和描述了示例性实施例，但是本领域的普通技术人员将理解，在不脱离由权利要求限定的本发明构思的精神和范围的情况下，可在其中进行形式和细节上的各种改变。所述示例性实施例应该仅被认为是描述性的意义而不是为了限制的目的。因此，本发明构思的范围不是由示例性实施例的详细描述限定，而是由所附权利要求限定，并且所述范围内的所有差别将被解释为包括在本发明构思中。

Claims (15)

1.一种图像帧内预测方法，包括：
备份与将被解码的块邻近的边界像素的值；
基于与将被解码的块邻近的边界像素和与所述边界像素邻近的像素之间的相关性，修正与将被解码的块邻近的边界像素的值，其中，与所述边界像素邻近的像素在将被解码的块的外面；
基于修正的边界像素的值，预测将根据多个帧内模式之中的帧内模式而被解码的块；
从备份的边界像素的值恢复边界像素的值。
2.如权利要求1所述的方法，其中，所述修正边界像素的值的步骤包括：
将边界像素和与边界像素邻近的像素进行比较；
根据比较的结果，调整边界像素的值。
3.如权利要求2所述的方法，其中，所述调整边界像素的值的步骤包括：
获得边界像素和与边界像素邻近的像素之间的差；
如果获得的边界像素和与边界像素邻近的像素之间的差大于阈值，则调整边界像素的值；
如果获得的边界像素和与边界像素邻近的像素之间的差小于阈值，则保持边界像素的值。
4.如权利要求1所述的方法，其中，所述预测将被解码的块的步骤包括：通过使用修正的边界像素的值来预测针对帧内模式而被缩小的像素值。
5.如权利要求1所述的方法，其中，所述预测将被解码的块的步骤包括：
当帧内模式是DC模式、水平模式和垂直模式中的一个时，通过使用标准压缩方法来预测像素值；
当帧内模式是对角线左/右模式、垂直左/右模式和水平左/右模式中的一个时，使用通过使用标准压缩方法而预测的像素值的平均值来预测像素值。
6.如权利要求1所述的方法，其中，所述恢复边界像素的值的步骤包括：用备份的边界像素的值替换修正的边界像素的值。
7.如权利要求1所述的方法，其中，所述备份的边界像素的值是缩小的像素值。
8.如权利要求1所述的方法，其中，通过用于支持嵌入式缩放(ES)操作的压缩解码器来执行所述图像帧内预测。
9.如权利要求1所述的方法，其中，根据针对多个帧内预测模式计算的率失真(RD)代价，从所述多个帧内预测模式中选择帧内预测模式。
10.一种图像解码方法包括：
通过对比特流进行熵解码，产生残差块信息、运动矢量(MV)和预测模式信息；
通过反量化产生的残差块信息来提取残差块系数；
缩小产生的残差块系数；
执行帧内预测，其中，所述帧内预测基于与将被解码的块邻近的边界像素的修正值而被缩放，所述边界像素的值通过使用所述边界像素和与所述边界像素邻近的像素之间的相关性而被修正，与所述边界像素邻近的像素在将被解码的块的外面；
通过将通过缩小而产生的残差信号和通过执行帧内预测而产生的帧内预测信号相加来产生重构的图像信号。
11.如权利要求10所述的方法，其中，所述执行帧内预测的步骤包括：基于修正的边界像素的值，预测将根据多个帧内模式之中的帧内模式而被解码的块。
12.一种图像帧内预测设备，包括：
图像备份单元，用于备份与将被解码的块邻近的边界像素的值；
外插单元，用于基于与将被解码的块邻近的边界像素和与所述边界像素邻近的像素之间的相关性，修正与将被解码的块邻近的边界像素的值，其中，与所述边界像素邻近的像素在将被解码的块的外面；
内插单元，用于基于修正的边界像素的值，预测将根据多个帧内模式之中的帧内模式而被解码的块；
图像恢复单元，用于用备份的边界像素的值替换修正的边界像素的值。
13.一种图像解码设备，包括：
熵解码单元，用于通过对比特流进行熵解码来产生残差块信息、运动矢量(MV)和预测模式信息；
反量化单元，用于通过反量化由熵解码单元产生的残差块信息来提取残差块系数；
残差大小缩小单元，用于缩小由反量化单元产生的产生的残差块系数；
图像预测单元，用于执行帧内预测，其中，所述帧内预测基于与将被解码的块邻近的边界像素的值而被缩放，所述边界像素的值通过使用所述边界像素和与所述边界像素邻近的像素之间的相关性而被修正，与所述边界像素邻近的像素在将被解码的块的外面；
相加单元，用于将由残差大小缩小单元产生的残差信号和由图像预测单元产生的帧内预测信号相加来重构图像信号。
14.如权利要求13所述的图像解码设备，其中，所述图像预测单元包括：
图像备份单元，用于备份与将被解码的块邻近的边界像素的值；
外插单元，用于基于所述边界像素和与所述边界像素邻近的像素之间的相关性，修正与将被解码的块邻近的边界像素的值；
内插单元，用于基于修正的边界像素的值，预测将根据多个帧内模式之中的帧内模式而被解码的块；
图像恢复单元，用于用备份的值替换修正的边界像素的值。
15.一种图像帧内预测方法，包括：
获得与将被解码的块邻近的边界像素的修正值，所述修正值基于所述边界像素和与所述边界像素邻近的像素之间的相关性，其中，与所述边界像素邻近的像素在将被解码的块的外面；
基于获得的修正值，预测将根据多个帧内模式之中的帧内模式而被解码的块。
CN2011800395231A 2010-06-18 2011-06-20 用于图像帧内预测的方法和设备以及使用所述方法和设备的图像解码方法和设备 Pending CN103081472A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2010-0058228 2010-06-18
KR1020100058228A KR20110138098A (ko) 2010-06-18 2010-06-18 영상 인트라 예측 방법 및 장치 및 그를 적용한 영상 디코딩 방법 및 장치
PCT/KR2011/004488 WO2011159139A2 (en) 2010-06-18 2011-06-20 Method and apparatus for image intra prediction and image decoding method and apparatus using the same

Publications (1)

Publication Number Publication Date
CN103081472A true CN103081472A (zh) 2013-05-01

Family

ID=45328654

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011800395231A Pending CN103081472A (zh) 2010-06-18 2011-06-20 用于图像帧内预测的方法和设备以及使用所述方法和设备的图像解码方法和设备

Country Status (4)

Country Link
US (1) US20110310969A1 (zh)
KR (1) KR20110138098A (zh)
CN (1) CN103081472A (zh)
WO (1) WO2011159139A2 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104333758A (zh) * 2014-10-11 2015-02-04 华为技术有限公司 深度图的预测方法和检测像素点的方法及相关装置

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013040287A1 (en) * 2011-09-15 2013-03-21 Vid Scale, Inc. Systems and methods for spatial prediction
CN108111849B (zh) 2011-10-17 2021-11-02 株式会社Kt 用解码装置对待解码的具有当前块的视频信号解码的方法
CN110769250B (zh) * 2012-01-18 2023-09-15 韩国电子通信研究院 视频解码装置、视频编码装置和传输比特流的方法
CN103067716B (zh) 2013-01-10 2016-06-29 华为技术有限公司 深度图像的编解码方法和编解码装置
CN103067715B (zh) * 2013-01-10 2016-12-28 华为技术有限公司 深度图像的编解码方法和编解码装置
KR102331599B1 (ko) * 2014-12-03 2021-11-30 엘지전자 주식회사 비디오 신호 처리 방법 및 이를 위한 장치
KR102341858B1 (ko) 2018-07-30 2021-12-22 삼성전자주식회사 영상 부호화 방법 및 장치, 영상 복호화 방법 및 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004010702A1 (en) * 2002-07-22 2004-01-29 Institute Of Computing Technology Chinese Academy Of Sciences A bit-rate control method and device combined with rate-distortion optimization
US20060072676A1 (en) * 2003-01-10 2006-04-06 Cristina Gomila Defining interpolation filters for error concealment in a coded image
US20080130745A1 (en) * 2005-01-14 2008-06-05 Purvin Bibhas Pandit Method and Apparatus for Intra Prediction for Rru
CN101267562A (zh) * 2007-03-12 2008-09-17 Vixs系统公司 具有编码和解码模式的视频处理系统和装置及其方法
US20080247464A1 (en) * 2007-04-06 2008-10-09 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding based on intra prediction using differential equation

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7995849B2 (en) * 2003-03-17 2011-08-09 Qualcomm, Incorporated Method and apparatus for improving video quality of low bit-rate video
EP1605706A2 (en) * 2004-06-09 2005-12-14 Broadcom Corporation Advanced video coding (AVC) intra prediction scheme
US8265152B2 (en) * 2008-10-10 2012-09-11 Arecont Vision, Llc. System and method for low-latency processing of intra-frame video pixel block prediction

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004010702A1 (en) * 2002-07-22 2004-01-29 Institute Of Computing Technology Chinese Academy Of Sciences A bit-rate control method and device combined with rate-distortion optimization
US20060072676A1 (en) * 2003-01-10 2006-04-06 Cristina Gomila Defining interpolation filters for error concealment in a coded image
US20080130745A1 (en) * 2005-01-14 2008-06-05 Purvin Bibhas Pandit Method and Apparatus for Intra Prediction for Rru
CN101267562A (zh) * 2007-03-12 2008-09-17 Vixs系统公司 具有编码和解码模式的视频处理系统和装置及其方法
US20080247464A1 (en) * 2007-04-06 2008-10-09 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding based on intra prediction using differential equation

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104333758A (zh) * 2014-10-11 2015-02-04 华为技术有限公司 深度图的预测方法和检测像素点的方法及相关装置
CN104333758B (zh) * 2014-10-11 2019-07-19 华为技术有限公司 深度图的预测方法和检测像素点的方法及相关装置

Also Published As

Publication number Publication date
KR20110138098A (ko) 2011-12-26
WO2011159139A2 (en) 2011-12-22
WO2011159139A3 (en) 2012-04-19
US20110310969A1 (en) 2011-12-22

Similar Documents

Publication Publication Date Title
CN103081472A (zh) 用于图像帧内预测的方法和设备以及使用所述方法和设备的图像解码方法和设备
US8885956B2 (en) Image processing device and method
CN107241605B (zh) 视频编码器以及视频编码方法
KR101182343B1 (ko) 메모리가 저감된 ｈ264／ｍｐｅｇ-4 ａｖｃ 코덱
KR101345287B1 (ko) 스케일러블 영상 부호화 방법 및 장치와 그 영상 복호화방법 및 장치
US9025675B2 (en) Systems and methods for reducing blocking artifacts
JP4534935B2 (ja) トランスコーダ、記録装置及びトランスコード方法
KR101390620B1 (ko) 비디오 인코딩을 위한 전력 효율적인 움직임 추정 기법
US20200244965A1 (en) Interpolation filter for an inter prediction apparatus and method for video coding
US20130083852A1 (en) Two-dimensional motion compensation filter operation and processing
CN103609126A (zh) 图像处理装置和图像处理方法
US20130163676A1 (en) Methods and apparatus for decoding video signals using motion compensated example-based super-resolution for video compression
CN102577377A (zh) 用于对图像数据进行去块滤波的设备和方法以及使用所述设备和方法的视频解码设备和方法
KR20130016289A (ko) 동화상 예측 부호화 장치, 동화상 예측 부호화 방법, 동화상 예측 부호화 프로그램, 동화상 예측 복호 장치, 동화상 예측 복호 방법, 및 동화상 예측 복호 프로그램
KR20100130839A (ko) 비디오 데이터 처리 장치 및 방법
CN103155564A (zh) 图像处理装置和方法
US20070133689A1 (en) Low-cost motion estimation apparatus and method thereof
EP1845729A1 (en) Transmission of post-filter hints
KR20120117613A (ko) 동영상 부호화 장치 및 방법
JPWO2007091588A1 (ja) 動画像復号装置、復号画像記録装置、それらの方法及びプログラム
US9648336B2 (en) Encoding apparatus and method
US20220353543A1 (en) Video Compression with In-Loop Sub-Image Level Controllable Noise Generation
KR20170077621A (ko) 영상 압축에서의 플리커링 현상 제거 방법 및 그 장치
US8687705B2 (en) Moving picture decoding device and moving picture decoding method
US20210195246A1 (en) Media Object Compression/Decompression with Adaptive Processing for Block-Level Sub-Errors and/or Decomposed Block-Level Sub-Errors

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20130501