CN104488268A - 具有增加数量的可能编码模式的空间预测 - Google Patents

具有增加数量的可能编码模式的空间预测 Download PDF

Info

Publication number
CN104488268A
CN104488268A CN201380036440.6A CN201380036440A CN104488268A CN 104488268 A CN104488268 A CN 104488268A CN 201380036440 A CN201380036440 A CN 201380036440A CN 104488268 A CN104488268 A CN 104488268A
Authority
CN
China
Prior art keywords
block
value
prediction
mode
spatial prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380036440.6A
Other languages
English (en)
Other versions
CN104488268B (zh
Inventor
E.弗朗科斯
D.索罗
J.维罗恩
F.雷凯普
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital VC Holdings Inc
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN104488268A publication Critical patent/CN104488268A/zh
Application granted granted Critical
Publication of CN104488268B publication Critical patent/CN104488268B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • H04N19/463Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及一种对被称为当前块的、图像的像素的块的空间预测方法,该方法使用基于当前块的相邻像素的多个空间预测模式,包含用于根据所述空间预测模式中的每一个来确定(E3)当前块的预测块的步骤以及用于根据预定标准来选择(E4)所述预测块之一的步骤。根据本发明,在执行上述步骤之前,在所述空间预测模式中,检测(E1)它们中的一些是否是冗余的。如果检测出这样的冗余模式,则用区别于其他空间预测模式的附加模式替换(E2)它们之一。

Description

具有增加数量的可能编码模式的空间预测
技术领域
本发明处于通过帧内预测进行编码和解码的领域中。本发明更具体地涉及图像的像素的块的空间预测方法、使用空间预测的编码方法和解码方法,以及对应的空间预测设备。
背景技术
在数字领域中,已知应用压缩技术来减少要存储或传送的数据的量。这些技术之一是预测编码。被称为预测的、意思是尽可能与源接近的图像根据多种方法来产生,然后从原始图像中减去,从而形成残差图像。正是这些残差图像被编码,然后被传送和/或存储。在多种已知的解码操作之后,数量少得多的这些数据足以重新创建图像。
在可以产生该预测图像的技术之中,存在被称为帧内预测或帧内编码的空间预测。在该情况下,编码器通过使其本身基于该图像内的已知邻域来产生预测图像。压缩性能因此而直接与该预测的质量有关。预测算法越高效,残差数据就将越少,并且压缩率将更好。
在标准的H.264/AVC的框架内,空间预测在像素域中执行,并且包含通过使用在相同图像片段中已经编码的周围像素的组合来预测块的所有像素,并且使用若干预测模式来预测像素的当前块的像素。例如,对于亮度,定义8个定向预测模式和平均模式(DC),用于维度4x4或8x8的块的编码。图1例示用于维度4x4的块的预测模式。在该图中示出的预测模式如下:
-模式0或垂直模式:布置在要预测的块之上的像素A、B、C、D的值垂直地传播到要预测的块的像素;
-模式1或水平模式:布置在要预测的块的左边的像素I、J、K、L的值水平地传播到要预测的块的像素;
-模式2或DC模式:布置在要预测的块的左边的像素A、B、C、D、I、J、K、L的平均值水平地传播到要预测的块的所有像素;
-模式3或对角线左下模式:布置在要预测的块之上的像素A、B、C、D、E、F、G、H的值或这些值的组合根据指向要预测的块的左下角的对角线传播到要预测的块的像素;
-模式4或对角线右下模式:布置在要预测的块左边和上方的像素A、B、C、D、I、J、K、L、Q的值或这些值的组合根据指向要预测的块的右下角的对角线传播到要预测的块的像素;
-在其他五种模式5(垂直向右)、6(水平向下)、7(垂直向左)和8(水平向上)中,布置在要预测的块之上或左边的像素的值或者这些值的组合根据其角度相对于垂直线大于或小于45°的方向传播到要预测的块的像素。
对这些预测模式的每一个编排索引,索引对应于模式号,并且将该索引以与块的数据相同的方式编码在比特流中。
对该预测处理的分析已经示出,定期的出现(特别地,以低比特率)两个或更多的帧内预测模式产生非常相似的甚至是相同的预测。具有某些是冗余的若干可能的预测模式这一事实产生编码效率的损失,因为它们非必要地限制预测模式的可能的选择。
发明内容
本发明旨在提高帧内预测的效率,并且由此当在所使用的预测模式中存在冗余模式时通过扩展可用的预测模式的范围来降低残差数据的编码成本。
更具体地,本发明的目的是对被称为当前块的、图像的像素的块的空间预测方法,该方法使用基于当前块的相邻像素的多个空间预测模式,包含以下步骤:
a)根据所述空间预测模式的每一个来确定当前块的预测块;以及
b)根据预定的标准来选择预测块之一。
根据本发明,该预测方法在步骤a)和b)之前还包含以下步骤:
c)检测产生明显相似的预测块的冗余空间预测模式;以及
d)对于每对冗余空间预测模式,产生被称为附加模式的、区别于其他空间预测模式的空间预测模式,并且用附加模式替换冗余空间预测模式之一。
因此,根据本发明,移除不必要的空间预测模式,并且用对应于新的预测可能性的附加模式来替换它们。从而充实了可能的空间预测的范围以提高预测的效率。
根据具体实施例,检测冗余空间预测模式包含以下步骤:
-确定每个空间预测模式的预测块;
-两个两个地比较所确定的预测块,由此对每对预测块确定该对的两个预测块之间的差异的代表差异;以及
-对于一对预测块,如果差异小于第一预定的阈值(λ),则将对应于该对的两个预测块的两个空间预测模式视为是冗余的。
自然,在编码的图像的比特流中传送该第一阈值,使得解码器可以使用它。
作为变型,检测冗余空间预测模式只根据所述空间预测模式所基于的相邻像素的亮度和/或色度的值来执行。
在该实施例中,检测冗余空间预测模式包含以下步骤:
-计算被称为第一平均值的、第一空间预测模式所基于的相邻像素的亮度值或色度值的平均值;
-计算被称为第二平均值的、第二空间预测模式所基于的相邻像素的亮度值或色度值的平均值;
-计算第一平均值和第二平均值之间的差异的绝对值;以及
-如果差异的绝对值小于第二预定阈值(T2),则所述第一和第二空间预测模式是冗余空间预测模式。
有利地,在第一或第二平均值的计算步骤之前,冗余空间预测模式的检测步骤包含:
-第一或第二空间预测模式所基于的相邻像素的亮度值或色度值的最大差异的计算步骤;
-如果所述最大差异大于或等于第三预定阈值(T1),则所述第一或第二空间预测模式是冗余空间预测模式。
这些第二和第三阈值(T2,T1)区域也在编码的图像的比特流中传送,使得解码器可以使用它。
替换给定空间预测模式的附加模式可以是唯一的,并且可以永久地定义在变换表中,或者是自适应的。
在该第二情况下,通过执行以下步骤来创建替换给定空间预测模式的附加模式:
-在与要替换的空间预测模式的预测方向相反的方向上将所述要替换的空间预测模式所基于的相邻像素的区域扩展1个像素,空间预测模式的预测方向以获得附加模式所基于的新的相邻像素集合的方式来指定预测块中要替换的空间预测模式所基于的相邻像素的亮度值或色度值据其进行传播的方向。
-检查所述附加模式和所述空间预测模式是否是不冗余的;
-如果所述附加模式和所述空间预测模式是冗余的,则再次开始扩展步骤直至所述附加模式和所述预测模式不是冗余的为止。
优选地,扩展步骤最多只重复迭代预定次数。
在该实施例中,通过以下步骤执行根据附加模式的预测块的像素p的值的计算:
-在附加模式的相邻像素集合的像素中,标识沿着指向像素p的矢量并且平行于附加模式的预测的方向存在的相邻像素;以及
-根据所标识的相邻像素的值来计算预测块的像素p的值。
通过所标识的相邻像素的值的插值函数来计算像素p的值。该插值函数例如是:
-所标识的相邻像素的亮度值的中值;或者
-所标识的相邻像素的亮度值的平均。
本发明还涉及用于对被称为当前块的、图像的像素的块进行编码的方法,包含以下步骤:
-确定当前块的预测块;
-根据所述当前块和所述预测块来确定残差块;
-根据量化步幅对残差块进行变换和量化;以及
-对经量化的残差块进行熵编码。
根据本发明,根据上述定义的预测方法来确定当前块的预测块。
根据本发明,在包含当前块的数据流中对第一预定阈值、所使用的空间预测模式的索引或者第二和第三预定阈值进行编码。
根据具体实施例,第二和第三预定阈值取决于所述量化步幅。
本发明还涉及用于对对应于被称为当前块的、图像的像素的块的经编码的残差块进行解码的方法,包含以下步骤:
-对所述残差块进行熵解码;
-对经解码的残差块进行逆量化和逆变换;
-确定当前块的预测块;以及
-根据所述经解码的残差块和所述预测块来确定当前块。
根据本发明,根据上述定义的预测方法来确定当前块的预测块。
最后,本发明涉及被称为当前块的、图像的像素的块的根据基于当前块的相邻像素的多个空间预测模式的空间预测设备,包含用于根据所述空间预测模式中的每一个来确定当前块的预测块并且根据预定的标准来选择所述预测块之一的模块。
根据本发明,空间预测设备包含确定模块的上游,
-用于检测产生明显相似的预测块的冗余空间预测模式的模块;以及
-能够对每对冗余空间预测模式产生被称为附加模式的、区别于其他空间预测模式的空间预测模式并且用附加模式替换冗余空间预测模式之一的模块。
附图说明
通过阅读下面通过附图例示的、提供用于示例性目的的示例,其他优点仍然可以呈现给本领域的技术人员。
-图1(已描述)图示对标准AVC/H264中的像素4x4的块定义的9个空间预测模式;
-图2示出根据本发明的空间预测方法的流程图;
-图3是标识图1的编码模式所基于的像素的当前块的相邻像素的图;
-图4是示出用于根据具体实施例确定冗余编码模式的步骤的流程图;
-图5是图示旨在替换图1的编码模式的可能的附加模式;
-图6是实现本发明的方法的编码器的图示;
-图7是示出使用图2的空间预测方法的编码方法的步骤的流程图;
-图8是示出使用图2的空间预测方法的解码方法的步骤的流程图;以及
-图9是实现本发明的方法的解码器的图示。
具体实施方式
根据本发明,除了所有标准的空间预测模式(以下称为基本预测模式)之外,还提出定义第二组预测模式(以下称为附加模式),第二组预测模式旨在当基本预测模式与另一基本预测模式冗余时替换该基本预测模式。基本预测模式例如是在标准AVC/H264的框架内的图1的预测模式。
在本说明书的其余部分中,AVC/H264编码的背景将被用于示例性的目的。然而,本发明可以被推广至其他编码方案,例如在于2010年4月在德累斯顿的JCT-VC组(关于视频编码的联合协作组的首字母缩写)的会议期间公布的文献JCTVC-A124中提出的方案。
图2图示根据本发明的空间预测方法的步骤。
参考该图,该方法包含:
-步骤E1,在于从基本预测模式中检测对当前块产生明显相似的预测块的冗余预测模式;
-步骤E2,对于每对检测到的冗余基本预测模式,产生独立于所有基本预测模式的附加模式,并且以获得当前块的预测模式的新集合的方式用所述附加模式替换这些冗余模式之一;
-步骤E3,根据该新集合中的每个预测模式来确定当前块的预测块;以及
-步骤E4,根据预定的标准,选择在先前步骤中计算的预测块之一。
当前块的预测块的该选择标准例如是失真比特率标准或失真标准,这种类型的标准是本领域技术人员已知的。
检测冗余预测模式在于标识以相似的预测块终止的空间预测模式。两个两个地比较预测模式,并且将被检测为彼此相似的模式视为是冗余的。在一对冗余模式中,只保留这些模式中的一个,另一个用附加模式替换。
如果附加模式显示与其必须替换的模式冗余,则只要有其他可能的附加模式,或者只有还未达到测试的附加模式的预定数量,就测试新的附加模式。
检测冗余预测模式的第一种解决方案在于在通过每个基本预测模式获得的预测块的彼此之间进行比较。将根据索引i的预测模式产生的预测块的坐标(x,y)的像素的值记为pi(x,y),并且将要预测的像素的块(当前块)记为B。
如果根据索引i和j的两个预测模式产生的预测块是像素对像素地相似的,则将这两种模式视为是冗余的。根据具体实施例,估计这两个预测块之间的最大差异emax,并且将该差异与预定阈值λ进行比较。
因此计算如下:
然后,执行下面的测试:
-如果emax<λ,则索引i和j的模式是冗余的;
-否则,索引i和j的模式不是冗余的。
可以在比特流中,例如在片段(slice)或编码的图像的标头中,传送阈值λ。该阈值可以是针对在标准AVC/H.264的情况下的每个宏块、图像或片段所传送的量化参数的函数。根据实施例变型,emax被替换为
e avg = 1 / N * Σ ( ( x , y ) ∈ B | p i ( x , y ) - p j ( x , y ) |
其中,N是块B中的像素的数量。该第一解决方案基于通过预测模式获得的预测块的比较。
在计算方面成本不太大的另一解决方案在于对于要测试的两个预测模式,比较它们使用的已经重构的(或者已经编码的)相邻像素(或边界像素)。例如,在标准AVC/H.264的情况下,图3示出用于定义对大小4x4的块定义的每个预测模式的预测块的相邻像素(以暗灰色)。在该图中,要预测的当前块以浅灰色出现。
在该其他解决方案中,只根据空间预测模式所基于的相邻像素(以暗灰色)的亮度和/或色度的值来执行冗余模式的检测。根据该解决方案,如果这两种模式使用的相邻像素在亮度上是相似的,并且可能在色度上是相似的,则将两种模式视为是冗余的。
在其余部分中,将坐标(x,y)的像素的亮度记为Y(x,y)。此处用亮度信号进行说理,但是自然可以通过包含色度信号对下面的算法进行扩展。将索引i的预测模式所使用的相邻像素的集合记为Si,并且将索引j的预测模式所使用的相邻像素的集合记为Sj。提出图4所例示的下面的算法,用于检查模式i和j是否是冗余的。
-计算模式i的相邻像素的亮度值的最大差异δi
δ i = max ( x , y ) ∈ S i ( Y ( x , y ) ) - min ( x , y ) ∈ S i ( Y ( x , y ) )
-如果最大差异δi大于预定阈值T1,则模式i远离冗余空间预测模式,并且变换到另外的模式进行比较;
-然后,计算模式j的相邻像素的亮度值的最大差异δj
δ j = max ( x , y ) ∈ S j ( Y ( x , y ) ) - min ( x , y ) ∈ S j ( Y ( x , y ) )
-如果最大差异δj大于预定阈值T1,则从冗余空间预测模式移除模式j;
-模式i的相邻像素的亮度值的平均值μi,然后,模式j的相邻像素的亮度值的平均值μj
-最后,计算值|μij|;如果值|μij|大于或等于预定阈值T2,则将模式i和j视为不是冗余的;否则,将模式i和j视为是冗余的。
阈值T1和T2例如使用2和1作为值,并且在编码的图像的比特流中传送,例如在编码的图像的标头中传送,使得解码器可以使用。
在更高级的变型中,阈值T1和T2可以是量化步幅(记为QP)的函数,并且例如等于:
- T 1 = ( QP ) / 2 并且 T 2 = ( QP ) / 2
在该变型中,T1和T2的一个或多个确定规则在编码器和解码器中自然相同。因此,在该情况下,因此不发送阈值T1和T2,因为在任何情况下总是发送量化步幅QP。
替代基本预测模式的附加模式可以是唯一的,并且可以例如永久地定义在变换表中。在该表中,附加模式与每个基本预测模式相关联,在基本预测模式被宣布为冗余的情况下,该附加模式旨在替换所述基本预测模式。
有利地,旨在替换基本预测模式的附加模式不是设定的,并且根据所考虑的基本预测模式的相邻像素的内容来改变。实际上,被定义替换基本预测模式的附加模式不必与后者是冗余的。
根据有利的实施例,通过执行以下步骤来产生替代基本预测模式MB的附加模式MC:
-以1个像素的深度,并且在与模式MB的预测方向相反的方向上,扩展模式MB所基于的相邻像素的区域,以便获得模式MC所基于的相邻像素的集合;例如,在标准AVC/H.264的模式0的情况下,像素的区域不仅包含要预测的块的所放置的像素A、B、C和D,还包含放置在像素A、B、C和D之上的像素A’、B’、C’和D’,关于模式1,像素的区域不仅包含要预测的块的所放置的像素I、J、K和L,还包含放置在像素I、J、K和L的左边的I’、J’、K’和L’……;
-然后检查通过扩展的相邻像素区域这样定义的附加模式和基本预测模式是否是冗余的;
-如果它们是冗余的,则重复扩展步骤,直至它们不再是冗余的或者达到最大的扩展为止;给定最大扩展,最多只将扩展步骤重复迭代预定次数。
图5示出用于大小为4x4的块的标准AVC/H264的模式1和3至9的附加模式的产生的相邻像素的区域的扩展机制。在该图中,机制被限制于在预测方向的相反方向上的5个像素。对于模式2(DC)没有建议替换模式,因为根据定义,这是无向模式。其为广泛使用的模式。因此不计划替换它。
这些新的预测模式的使用修改了对预测块的计算。对于该计算,考虑具有给定深度N的相邻像素的区域。
因此将根据附加模式的预测块的像素p(0,0)的值的计算实现如下:
-在附加模式所使用的相邻像素的集合的像素中,标识沿着指向像素p(0,0)并且平行于附加模式的预测方向而存在的相邻像素;例如,在图5的模式0的情况下,这涉及像素A、A’、A”、A”’和A””,并且在模式1的情况下,这涉及像素I、I’、I”、I”’和I””;
-然后,根据所标识的相邻像素的值来计算预测块的像素p的值。
通过所标识的相邻像素的值的插值函数来计算像素p(0,0)的值。例如计算下面的值:
-所标识的相邻像素的亮度值的中值;或者
-所标识的相邻像素的亮度值的平均;或者
-类型f(x,y)=a+b.x+c.y的线性函数,其中,根据沿着矢量的所标识的相邻像素的亮度值通过最小二乘法来计算a、b和c;例如,如果沿着给定方向的矢量,关于该亮度(或色度)的亮度级别(或色度)的改变是y=ax+b类型的,而像素p(0,0)的值将采取在位置(0,0)处来自建模y=ax+b的值。
当使用如图5所示的附加模式时,重复迭代这些操作(标识沿着指向像素p(x,y)的矢量放置的相邻像素),然后计算像素p(x,y)的亮度值,以便计算预测块的其他像素p(x,y)的亮度值。
该空间预测处理例如实现在如图6所示的编码器中。该编码器(标记为1)包含用于检测冗余预测模式的模块10、能够产生如先前所定义的附加模式并且用所述附加模式替换每对冗余模式的冗余模式之一的模块11、用于对每个可用的空间预测模式确定预测块并且根据比特率失真优化标准选择预测块之一的模块12、用于从预测块和当前块产生残差块的差分模块13、用于进行变换和/或量化以产生经量化的残差块的模块14以及产生要插入到要传送的数据流中的经编码的当前块的熵编码模块15。
对于熵编码,编码器一般产生用于定义将用其来对残差块进行编码的比特的数量的预测模式的统计量。因此,编码器必须能够产生基本模式和附加模式的统计量。熵编码器将所使用的模式的索引编码在图像的比特流中,索引的最大数量一般对应于基本模式的数量。使用相同的索引i来指出基本模式或替换它的附加模式。
在图7中概述了通过图6的编码器实现的步骤:
-再现图2的步骤E1至E4以产生当前块的预测块;
-在步骤E5中,根据当前块和预测块确定残差块;
-在步骤E5中对所生成的残差块进行量化,然后进行变换;
-最后在步骤E7中,通过熵编码器对经量化的残差块进行编码。
该空间预测处理例如实现在如图9所示的解码器中。该解码器(标记为2)包含用于检测冗余预测模式的模块20、能够产生如先前所定义的附加模式并且用所述附加模式替换每对冗余模式的冗余模式之一的模块21、能够从当前块的预测模式索引确定预测块的预测模块22、能够产生对应于要解码的当前块的残差块以及当前块的预测模式索引的熵编码模块23、用于对经解码的残差块进行逆变换和/或逆量化的模块24以及添加来自预测模块22和模块24的像素块以便产生经解码的当前块的模块25。
对于接收,解码器在其接收比特流时特别地接收所使用的预测模式的索引i。因为其执行与编码器相同的冗余模式检测操作,并且如有必要,执行与编码器相同的基本模式的替换操作,所以其将能够知道该索引指定的是基本模式还是附加模式。
除了经编码的残差块之外,解码器还接收阈值λ或者阈值T1和T2。然后执行图8的步骤:
-步骤E’1:对与当前块相对应的所述残差块以及指定当前块的预测模式的索引进行熵解码;
-步骤E’2:对经解码的残差块进行逆量化和/或逆变换(DCT离散余弦变换);
-步骤E’3至E’4对应于图2的步骤E1至E2:检测冗余模式,并且用附加模式替换冗余模式;
-步骤E’5:根据步骤E’1的经解码的模式索引确定预测块;以及
-步骤E’6:根据所变换的残差块和预测块来确定当前块。
根据本发明的编码器1和解码器2例如实现在具有诸如一个或多个微处理器或CPU、随机存取存储器或RAM、非易失性ROM型存储器以及通过地址和数据总线链接的一个或多个输入/输出接口的硬件组件的计算机平台上。该平台还可以包括人机接口。该平台一般包含操作系统和微代码。根据一种实现实施例,实现特定于本发明的方法的步骤的算法存储在ROM存储器中。当加电时,微处理器加载并运行这些算法的指令。
根据变型,符合本发明的编码器和解码器根据单纯的硬件实现方式来实现,例如实现为专用组件(例如ASIC(专用集成电路)或FPGA(现场可编程门阵列)或VISI(超大规模集成电路))或者集成到设备中的若干电子组件的形式,甚至实现为硬件元件和软件元件混合的形式。
虽然关于不同的具体实施例描述了本发明,显然绝不是对其进行限制,并且其包含所述部件的所有技术等效物以及它们的组合(如果后者落入本发明的范围内)。
在该说明书中,使用比特率失真优化标准来选择用于当前块的预测块。自然可以使用其他标准,例如比特率优化标准或失真优化标准。

Claims (16)

1.一种对被称为当前块的、图像的像素的块的空间预测方法,该方法使用基于当前块的相邻像素的多个空间预测模式,包含以下步骤:
a)根据所述空间预测模式中的每一个来确定(E3)当前块的预测块;以及
b)根据预定的标准来选择(E4)所述预测块之一,
其特征在于,在步骤a)和b)之前,所述方法还包含以下步骤:
c)检测产生相似预测块的冗余空间预测模式;以及
d)对于每对冗余空间预测模式,产生被称为附加模式的、区别于其他空间预测模式的空间预测模式,并且用附加模式替换(E2)冗余空间预测模式之一。
2.根据权利要求1所述的方法,其中,检测冗余空间预测模式包含以下步骤:
-确定每个空间预测模式的预测块;
-两个两个地比较所确定的预测块,由此对每对预测块确定代表该对的两个预测块之间的差异的值(emax);以及
-对于一对预测块,如果该值小于第一预定的阈值(λ),则将对应于该对的两个预测块的两个空间预测模式视为是冗余的。
3.根据权利要求1所述的方法,其中,检测冗余空间预测模式根据所述空间预测模式所基于的相邻像素的亮度和/或色度的值来执行。
4.根据权利要求3所述的方法,其中,检测冗余空间预测模式包含以下步骤:
-计算被称为第一平均值(μi)的、第一空间预测模式所基于的相邻像素的亮度值或色度值的平均值;
-计算被称为第二平均值(μj)的、第二空间预测模式所基于的相邻像素的亮度值或色度值的平均值;
-计算第一平均值和第二平均值之间的差异的绝对值;以及
-如果差异的绝对值小于第二预定阈值(T2),则所述第一和第二空间预测模式是冗余空间预测模式。
5.根据权利要求4所述的方法,其中,在第一或第二平均值的计算步骤之前,冗余空间预测模式的检测步骤包含:
-第一或第二空间预测模式所基于的相邻像素的亮度值或色度值的最大差异(δi,δj)的计算步骤;
-如果所述最大差异大于或等于第三预定阈值(T1),则从空间预测模式移除所述第一或第二空间预测模式。
6.根据权利要求1至5中的任一项所述的方法,其中,通过执行以下步骤来创建替换给定空间预测模式的附加模式:
-在与要替换的空间预测模式的预测方向相反的方向上将所述要替换的空间预测模式所基于的相邻像素的区域扩展1个像素,由此以便获得附加模式所基于的相邻像素的集合。
-检查所述附加模式和所述空间预测模式是否是不冗余的;
-如果所述附加模式和所述空间预测模式是冗余的,则再次开始扩展步骤直至所述附加模式和所述预测模式不是冗余的为止。
7.根据权利要求6所述的方法,其中,扩展步骤最多只重复迭代预定次数。
8.根据权利要求6或7所述的方法,其中,通过以下步骤执行根据附加模式的预测块的像素p的值的计算:
-在附加模式的相邻像素集合的像素中,标识沿着指向像素p的矢量并且平行于附加模式的预测的方向存在的相邻像素;以及
-根据所标识的相邻像素的值来计算预测块的像素p的值。
9.根据权利要求8所述的方法,其中,通过所标识的相邻像素的值的插值函数来计算像素p的值。
10.一种用于对被称为当前块的、图像的像素的块进行编码的方法,包含以下步骤:
-确定(E1至E4)当前块的预测块;
-根据所述当前块和所述预测块来确定(E5)残差块;
-根据量化步幅对残差块进行变换和量化(E6);以及
-对经量化的残差块进行熵编码(E7),
其特征在于,根据权利要求1至9中的任一项来确定当前块的预测块。
11.根据其本身取决于权利要求2或权利要求5的权利要求10所述的方法,其中,在包含像素的经编码的块的数据流中对第一预定阈值、所使用的空间预测模式的索引或者所述第二和第三预定阈值进行编码。
12.根据权利要求11所述的方法,其特征在于,所述第二和第三预定阈值取决于所述量化步幅。
13.一种用于对对应于被称为当前块的、图像的像素的块的经编码的残差块进行解码的方法,包含以下步骤:
-对所述残差块进行熵解码(E’1);
-对经解码的残差块进行逆量化和逆变换(E’2);
-确定(E’3至E’6)当前块的预测块;以及
-根据所述经解码的残差块和所述预测块来确定(E’7)当前块,
其特征在于,根据权利要求1至9中的任一项来确定当前块的预测块。
14.一种被称为当前块的、图像的像素的块的根据基于当前块的相邻像素的多个空间预测模式的空间预测设备,包含:
-用于根据所述空间预测模式中的每一个来确定当前块的预测块并且根据预定的标准来选择所述预测块之一的模块(12),
其特征在于,其还包含所述确定模块的上游,
-用于检测产生相似预测块的冗余空间预测模式的模块(10);以及
-能够对每对冗余空间预测模式产生被称为附加模式的、区别于其他空间预测模式的空间预测模式并且用附加模式替换冗余空间预测模式之一的模块。
15.包含根据权利要求14所述的预测设备的图像的像素的块的编码器。
16.包含根据权利要求14所述的预测设备的比特流的解码器。
CN201380036440.6A 2012-07-04 2013-06-27 具有增加数量的可能编码模式的空间预测 Active CN104488268B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1256406 2012-07-04
FR1256406 2012-07-04
PCT/EP2013/063546 WO2014005930A1 (en) 2012-07-04 2013-06-27 Spatial prediction with increased number of possible coding modes

Publications (2)

Publication Number Publication Date
CN104488268A true CN104488268A (zh) 2015-04-01
CN104488268B CN104488268B (zh) 2018-07-17

Family

ID=47429864

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380036440.6A Active CN104488268B (zh) 2012-07-04 2013-06-27 具有增加数量的可能编码模式的空间预测

Country Status (6)

Country Link
US (1) US9848204B2 (zh)
EP (1) EP2870753B1 (zh)
JP (2) JP2015526004A (zh)
KR (1) KR102231969B1 (zh)
CN (1) CN104488268B (zh)
WO (1) WO2014005930A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3148190A1 (en) * 2015-09-25 2017-03-29 Thomson Licensing Method and apparatus for intra prediction in video encoding and decoding
FI20165308A (fi) * 2016-04-11 2017-10-12 Nokia Technologies Oy Laitteisto ja tietokoneohjelmatuote videokoodausta ja -koodinpurkua varten, sekä menetelmä näitä varten
KR20230125341A (ko) 2016-10-11 2023-08-29 엘지전자 주식회사 영상 코딩 시스템에서 인트라 예측에 따른 영상 디코딩방법 및 장치
WO2018124850A1 (ko) * 2017-01-02 2018-07-05 한양대학교 산학협력단 예측 블록의 중복성을 고려한 화면 내 예측 방법 및 화면 내 예측을 수행하는 영상 복호화 장치
KR102304661B1 (ko) * 2019-12-24 2021-09-23 동서대학교 산학협력단 견고한 적대적 방어를 위한 공격 기술에 독립적인 적대적 훈련 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101467461A (zh) * 2006-04-11 2009-06-24 三星电子株式会社 基于多层的视频编码方法及其装置
EP2388999A2 (en) * 2010-05-17 2011-11-23 Lg Electronics Inc. New intra prediction modes
WO2012017858A1 (ja) * 2010-08-03 2012-02-09 ソニー株式会社 画像処理装置と画像処理方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7386048B2 (en) 2002-05-28 2008-06-10 Sharp Laboratories Of America, Inc. Methods and systems for image intra-prediction mode organization
JP4542447B2 (ja) 2005-02-18 2010-09-15 株式会社日立製作所 画像の符号化/復号化装置、符号化/復号化プログラム及び符号化/復号化方法
WO2005107267A1 (ja) 2004-04-28 2005-11-10 Hitachi, Ltd. 画像の符号化/復号化装置、符号化/復号化プログラム及び符号化/復号化方法
KR20070077955A (ko) 2006-01-25 2007-07-30 삼성전자주식회사 인트라 예측 모드 결정 방법 및 장치
JP4707118B2 (ja) 2007-03-28 2011-06-22 株式会社Kddi研究所 動画像符号化装置および動画像復号装置のイントラ予測方式
JP2008271371A (ja) 2007-04-24 2008-11-06 Sharp Corp 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法およびプログラム
TWI415478B (zh) * 2007-10-15 2013-11-11 Nippon Telegraph & Telephone 影像編碼裝置及解碼裝置、影像編碼方法及解碼方法,其程式與記錄有程式的記錄媒體
JP4797009B2 (ja) 2007-10-24 2011-10-19 日本電信電話株式会社 予測モード情報符号化方法,予測モード情報復号方法,これらの装置,およびこれらのプログラム並びにコンピュータ読み取り可能な記録媒体
KR101356448B1 (ko) 2008-10-01 2014-02-06 한국전자통신연구원 예측 모드를 이용한 복호화 장치
KR20100059038A (ko) 2008-11-25 2010-06-04 서울시립대학교 산학협력단 고속 모드 결정을 위한 h.264의 화면내 예측모드 처리방법
CN102668566B (zh) * 2009-10-22 2016-05-04 汤姆森特许公司 将dc帧内预测模式用于视频编码和解码的方法和装置
JP2011151682A (ja) 2010-01-22 2011-08-04 Sony Corp 画像処理装置および方法
US9215470B2 (en) 2010-07-09 2015-12-15 Qualcomm Incorporated Signaling selected directional transform for video coding
JP5007761B2 (ja) 2010-07-12 2012-08-22 ソニー株式会社 画像処理装置および方法、プログラム、並びに、記録媒体
US20150172653A1 (en) 2012-07-05 2015-06-18 Thomson Licensing Video coding and decoding method with adaptation of coding modes and corresponding encoder and decoder

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101467461A (zh) * 2006-04-11 2009-06-24 三星电子株式会社 基于多层的视频编码方法及其装置
EP2388999A2 (en) * 2010-05-17 2011-11-23 Lg Electronics Inc. New intra prediction modes
WO2012017858A1 (ja) * 2010-08-03 2012-02-09 ソニー株式会社 画像処理装置と画像処理方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
KAZUO SUGIMOTO: "Reduced number of intra chroma prediction mode", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11,7TH MEETING》 *
MOHAMMED GOLAM SARWER ET AL.: "A Novel Bit Rate Reduction Method of H.264/AVC Intra Coding", 《2010 3RD INTERNATIONAL CONGRESS ON IMAGE AND SIGNAL PROCESSING》 *
WEIJIA ZHU ET AL.: "ADAPTIVE INTRA MODES REDUCTION BY CLUSTERING FOR H.264/AVC", 《2011 18TH IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING》 *

Also Published As

Publication number Publication date
CN104488268B (zh) 2018-07-17
US9848204B2 (en) 2017-12-19
WO2014005930A1 (en) 2014-01-09
KR102231969B1 (ko) 2021-03-24
JP6698053B2 (ja) 2020-05-27
KR20150034144A (ko) 2015-04-02
JP2017195638A (ja) 2017-10-26
US20150195567A1 (en) 2015-07-09
EP2870753A1 (en) 2015-05-13
JP2015526004A (ja) 2015-09-07
EP2870753B1 (en) 2018-04-25

Similar Documents

Publication Publication Date Title
CN101682774B (zh) 视频编码方法和解码方法、视频编码装置和解码装置
KR100716999B1 (ko) 영상의 대칭성을 이용한 인트라 예측 방법, 이를 이용한영상의 복호화, 부호화 방법 및 장치
CN100584027C (zh) 用于视频内预测编码和解码的方法和装置
EP3448038B1 (en) Decoding method for intra predicting a block by first predicting the pixels at the boundary
US9641844B2 (en) Method and apparatus for selecting a prediction mode, and image encoding/decoding method and apparatus using same
KR100773761B1 (ko) 동영상 부호화 장치 및 방법
CN102124495B (zh) 用于对数字化图像序列进行编码的方法
KR101351714B1 (ko) 비트 스트림 복호 방법
CN104702962A (zh) 帧内编解码方法、编码器和解码器
CN104869409A (zh) 推导帧内预测模式的方法和设备
KR101379186B1 (ko) 인트라 예측 부호화/복호화 방법 및 장치
JP6698053B2 (ja) 符号化及び復号化のための方法及び装置
CN103348651A (zh) 具有降低复杂性的变换单元分割的方法及装置
US20110243227A1 (en) Moving picture decoding method and device, and moving picture encoding method and device
CN101009839A (zh) 基于正交变换和向量量化的视频编码/解码的方法和设备
JPWO2012081162A1 (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
CN104982035A (zh) 用于对数字图像的序列进行编码的方法
KR101596085B1 (ko) 적응적인 인트라 예측을 이용한 영상 부호화/복호화 장치 및 방법
KR20200128577A (ko) 인트라 예측 장치, 화상 부호화 장치, 화상 복호 장치 및 프로그램
KR101911587B1 (ko) 적응적인 인트라 예측을 이용한 영상 부호화/복호화 장치 및 방법
CN101207816A (zh) 一种选择帧内预测模式的系统及方法
JP4367354B2 (ja) 画像符号化装置
Zhou et al. A HEVC steganography algorithm based on DCT/DST coefficients with BLB distortion model
CN105144712A (zh) 用于编码数字图像序列的方法
KR101629999B1 (ko) 무손실 비디오 부호화/복호화 방법 및 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20190925

Address after: Delaware, USA

Patentee after: Interactive Digital VC Holding Company

Address before: Icelemulino, France

Patentee before: Thomson Licensing Company

TR01 Transfer of patent right