CN104982035A - 用于对数字图像的序列进行编码的方法 - Google Patents

用于对数字图像的序列进行编码的方法 Download PDF

Info

Publication number
CN104982035A
CN104982035A CN201280077815.9A CN201280077815A CN104982035A CN 104982035 A CN104982035 A CN 104982035A CN 201280077815 A CN201280077815 A CN 201280077815A CN 104982035 A CN104982035 A CN 104982035A
Authority
CN
China
Prior art keywords
pixel
value
image
fritter
nlm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280077815.9A
Other languages
English (en)
Other versions
CN104982035B (zh
Inventor
E.维格
P.阿蒙
A.考普
A.胡特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Publication of CN104982035A publication Critical patent/CN104982035A/zh
Application granted granted Critical
Publication of CN104982035B publication Critical patent/CN104982035B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

本发明提及用于对数字图像（I）的序列进行编码的方法，其中，该方法使用用于基于之前处理的图像区域中的像素的重构值来预测图像（I）中的像素（P1）的值的很多个预测模式，其中，像素（P1）的预测值和原始值之间的预测误差（PE）被处理，用于生成数字图像（CI）的经编码的序列。本发明的特征在于，预设的预测模式（NLM）是基于单个图像（I）的像素的帧内预测模式，在预测的预测模式（NLM）中。在步骤i）中，针对单个图像（I）中的具有重构值的像素的区（R）和针对图像区域的模板（TE），把要被基于模板（TE）预测的第一像素（P1）周围的区（R）中的像素的第一小块（PA1）与若干第二小块（PA2）进行比较，每个第二小块（PA2）被分配给区（R）中的第二像素（P2）并且由基于模板（TE）的第二像素（P2）周围的区（R）中的像素组成，从而确定用于每个第二像素（P2）的相似度测量（SM），相似度测量（SM）描述被分配给相应的第二像素（P2）的第二小块（PA2）的像素的重构值与第一小块（PA1）的像素的重构值之间的相似度。在步骤ii）中，基于第二像素（P2）的值的加权和来确定每个第一像素（P1）的预测值，其中，通过加权因数来对每个第二像素（P2）的值进行加权，加权因数取决于由用于相应的第二像素（P2）的相似度测量（SM）所描述的减小的相似度而单调地减小。

Description

用于对数字图像的序列进行编码的方法
技术领域
本发明提及用于对数字图像的序列进行编码的方法以及提及对应的解码方法。更进一步地，本发明提及用于对数字图像的序列进行编码的设备和用于对数字图像的序列进行解码的设备。
背景技术
在许多不同的应用中，例如，在监视系统中或在医疗影像设备中，产生大量的图像和视频数据。因此，存在压缩该数据以便节约存储容量或以在传送该数据时减少带宽的需要。
在现有技术中，存在很多标准以便压缩图像和视频数据。各标准的突出的示例是H.264/AVC（AVC=高级视频编码，参见文献[1]）以及将可能也被标准化为ITU-T建议H.265的标准草案HEVC（HEVC=高效率视频编码，还参见文件[2]）。标准HEVC还将允许对经无损编码的图像序列的实时传送。标准HEVC和H.264/AVC包括基于同一图像中的块的不同的帧内预测模式。在那些模式中，针对邻近的已经被重构的像素来预测当前块。编码器通常测试不同的预测类型并且选取相对于某个失真准则而具有最小代价的一个类型。针对当前块构建预测误差并且将预测误差与预测类型一起传送到解码器。逐块（block-wise）预测具有以下缺点：离被用于预测的参考像素远的像素不与参考像素良好相关。因此，对于那些像素，预测误差通常更高。为了改善预测，可以减少块的尺寸。然而，这造成图像中的更高数量的块，其导致用于预测类型的信令的更高的比特率。更进一步地，如果参考像素包含噪声，则那些像素对于预测而言而变得次佳。
在文献[3]中，描述了基于模板匹配的帧内预测模式。在该方法中，基于相邻于候选块和要被预测的块的邻近像素的模板，在搜索区域中确定被用于当前块的预测的候选块。与要被预测的块的模板相比而具有最好地匹配的模板的候选块将被用于预测。该预测方案具有以下缺点：所预测的块仍是有噪声的，其对于有噪声的图像的压缩而言是次佳的。
在文献[4]中提出了简单且有效率的逐像素（pixel-wise）预测方法。名为LOCO-I的该预测方法使用简单且直接的前向算法来基于三个周围的像素预测一像素。该预测方法对于用于有噪声的图像的压缩而言也不是最佳的。
在文献[5]中，呈现了用于预测的基于最小二乘的方法。在那些方法中，执行要被预测的邻近的重构像素的加权平均。为了得到用于平均处理的最佳权重，必须求解复杂的方程组，造成相当多的计算开销。因此，在实际的应用中，不使用这样的预测方法。
发明内容
本发明的目的是提供克服以上缺点并且使能具有低复杂度的有效率压缩的对数字图像的序列的编码。更进一步地，本发明的目的是提供对应的解码方法以及用于编码的设备和用于解码的设备。
由独立专利权利要求来解决该目的。在从属权利要求中限定本发明的优选实施例。
根据本发明的用于对数字图像的序列进行编码的方法使用用于基于之前处理的图像区域中的像素的重构值来预测图像中的像素的值的很多预测模式（即，至少一个预测模式）。术语“像素的重构值”要被宽泛地解释并且取决于所使用的编码方案。对于无损编码而言，像素的重构值与像素的原始值对应。在有损编码的情况下，像素的重构值与像素的经编码的并且之后经解码的值对应。而且，像素的重构值还可以提及在对应的预测模式中确定的像素的预测值。在当预测当前像素时还未执行相应的像素的编码和解码的情况下，使用像素的预测值。
在编码方法中，像素的预测值和原始值之间的预测误差被处理，用于生成经编码的数字图像序列。
本发明的方法的特征在于特殊的预设的预测模式，预设的预测模式是基于单个图像的像素的帧内预测模式。该预设的预测模式包括如在以下阐述的步骤i）和ii）。
在步骤i）中，针对单个图像中的具有重构值的像素的区和针对图像区域的模板，把要被基于模板预测的第一像素周围的区中的像素的第一小块与若干第二小块进行比较，每个第二小块被分配给区中的第二像素并且由基于模板的第二像素周围的区中的像素组成。基于该比较，确定用于每个第二像素的相似度测量，相似度测量描述被分配给相应的第二像素的第二小块的像素的重构值与第一小块的像素的重构值之间的相似度。
在根据本发明的方法的步骤ii）中，基于第二像素的（重构）值的加权和来确定每个第一像素的预测值，其中，通过加权因数来对每个第二像素的值进行加权，加权因数取决于由用于相应的第二像素的相似度测量所描述的减小的相似度而单调地减小。此处并且在以下，术语“单调地减小”意味着加权因数将至少针对相似度的更大减小而减小。换言之，对于相似度中的更小减小，可以发生加权因数保持恒定。
根据本发明的编码方法基于以下思想：已知用于对像素降噪的非局部均值算法（参见文献[6]）可以被适配以便被用于预测。为了这么做，被用于预测的模板被限制到图像中的只包括像素的重构值的（因果）区。本发明的方法提供有效率的编码，而没有如在现有技术方法中的情况那样求解线性方程组的需要。更进一步地，在被用于预测第一像素的第二像素的数量上不存在限制。而且，不存在将边信息从编码器传送到解码器的需要，因为根据本发明的预测方案是后向自适应的。更进一步地，基于样本地执行预测，从而预测误差不取决于像素位置。
在本发明的一个实施例中，加权因数是相似度测量或相似度测量的近似值，从而不是必须执行加权因数的分离的计算。然而，加权因数还可以是在步骤i）中确定的所有相似度测量上归一化的相似度测量或在步骤i）中确定的所有相似度测量上归一化的相似度测量的近似值。
在本发明的另一实施例中，针对预定的图像块中的第一像素逐块地执行预设的预测模式。因此，该方法可以容易地与基于块的编码方案组合。
在特定地优选实施例中，相似度测量基于第一小块和相应的第二小块中的对应的（重构）像素之间的绝对或平方差之和。优选地，绝对或平方差之和被包括在相似度测量中作为基数的负指数的至少一部分。为了相似度测量的容易且直接的计算，该基数优选地具有值2。然而，也可以使用用于该基数的其它值。
在本发明的特定地优选实施例中，基于整数运算来确定步骤i）中的相似度测量和/或步骤ii）中的每个第一像素的预测值。这使能具有低计算工作的编码。在详细的描述中，描述了在本发明的编码方法中如何可以实现整数运算的示例。
在本发明的另一实施例中，在预先限定的表格中的查找被用于在步骤i）中确定相似度测量。通过使用这样的预先限定的表格，用于编码的计算时间可以被进一步减少。优选地，该表格针对第一小块和相应的第二小块中的对应像素之间的绝对或平方差之和的值而提供相似度测量的值。
在特定地优选实施例中，预设的预测模式被用于图像的序列的无损编码。
在该情况下，在步骤i）中使用的像素的重构值等于像素的原始值。
在本发明的另一实施例中，预设的预测模式被用于图像的序列的有损编码。优选地，有损编码包括（经变换的）预测误差的变换和/或量化的已知步骤，其中，预测误差的逆变换和/或去量化被执行，用于确定像素的重构值。在用于像素的预测误差还未经受变换和/或量化的情况下，该像素的预测值被用作重构值。
在特定地优选实施例中，预测误差的处理包括增强编码效率的熵编码步骤。
在本发明的另一实施例中，基于以下任意准则来针对要被预测的每个第一像素确定：预设的预测模式还是另一预测模式要被用于第一像素；和/或使用第一预测模式的哪个参数或哪些参数。
在本发明的另一变形中，在步骤i）中确定的所有相似度测量是零的情况下，与预设的预测模式不同的另一预测模式被用于第一像素。
在本发明的方法中，预设的预测模式的参数中的一个或更多个可以是固定的和/或可变的。所述一个或更多个参数优选地包括模板的形状和尺寸和/或区的形状和尺寸和/或提及相似度测量的确定和/或第一像素的预测值的确定的一个或更多个参数。例如，参数可以提及被用于计算相似度测量的以上描述的基数指数的值。
在本发明的另一实施例中，在图像的编码序列中信令预设的预测模式和/或预设的预测模式的参数。在详细的描述中，描述用于信令预测模式或对应的参数的不同变形。
在本发明的特定地优选变形中，预设的预测模式被用作标准HEVC/H.265中的预测模式，对于该标准，目前存在草案版本。
除了以上方法之外，本发明还提及用于对通过本发明的方法或者本发明的方法的一个或更多个优选实施例来解码的数字图像的序列进行解码的方法。在解码方法中，从以下来重构预测误差：图像的经编码的序列；以及在编码期间通过预设的预测模式处理的并且经受包括如在以下描述的步骤i）到iii）的特殊的解码处理的图像的经编码的序列中的像素的值。
在步骤i）中，针对单个图像中的、具有之前在解码处理中已经确定的经解码的值的像素的区和针对图像区域的模板，把要被基于模板预测的第一像素周围的区中的像素的第一小块与若干第二小块进行比较，每个第二小块被分配给区中的第二像素并且由基于模板的第二像素周围的区中的像素组成，从而确定用于每个第二像素的相似度测量，相似度测量描述被分配给相应的第二像素第二小块的像素的经解码的值与第一小块的像素的经解码的值之间的相似度。
在步骤ii）中，基于第二像素的（经解码的）值的加权和来确定每个第一像素的预测值，其中，通过加权因数来对每个第二像素的值加权，加权因数取决于由用于相应的第二像素的相似度测量所描述的减小的相似度而单调地减小。
在步骤iii）中，通过用于第一像素的对应的重构预测误差来校正每个第一像素的预测值，造成第一像素的经解码的值。
本发明还提及用于对数字图像的序列进行编码和解码的方法，其中，通过本发明的编码方法来对数字图像的序列进行编码，并且其中，通过本发明的解码方法来对数字图像的经编码的序列进行解码。
本发明还包括用于对图像的序列进行编码的设备，其中，该设备包括用于执行用于基于之前处理的图像区域中的像素的重构值来预测图像中的像素的值的很多预测模式的装置，其中，像素的预测值和原始值之间的预测误差被处理，用于生成数字图像的经编码的序列。
在该设备中，用于执行很多预测模式的装置包括用于执行预设的预测模式的装置，预设的预测模式是基于单个图像的像素的帧内预测模式，其中，所述用于执行预设的预测模式的装置包括：
被适配为执行步骤的用于确定相似度测量的装置，在该步骤中，
- 针对单个图像中的具有重构值的像素的区和针对图像区域的模板，把要被基于模板预测的第一像素周围的区中的像素的第一小块与若干第二小块进行比较，每个第二小块被分配给区中的第二像素并且由基于模板的第二像素周围的区中的像素组成，从而确定用于每个第二像素的相似度测量，相似度测量描述被分配给相应的第二像素的第二小块的像素的重构值与第一小块的像素的重构值之间的相似度；
被适配为执行步骤的用于预测第一像素的值的第二装置，在该步骤中，
- 基于第二像素的值的加权和来确定每个第一像素的预测值，其中，通过加权因数来对每个第二像素的值加权，加权因数取决于由用于相应的第二像素的相似度测量所描述的减小的相似度而单调地减小。
以上的编码设备优选地包括用于执行根据本发明的编码方法的一个或更多个优选实施例的一个或更多个附加装置。
本发明还提及用于对通过本发明的方法编码的数字图像的序列进行解码的设备。该设备包括解码装置，解码装置用于从图像的经编码的序列重构预测误差并且用于对在编码期间通过预设的预测模式处理的图像的经编码的序列中的像素的值进行解码。
该设备的解码装置包括：
被适配为执行步骤的用于确定相似度测量的装置，在该步骤中，
- 针对单个图像中的、具有之前在解码处理中已经确定的经解码的值的像素的区和针对图像区域的模板，把要被基于模板预测的第一像素周围的区的像素的第一小块与若干第二小块进行比较，每个第二小块被分配给区中的第二像素并且由基于模板的第二像素周围的区中的像素组成，从而确定用于每个第二像素的相似度测量，相似度测量描述被分配给相应的第二像素的第二小块的像素的经解码的值与第一小块的像素的经解码的值之间的相似度；
被适配为执行步骤的用于预测第一像素的值的装置，在该步骤中，
- 基于第二像素的值的加权和来确定每个第一像素的预测值，其中，通过加权因数来对每个第二像素的值加权，加权因数取决于由用于相应的第二像素的相似度测量所描述的减小的相似度而单调地减小；
被适配为执行步骤的用于校正第一像素的预测值的装置，在该步骤中，
- 通过用于第一像素的对应的重构预测误差来校正每个第一像素的预测值，造成第一像素的经解码的值。
本发明还包括用于对数字图像的序列进行编码和解码的编解码器，编解码器包括根据本发明的编码设备和根据本发明的解码设备。
附图说明
现在将关于随附附图来描述本发明的实施例，其中：
图1图解了基于非局部均值算法的用于图像降噪的已知的方法；
图2示出了根据本发明的预测方法中可以使用的不同的模板；
图3图解了基于本发明的实施例的像素的预测；
图4是示出基于本发明的实施例的增强的预测的流程图；
图5是实现根据本发明的预测模式的编码方法的示意性图示；
图6是实现根据本发明的预测模式的解码方法的示意性图示；
图7图解了根据本发明的预测模式在基于块的无损编码中的使用；
图8图解了在基于块的无损编码中的根据本发明的预测方法；以及
图9是根据本发明的实施例的编码和解码设备的示意性图示。
具体实施方式
在详细描述本发明之前，阐述被用于图像降噪的现有技术方法。如稍后描述的本发明基于使用用于预测像素值的该现有技术方法的各方面的想法。图1示出了将基于在文献[6]中描述的所谓的非局部均值算法（也简称为NLM）来降噪的图像。在该NLM降噪方法中，通过对对应图像的局部以及非局部邻近的所有像素进行平均来建立用于噪声像素的经降噪的版本的估计。该平均基于考虑了有噪声的像素的很多局部邻近像素和围绕该有噪声的像素的预定区域中的其它像素的很多非局部邻近像素之间的相似度的加权和。以该方式，NLM算法利用以下事实：相似的图像内容被呈现在图像的不同区域中并且因此将在平均处理期间被考虑。根据图1，具有像素值g[i]的像素i将被降噪。为了这么做，计算像素i周围的区域S中的所有像素的加权平均。基于围绕有噪声的像素的第一小块（patch）和围绕针对其要计算权重的像素的第二小块来计算用于计算该平均的权重。小块基于预定的模板，预定的模板是图1中由虚线边界指示的正方形。图1示出了作为示例的分别具有对应的像素值g[j1]、g[j2]和g[j3]的像素j1、j2和j3。为了那些像素的权重的计算，把围绕像素的基于模板的对应小块与围绕有噪声的像素i的小块（由实线指示该小块）进行比较。为了计算相似度，把围绕像素i的小块中的像素与围绕区域S中的其它像素的小块的对应像素进行比较。在图1中所示出的示例中，像素j3将得到比像素j1和j2更高的权重。这是因为像素i的小块和像素j3的小块处于沿着图像中的同一边界，并且因此与像素i的小块对于像素j1的小块或像素i的小块对于像素j2的小块相比彼此更加相似。
以下给出对以上所描述的NLM算法的正式描述。平均处理基于以下等式：
其中，g[i]是像素i的有噪声的值，pNLM[i]是经NLM处理的图像（即，像素i的经降噪的值），并且S是用于降噪的区（通常为(2Dmax + l)*(2Dmax + 1)个样本的正方形区域，其中Dmax是最大空间距离）。更进一步地，w[i,j]是用于区域S中的样本/像素的权重。权重w[i,j]被限定为：
其中确定具有中心像素i的个像素的正方形小块。为了欧几里得范数的计算，使用整个正方形邻近：
其中，
其中(x, y)提及像素在图像中的二维位置。
根据以上方程，清楚的是，对于非局部平均，具有相似的邻近的像素得到更高的权重，而具有不同的邻近的像素得到更低的权重。
与如在以下描述的本发明相反，就考虑预定的编码序列的意义而言，以上算法不遵循因果关系。即，以上降噪方法不考虑以下事实：编码方法只可处理之前已经被至少部分地编码并且被重构的像素，因为否则适当的解码是不可能的。
在以下描述的预测方法通过考虑因果关系来适配以上的NLM算法。该预测方法基于帧内预测并且针对要被预测的像素使用围绕已经重构的像素的预定区中的像素的小块。该预测方法被实现为编码方法中的预测模式并且可以被特定地使用在视频编码（草案）标准HEVC/H.265中。
图2图解了用于在本发明的实施例中可以使用的小块的模板的不同形状和尺寸SI1、SI2、...、SI6。在该图中，图像中的要被预测的第一像素被指定为P1并且具有像素值X。在该图中，编码顺序是逐个线的，其中，像素P1上方的各线中的所有像素和像素P1的在该像素的左侧处的线中的所有像素已经被编码。为了计算相似度测量，可使用基于根据尺寸SI1到SI6的模板的小块。对于每个形状和尺寸，对应的模板TE被指示为虚线像素。即，形状和尺寸SI1的模板包括像素a、b、c，形状和尺寸SI2的模板包括像素a、b、c、d，形状和尺寸SI3的模板包括像素e、a、b、c、d、f，等等。在以下，术语权重与如在权利要求中限定的相似度测量对应。更进一步地，通过区中的权重之和归一化的权重与如在权利要求中限定的加权因数对应。
图2还图解了区R，区R限定当预测用于像素P1的值时考虑的那些像素的邻近区。根据区R，与基于模板TE的相邻于那些像素的第二小块对应的像素a、b和c被用于计算相似度测量SM（参见图3）。即，将包括像素a、b和c的第一小块与围绕像素a的像素（即，像素e、g和b）的第二小块进行比较，与围绕像素b的像素（即，像素g、k和h）的第二小块进行比较，并且与围绕像素c的第二小块（即，像素b、h和f）进行比较，以便确定第一小块和相应的第二小块之间的相似度测量/权重。因此，邻近区基于围绕限定模板的像素的小块。对于其它模板尺寸SI2到SI6而言，也是该情况。因此，模板尺寸的限定还与邻近区尺寸的限定对应。
在图3中进一步图解用于预测第一像素P1的相似度测量的以上描述的计算。图3针对像素P1的预测使用基于图2中的尺寸SI2的模板的小块。那些模板具有L形状并且包括四个像素。为了确定像素P1的预测值，将包括围绕P1的像素a、b、c和d的第一小块与图1中的围绕像素n、s和w的第二小块进行比较。那些像素是第二像素P2。通过将第一小块PA1的像素值与对应像素P2周围的第二小块的对应像素值进行比较来计算用于那些像素中的每个的对应权重或相似度测量SM。例如，对于具有值s的像素P2，PA2的像素值a和PA1的a之间的差、PA2的像素值m'和PA1的像素值g的差、PA2的像素值n'和PA1的像素值c的差、以及PA2的像素值o'和PA1的像素值d的差被求和，用于计算具有值s的像素p2的权重。在图3的实施例中，与图2中的尺寸SI6中的由虚线指示的像素对应的区中的所有像素被用作针对其计算权重的第二像素。
由于不存在关于要被预测的像素P1的知识，与图1的方法相反，只有非对称小块被用于计算权重。由于预测方法必须被用在编码器和解码器两者中，因而必须相对于预测计算复杂度小心地做出第二小块的小块尺寸和区的选取，因为增加第二小块的数量或小块尺寸可能显著地增加用于预测的运行时间。为了准确的预测，小块尺寸的增加还可以要求被用于取平均的第二小块的数量上的显著增加。这是因为如果小块变得更大，则小块的结构复杂度变得更高，如此它变得更难以找到相似的小块。通过使用小块/模板的不同尺寸并且只考虑用于计算像素值的因果像素，如相对于图1的NLM算法所描述的计算适配于本发明的预测方法。更进一步地，为了加速计算，在本发明的优选实施例中使用一些简化。使用在图1中示出的NLM算法的原始方程的问题是，该实现要求浮动或双运算。这是因为用于降噪的原始NLM算法要求范围在0和1之间的权重。为了简化这些计算，使用用于计算被预测的像素值pNLM[i]的以下方程：
权重/相似度测量w[i, j]被认为是整数值。为了权重的计算必须做出第二修改以便支持该计算的整数版本。通过权重w[i, j]的以下计算来描述该修改：
根据方程（3）但是利用不同的小块尺寸，在优选实施例中将项限定为。更进一步地，可以使用用于指数函数的不同的基数值b。此外，可以允许不同的距离测量函数d(. , .)。以上方程中的因数a是比例因数，因为指数函数的结果可以迅速地变得非常小，如果使用整数运算实现，则这将把粗糙量化引入到权重中。以上的调节参数hd取决于所使用的距离测量。在优选的实施例中，使用浮点运算来计算权重w[i, j]，但是权重被取整到整数值。
可以通过跳过对距离的归一化来简化用于降噪的原始NLM算法的该测量的计算。即，如由以下所描述的平方误差之和SSE：
可被由以下所描述的绝对距离之和SAD的测量所替代：
在特定地优选实施例中，参数a的值将被选取为高以便得到不同的整数值。更进一步地，基数b将被选取为低，例如，2或“e”。
以上的尺寸SI1到SI6还给出了所谓的邻近尺寸，其提及以下像素，针对这些像素，将周围的像素的小块与像素P1周围的像素的小块进行比较。根据邻近尺寸SE1来处理的像素被包括在区R中。
在另一优选实施例中，根据以上的方程（7）计算的权重在那些权重比预定的阈值低的情况下被丢弃。这减少了用于计算预测器（predictor）的运算的数量。
在以下，描述对以上描述方法的进一步的增强。图4示出了其中在处理期间考虑不规则情况的用于像素的增强的预测的流程图。该预测以像素P1开始于步骤SI。在步骤S2中，确定像素P1是否是图像的边界处的界限像素BP。如果不是（分支N），则如以上所描述的那样在步骤S3中计算权重w[i, j]。在步骤S4中，确定是否所有权重是0。如果情况就是这样（分支Y），则在步骤S5中使用用于预测像素值的异常算法。如果并非所有的像素是0（分支N），则在步骤S6中使用规则的NLM算法。在像素P1是界限像素（出自步骤S2的分支Y）的情况下，则确定根本是否将使用NLM算法。任何准则都可以被用于该确定。例如，可以通过编码器中设置的对应标记来预先指示是否将使用NLM。在将使用NLM算法的情况下（分支Y），在步骤S8中确定用于界限像素的新的NLM参数。之后，该方法以步骤S3、S4、S5和S6继续。在根据步骤S7将不使用NLM的情况下（分支N），在步骤S9中使用用于界限像素的适当的异常算法
总之，在图4中的要被预测的像素是界限像素（其中并非所有所需要的参考像素都是可获得的）的情况下，选取另一算法用于该像素的预测，或NLM预测的一些参数被改变以满足对所需要的参考像素的可获得性的要求。如果确定要使用NLM算法，则如以上所描述的那样估计用于NLM平均的权重。如果至少一个权重不是0，则规则的NLM平均处理被执行用于对当前像素的预测。否则，异常算法被用于预测。在该情况下以及在界限像素的情况下，可实现异常预测算法的不同变形，即：
- 周围的像素的均值可以被用于预测；
- 已知的LOCO-I预测器（参见文献[4]）被用作对当前像素的预测，或者
- NLM预测器的参数可以被改变以便执行用于预测计算的新测试。
在以下，描述在本发明中使用的NLM预测方法的优选实施例。该实施例基于在图2中示出的小块尺寸和邻近尺寸SI1。为了预测器内的距离计算，使用绝对差之和SAD（参见方程（7））。代替使用指数基数，基数b=2被用于计算权重，并且通过3比特的右移位（shift）来实现被hd除（参见方程（5））。即，使用以下等式来计算权重：
其中i_X是要被预测的像素X的位置，并且其中j_α是像素α的位置，其中，α = {a, b, c}是被用于取平均的像素。通过使用以上方程（7）基于围绕像素α的小块的对应像素来计算dSAD。符号“>>3”表示以上提到的3比特的移位。为了计算像素X的预测值，使用基于以下方程的整数运算：
方程（9）中的项表示取整运算。
以上的符号“TableSAD”表示包括用于dSAD的不同值的预定的计算的一维表格。即，在该方法中计算差dSAD，并且之后，在该表格中做出查找以便计算以上的值TableSAD。因此，可以通过以下等式来描述的以上的表格运算：
以上的等式明确地表达函数dSAD在该表格的确定期间不被计算但是被用作用于该表格的一维索引。
将该表格缩放100000倍是必要的，因为指数项倾向于快速到小值，如果使用整数实现，则小值被粗糙地量化。在对于所有权重所有表格值都给出0的情况下，则使用用于除以0的逃避（escape）。在该情况下，将另一预测器用于像素X。
在以下，描述常规的编码和解码方法中的以上描述的预测方法的实现，其优选地基于标准草案HEVC/H.265。
图5示出了接收要被解码的图像I的序列的基于块的编码器。编码器在若干位置处包括开关1s，开关1s处于描述无损编码量的位置中，无损编码量使用本发明的预测方法。在开关NS被切换在第二位置中的情况下，执行已知的编码，其中由微分器获得的预测误差PE经受变换T和量化Q。然后，该预测误差经受熵编码EC，从而获得经编码的图像CI的序列。在该常规的编码中，使用与本发明的方法不同的另一预测方法。为了这么做，量化之后的预测误差被去量化并且经受逆变换IT。该重构的预测误差与来自预测模块的预测值组合，从而获得对应块的重构的像素值。这些重构的值被存储在缓冲器BF中并且在预测模块PR中被用于执行预测。然后，该模块PR中计算出的预测值被馈送到微分器DI以提供预测误差PE。更进一步地，环路滤波器LF被用于对由加法器AD获得的信号进行滤波。
在无损开关1s被放在如图5中所示的位置中的情况下，执行使用本发明的预测方法的无损编码。为了这么做，绕过用于变换T、量化Q、去量化DQ、逆变换IT和环路滤波器LF的各块。在该模式中，被馈送到加法器AD的重构的预测误差PE与原始的预测误差PE对应。更进一步地，被用于取平均的因果区中的像素的值是原始的像素，因为在解码期间原始的像素值是可获得的，因为编码是无损的。
环路滤波器块LF可以提及不同的环路滤波器，即，去块滤波器和SAO滤波器（SAO=样本自适应偏移）等。当使用无损编码时，在预测模块PR中使用基于以上描述的NLM算法的预测方法。图5中的虚线L图解了经编码的图像的序列中的无损和有损编码模式中的预测的参数的包括。这些参数也经受熵编码。可以分离地针对每个块、片（slice）、帧或序列，明确地信令以上的无损开关1s的状态。然而，也可从一些其它参数（例如，通过使用量化参数QP），针对每个块、片、帧或序列推断状态。例如，在量化参数具有0的值的情况下，这可是要使用无损模式的指示。
图6示出了由图5的编码器获得的图像CI的经编码的序列的解码器。首先，图像经受熵解码ED，造成预测误差PE。在无损编码的情况下，开关S处于如图6中所示的第一位置中。因而，由预测模块PR直接地使用预测误差。为了这么做，原始的像素值由加法器AD来获得并且被存储在缓冲器BF中。在缓冲器BF中所存储的值被预测模块PR用于进一步的预测。最终，获得与原始图像I相同的经解码的图像DI的序列。在有损编码的情况下，更多的开关被放在第二位置中，从而以已知的方式，去量化DQ、逆变换IT和环路滤波器LF被应用于该信号，以便在预测模块PR中执行另一预测。因而，在其中由于量化和变换而导致丢失一些信息的情况下，获得图像的经解码的序列。图6中的虚线L表示在由预测模块PR执行适当的预测所需要的图像的经编码的序列中原始地包括的参数的提供。在有损编码模式中，可以使用基于帧内预测以及基于帧间预测的已知预测技术。
图7图解了在基于块的无损编码方案中的以上描述的逐像素的NLM预测。在图7中，当前预测图像I的右下边缘中的块B。该块提及所谓的变换单元，其中，在使用有损编码模式的情况下，那些块中的所有像素经受变换。代替变换单元，该块也可以是编码单元或预测单元。具有白背景颜色并且排它地包括黑像素的块已经被重构并且被用于当前块B的预测。
图7示出了其中在块B中当前预测像素P1的情景。块B中的黑像素已经被重构，并且由于无损编码而导致提及原始的像素。以线扫描顺序执行图8中的预测，但是也可以使用其它扫描顺序。基于像素的NLM预测开始于上左像素和块B。使用所描述的NLM预测算法来预测该像素。通过原始的像素和预测的像素之间的差来计算上左像素的预测误差。之后，原始的像素被立即写到重构缓冲器中，以便被用于下一像素的预测等。因此，当预测图7中示出的像素P1时，该预测器可以仅使用由黑圈表示的已经可获得的像素用于预测。该过程继续，直到在块B中预测必须被压缩的所有白像素为止。
如以上提到的，根据本发明的预测方法要被实现在标准草案HEVC/H.264中。优选地，该预测方法被用于如以上描述的无损编码中。如果以无损编码方式对对应的编码单元进行编码，则如图5中示出的那样，编码器内的变换、量化和环路滤波被禁用。类似地，在解码器内也禁用逆变换、去量化和环路滤波。可以使用以下的选择，以便将NLM预测方法结合到HEVC语法中：
- 除了模式帧内和帧间之外还使用用于NLM预测的某个预测模式；
- 除了帧内预测中的所限定的预测类型之外还使用用于NLM预测模式的某个预测类型；
- HEVC语法内的某个预测模式或预测类型被本发明的预测模式所替代；
- 使用现有的预测模式和预测类型与NLM预测模式的组合；
- 某个值（例如，0）被用于量化参数。
NLM预测方法的不同参数可被发送作为边信息：
- 小块形状和小块尺寸；
- 邻近的形状和邻近的尺寸；
- 参数a（缩放因数）、b（指数基数）、d（距离测量）和建模参数hd（指数中的除数）。
例如，针对每个图片、片（即，图片中的分区）或编码单元，以上的参数可以被频繁地发送，以便适配图像信号的统计。也可以将参数针对图像序列只发送一次，或针对若干图像联合地发送，例如，在参数集合内，如序列参数集合或图片参数集合。作为替换，也可以通过所限定的算法来估计参数。作为另一替换，这些参数可以被固定在该标准的某个配置文件（profile）和/或水平中，并且因此根本不需要被传送或估计。
更进一步地，相对于NLM预测方法的预测误差的统计属性可以适配预测误差的熵编码。因此，特殊的二进制方案以及上下文建模可改善压缩结果。
使用NLM预测模式的相对于编码顺序的以下适配可以被可选地实现：
- 用于NLM预测模式的因果邻近可以被链接到编码单元顺序或预测单元顺序。在该情况下，预测和重构遵照HEVC标准草案的原始预测和重构顺序；
- 用于NLM预测模式的因果邻近可以被用于编码单元的尺寸和编码/解码顺序所限制。在该情况下，取决于已经重构的邻近编码单元或图像中的其它分区，可以对不同的编码单元并行地编码和解码。
用于NLM预测模式的因果邻近可以被预测单元的尺寸和编码/解码顺序所限制。在该情况下，取决于已经重构的邻近预测单元或其它编码单元，可以对不同的预测单元并行地编码和解码。
一般而言，NLM预测方法可以被用在逐块编码方法以及基于像素的编码方法中。因此，可以使用不同的基于像素的预测方法与NLM预测方法的组合。更进一步地，NLM预测方法可以被用于无损编码和基于变换的编码两者。
在本发明的一个实施例中，与以上提到的LOCO-I算法组合地使用NLM预测算法。特定地，如果LOCO-I算法不检测竖直或水平边缘，则NLM预测算法被用于当前像素的预测。
更进一步地，NLM预测也可被用于有损的逐像素编码。为了这么做，在使用NLM预测算法之前，如所描述的那样重构NLM预测模式。之后，构建用于对应像素的预测误差，其被量化以便实现冗余减少。单独地针对每个像素执行该过程。
而且，NLM预测方法也可以被用于有损变换编码。为了这么做，在执行变换和量化之前，必须要构建预测误差块。当执行预测时，因果可获得的重构的像素被用于邻近像素的预测。预测的像素和因果上可获得的像素被用于进一步的像素的预测，直到填充预测块为止。该块被用于预测误差构建，之后其被变换和量化。图8示出了这样的基于块的有损编码的示例。
在该图中，圈表示类似于图7的某个图像区域的像素。该区域被划分在被分离地编码的若干块中。具有白背景颜色的块已经被重构并且被用于形成变换单元的当前块B的预测。在该块中，当前预测像素P1。图8中的阴影像素表示像素的预测值。根据图8，以线扫描顺序执行预测，但是也可以使用其它扫描顺序。基于像素的NLM预测开始于块B的上左像素。使用以上描述的NLM预测算法来预测该像素。为了上左像素的预测，如果来自其它块的所有黑圈已经被重构，则可使用它们。该像素被预测，并且由对应的围住的圈指示的预测值被进一步用作用于其它像素的预测的参考样本等。为了图8中的像素P1的预测，来自其它块的已经重构的像素（黑圈）和来自当前块的已经预测的像素（橙圈）可被使用。该处理继续，直到预测块B内的所有像素为止。因此，生成预测块，从当前块中减去预测块以便得到预测误差块。然后，预测误差块可被变换、量化、去量化和逆变换，因为它在有损变换编码器中是共有的。在解码器处，经量化的变换系数被去量化、逆变换并且被加到NLM预测块以便得到有损的经重构的块。
如前述中描述的本发明具有若干优点。特定地，基于用于图像降噪的非局部均值算法来提供自动的后向自适应预测方法。该算法可以固有地对该预测进行降噪，而没有对参考像素的明确降噪。根据本发明的预测技术具有显著的性能增加。此外，该方法的复杂度相对低，这使得它更容易被用在技术应用中。特定地，与现有技术中的最小二乘预测方法相比，不是必须求解（线性）方程组。利用用于形成预测器的小块的数量可适配预测方法的准确度。更进一步地，边信息（例如，权重）不需要被传送，因此将图像流的总数据率保持为低。而且，如前述中已经描述的那样，不同的增强可以被实现以便改善预测器的质量或减少复杂度。
本发明的预测方法可被适配用于常规的基于块的图像编码器或解码器中的无损编码，这意味着变换量化、环路滤波、去量化和逆变换不是必须被执行并且预测可被逐像素地执行。这意味着预测误差不取决于像素位置。即，预测误差不随着到邻近块的距离增加而增加。
已经由发明人测试根据本发明的NLM预测算法的示例。已经基于标准草案HEVC在参考软件中实现该算法的版本。根据参考软件的DC预测类型或平面（PLANAR）预测类型被根据本发明的NLM预测器所替代。为了编码测试，编码了不同视频序列中的十帧。已经使用视频序列的不同集合执行编码测试。
下面在表格1中总结用于NLM预测的模拟结果。在该表格中，第一列提及命名为SVTshort、MedicoISI、ClassD和ClassF的不同视频。第二列提及NLM预测的整数版本与DC预测模式的比较。第三列提及NLM预测的整数版本与平面预测模式的比较。在用于每个视频的行中，示出了与DC和平面模式相比的用于NLM预测算法的比特率、以及与DC和平面模式相比的用于NLM预测算法的编码和解码时间在百分比上的减少。100%的编码和解码时间分别提及DC和平面模式的编码和解码时间。
如可从该表格看到的，当使用NLM预测器时存储比特率。而且，当使用NLM预测模式时，在解码器和编码器中还实现显著的运行时间减小。因此，与根据现有技术的预测模式相比，可由根据本发明的NLM预测模式实现显著更好的编码性能。
图9示出了包括使用基于本发明的预测模式的编码设备和解码设备的编解码器的示意性图示。在图9的情景中，图像的序列被馈送到编码器EN。为了执行NLM预测模式，编码器包括用于确定相似度测量的装置M1。基于单个图像中的具有重构值的像素的区并且针对图像区域的模板，该装置把要被基于该模板预测的第一像素周围的该区中的像素的第一小块与若干第二小块进行比较，每个第二小块被分配给该区中的第二像素并且由基于该模板的第二像素周围的区中的像素组成。结果，确定用于每个第二像素的相似度测量，该相似度测量描述被分配给相应的第二像素的第二小块的像素的重构值与第一小块的像素的重构值之间的相似度。
编码器进一步包括用于预测第一像素的预测值的装置M2。为了这么做，基于第二像素的值的加权和来确定每个第一像素的预测值，其中，取决于由用于第二像素的相似度测量描述的减小的相似度，第二像素的值的权重单调地减小。
基于该预测，获得预测误差，其作为图像CI的经编码的序列而被传送到解码器DEC。在解码器DEC中，在编码器中使用的预测方法被类似地实现。特定地，解码器包括用于确定相似度测量的装置M3。针对之前在解码处理中已经确定的单个图像中的具有经解码的值的像素的区并且针对图像区域的模板，该装置把要被基于模板预测的第一像素周围的区中的像素的第一小块与若干第二小块进行比较，每个第二小块被分配给该区中的第二像素并且由基于该模板的第二像素周围的区中的像素组成。结果，确定用于每个第二像素的相似度测量，该相似度测量描述被分配给相应的第二像素的第二小块的像素的经解码的值与第一小块的像素的经解码的值之间的相似度。
更进一步地，解码器DEC包括用于预测第一像素的值的装置M4。为了这么做，基于第二像素的值的加权和来确定每个第一像素的预测值，其中，取决于由用于第二像素的相似度测量描述的减小的相似度，第二像素的值的权重单调地减小。
而且，解码器DEC包括用于校正第一像素的预测值的装置M5。为了这么做，通过用于第一像素的对应的预测误差来校正第一像素的预测值，造成第一像素的经解码的值。预测误差被包括在所接收到的图像CI的序列中。最终，由解码器获得图像DI的序列，在已经使用无损编码和解码的情况下，图像DI的序列与图像I的原始序列对应。
参考的列表：
[1] Thomas Wiegand、Gary J. Sullivan、Gisle Bjøntegaard和Ajay Luthra。Overview of the H.264/AVC Video Coding Standard（H.264/AVC视频编码标准的概况）。IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY，VOL. 13，NO. 7，2003年7月
[2] Gary J. Sullivan、Jens-Rainer Ohm、Woo-Jin Han和Thomas Wiegand。Overview of the High Efficiency Video Coding (HEVC) Standard（高效率视频编码（HEVC）标准的概况）。预先发表的草稿，要出现在IEEE TRANS. ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY中，2012年12月
[3] Thiow Keng Tan、Choong Seng Boon和Yoshinori Suzuki，Intra Prediction by Template Matching（通过模板匹配进行的帧内预测），IEEE International Conference on Image Processing (ICIP 2006)，Atlanta，GA，USA，2006年10月
[4] Marcelo J. Weinberger、Gadiel Seroussi和Guillermo Sapiro。The LOCO-I lossless image compression algorithm: Principles and standardization into JPEG-LS（LOCO-I无损图像压缩算法：原理和到JPEG-LS中的标准化）。IEEE Transactions on Image Processing, 2000年8月
[5] Xin Li和Michael T. Orchard，“Edge-Directed Prediction for Lossless Compression of Natural Images（用于自然图像的无损压缩的边缘定向预测）”，IEEE Transaction on Image Processing，2001年6月
[6] A. Buades、B. Coll和J.-M. Morel。A non-local algorithm for image denoising（用于图像降噪的非局部算法）。在IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR 2005)中，Washington，DC，USA，2005年6月。

Claims (22)

1.一种用于对数字图像（I）的序列进行编码的方法，其中，所述方法使用用于基于之前处理的图像区域中的像素的重构值来预测所述图像（I）中的像素（P1）的值的很多个预测模式，其中，像素（P1）的预测值和原始值之间的预测误差（PE）被处理，用于生成数字图像（CI）的经编码的序列；
特征在于，
预设的预测模式（NLM）是基于单个图像（I）的像素的帧内预测模式，其中，在所述预设的预测模式（NLM）中，
i）针对所述单个图像（I）中的具有重构值的像素的区（R）和针对图像区域的模板（TE），把基于模板（TE）的要被预测的第一像素（P1）周围的区（R）中的像素的第一小块（PA1）与若干第二小块（PA2）进行比较，每个第二小块（PA2）被分配给所述区（R）中的第二像素（P2）并且由基于所述模板（TE）的所述第二像素（P2）周围的所述区（R）中的像素组成，从而确定用于每个第二像素（P2）的相似度测量（SM），所述相似度测量（SM）描述被分配给相应的第二像素（P2）的第二小块（PA2）的像素的重构值与所述第一小块（PA1）的像素的重构值之间的相似度；
ii）基于所述第二像素（P2）的值的加权和来确定每个第一像素（P1）的预测值，其中，通过加权因数来对每个第二像素（P2）的值进行加权，所述加权因数取决于由用于所述相应的第二像素（P2）的所述相似度测量（SM）所描述的减小的相似度而单调地减小。
2.根据权利要求1所述的方法，特征在于，所述加权因数是所述相似度测量（SM）或所述相似度测量的近似值，或者所述加权因数是在步骤i）中确定的所有相似度测量（SM）上归一化的所述相似度测量或在步骤i）中确定的所有相似度测量（SM）上归一化的所述相似度测量的近似值。
3.根据权利要求1或2所述的方法，特征在于，针对预定的图像块中的第一像素（P1）逐块地执行所述预设的预测模式（NLM）。
4.根据前述权利要求中的一项所述的方法，特征在于，所述相似度测量（SM）基于所述第一小块（PA1）和相应的第二小块（PA2）中的对应像素之间的绝对或平方差之和。
5.根据权利要求4所述的方法，特征在于，所述绝对或平方差之和被包括在所述相似度测量（SM）中作为基数的负指数的至少一部分，其中，所述基数优选地具有值2。
6.根据前述权利要求中的一项所述的方法，特征在于，基于整数运算来确定步骤i）中的所述相似度测量（SM）和/或步骤ii）中的每个第一像素（P1）的所述预测值。
7.根据前述权利要求中的一项所述的方法，特征在于，在预先限定的表格中的查找被用于确定步骤i）中的所述相似度测量（SM），所述表格优选地针对所述第一小块（PA1）和相应的第二小块（PA2）中的对应像素之间的绝对或平方差之和的值而提供所述相似度测量（SM）的值。
8.根据前述权利要求中的一项所述的方法，特征在于，所述预设的预测模式（NLM）被用于图像（I）的序列的无损编码，其中，像素的重构值是像素的原始值。
9.根据前述权利要求中的一项所述的方法，特征在于，所述预设的预测模式（NLM）被用于图像（I）的序列的有损编码。
10.根据权利要求9所述的方法，特征在于，所述有损编码包括所述预测误差（PE）的变换（T）和/或量化（Q），其中，所述预测误差（PE）的逆变换（IT）和/或去量化（DQ）被执行，用于确定像素的重构值。
11.根据前述权利要求中的一项所述的方法，特征在于，所述预测误差（PE）的处理包括熵编码步骤（EC）。
12.根据前述权利要求中的一项所述的方法，特征在于，针对要被预测的每个第一像素（P1）确定
- 所述预设的预测模式（NLM）还是另一预测模式被用于所述第一像素（P1）；和/或
- 使用所述第一预测模式（NLM）的哪个或哪些参数。
13.根据前述权利要求中的一项所述的方法，特征在于，如果在步骤i）中确定的所有相似度测量（SM）是零，则另一预测模式被用于预测第一像素（P1）。
14.根据前述权利要求中的一项所述的方法，特征在于，所述预设的预测模式的一个或更多个参数是固定的和/或可变的，其中，所述一个或更多个参数优选地包括所述模板（TE）的形状和尺寸和/或所述区（R）的形状和尺寸、和/或提及所述相似度测量（SM）的确定和/或第一像素（P1）的预测值的确定的一个或更多个参数。
15.根据前述权利要求中的一项所述的方法，特征在于，在图像（CI）的经编码的序列中信令所述预设的预测模式（NLM）和/或所述预设的预测模式（NLM）的参数。
16.根据前述权利要求中的一项所述的方法，特征在于，所述预设的预测模式（NLM）被用作标准HEVC/H.265中的预测模式。
17.一种用于对通过根据前述权利要求中的一项所述的方法编码的数字图像（CI）的序列进行解码的方法，其中，从图像（CI）的经编码的序列来重构所述预测误差（PE），并且其中，在编码期间通过所述预设的预测模式（NLM）处理的图像（CI）的经编码的序列中的所述像素的值经受解码处理，所述方法的特征在于，
i）针对单个图像（I）中的、具有之前在解码处理中已经确定的经解码的值的像素的区（R）和针对图像区域的模板（TE），把要被基于所述模板（TE）预测的第一像素（P1）周围的区（R）中的像素的第一小块（PA1）与若干第二小块（PA2）进行比较，每个第二小块（PA2）被分配给所述区（R）中的第二像素（P2）并且由基于所述模板（TE）的所述第二像素（P2）周围的所述区（R）中的像素构成，从而确定用于每个第二像素（P2）的相似度测量（SM），所述相似度测量（SM）描述被分配给相应的第二像素（P2）的所述第二小块（PA2）的像素的经解码的值与所述第一小块（PA1）的像素的经解码的值之间的所述相似度；
ii）基于所述第二像素（P2）的值的加权和来确定每个第一像素（P1）的预测值，其中，通过加权因数来对每个第二像素（P2）的值加权，所述加权因数取决于由用于所述相应的第二像素（P2）的所述相似度测量所描述的减小的相似度而单调地减小；
iii）通过用于所述第一像素（P1）的所述对应的重构预测误差（PE）来校正每个第一像素（P1）的所述预测值，造成所述第一像素（P1）的经解码的值。
18.一种用于对数字图像（I）的序列进行编码和解码的方法，特征在于，
- 通过根据权利要求1至16中的一项所述的方法来编码数字图像（I）的序列；
- 通过根据权利要求17所述的方法来解码数字图像（CI）的经编码的序列。
19.一种用于对图像（I）的序列进行编码的设备，其中，所述设备包括用于执行用于基于之前处理的图像区域中的像素的重构值来预测所述图像（I）中的像素（P1）的值的很多个预测模式的装置，其中，像素（P1）的预测值和原始值之间的预测误差（PE）被处理，用于生成数字图像（CI）的经编码的序列；
特征在于，
所述用于执行很多个预测模式的装置包括用于执行预设的预测模式（NLM）的装置，所述预设的预测模式是基于单个图像（I）的像素的帧内预测模式，其中，所述用于执行所述预设的预测模式（NLM）的装置包括：
被适配为执行步骤的用于确定相似度测量（SM）的装置（M1），在所述步骤中，
- 针对所述单个图像（I）中的具有重构值的像素的区（R）和针对图像区域的模板（TE），把要被基于模板（TE）预测的第一像素（P1）周围的区（R）中的像素的第一小块（PA1）与若干第二小块（PA2）进行比较，每个第二小块（PA2）被分配给所述区（R）中的第二像素（P2）并且由基于所述模板（TE）的所述第二像素（P2）周围的所述区（R）中的像素组成，从而确定用于每个第二像素（P2）的相似度测量（SM），所述相似度测量（SM）描述被分配给相应的第二像素（P2）的所述第二小块（PA2）的像素的重构值与所述第一小块（PA1）的像素的重构值之间的相似度；
被适配为执行步骤的用于预测第一像素（P1）的值的第二装置，在所述步骤中，
- 基于所述第二像素（P2）的值的加权和来确定每个第一像素（P1）的预测值，其中，通过加权因数来对每个第二像素（P2）的值加权，所述加权因数取决于由用于所述相应的第二像素（P2）的所述相似度测量所描述的减小的相似度而单调地减小。
20.根据权利要求19所述的设备，特征在于，所述设备包括用于执行根据权利要求2至16中的一项所述的方法的一个或更多个附加装置。
21.一种用于对由根据权利要求1至16中的一项所述的方法编码的数字图像（CI）的序列进行解码的设备，其中，所述设备包括解码装置，所述解码装置用以从图像（CI）的经编码的序列重构所述预测误差（PE）并且用以对在编码期间通过所述预设的预测模式（NLM）处理的图像的经编码的序列中的像素的值进行解码，
特征在于，
所述解码装置包括：
被适配为执行步骤的用于确定相似度测量（SM）的装置，在所述步骤中，
- 针对所述单个图像（I）中的、具有之前在解码处理中已经确定的经解码的值的像素的区（R）和针对图像区域的模板（TE），把要被基于模板（TE）预测的第一像素（P1）周围的区（R）中的像素的第一小块（PA1）与若干第二小块（PA2）进行比较，每个第二小块（PA2）被分配给所述区（R）中的第二像素（P2）并且由基于所述模板（TE）的所述第二像素（P2）周围的所述区（R）中的像素组成，从而确定用于每个第二像素（P2）的相似度测量（SM），所述相似度测量（SM）描述被分配给相应的第二像素（P2）的所述第二小块（PA2）的像素的经解码的值与所述第一小块（PA1）的像素的经解码的值之间的所述相似度；
被适配为执行步骤的用于预测第一像素（P1）的值的装置，在所述步骤中，
- 基于所述第二像素（P2）的值的加权和来确定每个第一像素（P1）的预测值，其中，通过加权因数来对每个第二像素（P2）的值加权，所述加权因数取决于由用于所述相应的第二像素（P2）的所述相似度测量所描述的减小的相似度而单调地减小；
被适配为执行步骤的用于校正第一像素（P1）的预测值的装置，在所述步骤中，
- 通过用于所述第一像素（P1）的所述对应的重构预测误差（PE）来校正每个第一像素（P1）的所述预测值，造成所述第一像素（P1）的经解码的值。
22.一种用于对数字图像（I）的序列进行编码和解码的编解码器，包括根据权利要求19或20所述的编码设备和根据权利要求21所述的解码设备。
CN201280077815.9A 2012-12-18 2012-12-18 用于对数字图像的序列进行编码的方法 Expired - Fee Related CN104982035B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2012/075988 WO2014094829A1 (en) 2012-12-18 2012-12-18 A method for coding a sequence of digital images

Publications (2)

Publication Number Publication Date
CN104982035A true CN104982035A (zh) 2015-10-14
CN104982035B CN104982035B (zh) 2018-12-11

Family

ID=47559396

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280077815.9A Expired - Fee Related CN104982035B (zh) 2012-12-18 2012-12-18 用于对数字图像的序列进行编码的方法

Country Status (5)

Country Link
US (1) US20150334417A1 (zh)
EP (1) EP2904780A1 (zh)
CN (1) CN104982035B (zh)
IN (1) IN2015DN03822A (zh)
WO (1) WO2014094829A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110537370A (zh) * 2017-02-08 2019-12-03 弗劳恩霍夫应用研究促进协会 使用模板匹配的预测编码技术
WO2020253816A1 (en) * 2019-06-21 2020-12-24 Huawei Technologies Co., Ltd. An encoder, a decoder and corresponding methods for sub-block partitioning mode

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR112015025151B1 (pt) 2013-04-09 2022-11-29 Siemens Aktiengesellschaft Método de codificação, método de decodificação, método de codificação e decodificação, aparelho para codificação, aparelho para decodificação e codec para codificar e decodificar uma sequência de imagens digitais
CN104363449B (zh) * 2014-10-31 2017-10-10 华为技术有限公司 图像预测方法及相关装置
KR102332782B1 (ko) * 2014-12-15 2021-11-30 삼성전자주식회사 시각 특성을 고려한 영상 데이터 압축
KR20180009358A (ko) 2015-06-16 2018-01-26 엘지전자 주식회사 영상의 부호화/복호화 방법 및 이를 위한 장치
KR20180019548A (ko) 2015-06-18 2018-02-26 엘지전자 주식회사 영상 코딩 시스템에서 영상 특성에 기반한 적응적 필터링 방법 및 장치
CN117201781A (zh) 2015-10-16 2023-12-08 中兴通讯股份有限公司 编码处理、解码处理方法及装置、存储介质
US20190045224A1 (en) * 2016-02-04 2019-02-07 Mediatek Inc. Method and apparatus of non-local adaptive in-loop filters in video coding
CN111479114B (zh) * 2019-01-23 2022-07-22 华为技术有限公司 点云的编解码方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5631979A (en) * 1992-10-26 1997-05-20 Eastman Kodak Company Pixel value estimation technique using non-linear prediction
EP2280549A1 (en) * 2008-04-24 2011-02-02 NTT DoCoMo, Inc. Image prediction encoding device, image prediction encoding method, image prediction encoding program, image prediction decoding device, image prediction decoding method, and image prediction decoding program
US20120213279A1 (en) * 2009-10-22 2012-08-23 Thomson Licensing Methods and apparatus for dc intra prediction mode for video encoding and decoding

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007043651A (ja) * 2005-07-05 2007-02-15 Ntt Docomo Inc 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法及び動画像復号プログラム
JP2010258738A (ja) * 2009-04-24 2010-11-11 Sony Corp 画像処理装置および方法、並びにプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5631979A (en) * 1992-10-26 1997-05-20 Eastman Kodak Company Pixel value estimation technique using non-linear prediction
EP2280549A1 (en) * 2008-04-24 2011-02-02 NTT DoCoMo, Inc. Image prediction encoding device, image prediction encoding method, image prediction encoding program, image prediction decoding device, image prediction decoding method, and image prediction decoding program
US20120213279A1 (en) * 2009-10-22 2012-08-23 Thomson Licensing Methods and apparatus for dc intra prediction mode for video encoding and decoding

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MEHMET TURKAN, CHRISTINE GUILLEMOT: "Locally linear embedding based texture synthesis for image prediction and error concealment", 《IMAGE PROCESING(ICIP), 2012 19TH IEEE INTERNATION CONFERENCE ON, IEEE》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110537370A (zh) * 2017-02-08 2019-12-03 弗劳恩霍夫应用研究促进协会 使用模板匹配的预测编码技术
CN110537370B (zh) * 2017-02-08 2023-08-25 弗劳恩霍夫应用研究促进协会 用于图片编码的装置和方法、以及用于图片解码的装置和方法
WO2020253816A1 (en) * 2019-06-21 2020-12-24 Huawei Technologies Co., Ltd. An encoder, a decoder and corresponding methods for sub-block partitioning mode
US11539948B2 (en) 2019-06-21 2022-12-27 Huawei Technologies Co., Ltd. Encoder, a decoder and corresponding methods for sub-block partitioning mode
US11962773B2 (en) 2019-06-21 2024-04-16 Huawei Technologies Co., Ltd. Encoder, decoder and corresponding methods for sub-block partitioning mode

Also Published As

Publication number Publication date
CN104982035B (zh) 2018-12-11
WO2014094829A1 (en) 2014-06-26
IN2015DN03822A (zh) 2015-10-02
US20150334417A1 (en) 2015-11-19
EP2904780A1 (en) 2015-08-12

Similar Documents

Publication Publication Date Title
CN104982035A (zh) 用于对数字图像的序列进行编码的方法
US9307250B2 (en) Optimization of intra block size in video coding based on minimal activity directions and strengths
KR101344200B1 (ko) 모션 추정 검색 범위 및 확장된 모션 벡터 범위의 동적 선택 방법, 및 인코더
US10291925B2 (en) Techniques for hardware video encoding
JP5321426B2 (ja) 画像符号化装置、画像復号化装置、画像符号化方法、及び画像復号化方法
JP2017011729A (ja) 映像符号化装置
CN103248895B (zh) 一种用于hevc帧内编码的快速模式估计方法
KR20120008423A (ko) 영상의 인트라 예측 부호화, 복호화 방법 및 장치
CN107810632B (zh) 具有降低代价的块分割和细化的帧内模式选择的帧内预测处理器
US11025913B2 (en) Encoding video using palette prediction and intra-block copy
Ramezanpour et al. Fast HEVC I-frame coding based on strength of dominant direction of CUs
EP3791591A1 (en) Method and apparatus for blended intra prediction
KR20110067539A (ko) 화면 내 예측 부호화/복호화 방법 및 장치
JP2017228827A (ja) イントラ予測器、画像符号化装置、画像復号装置およびプログラム
JP6839327B1 (ja) 画像符号化装置、画像復号装置、及びプログラム
CN105144712A (zh) 用于编码数字图像序列的方法
CN105706447A (zh) 动画图像编码设备、动画图像解码设备、动画图像编码方法、动画图像解码方法以及程序
WO2023044917A1 (zh) 帧内预测的方法、编码器、解码器和编解码系统
WO2023044918A1 (zh) 帧内预测的方法、编码器、解码器和编解码系统
JP2012175155A (ja) 動画像符号化装置
US20240031580A1 (en) Method and apparatus for video coding using deep learning based in-loop filter for inter prediction
CN117981301A (zh) 帧内预测的方法、编码器、解码器和编解码系统
CN118020295A (zh) 帧内预测的方法、编码器、解码器和编解码系统
CN116647683A (zh) 量化处理方法和装置
JP2018110321A (ja) 動画像符号化装置、動画像符号化プログラム、及び動画像符号化方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20181211

Termination date: 20201218