CN110537370A - 使用模板匹配的预测编码技术 - Google Patents

使用模板匹配的预测编码技术 Download PDF

Info

Publication number
CN110537370A
CN110537370A CN201880022519.6A CN201880022519A CN110537370A CN 110537370 A CN110537370 A CN 110537370A CN 201880022519 A CN201880022519 A CN 201880022519A CN 110537370 A CN110537370 A CN 110537370A
Authority
CN
China
Prior art keywords
picture
block
region
predetermined
size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880022519.6A
Other languages
English (en)
Other versions
CN110537370B (zh
Inventor
加亚思里·韦尼戈帕尔
德特勒夫·马尔佩
托马斯·威甘德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Original Assignee
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV filed Critical Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Publication of CN110537370A publication Critical patent/CN110537370A/zh
Application granted granted Critical
Publication of CN110537370B publication Critical patent/CN110537370B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

提出了使用模板匹配进行预测性图片编码的技术，其对于给定的计算复杂度可以带来增加的编码效率。

Description

使用模板匹配的预测编码技术
技术领域
本申请涉及使用模板匹配的预测编码技术，其例如可适用于诸如HEVC或H.264之类的混合视频编解码器。
背景技术
在基于块的视频编码标准(例如H.265/高效视频编码(HEVC)或H.264/高级视频编码(AVC))中，图片被划分为块。然后通过使用帧内或帧间预测来预测每个块。前一种预测方法仅使用同一图片内的解码样本作为参考，而后一种预测方法使用已解码图片的移位了的块[1]。一旦获得了预测块，就将它们用于计算残差块，在编码之前对这些残差块进行进一步处理。与在编码器处应用的工具和技术有关的信息将被发送到解码器以重构图像。
在所有视频编码标准中，帧内预测都是最重要的。H.264/AVC具有9种帧内模式，而对于最新的H.265/HEVC则有35种模式。编码器决定使成本函数最小化的最佳帧内模式，并且在比特流中将该模式用信号通知给解码器。成本函数J定义为：
J＝D+λR， (1)
其中D是原始块与预测块之间的失真，R是与帧内模式相关的比特数，λ是确定D与R之间的折衷的拉格朗日参数[1]。
H.265/HEVC角度预测针对具有定向结构的对象提供高保真度预测器。额外的平面和DC预测模式可以有效地模拟平滑的图像区域[1]。HEVC还具有一些用于改进帧内预测的高级处理技术，例如在实际预测之前对参考样本进行滤波以及对预测的样本进行后处理。然而，一直希望进一步提高编码效率。
自然地，拥有增加了帧间图片预测的编码效率的技术也是有利的，在帧间图片预测中，运动信息(即运动字段)的传输消耗了相当大量的可用数据速率。
模板匹配(TM)是用于数字图像处理的纹理合成技术。这也可以应用于帧内预测。存在于当前块上方和左方的已知像素被称为模板。该方法可以通过使平方差之和(SSD)最小化来在重构帧中找到模板的最佳匹配。最后，TM块被复制到当前块并成为预测。对于解码器处的重构,TM帧内模式可以不需要任何辅助信息。另一方面，必须重复执行模板匹配的搜索算法。这导致高的解码器复杂度。
TM的帧内预测首先在[2]中针对H.264/AVC提出。在同一作者的[3]中，提出了具有多个预测器的TM。关于TM帧内预测的一些其他提案可以在文献[4]、[5]、[6]、[7]、[8]中找到。上面提到的所有文献都更多地集中在TM的编码增益上，对复杂度的增加考虑得不多。
发明内容
因此，本发明的目的是提供一种使用模板匹配的改进的预测图片编码技术。例如，对于给定的计算复杂度，同样可以导致编码效率提高。
该目的是通过本申请的独立权利要求的主题来实现的。
根据本申请的第一方面，将模板匹配用于预测图片编码，并且通过将在编码器侧执行模板匹配的搜索区域细分成子区域，并在数据流中用信号向解码器通知所选择的一个或多个片的集合所在的子区域，从而使得预测图片编码在计算复杂度方面更高效。于是，解码器使用在数据流中用信号通知的子区域作为搜索区域来执行模板匹配。由此，在保持低信号开销和避免解码器侧的过高计算复杂度之间可以实现良好的折衷。换句话说，解码器可以将与模板匹配相关联的计算工作限制在用信号通知的子区域中。
根据一个实施例，使用片平均作为对预定块的预测编码的基础，即，执行用信号通知的子区域内的多于一个的片的平均，例如对p＞1个最佳匹配进行平均。本申请的发明人发现，在使用片平均的情况下，将参与平均的片限制到在数据流中用信号通知的子区域所带来的预测精度损失与以下优点相比可忽略不计：通过将解码器侧的模板匹配过程仅限制在用信号通知的子区域，能够将解码器侧的计算复杂度保持在低水平。
根据本申请的另一方面，通过根据数据流中的辅助信息来设置执行模板匹配的搜索区域的大小，在考虑速率/失真编码效率以及与其相关的计算复杂度时，使基于模板匹配的预测图片编码更有效。例如，辅助信息包括由以下项组成的组中的一项或多项：图片大小参数，指示图片大小；区块细分信息，指示独立编码的图片区块的数量；以及图片内容类标识符，区分例如非全景图片与全景图片。通过以这种方式设置搜索区域，实现了计算复杂度与使用基于模板匹配的预测编码的编码增益之间的有效折衷。
本申请的有利实现是从属权利要求的主题。下面参考附图描述本申请的优选实施例，在附图中：
附图说明
图1示出了表示模板匹配帧内预测的示意图；
图2示出了表示根据实施例的由在模板匹配预测中使用的五个分区组成的搜索区域的示意图；
图3示出了表示根据实施例的可以在模板匹配预测中使用的由搜索区域组成的平均值的示意图；
图4示出了在128×128窗口内关于当前块的TM块的数量(以对数灰度级)的直方图(对于QP＝22的“篮球训练”)；
图5示出了不同M值的BD速率结果；
图6示出了不同M值的复杂度结果；
图7示出了关于第一个块的、第二个最佳TM块的数量(log)的直方图(10帧，对于QP＝22的“篮球训练”)；
图8示出了A1、A2、A3的不同组合的BD速率对解码器复杂度；
图9示出了针对不同序列的、由TM模式预测的帧中的平均面积百分比；
图10示出了根据本申请实施例的编码器的框图，该编码器使用被细分为分区的搜索区域并向解码器侧用信号通知所选分区；
图11示出了适用于图10的编码器的、根据本申请实施例的解码器的框图；
图12示出了表示可在根据实施例的编码器和解码器处执行的、对一个或多个片的集合的搜索的示意图；
图13示出了根据本申请实施例的编码器的框图，该编码器使用的搜索区域的大小根据数据流中的辅助信息来设置；
图14示出了适用于图13的编码器的、根据本申请实施例的解码器的框图；
图15示出了表示将帧内图片技术转移到帧间图片预测的可能性的示意图；以及
图16示出了表示使用帧间图片矢量将帧内图片技术转移到帧间图片预测的另一可能性的示意图。
具体实施方式
以下对本申请优选实施例的描述是从与帧内图片预测有关的特定实施例开始的。在该实施例中涉及本申请的若干方面。稍后，描述本申请的其他实施例，这些其他实施例选择性地采用了该最初描述的实施例的某些特性和特征。就此而言，应该注意，首先，最初描述的实施例不应被视为限制稍后描述的实施例。另一方面，针对最初描述的实施例描述的特征可以单独地、成组地或全部地转移到稍后描述的实施例上以产生替代实施例，使得针对最初描述的实施例做出的描述也应当被视为用于解释针对稍后描述的实施例的可能实现细节的储备描述。
根据下面描述的实施例，TM的思想被扩展用于帧内图片预测。例如，该扩展可以在图片或视频编解码器(例如HEVC、H.264或一些其他基于块的预测性图片/视频编解码器)中用作新的帧内预测模式。稍后将注意到，该扩展也可以转移到帧间图片预测上。
如前所述，即使不发送辅助信息，但典型的TM帧内模式也会导致高的解码器复杂度。这可能对解码器不公平。下面描述的实施例旨在降低复杂性，尽管对编码效率的影响很小。目前，研究范围已经缩小到HEVC帧内预测，并对TM帧内模式的不同参数(例如模板大小、多个预测器)进行了初步调查。基于此，对于下面进一步描述的模式，确定了宽度为2像素的旋转L形模板和三个预测器。
这里讨论的模式操作如下：考虑要预测的N×N块10。如图1所示，在重构帧12中，将块10上方的(N+2)×2个像素和左方的2×N个像素作为模板14。不是在整个帧12中搜索最佳匹配，而是在窗口16内搜索最佳匹配。基于视频序列的帧大小来确定窗口大小。该窗口16进一步分成五个分区18(图2和图3)，说明性地针对一个分区18(即分区号4)，通过使SSD最小化而找到来自每个分区18的三个最佳模板匹配20。各个TM块24的平均值22成为当前块10的预测值26。可以利用根据(1)的HEVC编码器的速率-失真优化算法的优点，来确定哪个分区18给出了最佳预测。在比特流中用信号通知与所选分区有关的信息。解码器仅在该用信号通知的分区中搜索最佳匹配，并将多个TM块的平均值用于最终预测。对于所有可用的帧内块大小，上述帧内模式可以与其35个其他帧内模式一起添加到亮度样本的编码器候选列表中。
在实验中，使用了HEVC测试模型参考软件(HM版本16.6)和常见测试条件[9]。所有测试均限于全帧内(AI，All Intra)主要配置。
图4示出了在128×128窗口内关于当前块的TM块的数量的灰度直方图(对于QP＝22的“篮球训练”)。为了降低搜索算法的复杂性，研究了TM块20相对于当前块10的位置。如图4所示，该研究表明TM块更经常地出现在当前块的邻域中。这显然证明了在这里给出的模式中使用窗口16进行搜索是合理的。
至于搜索窗口大小，研究了搜索窗口大小的影响。为此，考虑了窗口大小M＝8，16,24,32,64,128。如图5所示，研究结果的总体趋势是，窗口16越大则性能越好。但是，这里要注意三个观察结果。首先，增益在M的特定值之后饱和，其次，M的该特定值随着不同的类而变化。第三，如图6所示，大窗口对应着高复杂度。根据这些观察结果，得出了窗口大小随着帧特性(例如序列的帧大小)而变化的自适应搜索窗口的想法。
还研究了第二个最佳TM块相对于第一个最佳TM块的位置。在关于图1至图3介绍的TM模式中，发布三个最佳TM块的平均值以用于预测。为了降低复杂性，重要的是要理解第二个和第三个最佳TM块相对于第一个最佳TM块的位置。希望知道这三个块是分散的还是靠近的。如图7所示，研究结果表明，它们通常彼此接近。图7示出了关于第一个块的、第二个最佳TM块的数量(log)的直方图(10帧，对于QP＝22的“篮球训练”)。该观察结果引导我们将搜索窗口16划分成不同分区18。基于实验结果，评估了大小根据帧大小而变化的自适应搜索窗口16。窗口大小为M×M，其中M＝n×3(参见图2)，n计算如下：如果N≥16，则n＝2×A，否则：
这里应该注意，所提出的自适应搜索窗口16仅应用于较小的块。以在编码效率和复杂度之间取得良好折衷的方式来选择A的值。
当在性能和复杂度之间取得了良好折衷时，新的TM帧内模式将适用于HEVC。因此，应慎重选择A的值。考虑对于分区1，A的值为A1，对于分区2和3，A的值为A2，对于其余分区，A的值为A3。类似地，n1与A1相关，n2与A2相关，n3与A3相关。我们对A1、A2和A3的不同组合进行了测试，其中A＝4作为下限，A＝8作为上限。根据公式(2)调整搜索窗口。如图8所示，我们的实验结果表明，通过不等的A的值可以实现更大的编码效率。
对于类A至类E，上面讨论的模式可以实现-1.15％的平均BD速率增益，具有133％的解码器复杂度(表1)。
表1：所提出的HEVC帧内模式的结果
可以看出，所提出的模式可以实现高达-4.60％的增益(对于“约翰尼”)。根据测试，如图9所示，通过TM模式预测了帧的14.4％的平均面积。实验结果表明，TM模式对于具有均匀结构的序列最有效。
在下文中，描述了编码器和解码器的实施例。这些实施例使用上述TM模式的某些方面，因此，表示形成上述实验基础的上述特定模式的一种扩展。为了便于理解下面描述的实施例如何与上述实施例相关，对于涉及后续实施例的附图，使用相同的附图标记。
图10分别示出了编码器或用于图片编码的装置。该装置总体上使用附图标记30表示，并且在内部包括选择器32和预测编码器34。图10还示出了选择器32和预测编码器34的可选内部配置。这些细节将在下面进一步描述。
总体上，装置30用于将图片12编码成数据流或比特流36。装置30是基于块的编码器，它以这些块为单位将图片12编码成数据流36。块10是这样的块。应当注意，尽管在图10中以及在前面的附图中将块10示出为方形的，但是本申请的实施例不限于这种类型的块。块10可以是矩形或任何其他形状。根据编码器30的基于块的操作性质，编码器30可以以本文描述的方式将图片12的每个块编码成数据流36，或者可以针对每个块从几个编码模式中选择一个，在这几个编码模式中，有一个编码模式对应于关于图10描述的编码技术。编码器30可能支持的一个或多个其他编码模式可以包括其他帧内图片预测模式和/或帧间图片预测模式。可以在图片12被细分而成的块之间定义编码顺序38，例如，该编码顺序以逐行光栅扫描顺序从图片12的顶部到图片12的底部遍历图像12，如图10所示。“通常以逐行光栅扫描顺序从顶部到底部引导”还应包括任何分层排序。例如，块10所属的多个块可以是树木块的多树细分的叶块，图片12按照这些树木块的行和列被规则地细分为这些树木块。顺序38可以从顶部到底部逐行地遍历这些树木块，其中，在每个树木块内，该顺序根据某个预定顺序(例如深度优先遍历顺序)遍历相应树木块的叶块，然后前往下一个树木块。编码器30可以不必使用顺序38对图片12顺序进行编码，但是，按照顺序38位于前面的块可以被认为在解码器侧可用，因此被认为关于当前块(例如块10)可用于预测目的，而按照顺序38位于后面的块可以被认为在解码器侧不可用。换句话说，在对块10进行预测编码/解码时，由按照编码顺序38位于前面的块组成的图片12的部分在编码器和解码器中以已经重构的形式可以获取。
选择器32从图片12的搜索区域16中选择一个或多个片的集合40，该片与邻近当前块10的模板区域14相匹配。如上所述，模板区域可以覆盖当前块10的上方的像素和左方的像素。在上述实施例中，模板区域14是与块10的上方的边和左方的边邻接的宽度为两个像素的L形分区。然而，应该注意，分区14也可以具有某一其他形状，分区14可以具有另一宽度，并且分区14可以具有相对于块10的另一空间关系。
预测编码器34被配置为基于一个或多个片的集合40将块10预测性编码到数据流36中。更确切地说，预测编码器34基于集合40推断出预测器42，并使用该预测器42作为块10的预测。预测编码器34的残差编码器44将预测残差编码到数据流36中。残差编码器44可以是基于变换的残差编码器44，其例如在频谱上分解预测残差。此外，残差编码器44可以使用熵编码，以便将量化的残差信号无损编码到数据流36中。
如图10所示，搜索区域16在空间上被细分为多个子区域18。在图10中，将这些子区域18的数量S说明性地选择为6个，而在图1至图3的实施例中该数量为5个，但应该注意，该数量S可以是大于1的任何数量。重要的是，装置30被配置为在数据流36内用信号通知该一个或多个片的集合40位于或属于哪个子区域18。因此，该信息46指示S个子区域或分区18中的一个，并且可以由编码器30编码到数据流36中，例如，相对于与图片12的在顺序38中位于前面的任何其他块有关的相同信息46使用空间预测等来进行预测性编码，和/或使用熵编码(例如，上下文自适应熵编码等)来进行编码。
这样，根据刚刚描述的编码模式，编码器30将块10的预测残差48以及信息46编码到块10的数据流36中。
在继续描述图10的编码器之前，参考图11，其示出了适合于图10的编码器的、解码器或用于图片解码的装置。图11的装置总体上使用附图标记50表示，并且包括选择器52和预测解码器54。总体上，图11的装置50被配置为从数据流36中解码图片12。如关于图10所描述的，图11的解码器50可以是基于块的解码器。也就是说，解码器50可以以块10所属的多个块为单位从数据流36中解码图片12，并且，可以使用下文给出的模式对这些块中的每个块进行解码，或者可以从模式集合中为图片12的每个块选择一个模式，该模式集合除了包括例如一个或多个帧内图片预测模式和/或一个或多个帧内图片预测模式之外，还包括刚刚概述的模式。如关于图10所描述的，在从数据流36中解码图片12的块时，解码器50可以遵从在图片12被细分而成的块之间定义的某个编码顺序。
选择器52从图片12的搜索区域56中选择一个或多个片的集合40，所述片与当前块10的模板区域14相匹配。预测解码器54基于该一个或多个片的集合40从数据流36中预测性解码当前块10，即，通过以下方式进行解码：基于集合40形成预测信号42，并使用残差信号48校正该预测信号42，其中该残差信号48是预测解码器54的残差解码器58从数据流36中解码得到的。这样，预测解码器54导出当前块10的重构信号或经重构信号60，该信号然后可以包含在搜索区域56中，该搜索区域56关于图片12中按照编码顺序38位于后面的任何其他块进行使用。
有趣的是，图10的编码器和图11的解码器针对当前块10执行模板匹配的搜索区域16和56是不同的。图10的编码器30分别在组成整个搜索区域16的所有子区域或分区18内，由选择器32执行模板匹配或选择。然而，如图11所示，与此相比，解码器50从与块10相关联的整个搜索区域16被细分而成的多个子区域18中选择其搜索区域56，该选择(如图11中的62所示)是根据信号46执行的。如上所述，关于图1至图9，提示46是关于解码器50的选择器52内的模板匹配应限制在编码器侧搜索区域16的哪个子区域18中的，为解码器50提供该提示46的技术使得能够显著降低解码器侧的计算复杂度，对于与模板匹配的使用相关联的编码效率仅有少许不利影响。
如上面关于编码器已经描述的，可以使用熵编码以便将块10的预测残差48编码到数据流36中；相应地，残差解码器58可以使用熵解码以便从数据流36中获得预测残差48。附加地和/或替代地，残差信号48可以在变换域中(例如以频谱分解的形式)在数据流内传送，并且残差解码器58可以被配置为例如使用在编码器侧使用的频谱分解的逆变换，将残差信号重新变换到空间域。
在大致地描述了图10的编码器30和图11的解码器50之后，下面对更为具体的描述进行概述。如图10所示，选择器32对于每个分区18执行最佳匹配搜索或模板匹配64，而解码器50的选择器52仅针对构成解码器侧搜索区域56的所选分区执行这种最佳匹配搜索或模板匹配64。图12示出了这种最佳匹配搜索看起来是怎样的。
该过程的输入是在执行最佳匹配搜索64的相应搜索区域内的片集合70。同样，编码器30的选择器32对组成区域16的每个分区18执行这样的最佳匹配搜索64，而解码器50的选择器52仅对用信号通知的、并因而构成解码器侧搜索区域56的分区18执行处理64。例如，集合70可以包括可以划入分区18中的所有片。例如，如果片的超过一半的像素位于分区18内，或者替代地，只要相应片的左上像素或其中间或中心像素位于分区18内，则可认为片可以划入分区18中，此外还要求例如集合70的每个片内的所有像素已经被重构。这样，根据分区18的大小，集合70可能包括大量的片，其中图12说明性地仅示出了集合70的两个片70a和70b。应当注意，片集合70可以不包括可划入或属于分区18的所有可能片。例如，集合70的片可以相对于彼此偏移了等于一个像素的相互间距，或者偏移了比一个像素长的相互间距。集合70的每个片70a和70b由两个部分组成，使得相应片与模板14和块10的组合是一致的：每个片70a和70b包括在图2中用72表示并与模板14一致的模板对应区域，以及与块10一致并且相对于模板对应区域所处的位置与模板区域14相对于块10所处的位置相同的部分74。
假设，由此形成集合70的片70a和70b的数量将是Q。然后，过程64将为这Q个片70a和70b中的每一个确定偏差δ1......δQ。例如，如上所述，可以使用平方差之和(SSD)来达到此目的。也就是说，通过将片i的模板对应区域72与模板区域14重叠并且将这些区域72和14内位于同一位置的像素之间的差的平方分别相加，可以为集合70的每个片i确定δ1。当然，可以使用另一个匹配标准来代替SSD。广泛地说，为集合70的每个片确定相似性度量(例如δ1......δQ的倒数)或者差异性度量(例如δ1......δQ)，其度量了相应的模板对应区域72与模板区域14的相似性/差异性。然后将这些度量δ1......δQ或其倒数用作匹配标准，以便在集合70中选择p个片；即，就相似性/差异性度量而言与模板14最相似的那些片，也就是说，集合70中的差异性度量最小或相似性度量最大的那些片。
应该注意的是，在上面关于图1至图9提供的示例中，p被选择为3，并且在图10和图11中p被示出为3，但是根据图10和图11的替代实施例，数量p可以是大于1的任何其他数量，这对于图1至图9也是正确的。对于图10和图11的实施例，p甚至可以为1，在这种情况下，可以省略随后提到的平均器。
应该注意，正常平均仅是预测最终样本的许多方法之一。也可以应用等式(2)中的加权平均。对于p＝3，
Final＝(α×p1+β×p2+γ×p3)/(α+β+γ) (2)
其中，α、β、γ是权重，p1、p2、p3分别是预测器1、预测器2和预测器3，而Final是最终预测器。
实验结果表明，当p＝1时，屏幕内容或类似屏幕内容的序列具有最佳结果。这可能是因为，由平均所产生的平滑效果使这种序列中的清晰度恶化。为了有效地模拟这种行为，在不进行太多计算的情况下，最终的预测可以修改如下：对于p＝3，
设Err1、Err2和Err3分别是与预测器1、预测器2和预测器3相关联的SSD误差。设Thres是阈值SSD误差，其值取决于Err1，其中，例如，Err1＜Err2且Err1＜Err3，即，Err1是最小的SSD值。
如果(Err2≤Thres且Err3≤Thres)，则
Final＝(α×p1+β×p2+γ×p3)/(α+β+γ)
否则
如果(Err2≤Thres)
则Final＝(α×p1+β×p2)/(α+β)，丢弃p3
否则
Final＝p1，丢弃p2和p3 (3)
因此，用于样本的最终预测的预测器的数量的选择取决于与第一个预测器相关联的误差值。例如，可以将Thres设置为α.Err1，其中，例如，α在1.1与2之间(包含1.1和2)。上述示例可以容易地移植到片预测器的数量大于3或仅仅为两个的情况。
总结最近的描述，可以以某种方式对平均进行扩展，使得上面提到的对集合40中的片预测器的平均可以包括以下步骤：第一步，排除集合40中的一些成员，这些成员与模板区域14之间的匹配同集合40的最佳匹配候选/成员相比的差距大于预定阈值；然后，在集合40中仅仅剩下最佳匹配成员的情况下，跳过任何平均，而使用最佳匹配成员作为代替，或者，将平均限制到匹配足够好或者与最佳匹配成员之一足够近似的剩余成员子集，其中，如上所述，在进行排除或分类时可以利用阈值进行限界，该阈值是最佳匹配候选的差异度量的预定倍数。
这样，图12中的最佳匹配搜索处理64的结果是一个或多个(即p个)片的集合，由此，集合76形成相应分区(对于该分区，已经执行了相应的最佳匹配搜索64)的候选片集合78，或者直接形成最终的片集合40(例如在解码器的情况下，在该情况下，如上所述，模板匹配处理64仅针对用信号通知的分区56执行)。
因此，编码器30的选择器32另外包括分区选择器80，其选择S个候选集合78中的一个。为此，分区选择器80可能已经考虑了传送与每个候选集合78相关联的信息48和46所需的数据量，从而包括了与信息46的编码相关联的比特量，或者，分区选择器80可以简单地选择一个候选集合78，该候选集合78关于部分74的平均值产生与块10的最低偏差等。
总而言之，选择器32的分区选择器80从多个候选集合78中选择一个候选集合，并因此从搜索区域16的多个分区18中选择一个分区，并通过数据流36内的信息46用信号通知所选的一个分区18。然后，该用信号通知的分区18形成解码器50的搜索区域56。
关于图12，需要注意，集合70的各个片与模板14之间的“匹配”可以以除使用SSD等之外的方式确定。此外，集合70的片以及相应的由选择器32和52最终选择的集合40的片不需要与模板14和块10的组合一致。例如，片可以仅与块10具有相同的大小并且一致，其中匹配标准指示以下片为最佳匹配：在用相应片替换块10的情况下，从模板14向相应片的过渡将是最平滑的。
在集合78和40中的片的数量(即p)分别大于1的情况下，编码器30的预测编码器34和解码器50的预测解码器54将分别包括可选的平均器82和84(在图10和图11中用虚线示出)，平均器对集合40内的多个片的部分74进行平均，以便得到预测器42。在p＝1的情况下，平均模块82、84将被省略，集合40内的唯一的片将形成预测器42。例如，模块82、84执行的平均处理是在将集合40的一个或多个片(或者更精确地，部分74)重叠在一起的情况下对位于相同位置的像素进行的逐像素平均(例如使用均值或中值)。因此，预测器42将是与块10具有相同大小的像素块，并且可以形成预测器，基于该预测器执行残差编码/解码。应注意，图7的上述描述揭示了对预测器42的预测器精确性的限制(这种限制伴随着将解码器50内的模板匹配过程64限制到整个搜索区域16内的一个子区域18)不如以下优势重要：由于对要执行的模板匹配测试的数量Q的限制(即，仅针对用信号通知的分区而不是针对所有分区)，而在解码侧通过该措施实现了计算复杂度的降低。
还应注意，对图7所示结果的仔细检查表明，以下做法是有利的：将搜索区域16细分为多个子区域18，使得多个子区域的第一子集是在竖直方向上彼此相邻的水平纵向区域，而多个子区域的第二子集是在水平方向上彼此相邻的竖直纵向区域。例如，在图1至图3的情况下，这样的子区域的第一子集由分区2和4形成，子区域的第二子集由分区3和5形成。在图10的情况下，水平纵向区域是分区4、5和6，而竖直纵向区域是分区1、2和3。在使用上述图中关于38所示的示例性编码顺序的情况下，已经重构/已经编码的样本通常位于当前块10的上方和左方，考虑到以上事实，以下做法是有利的：子区域的第一子集和子区域的第二子集(即，水平分区和竖直分区)彼此远离地延伸，并且所述水平分区的左手侧和所述竖直分区的上侧彼此最近。
根据本申请的实施例，信号46以索引的形式用信号通知一个或多个片的集合40所在的子区域56，该索引以该索引指向子区域18的一维列表的方式用信号通知该子区域56。也就是说，信息46不是二维地(例如以具有两个分量的二维矢量的形式)指向搜索区域16的任何分区18，而是使用标量对这些分区18中的一个进行索引，该标量的值映射到与分区18相关联的顺序地址范围上。例如，搜索区域16的每个分区18具有与其相关联的整数值，分区18的整数值彼此不同并且形成例如从0或1或任何其他值开始的紧连的数字序列。
应注意，关于刚刚参照图10至图12描述的实施例，可以将整个搜索区域16选择为不根据图片12的大小而变化。换句话说，对于相对于例如相应图片的左上角具有相同位置的图片的块，区域16的大小可以是相同的大小，而与图片12的大小无关。换句话说，虽然编码器和解码器将能够处理不同大小的图片12，但是可以将搜索区域16选择为具有相同的大小，而与块10所属图片12的大小无关。此外，根据参照图10和图11描述的实施例，搜索区域16表示相对于当前块10位于预定的相对空间位置处的特定大小的窗口，使得对于以关于图10和图11描述的方式确定预测器42的、并且形成搜索区域16的窗口没有延伸到图片12的边界之外的所有块，搜索区域16具有相同的形状和大小。预定的相对空间位置例如意味着，窗口16通过与块10邻接的模板区域14与块10分离，并且从模板区域14开始远离块10而延伸。其他可能的预定空间关系也是可行的，例如，窗口16与块10的边界相距某个预定义距离，该预定义距离可能与模板区域宽度不同。然而，窗口16的大小也可以以不独立于块10在图片内的位置的方式设置(条件是，窗口16完全纳入图片12中)。根据替代实施例，例如，搜索区域16被定义为由相对于当前块10(例如，由图1中的交叉影线所示)的、当前图片12的已重构像素的完整区域形成。或者，搜索区域16可以覆盖以下区域：该区域延伸到图片12的上方边缘，并且延伸到图片12的左手侧的边，但不延伸到块10的右手侧的边之外。在后一种情况下，搜索区域16的分区18的数量可以选择为恒定的或独立于搜索区域16的大小，或者选择为随搜索区域16的大小而变化，而搜索区域16的大小又取决于块10在图片12内的位置。例如，在前一种情况下，分区18的大小可以随着区域16的大小增加而增加，而分区16的数量S保持不变，而在后一种情况下，分区18的数量S可以随着区域16的大小增加而增加，而分区18的大小保持不变。不使用固定窗口大小区域16作为编码器侧的搜索区域的后一种情形将增加编码器侧的计算复杂度，但是可能仍然带来解码器侧的适度的计算复杂度，这是因为用信号通知了要用作解码器侧的搜索区域56的子区域18。
该后一种情形是，在搜索区域16不跨越图片12的边界延伸的条件下，搜索区域16的大小可以由编码器30和解码器50根据图片12的某些特性来设置，该后一种情况在稍后将参考图13和图14描述的实施例中使用，并且对于图11和图12的实施例仅是可选的。该可选情形在图10和图11中由附图标记90表示，附图标记90指示数据流36内的、可选地存在的辅助信息，可以根据该辅助信息来设置搜索区域16的大小。该辅助信息90可以包括由以下信息组成的组中的一项或多项信息：图片大小参数，指示图片12的图片大小(即，块10所属的图片的大小)；区块(tile)细分信息，指示块10所属的图片12的独立编码的图片区块的数量；以及图片内容/标识符，在语义上区分各个块10所属的图片中的不同类型的场景内容。该辅助信息90可以具有更大的范围，并且可以例如对于预定图片块10所属的视频的图片序列是有效的。例如，可以在VPS或SPS等内传送辅助信息90。
在区域16是在空间上相对于块10定位的窗口(其具有取决于或独立于辅助信息90的预定大小)的情况下，应注意，如果窗口16延伸到图片12的边界之外，则可以在编码器和/或解码器处采取特殊措施。显然，编码器30不能对位于图片12外部的分区18(至少对于那些完全位于图片12外部的分区18)执行模板匹配。它们是不可用的。然而，另外，对于那些部分地延伸到图片12之外的分区18，编码器30可以跳过其模板匹配。它们可能也被解释为不可用。对于解码器50，这种限制可能没有意义，因为它通过信号46被通知了所选分区18，并且仅在该分区18内执行模板匹配。然而，解码器50可以以相同的方式(即，通过确定哪个分区18在图片12之外或者延伸到图片边界之外)来确定编码器18已经进行了模板匹配的分区18以及未进行模板匹配的分区18，并且因此知道信号46可能针对块10指定解码器的搜索区域56的分区18的集合。与完全位于图片区域内的模板16的分区18的完整集合相比，该可用分区18的集合可能减小了。这种情形可以被视为减小了在编码器内执行模板匹配的区域16的大小。对于距图片边界(尤其是上边界和左边界)足够远的块10，窗口16在相应图片内将具有相同的尺寸，或者换言之，对于距图片边界足够远的所有图片位置，位于这样的位置处的块10具有与其相关联的相同大小的模板16。可以利用减少的“能够用信号通知的”分区18的集合的情形，来减小与信号46相关联的信令开销。也就是说，信号46被编码到数据流46以及从数据流46中解码的方式可以取决于“可用的”分区18的集合相对于整个分区集合的减小，使得该减小的集合越小，则在数据流36中消耗的用于信号46的比特数越小。可以相应地减小信号46的值集合，或者，用于对信号46进行熵编码/解码的上下文可以适应于“可用”分区集合的大小。替代地或附加地，一旦减小的可用分区18的集合的数量小于预定数量，则对于块10可以完全禁止所描述的模板匹配模式，剩余的编码模式(例如，其他帧内图片预测模式或帧间图片预测模式)的集合可替代地用于块10。如信号46那样，可以在对数据流36中的信号进行编码/解码时做出改变，根据一个实施例，该信号存在于数据流中以用于诸如块10之类的块，以便用信号通知其编码模式。例如，块10的能够用信号通知的模式的集合的基数可以独立于可用分区18的数量来选择(其中模板匹配模式是该集合的一部分)，或者可以不取决于可用分区18的数量来选择。替代地，取决于可用分区18的数量，针对块10的能够用信号通知的模式的集合可以包括或不包括模板匹配模式，该集合的基数相应地变化，即，在可用分区18的数量不小于预定数量的情况下，与可用分区18的数量小于预定数量的情况相比增加1。
按照与刚刚概述的方式相同的方式，可以处理以下情况：搜索区域16(其可以是相对于块10在空间上定位的预定大小的模板，或者可以是占据了在块10之前遍历的已经解码/编码的区域的全部或一部分的区域)延伸到当前块10所在的切片(slice)的边界之外，或当前块10所在的区块的边界之外。切片和区块是图片12可以被划分成的图片的部分，并且被定义为能够独立解码的部分，因此禁止编码相互依赖。
图13和图14示出了根据本申请的其他实施例的编码器30和解码器50。图13和图14的编码器30和解码器50彼此适合。这些图的编码器和解码器的功能已经在上文中关于图10和图12进行了描述，在此范围内，参考对图10和图12的描述。然而，根据图13和图14的实施例，搜索区域16可以不在空间上细分为分区18，即，图10的S可以等于1，因此，信息46可以不在数据流36中传输。此外，根据图13和图14的实施例，编码器和解码器中使用的搜索区域可以是相同的。然而，图13和图14的编码器30和解码器50被配置为根据数据流36中的辅助信息90来设置搜索区域16的大小(该大小在图13和图14中用M表示)，以便于将这些实施例与图1至图9的描述相关联。就此而言，对上面关于图10至图12给出的描述进行参考，并且这些描述还将形成对图13和图14的描述。根据图13和图14，由于S可以是1，所以在选择器32中可以省去分区选择器80，并且在编码器和解码器中可以分别省去平均器82和84。最佳匹配搜索64可以在选择器32内仅执行一次；即，针对搜索区域16(其也形成解码器的搜索区域56)执行。然而，如果S＞1，则适用上面关于图10至图12给出的描述。
换句话说，根据图13和图14，搜索区域16和(可选的)56将被选择为根据辅助信息90而变化。该辅助信息90可以包括由以下项组成的组中的一项或多项：图片大小参数，指示图片12的图片大小(即，块10所属的图片的大小)；区块(tile)细分信息，指示块10所属的图片12的独立编码的图片区块的数量；以及图片内容/标识符，在语义上区分各个块10所属的图片中的不同类型的场景内容。该辅助信息90可以具有更大的范围，并且可以例如对于预定图片块10所属的视频的图片序列是有效的。例如，可以在VPS或SPS等内传送辅助信息90。因此，对于相对于例如相应图片12的左上角94具有相同位置92的图片12的块，区域16的大小可以是大小M，该大小M在不同大小的图片12之间是不同的。换句话说，编码器和解码器将能够处理不同大小的图片12，并且搜索区域16将被选择为具有大小M，该大小M依赖于块10所属的图片12的大小M来设置。可以仅针对特定大小的块10(例如，低于特定大小阈值的块10)实现该依赖性。自然地，这同样适用于辅助信息90同样用来区分不同图片的其他图片特性，并且不限于图片大小W，如图13所示，图片大小W可以作为图片的宽度来度量。在一个特定图片12内，对于使用预测器42来进行预测编码的、并且形成搜索区域16的窗口没有延伸到该图片12的边界之外的所有块10，搜索区域16可以具有相同大小M。窗口16可以相对于块10定位，使得窗口16具有预定的相对空间关系。例如，窗口16通过与块10邻接的模板区域14与块10分离，并且从模板区域14开始远离块10而延伸。其他可能的预定空间关系也是可行的，例如，窗口16与块10的边界相距某个预定义距离，该预定义距离可能与模板区域宽度不同。
与对图10和图11的描述类似，根据一个实施例，如果区域16/56延伸到包含块10的图片、切片和/或区块的边界之外超过预定量，或者如果包含块10的图片、切片和/或区块的边界内的区域16/56小于预定的大小，即使当不在信号46中使用到分区18的细分时，也可以针对块10禁用块10的模板匹配模式。
关于图10至图14，应注意，上述实施例涉及模板区域14和预定图片块或当前块10位于相同图片12内的情况，其中搜索区域16或56也位于该图片12内并且在空间上邻接块10。就此而言，由图10至图14的编码器和解码器的实施例提供的技术构成了相应编码器或解码器的帧内图片预测模式的示例。然而，可以修改上面关于图1至图14(尤其关于图10和图14)给出的描述，以得到本申请的将相应技术用于帧间图片预测的其他实施例。这种情形在图15中示出。块10和相关联的模板14被示出为属于或位于图片12’(即当前编码/解码的图片)内。然而，另一图片12也在图15中示出。特别地，如虚线所示，图15示出了图片12的块10’，其与当前块10位于相同位置。如图15所示，在前述实施例中提到的搜索区域16实际上可以是图片12(即与当前图片12’不同的图片)的一部分。例如，图片12可以是与图片12’所属相同视频的图片，或者可以是另一个视角的、但例如与图片12’所属相同实例的图片。区域16可以在空间上邻接块10′和/或覆盖块10′。因此，使用图15中所示的替代方案，可以修改所有上述实施例，以便形成支持特殊类型的帧间图片预测的编码器/解码器。
图16示出了对图15的修改。这里，并不将区域16选择为相对于图片10’内的位于相同位置的块10′具有特定的空间位置。相反，搜索区域16是图片12的一部分并且相对于图片12内的位置100(位置100与图片12’内的块10位于相同位置)移位了矢量102，矢量102在数据流36内传送，即，在解码器侧从数据流中导出，并由编码器在数据流中用信号通知。例如，设想一下，矢量102在数据流36中较粗略地传输，因此集合70的测试片在区域16和56内分别相互间隔的间距也是如此。在这种情况下，模板匹配64将用于确定矢量102的一种微调。
因此，在上述实施例中，揭示了改进的帧内预测技术。帧内预测技术是视频编码中最重要的步骤之一，其中空间冗余被用于提高编码效率。最先进的H.265/HEVC具有35种帧内模式，包括33种角度模式、DC模式和平面模式。然而，这些方法仍然不足，特别是涉及复杂结构时。这为搜索帧内预测的新技术开辟了道路。先前已经提出了模板匹配，但是搜索算法的实质复杂性的增加倾向于使其对进一步研究的吸引力降低。以上技术提供了构成针对H.265/HEVC的快速模板匹配帧内模式的能力。对于类A至类E，所讨论的技术能够实现-1.15％的平均BD速率增益，具有133％的解码器复杂度。换句话说，快速模板匹配帧内模式以H.265/HEVC作为可能的目标参考。实验结果表明，对于类A至类E，新模式可以实现-1.15％的平均BD速率增益，具有133％的解码器复杂度。在该研究的基础上，可以调整用于执行搜索模板匹配的自适应窗口。窗口大小可以适应视频序列的帧大小。此外，通过不相等的搜索分区大小可以实现-1.31％的增益，具有153％的复杂度。该研究强调了这样一个事实，即，与从高度耗时的全局搜索获得的最佳预测相比，从局部搜索获得的良好预测是一个更好的折衷。通过在达到最小阈值误差值之后终止搜索算法，可以实现更多的复杂性降低。
虽然已经在装置的上下文中描述了一些方面，但是将清楚的是，这些方面还表示对应方法的描述，其中，块或设备对应于方法步骤或方法步骤的特征。类似地，在方法步骤上下文中描述的方面也表示对相应装置的相应块或项或者特征的描述。可以由(或使用)硬件设备(诸如，微处理器、可编程计算机或电子电路)来执行一些或全部方法步骤。在一些实施例中，可以由这种装置来执行最重要方法步骤中的一个或多个方法步骤。
本发明的数据流可以存储在数字存储介质上，或者可以在诸如无线传输介质或有线传输介质(例如，互联网)等的传输介质上传输。
取决于某些实现要求，可以在硬件中或在软件中实现本发明的实施例。可以使用其上存储有电子可读控制信号的数字存储介质(例如，软盘、DVD、蓝光、CD、ROM、PROM、EPROM、EEPROM或闪存)来执行实现，该电子可读控制信号与可编程计算机系统协作(或者能够与之协作)从而执行相应方法。因此，数字存储介质可以是计算机可读的。
根据本发明的一些实施例包括具有电子可读控制信号的数据载体，其能够与可编程计算机系统协作以便执行本文所述的方法之一。
通常，本发明的实施例可以实现为具有程序代码的计算机程序产品，程序代码可操作以在计算机程序产品在计算机上运行时执行方法之一。程序代码可以例如存储在机器可读载体上。
其他实施例包括存储在机器可读载体上的计算机程序，该计算机程序用于执行本文所述的方法之一。
换言之，本发明方法的实施例因此是具有程序代码的计算机程序，该程序代码用于在计算机程序在计算机上运行时执行本文所述的方法之一。
因此，本发明方法的另一实施例是其上记录有计算机程序的数据载体(或者数字存储介质或计算机可读介质)，该计算机程序用于执行本文所述的方法之一。数据载体、数字存储介质或记录介质通常是有形的和/或非瞬时性的。
因此，本发明方法的另一实施例是表示计算机程序的数据流或信号序列，所述计算机程序用于执行本文所述的方法之一。数据流或信号序列可以例如被配置为经由数据通信连接(例如，经由互联网)传送。
另一实施例包括处理装置，例如，计算机或可编程逻辑器件，所述处理装置被配置为或适于执行本文所述的方法之一。
另一实施例包括其上安装有计算机程序的计算机，该计算机程序用于执行本文所述的方法之一。
根据本发明的另一实施例包括被配置为向接收机(例如，以电子方式或以光学方式)传送计算机程序的装置或系统，该计算机程序用于执行本文所述的方法之一。接收器可以是例如计算机、移动设备、存储设备等。装置或系统可以例如包括用于向接收器传送计算机程序的文件服务器。
在一些实施例中，可编程逻辑器件(例如，现场可编程门阵列)可以用于执行本文所述的方法的功能中的一些或全部。在一些实施例中，现场可编程门阵列可以与微处理器协作以执行本文所述的方法之一。通常，方法优选地由任意硬件装置来执行。
本文描述的装置可以使用硬件装置、或者使用计算机、或者使用硬件装置和计算机的组合来实现。
本文描述的装置或本文描述的装置的任何组件可以至少部分地在硬件和/或软件中实现。
本文描述的方法可以使用硬件装置、或者使用计算机、或者使用硬件装置和计算机的组合来执行。
本文描述的方法或本文描述的装置的任何组件可以至少部分地由硬件和/或由软件执行。
上述实施例对于本发明的原理仅是说明性的。应当理解的是，本文所述的布置和细节的修改和变形对于本领域其他技术人员将是显而易见的。因此，旨在仅由所附专利权利要求的范围来限制而不是由借助对本文的实施例的描述和解释所给出的具体细节来限制。
参考文献
[1]Vivienne Sze，Madhukar Budagavi，and Gary J.Sullivan，High EfficiencyVideo Coding(HEVC)Algorithms and Architectures，Springer，2014；
[2]Thiow Keng Tan，Choong Seng Boon，and Yoshinori Suzuki，“Intraprediction by template matching，”in ICIP 2006，Atlanta，GA，2006，pp.1693-1696；
[3]Thiow Keng Tan，Choong Seng Boon，and Yoshinori Suzuki，“Intraprediction by averaged template matching predictors,”in Proc.CCNC 2007，LasVegas，NV，USA，2007，pp.405-109；
[4]Yi Guo，Ye-Kui Wang，and Houqiang Li，“Priority-based templatematching intra prediction，”in IEEE International Conference on Multimedia andExpo2008，Hannover，Germany，June2008，pp.1117-1120；
[5]Yinfei Zheng，Peng Yin，Oscar Divorra Escoda，Xin Li，and CristinaGomila，“Intra prediction using template matching with adaptive illuminationcompensation，”in Proc.IEEE International Conference on Image ProcessingICIP2008，San Diego，CA，October2008；
[6]Matthieu Moinard，Isabelle Amonou，Pierre Duhamel，and PatriceBrault，“A set of template matching predictors for intra videocoding，”in IEEEInternational Conference on Acoustics，Speech and Signal Processing(ICASSP)2010，March2010；
[7]Safa Cherigui，Christine Guillemot，Dominique Thoreau，PhilippeGuillotel，and Patrick Perez，“Hybrid template and block matching algorithm forimage intra prediction，”in IEEE International Conference on Acoustics，Speechand Signal Processing(ICASSP)，Kyoto，March 2012，pp.781-784；
[8]Tao Zhang，Haoming Chen，Ming-Ting Sun，Debin Zhao，and Wen Gao，“Hybrid angular intra/template matching prediction for HEVC intra coding，”inVisual Communications and Image Processing2015，Singapore，December 2015，pp.1-4；
[9]F.Bossen，“Common test conditions and software referenceconfigurations，”in JCTVC-L1100 of JCT-VC，Geneva，2013。

Claims (72)

1.一种用于图片解码的装置，被配置为：
从图片(12)的搜索区域(56)中选择(52)一个或多个片的集合(40)，所述片与邻近预定图片块(10)的模板区域(14)相匹配；以及
基于所述一个或多个片的集合(40)从数据流(36)中预测性解码(54)所述预定图片块(10)，
其中，所述装置被配置为基于所述数据流(36)中的信号(46)从多个子区域(18)中选择所述搜索区域(56)，所述多个子区域(18)是对与所述预定图片块(10)相关联的整个搜索区域(16)进行细分而成的。
2.根据权利要求1所述的装置，其中所述模板区域(14)和所述预定图片块(10)在所述图片(12)内，并且所述整个搜索区域(16)在空间上邻接所述预定图片块(10)。
3.根据权利要求1所述的装置，其中所述模板区域(14)和所述预定图片块(10)在另一图片(12’)内，并且所述整个搜索区域(16)在空间上邻接和/或覆盖所述图片(12)中与所述预定图片块(10)位于相同位置的块(10’)。
4.根据权利要求1所述的装置，其中所述模板区域(14)和所述预定图片块(10)在另一图片(12’)内，并且所述整个搜索区域(16)从所述图片(12)内的与所述预定图片块(10)相同的位置(100)移位了矢量(102)，其中所述装置被配置为从所述数据流(36)中导出所述矢量(102)。
5.根据权利要求3或4所述的装置，其中所述图片(12)和所述另一图片(12’)是视频的视频图片，或者是不同视角的图片。
6.根据权利要求1至5中任一项所述的装置，被配置为使用预定匹配标准执行所述选择，使得在所述搜索区域(56)内的片集合(70)中，所述一个或多个片的集合(40)根据所述预定匹配标准与所述模板区域(14)最佳匹配。
7.根据权利要求6所述的装置，所述预定匹配标准对与所述模板区域(14)的差进行度量。
8.根据权利要求1至7中任一项所述的装置，其中，所述一个或多个片的集合(40)中的一个或多个片的总数大于一。
9.根据权利要求1至8中任一项所述的装置，被配置为：通过将所述搜索区域(56)的片集合(70)中的每一个片的模板对应区域(72)与所述模板区域(14)进行比较来执行所述选择(52)，并且被配置为：基于所述一个或多个片的集合(40)的部分(74)执行所述预测性解码，所述部分(74)相对于所述模板对应区域(72)所处的位置与所述模板区域(14)相对于所述预定图片块(10)所处的位置相同。
10.根据权利要求1至9中任一项所述的装置，被配置为：基于所述一个或多个片的集合(40)的平均值来执行所述预测性解码(54)，或者基于所述一个或多个片的集合(40)中的子集的平均值来执行所述预测性解码(54)，其中所述子集从所述一个或多个片的集合(40)中排除了与所述模板区域(14)之间的匹配同所述一个或多个片的集合(40)中的最佳匹配片相比的差距大于预定阈值的片，其中所述平均值例如是正常平均值、加权平均值或两者的组合。
11.根据权利要求1至10中任一项所述的装置，其中，所述整个搜索区域(16)被细分为所述多个子区域(18)，使得所述多个子区域(18)的第一子集是在竖直方向上彼此相邻的水平纵向区域，并且使得所述多个子区域(18)的第二子集是在水平方向上彼此相邻的竖直纵向区域。
12.根据权利要求11所述的装置，其中所述装置使用从图片顶部到图片底部的水平光栅扫描编码顺序(38)，并且所述整个搜索区域(16)被细分为所述多个子区域(18)，使得所述水平纵向区域和所述竖直纵向区域分别从所述竖直纵向区域的上端和所述水平纵向区域的左手端彼此远离地延伸。
13.根据权利要求1至10中任一项所述的装置，被配置为：使用窗口作为所述整个搜索区域(16)，所述窗口在空间上相对于所述预定图片块(10)定位，并且具有与所述预定图片块(10)所在的可能图片位置无关的大小。
14.根据权利要求1至13中任一项所述的装置，被配置为：通过从所述信号(46)导出索引并将所述索引应用于所述多个子区域(18)的一维列表，来基于所述数据流(36)中的所述信号(46)从所述多个子区域(18)中选择所述搜索区域(56)，所述多个子区域(18)是对与所述预定图片块(10)相关联的整个搜索区域(16)进行细分而成的。
15.根据权利要求1至14中任一项所述的装置，被配置为：根据所述数据流(36)中的辅助信息(90)来设置所述整个搜索区域(16)和/或所述子区域(18)的大小。
16.根据权利要求15所述的装置，其中所述辅助信息(90)包括由以下项组成的组中的一项或多项：
图片大小参数，指示图片大小(W)；
区块细分信息，指示独立编码的图片区块的数量；以及
图片内容类标识符。
17.根据权利要求16所述的装置，所述辅助信息(90)对于所述预定图片块(10)所属的视频的图片序列是有效的。
18.根据权利要求15至17中任一项所述的装置，被配置为：如果所述预定图片块(10)小于预定块大小，则根据所述数据流(36)中的所述辅助信息(90)来设置所述整个搜索区域(16)和/或所述子区域(18)的大小，如果所述预定图片块(10)大于所述预定块大小，则独立于所述数据流(36)中的所述辅助信息(90)来设置所述整个搜索区域(16)和/或所述子区域(18)的大小。
19.根据权利要求15至17中任一项所述的装置，被配置为：根据所述数据流(36)中的辅助信息(90)来设置所述整个搜索区域(16)和/或所述子区域(18)的大小，使得所述预定图片块所在图片的图片大小越大，则所述整个搜索区域(16)和/或所述子区域(18)的大小越大。
20.一种用于图片解码的方法，包括：
从图片(12)的搜索区域(56)中选择(52)一个或多个片的集合(40)，所述片与邻近预定图片块(10)的模板区域(14)相匹配；以及
基于所述一个或多个片的集合(40)从数据流(36)中预测性解码(54)所述预定图片块(10)，以及
基于所述数据流(36)中的信号(46)从多个子区域(18)中选择所述搜索区域(56)，所述多个子区域(18)是对与所述预定图片块(10)相关联的整个搜索区域(16)进行细分而成的。
21.一种用于图片编码的装置，被配置为：
从图片(12)的搜索区域(16)中选择(32)一个或多个片的集合(40)，所述片与邻近预定图片块(10)的模板区域(14)相匹配；以及
基于所述一个或多个片的集合(40)，将所述预定图片块(10)预测性编码(34)到数据流(36)中，
其中所述搜索区域(16)在空间上被细分为多个子区域(18)，并且所述装置被配置为：在所述数据流(36)内用信号通知所述一个或多个片的集合(40)所在的子区域。
22.根据权利要求21所述的装置，其中所述模板区域(14)和所述预定图片块(10)在所述图片(12)内，并且所述搜索区域在空间上邻接所述预定图片块(10)。
23.根据权利要求21所述的装置，其中所述模板区域(14)和所述预定图片块(10)在另一图片(12’)内，并且所述搜索区域(16)在空间上邻接和/或覆盖所述图片(12)中与所述预定图片块(10)位于相同位置的块(10’)。
24.根据权利要求21所述的装置，其中所述模板区域(14)和所述预定图片块(10)在另一图片(12’)内，并且所述搜索区域(16)从所述图片(12)内的与所述预定图片块(10)相同的位置(100)移位了矢量(102)，其中所述装置被配置为：确定所述矢量(102)并在所述数据流(36)中用信号通知所述矢量(102)。
25.根据权利要求23或24所述的装置，其中所述图片(12)和所述另一图片(12’)是视频的视频图片，或者是不同视角的图片。
26.根据权利要求21至25中任一项所述的装置，被配置为通过以下方式来使用预定匹配标准执行所述选择(32)：针对每个子区域(18)，确定(64)一个或多个片的候选集合(78)，在相应子区域(18)内的片集合(70)中，所述候选集合(78)根据所述预定匹配标准与所述模板区域(14)最佳匹配；并且选择(80)针对所述子区域(18)之一确定的候选集合(78)作为所述一个或多个片的集合(40)，所述一个或多个片的集合(40)是对所述预定图片块(10)进行预测性编码时所基于的集合。
27.根据权利要求26所述的装置，所述预定匹配标准对与所述模板区域(14)的差进行度量。
28.根据权利要求21至7中任一项所述的装置，其中，所述一个或多个片的集合(40)的基数大于一。
29.根据权利要求21至28中任一项所述的装置，被配置为：通过将所述搜索区域(56)的片集合(70)中的每一个片的模板对应区域(72)与所述模板区域(14)进行比较来执行所述选择(32)，并且被配置为：基于所述一个或多个片的集合(40)的部分(74)执行所述预测性编码(34)，所述部分(74)相对于所述模板对应区域(72)所处的位置与所述模板区域(14)相对于所述预定图片块(10)所处的位置相同。
30.根据权利要求21至29中任一项所述的装置，被配置为：基于所述一个或多个片的集合(40)的平均值来执行所述预测性编码(34)，或者基于所述一个或多个片的集合(40)中的子集的平均值来执行所述预测性编码(34)，其中所述子集从所述一个或多个片的集合(40)中排除了与所述模板区域(14)之间的匹配同所述一个或多个片的集合(40)中的最佳匹配片相比的差距大于预定阈值的片。
31.根据权利要求21至30中任一项所述的装置，其中，所述整个搜索区域(16)被细分为所述多个子区域(18)，使得所述多个子区域的第一子集是在竖直方向上彼此相邻的水平纵向区域，并且使得所述多个子区域(18)的第二子集是在水平方向上彼此相邻的竖直纵向区域。
32.根据权利要求31所述的装置，其中，所述装置使用从图片顶部到图片底部的水平光栅扫描编码顺序(38)，并且所述搜索区域(16)被细分为所述多个子区域(18)，使得所述水平纵向区域和所述竖直纵向区域分别从所述竖直纵向区域的上端和所述水平纵向区域的左手端彼此远离地延伸。
33.根据权利要求21至30中任一项所述的装置，被配置为：使用窗口作为所述搜索区域(16)，所述窗口在空间上相对于所述预定图片块(10)定位，并且具有与所述预定图片块(10)所在的可能图片位置无关的大小。
34.根据权利要求21至33中任一项所述的装置，被配置为：通过在所述信号(46)中指示指向所述多个子区域(18)的一维列表的索引，来基于所述数据流(36)中的所述信号(46)用信号通知所述一个或多个片的集合(40)所在的子区域(18)。
35.根据权利要求21至33中任一项所述的装置，被配置为：根据所述数据流中的辅助信息(90)来设置所述搜索区域(16)的大小(M)和/或所述多个子区域(18)的总数。
36.根据权利要求35所述的装置，其中所述辅助信息(90)包括由以下项组成的组中的一项或多项：
图片大小参数，指示图片大小；
区块细分信息，指示独立编码的图片区块的数量；以及
图片内容类标识符。
37.根据权利要求36所述的装置，其中所述辅助信息(90)对于所述预定图片块(10)所属的视频的图片序列是有效的。
38.根据权利要求35至37中任一项所述的装置，被配置为：如果所述预定图片块(10)小于预定块大小，则根据所述数据流(36)中的所述辅助信息(90)来设置所述搜索区域(16)和/或所述子区域(18)的大小，如果所述预定图片块(10)大于所述预定块大小，则独立于所述数据流(36)中的所述辅助信息(90)来设置所述搜索区域(16)和/或所述子区域(18)的大小。
39.根据权利要求35至37中任一项所述的装置，被配置为：根据所述数据流(36)中的所述辅助信息(90)来设置所述搜索区域(16)和/或所述子区域(18)的大小，使得所述预定图片块所在图片的图片大小越大，则整个搜索区域(16)和/或所述子区域(18)的大小越大。
40.一种用于图片编码的方法，包括：
从图片(12)的搜索区域(16)中选择(32)一个或多个片的集合(40)，所述片与邻近预定图片块(10)的模板区域(14)相匹配；以及
基于所述一个或多个片的集合(40)，将所述预定图片块(10)预测性编码(34)到数据流(36)中，
其中所述搜索区域(16)在空间上被细分为多个子区域(18)，并且所述方法包括：在所述数据流(36)内用信号通知所述一个或多个片的集合(40)所在的子区域。
41.一种用于图片解码的装置，被配置为：
从图片(12)的搜索区域(56)中选择(52)一个或多个片的集合(40)，所述片与邻近预定图片块(10)的模板区域(14)相匹配；以及
基于所述一个或多个片的集合(40)从数据流(36)中预测性解码(54)所述预定图片块(10)，
其中，所述装置被配置为：根据所述数据流中的辅助信息(90)来设置所述搜索区域(56)的大小。
42.根据权利要求41所述的装置，其中所述模板区域和所述预定图片块在所述图片内，并且所述搜索区域在空间上邻接所述预定图片块。
43.根据权利要求41的装置，其中所述模板区域和所述预定图片块在另一图片内，并且所述搜索区域在空间上邻接或覆盖所述图片中与所述预定图片块位于相同位置的块。
44.根据权利要求41所述的装置，其中所述模板区域和所述预定图片块在另一图片内，并且所述搜索区域从所述图片内的与所述预定图片块相同的位置移位了矢量，其中所述装置被配置为：确定所述矢量并在所述数据流中用信号通知所述矢量。
45.根据权利要求43或44所述的装置，其中，所述图片和所述另一图片是视频的视频图片，或者是不同视角的图片。
46.根据权利要求41至45中任一项所述的装置，被配置为：使用预定匹配标准在所述搜索区域内的片集合中执行所述选择。
47.根据权利要求46所述的装置，所述预定匹配标准对与所述模板区域的差进行度量。
48.根据权利要求41至47中任一项所述的装置，其中，所述一个或多个片的总数大于一。
49.根据权利要求41至48中任一项所述的装置，被配置为：通过将所述搜索区域的片集合中的每一个片的模板对应区域与所述模板区域进行比较来执行所述选择，并且被配置为：基于所述一个或多个片的集合的部分执行所述预测性编码，所述部分相对于所述模板对应区域所处的位置与所述模板区域相对于所述预定图片块所处的位置相同。
50.根据权利要求41至49中任一项所述的装置，被配置为：基于所述一个或多个片的平均值来执行所述预测性编码，或者基于所述一个或多个片的集合(40)中的子集的平均值来执行所述预测性编码，其中所述子集从所述一个或多个片的集合(40)中排除了与所述模板区域(14)之间的匹配同所述一个或多个片的集合(40)中的最佳匹配片相比的差距大于预定阈值的片。
51.根据权利要求41至50中任一项所述的装置，其中，所述辅助信息包括由以下项组成的组中的一项或多项：
图片大小参数，指示图片大小；
区块细分信息，指示独立编码的图片区块的数量；以及
图片内容类标识符。
52.根据权利要求41至51中任一项所述的装置，所述辅助信息(90)对于所述预定图片块(10)所属的视频的图片序列是有效的。
53.根据权利要求41至52中任一项所述的装置，被配置为：如果所述预定图片块(10)小于预定块大小，则根据所述数据流(36)中的所述辅助信息(90)来设置所述搜索区域(56)的大小，如果所述预定图片块(10)大于所述预定块大小，则独立于所述数据流(36)中的所述辅助信息(90)来设置所述搜索区域(56)的大小。
54.根据权利要求41至53中任一项所述的装置，被配置为：根据所述数据流(36)中的辅助信息(90)来设置所述搜索区域(56)的大小，使得所述预定图片块所在图片的图片大小越大，则所述搜索区域(56)的大小越大。
55.一种用于图片解码的方法，包括：
从图片(12)的搜索区域(56)中选择(52)一个或多个片的集合(40)，所述片与邻近预定图片块(10)的模板区域(14)相匹配；以及
基于所述一个或多个片的集合(40)从数据流(36)中预测性解码(54)所述预定图片块(10)，以及
根据所述数据流中的辅助信息(90)来设置所述搜索区域(56)的大小。
56.一种用于图片编码的装置，被配置为：
从图片的搜索区域中选择一个或多个片的集合，所述片与邻近预定图片块的模板区域相匹配；以及
基于所述一个或多个片的集合，将所述预定图片块预测性编码到数据流中，
其中，所述装置被配置为：根据所述数据流中的辅助信息来设置所述搜索区域的大小。
57.根据权利要求56所述的装置，其中所述模板区域和所述预定图片块在所述图片内，并且所述搜索区域在空间上邻接所述预定图片块。
58.根据权利要求56的装置，其中所述模板区域和所述预定图片块在另一图片内，并且所述搜索区域在空间上邻接所述图片中与所述预定图片块位于相同位置的块。
59.根据权利要求56所述的装置，其中所述模板区域和所述预定图片块在另一图片内，并且所述搜索区域从所述图片内的与所述预定图片块相同的位置移位了矢量，其中所述装置被配置为：确定所述矢量并在所述数据流中用信号通知所述矢量。
60.根据权利要求58或59所述的装置，其中，所述图片和所述另一图片是视频的视频图片，或者是不同视角的图片。
61.根据权利要求56至60中任一项所述的装置，被配置为：使用预定匹配标准在所述搜索区域内的片集合中执行所述选择。
62.根据权利要求61所述的装置，所述预定匹配标准对与所述模板区域的差进行度量。
63.根据权利要求56至62中任一项所述的装置，其中，所述一个或多个片的总数大于一。
64.根据权利要求56至63中任一项所述的装置，被配置为：通过将所述搜索区域的片集合中的每一个片的模板对应区域与所述模板区域进行比较来执行所述选择，并且被配置为：基于所述一个或多个片的部分执行所述预测性编码，所述部分相对于所述模板对应区域所处的位置与所述模板区域相对于所述预定图片块所处的位置相同。
65.根据权利要求56至64中任一项所述的装置，被配置为：基于所述一个或多个片的平均值来执行所述预测性编码，或者基于所述一个或多个片的集合(40)中的子集的平均值来执行所述预测性编码，其中所述子集从所述一个或多个片的集合(40)中排除了与所述模板区域(14)之间的匹配同所述一个或多个片的集合(40)中的最佳匹配片相比的差距大于预定阈值的片。
66.根据权利要求56至65中任一项所述的装置，其中，所述辅助信息包括由以下项组成的组中的一项或多项：
图片大小参数，指示图片大小；
区块细分信息，指示独立编码的图片区块的数量；以及
图片内容类标识符。
67.根据权利要求56至66中任一项所述的装置，其中所述辅助信息(90)对于所述预定图片块(10)所属的视频的图片序列是有效的。
68.根据权利要求56至67中任一项所述的装置，被配置为如果所述预定图片块(10)小于预定块大小，则根据所述数据流(36)中的所述辅助信息(90)来设置所述搜索区域(16)的大小，如果所述预定图片块(10)大于所述预定块大小，则独立于所述数据流(36)中的所述辅助信息(90)来设置所述搜索区域(16)的大小。
69.根据权利要求56至68中任一项所述的装置，被配置为根据所述数据流(36)中的辅助信息(90)来设置所述搜索区域(16)的大小，使得所述预定图片块所在图片的图片大小越大，则整个搜索区域(16)的大小越大。
70.一种用于图片编码的方法，包括：
从图片的搜索区域中选择一个或多个片的集合，所述片与邻近预定图片块的模板区域相匹配；以及
基于所述一个或多个片的集合，将所述预定图片块预测性编码到数据流中，以及
根据所述数据流中的辅助信息来设置所述搜索区域的大小。
71.一种具有程序代码的计算机程序，所述程序代码用于当在计算机上运行时执行根据权利要求20、40、55或70中任一项所述的方法。
72.一种数据流，由根据权利要求40或70中任一项所述的方法产生。
CN201880022519.6A 2017-02-08 2018-02-07 用于图片编码的装置和方法、以及用于图片解码的装置和方法 Active CN110537370B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP17155293 2017-02-08
EP17155293.8 2017-02-08
PCT/EP2018/053078 WO2018146151A1 (en) 2017-02-08 2018-02-07 Predictive coding concept using template matching

Publications (2)

Publication Number Publication Date
CN110537370A true CN110537370A (zh) 2019-12-03
CN110537370B CN110537370B (zh) 2023-08-25

Family

ID=57995157

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880022519.6A Active CN110537370B (zh) 2017-02-08 2018-02-07 用于图片编码的装置和方法、以及用于图片解码的装置和方法

Country Status (5)

Country Link
US (1) US20190364283A1 (zh)
EP (1) EP3580928A1 (zh)
CN (1) CN110537370B (zh)
TW (2) TWI687094B (zh)
WO (1) WO2018146151A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024145790A1 (zh) * 2023-01-03 2024-07-11 Oppo广东移动通信有限公司 解码方法、编码方法、解码器和编码器

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040071352A1 (en) * 2002-07-02 2004-04-15 Canon Kabushiki Kaisha Image area extraction method, image reconstruction method using the extraction result and apparatus thereof
JP2007336277A (ja) * 2006-06-15 2007-12-27 Nec Corp 動画像符号化復号化方法、符号化復号化装置及び動画像符号化復号化プログラム
US20080002878A1 (en) * 2006-06-28 2008-01-03 Somasundaram Meiyappan Method For Fast Stereo Matching Of Images
CN101715135A (zh) * 2009-09-30 2010-05-26 武汉大学 基于模板匹配的自适应帧内预测滤波编码方法
CN101854545A (zh) * 2009-03-30 2010-10-06 索尼公司 用于视频编码器中的帧内预测的方法和设备
WO2011121942A1 (ja) * 2010-03-31 2011-10-06 株式会社Ｊｖｃケンウッド 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム、ならびに動画像復号装置、動画像復号方法及び動画像復号プログラム
CN102804774A (zh) * 2010-01-19 2012-11-28 汤姆逊许可证公司 用于视频编解码的降低了复杂度的模板匹配预测方法和装置
CN102970529A (zh) * 2012-10-22 2013-03-13 北京航空航天大学 一种基于对象的多视点视频分形编码压缩与解压缩方法
CN102982062A (zh) * 2009-04-20 2013-03-20 奥林巴斯映像株式会社 图像整理装置
AU2013202014A1 (en) * 2010-01-14 2013-04-18 Samsung Electronics Co., Ltd Method and apparatus for encoding and decoding motion vector
CN103391430A (zh) * 2013-07-22 2013-11-13 南通大学 基于dsp的相关跟踪方法及专用装置
CN104065970A (zh) * 2013-03-19 2014-09-24 汤姆逊许可公司 图像间预测方法和设备以及相应的编码方法和装置
JP2014230031A (ja) * 2013-05-21 2014-12-08 日本放送協会 画像符号化装置、及び画像符号化プログラム
CN104398240A (zh) * 2007-06-25 2015-03-11 真实成像有限公司 用于分析图像的方法、装置和系统
CN104982035A (zh) * 2012-12-18 2015-10-14 西门子公司 用于对数字图像的序列进行编码的方法
US20160105682A1 (en) * 2014-10-09 2016-04-14 Qualcomm Incorporated Intra block copy prediction restrictions for parallel processing
CN105791823A (zh) * 2009-12-08 2016-07-20 汤姆森特许公司 视频编码和解码的自适应模版匹配预测的方法和装置
CN106105215A (zh) * 2014-03-21 2016-11-09 高通股份有限公司 将当前图片用作视频译码的参考

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10477232B2 (en) * 2014-03-21 2019-11-12 Qualcomm Incorporated Search region determination for intra block copy in video coding

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040071352A1 (en) * 2002-07-02 2004-04-15 Canon Kabushiki Kaisha Image area extraction method, image reconstruction method using the extraction result and apparatus thereof
JP2007336277A (ja) * 2006-06-15 2007-12-27 Nec Corp 動画像符号化復号化方法、符号化復号化装置及び動画像符号化復号化プログラム
US20080002878A1 (en) * 2006-06-28 2008-01-03 Somasundaram Meiyappan Method For Fast Stereo Matching Of Images
CN104398240A (zh) * 2007-06-25 2015-03-11 真实成像有限公司 用于分析图像的方法、装置和系统
CN101854545A (zh) * 2009-03-30 2010-10-06 索尼公司 用于视频编码器中的帧内预测的方法和设备
CN102982062A (zh) * 2009-04-20 2013-03-20 奥林巴斯映像株式会社 图像整理装置
CN101715135A (zh) * 2009-09-30 2010-05-26 武汉大学 基于模板匹配的自适应帧内预测滤波编码方法
CN105791823A (zh) * 2009-12-08 2016-07-20 汤姆森特许公司 视频编码和解码的自适应模版匹配预测的方法和装置
AU2013202014A1 (en) * 2010-01-14 2013-04-18 Samsung Electronics Co., Ltd Method and apparatus for encoding and decoding motion vector
CN102804774A (zh) * 2010-01-19 2012-11-28 汤姆逊许可证公司 用于视频编解码的降低了复杂度的模板匹配预测方法和装置
WO2011121942A1 (ja) * 2010-03-31 2011-10-06 株式会社Ｊｖｃケンウッド 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム、ならびに動画像復号装置、動画像復号方法及び動画像復号プログラム
CN102970529A (zh) * 2012-10-22 2013-03-13 北京航空航天大学 一种基于对象的多视点视频分形编码压缩与解压缩方法
CN104982035A (zh) * 2012-12-18 2015-10-14 西门子公司 用于对数字图像的序列进行编码的方法
CN104065970A (zh) * 2013-03-19 2014-09-24 汤姆逊许可公司 图像间预测方法和设备以及相应的编码方法和装置
JP2014230031A (ja) * 2013-05-21 2014-12-08 日本放送協会 画像符号化装置、及び画像符号化プログラム
CN103391430A (zh) * 2013-07-22 2013-11-13 南通大学 基于dsp的相关跟踪方法及专用装置
CN106105215A (zh) * 2014-03-21 2016-11-09 高通股份有限公司 将当前图片用作视频译码的参考
US20160105682A1 (en) * 2014-10-09 2016-04-14 Qualcomm Incorporated Intra block copy prediction restrictions for parallel processing

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
ABDALBASSIR ABOU-ELAILAH: "《Successive refinement of side information using adaptive search area for long duration GOPs in distributed video coding》", 《2019 19TH INTERNATIONAL CONFERENCE ON TELECOMMUNICATIONS》 *
ABDALBASSIR ABOU-ELAILAH: "《Successive refinement of side information using adaptive search area for long duration GOPs in distributed video coding》", 《2019 19TH INTERNATIONAL CONFERENCE ON TELECOMMUNICATIONS》, 21 June 2012 (2012-06-21) *
YEONG-KANG LAI: "《A high data-reuse architecture with double-slice processing for full-search block-matching algorithm》", 《2003 IEEE INTERNATIONAL SYMPOSIUM ON CIRCUITS AND SYSTEMS》 *
夏校朋: "《基于H264/HEVC的视频编解码关键技术研究》", 《中国优秀博士学位论文全文数据库》 *
夏校朋: "《基于H264/HEVC的视频编解码关键技术研究》", 《中国优秀博士学位论文全文数据库》, 15 June 2016 (2016-06-15) *
张金雷: "《基于分布式编码的图像无损编码方法研究》", 《中国优秀博士学位论文全文数据库》 *
覃燕: "《基于相邻宏块间相关性的图像误码处理》", 《计算机仿真》, vol. 26, no. 11 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024145790A1 (zh) * 2023-01-03 2024-07-11 Oppo广东移动通信有限公司 解码方法、编码方法、解码器和编码器

Also Published As

Publication number Publication date
CN110537370B (zh) 2023-08-25
TW201832559A (zh) 2018-09-01
US20190364283A1 (en) 2019-11-28
WO2018146151A1 (en) 2018-08-16
TWI775037B (zh) 2022-08-21
TWI687094B (zh) 2020-03-01
EP3580928A1 (en) 2019-12-18
TW202041021A (zh) 2020-11-01

Similar Documents

Publication Publication Date Title
CN106797477B (zh) 用于解码及编码视频数据的方法和设备
US11095922B2 (en) Geometry transformation-based adaptive loop filtering
CN103959777B (zh) 视频译码中的与自适应环路滤波器合并的样本自适应偏移
TWI532369B (zh) 用於基於高效率視訊寫碼之可擴縮寫碼視訊資訊之裝置及方法
CN105917648B (zh) 具有非对称分区的帧内块复制预测以及编码器侧搜索图案、搜索范围和用于分区的方法
CN105706450B (zh) 根据基于散列的块匹配的结果的编码器决定
CN109716772A (zh) 用于视频译码的变换选择
CN110121884A (zh) 用于滤波的方法和装置
CN109076218A (zh) 在视频译码中自适应环路滤波中的多个滤波器的混淆
CN107925773A (zh) 使用自适应去块滤波编码和解码图像的方法及其装置
CN107690810A (zh) 确定用于视频译码的照明补偿状态的系统及方法
TW201904299A (zh) 運動向量預測
CN106105215A (zh) 将当前图片用作视频译码的参考
CN106464880B (zh) 用于减少高效率视频编码中的计算负荷的方法和设备
CN110024393A (zh) 用于视频译码的低复杂度符号预测
US11663476B2 (en) Method and device for providing compression and transmission of training parameters in distributed processing environment
CN109417617A (zh) 帧内预测方法和装置
CN106105228A (zh) 确定在视频译码中的调色板译码块的调色板大小、调色板条目及过滤
CN108141605A (zh) 帧内块复制合并模式及不可用帧内块复制参考区域的填充
CA3095769A1 (en) Method and apparatus for encoding/decoding image
TWI730311B (zh) 用以選擇內預測模式以供填補之設備
CN107710764A (zh) 确定用于视频译码的照明补偿状态的系统及方法
CN106464855A (zh) 提供高效率视频编码中基于深度的块划分的方法和设备
CN106233725A (zh) 用于对图像进行解码的装置及其方法
CN110537370A (zh) 使用模板匹配的预测编码技术

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant