CN112534809B - 视频编码中的选择性模板匹配 - Google Patents

视频编码中的选择性模板匹配 Download PDF

Info

Publication number
CN112534809B
CN112534809B CN201980051846.9A CN201980051846A CN112534809B CN 112534809 B CN112534809 B CN 112534809B CN 201980051846 A CN201980051846 A CN 201980051846A CN 112534809 B CN112534809 B CN 112534809B
Authority
CN
China
Prior art keywords
block
pixel
template
weight
weighted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980051846.9A
Other languages
English (en)
Other versions
CN112534809A (zh
Inventor
张文豪
傅德良
刘辰
刘孝波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hulu LLC
Original Assignee
Hulu LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hulu LLC filed Critical Hulu LLC
Publication of CN112534809A publication Critical patent/CN112534809A/zh
Application granted granted Critical
Publication of CN112534809B publication Critical patent/CN112534809B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/57—Motion estimation characterised by a search window with variable size or shape

Abstract

在一些实施方式中，一种方法选择在第一块外部的第一像素模板和在第一块外部的第二像素模板。然后，方法选择在第一块内部的第一像素区域和在第一块内部的第二像素区域。基于第一像素模板和第一像素区域来计算第一权重，并且基于第二像素模板和第二像素区域来计算第二权重。第一权重和第二权重用于第二块的运动预测搜索中。

Description

视频编码中的选择性模板匹配
【相关申请的交叉引用】
本公开要求2019年8月29日提交的标题为“Selective Template Matching InVideo Coding”的美国非临时申请号16/556,015的优先权，该非临时申请要求2018年8月31日提交的美国临时申请号62/726,125的提交日期的权益，此处为了所有目的以引证的方式将这些申请的内容全文并入。
【背景技术】
在视频编码框架中，视频内容经由一组过程来压缩：预测、变换、量化和熵编码。帧间预测(inter prediction)是减少相邻视频帧之间的时间冗余的一种预测。帧间预测首先确定从相邻块到当前正被编码(例如，编码或解码)的当前块的模板。然后，视频转码器或解码器使用该模板来找到参考帧的搜索区域内部的最佳匹配区域。在搜索中，视频转码器或解码器确定到与匹配模板区域相关联的参考块的运动矢量。在一些情况下，相邻模板区域可能与当前块中的内容不类似。在该情况下，当找到匹配模板区域时，参考块可能不是与正被编码的当前块的最佳匹配。然后，当相邻模板区域与编码块具有较低相似性时，匹配模板搜索过程可能生成次优结果。
【附图说明】
图1描绘了根据一些实施方式的用于执行运动预测的简化系统。
图2描绘了根据一些实施方式的用于帧间预测的模板匹配搜索过程。
图3描绘了找到其中相邻块不类似的匹配模板的情况。
图4描绘了根据一些实施方式的用于执行针对第一选项#1的匹配模板搜索过程的方法的简化流程图。
图5A和图5B描绘了当前块C的示例以例示根据一些实施方式的匹配模板搜索过程。
图6描绘了根据一些实施方式的在解码器处的匹配模板搜索过程的简化流程图。
图7描绘了根据一些实施方式的在解码器处的匹配模板搜索过程中的当前帧和参考帧的示例。
图8描绘了根据一些实施方式的用于执行针对第二选项#2的匹配模板搜索过程的方法的简化流程图。
图9描绘了根据一些实施方式的在针对第二选项#2的匹配模板搜索过程中使用的帧。
图10描绘了根据一些实施方式的转码系统的示例。
图11描绘了根据一些实施方式的解码系统的示例。
【具体实施方式】
本文描述了用于视频编码系统的技术。在以下描述中，为了说明的目的，阐述了大量示例和具体细节，以便提供一些实施方式的彻底理解。由权利要求限定的一些实施方式可以单独地或与下面描述的其它特征组合地包括这些示例中的一些或全部特征，并且还可以包括本文所述的特征和概念的修改和等同物。
在运动预测期间，转码器或解码器可以确定当前块的粗略参考块(roughreference block)。转码器或解码器使用粗略参考块来执行运动预测以找到最终参考块。为了确定最终参考块，转码器或解码器可以使用模板区域(template regions)，这些模板区域是当前块和粗略参考块的相邻区域。有时，模板区域可能不是最佳的，诸如模板区域可能在内容上与当前块或粗略参考块不类似，诸如当粗略参考块或当前块在对象内并且模板区域不在对象内时。使用非最优模板区域可能导致经编码位流(encoded bitstream)的压缩效率较低。一些实施方式可以检测模板区域的可靠性，并且减少在运动预测搜索期间与正被编码的当前编码块不太类似的区域的影响。提高了模板匹配的运动预测搜索准确度，并且提高了视频编解码器的结果压缩性能。
系统
图1描绘了根据一些实施方式的用于执行运动预测的简化系统100。系统100对源视频资产进行转码，该源视频资产可以是任何类型的视频，诸如用于电视节目、影片或视频剪辑。源视频可能需要被转码成一种或多种格式，诸如具有一个或多个位率的格式。在一些实施方式中，服务器系统102向客户端104发送经编码位流。例如，服务器系统102可以向客户端104发送视频以供回放。
服务器系统102包括将视频转码成经编码位流的转码器106。转码器106可以是配置在中央处理单元(CPU)上的软件视频处理器/转码器、具有图形处理单元(GPU)的硬件加速视频处理器/转码器、现场可编程门阵列(FPGA)和/或在专用集成电路(ASIC)中实施的硬件处理器/转码器。转码可以是从一种数字格式到另一种数字格式的转换。转码可以涉及对源格式进行解码并将源视频编码为另一数字格式，或者将源内容转换为具有特定分辨率、帧速率、位率、编解码器等的视频。而且，编码可以是将模拟源内容转换为数字格式。如所使用的，术语转码可以包括编码。
在转码过程期间，转码器运动预测块108对当前帧的当前块执行运动预测。在运动预测期间，转码器运动预测块108可以执行模板搜索过程，这将在下面更详细地描述。
转码器106通过网络或其它类型的介质将所得到的经编码位流发送到解码器112。解码器112接收经编码位流，并且解码器运动预测块110在解码过程期间执行运动预测。在运动预测期间，解码器运动预测块110可以执行模板搜索过程，这将在下面更详细地描述。
转码器运动预测块108和/或解码器运动预测块110中的模板搜索过程可以通过调节应用于模板区域的权重来优化。转码器运动预测块108和/或解码器运动预测块110使用加权模板区域来确定当前块的最终参考块。
在一些实施方式中，由转码器运动预测块108和解码器运动预测块110进行的模板搜索在经编码位流中使用较少位。可以在经编码位流中用信号通知粗略运动矢量，然后转码器运动预测块108和解码器运动预测块110都确定到最终参考块的最终运动矢量。转码器运动预测块108确定当前块与最终参考块之间的残差(residual)，并且在经编码位流中用信号通知残差。一旦接收到粗略运动矢量，解码器运动预测块110就搜索最终运动矢量，并且到达与转码器运动预测块108相同的最终运动矢量。解码器运动预测块110然后可以将残差应用于最终参考块以解码当前块。
运动矢量可以为当前块与参考块之间的二维位置偏移(position offset)。可以使用十进制精度运动矢量，例如(10.25,4.5)。运动搜索搜索这些更细粒度的位置，并找到最佳参考块，该最佳参考块是与当前块最类似的块。用信号发送这些运动矢量需要若干个位来表示整数和十进制数字两者中的水平和垂直分量两者。
在基于模板匹配的运动细化方案中，粗略运动矢量是低精度运动矢量，例如，其可以为仅整数运动矢量，或更积极地为多个值，诸如2、4等。例如通过用信号通知(10,4)来用信号通知该粗略运动矢量花费较少的位。于是转码器运动预测块108和解码器运动预测块110可以从粗略运动矢量开始，以在没有任何关于最终运动矢量的进一步信号通知的情况下，通过它们自身导出最终运动矢量。
在一些实施方式中，粗略运动矢量可以是来自现有相邻块的运动矢量的副本、或者全局运动矢量。粗略运动矢量可以通过经编码位流中的索引旗标(index flag)或索引来用信号通知，与用信号通知运动矢量相比，这用较少的位来进行。解码器运动预测块110也可以应用于这些粗略运动矢量以生成当前编码块的最终运动矢量。
匹配模板搜索过程
图2描绘了根据一些实施方式的用于帧间预测的模板匹配搜索过程。模板匹配搜索过程可以由编解码器(例如，转码器106和/或解码器112中的模块)执行，该编解码器将视频转码成经编码位流或解码经编码位流。该过程可以被称为解码器侧运动导出；然而，尽管该过程被称为解码器侧运动导出，但是转码器106的转码器运动预测块108和解码器112的解码器运动预测块110都可以执行所述的运动模板搜索过程。
下面将描述一般用于背景的匹配模板搜索过程。给定在当前帧201中进行转码的当前编码块C 200，转码器运动预测块108从相邻的经解码像素(decoded pixels)确定模板。该模板可以包括当前块200的相邻像素，诸如来自当前编码块的顶部相邻像素202-1和左侧相邻经解码像素202-2。顶部相邻像素包括在当前块顶部的像素，并且左侧相邻经解码像素包括在当前块左侧的像素。尽管描述了这些位置，但是可以理解其它位置。而且，尽管描述了两个模板区域，但是可以使用多于两个的模板区域。顶部相邻像素202-1和左侧相邻经解码像素202-2中的像素已经被转码且然后被解码。
转码器运动预测块108使用顶部相邻像素202-1和左侧相邻经解码像素202-2来寻找参考帧204的搜索区域内部的模板，该模板与顶部相邻像素202-1和左侧相邻经解码像素202-2类似。模板区域包括与粗略参考块R 206相邻的像素，诸如顶部相邻像素210-1和左侧相邻经解码像素210-2。然后，转码器运动预测块108基于模板匹配结果确定当前块C的指向粗略参考块R206的粗略运动矢量(MV)208。搜索区域可以基于粗略运动矢量。转码器运动预测块108可以将识别经编码位流中的粗略运动矢量208的信息发送到解码器112。
解码器112接收经编码位流，然后解码该位流。在解码过程期间，解码器运动预测块110确定粗略运动矢量并且识别用于粗略参考块R 206的模板。然而，解码器运动预测块110也可以搜索与粗略参考块R 206相比提供了与当前块C 200的更好匹配的块。在这种情况下，解码器运动预测块110执行搜索以找到对于参考帧204的搜索区域内部的最终参考块的最终运动矢量，这将在下面更详细地描述。如果解码器112确定最终参考块R 206，则解码器112使用最终参考块R和来自经编码位流的残差来解码当前块。例如，解码器112可以将残差与最终参考块R组合，以生成用于当前块C的像素。因此，转码器运动预测块108和解码器运动预测块110两者在确定粗略运动矢量以到达相同的最终参考块之后，执行对最终运动矢量的相同搜索。
为了确定被认为与当前块C 200具有更好相似性(例如，搜索区域中的最佳相似性)的最终参考块，转码器运动预测块108或解码器运动预测块110可以计算参考块与当前块C 200的相似性。例如，转码器运动预测块108或解码器运动预测块110可以使用例如成本函数(cost function)的函数来计算在运动搜索期间对于最终参考块的相似性。在一些实施方式中，成本函数可以是：
R＝argmin Cost(C,R)，其中，Cost(C,R)＝Dist(TC,TR)+Dist(LC,LR)，
其中，Dist(X,Y)是两个给定块(例如，块X和块Y)之间的相似性的测量，TC是当前块C的顶部模板202-1，TR是粗略参考块R的顶部模板TR210-1，LC是当前块C的左模板202-2，并且LR是粗略参考块R的左模板LR210-2。距离可以是用于当前块C 200的模板和用于预期最终参考块的模板中的对应像素值之间的。在一些实施方式中，相似性是距离，该距离可以通过绝对失真和(SAD)、平方失真和(SSD)等来测量。
在解码器侧的匹配模板搜索过程的传统设计中，左模板和顶部模板对成本函数的相似性有同等贡献。然而，可以的是，左侧或顶部的邻居与当前块不类似。图3描绘了找到其中相邻块不类似的匹配模板的情况。帧300包括第一对象302-1和第二对象302-2，它们可以是视频中的对象。
当前块Cl 304-1在第一对象302-1中。即，当前块Cl 304-1包括用于第一对象302-1的内容。对于当前块Cl 304-1，模板T1 306-1不在包括当前块Cl 304-1的第一对象302-1中，由此，使用模板T1 306-1可能引入成本的不准确性。即，模板T1 306-1可包括可能与当前块Cl 304-1大不相同的内容，因为预期对象302-1中的内容可能比第一对象302-1之外的内容更类似。
当前块C2 304-2在第二对象302-2中。即，当前块C2 304-2包括用于第二对象302-2的内容。类似地，对于当前块C2 304-2，模板L2 306-2不在包括当前块C2 304-2的第二对象302-2中。由此，使用模板L2 306-2也可能引入成本的不准确性。
上述不准确性的出现是因为当找到与模板T1或L2匹配的模板时，相关联的最终参考块可能分别与当前块Cl或C2不类似。在这些情况下，模板匹配运动预测结果可能不准确，这可能导致压缩性能损失。然而，如果模板T1或模板L2与当前块在同一对象中，那么更可能的是最终参考块与当前块更类似，因为匹配模板搜索过程正寻找包括与当前块类似的内容的最终参考块的模板。
因此，一些实施方式可以调节所选择模板区域的贡献，而不是使用固定成本函数。例如，转码器运动预测块108或解码器运动预测块110可以基于相似性测量选择性地优先化块的模板区域。在一些实施方式中，当使用成本函数计算相似性时，转码器运动预测块108或解码器运动预测块110可以向诸如左模板和顶部模板的模板区域分配不同的加权因子。例如，转码器运动预测块108或解码器运动预测块110可以使用以下成本函数：
R＝argmin Cost(C,R)，其中，Cost(C,R)＝WT·Dist(TC,TR)+WL·Dist(LC,LR)
其中，加权因子WT和加权因子WL反映分别调节顶部模板和左模板对成本的贡献的加权。argmin项计算成本函数Cost(C,R)的最小成本，其中，C是当前块C，并且R是粗略参考块R。给定当前块C，则argmin函数搜索可以生成最小成本的参考块R。当前块C和粗略参考块R的成本基于当前块的顶部模板TC与粗略参考块的顶部模板TR之间的距离的第一加权因子WT。而且，当前块C 200和粗略参考块R的成本基于当前块C 200的左模板LC与粗略参考块的左模板LR之间的距离的第二加权因子WL。如果左模板或顶部模板中的一个与当前块C 200具有较强的相似性，则一些实施方式可以生成较大的对应加权因子。
转码器运动预测块108或解码器运动预测块110可以使用不同的方法来确定加权因子。在第一选项#1中，转码器运动预测块108导出加权因子，并且将加权因子发送到解码器运动预测块110。然后，解码器运动预测块110在匹配模板搜索过程中使用加权因子。在第二选项#2中，解码器运动预测块110导出加权因子本身。
确定加权因子的第一选项#1
图4描绘了根据一些实施方式的用于执行针对第一选项#1的匹配模板搜索过程的方法的简化流程图400。而且，将参考图5A和图5B描述该方法，图5A和图5B描绘了当前块C200的示例以例示根据一些实施方式的匹配模板搜索过程。在402处，在转码器侧，转码器运动预测块108接收当前块C 200以进行转码。在404处且在图5A中，转码器运动预测块108分析当前块C 200的左模板LC 202-2的大小，并且选择当前块C中的类似大小的区域，例如区域L’C 502。例如，转码器运动预测块108通过测量高度n和宽度m来确定左模板LC 202-2的大小。然后，转码器运动预测块108确定当前块C 200中的类似大小的块。尽管选择了与左模板LC 202-2相邻的区域，但是在当前块C 200的不同区域中可以使用其他区域。
然后，在406处，转码器运动预测块108计算左模板LC 202-2与区域L’C502-1之间的每像素距离(per-pixel distance)。在一些实施方式中，转码器运动预测块108可以使用以下计算来确定距离，但是可以理解可以采用其他计算：
其中，(i,j)是左模板LC 202-2中的像素坐标，并且(i,m-j)是区域LC 502-1中的对应像素坐标。计算采用左模板LC 202-2与区域L’C 502-1之间的像素值的差，并将和除以左模板LC 202-2的面积。这比较了左模板LC 202-2和区域L’C 502-1中相同位置的像素之间的差异。可以理解可以采用计算区域L’C502-1与区域L’C 502-1之间的像素值之间的差的其他方法，例如比较左模板LC 202-2与区域L’C 502-1之间的总像素值的平均值。
在408处且在图5B中，转码器运动预测块108然后利用顶部模板TC202-1执行相同的过程。例如，转码器运动预测块108在当前块C 200中找到类似大小的区域，例如区域T’C502-2。然后，转码器运动预测块108计算顶部模板TC 202-1与区域TC 502-2之间的每像素距离。转码器运动预测块108可以使用以下计算来确定距离，但是可以理解可以采用其他计算：
其中，(i,j)是顶部模板TC 202-1中的像素坐标，并且(1-i,j)是区域T’C502-2中的对应像素坐标。计算采用顶部模板TC 202-1与区域T’C 502-2之间的像素值的差，并将和除以顶部模板TC 202-1的面积。转码器运动预测块108比较顶部模板TC 202-1和区域T’C 502-2中的相同位置的像素之间的差。
在确定区域L’C 502-1和区域T’C 502-2之后，在410处，转码器运动预测块108分别计算顶部模板TC 202-1和左模板LC 202-2的权重WT和WL。例如，转码器运动预测块108可以使用以下计算，但是可以理解可以采用其他计算：
和
上述计算确定模板与类似大小区域之间的距离差的加权分布。例如，距离Dist(LC,L’C)是左模板LC 202-2与区域L’C 502-1之间的差，并且距离Dist(TC,T’C)是顶部模板TC 202-1与区域T’C 502-2之间的差。加权分布计算各个相应距离与距离Dist(LC,L’C)和距离Dist(TC,T’C)的总距离相比的贡献。
在412处，转码器运动预测块108将用于权重WT和WL的信息插入到经编码位流中。例如，转码器运动预测块108可以将权重WT和WL的值转换为整数值，并且将整数插入到经编码位流中。转码器运动预测块108可以使用整数，因为在经编码位流中发送整数而不是分数，但是也可以使用分数。
然后，该过程在解码器112处继续。图6描绘了根据一些实施方式的在解码器112处的匹配模板搜索过程的简化流程图600。在602处，解码器运动预测块110接收经编码位流。在604处，当解码当前块C 200时，转码器运动预测块108解析经编码位流以确定权重WT和WL的值。
解码器运动预测块110然后可以在匹配模板搜索过程中使用权重。图7描绘了根据一些实施方式的在解码器112处的匹配模板搜索过程中的当前帧201和参考帧204的示例。例如，在606处，解码器运动预测块110使用来自经编码位流的粗略运动矢量来识别参考帧204中的粗略参考块206。尽管识别了粗略参考块206，但是解码器运动预测块110可以寻找可能比由粗略运动矢量208识别的所识别的粗略参考块206更好匹配的最终参考块。
为了找到更好的匹配，在608处，解码器运动预测块110基于粗略参考块206识别参考帧204中的搜索区域702。例如，解码器运动预测块110确定粗略参考块206的位置，然后基于粗略参考块206的位置生成搜索区域702的边界。边界可以是粗略参考块206周围的若干块、粗略参考块206周围区域的坐标或参考帧204中的其它区域。
在确定搜索区域702之后，在610处，解码器运动预测块110使用权重在搜索区域702中搜索与当前块C 200的模板类似的模板。例如，解码器运动预测块110将相应的权重应用于搜索区域702中的不同参考块的左模板和顶部模板，以选择与当前块C 200最类似的最终参考块。与不使用权重(例如，使用同等加权)的过程相比，解码器运动预测块110可以使用权重来找到不同的参考块。因为使用权重选择的模板可能更类似于当前块C 200的内容，于是与不使用权重确定的最终参考块相比，使用权重选择的最终参考块可能更类似于当前块。
在一些示例中，解码器运动预测块110可以选择到搜索区域702中的最终参考块的最终运动矢量。然后，解码器运动预测块110将相应的权重应用于与其的最终参考块的左模板LR 210-2和顶部模板TR 210-1的像素值。另外，解码器运动预测块110将相应的权重应用于当前块C 200的左模板LC 202-2和顶部模板TC 202-1的像素值。然后，解码器运动预测块110将左模板的加权像素值与顶部模板的加权像素值进行比较，以确定预期的最终参考块与当前块C 200之间的相似性。例如，加权像素值之间的较小距离意味着更大的相似性。解码器运动预测块110可以针对搜索区域702中的多个预期参考块执行上述搜索，并且选择包括与当前块C 200的左模板和顶部模板最类似的左模板和顶部模板的最终参考块。
确定加权因子的第二选项#2
下面将描述用于第二选项#2的匹配模板搜索过程。图8描绘了根据一些实施方式的用于执行针对第二选项#2的匹配模板搜索过程的方法的简化流程图800。而且，图9描绘了根据一些实施方式的在针对第二选项#2的匹配模板搜索过程中使用的帧。在该示例中，解码器运动预测块110计算权重，而不是转码器运动预测块108。
在802处，解码器112接收经编码位流。在一些实施方式中，经编码位流不包括权重。在其他实施方式中，经编码位流可以包括权重，但解码器运动预测块110可以重新计算权重。
在解码过程期间，在804处，解码器运动预测块110确定当前块C 200和粗略参考块R 206。在806处，解码器运动预测块110选择左模板LR并在粗略参考块R 206中找到类似大小的区域，例如区域L’R 902-1。然后，解码器运动预测块110计算左模板LR 210-2与区域L’R902-1的每像素距离。例如，解码器运动预测块110可以使用以下计算来确定距离，但是可以理解可以采用其他计算：
其中，(i,j)是左模板LR 210-2中的像素坐标，并且(i,m-j)是区域L’R 902-1中的对应像素坐标。解码器运动预测块110计算左模板LR 210-2与区域L’R902-1之间的像素值的差，并将和除以左模板LR 210-2的面积。解码器运动预测块110比较左模板LR 210-2和区域L’R 902-1中的相同位置的像素之间的差。
在808处，解码器运动预测块110然后利用顶部模板TR 210-1执行相同的过程。例如，解码器运动预测块110在当前块R 200中选择类似大小的区域，作为顶部模板TR 210-1，例如区域TR 902-2。然后，解码器运动预测块110计算模板TR与区域T’R的每像素距离。解码器运动预测块110可以使用以下计算来确定距离，但是可以理解其他计算：
其中，(i,j)是顶部模板TR 210-1中的像素坐标，并且(1-i,j)是区域T’R902-2中的对应像素坐标。解码器运动预测块110计算顶部模板TR 210-1与区域T’R 902-2之间的像素值的差，并将和除以顶部模板TR 210-1的面积。解码器运动预测块110比较顶部模板TR 210-1和区域T’R 902-2中的相同位置的像素之间的差。
在810处，解码器运动预测块110然后使用顶部模板TR 210-1和区域T’R902-2以及左模板LR 210-2和区域L’R 902-1的像素值的差来计算各自的权重WT和WL。在上述第一选项#1中，转码器运动预测块108使用当前块C 200内的区域，因为当前块在编码过程中尚未被编码。然而，在解码过程中，当前块C 200尚未被解码，并且当前块C 200内的区域不能被用于确定权重。然而，解码器运动预测块110使用参考块中已经被解码的区域。
在计算中，解码器运动预测块110可以使用以下计算，但是可以理解可以采用其他计算：
和
上述计算计算模板与类似大小区域之间的距离差的加权分布。例如，距离Dist(LR,L’R)是左模板LR 210-2与区域L’R 902-1之间的差，并且距离Dist(TR,T’R)是顶部模板TR 210-1与区域T’R 902-2之间的差。加权分布计算各个相应距离与距离Dist(LR,L’R)和距离Dist(TR,T’R)的总距离相比的贡献。
在812处，解码器运动预测块110使用匹配模板搜索过程中的权重来解码当前块C200。例如，解码器运动预测块110可以使用与上面在选项#1中描述的类似的过程。在这种情况下，解码器运动预测块110从当前块C 200的经编码位流中确定粗略运动矢量，识别参考帧204中的粗略参考块206，并且使用权重搜索到搜索区域702中的最终参考块的最终运动矢量，该最终参考块可能是比所识别的粗略参考块更好的匹配。解码器运动预测块110可以针对搜索区域702中的多个参考块执行上述搜索，并且选择包括与当前块C 200的左模板和顶部模板最类似的左模板和顶部模板的最终参考块。
确定加权因子的第三选项#3
在第三选项#3中，转码器运动预测块108或者解码器运动预测块110可以选择单个模板来使用。该过程可以使用“赢者通吃(winner-take-all)”策略，而不是应用上述加权因子的方法。赢者通吃策略选择一个模板来使用，而不是对模板加权。在一些实施方式中，这可以意味着对一个模板区域使用100％的权重，而对其他模板区域使用0％的权重。给定左模板的距离DistL和顶模板的距离DistT，转码器运动预测块108或解码器运动预测块110确定DistL/DistT是否＜thresholdLow，这确定左模板的像素距粗略参考块的距离除以顶模板的像素距粗略参考块的距离是否小于阈值。随着顶部模板的距离变得大于左模板的距离，则DistL/DistT的值变得较小。阈值thresholdLow被设置为指示顶部模板的距离已经变得比左模板的距离大了仅使用左模板的量的值。
如果不满足以上阈值thresholdLow，则解码器确定DistL/DistT是否＞thresholdHigh，这确定左模板的像素距粗略参考块的距离除以顶部模板的像素距粗略参考块的距离是否大于阈值。随着左模板的距离变得大于顶部模板的距离，则DistL/DistT的值变得较大。阈值thresholdHigh被设置为指示左模板的距离已经变得比顶部模板的距离小了仅使用顶部模板的量的值。
第三选项#3仅使用一个模板来执行对可能与当前块C 200最类似的最终参考块的搜索。当一个模板不是非常类似于最终参考块或当前块时，可以使用该选项。
示例实施方式
在一些实施方式中，一种方法包括以下步骤：由计算装置接收经编码位流、第一块的第一像素模板的第一权重、以及第一块的第二像素模板的第二权重；由计算装置确定在经编码位流中用信号通知作为第一块的参考的第二块；由计算装置搜索第三块以用作第一块的参考，其中，搜索包括：确定第三块的第一像素模板和第三块的第一像素模板；将第一权重应用于第一块的第一像素模板，以生成第一块的经加权第一像素模板，并且将第一权重应用于第三块的第一像素模板，以生成第三块的经加权第一像素模板；将第二权重应用于第一块的第二像素模板，以生成第一块的经加权第二像素模板，并且将第二权重应用于第三块的第二像素模板，以生成第三块的经加权第二像素模板；以及将第一块的第一经加权像素模板与第三块的第一经加权像素模板进行比较，并且将第一块的第二经加权像素模板与第三块的第二经加权像素模板进行比较，以确定第三块是否与第二块相比更类似于第一块。
在一些实施方式中，搜索第三块以用作第一块的参考包括：将第一权重应用于多个第三块的第一像素模板，以生成多个第三块的经加权第一像素模板；将第二权重应用于多个第三块的第二像素模板，以生成多个第三块的经加权第二像素模板；将多个第三块的第一经加权像素模板与第一块的第一经加权像素模板进行比较，并且将多个第三块的第二经加权像素模板与第一块的第二经加权像素模板进行比较；以及基于比较选择多个第三块中的一个。
在一些实施方式中，多个第三块中的一个被确定为与第二块相比更类似于第一块。
在一些实施方式中，第一块的第一像素模板包括第一块左边的像素，第一块的第二像素模板包括第一块顶部的像素，第三块的第一像素模板包括第三块左边的像素，并且第三块的第二像素模板包括第三块顶部的像素。
在一些实施方式中，一种方法包括以下步骤：由计算装置选择在第一块外部的第一像素模板和在第一块外部的第二像素模板；由计算装置选择在第一块内部的第一像素区域和在第一块内部的第二像素区域；由计算装置基于第一像素模板和第一像素区域来计算第一权重；以及由计算装置基于第二像素模板和第二像素区域来计算第二权重，其中，第一权重和第二权重用于第二块的运动预测搜索中。
在一些实施方式中，第一像素模板包括第一块左边的像素，并且第二像素模板包括第一块顶部的像素。
在一些实施方式中，第一像素模板包括与第一像素区域中的像素相邻的像素，并且第二像素模板包括与第二像素区域中的像素相邻的像素。
在一些实施方式中，计算第一权重包括：计算第一像素模板和第一像素区域中的像素之间的第一差；并且计算第二权重包括：计算第二像素模板和第二像素区域中的像素之间的第二差。
在一些实施方式中，计算第一权重和第二权重包括：计算第一差和第二差的加权分布。
在一些实施方式中，方法还包括以下步骤：将第一权重和第二权重插入经编码位流中。
在一些实施方式中，第一权重和第二权重用于选择第二块以用作用于对第一块进行解码的参考。
在一些实施方式中，第一块在视频的第一帧中，并且第二块在视频的第二帧中。
在一些实施方式中，方法还包括以下步骤：搜索第二块以用作使用第一权重和第二权重解码第三块的参考。
在一些实施方式中，搜索第二块以用作参考包括：确定第一块的第一像素模板；确定第一块的第二像素模板；将第一权重应用于第二块的第一像素模板，以生成第二块的经加权第一像素模板；以及将第二权重应用于第二块的第二像素模板，以生成第二块的经加权第二像素模板。
在一些实施方式中，搜索第二块以用作参考包括：将第一权重应用于第三块的第一像素模板，以生成第三块的经加权第一像素模板；将第二权重应用于第三块的第二像素模板，以生成第三块的经加权第二像素模板；以及将第二块的经加权第一像素模板与第三块的经加权第一像素模板进行比较，并且将第二块的经加权第二像素模板与第三块的经加权第二像素模板进行比较，以确定第二块是否与第三块类似。
在一些实施方式中，搜索第二块以用作参考包括：将第一权重应用于多个第二块的第一像素模板，以生成多个第二块的经加权第一像素模板；将第二权重应用于多个第二块的第二像素模板，以生成多个第二块的经加权第二像素模板；将第一权重应用于第三块的第一像素模板，以生成第三块的经加权第一像素模板；将第二权重应用于第三块的第二像素模板，以生成第三块的经加权第二像素模板；将多个第二块的经加权第一像素模板与第三块的经加权第一像素模板进行比较，并且将多个第二块的经加权第二像素模板与第三块的经加权第二像素模板进行比较；以及基于比较选择多个第二块中的一个。
在一些实施方式中，多个第二块被包括在帧中的搜索区域中。
在一些实施方式中，第三块正在被解码，第一块在经编码位流中用信号通知作为参考块，并且第二块被搜索作为新的参考块以用于解码第三块。
在一些实施方式中，第三块在第一帧中，并且第一块和第二块在第二帧中。
在一些实施方式中，一种非暂时性计算机可读存储介质包含指令，指令在被执行时控制计算机系统可操作为：选择在第一块外部的第一像素模板和在第一块外部的第二像素模板；选择在第一块内部的第一像素区域和在第一块内部的第二像素区域；基于第一像素模板和第一像素区域来计算第一权重；以及基于第二像素模板和第二像素区域来计算第二权重，其中，第一权重和第二权重用于第二块的运动预测搜索中。
系统
图10描绘了根据一些实施方式的转码系统的示例。一种视频编解码器框架包括一组基本部件：块分割、帧间和帧内预测、变换和量化以及熵编码。
转码器106接收视频帧，该视频帧首先被分成非重叠编码块以用于进一步处理。为了应对不同的视频内容特性，复杂区域将被具有较小尺寸的分区覆盖，而简单区域将被较大的分区覆盖。多个块模式和形状可以一起使用，例如四叉树模式、三叉树模式和二叉树模式可以一起使用，而正方形块和矩形块也可以一起使用。
预测被用于去除视频信号的冗余。通过从正被处理的像素中减去预测像素值，可以显著地减小残差信号的振幅，由此可以减小所得到的位流尺寸。使用当前帧中的参考像素的帧内预测块1010旨在减少帧内的空间冗余。正在使用来自相邻帧的参考像素的帧间预测块1012尝试去除帧之间的时间冗余，运动估计和补偿块1016可以是在转码器侧的帧间预测的子模块，该子模块捕获相邻帧之间的对象的运动轨迹，并且生成用于帧间预测的参考像素。
变换和量化块1004在帧内或帧间预测之后使用剩余像素。变换和量化块1004执行在频域中表示残差信号的变换操作。考虑到人类视觉系统对视频信号的低频分量比高频分量更敏感，量化被设计为通过降低高频信号的精度来进一步压缩残差信号。
为了避免转码器106与解码器112之间的不同步问题，转码器106包含解码模块，以确保转码器106和解码器112都使用相同的数学处理。由此，逆变换和逆量化块1008类似于解码器侧的相同块。逆变换和逆量化块1008使用帧内和帧间预测来重建像素。
环内滤波器1014去除由上述过程引入的任何视觉伪影。以级联方式对重建帧(reconstructed frame)应用各种滤波方法以减少不同的伪影，包括但不限于块伪影、蚊式伪影、色带效应等。
熵编码模块1006可以进一步使用基于模型的方法压缩位流。转码器106通过网络或其它类型的介质将所得到的经编码位流发送到解码器112。
图11描绘了根据一些实施方式的解码系统的示例。解码器112接收经编码位流，并且将其输入到熵解码块1102中以恢复解码过程所需的信息。如上所述，可以通过以与构建解码帧(decoded frame)相同的方式使用逆变换和逆量化块1104、帧内预测块1106或帧间预测块1108、运动补偿块1110和环内滤波块1112来对解码帧进行解码。
一些实施方式可以在非暂时性计算机可读存储介质中实施，以供指令执行系统、设备、系统或机器使用或与其结合使用。计算机可读存储介质包含用于控制计算机系统执行由一些实施方式描述的方法的指令。计算机系统可以包括一个或多个计算装置。当由一个或多个计算机处理器执行时，指令可以被配置为或可操作为执行在一些实施方式中描述的操作。
如在本文的描述中以及贯穿所附权利要求书所使用的，“一”、“一个”和“该”包括复数引用，除非上下文明确另外规定。而且，如在本文的描述中以及贯穿所附权利要求书所使用的，“中”的含义包括“中”和“上”，除非上下文明确另外规定。
以上描述例示了各种实施方式以及可以如何实施一些实施方式的方面的示例。上述示例和实施方式不应被认为是仅有的实施方式，并且被呈现以例示如由所附权利要求限定的一些实施方式的灵活性和优点。基于以上公开内容和所附权利要求，在不背离由权利要求限定的本发明的范围的情况下，可以采用其它布置、实施方式、实施方案和等同物。

Claims (20)

1.一种用于选择性模板匹配的方法，包括：
由计算装置接收经编码位流、第一块的第一像素模板的第一权重、以及所述第一块的第二像素模板的第二权重；
由所述计算装置确定在所述经编码位流中用信号通知作为所述第一块的参考的第二块；
由所述计算装置从参考帧的相对于所述第二块的搜索区域内部搜索第三块以用作所述第一块的所述参考，其中，搜索包括：
确定所述第三块的第一像素模板和所述第三块的第二像素模板；
将所述第一权重应用于所述第一块的所述第一像素模板，以生成所述第一块的经加权第一像素模板，并且将所述第一权重应用于所述第三块的所述第一像素模板，以生成所述第三块的经加权第一像素模板；
将所述第二权重应用于所述第一块的所述第二像素模板，以生成所述第一块的经加权第二像素模板，并且将所述第二权重应用于所述第三块的所述第二像素模板，以生成所述第三块的经加权第二像素模板；以及
将所述第一块的所述第一经加权像素模板与所述第三块的所述第一经加权像素模板进行比较，并且将所述第一块的所述第二经加权像素模板与所述第三块的所述第二经加权像素模板进行比较，以确定像素值之间相似性的测量，其中所述相似性的测量用于确定所述第三块是否与所述第二块相比更类似于所述第一块。
2.根据权利要求1所述的用于选择性模板匹配的方法，其中，搜索所述第三块以用作所述第一块的所述参考包括：
将所述第一权重应用于多个第三块的第一像素模板，以生成所述多个第三块的多个经加权第一像素模板；
将所述第二权重应用于所述多个第三块的第二像素模板，以生成所述多个第三块的多个经加权第二像素模板；
将所述多个第三块的所述多个第一经加权像素模板与所述第一块的所述第一经加权像素模板进行比较，并且将所述多个第三块的所述多个第二经加权像素模板与所述第一块的所述第二经加权像素模板进行比较，以确定像素值之间相似性的多个测量；以及
基于所述像素值之间相似性的多个测量选择所述多个第三块中的一个。
3.根据权利要求2所述的用于选择性模板匹配的方法，其中，
所述多个第三块中的所述一个被确定为与所述第二块相比更类似于所述第一块。
4.根据权利要求1所述的用于选择性模板匹配的方法，其中，
所述第一块的所述第一像素模板包括所述第一块左边的像素，
所述第一块的所述第二像素模板包括所述第一块顶部的像素，
所述第三块的所述第一像素模板包括所述第三块左边的像素，并且
所述第三块的所述第二像素模板包括所述第三块顶部的像素。
5.一种用于选择性模板匹配的方法，包括：
由计算装置选择在第一块外部的第一像素模板和在所述第一块外部的第二像素模板；
由所述计算装置选择在所述第一块内部的第一像素区域和在所述第一块内部的第二像素区域，其中所述第一像素区域在尺寸上对应于所述第一像素模板并且所述第二像素区域在尺寸上对应于所述第二像素模板；
由所述计算装置基于计算所述第一像素模板和所述第一像素区域的像素值之间相似性的测量来计算第一权重；以及
由所述计算装置基于计算所述第二像素模板和所述第二像素区域的像素值之间相似性的测量来计算第二权重，其中，所述第一权重和所述第二权重用于第二块的运动预测搜索中。
6.根据权利要求5所述的用于选择性模板匹配的方法，其中，
所述第一像素模板包括所述第一块左边的像素，并且
所述第二像素模板包括所述第一块顶部的像素。
7.根据权利要求5所述的用于选择性模板匹配的方法，其中，
所述第一像素模板包括与第一像素区域中的所述像素相邻的像素，并且
所述第二像素模板包括与所述第二像素区域中的所述像素相邻的像素。
8.根据权利要求5所述的用于选择性模板匹配的方法，其中，
计算所述第一权重包括：计算所述第一像素模板和所述第一像素区域中的像素之间的第一差；并且
计算所述第二权重包括：计算所述第二像素模板和所述第二像素区域中的像素之间的第二差。
9.根据权利要求8所述的用于选择性模板匹配的方法，其中，
计算所述第一权重包括计算所述第一差相对于所述第一差和所述第二差的加权分布，计算所述第二权重包括计算所述第二差相对于所述第一差和所述第二差的加权分布。
10.根据权利要求5所述的用于选择性模板匹配的方法，还包括：
将所述第一权重和所述第二权重插入经编码位流中。
11.根据权利要求10所述的用于选择性模板匹配的方法，其中，
通过将所述第一权重应用于第二块的第一像素模板并将第二权重应用于第二块的第二像素模板，所述第一权重和所述第二权重用于选择第二块以用作用于对所述第一块进行解码的参考。
12.根据权利要求5所述的用于选择性模板匹配的方法，其中，
所述第一块在视频的第一帧中，并且
所述第二块在所述视频的第二帧中。
13.根据权利要求5所述的用于选择性模板匹配的方法，还包括：
搜索所述第二块以用作使用所述第一权重和所述第二权重解码第三块的参考。
14.根据权利要求13所述的用于选择性模板匹配的方法，其中，搜索所述第二块以用作所述参考包括：
确定所述第二块的第一像素模板；
确定所述第二块的第二像素模板；
将所述第一权重应用于所述第二块的所述第一像素模板，以生成所述第二块的经加权第一像素模板；以及
将所述第二权重应用于所述第二块的所述第二像素模板，以生成所述第二块的经加权第二像素模板。
15.根据权利要求14所述的用于选择性模板匹配的方法，其中，搜索所述第二块以用作所述参考包括：
将所述第一权重应用于所述第三块的第一像素模板，以生成所述第三块的经加权第一像素模板；
将所述第二权重应用于所述第三块的第二像素模板，以生成所述第三块的经加权第二像素模板；以及
将所述第二块的所述经加权第一像素模板与所述第三块的所述经加权第一像素模板进行比较，并且将所述第二块的所述经加权第二像素模板与所述第三块的所述经加权第二像素模板进行比较，以确定所述第二块是否与所述第三块类似。
16.根据权利要求14所述的用于选择性模板匹配的方法，其中，搜索所述第二块以用作所述参考包括：
将所述第一权重应用于多个第二块的第一像素模板，以生成所述多个第二块的多个经加权第一像素模板；
将所述第二权重应用于所述多个第二块的第二像素模板，以生成所述多个第二块的多个经加权第二像素模板；
将所述第一权重应用于所述第三块的第一像素模板，以生成所述第三块的多个经加权第一像素模板；
将所述第二权重应用于所述第三块的第二像素模板，以生成所述第三块的经加权第二像素模板；
将所述多个第二块的所述多个经加权第一像素模板与所述第三块的所述经加权第一像素模板进行比较，并且将所述多个第二块的所述多个经加权第二像素模板与所述第三块的所述经加权第二像素模板进行比较，以确定像素值之间相似性的多个测量；以及
基于像素值之间相似性的所述多个测量选择所述多个第二块中的一个。
17.根据权利要求16所述的用于选择性模板匹配的方法，其中，
所述多个第二块被包括在帧中的搜索区域中。
18.根据权利要求13所述的用于选择性模板匹配的方法，其中，
所述第三块正在被解码，
所述第一块在经编码位流中用信号通知作为参考块，并且
所述第二块被搜索作为新的参考块以用于解码所述第三块。
19.根据权利要求13所述的用于选择性模板匹配的方法，其中，
所述第三块在第一帧中，并且
所述第一块和所述第二块在第二帧中。
20.一种包含指令的非暂时性计算机可读存储介质，这些指令在被执行时控制计算机系统可操作为：
选择在第一块外部的第一像素模板和在所述第一块外部的第二像素模板；
选择在所述第一块内部的第一像素区域和在所述第一块内部的第二像素区域，其中所述第一像素区域在尺寸上对应于所述第一像素模板并且所述第二像素区域在尺寸上对应于所述第二像素模板；
基于计算所述第一像素模板和所述第一像素区域的像素值之间相似性的测量来计算第一权重；以及
基于计算所述第二像素模板和所述第二像素区域的像素值之间相似性的测量来计算第二权重，其中，所述第一权重和所述第二权重用于第二块的运动预测搜索中。
CN201980051846.9A 2018-08-31 2019-08-30 视频编码中的选择性模板匹配 Active CN112534809B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862726125P 2018-08-31 2018-08-31
US62/726125 2018-08-31
US16/556,015 US11956460B2 (en) 2018-08-31 2019-08-29 Selective template matching in video coding
US16/556015 2019-08-29
PCT/US2019/049235 WO2020047517A1 (en) 2018-08-31 2019-08-30 Selective template matching in video coding

Publications (2)

Publication Number Publication Date
CN112534809A CN112534809A (zh) 2021-03-19
CN112534809B true CN112534809B (zh) 2024-03-29

Family

ID=69640511

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980051846.9A Active CN112534809B (zh) 2018-08-31 2019-08-30 视频编码中的选择性模板匹配

Country Status (4)

Country Link
US (1) US11956460B2 (zh)
EP (1) EP3844954A4 (zh)
CN (1) CN112534809B (zh)
WO (1) WO2020047517A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113452997B (zh) * 2020-03-25 2022-07-29 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
CN117941352A (zh) * 2021-08-16 2024-04-26 Oppo广东移动通信有限公司 帧间预测方法、编码器、解码器以及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102474622A (zh) * 2009-07-02 2012-05-23 高通股份有限公司 用于视频译码的模板匹配
WO2017203203A1 (en) * 2016-05-23 2017-11-30 Sony Corporation Intra encoding and decoding with variable intra prediction direction sets

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090008418A (ko) * 2006-04-28 2009-01-21 가부시키가이샤 엔티티 도코모 화상 예측 부호화 장치, 화상 예측 부호화 방법, 화상 예측부호화 프로그램, 화상 예측 복호 장치, 화상 예측 복호 방법 및 화상 예측 복호 프로그램
JPWO2010035731A1 (ja) * 2008-09-24 2012-02-23 ソニー株式会社 画像処理装置および方法
CN102883160B (zh) 2009-06-26 2016-06-29 华为技术有限公司 视频图像运动信息获取方法、装置及设备、模板构造方法
KR20110071047A (ko) * 2009-12-20 2011-06-28 엘지전자 주식회사 비디오 신호 디코딩 방법 및 장치
KR101836981B1 (ko) 2010-07-09 2018-03-09 한국전자통신연구원 템플릿 매칭을 이용한 영상 부호화 방법 및 장치, 그리고 복호화 방법 및 장치
EP2926557B1 (en) * 2012-11-29 2018-05-09 Thomson Licensing Method for predicting a block of pixels from at least one patch
US9544596B1 (en) * 2013-12-27 2017-01-10 Google Inc. Optimized template matching approach to intra-coding in video/image compression
US10412415B2 (en) * 2014-10-24 2019-09-10 Lg Electronics Inc. Method and apparatus for decoding/encoding video signal using transform derived from graph template
CN104363449B (zh) * 2014-10-31 2017-10-10 华为技术有限公司 图像预测方法及相关装置
WO2016192073A1 (zh) * 2015-06-04 2016-12-08 清华大学 编码方法、解码方法及其装置
EP3396960A4 (en) 2016-02-16 2019-04-10 Samsung Electronics Co., Ltd. VIDEO ENCODING METHOD AND APPARATUS, AND DECODING METHOD AND APPARATUS THEREOF
US10397569B2 (en) * 2016-06-03 2019-08-27 Mediatek Inc. Method and apparatus for template-based intra prediction in image and video coding
US10805631B2 (en) * 2016-09-23 2020-10-13 Lg Electronics Inc. Method and apparatus for performing prediction using template-based weight
US10798404B2 (en) * 2016-10-05 2020-10-06 Qualcomm Incorporated Systems and methods of performing improved local illumination compensation
US10477237B2 (en) * 2017-06-28 2019-11-12 Futurewei Technologies, Inc. Decoder side motion vector refinement in video coding
US11647222B2 (en) 2018-06-18 2023-05-09 Industry Academy Cooperation Foundation Of Sejong University Method and apparatus for encoding/decoding image

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102474622A (zh) * 2009-07-02 2012-05-23 高通股份有限公司 用于视频译码的模板匹配
WO2017203203A1 (en) * 2016-05-23 2017-11-30 Sony Corporation Intra encoding and decoding with variable intra prediction direction sets

Also Published As

Publication number Publication date
EP3844954A1 (en) 2021-07-07
US20200077110A1 (en) 2020-03-05
EP3844954A4 (en) 2022-06-29
US11956460B2 (en) 2024-04-09
WO2020047517A1 (en) 2020-03-05
CN112534809A (zh) 2021-03-19

Similar Documents

Publication Publication Date Title
US11546627B2 (en) Moving picture decoding method and moving picture encoding method
CN111526361B (zh) 图像编解码方法及装置
US8098731B2 (en) Intraprediction method and apparatus using video symmetry and video encoding and decoding method and apparatus
RU2694442C9 (ru) Устройство декодирования изображения и способ декодирования изображения
US11277615B2 (en) Intra-prediction method for reducing intra-prediction errors and device for same
US9497481B2 (en) Motion vector predictive encoding method, motion vector predictive decoding method, moving picture encoding apparatus, moving picture decoding apparatus, and programs thereof
KR20120003147A (ko) 루프 필터를 이용한 깊이 영상 부호화 장치 및 복호화 장치
CN112534809B (zh) 视频编码中的选择性模板匹配
US11800088B2 (en) Template refined bi-prediction for video coding using anchor point
EP3844965A1 (en) Historical motion vector prediction with reset list
US20230022215A1 (en) Encoding method, encoding apparatus and program
JP2023123811A (ja) 画像復号装置及び画像復号方法
US20230044603A1 (en) Apparatus and method for applying artificial intelligence-based filtering to image
CN112154667A (zh) 视频的编码和解码
US20140376628A1 (en) Multi-view image encoding device and method, and multi-view image decoding device and method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: California, USA

Applicant after: HULU LLC

Address before: California, USA

Applicant before: HULU, LLC

GR01 Patent grant
GR01 Patent grant