CN110446044A - 线性模型预测方法、装置、编码器及存储装置 - Google Patents

线性模型预测方法、装置、编码器及存储装置 Download PDF

Info

Publication number
CN110446044A
CN110446044A CN201910775848.4A CN201910775848A CN110446044A CN 110446044 A CN110446044 A CN 110446044A CN 201910775848 A CN201910775848 A CN 201910775848A CN 110446044 A CN110446044 A CN 110446044A
Authority
CN
China
Prior art keywords
block
sub
current coding
prediction
coding block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910775848.4A
Other languages
English (en)
Other versions
CN110446044B (zh
Inventor
曾飞洋
江东
林聚财
殷俊
方诚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN201910775848.4A priority Critical patent/CN110446044B/zh
Publication of CN110446044A publication Critical patent/CN110446044A/zh
Priority to PCT/CN2020/110309 priority patent/WO2021032171A1/en
Priority to EP20853661.5A priority patent/EP4018656A4/en
Priority to US17/676,798 priority patent/US20220217358A1/en
Application granted granted Critical
Publication of CN110446044B publication Critical patent/CN110446044B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种线性模型预测方法、装置、编码器及存储装置。该线性模型预测方法包括：将当前编码块划分为至少两个子块；分别为每个子块构建线性模型，线性模型的参数是利用子块及其子参考块的相邻重建像素的像素值计算得到的；分别利用线性模型对子块进行预测得到子块的线性模型预测值。通过上述方式，本发明能够提高线性模型预测的准确度。

Description

线性模型预测方法、装置、编码器及存储装置
技术领域
本申请涉及视频编码领域，特别是涉及一种线性模型预测方法、装置、编码器及存储装置。
背景技术
由于视频图像数据量比较大，通常需要对其进行编码压缩后，再进行传输或存储，编码后的数据称之为视频码流。受硬件和其他条件限制，如存储空间有限、传输带宽有限等，编码器总是希望能让视频码流尽量小。
视频编码主要包括视频采集、预测、变换量化和熵编码几大部分。其中预测可以分为帧内预测、帧间预测和线性预测。
线性预测是指构建参考块与当前编码块间的线性模型，然后让参考块的重建像素通过线性模型预测当前块像素值。线性模型的参数是利用当前编码块及其参考块的相邻重建像素的像素值计算得到的。
常见的线性预测模式有跨组件线性模型(cross-component linear model，CCLM)模式和局部光照补偿(local illumination compensation，LIC)模式。CCLM模式下，构建同一个块的亮度分量与色度分量之间的线性模型，以使用同一个块的亮度分量来预测色度分量，从而降低跨颜色空间之间的冗余。LIC模式下，采用当前块的相邻重建像素与参考块的相邻重建像素构建一个线性模型，以补偿参考帧与当前帧在亮度上的差异。
根据计算线性模型参数所用的相邻重建像素与当前编码块之间的相对位置关系，CCLM模式进一步被划分为三种：LM、LM_L和LM_T。其中，计算LM模型所用的相邻重建像素位于当前编码块的左侧和上侧；计算LM_L模型所用的相邻重建像素位于当前编码块的左侧；计算LM_T模型所用的相邻重建像素位于当前编码块的上侧。
目前的线性预测存在一定局限性，当前编码块中的像素离相邻重建像素越远，线性模型对该像素点的预测准确性越低，从而影响整体上的线性预测准确度，该问题对于大尺寸的编码块尤为明显。
发明内容
本申请提供一种线性模型预测方法、装置、编码器及存储装置，能够解决相关技术中线性预测的准确度有限的问题。
为解决上述技术问题，本申请采用的一个技术方案是：提供一种线性模型预测方法，该方法包括：将当前编码块划分为至少两个子块；分别为每个子块构建线性模型，线性模型的参数是利用子块及其子参考块的相邻重建像素的像素值计算得到的；分别利用线性模型对子块进行预测得到子块的线性模型预测值。
为解决上述技术问题，本申请采用的再一个技术方案是：提供一种线性模型预测装置，该装置包括：划分模块，用于将当前编码块划分为至少两个子块；构建模块，用于分别为每个子块构建线性模型，线性模型的参数是利用子块及其子参考块的相邻重建像素的像素值计算得到的；预测模块，用于分别利用线性模型对子块进行预测得到子块的线性模型预测值。
为解决上述技术问题，本申请采用的再一个技术方案是：提供一种编码器，该编码器包括处理器，处理器用于执行指令以实现前述的线性模型预测方法。
为解决上述技术问题，本申请采用的再一个技术方案是：提供一种存储装置，存储有指令，指令被执行时实现前述的线性模型预测方法。
本申请的有益效果是：通过将当前编码块划分为至少两个子块；分别为每个子块构建线性模型，线性模型的参数是利用子块及其子参考块的相邻重建像素的像素值计算得到的；分别利用线性模型对子块进行预测得到子块的线性模型预测值；为每个子块独立构建线性模型和进行线性预测，让每个子块的预测都能采用更适合自身的线性模型，提高了线性模型预测的准确度。
附图说明
图1是本发明线性模型预测方法第一实施例的流程示意图；
图2是采用LM_T模式的当前块的一种子块划分方式示意图；
图3是采用LIC模式的当前块的一种子块划分方式示意图；
图4是尺寸为16x8的当前块的一种子块划分方式示意图；
图5是尺寸为16x16的当前块的一种L形划分方式示意图；
图6是尺寸为16x16的当前块的一种阶梯形划分方式示意图；
图7是本发明线性模型预测方法第二实施例的流程示意图；
图8是本发明线性模型预测装置一实施例的结构示意图；
图9是本发明编码器一实施例的结构示意图；
图10是本发明存储装置一实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。本申请实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，在不冲突的情况下，本文所描述的实施例可以与其它实施例相结合。
图1是本发明线性模型预测方法第一实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图1所示的流程顺序为限。如图1所示，本实施例包括：
S1：将当前编码块划分为至少两个子块。
当前编码块，是指当前要进行编码的块，可以被简称为当前块。在某些场合，当前编码块可以被称为编码单元(codingunit，CU)。
不同的子块之间互不重叠，且不同的子块大小不一定相同。可以所有的子块都是矩形的，也可以存在至少部分的子块的形状是不规则的。
可以参考当前编码块的参数选择子块的划分方式。例如，可以按照当前编码块的线性模型类别、尺寸信息等中的至少一个对当前编码块进行划分。当然，也可以采用其他划分方式，在此不做限制。当前编码块及其参考块采用同样的方式进行划分。
按照线性模型类别划分可以具体包括：若当前编码块的线性模型类别为LM或LIC，则对当前编码块进行水平和/或垂直划分。若当前编码块的线性模型类别为LM_L，则对当前编码块进行垂直划分。若当前编码块的线性模型类别为LM_T，则对当前编码块进行水平划分。
垂直划分是指划分线为垂直方向，水平划分是指划分线为水平方向。由于LM/LIC模式下，计算线性模型的参数所用的相邻重建像素位于子块及其参考块的上方和左方；LM-L模式下，计算线性模型的参数所用的相邻重建像素位于子块及其参考块的左方；LM-T模式下，计算线性模型的参数所用的相邻重建像素位于子块及其参考块的上方。采用上述按照线性模型类别的划分方式，可以保证至少一个子块的至少部分相邻重建像素属于同一当前编码块的其他子块。
结合附图说明按线性模型类别进行子块划分的具体示例。
如图2所示，当前块采用LM_T模式，其尺寸为16x16，可将当前块水平划分为2个子块sub_block_0和sub_block_1，尺寸分别为16x4和16x12。
如图3所示，当前块采用LIC模式，其尺寸为16x16，可将当前块水平和垂直划分为3个子块sub_block_0、sub_block_1和sub_block_2，尺寸分别为16x4、4x12和12x12。
按照尺寸信息划分可以具体包括：若当前编码块的宽度大于高度，则对当前编码块进行垂直划分；若当前编码块的宽度小于高度，则对当前编码块进行水平划分；若当前编码块的宽度等于高度，则对当前编码块进行水平和/或垂直划分。划分得到的子块数量和大小关系并无限制。同时并不限制当前编码块的线性模型类别。
根据尺寸信息确定的可以是第一次的划分方式，后续可以对某个或某些子块进一步进行垂直和/或水平划分。
结合附图说明按线性模型类别进行子块划分的具体示例。
如图4所示，当前块的尺寸为16x8，可将当前块垂直划分为2个子块sub_block_0和sub_block_1，尺寸分别为8x8和8x8。
当然，也可以对当前编码块进行不规则划分，得到的至少部分子块的形状是不规则的，例如可以为L形、阶梯形等。
结合附图说明不规则划分的具体示例。
如图5所示，当前块的尺寸为16x16，可将当前块划分为2个子块sub_block_0和sub_block_1。划分方式为L型划分，sub_block_1的尺寸为12x12，L形的sub_block_0可看作16x4块和4x16块的组合。
如图6所示，当前块的尺寸为16x16，可将当前块划分为2个子块sub_block_0和sub_block_1。划分方式为斜对角阶梯型划分，sub_block_0可看做10个4x4块的组合，sub_block_1可看做6个4x4块的组合。
S2：分别为每个子块构建线性模型。
线性模型的参数是利用子块及其子参考块的相邻重建像素的像素值计算得到的。一个子块的子参考块是指采用与当前编码块相同的方式划分当前编码块的参考块后对应该子块的部分，当然也可以理解为，一个子块的子参考块将当前编码块的参考块的获取方式应用到该子块而得到的。相邻重建像素位于子块/子参考块的已编码侧，具体由编码/解码的顺序决定。例如，在编码/解码的顺序为从左到右从上到下的情况下，已编码侧为左侧和/或上侧。
每个子块的线性模型类别可以与当前编码块的线性模型类别相同。在此情况下，由于计算线性模型参数所用的相邻重建像素可能不同，不同的子块的线性模型参数可能不同，使得线性模型不同。当然，至少一个子块可以选择与当前编码块类别不同的线性模型。例如，当前编码块采用LM模式，子块可以采用LM/LM_L/LM_T。
每个子块可以采用与相关技术中当前编码块的线性模型参数计算方式一致的方式来获取相邻重建像素然后计算线性模型参数。以下举例说明两种当前编码块的线性模型参数的具体计算方式。
具体的，CCLM模式下，采用同一个块的亮度分量来预测色度分量，即采用Y分量来预测Cb或Cr分量，以降低跨颜色空间之间的冗余，当前编码块为色度块。由于对应同样图像区域的亮度块的尺寸一般是色度块的两倍，一般要先对亮度块及其相邻重建像素进行下采样。
CCLM模式下，构建的亮度和色度分量间的线性模型为：
predC(i，j)＝α·recL′(i，j)+β (1)
其中rec′L是对亮度块进行下采样得到的参考块，predC(i，j)是当前编码块的线性模型预测值(简称预测值)。α和β即为线性模型的参数，可以通过当前编码块及对应参考块的相邻重建像素计算得到。
若所有相邻重建像素均无法获取，则α＝0，β＝(1＜＜BitDepth)＞＞1，其中BitDepth＝10，＜＜为左移操作，＞＞为右移操作。
若可以获取相邻重建像素，则选取参考块的4个相邻重建像素，然后在这4个像素中选出像素值最小的两个和对应的(即相对于当前块/参考块的位置相同的)当前编码块的参考像素为和选出像素值最大的两个和其对应的当前编码块的参考像素为和并计算：
α和β的计算公式如下：
β＝yA-αxA
4个相邻重建像素的选取规则如下：
[a]当为LM模式时，如果左边和上边的相邻重建像素都存在，则选取[W/4，-1]，[3W/4，-1]，[-1，H/4]，[-1，3H/4]四个相邻重建像素，W为当前编码块和参考块的宽度，H为当前编码块和参考块的高度；如果只有左侧或是上边相邻重建像素存在，则用存在一边的相邻重建像素填充不存在的一边，组成4个像素。
[b]当为LM_L模式时，选取[-1，(W+H)/8]，[-1，3(W+H)/8]，[-1，5(W+H)/8]，[-1，7(W+H)/8]四个相邻重建像素。
[c]当为LM_T模式时，选取[(W+H)/8，-1]，[3(W+H)/8，-1]，[5(W+H)/8，-1]，[7(W+H)/8，-1]四个相邻重建像素。
这些相邻重建像素的坐标是相对于当前块/参考块左上角像素的相对坐标，即当前块/参考块左上角像素坐标设为[0，0]的情况下的坐标。确定四个相邻重建像素之后，即可根据式2和式3计算出α和β。
具体的，LIC模式下，采用当前块的相邻重建像素与参考块的相邻重建像素构建一个线性模型，以补偿参考帧与当前帧在亮度上的差异。
单向预测的情况下，线性模型如下所示：
P(x，y)＝α·Pr(x+vx，y+vy)+β(4)
其中，P(x，y)为当前编码块的预测值，Pr(x+vx，y+vy)为运动矢量[vx，vy]指向的参考帧中的参考块。
α和β的计算公式为
其中，ref(s)为参考块的相邻重建像素，cur(r)为当前块的相邻重建像素，N为相邻重建像素的数量。
当双向预测的情况下，每个方向都按单向预测的方式计算α和β，构造双向线性预测模型如下：
其中，和分别为L0和L1方向上的参考块，α0、β0和α1、β1分别为当前块的相邻重建像素与L0和L1方向上的参考块相邻重建像素根据式(5)推算出的线性模型参数，(1-w)和w为L0和L1方向的预测值加权权重。
为子块计算线性模型参数的过程中，利用的是子块及其子参考块的相邻重建像素的像素值。若与相邻重建像素相邻的子块/子参考块的边缘是直线，例如子块为矩形或者L形的情况下，可以直接采用当前编码块的线性模型参数的计算方式。若与相邻重建像素相邻的子块/子参考块的边缘不是直线，而是存在阶梯，且子块的线性模型类别为CCLM的情况下，直接采用当前编码块的线性模型参数的计算方式，可能出现选取的4个相邻重建像素中的至少一个与子块/子参考块实际上并不相邻。此时，可以调整相邻重建像素的选择方式以保证选取的相邻重建像素实际上与子块/子参考块相邻。
举例说明，图6中，为sub_block_1选取的4个相邻重建像素A0，A1，A2和A3位于sub_block_1阶梯状边缘中阶梯形状的拐角部分。
S3：分别利用线性模型对子块进行预测得到子块的线性模型预测值。
可以将子块的子参考块代入线性模型计算得到子块的线性模型预测值。
通过本实施例的实施，为每个子块独立构建线性模型和进行线性预测，让每个子块的预测都能采用更适合自身的线性模型，提高了线性模型预测的准确度。
图7是本发明线性模型预测方法第二实施例的流程示意图，本实施例是在本发明线性模型预测方法第一实施例基础上的进一步扩展，与其相同的部分不再重复。需注意的是，若有实质上相同的结果，本实施例并不以图7所示的流程顺序为限。如图7所示，本实施例包括：
S11：将当前编码块划分为至少两个子块。
S12：分别为每个子块构建线性模型。
S13：分别利用线性模型对子块进行预测得到子块的线性模型预测值。
S14：利用所有子块的线性模型预测值计算子块预测的预测代价。
可以利用当前块的子块线性模型预测值计算子块预测的预测代价，当前块的子块线性模型预测值由所有子块的线性模型预测值组成。
S15：将子块预测的预测代价与整体预测的预测代价进行比较，选择预测代价更小的一个对应的预测方式作为当前编码块的预测方式。
整体预测的预测代价为对当前编码块整体进行线性模型预测的预测代价。
S16：利用选中的预测方式对当前编码块进行编码得到当前编码块的码流。
当前编码块的码流中包括子块预测标记，子块预测标记用于表示当前编码块是否采用子块预测。子块预测标记可以采用多种方式实现，以下给出三个例子。
(1)子块预测标记包括子块预测句法元素，子块预测句法元素的值用于表示当前编码块是否采用子块预测以及当前编码块的划分方式。
例如，可以新增一个句法元素CCLM_SUB_PRED来表示当前块在采用CCLM模式时是否需要进行子块预测以及当前编码块的划分方式。
CCLM_SUB_PRED为0说明当前块在采用CCLM时按现有技术进行预测，无需划分；CCLM_SUB_PRED为1说明当前块在采用CCLM预测时需要进行水平划分。当前块的宽和高都>＝16时，将当前块划分为等大小的4个子块；否则，将当前块划分为等大小的2个子块；CCLM_SUB_PRED为2说明当前块在采用CCLM预测时需要进行垂直划分。当前块的宽和高都>＝16时，将当前块划分为等大小的4个子块；否则，将当前块划分为等大小的2个子块；CCLM_SUB_PRED为3说明当前块在采用CCLM预测时需要L形划分。当前块的宽和高都>＝16时，让当前块进行2次L形划分；否则，当前块进行1次L形划分。每次划分出的矩形块的宽高都为原子块宽高的3/4。可增加CCLM_SUB_PRED的值以对应其他划分方式。
(2)子块预测标记包括子块预测句法元素，子块预测句法元素的值用于表示当前编码块是否采用子块预测，并且在当前编码块采用子块预测的情况下，子块预测标记进一步包括当前编码块的划分方式。
例如，可以新增一个句法元素CCLM_SUB_PRED来表示当前块在采用CCLM模式时是否需要进行子块预测。
CCLM_SUB_PRED为0说明当前块在采用CCLM时按现有技术进行预测，无需划分；CCLM_SUB_PRED为1说明当前块在采用CCLM预测时需要进行子块划分，并新增另一个表示子块划分方式的句法元素。
(3)子块预测标记包括当前编码块的帧内预测模式序号，其中当前编码块采用子块预测的情况下，当前编码块的帧内预测模式序号为新增的序号。
例如，新增K种帧内预测模式用于表示采用子块预测的CCLM，1<＝K<＝3。此方案只能应用于CCLM。假设已有的帧内预测模式(包括DC、Planar、角度等)的序号为0～N，那么用于表示采用子块预测的CCLM的序号大于N。
请参阅图8，图8是本发明线性模型预测装置一实施例的结构示意图。如图8所示，该装置包括划分模块11构建模块12测模块13
划分模块11将当前编码块划分为至少两个子块。
构建模块12分别为每个子块构建线性模型，线性模型的参数是利用子块及其子参考块的相邻重建像素的像素值计算得到的。
预测模块13于分别利用线性模型对子块进行预测得到子块的线性模型预测值。
请参阅图9，图9为本发明编码器一实施例的结构示意图。如图10所示，该编码器9包括处理器31。
处理器31还可以称为CPU(Central Processing Unit，中央处理单元)。处理器31可能是一种集成电路芯片，具有信号的处理能力。处理器31还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
编码器可以进一步包括存储器(图中未示出)，用于存储处理器31运行所需的指令和数据。
处理器31用于执行指令以实现上述本发明线性模型预测方法任一实施例及任意不冲突的组合所提供的方法。
参阅图10，图10为本发明存储装置一实施例的结构示意图。本发明实施例的存储装置40存储有指令，该指令被执行时实现本发明线性模型预测方法任一实施例以及任意不冲突的组合所提供的方法。其中，该指令可以形成程序文件以软件产品的形式存储在上述存储装置中，以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储装置包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。以上仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (13)

1.一种线性模型预测方法，其特征在于，包括：
将当前编码块划分为至少两个子块；
分别为每个所述子块构建线性模型，所述线性模型的参数是利用所述子块及其子参考块的相邻重建像素的像素值计算得到的；
分别利用所述线性模型对所述子块进行预测得到所述子块的线性模型预测值。
2.根据权利要求1所述的方法，其特征在于，
所述将当前编码块划分为至少两个子块包括：
按照所述当前编码块的线性模型类别对所述当前编码块进行划分。
3.根据权利要求2所述的方法，其特征在于，
所述按照所述当前编码块的线性模型类别对所述当前编码块进行划分包括：
若所述当前编码块的线性模型类别为LM或LIC，则对所述当前编码块进行水平和/或垂直划分；
若所述当前编码块的线性模型类别为LM_L，则对所述当前编码块进行垂直划分；
若所述当前编码块的线性模型类别为LM_T，则对所述当前编码块进行水平划分。
4.根据权利要求1所述的方法，其特征在于，
所述将当前编码块划分为至少两个子块包括：
按照所述当前编码块的尺寸信息对所述当前编码块进行划分。
5.根据权利要求4所述的方法，其特征在于，
所述按照所述当前编码块的尺寸信息对所述当前编码块进行划分包括：
若所述当前编码块的宽度大于高度，则对所述当前编码块进行垂直划分；
若所述当前编码块的宽度小于高度，则对所述当前编码块进行水平划分；
若所述当前编码块的宽度等于高度，则对所述当前编码块进行水平和/或垂直划分。
6.根据权利要求1所述的方法，其特征在于，
至少一个所述子块的形状不是矩形。
7.根据权利要求1所述的方法，其特征在于，
若所述子块的线性模型类别为CCLM且所述子块的已编码侧边缘存在阶梯，则计算所述子块的线性模型的参数所用的所述子块的相邻重建像素均属于与所述子块相邻的另一子块。
8.根据权利要求1-7中任一项所述的方法，其特征在于，包括：
所述子块的线性模型预测值为将所述子块的子参考块代入所述线性模型计算得到的。
9.根据权利要求1-7中任一项所述的方法，其特征在于，包括：
利用所有所述子块的线性模型预测值计算子块预测的预测代价；
将所述子块预测的预测代价与整体预测的预测代价进行比较，选择预测代价更小的一个对应的预测方式作为所述当前编码块的预测方式，所述整体预测的预测代价为对所述当前编码块整体进行线性模型预测的预测代价；
利用选中的预测方式对所述当前编码块进行编码得到所述当前编码块的码流，所述当前编码块的码流中包括子块预测标记，所述子块预测标记用于表示所述当前编码块是否采用子块预测。
10.根据权利要求9所述的方法，其特征在于，包括：
所述子块预测标记包括子块预测句法元素，所述子块预测句法元素的值用于表示所述当前编码块是否采用子块预测以及所述当前编码块的划分方式；或
所述子块预测标记包括子块预测句法元素，所述子块预测句法元素的值用于表示所述当前编码块是否采用子块预测，并且在所述当前编码块采用子块预测的情况下，所述子块预测标记进一步包括所述当前编码块的划分方式；或
所述子块预测标记包括所述当前编码块的帧内预测模式序号，其中所述当前编码块采用子块预测的情况下，所述当前编码块的帧内预测模式序号为新增的序号。
11.一种线性模型预测装置，其特征在于，包括：
划分模块，用于将当前编码块划分为至少两个子块；
构建模块，用于分别为每个所述子块构建线性模型，所述线性模型的参数是利用所述子块及其子参考块的相邻重建像素的像素值计算得到的；
预测模块，用于分别利用所述线性模型对所述子块进行预测得到所述子块的线性模型预测值。
12.一种编码器，其特征在于，所述编码器包括处理器，
所述处理器用于执行指令以实现如权利要求1-10中任一项所述的方法。
13.一种存储装置，存储有指令，其特征在于，所述指令被执行时实现如权利要求1-10中任一项所述的方法。
CN201910775848.4A 2019-08-21 2019-08-21 线性模型预测方法、装置、编码器及存储装置 Active CN110446044B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201910775848.4A CN110446044B (zh) 2019-08-21 2019-08-21 线性模型预测方法、装置、编码器及存储装置
PCT/CN2020/110309 WO2021032171A1 (en) 2019-08-21 2020-08-20 Linear model prediction method and coder
EP20853661.5A EP4018656A4 (en) 2019-08-21 2020-08-20 METHODS AND ENCODERS FOR LINEAR MODEL PREDICTION
US17/676,798 US20220217358A1 (en) 2019-08-21 2022-02-21 Linear model prediction method and coder

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910775848.4A CN110446044B (zh) 2019-08-21 2019-08-21 线性模型预测方法、装置、编码器及存储装置

Publications (2)

Publication Number Publication Date
CN110446044A true CN110446044A (zh) 2019-11-12
CN110446044B CN110446044B (zh) 2022-08-09

Family

ID=68437029

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910775848.4A Active CN110446044B (zh) 2019-08-21 2019-08-21 线性模型预测方法、装置、编码器及存储装置

Country Status (4)

Country Link
US (1) US20220217358A1 (zh)
EP (1) EP4018656A4 (zh)
CN (1) CN110446044B (zh)
WO (1) WO2021032171A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111031319A (zh) * 2019-12-13 2020-04-17 浙江大华技术股份有限公司 一种局部光照补偿预测方法、终端设备及计算机存储介质
CN111050168A (zh) * 2019-12-27 2020-04-21 浙江大华技术股份有限公司 仿射预测方法及其相关装置
WO2021032171A1 (en) * 2019-08-21 2021-02-25 Zhejiang Dahua Technology Co., Ltd. Linear model prediction method and coder
CN112640391A (zh) * 2020-11-16 2021-04-09 华为技术有限公司 一种摄像头标识方法、认证方法、系统及终端
CN114365499A (zh) * 2020-04-09 2022-04-15 腾讯美国有限责任公司 使用l型划分树的帧内编码
CN114900691A (zh) * 2022-07-14 2022-08-12 浙江大华技术股份有限公司 编码方法、编码器及计算机可读存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113660490A (zh) * 2021-06-24 2021-11-16 浙江大华技术股份有限公司 编码单元的划分方法、编码方法、电子装置及存储介质
US12101488B2 (en) 2021-10-05 2024-09-24 Tencent America LLC Subblock cross component linear model prediction
CN118679738A (zh) * 2021-12-21 2024-09-20 交互数字Ce专利控股有限公司 具有多个线性模型的局部光照补偿

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102215396A (zh) * 2010-04-09 2011-10-12 华为技术有限公司 一种视频编解码方法和系统
CN108293137A (zh) * 2015-11-25 2018-07-17 高通股份有限公司 视频译码中具有非正方形预测块的照明补偿
CN109076210A (zh) * 2016-05-28 2018-12-21 联发科技股份有限公司 视频编解码的当前图像参考的方法和装置
CN109314783A (zh) * 2016-06-01 2019-02-05 三星电子株式会社 用于根据编码顺序对视频进行编码和解码的方法和设备
CN109804628A (zh) * 2016-09-30 2019-05-24 Lg 电子株式会社 用于图像编译系统中的块分割和帧内预测的方法和装置
US20190215522A1 (en) * 2018-01-08 2019-07-11 Qualcomm Incorporated Multiple-model local illumination compensation
WO2019143602A1 (en) * 2018-01-16 2019-07-25 Vid Scale, Inc. Motion compensated bi-prediction based on local illumination compensation

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103369315B (zh) * 2012-04-06 2016-08-24 华为技术有限公司 色度分量的帧内预测模式的编码、解码方法、设备及系统
CN103517069B (zh) * 2013-09-25 2016-10-26 北京航空航天大学 一种基于纹理分析的hevc帧内预测快速模式选择方法
KR20190029737A (ko) * 2016-09-22 2019-03-20 엘지전자 주식회사 영상 코딩 시스템에서 조도 보상 기반 인터 예측 방법 및 장치
WO2018174617A1 (ko) * 2017-03-22 2018-09-27 한국전자통신연구원 블록 형태에 기반한 예측 방법 및 장치
CN111630856B (zh) * 2018-01-26 2024-05-07 交互数字Vc控股公司 基于响应于相邻样本的线性模型进行视频编码和解码的方法和设备
MX2020011906A (es) * 2018-05-09 2021-02-18 Interdigital Vc Holdings Inc Compensacion de movimiento para codificacion y decodificacion de video.
CN110087087B (zh) * 2019-04-09 2023-05-12 同济大学 Vvc帧间编码单元预测模式提前决策及块划分提前终止方法
KR102641796B1 (ko) * 2019-05-08 2024-03-04 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 교차-성분 코딩의 적용가능성에 대한 조건들
CN110446044B (zh) * 2019-08-21 2022-08-09 浙江大华技术股份有限公司 线性模型预测方法、装置、编码器及存储装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102215396A (zh) * 2010-04-09 2011-10-12 华为技术有限公司 一种视频编解码方法和系统
CN108293137A (zh) * 2015-11-25 2018-07-17 高通股份有限公司 视频译码中具有非正方形预测块的照明补偿
CN108464002A (zh) * 2015-11-25 2018-08-28 高通股份有限公司 视频译码中具有非正方形预测单元的线性模型预测
CN109076210A (zh) * 2016-05-28 2018-12-21 联发科技股份有限公司 视频编解码的当前图像参考的方法和装置
CN109314783A (zh) * 2016-06-01 2019-02-05 三星电子株式会社 用于根据编码顺序对视频进行编码和解码的方法和设备
CN109804628A (zh) * 2016-09-30 2019-05-24 Lg 电子株式会社 用于图像编译系统中的块分割和帧内预测的方法和装置
US20190215522A1 (en) * 2018-01-08 2019-07-11 Qualcomm Incorporated Multiple-model local illumination compensation
WO2019143602A1 (en) * 2018-01-16 2019-07-25 Vid Scale, Inc. Motion compensated bi-prediction based on local illumination compensation

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
S.E.MOYA: "Flexible platform for coding evaluation in narrowband power line communication", 《2014 ARGENTINE CONFERENCE ON MICRO-NANOELECTRONICS, TECHNOLOGY AND APPLICATIONS (EAMTA)》 *
王海洋: "LIC纹理可视化技术在流场中的研究与应用", 《中国优秀硕士学位论文全文数据库》 *
邓中亮等: "《基于H.264的视频编/解码》", 31 July 2010, 北京邮电大学出版社 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021032171A1 (en) * 2019-08-21 2021-02-25 Zhejiang Dahua Technology Co., Ltd. Linear model prediction method and coder
CN111031319A (zh) * 2019-12-13 2020-04-17 浙江大华技术股份有限公司 一种局部光照补偿预测方法、终端设备及计算机存储介质
CN111050168A (zh) * 2019-12-27 2020-04-21 浙江大华技术股份有限公司 仿射预测方法及其相关装置
CN111050168B (zh) * 2019-12-27 2021-07-13 浙江大华技术股份有限公司 仿射预测方法及其相关装置
CN114365499A (zh) * 2020-04-09 2022-04-15 腾讯美国有限责任公司 使用l型划分树的帧内编码
CN112640391A (zh) * 2020-11-16 2021-04-09 华为技术有限公司 一种摄像头标识方法、认证方法、系统及终端
CN112640391B (zh) * 2020-11-16 2021-10-22 华为技术有限公司 一种摄像头标识方法、认证方法、系统及终端
CN114900691A (zh) * 2022-07-14 2022-08-12 浙江大华技术股份有限公司 编码方法、编码器及计算机可读存储介质
CN114900691B (zh) * 2022-07-14 2022-10-28 浙江大华技术股份有限公司 编码方法、编码器及计算机可读存储介质

Also Published As

Publication number Publication date
EP4018656A4 (en) 2022-11-23
CN110446044B (zh) 2022-08-09
WO2021032171A1 (en) 2021-02-25
EP4018656A1 (en) 2022-06-29
US20220217358A1 (en) 2022-07-07

Similar Documents

Publication Publication Date Title
CN110446044B (zh) 线性模型预测方法、装置、编码器及存储装置
US11368675B2 (en) Method and device for encoding and decoding intra-frame prediction
CN110933424A (zh) 一个帧内编码块的多个预测块
US20230308678A1 (en) Video coding method and device using merge candidate
CN111373749B (zh) 视频编码和解码中的低复杂度双向帧内预测的方法和装置
US20210203978A1 (en) Merge mode-based inter-prediction method and apparatus
KR102005007B1 (ko) 픽쳐 예측 방법 및 관련 장치
KR101782154B1 (ko) 움직임 벡터 차분치를 이용하는 영상 부호화 및 복호화 방법과 영상 복호화 장치
CN113812150A (zh) 使用滤波的基于矩阵的帧内预测
CN113728647A (zh) 基于矩阵的帧内预测的上下文编码
KR101966195B1 (ko) 화면내 예측에서의 참조 화소 구성에 관한 부호화/복호화 방법 및 장치
KR101782156B1 (ko) 적응적인 디블록킹 필터링을 이용하는 영상 부호화 방법과 영상 복호화 방법 및 장치
CN110719467B (zh) 色度块的预测方法、编码器及存储介质
CN110944198A (zh) 色度模式帧内编码
KR101782155B1 (ko) 움직임 벡터 정밀성을 이용하는 영상 부호화 및 복호화 방법과 영상 복호화 장치
WO2023123736A1 (zh) 预测方法、装置、设备、系统、及存储介质
WO2023123478A1 (zh) 预测方法、装置、设备、系统、及存储介质
CN118020295A (zh) 帧内预测的方法、编码器、解码器和编解码系统
KR20200064920A (ko) 화면간 예측에 기반한 영상 부호화/복호화 방법 및 장치
CN117981299A (zh) 帧内预测的方法、编码器、解码器和编解码系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant