CN110072112B - 帧内预测方法、编码器及存储装置 - Google Patents

帧内预测方法、编码器及存储装置 Download PDF

Info

Publication number
CN110072112B
CN110072112B CN201910186240.8A CN201910186240A CN110072112B CN 110072112 B CN110072112 B CN 110072112B CN 201910186240 A CN201910186240 A CN 201910186240A CN 110072112 B CN110072112 B CN 110072112B
Authority
CN
China
Prior art keywords
pixel
predicted value
projection
angle mode
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910186240.8A
Other languages
English (en)
Other versions
CN110072112A (zh
Inventor
请求不公布姓名
林聚财
殷俊
曾飞洋
方诚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN201910186240.8A priority Critical patent/CN110072112B/zh
Publication of CN110072112A publication Critical patent/CN110072112A/zh
Priority to EP20769329.2A priority patent/EP3922031A4/en
Priority to PCT/CN2020/076732 priority patent/WO2020181990A1/en
Priority to US17/447,196 priority patent/US20210409761A1/en
Application granted granted Critical
Publication of CN110072112B publication Critical patent/CN110072112B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution

Abstract

本发明公开了一种帧内预测方法、装置、编码器及存储装置。该帧内方法包括：在当前编码块的第一侧、第二侧、第三侧和第四侧定义参考线，其中第一侧和第二侧相邻且在当前编码块的编码方向，第三侧和第四侧相邻且在当前编码块的编码反方向；获取每个角度模式下当前编码块中补偿像素在参考线上对应的投影预测值，投影预测值包括角度模式方向上的第一投影预测值以及角度模式反方向上的第二投影预测值；分别对每个补偿像素的第一预测值和第二预测值进行加权平均得到每个补偿像素的角度模式预测值，其中第一预测值是利用第一投影预测值得到的，第二预测值是利用第二投影预测值得到的。通过上述方式，本发明能够改善空间冗余性的去除效果。

Description

帧内预测方法、编码器及存储装置
技术领域
本申请涉及视频编码领域，特别是涉及一种帧内预测方法、编码器及存储装置。
背景技术
由于视频图像数据量比较大，通常需要对其进行编码压缩后，再进行传输或存储，编码后的数据称之为视频码流。受硬件和其他条件限制，如存储空间有限、传输带宽有限等，编码器总是希望能让视频码流尽量小。
视频编码主要包括视频采集、预测、变换量化和熵编码几大部分，其中预测分为帧内预测和帧间预测两部分，分别用于去除空间冗余性和时间冗余性。
目前帧内预测主要包括参考像素获取、参考像素滤波、预测值获取和预测值补偿四个过程。首先得到用于预测的参考像素的像素值，然后在需要的情况下对这些参考像素进行滤波，再利用DC、Planar和多种角度模式分别根据对应的参考像素的像素值计算当前编码块中每个像素的预测值以得到当前编码块的预测值，接着对各个模式得到的预测值进行补偿，最后通过代价计算选出最终的帧内预测模式。
现有技术中，角度模式下使用的参考像素为当前编码块相邻的上边一行和左侧一列的多个像素，空间冗余性的去除效果有限。
发明内容
本申请提供一种帧内预测方法、编码器及存储装置，能够解决现有技术中帧内预测过程中空间冗余性的去除效果有限的问题。
为解决上述技术问题，本申请采用的一个技术方案是：提供一种帧内预测方法，该方法包括：在当前编码块的第一侧、第二侧、第三侧和第四侧定义参考线，其中第一侧和第二侧相邻且在当前编码块的编码方向，第三侧和第四侧相邻且在当前编码块的编码反方向；获取每个角度模式下当前编码块中补偿像素在参考线上对应的投影预测值，补偿像素在补偿区域内，投影预测值包括角度模式方向上的第一投影预测值以及角度模式反方向上的第二投影预测值；分别对每个补偿像素的第一预测值和第二预测值进行加权平均得到每个补偿像素的角度模式预测值，其中第一预测值是利用第一投影预测值得到的，第二预测值是利用第二投影预测值得到的。
为解决上述技术问题，本申请采用的另一个技术方案是：提供一种编码器，该编码器包括处理器，处理器用于执行指令以实现前述的帧内预测方法。
为解决上述技术问题，本申请采用的再一个技术方案是：提供一种存储装置，存储有指令，指令被执行时实现前述的帧内预测方法。
本申请的有益效果是：通过引入当前编码块的编码反方向上的第三侧和第四侧的参考线，扩大了参考像素的分布范围，使得每个角度模式下的补偿像素都能够找到在参考线上对应的第二投影预测值而实现预测补偿，从而提高选出最优的帧内预测模式的可能性，改善空间冗余性的去除效果。
附图说明
图1是本发明帧内预测方法第一实施例的流程示意图；
图2是本发明帧内预测方法第一实施例中构建右侧和下侧参考线的示意图；
图3是H＝34的情况下不同序号的角度模式方向的示意图；
图4是本发明帧内预测方法第一实施例中正角度模式下第一投影位置在上侧参考线第二投影位置在左侧参考线的示意图；
图5是本发明帧内预测方法第一实施例中零角度模式为水平角度模式的示意图；
图6是本发明帧内预测方法第一实施例中负角度模式下第一投影位置在上侧参考线第二投影位置在右侧参考线的示意图；
图7是本发明帧内预测方法第二实施例的流程示意图；
图8是本发明帧内预测方法第三实施例的流程示意图；
图9是本发明编码器一实施例的结构示意图；
图10是本发明存储装置一实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。本申请实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，在不冲突的情况下，本文所描述的实施例可以与其它实施例相结合。
图1是本发明帧内预测方法第一实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图1所示的流程顺序为限。如图1所示，本实施例包括：
S1：在当前编码块的第一侧、第二侧、第三侧和第四侧定义参考线。
当前编码块，是指当前要进行编码的块，可以被称为当前预测块或当前块。本实施例中的一个编码块采用一种帧内预测方式，在某些场合，编码块可以被称为编码单元(codingunit，CU)。
第一侧和第二侧相邻且在当前编码块的编码方向，第三侧和第四侧相邻且在当前编码块的编码反方向。相邻是指二者不是相互平行的。第一侧和第二侧在当前编码块的编码方向意味着当前编码块的第一侧和第二侧的至少部分编码块的编码顺序在当前编码块之前。第三侧和第四侧相邻且在当前编码块的编码反方向意味着当前编码块的第三侧和第四侧的编码块的编码顺序在当前编码块之后。例如，在编码方向为从左到右从上到下的情况下，第一侧为左侧和上侧中的一个，第二侧为左侧和上侧中的另一个，第三侧为右侧和下侧中的一个，第四侧为右侧和下侧中的另一个。
每条参考线包括多个参考像素，不同的参考线上的参考像素的数量可以根据实际需要而定。例如，上侧参考线上的参考像素数目为a*width，的数目，左侧参考线上的的参考像素数目为b*height，其中width为当前编码块的宽度，height为当前编码块的高度，a和b可以大于2。下侧和右侧参考线实际并未完成编码，其上的参考像素数目可以设置的较少，例如为width+2或height+2。
在执行后续步骤之前，需要先确定参考线上每个参考像素的像素值。参考像素的像素值一般来自于已完成编码的像素值。对于第一侧和第二侧参考线，可以按照指定的填充方向(例如从下向上，从左向右)依次确认其上的参考像素的像素值。如果某个参考像素的像素值不可用，即该参考像素尚未完成编码，且该参考像素不是起始的参考像素，则可以将该参考像素的像素值设置为按照填充方向前一个参考像素的像素值；如果起始的参考像素不可用，则可以填充方向找到第一个可用的参考像素，然后将起始到第一个可用的参考像素的像素值都设置为第一个可用参考像素的像素值。
第三侧和第四侧的参考线上的参考像素尚未完成编码，其像素值是基于第一侧和第二侧的参考线上的参考像素的像素值构建的。以编码方向为从左到右从上到下为例进行说明，第三侧为右侧和下侧中的一个，第四侧为右侧和下侧中的另一个。
如图2所示，右侧参考线的范围为从RN,0至RN,M，其上参考像素的像素值RN,y为：
RN,y＝(y×RN,M+(height-y)×RN,0+(1<<scale1)>>1)＞＞scale1
scale1＝log2(height)
下侧参考线的范围为从RN,M至R0,M，其上参考像素的像素值Rx,M为：
Rx,M＝(x×RN,M+(width-x)×R0,M+(1<<scale2)>>1)＞＞scale2
scale2＝log2(width)
RN,M＝(width×R0,M+height×RN,0+(1<<scale3)>>1)＞＞scale3
scale3＝log2(width+height)
其中，N＝width+1，M＝height+1，x＝1,2,…,width，y＝1,2,…,height，RN,M为当前编码块右下角参考像素的像素值，R0,M为位于左侧参考线上的当前编码块左下角参考像素的像素值，RN,0为位于上侧参考线上的当前编码块右上角参考像素的像素值。<<为左移位操作，>>为右移位操作。
确定所有参考像素的像素值之后，可以判断是否进行滤波。滤波是可以避免使用参考像素预测得到的预测块产生方向边界，减少噪声。可以根据当前块的大小和使用的帧内预测模式来判断是否进行滤波，越小的当前块越不需要滤波，越接近于水平和垂直方向的预测模式越不需要滤波。如果判定需要滤波，则对参考像素的像素值滤波之后再执行后续操作。
S2：获取每个角度模式下当前编码块中补偿像素在参考线上对应的投影预测值。
帧内预测模式分为DC、Planar和多种角度模式三类。序号为2～H的帧内预测模式属于角度模式，H为大于2的整数，不同序号的角度模式方向不同，可以适用于消除不同方向的空间冗余性。
对于当前块内的像素p而言，其在每条参考线上对应的投影预测值包括角度模式方向上的第一投影预测值，若像素p满足双向预测条件，则像素p在每条参考线上对应的投影预测值可以进一步包括角度模式反方向上的第二投影预测值。在补偿区域内的像素可以被称为补偿像素，不在补偿区域内的像素可以被称为非补偿像素。
补偿像素在补偿区域内，投影预测值包括角度模式方向上的第一投影预测值以及角度模式反方向上的第二投影预测值。不满足双向预测条件的像素可以被称为非补偿像素。补偿区域可以根据实际需要而设置，最大不能超过当前编码块。
将像素p沿着角度模式方向向参考线上投影得到像素p在参考线上的第一投影位置，该第一投影位置的“像素值”即为像素p在参考线上的第一投影预测值，第一投影位置也可以被称为第一投影预测值对应的位置。像素p在参考线上的第一投影位置的获取方式的另一种解释，是在参考线或其延长线上寻找第一投影位置，以像素p为起点，以第一投影位置为终点的向量的方向与角度模式方向相同。
将像素p沿着角度模式反方向向参考线上投影得到像素p在参考线上的第二投影位置，该第二投影位置的“像素值”即为像素p在参考线上的第二投影预测值，第二投影位置也可以被称为第二投影预测值对应的位置。像素p在参考线上的第二投影位置的获取方式的另一种解释，是在参考线上寻找第二投影位置，以像素p为起点，以第二投影位置为终点的向量的方向与角度模式方向之差为180度。
第一投影位置和第二投影位置均属于投影位置。在确定投影位置的过程中，不考虑参考线实际长度的限制，投影位置可能位于参考线或其延长线上。若投影位置(即投影预测值对应的位置)的坐标是整数，即刚好落在某个参考像素(参考线或者参考线的延长线上的整像素)上，则其“像素值”，或者说对应的投影预测值即为该参考像素的像素值。若投影位置的坐标不全是整数，即没有落在一个参考像素上而是落在两个参考像素之间，则其“像素值”，或者说对应的投影预测值为这两个与投影位置相邻且在同一条参考线上的参考像素的像素值的插值结果。
若确定投影预测值所用的参考像素在参考线的延长线上，意味着该参考像素的像素值并未确定，可以采用对应的参考线上最近的参考像素的像素值作为该参考像素的像素值，或将沿着角度模式方向在相邻参考线上投影的参考像素(在补偿像素和该参考像素之间)的像素值作为该参考像素的像素值。
角度模式包括正角度模式、负角度模式和零角度模式，零角度模式包括垂直方向的角度模式和水平方向的角度模式，负角度模式的反方向指向第三侧或第四侧的参考线。例如，在编码方向为从左到右从上到下的情况下，第三侧为右侧和下侧中的一个，第四侧为右侧和下侧中的另一个，负角度模式的序号在垂直方向的角度模式的序号和水平方向的角度模式的序号之间。
相关技术中，第三侧和第四侧并未定义参考线，负角度模式和零角度模式下补偿像素在角度模式的反方向上与第一侧和第二侧的参考线不可能有交点，无法实现预测补偿。
S3：分别对每个补偿像素的第一预测值和第二预测值进行加权平均得到每个补偿像素的角度模式预测值。
其中第一预测值是利用第一投影预测值得到的，第二预测值是利用第二投影预测值得到的。具体的，第一投影预测值的数量为1时，第一预测值等于第一投影预测值，第一投影预测值的数量大于1时，第一预测值为所有第一投影预测值的加权平均值；第二投影预测值的数量为1时，第二预测值等于第二投影预测值，第二投影预测值的数量大于1时，第二预测值为所有第二投影预测值的加权平均值。
第一预测值的权重与第一距离负相关，取值范围为[0,1]，第一距离为补偿像素与第一投影预测值对应的位置之间的距离；第二预测值的权重与第二距离负相关，取值范围为[0,1]，第二距离为补偿像素与第二投影预测值对应的位置之间的距离。
本发明一具体实施例中，第二预测值的权重γ2＝α*d1/(d1+d2)，第一预测值的权重γ1＝1-γ2，其中α表示第二预测值的权重影响因子，d1为最近的第一距离，d2为最近的第二距离。这里的γ1和γ2是采用线性的方式计算，也可以采用其他方式，例如指数等方式计算。可以采用相似三角形、三角函数等方式来计算d1和d2。
第一/第二预测值的权重与第一/第二距离负相关，第一/第二距离为补偿像素与第一/第二投影位置之间的距离，同时考虑到了补偿像素与两侧参考线之间的垂直距离，提高了权重的准确性，进而提高了补偿像素的角度模式预测值的准确性，改善空间冗余性的去除效果。
结合附图举例说明不同的角度模式及第一/第二预测值的详细计算方式。以下的例子当中每一侧的参考线的数量为1，此时第一预测值等于第一投影预测值，第二预测值等于第二投影预测值。其中参数与前述内容中定义一致的不再重复。
在编码方向为从左到右从上到下的情况下，H＝34的情况下，不同序号的角度模式方向如图3所示。其中序号为2的角度模式的方向为左下或者说第三象限的对角方向，序号为10的角度模式的方向为水平方向，序号为18的角度模式的方向为左上或者说第二象限的对角方向，序号为26的角度模式的方向为垂直方向，序号为34的角度模式的方向为右上或者说第一象限的对角方向。序号在[2,9]以及[27,34]之内的角度模式为正角度模式，序号在[11,25]之内的角度模式为负角度模式。
如图4所示，正角度模式下，第一投影位置在上侧参考线，第二投影位置在左侧参考线的情况下，根据相似三角形的原理，可得：
Figure BDA0001992961860000081
其中，x_max表示补偿区域最右边边界，取值范围[width/2，width-1]，第一预测值a是对参考像素a1和a2的像素值进行插值计算得到的，第二预测值h是对参考像素h1和h2的像素值进行插值计算得到的，α取值范围[0,1]；x表示当前补偿像素p距离角度模式反方向参考像素的水平距离；deltaInt表示按角度模式方向预测时，当前补偿像素p距离角度模式方向参考像素的水平距离；N表示整像素插值精度，一般可以选取8，16，32和64等；deltaFract表示在角度模式方向下落在参考线TR上的位置距离左边最近整像素点的距离，取值范围为[0，N-1]。
如果第一投影位置在左侧参考线，第二投影位置在上侧参考线，预测像素补偿区域移到当前编码块中的上方，权重求取方式和图4类似，将width换成height，x换成y，x_max换成y_max，y_max表示补偿区域最下边边界，取值范围[height/2，height-1]。
如图5所示，零角度模式为水平角度模式下，可得：
Figure BDA0001992961860000091
其中x_max表示补偿区域最左边边界，取值范围[0，width/2]。
如果零度角模式是垂直模式，补偿区域移到当前编码块中的下方，权重求取方式和图5类似，将width换成height，x换成y，x_max换成y_max，y_max表示预测像素补偿区域最上边边界，取值范围[0，height/2]。
如图6所示，负角度模式下，第一投影位置在上侧参考线，第二投影位置在右侧参考线的延长线的情况下，根据相似三角形的原理，可得：
Figure BDA0001992961860000092
其中，x_max表示补偿区域最左边边界，取值范围[0，width/2]。
第一预测值a是对参考像素a1和a2的像素值进行插值计算得到的，第二预测值r是对参考像素r1和r2的像素值进行插值计算得到的。参考像素r1和r2在右侧参考线的延长线上，意味着从补偿像素p向右侧参考线的投影过程中会先与下侧的参考线有交点，将该交点两侧的参考像素映射到参考像素r1和r2，即r1＝b1，r2＝b2。如果第二投影位置在右侧参考线上，则可以直接利用相邻的参考像素的像素值进行插值计算得到第二预测值。
如果第一投影位置在左侧参考线，第二投影位置在下侧参考线，预测像素补偿区域移到当前编码块中的上方，权重求取方式和图6类似，将width换成height，x换成y，x_max换成y_max，y_max表示补偿区域最上边边界，取值范围[0，height/2]。
通过本实施例的实施，引入当前编码块的编码反方向上的第三侧和第四侧的参考线，扩大了参考像素的分布范围，使得每个角度模式下的补偿像素都能够找到在参考线上对应的第二投影预测值而实现预测补偿，从而提高选出最优的帧内预测模式的可能性，改善空间冗余性的去除效果。
如图7所示，本发明帧内预测方法第二实施例，是在本发明帧内预测方法第一实施例的基础上，进一步包括：
S4：获取每个角度模式下当前编码块中每个非补偿像素在参考线上对应的投影预测值。
非补偿像素不在补偿区域内，其投影预测值为角度模式方向上的第一投影预测值；
S5：分别利用每个非补偿像素的第一投影预测值得到非补偿像素的第一预测值作为角度模式预测值。
S6：利用所有补偿像素和非补偿像素的角度模式预测值获取当前编码块的每个角度模式预测块。
当前编码块的角度模式预测块的像素数量和当前编码块的像素数量相同，且角度模式预测块中每个像素的像素值为当前编码块中对应像素的预测值。
S7：利用当前编码块及其角度模式预测块计算采用每个角度模式的帧内压缩效果评价指标；
S8：将采用每个角度模式的帧内压缩效果评价指标与采用其他预测模式的帧内压缩效果评价指标比较，选择帧内压缩效果评价指标最小的预测模式作为当前编码块的帧内预测模式。
下面结合附图举例说明帧内预测的过程。
如图8所示，本发明帧内预测方法第三实施例包括：
S11：在当前编码块的左侧和上侧定义参考线。
本实施例是对本发明帧内预测方法第二实施例的扩展和具体说明，且每一侧的参考线的数量均为1，其中与本发明帧内预测方法第一实施例相似或者已经详细描述过的部分在此不再重复。
S12：利用当前编码块左下角和右上角的参考像素在当前编码块的右侧和下侧构建参考线。
S13：判断当前像素是否为补偿像素。
若是，则跳转到S14；否则跳转到S17。
S14：获取当前像素的第一预测值和第二预测值。
S15：计算当前像素的第一预测值和第二预测值的权重。
S16：计算当前像素的角度模式预测值。
角度模式预测值P＝γ2*PC+γ1*PT，其中PC为第二预测值，PT为第一预测值。
S17：获取当前像素的第一预测值作为角度模式预测值。
分别将当前块中的每个像素作为当前像素执行S13-S17，得到当前块中所有像素的角度模式预测值。然后跳转到S18。
S18：分别为每个角度模式利用所有像素的角度模式预测值生成当前块的角度模式预测块。
S19：计算采用每个角度模式的率失真代价。
S20：将采用每个角度模式的率失真代价与采用其他预测模式的率失真代价比较，选择率失真代价最小的预测模式作为当前编码块的帧内预测模式。
请参阅图9，图9为本发明编码器一实施例的结构示意图。如图9所示，该编码器30包括处理器31。
处理器31还可以称为CPU(Central Processing Unit，中央处理单元)。处理器31可能是一种集成电路芯片，具有信号的处理能力。处理器31还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
编码器可以进一步包括存储器(图中未示出)，用于存储处理器31运行所需的指令和数据。
处理器31用于执行指令以实现上述本发明帧内预测方法任一实施例及任意不冲突的组合所提供的方法。
参阅图10，图10为本发明存储装置一实施例的结构示意图。本发明实施例的存储装置40存储有指令，该指令被执行时实现本发明帧内预测方法任一实施例以及任意不冲突的组合所提供的方法。其中，该指令可以形成程序文件以软件产品的形式存储在上述存储装置中，以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储装置包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random AccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。以上仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (14)

1.一种帧内预测方法，其特征在于，包括：
在当前编码块的第一侧、第二侧、第三侧和第四侧定义参考线，其中所述第一侧和所述第二侧相邻且在所述当前编码块的编码方向，所述第三侧和所述第四侧相邻且在所述当前编码块的编码反方向；
获取每个角度模式下所述当前编码块中补偿像素在所述参考线上对应的投影预测值，所述补偿像素在补偿区域内，所述投影预测值包括角度模式方向上的第一投影预测值以及角度模式反方向上的第二投影预测值；
分别对每个所述补偿像素的第一预测值和第二预测值进行加权平均得到每个所述补偿像素的角度模式预测值，其中所述第一预测值是利用所述第一投影预测值得到的，所述第二预测值是利用所述第二投影预测值得到的；
其中，所述第三侧和所述第四侧的参考线上的参考像素的像素值是基于所述当前编码块的宽度、高度以及所述第一侧、所述第二侧的参考线上的参考像素的像素值构建的。
2.据权利要求1所述的方法，其特征在于，
所述角度模式包括正角度模式、负角度模式和零角度模式，所述零角度模式包括垂直方向的角度模式和水平方向的角度模式，所述负角度模式的反方向指向所述第三侧或所述第四侧的参考线。
3.据权利要求2所述的方法，其特征在于，
所述负角度模式的序号在所述垂直方向的角度模式的序号和所述水平方向的角度模式的序号之间。
4.据权利要求1所述的方法，其特征在于，
若所述投影预测值对应的位置是参考像素，则所述投影预测值为所述参考像素的像素值，所述参考像素为所述参考线或者所述参考线的延长线上的整像素；
若所述投影预测值对应的位置不是参考像素，则所述投影预测值为所述投影预测值对应的位置在所在的所述参考线或者所述参考线的延长线上的相邻两个参考像素的像素值的插值结果。
5.根据权利要求4所述的方法，其特征在于，
若所述参考像素在所述参考线的延长线上，所述参考像素的像素值为对应的所述参考线上最近的参考像素的像素值或沿着所述角度模式方向在相邻参考线上投影的参考像素的像素值。
6.根据权利要求1所述的方法，其特征在于，
所述第三侧为右侧和下侧中的一个，所述第四侧为右侧和下侧中的另一个。
7.根据权利要求6所述的方法，其特征在于，
右侧参考线上参考像素的像素值RN,y为：
RN,y＝(y×RN,M+(height-y)×RN,0+(1<<scale1)>>1)＞＞scale1
scale1＝log2(height)
下侧参考线上参考像素的像素值Rx,M为：
Rx,M＝(x×RN,M+(width-x)×R0,M+(1<<scale2)>>1)＞＞scale2
scale2＝log2(width)
RN,M＝(width×R0,M+height×RN,0+(1<<scale3)>>1)＞＞scale3
scale3＝log2(width+height)
其中，N＝width+1，M＝height+1，x＝1,2,…,width，y＝1,2,…,height，width为所述当前编码块的宽度，height为所述当前编码块的高度，RN,M为所述当前编码块右下角参考像素的像素值，R0,M为位于左侧参考线上的所述当前编码块左下角参考像素的像素值，RN,0为位于上侧参考线上的所述当前编码块右上角参考像素的像素值。
8.根据权利要求1所述的方法，其特征在于，
所述第一预测值的权重与第一距离负相关，所述第一距离为所述补偿像素与所述第一投影预测值对应的位置之间的距离，所述第二预测值的权重与第二距离负相关，所述第二距离为所述补偿像素与所述第二投影预测值对应的位置之间的距离。
9.根据权利要求8所述的方法，其特征在于，
所述第二预测值的权重γ2＝α*d1/(d1+d2)，所述第一预测值的权重γ1＝1-γ2，其中α表示所述第二预测值的权重影响因子，d1为最近的所述第一距离，d2为最近的所述第二距离。
10.根据权利要求1-9中任一项所述的方法，其特征在于，
所述第一投影预测值的数量为1时，所述第一预测值等于所述第一投影预测值，所述第一投影预测值的数量大于1时，所述第一预测值为所有所述第一投影预测值的加权平均值；
所述第二投影预测值的数量为1时，所述第二预测值等于所述第二投影预测值，所述第二投影预测值的数量大于1时，所述第二预测值为所有所述第二投影预测值的加权平均值。
11.根据权利要求1-9中任一项所述的方法，其特征在于，进一步包括：
获取每个所述角度模式下所述当前编码块中每个非补偿像素在所述参考线上对应的投影预测值，所述非补偿像素不在所述补偿区域内，所述投影预测值为所述角度模式方向上的所述第一投影预测值；
分别利用每个所述非补偿像素的所述第一投影预测值得到所述非补偿像素的所述第一预测值作为所述角度模式预测值；
利用所有所述补偿像素和所述非补偿像素的所述角度模式预测值获取所述当前编码块的每个角度模式预测块。
12.根据权利要求11所述的方法，其特征在于，进一步包括：
利用所述当前编码块及其所述角度模式预测块计算采用每个所述角度模式的帧内压缩效果评价指标；
将所述采用每个所述角度模式的帧内压缩效果评价指标与采用其他预测模式的帧内压缩效果评价指标比较，选择帧内压缩效果评价指标最小的预测模式作为所述当前编码块的帧内预测模式。
13.一种编码器，其特征在于，所述编码器包括处理器，
所述处理器用于执行指令以实现如权利要求1-12中任一项所述的方法。
14.一种存储装置，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-12中任一项所述的方法。
CN201910186240.8A 2019-03-12 2019-03-12 帧内预测方法、编码器及存储装置 Active CN110072112B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201910186240.8A CN110072112B (zh) 2019-03-12 2019-03-12 帧内预测方法、编码器及存储装置
EP20769329.2A EP3922031A4 (en) 2019-03-12 2020-02-26 SYSTEMS AND METHODS FOR IMAGE CODING
PCT/CN2020/076732 WO2020181990A1 (en) 2019-03-12 2020-02-26 Systems and methods for image coding
US17/447,196 US20210409761A1 (en) 2019-03-12 2021-09-08 Systems and methods for image coding

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910186240.8A CN110072112B (zh) 2019-03-12 2019-03-12 帧内预测方法、编码器及存储装置

Publications (2)

Publication Number Publication Date
CN110072112A CN110072112A (zh) 2019-07-30
CN110072112B true CN110072112B (zh) 2023-05-12

Family

ID=67366180

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910186240.8A Active CN110072112B (zh) 2019-03-12 2019-03-12 帧内预测方法、编码器及存储装置

Country Status (4)

Country Link
US (1) US20210409761A1 (zh)
EP (1) EP3922031A4 (zh)
CN (1) CN110072112B (zh)
WO (1) WO2020181990A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110072112B (zh) * 2019-03-12 2023-05-12 浙江大华技术股份有限公司 帧内预测方法、编码器及存储装置
CN113794878B (zh) * 2019-09-23 2022-12-23 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
CN113709501B (zh) * 2019-12-23 2022-12-23 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
US11388419B2 (en) * 2020-02-05 2022-07-12 Apple Inc. Smoothed directional and DC intra prediction
CN111447440B (zh) * 2020-03-13 2021-11-16 浙江大华技术股份有限公司 帧内像素预测值的计算方法、电子设备及装置
CN111447441B (zh) * 2020-03-13 2021-11-16 浙江大华技术股份有限公司 帧内像素预测值的计算方法、电子设备及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102685505A (zh) * 2011-03-10 2012-09-19 华为技术有限公司 帧内预测的方法和预测装置
CN103067699A (zh) * 2011-10-20 2013-04-24 中兴通讯股份有限公司 一种帧内预测模式编码器、解码器及其方法和电子设备
WO2018070898A1 (en) * 2016-10-14 2018-04-19 Huawei Technologies Co., Ltd Devices and methods for video coding
CN109076241A (zh) * 2016-05-04 2018-12-21 微软技术许可有限责任公司 利用样本值的非相邻参考线进行帧内图片预测

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI359617B (en) * 2008-07-03 2012-03-01 Univ Nat Taiwan Low-complexity and high-quality error concealment
CN102845063B (zh) * 2010-02-08 2016-05-11 诺基亚技术有限公司 用于视频编码的设备、方法和计算机程序
US8619857B2 (en) * 2010-04-09 2013-12-31 Sharp Laboratories Of America, Inc. Methods and systems for intra prediction
KR101530284B1 (ko) * 2010-07-16 2015-06-19 삼성전자주식회사 영상의 인트라 예측 부호화, 복호화 방법 및 장치
KR20120009861A (ko) * 2010-07-22 2012-02-02 에스케이 텔레콤주식회사 확장된 스킵모드를 이용한 영상 부호화/복호화 방법 및 장치
PL2658263T3 (pl) * 2010-12-22 2023-03-13 Lg Electronics Inc. Sposób predykcji wewnątrzramkowej i urządzenie wykorzystujące ten sposób
KR101444667B1 (ko) * 2011-01-15 2014-09-30 에스케이 텔레콤주식회사 양방향 인트라 예측을 이용한 영상 부호화/복호화 방법 및 장치
CN102685473B (zh) * 2011-03-10 2015-03-25 华为技术有限公司 一种帧内预测方法和装置
CN102186086B (zh) * 2011-06-22 2013-06-19 武汉大学 一种基于avs的帧内预测方法
EP2890130A4 (en) * 2012-09-28 2016-04-20 Nippon Telegraph & Telephone INTRA PREDICTION ENCODING DEVICE AND METHOD, INTRA PREDICTING DECODING DEVICE AND METHOD, ASSOCIATED PROGRAMS, AND RECORDING MEDIA CONTAINING RECORDED PROGRAMS
CN102984523B (zh) * 2012-12-14 2015-12-09 北京大学 一种多方向的帧内预测编解码方法及装置
CN103929641A (zh) * 2014-05-12 2014-07-16 北京工商大学 一种基于虚拟参考帧的帧内编码方法
US10750167B2 (en) * 2015-10-22 2020-08-18 Lg Electronics, Inc. Intra-prediction method and apparatus in video coding system
KR20180129863A (ko) * 2016-04-25 2018-12-05 엘지전자 주식회사 영상 코딩 시스템에서 영상 디코딩 방법 및 장치
CA3025488A1 (en) * 2016-05-25 2017-11-30 Arris Enterprises Llc Weighted angular prediction for intra coding
CN107786874A (zh) * 2016-08-24 2018-03-09 浙江大学 双向的帧内方向性预测方法和装置
US10721479B2 (en) * 2016-09-30 2020-07-21 Lg Electronics Inc. Intra prediction method and apparatus in image coding system
EP3410708A1 (en) * 2017-05-31 2018-12-05 Thomson Licensing Method and apparatus for intra prediction with interpolation
JP2019041165A (ja) * 2017-08-23 2019-03-14 富士通株式会社 画像符号化装置、画像復号装置、画像処理方法、及び画像処理プログラム
US10419754B1 (en) * 2018-04-02 2019-09-17 Tencent America LLC Method and apparatus for video decoding using multiple line intra prediction
CN110072112B (zh) * 2019-03-12 2023-05-12 浙江大华技术股份有限公司 帧内预测方法、编码器及存储装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102685505A (zh) * 2011-03-10 2012-09-19 华为技术有限公司 帧内预测的方法和预测装置
CN103067699A (zh) * 2011-10-20 2013-04-24 中兴通讯股份有限公司 一种帧内预测模式编码器、解码器及其方法和电子设备
CN109076241A (zh) * 2016-05-04 2018-12-21 微软技术许可有限责任公司 利用样本值的非相邻参考线进行帧内图片预测
WO2018070898A1 (en) * 2016-10-14 2018-04-19 Huawei Technologies Co., Ltd Devices and methods for video coding

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Intra prediction based on interpolation;Jiang Dong;《2011 International Conference on Computer Science and Network Technology》;全文 *

Also Published As

Publication number Publication date
WO2020181990A1 (en) 2020-09-17
EP3922031A1 (en) 2021-12-15
US20210409761A1 (en) 2021-12-30
EP3922031A4 (en) 2022-04-27
CN110072112A (zh) 2019-07-30

Similar Documents

Publication Publication Date Title
CN110072112B (zh) 帧内预测方法、编码器及存储装置
CN110892719B (zh) 影像编码/解码方法及装置
CN109803145B (zh) 帧内预测方法、装置、编码器及存储装置
CN110446044B (zh) 线性模型预测方法、装置、编码器及存储装置
CN116248867A (zh) 利用包含追加区域的分割单位的影像解码方法以及装置
CN110290388B (zh) 帧内预测方法、视频编码方法、计算机设备及存储装置
EP3448038B1 (en) Decoding method for intra predicting a block by first predicting the pixels at the boundary
US20220210436A1 (en) Method for acquiring motion vectors, prediction method and device
CN110839155B (zh) 运动估计的方法、装置、电子设备及计算机可读存储介质
EP3306934A1 (en) Image prediction method and related device
CN111131837B (zh) 运动补偿修正方法、编码方法、编码器及存储介质
CN110996099B (zh) 一种视频编码方法、系统及设备
KR20180005186A (ko) 인트라 예측을 수행하는 영상 복호화 방법 및 그 장치 및 인트라 예측을 수행하는 영상 부호화 방법 및 그 장치
JP2018520549A (ja) イントラ予測を行う映像復号方法及びその装置、並びにイントラ予測を行う映像符号化方法及びその装置
CN109862353B (zh) 色度块预测模式获取方法、装置、编解码器及存储装置
CN110166775B (zh) 帧内预测方法、编码器及存储装置
CN111741297B (zh) 帧间预测方法、视频编码方法及其相关装置
JP2004526363A (ja) ビデオ符号化における中間画素高精度高速探索を実現する装置及び方法
CN111031319A (zh) 一种局部光照补偿预测方法、终端设备及计算机存储介质
CN112073719B (zh) 一种串匹配预测方法、装置、系统及计算机可读存储介质
CN112055203A (zh) 帧间预测方法、视频编码方法及其相关装置
EP3758373B1 (en) Video encoding method, electronic device, and storage medium
CN108924551B (zh) 视频图像编码模式的预测方法及相关设备
CN111050183A (zh) 一种帧内预测方法、编码器及存储介质
CN110166773B (zh) 帧内预测方法、视频编码方法、视频处理装置、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant