CN110312127A - 最可能预测模式列表的构建、图像编码方法和处理装置 - Google Patents

最可能预测模式列表的构建、图像编码方法和处理装置 Download PDF

Info

Publication number
CN110312127A
CN110312127A CN201910556707.3A CN201910556707A CN110312127A CN 110312127 A CN110312127 A CN 110312127A CN 201910556707 A CN201910556707 A CN 201910556707A CN 110312127 A CN110312127 A CN 110312127A
Authority
CN
China
Prior art keywords
block
prediction mode
sub
image
encoded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910556707.3A
Other languages
English (en)
Other versions
CN110312127B (zh
Inventor
江东
林聚财
殷俊
曾飞洋
方诚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN201910556707.3A priority Critical patent/CN110312127B/zh
Publication of CN110312127A publication Critical patent/CN110312127A/zh
Priority to EP20833618.0A priority patent/EP3973701A4/en
Priority to PCT/CN2020/094832 priority patent/WO2020259263A1/en
Priority to US17/645,982 priority patent/US20220124326A1/en
Application granted granted Critical
Publication of CN110312127B publication Critical patent/CN110312127B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/147Data rate or code amount at the encoder output according to rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请公开了一种最可能预测模式列表的构建、图像编码方法和处理装置,其中,该最可能预测模式列表的构建方法包括:将待编码图像块分割为多个子块;根据待编码图像块的子块分割方式,确定目标子块的邻近块;其中,邻近块为已编码的图像块;将邻近块的帧内预测模式中的至少一个作为目标子块的最可能预测模式列表中的预测模式,以构建目标子块的最可能预测模式列表。通过上述方式,利用邻近块和当前子块的相关性,增加最佳预测模式选取的概率,有利于进一步去除空间冗余,提高帧内编码的压缩率。

Description

最可能预测模式列表的构建、图像编码方法和处理装置
技术领域
本申请涉及图像编解码技术领域,特别是涉及一种最可能预测模式列表的构建、图像编码方法和处理装置。
背景技术
因为视频图像的数据量比较大,在进行视频图像交互时,需要对视频图像进行编解码,视频编码的主要作用是将视频像素数据(RGB,YUV等)压缩成为视频码流,从而降低视频的数据量,实现降低传输过程中的网络带宽和减少存储空间的目的。
视频编码系统主要分为视频采集、预测、变换量化和熵编码几大部分,其中预测分为帧内预测和帧间预测两部分,分别是为了去除视频图像在空间和时间上的冗余。
在帧内预测中,一般来说,相邻像素点的亮度和色度信号值比较接近,具有强相关性,如果直接用采样数来表示亮度和色度信息,数据中存在较多的空间冗余。如果先去除冗余数据再编码,表示每个像素点的平均比特数就会下降,即以减少空间冗余进行数据压缩。
为了提高压缩效率,现有的视频编码技术中采用基于最可能预测模式(MostProbable Mode,MPM)的编码机制来编码帧内模式,基于最可能模式的编码机制,使用左相邻块及顶部相邻块的帧内预测模式来预测当前块(即待编码图像块)的帧内预测模式。
发明内容
为解决上述问题,本申请提供了一种最可能预测模式列表的构建、图像编码方法和处理装置,能够利用邻近块和当前子块的相关性,增加最佳预测模式选取的概率,有利于进一步去除空间冗余,提高帧内编码的压缩率。
本申请采用的一个技术方案是:提供一种最可能预测模式列表的构建方法,该方法包括:将待编码图像块分割为多个子块;根据待编码图像块的子块分割方式,确定目标子块的邻近块;其中,邻近块为已编码的图像块;将邻近块的帧内预测模式中的至少一个作为目标子块的最可能预测模式列表中的预测模式,以构建目标子块的最可能预测模式列表。
其中,根据待编码图像块的子块分割方式,确定目标子块的邻近块的步骤,包括:若待编码图像的分割方式为垂直分割,则确定待编码图像块上方中央的像素点所在的图像块,作为目标子块的上邻近块;若待编码图像的分割方式为水平分割,则确定待编码图像块左侧中央的像素点所在的图像块,作为目标子块的左邻近块。
其中,根据待编码图像块的子块分割方式,确定目标子块的邻近块的步骤,包括:若待编码图像的分割方式为垂直分割,则确定目标子块上方最右侧的像素点所在的图像块,作为目标子块的上邻近块;若待编码图像的分割方式为水平分割,则确定目标子块左侧最下方的像素点所在的图像块,作为目标子块的左邻近块。
其中,根据待编码图像块的子块分割方式,确定目标子块的邻近块的步骤,还包括:若待编码图像的分割方式为垂直分割,则确定待编码图像块左侧最下方的像素点所在的图像块,作为目标子块的左邻近块;若待编码图像的分割方式为水平分割,则确定待编码图像块上方最右侧的像素点所在的图像块,作为目标子块的上邻近块。
其中,根据待编码图像块的子块分割方式,确定目标子块的邻近块的步骤,还包括:若待编码图像的分割方式为垂直分割,则确定目标子块左侧最下方的像素点所在的图像块,作为目标子块的左邻近块;若待编码图像的分割方式为水平分割,则确定目标子块上方最右侧的像素点所在的图像块,作为目标子块的上邻近块。
其中,将邻近块的帧内预测模式中的至少一个作为目标子块的最可能预测模式列表中的预测模式,以构建目标子块的最可能预测模式列表的步骤,包括:若多个子块的邻近块相同,则基于多个子块构建同一最可能预测模式列表,将邻近块的帧内预测模式中的至少一个作为最可能预测模式列表中的预测模式;若多个子块的邻近块不相同,则基于每个子块分别构建一个最可能预测模式列表,将对应的邻近块的帧内预测模式中的至少一个作为每个最可能预测模式列表中的预测模式。
本申请采用的另一个技术方案是:提供采用如上述的方法,构建待编码图像块中目标子块的最可能预测模式列表;从最可能预测模式列表中选择设定数量个最可能预测模式,插入至目标子块的子块预测模式候选列表;从子块预测模式候选列表中,选择目标子块的帧内预测模式。
其中,该方法还包括:从待选择预测模式中选择设定数量个预测模式,并确定设定数量个预测模式的率失真代价值;将设定数量个预测模式中的角度预测模式,与其角度邻近的另一角度预测模式,进行率失真代价值比较;选择率失真代价值较小的对设定数量个预测模式进行更新,以形成目标子块的子块预测模式候选列表。
其中,待选择预测模式包括Planar预测模式、DC预测模式和角度预测模式。
本申请采用的另一个技术方案是:提供一种图像编码方法,该方法包括:获取待编码图像块;采用如上述的方法对待编码图像块进行帧内预测,获取待编码图像块的帧内预测模式;基于帧内预测模式对待编码图像块进行编码。
本申请采用的另一个技术方案是:提供一种图像处理装置,该图像处理装置包括相互连接的处理器和存储器,存储器用于存储程序数据,处理器用于执行程序数据以实现如上述的方法。
本申请采用的另一个技术方案是:提供一种计算机存储介质,其特征在于,计算机存储介质中存储有程序数据,程序数据在被处理器执行时,用以实现如上述的方法。
本申请提供的最可能预测模式列表的构建方法包括:将待编码图像块分割为多个子块;根据待编码图像块的子块分割方式,确定目标子块的邻近块;其中,邻近块为已编码的图像块;将邻近块的帧内预测模式中的至少一个作为目标子块的最可能预测模式列表中的预测模式,以构建目标子块的最可能预测模式列表。通过上述方式,提供了一种基于子块MPM列表构建的邻近块选取方法,主要是选取更接近子块的邻近块A和L来构建子块MPM列表,利用了更邻近块和当前子块的相关性,增加最佳预测模式选取的概率,在一定程度上补充了现有子块MPM列表构建的邻近块选取技术的不足,有利于进一步去除空间冗余,提高帧内编码的压缩率。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。其中:
图1是本申请实施例提供的最可能预测模式列表的构建方法的流程示意图;
图2a是本申请实施例提供的子块的垂直分割方式示意图;
图2b是本申请实施例提供的子块的垂直分割方式示意图;
图3是本申请实施例提供的选择邻近块的第一示意图;
图4是本申请实施例提供的选择邻近块的第二示意图;
图5是本申请实施例提供的选择邻近块的第三示意图;
图6是本申请实施例提供的选择邻近块的第四示意图;
图7是本申请实施例提供的选择邻近块的第五示意图;
图8是本申请实施例提供的选择邻近块的第六示意图;
图9是本申请实施例提供的选择邻近块的第七示意图;
图10是本申请实施例提供的选择邻近块的第八示意图;
图11是本申请实施例提供的帧内预测方法的流程示意图;
图12是本申请实施例提供的帧内预测模式的示意图;
图13是本申请实施例提供的图像编码方法的流程示意图;
图14是本申请提供的图像处理装置的结构示意图;
图15是本申请提供的计算机存储介质的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。可以理解的是,此处所描述的具体实施例仅用于解释本申请,而非对本申请的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本申请相关的部分而非全部结构。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
参阅图1,图1是本申请实施例提供的最可能预测模式列表的构建方法的流程示意图,该方法包括:
步骤11:将待编码图像块分割为多个子块。
对于一帧图像,一般是将其分割为多个CU(编码单元)块,分别对每个CU块单独进行编码。在本实施例中,对CU块再次进行分割,形成多个子块,对每个子块单独进行编码。
帧内子块分割(ISP)有垂直和水平两种分割方式,一般情况下,只对大于4×4(像素个数)的CU块进行分割,其中4×8和8×4的CU块都分割成2个相同的子块,其它CU块分割成4个相同的子块。
如图2a和图2b所示,图2a是本申请实施例提供的子块的垂直分割方式示意图,图2b是本申请实施例提供的子块的垂直分割方式示意图。以将待编码图像块分割成4个子块为例。
如图2a所示,在垂直分割方式中,将待编码图像块在垂直方向上平均分割为4个子块,例如,若待编码图像块为16×16的图像块,则每个子块为4×16的子块。
如图2b所示,在水平分割方式中,将待编码图像块在水平方向上平均分割为4个子块,例如,若待编码图像块为16×16的图像块,则每个子块为16×4的子块。
可以理解地,图2a和图2b是现有技术中邻近块的选择方式。即,无论在垂直分割方式中,还是在水平分割方式中,左邻近块L均选择左侧最下方的像素所在的图像块,上邻近块A均选择上方最右侧的像素所在的图像块。其中,左邻近块L和上邻近块A为包括至少一个像素的矩形图像块。
步骤12:根据待编码图像块的子块分割方式,确定目标子块的邻近块;其中,邻近块为已编码的图像块。
其中,目标子块为上述步骤11中的待编码图像块分割成的多个子块中的一个当前编码子块。如图2a所示,在垂直分割时,可以先确定左侧第一个子块为目标子块,按照本实施例中的方法确定其邻近块并构建MPM列表以进行编码;然后再确定左侧第二个子块为目标子块,按照本实施例中的方法确定其邻近块并构建MPM列表以进行编码;以此类推。
在本实施例中,根据子块分割方式的不同,选择的邻近块的位置也不相同。下面通过几种实施例来进行说明。
如图3所示,图3是本申请实施例提供的选择邻近块的第一示意图。
若待编码图像的分割方式为垂直分割,则确定待编码图像块上方中央的像素点所在的图像块,作为目标子块的上邻近块,确定待编码图像块左侧最下方的像素点所在的图像块,作为目标子块的左邻近块。
例如,若待编码图像块为16×16的图像块,经过垂直分割后每个子块为4×16,则确定待编码图像块上方相对应的16个像素中(从左至右)的第8(或第9)个像素所在的一个已编码的图像块,作为该四个子块的上邻近块A。进一步,确定待编码图像块左侧相对应的16个像素中(自下而上)的第1个像素所在的一个已编码的图像块,作为该四个子块的左邻近块L。即每个子块的上邻近块和左邻近块相同。
如图4所示,图4是本申请实施例提供的选择邻近块的第二示意图。
若待编码图像的分割方式为水平分割,则确定待编码图像块左侧中央的像素点所在的邻近块,作为目标子块的左邻近块,确定待编码图像块上方最右侧的像素点所在的邻近块,作为目标子块的上邻近块。
例如,若待编码图像块为16×16的图像块,经过水平分割后每个子块为16×4,则确定待编码图像块左侧相对应的16个像素中(从上至下)的第8(或第9)个像素所在的一个已编码的图像块,作为该四个子块的左邻近块L。进一步,确定待编码图像块上方相对应的16个像素中(从右向左)的第1个像素所在的一个已编码的图像块,作为该四个子块的上邻近块A。即每个子块的上邻近块和左邻近块相同。
如图5所示,图5是本申请实施例提供的选择邻近块的第三示意图。
若待编码图像的分割方式为垂直分割,则确定目标子块上方最右侧的像素点所在的邻近块,作为目标子块的上邻近块,确定待编码图像块左侧最下方的像素点所在的图像块,作为目标子块的左邻近块。
例如,若待编码图像块为16×16的图像块,经过垂直分割后每个子块为4×16,则确定第一个子块上方相对应的4个像素中(从左至右)的第4个像素所在的一个已编码的图像块,作为该第一个子块的上邻近块A0;确定第二个子块上方相对应的4个像素中(从左至右)的第4个像素所在的一个已编码的图像块,作为该第二个子块的上邻近块A1;确定第三个子块上方相对应的4个像素中(从左至右)的第4个像素所在的一个已编码的图像块,作为该第三个子块的上邻近块A2;确定第四个子块上方相对应的4个像素中(从左至右)的第4个像素所在的一个已编码的图像块,作为该第四个子块的上邻近块A3。进一步,确定待编码图像块左侧相对应的16个像素中(自下而上)的第1个像素所在的一个已编码的图像块,作为该四个子块的左邻近块L。即每个子块的左邻近块相同。
如图6所示,图6是本申请实施例提供的选择邻近块的第四示意图。
若待编码图像的分割方式为水平分割,则确定目标子块左侧最下方的像素点所在的邻近块,作为目标子块的左邻近块,确定待编码图像块上方最右侧的像素点所在的邻近块,作为目标子块的上邻近块。
例如,若待编码图像块为16×16的图像块,经过水平分割后每个子块为16×4,则确定第一个子块左侧相对应的4个像素中(从上至下)的第4个像素所在的一个已编码的图像块,作为该第一个子块的左邻近块L0;确定第二个子块左侧相对应的4个像素中(从上至下)的第4个像素所在的一个已编码的图像块,作为该第二个子块的左邻近块L1;确定第三个子块左侧相对应的4个像素中(从上至下)的第4个像素所在的一个已编码的图像块,作为该第三个子块的左邻近块L2;确定第四个子块左侧相对应的4个像素中(从上至下)的第4个像素所在的一个已编码的图像块,作为该第四个子块的左邻近块L3。进一步,确定待编码图像块上方相对应的16个像素中(从右向左)的第1个像素所在的一个已编码的图像块,作为该四个子块的上邻近块A。即每个子块的上邻近块相同。
如图7所示,图7是本申请实施例提供的选择邻近块的第五示意图。
若待编码图像的分割方式为垂直分割,则确定目标子块上方最右侧的像素点所在的邻近块,作为目标子块的上邻近块,确定目标子块左侧最下方的像素点所在的邻近块,作为目标子块的左邻近块。
例如,若待编码图像块为16×16的图像块,经过垂直分割后每个子块为4×16,则确定第一个子块上方相对应的4个像素中(从左至右)的第4个像素所在的一个已编码的图像块,作为该第一个子块的上邻近块A0,确定第一个子块左侧相对应的16个像素中(自下而上)的第1个像素所在的一个已编码的图像块,作为该第一个子块的左邻近块L0;确定第二个子块上方相对应的4个像素中(从左至右)的第4个像素所在的一个已编码的图像块,作为该第二个子块的上邻近块A1,确定第二个子块左侧相对应的16个像素中(自下而上)的第1个像素所在的一个已编码的图像块,作为该第二个子块的左邻近块L1;确定第三个子块上方相对应的4个像素中(从左至右)的第4个像素所在的一个已编码的图像块,作为该第三个子块的上邻近块A2,确定第三个子块左侧相对应的16个像素中(自下而上)的第1个像素所在的一个已编码的图像块,作为该第三个子块的左邻近块L2;确定第四个子块上方相对应的4个像素中(从左至右)的第4个像素所在的一个已编码的图像块,作为该第四个子块的上邻近块A3,确定第四个子块左侧相对应的16个像素中(自下而上)的第1个像素所在的一个已编码的图像块,作为该第四个子块的左邻近块L3。
如图8所示,图8是本申请实施例提供的选择邻近块的第六示意图。
若待编码图像的分割方式为水平分割,则确定目标子块左侧最下方的像素点所在的邻近块,作为目标子块的左邻近块,确定目标子块上方最右侧的像素点所在的邻近块,作为目标子块的上邻近块。
例如,若待编码图像块为16×16的图像块,经过水平分割后每个子块为16×4,则确定第一个子块左侧相对应的4个像素中(从上至下)的第4个像素所在的一个已编码的图像块,作为该第一个子块的左邻近块L0,确定第一个子块上方相对应的16个像素中(从右向左)的第一个像素所在的一个已编码的图像块,作为该第一个子块的上邻近块A0;确定第二个子块左侧相对应的4个像素中(从上至下)的第4个像素所在的一个已编码的图像块,作为该第二个子块的左邻近块L1,确定第二个子块上方相对应的16个像素中(从右向左)的第一个像素所在的一个已编码的图像块,作为该第二个子块的上邻近块A1;确定第三个子块左侧相对应的4个像素中(从上至下)的第4个像素所在的一个已编码的图像块,作为该第三个子块的左邻近块L2,确定第三个子块上方相对应的16个像素中(从右向左)的第一个像素所在的一个已编码的图像块,作为该第三个子块的上邻近块A2;确定第四个子块左侧相对应的4个像素中(从上至下)的第4个像素所在的一个已编码的图像块,作为该第四个子块的左邻近块L3,确定第四个子块上方相对应的16个像素中(从右向左)的第一个像素所在的一个已编码的图像块,作为该第四个子块的上邻近块A3。
可以理解地,在图7和图8的实施例中,需要按照一定的顺序来进行每个子块的邻近块的选择。例如,在图7的实施例中,第二个子块选择的左邻近块与第一个子块重合,因此,需要在第一个子块完成编码(或确定了最佳预测模式)之后,再来确定第二个子块的预测模式。
如图9所示,图9是本申请实施例提供的选择邻近块的第七示意图。
若待编码图像的分割方式为垂直分割,则确定待编码图像块上方中央的像素点所在的邻近块,作为目标子块的上邻近块,确定目标子块左侧最下方的像素点所在的邻近块,作为目标子块的左邻近块。
例如,若待编码图像块为16×16的图像块,经过垂直分割后每个子块为4×16,则确定第一个子块左侧相对应的16个像素中(自下而上)的第1个像素所在的一个已编码的图像块,作为该第一个子块的左邻近块L0;确定第二个子块左侧相对应的16个像素中(自下而上)的第1个像素所在的一个已编码的图像块,作为该第二个子块的左邻近块L1;确定第三个子块左侧相对应的16个像素中(自下而上)的第1个像素所在的一个已编码的图像块,作为该第三个子块的左邻近块L2;确定第四个子块左侧相对应的16个像素中(自下而上)的第1个像素所在的一个已编码的图像块,作为该第四个子块的左邻近块L3。进一步,确定待编码图像块上方相对应的16个像素中(从左至右)的第8(或第9个)像素所在的图像块,作为目标子块的上邻近块A。即每个子块的上邻近块相同。
如图10所示,图10是本申请实施例提供的选择邻近块的第八示意图。
若待编码图像的分割方式为水平分割,则确定待编码图像块左侧中央的像素点所在的图像块,作为目标子块的左邻近块,确定目标子块上方最右侧的像素点所在的邻近块,作为目标子块的上邻近块。
例如,若待编码图像块为16×16的图像块,经过水平分割后每个子块为16×4,则确定第一个子块上方相对应的16个像素中(从右向左)的第一个像素所在的一个已编码的图像块,作为该第一个子块的上邻近块A0;确定第二个子块上方相对应的16个像素中(从右向左)的第一个像素所在的一个已编码的图像块,作为该第二个子块的上邻近块A1;确定第三个子块上方相对应的16个像素中(从右向左)的第一个像素所在的一个已编码的图像块,作为该第三个子块的上邻近块A2;确定第四个子块上方相对应的16个像素中(从右向左)的第一个像素所在的一个已编码的图像块,作为该第四个子块的上邻近块A3。进一步,确定待编码图像块左侧相对应的16个像素中(从上而下)的第8(或第9个)像素所在的图像块,作为目标子块的左邻近块L。即每个子块的左邻近块相同。
步骤13:将邻近块的帧内预测模式中的至少一个作为目标子块的最可能预测模式列表(MPM列表)中的预测模式,以构建目标子块的最可能预测模式列表。
可选地,若多个子块的邻近块相同,则基于多个子块构建同一最可能预测模式列表,将邻近块的帧内预测模式中的至少一个作为最可能预测模式列表中的预测模式;若多个子块的邻近块不相同,则基于每个子块分别构建一个最可能预测模式列表,将对应的邻近块的帧内预测模式中的至少一个作为每个最可能预测模式列表中的预测模式。
例如,在图3和图4的实施例中,每个子块对应的上邻近块A和左邻近块相同,因此,多个子块可以构建同一个最可能预测模式列表,即对于一个待编码图像块,构建一个最可能预测模式列表。
例如,在图5-图10的实施例中,每个子块对应的上邻近块A和左紧邻块与其他子块不同,因此,可以基于每个子块单独构建一个最可能预测模式列表。
可选地,在MPM列表中,需要采用一个句法元素来表示ISP的分割类型,还需要采用一个句法元素来表示子块最佳预测模式在子块MPM列表中的位置。针对图3和图4的实施例,因为每个子块都采用相同的子块MPM列表,所以不需要新增句法元素;针对图5-图10的实施例,因为每个子块都需要构建一个MPM列表,并且这几个子块MPM列表不一定相同,所以对每个子块都需要增加一个句法元素来表示当前子块最佳预测模式在当前子块MPM列表中的位置,同时去掉现有ISP编码技术中表示子块最佳模式在子块MPM列表中的位置的句法元素。
本实施例提供的最可能预测模式列表的构建方法包括:将待编码图像块分割为多个子块;根据待编码图像块的子块分割方式,确定目标子块的邻近块;其中,邻近块为已编码的图像块;将邻近块的帧内预测模式中的至少一个作为目标子块的最可能预测模式列表中的预测模式,以构建目标子块的最可能预测模式列表。通过上述方式,提供了一种基于子块MPM列表构建的邻近块选取方法,主要是选取更接近子块的邻近块A和L来构建子块MPM列表,利用了更邻近块和当前子块的相关性,增加最佳预测模式选取的概率,在一定程度上补充了现有子块MPM列表构建的邻近块选取技术的不足,有利于进一步去除空间冗余,提高帧内编码的压缩率。
参阅图11,图11是本申请实施例提供的帧内预测方法的流程示意图,该方法包括:
步骤111:构建分割待编码图像块中目标子块的最可能预测模式列表。
其中,步骤111的MPM列表的构建方法可以参考上述的实施例,这里不再赘述。
步骤112:从最可能预测模式列表中选择设定数量个最可能预测模式,插入至目标子块的子块预测模式候选列表。
其中,子块预测模式候选列表的构建方式如下:
从待选择预测模式中选择设定数量个预测模式,并确定设定数量个预测模式的率失真代价值;将设定数量个预测模式中的角度预测模式,与其角度邻近的另一角度预测模式,进行率失真代价值比较;选择率失真代价值较小的对设定数量个预测模式进行更新,以形成目标子块的子块预测模式候选列表。
其中,帧内预测模式分为Planar、DC和多种角度模式三类。如图12所示,图12是本申请实施例提供的图像块的帧内预测模式的示意图,一个图像块对应有67个帧内预测模式,2~N表示角度模式,以图12中N取66所示,其中18表示水平角度模式(H),50表示垂直角度模式(V),0代表Planar模式,1代表DC模式。Planar预测模式主要用于图像纹理相对平滑而且有相对渐变过程的区域,其预测方法是:使用与当前块待预测像素对应的上、下、左、右4个方向的相邻边界上的像素值作为参考像素值,通过线性插值和求平均计算,得到当前块的预测值。相比于Planar预测模式,DC预测模式主要用于图像平坦、纹理平滑,且没有太多渐变的区域,其预测方法是:首先将当前块上方已编码块的最后一行参考像素与当前块左侧已编码块的最后一列参考像素求平均值,作为中间变量,然后根据中间变量预测出当前块的所有像素值。
具体地:
一次粗选阶段:
从0、1和其他偶数模式中选出3个较优模式,同时要保存这3个较优模式对应的Rdcost(率失真)代价值。
二次粗选阶段:
对初次粗选阶段选出来的3个较优模式中的角度预测模式(大于2并且小于66的模式)与其邻近角度比较,选择Rdcost代价值较小的模式,对3个较优模式进行更新。
三次粗选阶段:
将MPM列表内M个最可能预测模式中的第一个或是前两个模式插入到3个较优模式,合并重复模式并去掉不在最可能预测模式列表中的模式,得到最终的子块预测模式候选列表。
具体地,M个最可能预测模式放在MPM列表中,M的取值范围为3或6。该MPM列表是利用当前预测块的邻近块A和L对应的模式关系及子块分割方式来构建的,子块有垂直和水平两种分割方式,同时只对大于4×4的CU块进行分割,其中4×8和8×4的CU块都分割成2个相同的子块,其它CU块分割成4个相同的子块。以分割成4个子块为例,A和L的位置如图3-10所示,同时A和L也分别代表对应位置块的预测模式,分割成2个子块时A和L的位置相同,V代表垂直模式(模式50),H代表水平模式(模式18),角度模式+/-1表示角度模式相邻的模式,特殊的,模式66相邻的模式是3和65,模式2相邻的模式是65和3,+/-2依此类推。
以M=6为例,下面表1和表2详细介绍了子块水平和垂直分割时的MPM列表的获取方法,下面定义几个模式变量,M0表示某种分割模式下A和L中离某种分割模式更近的模式,M1表示某种分割模式下A和L中离某种分割模式更远的模式,例如,水平分割时M0表示A和L中离水平模式更近的模式,M1表示A和L中离水平模式更远的模式。
表1:
表2:
步骤113:从子块预测模式候选列表中,选择目标子块的帧内预测模式。
可选地,可以计算子块预测模式候选列表中各个模式的Rdcost代价值,选出一个最小的rdcost代价值,该代价值对应的模式即为最优的帧内预测模式。
可以理解地,在上述步骤111和步骤112可以称之为粗选阶段,步骤113可以称之为细选阶段。其中,粗选阶段使用低复杂度的SATD(Sum of Absolute TransformedDifference,即对残差进行哈德曼变换后的系数绝对和)代价获取失真(原始图像-预测图像)来计算率失真代价Rdcost,细选阶段使用复杂度较高的SSE(Sum of Squared Error,即差值的平方和)代价获取失真(原始图像-重建图像)来计算率失真代价Rdcost。Rdcost代价计算的数学关系如下:
Rdcost=D+λ*R;
其中D、R分别表示采用不同预测模式时的失真和比特数,λ为拉格朗日因子。
参阅图13,图13是本申请实施例提供的图像编码方法的流程示意图,该方法包括:
步骤131:获取待编码图像块。
步骤132:对待编码图像块进行帧内预测,获取待编码图像块的帧内预测模式。
其中,步骤132是采用如上述实施例提供的帧内预测方法对待编码图像块进行帧内预测的,这里不在赘述。
步骤133:基于帧内预测模式对待编码图像块进行编码。
通过上述方式进行编码,基于子块MPM列表构建的邻近块选取方法,主要是选取更接近子块的邻近块A和L来构建子块MPM列表,利用了更邻近块和当前子块的相关性,增加最佳预测模式选取的概率,在一定程度上补充了现有子块MPM列表构建的邻近块选取技术的不足,有利于进一步去除空间冗余,提高帧内编码的压缩率。
参阅图14,图14是本申请提供的图像处理装置的结构示意图,该图像处理装置140包括相互连接的处理器141和存储器142,存储器142用于存储程序数据,处理器141用于执行程序数据以实现如下的方法:
将待编码图像块分割为多个子块;根据待编码图像块的子块分割方式,确定目标子块的邻近块;其中,邻近块为已编码的图像块;将邻近块的帧内预测模式中的至少一个作为目标子块的最可能预测模式列表中的预测模式,以构建目标子块的最可能预测模式列表。
可选地,处理器141用于执行程序数据时,还用以实现如下的方法:若待编码图像的分割方式为垂直分割,则确定待编码图像块上方中央的像素点所在的图像块,作为目标子块的上邻近块;若待编码图像的分割方式为水平分割,则确定待编码图像块左侧中央的像素点所在的图像块,作为目标子块的左邻近块。
可选地,处理器141用于执行程序数据时,还用以实现如下的方法:若待编码图像的分割方式为垂直分割,则确定目标子块上方最右侧的像素点所在的图像块,作为目标子块的上邻近块;若待编码图像的分割方式为水平分割,则确定目标子块左侧最下方的像素点所在的图像块,作为目标子块的左邻近块。
可选地,处理器141用于执行程序数据时,还用以实现如下的方法:若待编码图像的分割方式为垂直分割,则确定待编码图像块左侧最下方的像素点所在的图像块,作为目标子块的左邻近块;若待编码图像的分割方式为水平分割,则确定待编码图像块上方最右侧的像素点所在的图像块,作为目标子块的上邻近块。
可选地,处理器141用于执行程序数据时,还用以实现如下的方法:若待编码图像的分割方式为垂直分割,则确定目标子块左侧最下方的像素点所在的图像块,作为目标子块的左邻近块;若待编码图像的分割方式为水平分割,则确定目标子块上方最右侧的像素点所在的图像块,作为目标子块的上邻近块。
参阅图15,图15是本申请提供的计算机存储介质的结构示意图,该计算机存储介质150用于存储程序数据151,该程序数据151在被处理器执行时,实现如下的方法:
将待编码图像块分割为多个子块;根据待编码图像块的子块分割方式,确定目标子块的邻近块;其中,邻近块为已编码的图像块;将邻近块的帧内预测模式中的至少一个作为目标子块的最可能预测模式列表中的预测模式,以构建目标子块的最可能预测模式列表。
在本申请所提供的几个实施方式中,应该理解到,所揭露的方法以及设备,可以通过其它的方式实现。例如,以上所描述的设备实施方式仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外,在本申请各个实施方式中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
上述其他实施方式中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,RandomAccess Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施方式,并非因此限制本申请的专利范围,凡是根据本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。

Claims (11)

1.一种最可能预测模式列表的构建方法,其特征在于,所述方法包括:
将待编码图像块分割为多个子块;
根据所述待编码图像块的子块分割方式,确定目标子块的邻近块;其中,所述邻近块为已编码的图像块;
将所述邻近块的帧内预测模式中的至少一个作为所述目标子块的最可能预测模式列表中的预测模式,以构建所述目标子块的最可能预测模式列表。
2.根据权利要求1所述的方法,其特征在于,
所述根据所述待编码图像块的子块分割方式,确定目标子块的邻近块的步骤,包括:
若所述待编码图像的分割方式为垂直分割,则确定所述待编码图像块上方中央的像素点所在的图像块,作为所述目标子块的上邻近块;
若所述待编码图像的分割方式为水平分割,则确定所述待编码图像块左侧中央的像素点所在的图像块,作为所述目标子块的左邻近块。
3.根据权利要求1所述的方法,其特征在于,
所述根据所述待编码图像块的子块分割方式,确定目标子块的邻近块的步骤,包括:
若所述待编码图像的分割方式为垂直分割,则确定所述目标子块上方最右侧的像素点所在的图像块,作为所述目标子块的上邻近块;
若所述待编码图像的分割方式为水平分割,则确定所述目标子块左侧最下方的像素点所在的图像块,作为所述目标子块的左邻近块。
4.根据权利要求2或3所述的方法,其特征在于,
所述根据所述待编码图像块的子块分割方式,确定目标子块的邻近块的步骤,还包括:
若所述待编码图像的分割方式为垂直分割,则确定所述待编码图像块左侧最下方的像素点所在的图像块,作为所述目标子块的左邻近块;
若所述待编码图像的分割方式为水平分割,则确定所述待编码图像块上方最右侧的像素点所在的图像块,作为所述目标子块的上邻近块。
5.根据权利要求2或3所述的方法,其特征在于,
所述根据所述待编码图像块的子块分割方式,确定目标子块的邻近块的步骤,还包括:
若所述待编码图像的分割方式为垂直分割,则确定所述目标子块左侧最下方的像素点所在的图像块,作为所述目标子块的左邻近块;
若所述待编码图像的分割方式为水平分割,则确定所述目标子块上方最右侧的像素点所在的图像块,作为所述目标子块的上邻近块。
6.根据权利要求1所述的方法,其特征在于,
所述将所述邻近块的帧内预测模式中的至少一个作为所述目标子块的最可能预测模式列表中的预测模式,以构建所述目标子块的最可能预测模式列表的步骤,包括:
若所述多个子块的邻近块相同,则基于所述多个子块构建同一最可能预测模式列表,将所述邻近块的帧内预测模式中的至少一个作为所述最可能预测模式列表中的预测模式;
若所述多个子块的邻近块不相同,则基于每个所述子块分别构建一个最可能预测模式列表,将对应的邻近块的帧内预测模式中的至少一个作为每个所述最可能预测模式列表中的预测模式。
7.一种帧内预测方法,其特征在于,所述方法包括:
采用如权利要求1-6任一项所述的方法,构建所述待编码图像块中目标子块的最可能预测模式列表;
从所述最可能预测模式列表中选择设定数量个最可能预测模式,插入至所述目标子块的子块预测模式候选列表;
从所述子块预测模式候选列表中,选择所述目标子块的帧内预测模式。
8.根据权利要求7所述的方法,其特征在于,
所述方法还包括:
从待选择预测模式中选择设定数量个预测模式,并确定所述设定数量个预测模式的率失真代价值;
将所述设定数量个预测模式中的角度预测模式,与其角度邻近的另一角度预测模式,进行率失真代价值比较;
选择率失真代价值较小的对所述设定数量个预测模式进行更新,以形成所述目标子块的子块预测模式候选列表。
9.一种图像编码方法,其特征在于,包括:
获取待编码图像块;
采用如权利要求7或8所述的方法对所述待编码图像块进行帧内预测,获取所述待编码图像块的帧内预测模式;
基于所述帧内预测模式对所述待编码图像块进行编码。
10.一种图像处理装置,其特征在于,所述图像处理装置包括相互连接的处理器和存储器,所述存储器用于存储程序数据,所述处理器用于执行所述程序数据以实现如权利要求1-9任一项所述的方法。
11.一种计算机存储介质,其特征在于,所述计算机存储介质中存储有程序数据,所述程序数据在被处理器执行时,用以实现如权利要求1-9任一项所述的方法。
CN201910556707.3A 2019-06-25 2019-06-25 最可能预测模式列表的构建、图像编码方法和处理装置 Active CN110312127B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201910556707.3A CN110312127B (zh) 2019-06-25 2019-06-25 最可能预测模式列表的构建、图像编码方法和处理装置
EP20833618.0A EP3973701A4 (en) 2019-06-25 2020-06-08 SYSTEMS AND METHODS FOR IMAGE CODING
PCT/CN2020/094832 WO2020259263A1 (en) 2019-06-25 2020-06-08 Systems and methods for image coding
US17/645,982 US20220124326A1 (en) 2019-06-25 2021-12-25 Systems and methods for image coding

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910556707.3A CN110312127B (zh) 2019-06-25 2019-06-25 最可能预测模式列表的构建、图像编码方法和处理装置

Publications (2)

Publication Number Publication Date
CN110312127A true CN110312127A (zh) 2019-10-08
CN110312127B CN110312127B (zh) 2022-04-19

Family

ID=68076365

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910556707.3A Active CN110312127B (zh) 2019-06-25 2019-06-25 最可能预测模式列表的构建、图像编码方法和处理装置

Country Status (1)

Country Link
CN (1) CN110312127B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021068923A1 (en) * 2019-10-10 2021-04-15 Beijing Bytedance Network Technology Co., Ltd. Deblocking filtering improvements
CN113038132A (zh) * 2021-03-18 2021-06-25 北京奇艺世纪科技有限公司 一种编码单元cu的预测模式确定方法及装置
US11689735B2 (en) 2019-09-01 2023-06-27 Beijing Bytedance Network Technology Co., Ltd. Alignment of prediction weights in video coding

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103563389A (zh) * 2011-06-03 2014-02-05 高通股份有限公司 具有方向性分区的帧内预测模式译码
CN106131547A (zh) * 2016-07-12 2016-11-16 北京大学深圳研究生院 视频编码中帧内预测模式的快速决策方法
CN107439014A (zh) * 2015-04-08 2017-12-05 Lg 电子株式会社 编码/解码视频信号的方法和装置
KR20180039324A (ko) * 2016-10-10 2018-04-18 디지털인사이트 주식회사 정방형 또는 직방형 블록의 화면 내 예측모드 정보 추출 방법 및 장치
WO2018101685A1 (ko) * 2016-11-29 2018-06-07 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2018199675A1 (ko) * 2017-04-28 2018-11-01 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2018202558A1 (en) * 2017-05-04 2018-11-08 Interdigital Vc Holdings, Inc. Method and apparatus for most probable mode (mpm) reordering for intra prediction

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103563389A (zh) * 2011-06-03 2014-02-05 高通股份有限公司 具有方向性分区的帧内预测模式译码
CN107439014A (zh) * 2015-04-08 2017-12-05 Lg 电子株式会社 编码/解码视频信号的方法和装置
CN106131547A (zh) * 2016-07-12 2016-11-16 北京大学深圳研究生院 视频编码中帧内预测模式的快速决策方法
KR20180039324A (ko) * 2016-10-10 2018-04-18 디지털인사이트 주식회사 정방형 또는 직방형 블록의 화면 내 예측모드 정보 추출 방법 및 장치
WO2018101685A1 (ko) * 2016-11-29 2018-06-07 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2018199675A1 (ko) * 2017-04-28 2018-11-01 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2018202558A1 (en) * 2017-05-04 2018-11-08 Interdigital Vc Holdings, Inc. Method and apparatus for most probable mode (mpm) reordering for intra prediction

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
WEIHANG LIAO: "A fast CU partition and mode decision algorithm for HEVC intra coding", 《SIGNAL PROCESSING: IMAGE COMMUNICATION》 *
吴明: "关于HEVC帧内预测快速模式选择算法的研究", 《中国优秀硕士学位论文全文数据库》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11689735B2 (en) 2019-09-01 2023-06-27 Beijing Bytedance Network Technology Co., Ltd. Alignment of prediction weights in video coding
WO2021068923A1 (en) * 2019-10-10 2021-04-15 Beijing Bytedance Network Technology Co., Ltd. Deblocking filtering improvements
US11758143B2 (en) 2019-10-10 2023-09-12 Beijing Bytedance Network Technology Co., Ltd Motion vector handling in geometry partition mode
CN113038132A (zh) * 2021-03-18 2021-06-25 北京奇艺世纪科技有限公司 一种编码单元cu的预测模式确定方法及装置

Also Published As

Publication number Publication date
CN110312127B (zh) 2022-04-19

Similar Documents

Publication Publication Date Title
KR100820132B1 (ko) 화상 인트라-예측 모드 추정, 전달과 편성을 위한 방법 및시스템
CN104768011B (zh) 图像编解码方法和相关装置
CN102484719B (zh) 对视频编码的方法和设备及对视频解码的方法和设备
CN109565593A (zh) 图像编码/解码方法和设备以及存储比特流的记录介质
RU2518635C2 (ru) Способ и устройство для кодирования и декодирования блока кодирования границы картинки
US7386048B2 (en) Methods and systems for image intra-prediction mode organization
CN110312127A (zh) 最可能预测模式列表的构建、图像编码方法和处理装置
US20220303532A1 (en) Method for encoding/decoding image signal and device therefor
US20150043650A1 (en) Image encoding/decoding apparatus and method to which filter selection by precise units is applied
EP1796395A2 (en) Method and device for intra prediction coding and decoding of images
CN110446044A (zh) 线性模型预测方法、装置、编码器及存储装置
CN107888920A (zh) 一种施加边缘补偿的方法
CN102484699A (zh) 对图像进行编码和解码的方法、用于编码和解码的对应装置以及计算机程序
CN100396102C (zh) 用于预测视频数据单元的直流系数的方法和设备
CN104796701B (zh) 基于hevc的预测模式确定方法及装置
CN110290383B (zh) 帧内预测模式选择方法、编码器及存储装置
US8090021B2 (en) Method for motion search between video frames with multiple blocks
CN101501998A (zh) 用于对图片序列进行编码的方法以及执行所述方法的装置
CN110166773A (zh) 帧内预测方法、视频编码方法、视频处理装置、存储介质
CN110312126A (zh) 最可能预测模式列表的构建、图像编码方法和处理装置
CN110166774B (zh) 帧内预测方法、视频编码方法、视频处理装置、存储介质
CN110312129B (zh) 最可能模式列表的构建、帧内预测、编码的方法及设备
CN111787334B (zh) 一种用于帧内预测的滤波方法,滤波器及装置
JP4935771B2 (ja) 動きベクトル検出装置および動画像符号化装置
WO2011088592A1 (en) Method and device for encoding an image block of an image and corresponding decoding method and device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant