CN111654696A - 一种帧内的多参考行预测方法、装置、存储介质及终端 - Google Patents

一种帧内的多参考行预测方法、装置、存储介质及终端 Download PDF

Info

Publication number
CN111654696A
CN111654696A CN202010333307.9A CN202010333307A CN111654696A CN 111654696 A CN111654696 A CN 111654696A CN 202010333307 A CN202010333307 A CN 202010333307A CN 111654696 A CN111654696 A CN 111654696A
Authority
CN
China
Prior art keywords
reference line
intra
prediction
optimal
distortion cost
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010333307.9A
Other languages
English (en)
Other versions
CN111654696B (zh
Inventor
罗法蕾
马思伟
雷萌
王苫社
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University
Original Assignee
Peking University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University filed Critical Peking University
Priority to CN202010333307.9A priority Critical patent/CN111654696B/zh
Publication of CN111654696A publication Critical patent/CN111654696A/zh
Application granted granted Critical
Publication of CN111654696B publication Critical patent/CN111654696B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种帧内的多参考行预测方法、装置、存储介质及终端，所述方法包括：编码端计算基本参考行对应的率失真代价；编码端使用多个不同的相对参考行预测基本参考行，计算每个相对参考行对应的预测块与所述基本参考行的像素差的平方和；编码端计算所述平方和最小的相对参考行的率失真代价；编码端选取率失真代价最小的参考行作为帧内预测最优参考行；编码端将所述最优参考行对应的标识和帧内预测模式编码至码流中；解码端解析码流，获取参考行标识以及帧内预测模式；解码端基于参考行标识确定最优参考行；解码端根据所述最优参考行和帧内预测模式进行预测。因此，采用本申请实施例，可以去除单参考行预测引起的噪声和减少多参考行的标识所消耗的比特，提升帧内预测性能。

Description

一种帧内的多参考行预测方法、装置、存储介质及终端
技术领域
本发明涉及数字信号处理领域，特别涉及一种帧内的多参考行预测方法、装置、存储介质及终端。
背景技术
在目前的图像、视频编码技术中，主要通过去除空间冗余、时间冗余(视频领域)与编码冗余来实现压缩，编码器将多种算法有效的结合起来达到较高的压缩性能，主要相关技术包括预测编码、变换编码、量化和熵编码。其中预测包括帧内预测和帧间预测。帧内预测的原理主要是利用视频信号在空域上的相关性。帧内预测技术主要包括五个环节：获取参考像素，对参考像素进行滤波，根据选择的预测模式获得预测值，对预测值进行滤波，对最佳的帧内预测模式进行编码。参考像素是指用来提供预测的相邻像素，一般为当前块的上边相邻一行与左边相邻一列的像素；一般来说参考像素不会直接用来预测，而是会先进行预处理，预处理一般采用滤波的方式；在参考像素填充、滤波完成之后，会根据预测模式以线性预测的方式获得预测值，还需要进行滤波才会成为最终的预测值；以上为帧内预测的全过程，其中根据选择的预测模式获得预测值是帧内预测中最为关键的一步。尽管视频编码发展了几十年，但帧内预测的模式依然是以线性方式预测为主。在目前的视频编码标准如HEVC、AVS2、VVC和AVS3中，帧内预测主要采用角度方向预测的方式，利用与当前编码块相邻的已重构参考像素对当前块进行预测。如VVC中提出了65种角度预测模式，此外还有DC模式和Plannar模式；而AVS3标准中一共有62个角度预测模式，还有DC模式，Plane模式和Bilinear模式。预测模式对于预测效果极为重要，但预测过程中参考的对象更决定了最终的预测效果。
目前AVS3标准中角度预测数目增多，但参考行数目仍然只有一行。由于角度预测模式是一种线性拷贝操作，拷贝邻域参考行中的像素直接作为预测值。若参考行中存在噪声点则会极大影响预测性能。而VVC中虽然提出了多参考行预测，扩展了更多的参考行数，但需要标识每一个参考行数，增加了比特代价。多角度帧内预测的方式可以预测更多方向性的纹理，由于目前多角度帧内预测的方式中，AVS3的帧内预测仅有最近的单参考行，预测值容易受参考行中噪声点的影响，而在VVC中的多参考行需要较多的比特标识影响了预测性能，从而导致降低了帧内预测性能。
发明内容
本申请实施例提供了一种帧内的多参考行预测方法、装置、存储介质及终端。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。
第一方面，本申请实施例提供了一种帧内预测的参考行选取方法，应用于编码端，所述方法包括：
计算基本参考行对应的率失真代价；
使用多个不同的相对参考行预测基本参考行，计算每个相对参考行对应的预测块与所述基本参考行的像素差的平方和；
计算所述平方和最小的相对参考行的率失真代价；
选取率失真代价最小的参考行作为帧内预测最优参考行。
可选的，所述计算基本参考行对应的率失真代价，包括：
基于基本参考行和多个预设帧内预测模式预测对所述基本参考行对应的预测块预测，获取预测值最小的帧内预测模式；
计算预测值最小的帧内预测模式对应的率失真代价；
将所述预测值最小的帧内预测模式对应的率失真代价确定为基本参考行对应的率失真代价。
第二方面，本申请实施例提供了一种帧内的多参考行预测方法，应用于编码端，所述方法包括：
获取第一方面选取的最优参考行；
编码所述最优参考行对应的标识和帧内预测模式。
第三方面，本申请实施例提供了一种帧内的多参考行预测方法，应用于解码端，所述方法包括：
解析码流，获取参考行标识以及帧内预测模式；
基于参考行标识确定最优参考行；
根据所述最优参考行和帧内预测模式进行预测。
第四方面，本申请实施例提供了一种帧内的多参考行预测方法，所述方法包括：
编码端计算基本参考行对应的率失真代价；
编码端使用多个不同的相对参考行预测基本参考行，计算每个相对参考行对应的预测块与所述基本参考行的像素差的平方和；
编码端计算所述平方和最小的相对参考行的率失真代价；
编码端选取率失真代价最小的参考行作为帧内预测最优参考行；
编码端将所述最优参考行对应的标识和帧内预测模式编码至码流中；
解码端解析码流，获取参考行标识以及帧内预测模式；
解码端基于参考行标识确定最优参考行；
解码端根据所述最优参考行和帧内预测模式进行预测。
可选的，所述解码端基于参考行标识确定最优参考行，包括：
当参考行标识为使用多个相对参考行预测时，解码端采用多个相对参考行分别对基本参考行进行预测，将最优的预测结果对应的参考行确定为最优参考行。
可选的，所述解码端基于参考行标识确定最优参考行，包括：
当参考行标识为使用多个相对参考行预测时，解码端采用多个相对参考行分别对基本参考行进行预测，将最优的预测结果对应的参考行确定为最优参考行。
可选的，所述编码端计算基本参考行对应的率失真代价之前，还包括：
增加帧内预测过程中的参考行为多个参考行，所述多个参考行由基本参考行和多个相对参考行组成。
第五方面，本申请实施例提供了一种帧内的多参考行预测装置，所述装置包括：
第一率失真代价计算模块，用于计算基本参考行对应的率失真代价；
像素差的平方和计算模块，用于使用多个不同的相对参考行预测基本参考行，计算每个相对参考行对应的预测块与所述基本参考行的像素差的平方和；
第二率失真代价计算模块，用于计算所述平方和最小的相对参考行的率失真代价；
最优参考行生成模块，用于选取率失真代价最小的参考行作为帧内预测最优参考行；
编码模块，用于将所述最优参考行对应的标识和帧内预测模式编码至码流中；
模式获取模块，用于解析码流，获取参考行标识以及帧内预测模式；
最优参考行确定模块，用于基于参考行标识确定最优参考行；
帧内预测模块，用于根据所述最优参考行和帧内预测模式进行预测。
第六方面，本申请实施例提供一种计算机存储介质，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行上述的方法步骤。
第七方面，本申请实施例提供一种终端，可包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行上述的方法步骤。
本申请实施例提供的技术方案可以包括以下有益效果：
在本申请实施例中，帧内的多参考行预测装置的首先采用编码端计算基本参考行对应的率失真代价，再经过编码端使用多个不同的相对参考行预测基本参考行，计算每个相对参考行对应的预测块与所述基本参考行的像素差的平方和，再经过编码端计算所述平方和最小的相对参考行的率失真代价，然后经过编码端选取率失真代价最小的参考行作为帧内预测最优参考行，再根据编码端将所述最优参考行对应的标识和帧内预测模式编码至码流中，最后通过解码端解析码流，获取参考行标识以及帧内预测模式，再根据解码端基于参考行标识确定最优参考行，再根据解码端根据所述最优参考行和帧内预测模式进行预测。由于本申请实施例再引入多个参考行后，在码流中使用一个比特标识选择的多参考行，从而达到了去除单参考行预测引起的噪声，且减少多参考行的标识所消耗的比特的目的，最终提升了帧内预测性能。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是本申请实施例提供的一种帧内的多参考行预测方法的流程示意图；
图2是本申请实施例提供的一种实施例中增加的参考行数示意图；
图3是本申请实施例提供的一种实施例中的参考行选取方法图例示意图；
图4是本申请实施例提供的一种基于参考行的帧内预测过程图例示意图；
图5是本申请实施例提供的一种帧内的多参考行预测装置的装置示意图；
图6是本申请实施例提供的一种终端的结构示意图。
具体实施方式
以下描述和附图充分地示出本发明的具体实施方案，以使本领域的技术人员能够实践它们。
应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
在本发明的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。此外，在本发明的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
到目前为止，目前AVS3标准中角度预测数目增多，但参考行数目仍然只有一行。由于角度预测模式是一种线性拷贝操作，拷贝邻域参考行中的像素直接作为预测值。若参考行中存在噪声点则会极大影响预测性能。而VVC中虽然提出了多参考行预测，扩展了更多的参考行数，但需要标识每一个参考行数，增加了比特代价。多角度帧内预测的方式可以预测更多方向性的纹理，由于目前多角度帧内预测的方式中，AVS3的帧内预测仅有最近的单参考行，预测值容易受参考行中噪声点的影响，而在VVC中的多参考行需要较多的比特标识影响了预测性能，从而导致降低了帧内预测性能。为此，本申请提供了一种帧内的多参考行预测方法、装置、存储介质及终端，以解决上述相关技术问题中存在的问题。本申请提供的技术方案中，由于本申请实施例再引入多个参考行后，在码流中使用一个比特标识选择的多参考行，从而达到了去除单参考行预测引起的噪声，且减少多参考行的标识所消耗的比特的目的，最终提升了帧内预测性能，下面采用示例性的实施例进行详细说明。
下面将结合附图1-附图4，对本申请实施例提供的帧内的多参考行预测方法进行详细介绍。该方法可依赖于计算机程序实现，可运行于基于冯诺依曼体系的帧内的多参考行预测装置上。该计算机程序可集成在应用中，也可作为独立的工具类应用运行。其中，本申请实施例中的帧内的多参考行预测装置可以为用户终端，包括但不限于：个人电脑、平板电脑、手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其它处理设备等。在不同的网络中用户终端可以叫做不同的名称，例如：用户设备、接入终端、用户单元、用户站、移动站、移动台、远方站、远程终端、移动设备、用户终端、终端、无线通信设备、用户代理或用户装置、蜂窝电话、无绳电话、个人数字处理(personal digital assistant，PDA)、5G网络或未来演进网络中的终端设备等。
请参见图1，为本申请实施例提供了一种帧内的多参考行预测方法的流程示意图。如图1所示，本申请实施例的所述方法可以包括以下步骤：
S101，编码端计算基本参考行对应的率失真代价；
其中，参考行是在帧内预测中使用当前预测块的相邻左侧一列和相邻上侧一行作为参考采样来计算当前块的预测值。率失真代价是编码器在编码过程中通过计算预测模式生成的值。
通常，本申请实施例中提供的参考行包括基本参考行和多个不同的相对参考行，基本参考行到预测块的距离值小于多个不同的相对参考行到预测块的距离值。例如图2所示，预测块为Block Unit，参考行包括基本参考行(参考行0)和多个相对参考行(参考行1、参考行2和参考行3)。
在本申请实施例中，帧内的多参考行预测装置首先采用基本参考行(参考行0)和多个预设帧内预测模式对基本参考行对应的预测块预测后获取预测值最小的帧内预测模式，然后再获取预测值最小的帧内预测模式对应的率失真代价，最后将预测值最小的帧内预测模式对应的率失真代价确定为基本参考行对应的率失真代价。
在一种可能的实现方式中，使用参考行0的参考行和65种帧内预测模式对预测块进行预测，预测结束后生成预测值和65种帧内预测模式对应的率失真代价值，根据预测值确定并记录65种模式中最小的预测模式和最小的预测模式对应的率失真代价值，将该率失真代价值作为参考行0的参考行的率失真代价J0。
进一步地，率失真代价的计算采用统一的计算方式，具体公式为：J＝D+λ*R，其中R为编码滤波方式索引所需的比特数，λ为常数值，D为失真，D的计算方式有两种。对滤波完后的预测块与原始块计算残差，第一种方式对残差进行哈达玛变换后再绝对值求和得到D。第二种方式对残差进行DCT变换后进行量化，再反量化、反变换重建之后与原始值计算最小均方差得到D。
S102，编码端使用多个不同的相对参考行预测基本参考行，计算每个相对参考行对应的预测块与所述基本参考行的像素差的平方和；
在本申请实施例中，使用65种预测模式中的每一种模式预测前，编码端首先使用多个不同的相对参考行预测基本参考行(即例如图2中的参考行1、参考行2、参考行3分别对参考行0进行预测)，预测结束后计算每个相对参考行对应的预测块与基本参考行的像素差的平方和。
S103，编码端计算所述平方和最小的相对参考行的率失真代价；
在一种可能的实现方式中，使用65种预测模式中的每一种模式预测前，沿着预测模式对应的方向使用参考行1，参考行2和参考行3的参考行对如图3的L型0号参考行(箭头所指参考行)进行预测。以本来的L型0号参考行为模板L0，通过三个参考行沿预测模式方向预测得到的三个L型预测块分别定义为L1，L2和L3如图3所示。分别计算L0与三个预测块之间的像素差的平方和SSD，比较得到SSD最小的预测块，记录该预测块对应的参考行为最优多参考行，使用该多参考行沿着预测方向进行预测。对65种模式重复上述参考行选择和预测步骤，确定率失真代价最小的预测模式并记录最小的率失真代价J1。
S104，编码端选取率失真代价最小的参考行作为帧内预测最优参考行；
在一种可能的实现方式中，由步骤S101可得到率失真代价J0，由步骤S103可得到率失真代价J1，比较步骤S101和步骤S102率的失真代价J0和J1，选择率失真代价最小值对应的帧内预测模式和参考行为最优预测模式和参考行。
S105，编码端将所述最优参考行对应的标识和帧内预测模式编码至码流中；
在一种可能的实现方式中，在码流种编码最优预测模式和参考行，预测模式的编码方式与原有方式一致，用一个比特标识参考行，如“0”为使用步骤一中的0号参考行预测，“1”为使用步骤二中的1，2或3号参考行预测。
S106，解码端解析码流，获取参考行标识以及帧内预测模式；
在一种可能的实现方式中，解码端解析码流，从码流中解码最优帧内预测模式和参考行索引。若解码参考行索引为“0”时，则使用0号参考行沿着最优帧内预测模式方向预测。若索引为“1”时，则使用步骤S102的方法确定最优帧内预测模式对应的最优参考行，沿着最优帧内预测模式方式使用最优参考行预测获得预测块。
S107，解码端基于参考行标识确定最优参考行；
在本申请实施例中，当参考行标识为使用多个相对参考行预测时，解码端采用多个相对参考行分别对基本参考行进行预测，将最优的预测结果对应的参考行确定为最优参考行。当参考行标识为使用基本参考行预测时，则使用参考行0号参考行预测。
S108，解码端根据所述最优参考行和帧内预测模式进行预测。
在一种可能的实现方式中，例如图4所示，本申请实施例在视频帧内预测过程的参考行选取中应用于帧内模式预测过程，以AVS3为例，目前AVS3中有65种预测模式，一个参考行数。如图4所示，参考行具体为当前块上边一行(即x轴正方向和y轴负方向区域的像素点)和左边一列(即x轴正方向和y轴正方向区域的像素点)，参考行的宽度和高度分别为当前编码块宽和高的两倍。帧内预测即是沿着预测方向拷贝参考行上的像素点。本申请实施例中扩展单参考行为多个参考行，扩展的参考行数如图2，参考行位置每上移一位，则参考行的宽度和高度相应地加1。距离最近的参考行为0号参考行，向上移则分别对应1，2和3号参考行。
帧内预测过程若使用的是0号参考行则为不使用多参考行，使用的是1，2或3参考行则定义为使用多参考行。是否使用多参考行需要一个比特的开关标识。解码端解码对应的标识，判断使用的是0号参考行，还是1，2或3号的参考行。若解码为不适用多参考行，则使用0号参考行预测；若使用的是多参考行，则需要进一步从1，2和3号参考行中确定具体选中的参考行。
在本申请实施例中，帧内的多参考行预测装置的首先采用编码端计算基本参考行对应的率失真代价，再经过编码端使用多个不同的相对参考行预测基本参考行，计算每个相对参考行对应的预测块与所述基本参考行的像素差的平方和，再经过编码端计算所述平方和最小的相对参考行的率失真代价，然后经过编码端选取率失真代价最小的参考行作为帧内预测最优参考行，再根据编码端将所述最优参考行对应的标识和帧内预测模式编码至码流中，最后通过解码端解析码流，获取参考行标识以及帧内预测模式，再根据解码端基于参考行标识确定最优参考行，再根据解码端根据所述最优参考行和帧内预测模式进行预测。由于本申请实施例再引入多个参考行后，在码流中使用一个比特标识选择的多参考行，从而达到了去除单参考行预测引起的噪声，且减少多参考行的标识所消耗的比特的目的，最终提升了帧内预测性能。
下述为本发明装置实施例，可以用于执行本发明方法实施例。对于本发明装置实施例中未披露的细节，请参照本发明方法实施例。
请参见图5，其示出了本发明一个示例性实施例提供的一种帧内的多参考行预测装置的结构示意图。该帧内的多参考行预测装置可以通过软件、硬件或者两者的结合实现成为终端的全部或一部分。该装置1包括第一率失真代价计算模块10、像素差的平方和计算模块20、第二率失真代价计算模块30、最优参考行生成模块40、编码模块50、模式获取模块60、最优参考行确定模块70、帧内预测模块80。
第一率失真代价计算模块10，用于计算基本参考行对应的率失真代价；
像素差的平方和计算模块20，用于使用多个不同的相对参考行预测基本参考行，计算每个相对参考行对应的预测块与所述基本参考行的像素差的平方和；
第二率失真代价计算模块30，用于计算所述平方和最小的相对参考行的率失真代价；
最优参考行生成模块40，用于选取率失真代价最小的参考行作为帧内预测最优参考行；
编码模块50，用于将所述最优参考行对应的标识和帧内预测模式编码至码流中；
模式获取模块60，用于解析码流，获取参考行标识以及帧内预测模式；
最优参考行确定模块70，用于基于参考行标识确定最优参考行；
帧内预测模块80，用于根据所述最优参考行和帧内预测模式进行预测。
需要说明的是，上述实施例提供的帧内的多参考行预测装置在执行帧内的多参考行预测方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的帧内的多参考行预测装置与帧内的多参考行预测方法实施例属于同一构思，其体现实现过程详见方法实施例，这里不再赘述。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
在本申请实施例中，帧内的多参考行预测装置的首先采用编码端计算基本参考行对应的率失真代价，再经过编码端使用多个不同的相对参考行预测基本参考行，计算每个相对参考行对应的预测块与所述基本参考行的像素差的平方和，再经过编码端计算所述平方和最小的相对参考行的率失真代价，然后经过编码端选取率失真代价最小的参考行作为帧内预测最优参考行，再根据编码端将所述最优参考行对应的标识和帧内预测模式编码至码流中，最后通过解码端解析码流，获取参考行标识以及帧内预测模式，再根据解码端基于参考行标识确定最优参考行，再根据解码端根据所述最优参考行和帧内预测模式进行预测。由于本申请实施例再引入多个参考行后，在码流中使用一个比特标识选择的多参考行，从而达到了去除单参考行预测引起的噪声，且减少多参考行的标识所消耗的比特的目的，最终提升了帧内预测性能。
本发明还提供一种计算机可读介质，其上存储有程序指令，该程序指令被处理器执行时实现上述各个方法实施例提供的帧内的多参考行预测方法。
本发明还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各个方法实施例所述的帧内的多参考行预测方法。
请参见图6，为本申请实施例提供了一种终端的结构示意图。如图6所示，所述终端1000可以包括：至少一个处理器1001，至少一个网络接口1004，用户接口1003，存储器1005，至少一个通信总线1002。
其中，通信总线1002用于实现这些组件之间的连接通信。
其中，用户接口1003可以包括显示屏(Display)、摄像头(Camera)，可选用户接口1003还可以包括标准的有线接口、无线接口。
其中，网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。
其中，处理器1001可以包括一个或者多个处理核心。处理器1001利用各种借口和线路连接整个电子设备1000内的各个部分，通过运行或执行存储在存储器1005内的指令、程序、代码集或指令集，以及调用存储在存储器1005内的数据，执行电子设备1000的各种功能和处理数据。可选的，处理器1001可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现。处理器1001可集成中央处理器(Central Processing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器1001中，单独通过一块芯片进行实现。
其中，存储器1005可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。可选的，该存储器1005包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器1005可用于存储指令、程序、代码、代码集或指令集。存储器1005可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图6所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及帧内的多参考行预测应用程序。
在图6所示的终端1000中，用户接口1003主要用于为用户提供输入的接口，获取用户输入的数据；而处理器1001可以用于调用存储器1005中存储的帧内的多参考行预测应用程序，并具体执行以下操作：
编码端计算基本参考行对应的率失真代价；
编码端使用多个不同的相对参考行预测基本参考行，计算每个相对参考行对应的预测块与所述基本参考行的像素差的平方和；
编码端计算所述平方和最小的相对参考行的率失真代价；
编码端选取率失真代价最小的参考行作为帧内预测最优参考行；
编码端将所述最优参考行对应的标识和帧内预测模式编码至码流中；
解码端解析码流，获取参考行标识以及帧内预测模式；
解码端基于参考行标识确定最优参考行；
解码端根据所述最优参考行和帧内预测模式进行预测。
在本申请实施例中，帧内的多参考行预测装置的首先采用编码端计算基本参考行对应的率失真代价，再经过编码端使用多个不同的相对参考行预测基本参考行，计算每个相对参考行对应的预测块与所述基本参考行的像素差的平方和，再经过编码端计算所述平方和最小的相对参考行的率失真代价，然后经过编码端选取率失真代价最小的参考行作为帧内预测最优参考行，再根据编码端将所述最优参考行对应的标识和帧内预测模式编码至码流中，最后通过解码端解析码流，获取参考行标识以及帧内预测模式，再根据解码端基于参考行标识确定最优参考行，再根据解码端根据所述最优参考行和帧内预测模式进行预测。由于本申请实施例再引入多个参考行后，在码流中使用一个比特标识选择的多参考行，从而达到了去除单参考行预测引起的噪声，且减少多参考行的标识所消耗的比特的目的，最终提升了帧内预测性能。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体或随机存储记忆体等。
以上所揭露的仅为本申请较佳实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖的范围。

Claims (10)

1.一种帧内预测的参考行选取方法，应用于编码端，其特征在于，所述方法包括：
计算基本参考行对应的率失真代价；
使用多个不同的相对参考行预测基本参考行，计算每个相对参考行对应的预测块与所述基本参考行的像素差的平方和；
计算所述平方和最小的相对参考行的率失真代价；
选取率失真代价最小的参考行作为帧内预测最优参考行。
2.根据权利要求1所述的方法，其特征在于，所述计算基本参考行对应的率失真代价，包括：
基于基本参考行和多个预设帧内预测模式预测对所述基本参考行对应的预测块预测，获取预测值最小的帧内预测模式；
计算预测值最小的帧内预测模式对应的率失真代价；
将所述预测值最小的帧内预测模式对应的率失真代价确定为基本参考行对应的率失真代价。
3.一种帧内的多参考行预测方法，应用于编码端，其特征在于，所述方法包括：
获取根据权利要求1或2所述的方法选取的最优参考行；
编码所述最优参考行对应的标识和帧内预测模式。
4.一种帧内的多参考行预测方法，应用于解码端，其特征在于，所述方法包括：
解析码流，获取参考行标识以及帧内预测模式；
基于参考行标识确定最优参考行；
根据所述最优参考行和帧内预测模式进行预测。
5.一种帧内的多参考行预测方法，其特征在于，所述方法包括：
编码端计算基本参考行对应的率失真代价；
编码端使用多个不同的相对参考行预测基本参考行，计算每个相对参考行对应的预测块与所述基本参考行的像素差的平方和；
编码端计算所述平方和最小的相对参考行的率失真代价；
编码端选取率失真代价最小的参考行作为帧内预测最优参考行；
编码端将所述最优参考行对应的标识和帧内预测模式编码至码流中；
解码端解析码流，获取参考行标识以及帧内预测模式；
解码端基于参考行标识确定最优参考行；
解码端根据所述最优参考行和帧内预测模式进行预测。
6.根据权利要求5所述的方法，其特征在于，所述解码端基于参考行标识确定最优参考行，包括：
当参考行标识为使用多个相对参考行预测时，解码端采用多个相对参考行分别对基本参考行进行预测，将最优的预测结果对应的参考行确定为最优参考行。
7.根据权利要求5所述的方法，其特征在于，所述编码端计算基本参考行对应的率失真代价之前，还包括：
增加帧内预测过程中的参考行为多个参考行，所述多个参考行由基本参考行和多个相对参考行组成。
8.一种帧内的多参考行预测装置，其特征在于，所述装置包括：
第一率失真代价计算模块，用于计算基本参考行对应的率失真代价；
像素差的平方和计算模块，用于使用多个不同的相对参考行预测基本参考行，计算每个相对参考行对应的预测块与所述基本参考行的像素差的平方和；
第二率失真代价计算模块，用于计算所述平方和最小的相对参考行的率失真代价；
最优参考行生成模块，用于选取率失真代价最小的参考行作为帧内预测最优参考行；
编码模块，用于将所述最优参考行对应的标识和帧内预测模式编码至码流中；
模式获取模块，用于解析码流，获取参考行标识以及帧内预测模式；
最优参考行确定模块，用于基于参考行标识确定最优参考行；
帧内预测模块，用于根据所述最优参考行和帧内预测模式进行预测。
9.一种计算机存储介质，其特征在于，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行如权利要求1～7任意一项的方法步骤。
10.一种终端，其特征在于，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行如权利要求1～7任意一项的方法步骤。
CN202010333307.9A 2020-04-24 2020-04-24 一种帧内的多参考行预测方法、装置、存储介质及终端 Active CN111654696B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010333307.9A CN111654696B (zh) 2020-04-24 2020-04-24 一种帧内的多参考行预测方法、装置、存储介质及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010333307.9A CN111654696B (zh) 2020-04-24 2020-04-24 一种帧内的多参考行预测方法、装置、存储介质及终端

Publications (2)

Publication Number Publication Date
CN111654696A true CN111654696A (zh) 2020-09-11
CN111654696B CN111654696B (zh) 2022-08-05

Family

ID=72348517

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010333307.9A Active CN111654696B (zh) 2020-04-24 2020-04-24 一种帧内的多参考行预测方法、装置、存储介质及终端

Country Status (1)

Country Link
CN (1) CN111654696B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024007157A1 (zh) * 2022-07-05 2024-01-11 Oppo广东移动通信有限公司 多参考行索引列表排序方法、视频编解码方法、装置和系统
WO2024007158A1 (zh) * 2022-07-05 2024-01-11 Oppo广东移动通信有限公司 一种候选列表构建方法、视频编解码方法、装置和系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018117334A1 (ko) * 2016-12-21 2018-06-28 전자부품연구원 고효율 비디오 부호화 모드 결정방법 및 결정장치
US20180332284A1 (en) * 2017-05-09 2018-11-15 Futurewei Technologies, Inc. Intra-Prediction With Multiple Reference Lines
CN109417628A (zh) * 2016-06-24 2019-03-01 株式会社Kt 视频信号处理方法和装置
CN109803145A (zh) * 2018-12-29 2019-05-24 浙江大华技术股份有限公司 帧内预测方法、装置、编码器及存储装置
KR20190115426A (ko) * 2018-04-02 2019-10-11 세종대학교산학협력단 영상 부호화/복호화 방법 및 장치
CN110730354A (zh) * 2018-07-17 2020-01-24 腾讯美国有限责任公司 视频编解码的方法、装置、计算机设备和存储介质
WO2020071846A1 (ko) * 2018-10-06 2020-04-09 엘지전자 주식회사 인트라 예측을 사용하여 비디오 신호를 처리하기 위한 방법 및 장치

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109417628A (zh) * 2016-06-24 2019-03-01 株式会社Kt 视频信号处理方法和装置
WO2018117334A1 (ko) * 2016-12-21 2018-06-28 전자부품연구원 고효율 비디오 부호화 모드 결정방법 및 결정장치
US20180332284A1 (en) * 2017-05-09 2018-11-15 Futurewei Technologies, Inc. Intra-Prediction With Multiple Reference Lines
CN110235444A (zh) * 2017-05-09 2019-09-13 华为技术有限公司 使用多条参考线的帧内预测
KR20190115426A (ko) * 2018-04-02 2019-10-11 세종대학교산학협력단 영상 부호화/복호화 방법 및 장치
CN110730354A (zh) * 2018-07-17 2020-01-24 腾讯美国有限责任公司 视频编解码的方法、装置、计算机设备和存储介质
WO2020071846A1 (ko) * 2018-10-06 2020-04-09 엘지전자 주식회사 인트라 예측을 사용하여 비디오 신호를 처리하기 위한 방법 및 장치
CN109803145A (zh) * 2018-12-29 2019-05-24 浙江大华技术股份有限公司 帧内预测方法、装置、编码器及存储装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
F. LE LÉANNEC 等: "Non-CE3: simplified MRL and ISP mode coding", 《JOINT VIDEO EXPLORATION TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11》, 2 July 2019 (2019-07-02) *
小小柴: "H.266的帧内技术之多参考行帧内预测（MRL）", 《HTTPS://BLOG.CSDN.NET/CXY19931018/ARTICLE/DETAILS/83861975》 *
小小柴: "H.266的帧内技术之多参考行帧内预测（MRL）", 《HTTPS://BLOG.CSDN.NET/CXY19931018/ARTICLE/DETAILS/83861975》, 8 November 2018 (2018-11-08), pages 1 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024007157A1 (zh) * 2022-07-05 2024-01-11 Oppo广东移动通信有限公司 多参考行索引列表排序方法、视频编解码方法、装置和系统
WO2024007158A1 (zh) * 2022-07-05 2024-01-11 Oppo广东移动通信有限公司 一种候选列表构建方法、视频编解码方法、装置和系统
WO2024007450A1 (zh) * 2022-07-05 2024-01-11 Oppo广东移动通信有限公司 一种候选列表构建方法、视频编解码方法、装置和系统

Also Published As

Publication number Publication date
CN111654696B (zh) 2022-08-05

Similar Documents

Publication Publication Date Title
RU2577207C2 (ru) Способ и устройство для видеокодирования
CN112087629B (zh) 图像预测方法、装置及计算机可读存储介质
CN107809642B (zh) 用于视频图像编码和解码的方法、编码设备和解码设备
KR101874100B1 (ko) 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
JP6387582B2 (ja) 画像予測方法および関連する装置
CN103096055A (zh) 一种图像信号帧内预测及解码的方法和装置
CN107465916A (zh) 编码/解码帧内预测模式的方法及装置
KR102495550B1 (ko) 디블로킹 필터 방법 및 장치
CN113795870B (zh) 一种对点云属性编解码的方法、装置及存储介质
CN111654696B (zh) 一种帧内的多参考行预测方法、装置、存储介质及终端
CN112218077B (zh) 通道间点云属性编码方法、装置以及可读存储介质
EP3706421A1 (en) Method and apparatus for video encoding and decoding based on affine motion compensation
CN112073719B (zh) 一种串匹配预测方法、装置、系统及计算机可读存储介质
CN111246212A (zh) 一种基于编解码端的几何划分模式预测方法、装置、存储介质及终端
CN113079375B (zh) 基于相关度比较确定视频编解码优先顺序的方法及装置
CN113573056A (zh) 一种率失真优化量化的方法、装置、存储介质及终端
CN110324668B (zh) 图像块编码中的变换方法、解码中的反变换方法及装置
CN116866591A (zh) 一种图像编码方法、装置及计算机设备、介质
CN110213595B (zh) 基于帧内预测的编码方法、图像处理设备和存储装置
CN116723328A (zh) 一种视频编码方法、装置、设备及存储介质
TWI559751B (zh) 用於評估要轉換成被跳過巨集區塊的巨集區塊候選者的方法、系統和電腦程式產品
CN114079769A (zh) 视频编码方法、装置、设备及计算机可读存储介质
JP2022509982A (ja) ビデオシーケンスのためのピクチャエンコーディング及びデコーディング方法及び装置
WO2019112669A1 (en) Context derivation for coefficient coding
TW201501511A (zh) 框內預測方法及系統

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant