CN113489997A - 一种运动矢量预测方法、装置、存储介质及终端 - Google Patents

一种运动矢量预测方法、装置、存储介质及终端 Download PDF

Info

Publication number
CN113489997A
CN113489997A CN202110587230.2A CN202110587230A CN113489997A CN 113489997 A CN113489997 A CN 113489997A CN 202110587230 A CN202110587230 A CN 202110587230A CN 113489997 A CN113489997 A CN 113489997A
Authority
CN
China
Prior art keywords
coding unit
mode information
motion vector
predicted motion
optimal mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110587230.2A
Other languages
English (en)
Inventor
向国庆
朱玺仲
张鹏
张广耀
宋磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Boya Hongtu Video Technology Co ltd
Original Assignee
Hangzhou Boya Hongtu Video Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Boya Hongtu Video Technology Co ltd filed Critical Hangzhou Boya Hongtu Video Technology Co ltd
Priority to CN202110587230.2A priority Critical patent/CN113489997A/zh
Publication of CN113489997A publication Critical patent/CN113489997A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding

Abstract

本发明公开了一种运动矢量预测方法，包括：划分最大编码单元生成多个编码单元；根据最大编码单元得到左边最优模式信息与上边最优模式信息；从多个编码单元中获取目标编码单元，确定目标编码单元中待代替的第一位置与第二位置集合；从左边最优模式信息中获取第一位置的水平位置上的模式信息代替第一位置的模式信息；从上边最优模式信息中获取第二位置集合中各第二位置的垂直位置上的模式信息代替各第二位置上的模式信息；根据代替后的模式信息中运动矢量计算目标编码单元的预测运动矢量；将预测运动矢量输入预先训练的线性模型中进行调整，输出目标编码单元的最终预测运动矢量。因此本申请可以降低编码时延，提升编码效率。

Description

一种运动矢量预测方法、装置、存储介质及终端
技术领域
本发明涉及数字信号处理技术领域，特别涉及一种运动矢量预测方法、装置、存储介质及终端。
背景技术
随着电子和通信技术的发展，数字视频已经深入日常生活，人们对视频的需求不断高涨。其中数字视频压缩技术被广泛应用于通信、个人计算机、广播电视、消费电子等领域，堪称数字媒体产业的最核心技术。以MPEG-2为代表的信源编码标准获得了巨大的成功。目前，以H.264/AVC和AVS为代表的新一代信源编码标准出现了。AVS标准是中国具有自主知识产权的信源编码标准。2006年2月，AVS视频标准已经正式被批准为国家标准，进入了产业化推广的阶段。主流视频编码的核心算法是帧间预测。帧间预测的主要目的是去除视频序列中的时序冗余，它是混合视频编码框架中对性能影响最为重要的一个环节。其中运动矢量预测，是实现视频帧间预测高效率的关键技术。
当前的运动矢量预测具有较高的数据依赖性。首先，从最大编码单元的级别上来说，对于一个需要进行编码的最大编码单元来说，需要用到位于其左边的最大编码单元最右一列区域的最优模式信息，这就需要等待前一个最大编码单元的模式决策过程完成，当前的最大编码单元才能开始进行运动矢量预测。其次，在编码单元的级别上，对于一个最大编码单元内的多个编码单元来说，任何一个编码单元的运动矢量预测过程都需要等待邻近编码单元的模式决策完成才能进行。这两种数据依赖性都会导致硬件上常用的流水策略和并行计算策略无法使用，从而造成较大的时延，降低了编码效率。
发明内容
本申请实施例提供了一种运动矢量预测方法、装置、存储介质及终端。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。
第一方面，本申请实施例提供了一种运动矢量预测方法，方法包括：
划分最大编码单元生成多个编码单元；
根据最大编码单元得到左边最优模式信息与上边最优模式信息；
从多个编码单元中获取目标编码单元，确定目标编码单元中待代替的第一位置与第二位置集合；其中，第一位置位于目标编码单元的左侧，第二位置集合位于目标编码单元的正上方；
从左边最优模式信息中获取第一位置的水平位置上的模式信息，并将水平位置上的模式信息代替第一位置上的模式信息；
从上边最优模式信息中获取第二位置集合中各第二位置的垂直位置上的模式信息，并将各第二位置的垂直位置上的模式信息代替各第二位置上的模式信息；
根据代替后的模式信息中运动矢量计算目标编码单元的预测运动矢量；
将预测运动矢量输入预先训练的线性模型中进行调整，输出目标编码单元的最终预测运动矢量。
可选的，根据最大编码单元得到左边最优模式信息与上边最优模式信息，包括：
识别与最大编码单元相邻的左侧最大编码单元内最右方的信息；
获取左侧最大编码单元的前一帧编码单元，并从前一帧编码单元中获取与最右方的信息对应位置处的最优模式信息；
将最优模式信息代替左侧最大编码单元内最右方的信息，得到左边最优模式信息；
获取与最大编码单元相邻的正上方最大编码单元内最下方区域的信息，得到上边最优模式信息。
可选的，方法还包括：
继续执行从多个编码单元中获取目标编码单元的步骤，直到多个编码单元中各编码单元都进行了运动矢量预测时，停止遍历。
可选的，将预测运动矢量输入预先训练的线性模型中进行调整的公式为：
|PMVPVer|＝|PMV’Ver|×kVer+bVer
|PMVPHor|＝|PMV’Hor|×kHor+bHor
其中，|PMVPVer|为调整后的预测运动矢量的垂直分量的大小，
|PMVP’Ver|则为预测运动矢量的垂直分量的大小，KVer和bVer为预先训练的线性模型中微调垂直分量的参数；|PMVPHor|为调整后的预测运动矢量的水平分量的大小，|PMVP’Hor|则为预测运动矢量的水平分量的大小，KHor和bHor为预先训练的线性模型中微调水平分量的参数。
可选的，按照以下方式生成预先训练的线性模型，包括：
随机选择的多个不同量化步长；
在多个不同量化步长下编码多帧各个AVS标准测试条件序列；
分别记录编码中各编码单元通过预设标准方法生成的预测运动矢量和上述任意一项方法产生的最终预测运动矢量，生成训练数据集；
创建线性模型；
采用训练数据集估计线性模型中的参数；
当参数估计结束后，生成预先训练的线性模型。
第二方面，本申请实施例提供了一种运动估计方法，其特征在于，方法包括：
获取根据上述任意一项的方法输出的目标编码单元的最终预测运动矢量；
根据目标编码单元的最终预测运动矢量生成搜索窗；
基于预设率失真优化公式从搜索窗中选取最优运动矢量；
计算最终预测运动矢量与最优运动矢量的差值，生成运动矢量差；
将运动矢量差写入当前码流。
可选的，预设率失真优化公式为：
J＝SAD+λR(MVD)
其中，SAD为当前编码块与匹配块的像素绝对差值和，R(MVD)则为表示当前MVD所需要的字节数，λ则为拉格朗日乘子。
第三方面，本申请实施例提供了一种运动矢量预测装置，装置包括：
编码单元划分模块，用于划分最大编码单元生成多个编码单元；
模式信息生成模块，用于根据最大编码单元得到左边最优模式信息与上边最优模式信息；
位置确定模块，用于从多个编码单元中获取目标编码单元，确定目标编码单元中待代替的第一位置与第二位置集合；其中，第一位置位于目标编码单元的左侧，第二位置集合位于目标编码单元的正上方；
第一模式信息代替模块，用于从左边最优模式信息中获取第一位置的水平位置上的模式信息，并将水平位置上的模式信息代替第一位置上的模式信息；
第二模式信息代替模块，用于从上边最优模式信息中获取第二位置集合中各第二位置的垂直位置上的模式信息，并将各第二位置的垂直位置上的模式信息代替各第二位置上的模式信息；
预测运动矢量计算模块，用于根据代替后的模式信息中运动矢量计算目标编码单元的预测运动矢量；
最终预测运动矢量输出模块，用于将预测运动矢量输入预先训练的线性模型中进行调整，输出目标编码单元的最终预测运动矢量。
第四方面，本申请实施例提供一种计算机存储介质，计算机存储介质存储有多条指令，指令适于由处理器加载并执行上述的方法步骤。
第五方面，本申请实施例提供一种终端，可包括：处理器和存储器；其中，存储器存储有计算机程序，计算机程序适于由处理器加载并执行上述的方法步骤。
本申请实施例提供的技术方案可以包括以下有益效果：
在本申请实施例中，运动矢量预测装置首先划分最大编码单元生成多个编码单元，再根据最大编码单元得到左边最优模式信息与上边最优模式信息，再从多个编码单元中获取目标编码单元，并确定目标编码单元中待代替的第一位置与第二位置集合，然后从左边最优模式信息中获取第一位置的水平位置上的模式信息代替第一位置的模式信息，再从上边最优模式信息中获取第二位置集合中各第二位置的垂直位置上的模式信息代替各第二位置上的模式信息，其次根据代替后的模式信息中运动矢量计算目标编码单元的预测运动矢量，最后将预测运动矢量输入预先训练的线性模型中进行调整，输出目标编码单元的最终预测运动矢量。由于本申请通过模式信息代替，使得当前编码单元不需要等待临近编码单元决策结束后才进行运动矢量预测，从而降低了当前编码单元对临近编码单元的依赖性，从而降低了编码时延，提升编码效率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是本申请实施例提供的一种运动矢量预测方法的流程示意图；
图2是本申请实施例提供的一种时域最优模式信息替换示意图；
图3是本申请实施例提供的一种任意编码单元的邻近块模式信息替换方式示意图；
图4是本申请实施例提供的一种运动估计方法的流程示意图；
图5是本申请实施例提供的一种运动矢量预测装置的装置示意图；
图6是本申请实施例提供的一种终端的结构示意图。
具体实施方式
以下描述和附图充分地示出本发明的具体实施方案，以使本领域的技术人员能够实践它们。
应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
在本发明的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。此外，在本发明的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
本申请提供了一种运动矢量预测方法、装置、存储介质及终端，以解决上述相关技术问题中存在的问题。本申请提供的技术方案中，由于本申请通过模式信息代替，使得当前编码单元不需要等待临近编码单元决策结束后才进行运动矢量预测，从而降低了当前编码单元对临近编码单元的依赖性，从而降低了编码时延，提升编码效率，下面采用示例性的实施例进行详细说明。
下面将结合附图1-附图4，对本申请实施例提供的运动矢量预测方法进行详细介绍。该方法可依赖于计算机程序实现，可运行于基于冯诺依曼体系的运动矢量预测装置上。该计算机程序可集成在应用中，也可作为独立的工具类应用运行。其中，本申请实施例中的运动矢量预测装置可以为用户终端，包括但不限于：个人电脑、平板电脑、手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其它处理设备等。在不同的网络中用户终端可以叫做不同的名称，例如：用户设备、接入终端、用户单元、用户站、移动站、移动台、远方站、远程终端、移动设备、用户终端、终端、无线通信设备、用户代理或用户装置、蜂窝电话、无绳电话、个人数字处理(personal digital assistant，PDA)、5G网络或未来演进网络中的终端设备等。
请参见图1，为本申请实施例提供了一种运动矢量预测方法的流程示意图。
如图1所示，本申请实施例的方法可以包括以下步骤：
S101，划分最大编码单元生成多个编码单元；
其中，LCU(Largest Coding Unit，最大编码单元)可以看作是视频图像数据中的H.265/高效率视讯编码的处理单元，该处理单元类似H.264/高阶视讯编码中的宏区块(Macroblock)。CU(Coding Unit，编码单元)是从LCU中分割出来的。
通常，一个最大编码单元按照多种划分方式可划分出多个编码单元。
在一种可能的实现方式中，在划分最大编码单元时，首先获取原始视频中的图像，然后对原始图像进行缩小化生成缩小的图像，再判断缩小的图像中最大编码单元对应的最佳分割方式，最后根据最佳分割方式将最大编码单元LCU进行分割，生成多个编码单元CU。
S102，根据最大编码单元得到左边最优模式信息与上边最优模式信息；
其中，左边最优模式信息是最大编码单元左侧相邻的LCU内最右侧区域中代替后的模式信息。上边最优模式信息是最大编码单元上方相邻的LCU内最下方区域中代替后的模式信息。
在本申请实施例中，生成左边最优模式信息与上边最优模式信息时，首先识别与最大编码单元相邻的左侧最大编码单元内最右方的信息，然后获取左侧最大编码单元的前一帧编码单元，并从前一帧编码单元中获取与最右方的信息对应位置处的最优模式信息，再将最优模式信息代替左侧最大编码单元内最右方的信息，得到左边最优模式信息，最后获取与最大编码单元相邻的正上方最大编码单元内最下方区域的信息，得到上边最优模式信息。
例如图2所示，图2是本申请提供的一种时域最优模式信息替换示意图，在运动矢量预测中图2中左侧最大编码单元最右方的信息是不可得到的，此时则利用左侧最大编码单元的前一帧中对应位置处LCU的最优模式信息代替左侧最大编码单元的最右方的信息，从而得到左边最优模式信息。与此同时，当前最大编码单元的相邻上方有正上方编码单元，正上方编码单元已经经过模式决策过程，最下方区域的信息(即模式信息)是可得到的，则直接获取后可得到上边最优模式信息。
S103，从多个编码单元中获取目标编码单元，确定目标编码单元中待代替的第一位置与第二位置集合；其中，第一位置位于目标编码单元的左侧，第二位置集合位于目标编码单元的正上方；
通常，基于步骤S102对当前最大编码单元进行时域信息替换后，可针对最大编码单元中划分出的每个编码单元进行运动矢量预测，以及每个编码单元进行运动矢量预测过程所需的邻近编码单元模式信息进行替换。
在一种可能的实现方式中，在完成时域信息替换后，需要从多个编码单元中获取某一个编码单元作为目标编码单元，该目标编码单元上包含了用于模式信息替代的多个位置，可分为第一位置与第二位置集合；其中，第一位置位于目标编码单元的左侧，第二位置集合位于目标编码单元的正上方，例如图3所示，当前最大编码单元中的目标编码单元上有模式信息替换的多个位置，包括位置B、位置D、位置A、位置C，位置B在目标编码单元的左侧，位置D、位置A、位置C在目标编码单元的正上方。
S104，从左边最优模式信息中获取第一位置的水平位置上的模式信息，并将水平位置上的模式信息代替第一位置上的模式信息；
例如图3所示，图3是任意编码单元的邻近块模式信息替换方式示意图，针对目标编码单元中的位置B，采用相同水平位置上的时域替换模式信息进行相同位置的替换(箭头指向的位置B)，并用模式信息中的运动矢量进行预测运动矢量的计算。
S105，从上边最优模式信息中获取第二位置集合中各第二位置的垂直位置上的模式信息，并将各第二位置的垂直位置上的模式信息代替各第二位置上的模式信息；
例如，针对目标编码单元中的位置D、位置A、位置C，用当前最大编码单元正上方最大编码单元中最下方位置的模式信息对所需的位置信息进行相同垂直位置的替换，并用该模式信息中的运动矢量进行预测运动矢量的计算。
S106，根据代替后的模式信息中运动矢量计算目标编码单元的预测运动矢量；
S107，将预测运动矢量输入预先训练的线性模型中进行调整，输出目标编码单元的最终预测运动矢量。
在本申请实施例中，在得到目标编码单元的预测运动矢量PMV后，记为PMV’，通过一个线性模型对PMV’的垂直和水平方向两个分量的大小进行一定的微调，让其更加接近于AVS3标准计算方法中的PMV，微调后的PMV记为PMVP，则被运用于CU的ME过程中。为微调的方式如下：
|PMVPVer|＝|PMV’Ver|×kVer+bVer；
|PMVPHor|＝|PMV’Hor|×kHor+bHor；
其中，|PMVPVer|为调整后的预测运动矢量的垂直分量的大小，
|PMVP’Ver|则为预测运动矢量的垂直分量的大小，KVer和bVer为预先训练的线性模型中微调垂直分量的参数；|PMVPHor|为调整后的预测运动矢量的水平分量的大小，|PMVP’Hor|则为预测运动矢量的水平分量的大小，KHor和bHor为预先训练的线性模型中微调水平分量的参数。
具体的，在生成预先训练的线性模型时，首先随机选择的多个不同量化步长，并在多个不同量化步长下编码多帧各个AVS标准测试条件序列，然后分别记录编码中各编码单元通过预设标准方法生成的预测运动矢量和图1方法步骤产生的最终预测运动矢量，生成训练数据集，其次创建线性模型，再采用训练数据集估计线性模型中的参数，最后当参数估计结束后，生成预先训练的线性模型。
进一步地，继续执行从多个编码单元中获取目标编码单元的步骤，直到多个编码单元中各编码单元都进行了运动矢量预测时，停止遍历。
在本申请实施例中，运动矢量预测装置首先划分最大编码单元生成多个编码单元，再根据最大编码单元得到左边最优模式信息与上边最优模式信息，再从多个编码单元中获取目标编码单元，并确定目标编码单元中待代替的第一位置与第二位置集合，然后从左边最优模式信息中获取第一位置的水平位置上的模式信息代替第一位置的模式信息，再从上边最优模式信息中获取第二位置集合中各第二位置的垂直位置上的模式信息代替各第二位置上的模式信息，其次根据代替后的模式信息中运动矢量计算目标编码单元的预测运动矢量，最后将预测运动矢量输入预先训练的线性模型中进行调整，输出目标编码单元的最终预测运动矢量。由于本申请通过模式信息代替，使得当前编码单元不需要等待临近编码单元决策结束后才进行运动矢量预测，从而降低了当前编码单元对临近编码单元的依赖性，从而降低了编码时延，提升编码效率。
请参见图4，为本申请实施例提供了一种运动估计方法的流程示意图。如图4所示，本申请实施例的方法可以包括以下步骤：
S201，获取图1中方法步骤输出的目标编码单元的最终预测运动矢量；
S202，根据目标编码单元的最终预测运动矢量生成搜索窗；
S203，基于预设率失真优化公式从搜索窗中选取最优运动矢量；
S204，计算最终预测运动矢量与最优运动矢量的差值，生成运动矢量差；
S205，将运动矢量差写入当前码流。
预设率失真优化公式为：
J＝SAD+λR(MVD)
其中，SAD为当前编码块与匹配块的像素绝对差值和，R(MVD)则为表示当前MVD所需要的字节数，λ则为拉格朗日乘子。
在本申请实施例中，运动矢量预测装置首先划分最大编码单元生成多个编码单元，再根据最大编码单元得到左边最优模式信息与上边最优模式信息，再从多个编码单元中获取目标编码单元，并确定目标编码单元中待代替的第一位置与第二位置集合，然后从左边最优模式信息中获取第一位置的水平位置上的模式信息代替第一位置的模式信息，再从上边最优模式信息中获取第二位置集合中各第二位置的垂直位置上的模式信息代替各第二位置上的模式信息，其次根据代替后的模式信息中运动矢量计算目标编码单元的预测运动矢量，最后将预测运动矢量输入预先训练的线性模型中进行调整，输出目标编码单元的最终预测运动矢量。由于本申请通过模式信息代替，使得当前编码单元不需要等待临近编码单元决策结束后才进行运动矢量预测，从而降低了当前编码单元对临近编码单元的依赖性，从而降低了编码时延，提升编码效率。
下述为本发明装置实施例，可以用于执行本发明方法实施例。对于本发明装置实施例中未披露的细节，请参照本发明方法实施例。
请参见图5，其示出了本发明一个示例性实施例提供的运动矢量预测装置的结构示意图。该运动矢量预测装置可以通过软件、硬件或者两者的结合实现成为终端的全部或一部分。该装置1包括编码单元划分模块10、模式信息生成模块20、位置确定模块30、第一模式信息代替模块40、第二模式信息代替模块50、预测运动矢量计算模块60、最终预测运动矢量输出模块70。
编码单元划分模块10，用于划分最大编码单元生成多个编码单元；
模式信息生成模块20，用于根据最大编码单元得到左边最优模式信息与上边最优模式信息；
位置确定模块30，用于从多个编码单元中获取目标编码单元，确定目标编码单元中待代替的第一位置与第二位置集合；其中，第一位置位于目标编码单元的左侧，第二位置集合位于目标编码单元的正上方；
第一模式信息代替模块40，用于从左边最优模式信息中获取第一位置的水平位置上的模式信息，并将水平位置上的模式信息代替第一位置上的模式信息；
第二模式信息代替模块50，用于从上边最优模式信息中获取第二位置集合中各第二位置的垂直位置上的模式信息，并将各第二位置的垂直位置上的模式信息代替各第二位置上的模式信息；
预测运动矢量计算模块60，用于根据代替后的模式信息中运动矢量计算目标编码单元的预测运动矢量；
最终预测运动矢量输出模块70，用于将预测运动矢量输入预先训练的线性模型中进行调整，输出目标编码单元的最终预测运动矢量。
需要说明的是，上述实施例提供的运动矢量预测装置在执行运动矢量预测方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的运动矢量预测装置与运动矢量预测方法实施例属于同一构思，其体现实现过程详见方法实施例，这里不再赘述。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
在本申请实施例中，运动矢量预测装置首先划分最大编码单元生成多个编码单元，再根据最大编码单元得到左边最优模式信息与上边最优模式信息，再从多个编码单元中获取目标编码单元，并确定目标编码单元中待代替的第一位置与第二位置集合，然后从左边最优模式信息中获取第一位置的水平位置上的模式信息代替第一位置的模式信息，再从上边最优模式信息中获取第二位置集合中各第二位置的垂直位置上的模式信息代替各第二位置上的模式信息，其次根据代替后的模式信息中运动矢量计算目标编码单元的预测运动矢量，最后将预测运动矢量输入预先训练的线性模型中进行调整，输出目标编码单元的最终预测运动矢量。由于本申请通过模式信息代替，使得当前编码单元不需要等待临近编码单元决策结束后才进行运动矢量预测，从而降低了当前编码单元对临近编码单元的依赖性，从而降低了编码时延，提升编码效率。
本发明还提供一种计算机可读介质，其上存储有程序指令，该程序指令被处理器执行时实现上述各个方法实施例提供的运动矢量预测方法。
本发明还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各个方法实施例的运动矢量预测方法。
请参见图6，为本申请实施例提供了一种终端的结构示意图。如图6所示，终端1000可以包括：至少一个处理器1001，至少一个网络接口1004，用户接口1003，存储器1005，至少一个通信总线1002。
其中，通信总线1002用于实现这些组件之间的连接通信。
其中，用户接口1003可以包括显示屏(Display)、摄像头(Camera)，可选用户接口1003还可以包括标准的有线接口、无线接口。
其中，网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。
其中，处理器1001可以包括一个或者多个处理核心。处理器1001利用各种借口和线路连接整个电子设备1000内的各个部分，通过运行或执行存储在存储器1005内的指令、程序、代码集或指令集，以及调用存储在存储器1005内的数据，执行电子设备1000的各种功能和处理数据。可选的，处理器1001可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现。处理器1001可集成中央处理器(Central Processing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器1001中，单独通过一块芯片进行实现。
其中，存储器1005可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。可选的，该存储器1005包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器1005可用于存储指令、程序、代码、代码集或指令集。存储器1005可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图6所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及运动矢量预测应用程序。
在图6所示的终端1000中，用户接口1003主要用于为用户提供输入的接口，获取用户输入的数据；而处理器1001可以用于调用存储器1005中存储的运动矢量预测应用程序，并具体执行以下操作：
划分最大编码单元生成多个编码单元；
根据最大编码单元得到左边最优模式信息与上边最优模式信息；
从多个编码单元中获取目标编码单元，确定目标编码单元中待代替的第一位置与第二位置集合；其中，第一位置位于目标编码单元的左侧，第二位置集合位于目标编码单元的正上方；
从左边最优模式信息中获取第一位置的水平位置上的模式信息，并将水平位置上的模式信息代替第一位置上的模式信息；
从上边最优模式信息中获取第二位置集合中各第二位置的垂直位置上的模式信息，并将各第二位置的垂直位置上的模式信息代替各第二位置上的模式信息；
根据代替后的模式信息中运动矢量计算目标编码单元的预测运动矢量；
将预测运动矢量输入预先训练的线性模型中进行调整，输出目标编码单元的最终预测运动矢量。
在一个实施例中，处理器1001在执行根据最大编码单元得到左边最优模式信息与上边最优模式信息时，具体执行以下操作：
识别与最大编码单元相邻的左侧最大编码单元内最右方的信息；
获取左侧最大编码单元的前一帧编码单元，并从前一帧编码单元中获取与最右方的信息对应位置处的最优模式信息；
将最优模式信息代替左侧最大编码单元内最右方的信息，得到左边最优模式信息；
获取与最大编码单元相邻的正上方最大编码单元内最下方区域的信息，得到上边最优模式信息。
在本申请实施例中，运动矢量预测装置首先划分最大编码单元生成多个编码单元，再根据最大编码单元得到左边最优模式信息与上边最优模式信息，再从多个编码单元中获取目标编码单元，并确定目标编码单元中待代替的第一位置与第二位置集合，然后从左边最优模式信息中获取第一位置的水平位置上的模式信息代替第一位置的模式信息，再从上边最优模式信息中获取第二位置集合中各第二位置的垂直位置上的模式信息代替各第二位置上的模式信息，其次根据代替后的模式信息中运动矢量计算目标编码单元的预测运动矢量，最后将预测运动矢量输入预先训练的线性模型中进行调整，输出目标编码单元的最终预测运动矢量。由于本申请通过模式信息代替，使得当前编码单元不需要等待临近编码单元决策结束后才进行运动矢量预测，从而降低了当前编码单元对临近编码单元的依赖性，从而降低了编码时延，提升编码效率。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，的存储介质可为磁碟、光盘、只读存储记忆体或随机存储记忆体等。
以上所揭露的仅为本申请较佳实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖的范围。

Claims (10)

1.一种运动矢量预测方法，其特征在于，所述方法包括：
划分最大编码单元生成多个编码单元；
根据所述最大编码单元得到左边最优模式信息与上边最优模式信息；
从所述多个编码单元中获取目标编码单元，确定所述目标编码单元中待代替的第一位置与第二位置集合；其中，所述第一位置位于所述目标编码单元的左侧，所述第二位置集合位于所述目标编码单元的正上方；
从所述左边最优模式信息中获取所述第一位置的水平位置上的模式信息，并将所述水平位置上的模式信息代替所述第一位置上的模式信息；
从所述上边最优模式信息中获取所述第二位置集合中各第二位置的垂直位置上的模式信息，并将所述各第二位置的垂直位置上的模式信息代替所述各第二位置上的模式信息；
根据代替后的所述模式信息中运动矢量计算所述目标编码单元的预测运动矢量；
将所述预测运动矢量输入预先训练的线性模型中进行调整，输出所述目标编码单元的最终预测运动矢量。
2.根据权利要求1所述的方法，其特征在于，所述根据所述最大编码单元得到左边最优模式信息与上边最优模式信息，包括：
识别与所述最大编码单元相邻的左侧最大编码单元内最右方的信息；
获取所述左侧最大编码单元的前一帧编码单元，并从所述前一帧编码单元中获取与所述最右方的信息对应位置处的最优模式信息；
将所述最优模式信息代替所述左侧最大编码单元内最右方的信息，得到左边最优模式信息；
获取与所述最大编码单元相邻的正上方最大编码单元内最下方区域的信息，得到上边最优模式信息。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
继续执行所述从所述多个编码单元中获取目标编码单元的步骤，直到所述多个编码单元中各编码单元都进行了运动矢量预测时，停止遍历。
4.根据权利要求1所述的方法，其特征在于，所述将所述预测运动矢量输入预先训练的线性模型中进行调整的公式为：
|PMVPVer|＝|PMV’Ver|×kVer+bVer
|PMVPHor|＝|PMV’Hor|×kHor+bHor
其中，|PMVPVer|为调整后的预测运动矢量的垂直分量的大小，|PMVP’Ver|则为预测运动矢量的垂直分量的大小，KVer和bVer为所述预先训练的线性模型中微调垂直分量的参数；|PMVPHor|为调整后的预测运动矢量的水平分量的大小，|PMVP’Hor|则为预测运动矢量的水平分量的大小，KHor和bHor为所述预先训练的线性模型中微调水平分量的参数。
5.根据权利要求4所述的方法，其特征在于，按照以下方式生成预先训练的线性模型，包括：
随机选择的多个不同量化步长；
在所述多个不同量化步长下编码多帧各个AVS标准测试条件序列；
分别记录所述编码中各编码单元通过预设标准方法生成的预测运动矢量和权利要求1-4任意一项方法产生的最终预测运动矢量，生成训练数据集；
创建线性模型；
采用所述训练数据集估计所述线性模型中的参数；
当所述参数估计结束后，生成预先训练的线性模型。
6.一种运动估计方法，其特征在于，所述方法包括：
获取根据权利要求1-5任意一项所述的方法输出的目标编码单元的最终预测运动矢量；
根据所述目标编码单元的最终预测运动矢量生成搜索窗；
基于预设率失真优化公式从所述搜索窗中选取最优运动矢量；
计算所述最终预测运动矢量与所述最优运动矢量的差值，生成运动矢量差；
将所述运动矢量差写入当前码流。
7.根据权利要求6所述的方法，其特征在于，所述预设率失真优化公式为：
J＝SAD+λR(MVD)
其中，SAD为当前编码块与匹配块的像素绝对差值和，R(MVD)则为表示当前MVD所需要的字节数，λ则为拉格朗日乘子。
8.一种运动矢量预测装置，其特征在于，所述装置包括：
编码单元划分模块，用于划分最大编码单元生成多个编码单元；
模式信息生成模块，用于根据所述最大编码单元得到左边最优模式信息与上边最优模式信息；
位置确定模块，用于从所述多个编码单元中获取目标编码单元，确定所述目标编码单元中待代替的第一位置与第二位置集合；其中，所述第一位置位于所述目标编码单元的左侧，所述第二位置集合位于所述目标编码单元的正上方；
第一模式信息代替模块，用于从所述左边最优模式信息中获取所述第一位置的水平位置上的模式信息，并将所述水平位置上的模式信息代替所述第一位置上的模式信息；
第二模式信息代替模块，用于从所述上边最优模式信息中获取所述第二位置集合中各第二位置的垂直位置上的模式信息，并将所述各第二位置的垂直位置上的模式信息代替所述各第二位置上的模式信息；
预测运动矢量计算模块，用于根据代替后的所述模式信息中运动矢量计算所述目标编码单元的预测运动矢量；
最终预测运动矢量输出模块，用于将所述预测运动矢量输入预先训练的线性模型中进行调整，输出所述目标编码单元的最终预测运动矢量。
9.一种计算机存储介质，其特征在于，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行如权利要求1-5或权利要求6-7中任意一项的方法步骤。
10.一种终端，其特征在于，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行如权利要求1-5或权利要求6-7中任意一项的方法步骤。
CN202110587230.2A 2021-05-27 2021-05-27 一种运动矢量预测方法、装置、存储介质及终端 Pending CN113489997A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110587230.2A CN113489997A (zh) 2021-05-27 2021-05-27 一种运动矢量预测方法、装置、存储介质及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110587230.2A CN113489997A (zh) 2021-05-27 2021-05-27 一种运动矢量预测方法、装置、存储介质及终端

Publications (1)

Publication Number Publication Date
CN113489997A true CN113489997A (zh) 2021-10-08

Family

ID=77933174

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110587230.2A Pending CN113489997A (zh) 2021-05-27 2021-05-27 一种运动矢量预测方法、装置、存储介质及终端

Country Status (1)

Country Link
CN (1) CN113489997A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110317930A1 (en) * 2009-01-23 2011-12-29 Sk Telecom Co., Ltd. Method and apparatus for selectively encoding/decoding syntax elements, and apparatus and method for image encoding/decoding using same
KR20120100448A (ko) * 2011-03-04 2012-09-12 (주)스프링웨이브 머신 러닝을 이용한 동영상 압축 기법 및 장치
CN102714736A (zh) * 2010-01-19 2012-10-03 三星电子株式会社 基于减少的运动矢量预测候选对运动矢量进行编码和解码的方法和设备
CN104768003A (zh) * 2009-10-23 2015-07-08 三星电子株式会社 确定运动矢量的方法
CN111246212A (zh) * 2020-02-21 2020-06-05 北京大学 一种基于编解码端的几何划分模式预测方法、装置、存储介质及终端

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110317930A1 (en) * 2009-01-23 2011-12-29 Sk Telecom Co., Ltd. Method and apparatus for selectively encoding/decoding syntax elements, and apparatus and method for image encoding/decoding using same
CN104768003A (zh) * 2009-10-23 2015-07-08 三星电子株式会社 确定运动矢量的方法
CN102714736A (zh) * 2010-01-19 2012-10-03 三星电子株式会社 基于减少的运动矢量预测候选对运动矢量进行编码和解码的方法和设备
KR20120100448A (ko) * 2011-03-04 2012-09-12 (주)스프링웨이브 머신 러닝을 이용한 동영상 압축 기법 및 장치
CN111246212A (zh) * 2020-02-21 2020-06-05 北京大学 一种基于编解码端的几何划分模式预测方法、装置、存储介质及终端

Similar Documents

Publication Publication Date Title
CN113455007B (zh) 帧间点云属性编解码的方法和装置
JP6334006B2 (ja) ビデオ符号化用の高コンテンツ適応型品質回復フィルタ処理のためのシステムおよび方法
US11394970B2 (en) Image encoding and decoding method and device
US9549199B2 (en) Method, apparatus, and computer program product for providing motion estimator for video encoding
AU2012332327B2 (en) Method and apparatus for image compression storing encoding parameters in 2D matrices
TWI722842B (zh) 影像預測解碼方法
EP3706421A1 (en) Method and apparatus for video encoding and decoding based on affine motion compensation
EP3818705A1 (en) Context-based binary arithmetic encoding and decoding
US20210012535A1 (en) Method and apparatus for inter-channel prediction and transform for point cloud attribute coding
CN112203085B (zh) 图像处理方法、装置、终端和存储介质
EP3912356A1 (en) Method and apparatus for video encoding and decoding with bi-directional optical flow adapted to weighted prediction
KR20210062055A (ko) 양방향 예측을 사용하는 비디오 인코딩 및 디코딩을 위한 방법 및 장치
JP2009522650A (ja) ビデオレコーディングにおけるハードウェア動き補償
CN111246212B (zh) 一种基于编解码端的几何划分模式预测方法、装置、存储介质及终端
CN111654696B (zh) 一种帧内的多参考行预测方法、装置、存储介质及终端
CN113573056A (zh) 一种率失真优化量化的方法、装置、存储介质及终端
CN112203086B (zh) 图像处理方法、装置、终端和存储介质
CN110213595B (zh) 基于帧内预测的编码方法、图像处理设备和存储装置
CN113489997A (zh) 一种运动矢量预测方法、装置、存储介质及终端
TWI559751B (zh) 用於評估要轉換成被跳過巨集區塊的巨集區塊候選者的方法、系統和電腦程式產品
CN105745929B (zh) 加速逆变换的方法和装置以及解码视频流的方法和装置
CN112218075A (zh) 候选列表的填充方法、电子设备、计算机可读存储介质
CN113630602A (zh) 编码单元的仿射运动估计方法、装置、存储介质及终端
CN113242427B (zh) 一种基于vvc中自适应运动矢量精度的快速方法及装置
TWI594625B (zh) 效能及頻寬有效率之分數移動估計技術

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination