CN116828180B - 视频编码方法、装置、电子设备和计算机可读介质 - Google Patents
视频编码方法、装置、电子设备和计算机可读介质 Download PDFInfo
- Publication number
- CN116828180B CN116828180B CN202311092186.3A CN202311092186A CN116828180B CN 116828180 B CN116828180 B CN 116828180B CN 202311092186 A CN202311092186 A CN 202311092186A CN 116828180 B CN116828180 B CN 116828180B
- Authority
- CN
- China
- Prior art keywords
- image
- encoded
- unit
- information
- leaf
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000005192 partition Methods 0.000 claims description 27
- 238000004590 computer program Methods 0.000 claims description 10
- 238000000638 solvent extraction Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 description 21
- 230000008569 process Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 238000010845 search algorithm Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本公开的实施例公开了视频编码方法、装置、电子设备和计算机可读介质。该方法的一具体实施方式包括:获取待编码视频图像;对待编码视频图像进行第一拆分处理,得到待编码图像树单元集;基于预设的拆分尺寸,对待编码图像树单元集中的每个待编码图像树单元进行第二拆分处理以生成待编码图像叶子单元组,得到待编码图像叶子单元组集;对待编码图像叶子单元组集中的每个待编码图像叶子单元进行划分处理以生成待编码叶子单元划分信息,得到待编码叶子单元划分信息组集;基于待编码叶子单元划分信息组集,对待编码视频图像进行编码处理,得到视频编码信息。该实施方式提高了视频编码的效率。
Description
技术领域
本公开的实施例涉及计算机技术领域,具体涉及视频编码方法、装置、电子设备和计算机可读介质。
背景技术
摄像机拍摄视频完成后,需要对视频进行进一步的编码和压缩,以方便传输和播放,其中,对视频进行编码的方式包括硬编码与软编码两种方式。目前,在对视频进行编码时,通常采用的方式为:通过遍历视频图像中每个待编码的编码单元,比较编码单元在不同划分模式下对应的率失真值,将最小的率失真值对应的划分模式确定为编码单元的划分模式,然后根据划分模式,对视频图像中待编码的编码单元进行编码。
然而,发明人发现,当采用上述方式对视频进行编码时,经常会存在如下技术问题:
第一,遍历视频图像中每个待编码的编码单元的方式,需要在确定当前编码单元的划分模式后,才能确定下一个编码单元的划分模式,从而,导致视频编码的效率降低;
第二,遍历视频图像中每个待编码的编码单元的方式,需要顺序或者并行的遍历每一个编码方式,而每个单独的编码方式,都需要遍历所有的子块的尺寸,在顺序编码的过程中,会导致视频编码延时的增加,在并行编码的过程中,会导致芯片的面积和成本增加,若仅根据形状删减划分模式,则难以在芯片面积成本和延时上达到一个最优的平衡,从而,导致视频编码的效率降低。
该背景技术部分中所公开的以上信息仅用于增强对本发明构思的背景的理解,并因此,其可包含并不形成本国的本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的内容部分用于以简要的形式介绍构思,这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征,也不旨在用于限制所要求的保护的技术方案的范围。
本公开的一些实施例提出了视频编码方法、装置、电子设备和计算机可读介质,来解决以上背景技术部分提到的技术问题中的一项或多项。
第一方面,本公开的一些实施例提供了一种视频编码方法,该方法包括:获取待编码视频图像;对上述待编码视频图像进行第一拆分处理,得到待编码图像树单元集;基于预设的拆分尺寸,对上述待编码图像树单元集中的每个待编码图像树单元进行第二拆分处理以生成待编码图像叶子单元组,得到待编码图像叶子单元组集;对上述待编码图像叶子单元组集中的每个待编码图像叶子单元进行划分处理以生成待编码叶子单元划分信息,得到待编码叶子单元划分信息组集;基于上述待编码叶子单元划分信息组集,对上述待编码视频图像进行编码处理,得到视频编码信息。
第二方面,本公开的一些实施例提供了一种视频编码装置,装置包括:获取单元,被配置成获取待编码视频图像;第一拆分单元,被配置成对上述待编码视频图像进行第一拆分处理,得到待编码图像树单元集;第二拆分单元,被配置成基于预设的拆分尺寸,对上述待编码图像树单元集中的每个待编码图像树单元进行第二拆分处理以生成待编码图像叶子单元组,得到待编码图像叶子单元组集;划分单元,被配置成对上述待编码图像叶子单元组集中的每个待编码图像叶子单元进行划分处理以生成待编码叶子单元划分信息,得到待编码叶子单元划分信息组集;编码单元,被配置成基于上述待编码叶子单元划分信息组集,对上述待编码视频图像进行编码处理,得到视频编码信息。
第三方面,本公开的一些实施例提供了一种电子设备,包括:一个或多个处理器;存储装置,其上存储有一个或多个程序,当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现上述第一方面中任一实现方式所描述的方法。
第四方面,本公开的一些实施例提供了一种计算机可读介质,其上存储有计算机程序,其中,程序被处理器执行时实现上述第一方面中任一实现方式所描述的方法。
本公开的上述各个实施例具有如下有益效果:通过本公开的一些实施例的视频编码方法,可以提高视频编码的效率。具体来说,造成视频编码的效率降低的原因在于:遍历视频图像中每个待编码的编码单元的方式,需要在确定当前编码单元的划分模式后,才能确定下一个编码单元的划分模式。基于此,本公开的一些实施例的视频编码方法,首先,获取待编码视频图像。其次,对上述待编码视频图像进行第一拆分处理,得到待编码图像树单元集。由此,可以将待编码图像划分为可编码的树编码单元。然后,基于预设的拆分尺寸,对上述待编码图像树单元集中的每个待编码图像树单元进行第二拆分处理以生成待编码图像叶子单元组,得到待编码图像叶子单元组集。由此,可以将上述可编码的树编码单元,划分为各个最大尺寸(例如,32×32)的待编码图像叶子单元。接着,对上述待编码图像叶子单元组集中的每个待编码图像叶子单元进行划分处理以生成待编码叶子单元划分信息,得到待编码叶子单元划分信息组集。由此,可以分别确定每个最大尺寸的待编码图像叶子单元的划分模式,以得到整个待编码视频图像的划分模式。最后,基于上述待编码叶子单元划分信息组集,对上述待编码视频图像进行编码处理,得到视频编码信息。由此,可以根据各个待编码图像叶子单元的划分模式信息,进行视频编码。因此,本公开的一些视频编码方法,可以按照预设的拆分尺寸,得到可划分的最大尺寸的待编码叶子单元,然后,可以同时对各个最大尺寸的待编码叶子单元进行划分,以确定待编码图像的划分模式信息,从而,可以减少确定编码单元的划分模式的时间,进而,可以提高视频编码的效率。
附图说明
结合附图并参考以下具体实施方式,本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中,相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的,元件和元素不一定按照比例绘制。
图1是根据本公开的视频编码方法的一些实施例的流程图;
图2是根据本公开的视频编码装置的一些实施例的结构示意图;
图3是适于用来实现本公开的一些实施例的电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例,然而应当理解的是,本公开可以通过各种形式来实现,而且不应该被解释为限于这里阐述的实施例。相反,提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是,本公开的附图及实施例仅用于示例性作用,并非用于限制本公开的保护范围。
另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。在不冲突的情况下,本公开中的实施例及实施例中的特征可以相互组合。
需要注意,本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分,并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意,本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的,本领域技术人员应当理解,除非在上下文另有明确指出,否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的,而并不是用于对这些消息或信息的范围进行限制。
下面将参考附图并结合实施例来详细说明本公开。
图1示出了根据本公开的视频编码方法的一些实施例的流程100。该视频编码方法,包括以下步骤:
步骤101,获取待编码视频图像。
在一些实施例中,视频编码方法的执行主体可以通过有线连接或无线连接的方式从摄像机上获取上述待编码视频图像。其中,摄像机可以是用于拍摄视频的摄像机。上述待编码视频图像可以是上述摄像机拍摄的视频中的一帧图像。
作为示例,上述执行主体可以是ASIC(Application Specific IntegratedCircuit,专用集成电路)芯片。
需要指出的是,上述无线连接方式可以包括但不限于3G/4G连接、WiFi连接、蓝牙连接、WiMAX连接、Zigbee连接、UWB(ultra wideband)连接、以及其他现在已知或将来开发的无线连接方式。
步骤102,对待编码视频图像进行第一拆分处理,得到待编码图像树单元集。
在一些实施例中,上述执行主体可以对上述待编码视频图像进行第一拆分处理,得到待编码图像树单元集。其中,可以通过预设的视频编码标准,对上述待编码视频图像进行第一拆分处理,得到待编码图像树单元集。上述待编码图像树单元集中的每个待编码图像树单元可以是一个树形结构的根节点。
作为示例,上述预设的视频编码标准可以是但不限于以下至少一项:HEVC(HighEfficiency Video Coding,高效率视频编码)标准或AVS3(Audio Video codingStandard,音视频编码标准)标准。上述待编码图像树单元集中的每个待编码图像树单元可以是一个CTU(coding tree units,树编码单元)。
步骤103,基于预设的拆分尺寸,对待编码图像树单元集中的每个待编码图像树单元进行第二拆分处理以生成待编码图像叶子单元组,得到待编码图像叶子单元组集。
在一些实施例中,上述执行主体可以响应于基于预设的拆分尺寸,对上述待编码图像树单元集中的每个待编码图像树单元进行第二拆分处理以生成待编码图像叶子单元组,得到待编码图像叶子单元组集。其中,可以根据上述预设的拆分尺寸,将上述待编码图像树单元集中的每个待编码图像树单元平均拆分为各个待编码图像叶子单元,得到待编码图像叶子单元组集。上述预设的拆分尺寸可以是通过上述预设的视频编码标准确定的。上述预设的拆分尺寸还可以是通过人工确定的。上述待编码图像叶子单元组集中的每个待编码图像叶子单元的尺寸可以与上述预设的拆分尺寸相同。上述待编码图像叶子单元组中的各个待编码图像叶子单元可以是以树形结构存储的。
作为示例,上述待编码图像树单元集中的每个待编码图像树单元的尺寸可以是但不限于以下至少一项:128像素×128像素或64像素×64像素。上述预设的拆分尺寸可以是但不限于以下至少一项:64像素×64像素或32像素×32像素。上述待编码图像叶子单元组中的每个待编码图像叶子单元可以是一个CU(coding unit,编码单元)。当上述待编码图像树单元的尺寸为128像素×128像素,上述预设的拆分尺寸为64像素×64像素时,上述待编码图像叶子单元组中待编码图像叶子单元的数量可以是4。当上述待编码图像树单元的尺寸为128像素×128像素,上述预设的拆分尺寸为32像素×32像素时,上述待编码图像叶子单元组中待编码图像叶子单元的数量可以是16。
步骤104,对待编码图像叶子单元组集中的每个待编码图像叶子单元进行划分处理以生成待编码叶子单元划分信息,得到待编码叶子单元划分信息组集。
在一些实施例中,上述执行主体可以对上述待编码图像叶子单元组集中的每个待编码图像叶子单元进行划分处理以生成待编码叶子单元划分信息,得到待编码叶子单元划分信息组集。
在一些实施例的一些可选的实现方式中,上述执行主体对上述待编码图像叶子单元组集中的每个待编码图像叶子单元进行划分处理以生成待编码叶子单元划分信息,可以包括以下步骤:
第一步,获取参考视频图像和第一初始划分模式信息集。其中,上述参考视频图像可以是上述摄像机拍摄的视频中的第一帧图像。上述参考视频图像还可以是上述待编码视频图像的上一帧图像。上述第一初始划分模式信息集中的每个第一初始划分模式信息可以表征在上述预设的视频编码标准中、对一个待编码图像叶子单元的一种划分方式。
作为示例,上述划分方式可以是但不限于以下至少一项:不划分、QT(quad tree,四叉树)四划分、BT(binarytree,二叉树)水平二划分、BT垂直二划分、EQT(extended quadtree,增强四叉树)水平划分或EQT垂直划分。
第二步,基于上述第一初始划分模式信息集,对上述待编码图像叶子单元进行初始划分处理,得到待编码图像块组集。其中,上述第一初始划分模式信息集中的第一初始划分模式信息和上述待编码图像块组集中的待编码图像块组一一对应。对于上述第一初始划分模式信息集中的每个第一初始划分模式信息,可以通过上述预设的视频编码标准,对上述待编码图像叶子单元进行初始划分处理,得到待编码图像块组。然后将所生成的各个待编码图像块组,确定为上述待编码图像块组集。上述待编码图像块组集中的每个待编码图像块可以是一个像素矩阵。
第三步,基于上述参考视频图像,确定上述待编码图像块组集中每个待编码图像块组对应的图像块率失真值,得到图像块率失真值集。
第四步,将上述第一初始划分模式信息集中、与上述图像块率失真值集中最小的图像块率失真值对应的第一初始划分模式信息、确定为上述待编码叶子单元划分信息。
在一些实施例的一些可选的实现方式中,上述执行主体基于上述参考视频图像,确定上述待编码图像块组集中每个待编码图像块组对应的图像块率失真值,可以包括以下步骤:
第一步,基于上述待编码图像块组,对上述参考视频图像进行搜索处理,得到图像搜索单元序列。其中,基于上述待编码图像块组,可以通过预设的搜索算法,对上述参考视频图像进行搜索处理,得到图像搜索单元序列。上述图像搜索单元序列中的每个图像搜索单元可以是一个像素矩阵。
作为示例,上述预设的搜索算法可以是但不限于以下至少一项:全搜索算法、二维对数搜索算法或三步搜索算法。
第二步,基于上述图像搜索单元序列,确定上述待编码图像块组集中每个待编码图像块对应的图像块残差信息,得到图像块残差信息组集。
第三步,基于上述图像块残差信息组集,确定上述待编码图像块组集中每个待编码图像块组对应的图像块率失真值,得到图像块率失真值集。
在一些实施例的一些可选的实现方式中,上述执行主体基于上述图像搜索单元序列,确定上述待编码图像块组集中每个待编码图像块对应的图像块残差信息,可以包括以下步骤:
第一步,基于上述图像搜索单元序列中的每个图像搜索单元,对上述待编码图像块进行搜索处理,以生成初始图像块搜索信息,得到初始图像块搜索信息序列,以及将上述初始图像块搜索信息序列存储至存储终端。其中,上述基于上述图像搜索单元序列中的每个图像搜索单元,对上述待编码图像块进行搜索处理,以生成初始图像块搜索信息,可以是:首先,对于上述待编码图像块中的每个待编码图像像素值,可以将上述图像搜索单元中与上述待编码图像像素值的像素坐标相同的图像搜索像素值、和上述待编码图像像素值的差值、确定为初始图像残差值。接着,可以将所确定的各个初始图像残差值确定为初始图像残差值集。然后,可以将上述待编码图像块与上述图像搜索单元的运动矢量,确定为初始图像运动向量。最后,将上述初始图像残差值集和上述初始图像运动向量确定为上述初始图像块搜索信息包括的初始图像残差值集和初始图像运动向量。上述初始图像块搜索信息序列可以是以树形结构存储的。上述存储终端可以是用于存储上述初始图像块搜索信息序列的终端。
第二步,确定初始图像块搜索信息序列中每个初始图像块搜索信息对应的初始图像失真值,得到初始图像失真值序列。其中,可以基于预设的失真值生成函数,确定初始图像块搜索信息序列中每个初始图像块搜索信息包括的初始图像残差值集对应的初始图像失真值。
作为示例,上述预设的失真值生成函数可以是但不限于以下至少一项:MSE(MeanSquared Error,均方误差)函数、SAD(Sum of Absolute Differences,绝对值误差和)函数或SATD(Sum of Absolute Transformed Difference,频域变换绝对值误差和)。
第三步,将上述初始图像块搜索信息序列中、与上述初始图像失真值序列中最小的初始图像失真值、对应的初始图像块搜索信息确定为上述图像块残差信息。
在一些实施例的一些可选的实现方式中,上述执行主体基于上述图像块残差信息组集,确定上述待编码图像块组集中每个待编码图像块组对应的图像块率失真值,可以包括以下步骤:
第一步,将上述待编码图像块组中各个待编码图像块组对应的初始图像失真值的和确定为待编码图像失真总值。
第二步,对上述待编码图像块组中的各个待编码图像块进行编码处理,得到图像码字长度值。其中,可以通过上述预设的视频编码标准,对上述待编码图像块组中的各个待编码图像块进行编码处理,得到图像码字长度值。
第三步,将上述图像码字长度值与上述待编码图像块组中待编码图像块的数量的和,确定为初始图像码率值。
第四步,将预设的编码系数值与上述初始图像码率值的乘积,确定为目标图像码率值。
第五步,将上述待编码图像失真总值和上述目标图像码率值的和,确定为上述图像块率失真值。
在一些实施例的一些可选的实现方式中,上述预设的编码系数值可以是通过以下步骤生成的:
第一步,获取样本待编码单元集和初始编码率失真函数。其中,可以从上述摄像机上获取上述样本待编码单元集,以及从函数生成终端上获取上述样本编码系数值集。上述样本待编码单元集中的每个样本待编码单元可以是上述摄像机拍摄的视频中随机选取的一帧图像中的一个编码单元。上述初始编码率失真函数可以包括但不限于以下至少一项:初始编码系数。上述初始编码系数可以是一个未知数。上述函数生成终端可以是用于生成上述初始编码率失真函数的终端。
作为示例,上述样本待编码单元集中的每个样本待编码单元可以是一个CU(coding unit,编码单元)。
第二步,对样本待编码单元集中的每个样本待编码单元进行划分处理以生成样本待编码叶子单元组,得到样本待编码叶子单元组集。其中,可以通过预设的遍历算法,对上述样本待编码单元集中的每个样本待编码单元进行划分处理以生成样本待编码叶子单元组。
作为示例,上述预设的遍历算法可以是后序遍历算法。
第三步,确定上述样本待编码叶子单元组集中每个样本待编码叶子单元组对应的第一样本率失真值,得到第一样本率失真值集。其中,可以通过上述预设的率失真函数,确定上述样本待编码叶子单元组集中每个样本待编码叶子单元组对应的第一样本率失真值,得到第一样本率失真值集。
作为示例,上述预设的率失真函数可以是但不限于以下至少一项:Psycho-visualRate Distortion(心理视觉率失真)函数或SSIM RD(Structural Similarity Indexmeasure Rate Distortion,结构相似性指数率失真)函数。
第四步,基于上述初始编码率失真函数,确定上述样本待编码叶子单元组集中每个样本待编码叶子单元组对应的第二样本率失真方程,得到第二样本率失真方程集。其中,对于上述样本编码系数值集中的每个样本编码系数值,可以基于上述样本编码系数值,确定上述样本待编码叶子单元组集中、与上述样本编码系数值对应的样本待编码叶子单元、对应的第二样本率失真值。这里,生成上述第二样本率失真值的具体实现及其所带来的技术效果,可以参考上述实施例中的步骤104,在此不再赘述。
第五步,基于上述第一样本率失真值集,对上述第二样本率失真值集进行求解处理,得到上述编码系数值。其中,可以通过预设的求解算法,基于上述第一样本率失真值集,对上述第二样本率失真值集进行求解处理,得到上述编码系数值。
作为示例,上述预设的求解算法,可以是最小二乘法。
由此,上述确定图像块率失真值的相关内容,可以通过对比现有方式和本发明所采用的方式得到的率失真值,确定最优的编码系数值。然后依据最优的编码系数值,确定划分后的待编码图像块组的率失真值,以便从各个划分模式信息中选取最优的划分模式信息。因此,可以提高率失真值的准确度,从而,可以提高编码单元划分的准确度,进而,可以提高视频编码的准确度。
可选地,上述执行主体还可以执行以下步骤:
第一步,获取第二初始划分模式信息组集。其中,上述第一初始划分模式信息集中的每个第一初始划分模式信息与上述第二初始划分模式信息组集中的第二初始划分模式信息组一一对应。上述第二初始划分模式信息组集中的每个第二初始划分模式信息可以表征在上述预设的视频编码标准中、对一个待编码图像块的一种块划分方式。
第二步,基于上述第二初始划分模式信息组集,对上述待编码图像块组集中的每个待编码图像块进行划分处理以生成待编码图像子块簇,得到待编码图像子块簇组集。其中,可以通过上述预设的视频编码标准,基于上述第二初始划分模式信息组集,对上述待编码图像块组集中的每个待编码图像块进行划分处理以生成待编码图像子块簇。
第三步,基于上述参考视频图像,确定上述待编码图像子块簇组集中每个待编码图像子块簇对应的图像子块率失真值,得到图像子块率失真值组集。其中,确定上述图像子块率失真值组集的具体实现及其所带来的技术效果,可以参考上述实施例中的步骤104,在此不再赘述。
第四步,将上述第二初始划分模式信息组集中与上述待编码叶子单元划分信息对应的第二初始划分模式信息组、确定为第二目标划分模式信息组。
第五步,将上述图像子块率失真值组集中、与上述第二目标划分模式信息组中各个第二目标划分模式信息对应的、各个图像子块率失真值确定为目标图像子块率失真值集。
第六步,将上述第二目标划分模式信息组中、与上述标图像子块率失真值集中最小的目标图像子块率失真值集对应的第二目标划分模式信息、添加至上述待编码叶子单元划分信息。其中,可以将上述第二目标划分模式信息组中、与上述标图像子块率失真值集中最小的目标图像子块率失真值集对应的第二目标划分模式信息,确定为上述待编码叶子单元划分信息包括的第二目标划分模式信息。
步骤104的相关内容作为本公开的实施例的一个发明点,解决了背景技术提及的技术问题二“视频编码的效率降低”。其中,导致了视频编码的效率降低的因素往往如下:遍历视频图像中每个待编码的编码单元的方式,需要顺序或者并行的遍历每一个编码方式,而每个单独的编码方式,都需要遍历所有的子块的尺寸,在顺序编码的过程中,会导致视频编码延时的增加,在并行编码的过程中,会导致芯片的面积和成本增加,若仅根据形状删减划分模式,则难以在芯片面积成本和延时上达到一个最优的平衡。如果解决了上述因素,就能达到提高视频编码的效率的效果。为了达到这一效果,本公开可以通过预设的对应待编码图像叶子单元的各种第一划分方式,对上述待编码图像叶子单元划分,得到各个待编码图像块。然后对于每个各个待编码图像块,可以通过预设的对应待编码图像块的各种第二划分方式,对上述待编码图像块划分,得到各个难以继续划分的编码图像子块(例如,尺寸为8×8的编码单元)。接着,可以确定在各种第一划分方式和各种第二划分方式下,待编码图像叶子单元对应的各个率失真值,然后根据各个率失真值,确定采用的第一划分方式和第二划分方式。由此,可以同时确定待编码图像叶子单元对应的第一划分方式、和划分后的各个待编码图像块对应的各个第二划分方式,以便并行地对各个待编码单元进行编码,从而,可以减少对编码单元划分的时间,进而,可以提高视频编码的效率。
步骤105,基于待编码叶子单元划分信息组集,对待编码视频图像进行编码处理,得到视频编码信息。
在一些实施例中,上述执行主体可以基于上述待编码叶子单元划分信息组集,对上述待编码视频图像进行编码处理,得到视频编码信息。其中,可以通过上述预设的视频编码标准,基于上述待编码叶子单元划分信息组集,对上述待编码视频图像进行编码处理,得到视频编码信息。
本公开的上述各个实施例具有如下有益效果:通过本公开的一些实施例的视频编码方法,可以提高视频编码的效率。具体来说,造成视频编码的效率降低的原因在于:遍历视频图像中每个待编码的编码单元的方式,需要在确定当前编码单元的划分模式后,才能确定下一个编码单元的划分模式。基于此,本公开的一些实施例的视频编码方法,首先,获取待编码视频图像。其次,对上述待编码视频图像进行第一拆分处理,得到待编码图像树单元集。由此,可以将待编码图像划分为可编码的树编码单元。然后,基于预设的拆分尺寸,对上述待编码图像树单元集中的每个待编码图像树单元进行第二拆分处理以生成待编码图像叶子单元组,得到待编码图像叶子单元组集。由此,可以将上述可编码的树编码单元,划分为各个最大尺寸(例如,32×32)的待编码图像叶子单元。接着,对上述待编码图像叶子单元组集中的每个待编码图像叶子单元进行划分处理以生成待编码叶子单元划分信息,得到待编码叶子单元划分信息组集。由此,可以分别确定每个最大尺寸的待编码图像叶子单元的划分模式,以得到整个待编码视频图像的划分模式。最后,基于上述待编码叶子单元划分信息组集,对上述待编码视频图像进行编码处理,得到视频编码信息。由此,可以根据各个待编码图像叶子单元的划分模式信息,进行视频编码。因此,本公开的一些视频编码方法,可以按照预设的拆分尺寸,得到可划分的最大尺寸的待编码叶子单元,然后,可以同时对各个最大尺寸的待编码叶子单元进行划分,以确定待编码图像的划分模式信息,从而,可以减少确定编码单元的划分模式的时间,进而,可以提高视频编码的效率。
进一步参考图2,作为对上述各图所示方法的实现,本公开提供了一种视频编码装置的一些实施例,这些装置实施例与图1所示的那些方法实施例相对应,该视频编码装置具体可以应用于各种电子设备中。
如图2所示,一些实施例的视频编码装置200包括:获取单元201、第一拆分单元202、第二拆分单元203、划分单元204和编码单元205。其中,获取单元201,被配置成获取待编码视频图像;第一拆分单元202,被配置成对上述待编码视频图像进行第一拆分处理,得到待编码图像树单元集;第二拆分单元203,被配置成基于预设的拆分尺寸,对上述待编码图像树单元集中的每个待编码图像树单元进行第二拆分处理以生成待编码图像叶子单元组,得到待编码图像叶子单元组集;划分单元204,被配置成对上述待编码图像叶子单元组集中的每个待编码图像叶子单元进行划分处理以生成待编码叶子单元划分信息,得到待编码叶子单元划分信息组集;编码单元205,被配置成基于上述待编码叶子单元划分信息组集,对上述待编码视频图像进行编码处理,得到视频编码信息。
可以理解的是,该视频编码装置200中记载的诸单元与参考图1描述的视频编码方法中的各个步骤相对应。由此,上文针对视频编码方法描述的操作、特征以及产生的有益效果同样适用于视频编码装置200及其中包含的单元,在此不再赘述。
下面参考图3,其示出了适于用来实现本公开的一些实施例的电子设备300的结构示意图。本公开的一些实施例中的电子设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图3示出的终端设备仅仅是一个示例,不应对本公开的实施例的功能和使用范围带来任何限制。
如图3所示,电子设备300可以包括处理装置(例如中央处理器、图形处理器等)301,其可以根据存储在只读存储器(ROM)302中的程序或者从存储装置308加载到随机访问存储器(RAM)303中的程序而执行各种适当的动作和处理。在RAM 303中,还存储有电子设备300操作所需的各种程序和数据。处理装置301、ROM 302以及RAM 303通过总线304彼此相连。输入/输出(I/O)接口305也连接至总线304。
通常,以下装置可以连接至I/O接口305:包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置306;包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置307;包括例如磁带、硬盘等的存储装置308;以及通信装置309。通信装置309可以允许电子设备300与其他设备进行无线或有线通信以交换数据。虽然图3示出了具有各种装置的电子设备300,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。图3中示出的每个方框可以代表一个装置,也可以根据需要代表多个装置。
特别地,根据本公开的一些实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的一些实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的一些实施例中,该计算机程序可以通过通信装置309从网络上被下载和安装,或者从存储装置308被安装,或者从ROM 302被安装。在该计算机程序被处理装置301执行时,执行本公开的一些实施例的方法中限定的上述功能。
需要说明的是,本公开的一些实施例中记载的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开的一些实施例中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开的一些实施例中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
在一些实施方式中,客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol,超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信,并且可以与任意形式或介质的数字数据通信(例如,通信网络)互连。通信网络的示例包括局域网(“LAN”),广域网(“WAN”),网际网(例如,互联网)以及端对端网络(例如,ad hoc端对端网络),以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备:获取待编码视频图像;对上述待编码视频图像进行第一拆分处理,得到待编码图像树单元集;基于预设的拆分尺寸,对上述待编码图像树单元集中的每个待编码图像树单元进行第二拆分处理以生成待编码图像叶子单元组,得到待编码图像叶子单元组集;对上述待编码图像叶子单元组集中的每个待编码图像叶子单元进行划分处理以生成待编码叶子单元划分信息,得到待编码叶子单元划分信息组集;基于上述待编码叶子单元划分信息组集,对上述待编码视频图像进行编码处理,得到视频编码信息。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的一些实施例的操作的计算机程序代码,上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开的一些实施例中的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中,例如,可以描述为:一种处理器包括获取单元、第一拆分单元、第二拆分单元、划分单元和编码单元。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定,例如,获取单元还可以被描述为“获取待编码视频图像的单元”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如,非限制性地,可以使用的示范类型的硬件逻辑部件包括:现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
以上描述仅为本公开的一些较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开的实施例中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开的实施例中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (8)
1.一种视频编码方法,包括:
获取待编码视频图像;
对所述待编码视频图像进行第一拆分处理,得到待编码图像树单元集,其中,所述待编码图像树单元集中的每个待编码图像树单元是一个树形结构的根节点;
基于预设的拆分尺寸,对所述待编码图像树单元集中的每个待编码图像树单元进行第二拆分处理以生成待编码图像叶子单元组,得到待编码图像叶子单元组集;
对所述待编码图像叶子单元组集中的每个待编码图像叶子单元进行划分处理以生成待编码叶子单元划分信息,得到待编码叶子单元划分信息组集;
基于所述待编码叶子单元划分信息组集,对所述待编码视频图像进行编码处理,得到视频编码信息;
其中,所述对所述待编码图像叶子单元组集中的每个待编码图像叶子单元进行划分处理,包括:
通过预设的对应待编码图像叶子单元的各种第一划分方式,对所述待编码图像叶子单元划分,得到各个待编码图像块;
对于每个待编码图像块,可以通过预设的对应待编码图像块的各种第二划分方式,对所述待编码图像块划分,得到各个难以继续划分的编码图像子块;
确定在各种第一划分方式和各种第二划分方式下,待编码图像叶子单元对应的各个率失真值;
根据各个率失真值,确定采用的第一划分方式和第二划分方式。
2.根据权利要求1所述的方法,其中,所述对所述待编码图像叶子单元组集中的每个待编码图像叶子单元进行划分处理以生成待编码叶子单元划分信息,包括:
获取参考视频图像和第一初始划分模式信息集;
基于所述第一初始划分模式信息集,对所述待编码图像叶子单元进行初始划分处理,得到待编码图像块组集,其中,所述第一初始划分模式信息集中的第一初始划分模式信息和所述待编码图像块组集中的待编码图像块组一一对应;
基于所述参考视频图像,确定所述待编码图像块组集中每个待编码图像块组对应的图像块率失真值,得到图像块率失真值集;
将所述第一初始划分模式信息集中、与所述图像块率失真值集中最小的图像块率失真值对应的第一初始划分模式信息、确定为所述待编码叶子单元划分信息。
3.根据权利要求2所述的方法,其中,所述方法还包括:
获取第二初始划分模式信息组集,其中,所述第一初始划分模式信息集中的每个第一初始划分模式信息与所述第二初始划分模式信息组集中的第二初始划分模式信息组一一对应;
基于所述第二初始划分模式信息组集,对所述待编码图像块组集中的每个待编码图像块进行划分处理以生成待编码图像子块簇,得到待编码图像子块簇组集;
基于所述参考视频图像,确定所述待编码图像子块簇组集中每个待编码图像子块簇对应的图像子块率失真值,得到图像子块率失真值组集;
将所述第二初始划分模式信息组集中与所述待编码叶子单元划分信息对应的第二初始划分模式信息组、确定为第二目标划分模式信息组;
将所述图像子块率失真值组集中、与所述第二目标划分模式信息组中各个第二目标划分模式信息对应的、各个图像子块率失真值确定为目标图像子块率失真值集;
将所述第二目标划分模式信息组中、与所述标图像子块率失真值集中最小的目标图像子块率失真值集对应的第二目标划分模式信息、添加至所述待编码叶子单元划分信息。
4.根据权利要求2所述的方法,其中,所述基于所述参考视频图像,确定所述待编码图像块组集中每个待编码图像块组对应的图像块率失真值,包括:
基于所述待编码图像块组,对所述参考视频图像进行搜索处理,得到图像搜索单元序列;
基于所述图像搜索单元序列,确定所述待编码图像块组集中每个待编码图像块对应的图像块残差信息,得到图像块残差信息组集;
基于所述图像块残差信息组集,确定所述待编码图像块组集中每个待编码图像块组对应的图像块率失真值,得到图像块率失真值集。
5.根据权利要求4所述的方法,其中,所述基于所述图像搜索单元序列,确定所述待编码图像块组集中每个待编码图像块对应的图像块残差信息,包括:
基于所述图像搜索单元序列中的每个图像搜索单元,对所述待编码图像块进行搜索处理,以生成初始图像块搜索信息,得到初始图像块搜索信息序列,以及将所述初始图像块搜索信息序列存储至存储终端;
确定初始图像块搜索信息序列中每个初始图像块搜索信息对应的初始图像失真值,得到初始图像失真值序列;
将所述初始图像块搜索信息序列中、与所述初始图像失真值序列中最小的初始图像失真值、对应的初始图像块搜索信息确定为所述图像块残差信息。
6.一种视频编码装置,包括:
获取单元,被配置成获取待编码视频图像;
第一拆分单元,被配置成对所述待编码视频图像进行第一拆分处理,得到待编码图像树单元集;
第二拆分单元,被配置成基于预设的拆分尺寸,对所述待编码图像树单元集中的每个待编码图像树单元进行第二拆分处理以生成待编码图像叶子单元组,得到待编码图像叶子单元组集;
划分单元,被配置成对所述待编码图像叶子单元组集中的每个待编码图像叶子单元进行划分处理以生成待编码叶子单元划分信息,得到待编码叶子单元划分信息组集;
编码单元,被配置成基于所述待编码叶子单元划分信息组集,对所述待编码视频图像进行编码处理,得到视频编码信息;
其中,所述对所述待编码图像叶子单元组集中的每个待编码图像叶子单元进行划分处理,包括:
通过预设的对应待编码图像叶子单元的各种第一划分方式,对所述待编码图像叶子单元划分,得到各个待编码图像块;
对于每个待编码图像块,可以通过预设的对应待编码图像块的各种第二划分方式,对所述待编码图像块划分,得到各个难以继续划分的编码图像子块;
确定在各种第一划分方式和各种第二划分方式下,待编码图像叶子单元对应的各个率失真值;
根据各个率失真值,确定采用的第一划分方式和第二划分方式。
7.一种电子设备,包括:
一个或多个处理器;
存储装置,其上存储有一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-5中任一所述的方法。
8.一种计算机可读介质,其上存储有计算机程序,其中,所述计算机程序被处理器执行时实现如权利要求1-5中任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311092186.3A CN116828180B (zh) | 2023-08-29 | 2023-08-29 | 视频编码方法、装置、电子设备和计算机可读介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311092186.3A CN116828180B (zh) | 2023-08-29 | 2023-08-29 | 视频编码方法、装置、电子设备和计算机可读介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116828180A CN116828180A (zh) | 2023-09-29 |
CN116828180B true CN116828180B (zh) | 2023-11-17 |
Family
ID=88124352
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311092186.3A Active CN116828180B (zh) | 2023-08-29 | 2023-08-29 | 视频编码方法、装置、电子设备和计算机可读介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116828180B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108668136A (zh) * | 2017-03-28 | 2018-10-16 | 华为技术有限公司 | 图像编/解码方法、视频编/解码器及视频编解码系统 |
CN110832869A (zh) * | 2019-01-02 | 2020-02-21 | 深圳市大疆创新科技有限公司 | 用于视频编码或解码的运动信息获取方法与装置 |
WO2020114394A1 (zh) * | 2018-12-04 | 2020-06-11 | 华为技术有限公司 | 视频编解码方法、视频编码器和视频解码器 |
CN111950587A (zh) * | 2020-07-02 | 2020-11-17 | 北京大学深圳研究生院 | 帧内编码块划分处理方法和硬件装置 |
CN114567775A (zh) * | 2022-04-29 | 2022-05-31 | 中国科学技术大学 | 图像划分方法和装置 |
-
2023
- 2023-08-29 CN CN202311092186.3A patent/CN116828180B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108668136A (zh) * | 2017-03-28 | 2018-10-16 | 华为技术有限公司 | 图像编/解码方法、视频编/解码器及视频编解码系统 |
WO2020114394A1 (zh) * | 2018-12-04 | 2020-06-11 | 华为技术有限公司 | 视频编解码方法、视频编码器和视频解码器 |
CN110832869A (zh) * | 2019-01-02 | 2020-02-21 | 深圳市大疆创新科技有限公司 | 用于视频编码或解码的运动信息获取方法与装置 |
CN111950587A (zh) * | 2020-07-02 | 2020-11-17 | 北京大学深圳研究生院 | 帧内编码块划分处理方法和硬件装置 |
CN114567775A (zh) * | 2022-04-29 | 2022-05-31 | 中国科学技术大学 | 图像划分方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN116828180A (zh) | 2023-09-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110413812B (zh) | 神经网络模型的训练方法、装置、电子设备及存储介质 | |
RU2618905C1 (ru) | Способ и устройство для кодирования и декодирования коэффициентов преобразования | |
CN113436620B (zh) | 语音识别模型的训练方法、语音识别方法、装置、介质及设备 | |
CN113327599B (zh) | 语音识别方法、装置、介质及电子设备 | |
US20240089428A1 (en) | Screen content processing method and apparatus, and device | |
CN111325096B (zh) | 直播流采样方法、装置及电子设备 | |
CN112153415B (zh) | 一种视频转码方法、装置、设备及存储介质 | |
CN114861790B (zh) | 联邦学习压缩通信的优化方法、系统及装置 | |
CN112714273A (zh) | 屏幕共享显示方法、装置、设备及存储介质 | |
CN112203085A (zh) | 图像处理方法、装置、终端和存储介质 | |
CN111385576B (zh) | 视频编码方法、装置、移动终端及存储介质 | |
CN112203086B (zh) | 图像处理方法、装置、终端和存储介质 | |
CN114067327A (zh) | 文本识别方法、装置、可读介质及电子设备 | |
CN116828180B (zh) | 视频编码方法、装置、电子设备和计算机可读介质 | |
CN115103191A (zh) | 图像处理方法、装置、设备及存储介质 | |
CN110209851B (zh) | 模型训练方法、装置、电子设备及存储介质 | |
CN112488947A (zh) | 模型训练和图像处理方法、装置、设备和计算机可读介质 | |
CN111680754A (zh) | 图像分类方法、装置、电子设备及计算机可读存储介质 | |
CN110290381A (zh) | 视频质量评估方法、装置、电子设备及计算机存储介质 | |
WO2023169303A1 (zh) | 编解码方法、装置、设备、存储介质及计算机程序产品 | |
CN113435528B (zh) | 对象分类的方法、装置、可读介质和电子设备 | |
CN116760992B (zh) | 视频编码、认证、加密和传输方法、装置、设备和介质 | |
WO2024067777A1 (zh) | 编码、解码方法、编码装置、解码装置、电子设备和存储介质 | |
CN116958282A (zh) | 图像压缩方法、装置、设备及存储介质 | |
CN116934878A (zh) | 压缩标注图像的获取方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |