CN117014610A - 基于多任务学习的h.266vvc屏幕内容帧内cu快速划分方法及装置 - Google Patents
基于多任务学习的h.266vvc屏幕内容帧内cu快速划分方法及装置 Download PDFInfo
- Publication number
- CN117014610A CN117014610A CN202311280429.6A CN202311280429A CN117014610A CN 117014610 A CN117014610 A CN 117014610A CN 202311280429 A CN202311280429 A CN 202311280429A CN 117014610 A CN117014610 A CN 117014610A
- Authority
- CN
- China
- Prior art keywords
- prediction result
- prediction
- partition type
- network
- cus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000005192 partition Methods 0.000 claims description 167
- 230000004044 response Effects 0.000 claims description 45
- 238000000638 solvent extraction Methods 0.000 claims description 45
- 230000008569 process Effects 0.000 claims description 28
- 238000012549 training Methods 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 10
- 238000011176 pooling Methods 0.000 claims description 7
- 210000002569 neuron Anatomy 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 7
- 230000008094 contradictory effect Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/96—Tree coding, e.g. quad-tree coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了一种基于多任务学习的H.266VVC屏幕内容帧内CU快速划分方法及装置，涉及视频编码领域，该方法包括：获取屏幕内容视频，将128×128大小的CTU直接划分为64×64大小的CU；构建多任务学习网络模型，多任务学习网络模型包括主干网络、第一子网络和第二子网络，主干网络用于提取CU特征，将CU特征输入第一子网络和第二子网络，得到CU划分类型和编码模式，可结合编码模式及其预测概率和临近CU的划分类型综合确定预测结果；将64×64大小的CU输入经训练的多任务学习网络模型，得到第一预测结果；若第一预测结果为划分，则进一步划分为4个32×32大小的CU，并输入经训练的多任务学习网络模型，得到第二预测结果，解决H.266VVC屏幕内容帧内编码复杂度高的问题。
Description
技术领域
本发明涉及视频编码领域，具体涉及一种基于多任务学习的H.266VVC屏幕内容帧内CU快速划分方法及装置。
背景技术
随着多媒体通信技术和视频终端设备的快速发展，对屏幕视频编码技术提出了更高的要求。由于H.265/HEVC-SCC已不能满足超高清屏幕视频压缩性能要求，运动图像专家组（MPEG）和视频编码专家组（VCEG）成立了JVET，制定了新一代视频编码标准H.266VVC，并且在H.266VVC的早期版本中就加入了针对屏幕内容视频的编码技术。
相比于H.265/HEVC-SCC，H.266VVC取得较高的编码效率。H.266VVC增加了四种CU划分方式，包括水平二叉树，水平三叉树，垂直二叉树，垂直三叉树，CU面临6种选择，标准编码器需要将5781种可能都执行一次，并记录其代价，最终比较哪种组合的代价最小，作为最终的划分结果。此外，H.266VVC还针对屏幕内容视频引入了新的编码技术，如IBC和PLT编码模式，这两种编码模式同时影响着CU的划分方式。H.266VVC中灵活的CU划分方式和特殊的编码模式，显著提升了编码性能，但同时增加巨额计算复杂度。
因此，如何在保持H.266VVC编码性能前提下，有效降低屏幕内容编码复杂度，成为H.266VVC迫切需要解决的问题。
发明内容
针对上述提到H.266VVC屏幕内容帧内编码复杂度高的技术问题。本申请的实施例的目的在于提出了一种基于多任务学习的H.266VVC屏幕内容帧内CU快速划分方法及装置，来解决以上背景技术部分提到的技术问题，利用编码模式信息辅助决策CU划分类型，实现在几乎不影响编码效率的情况下有效降低编码器计算复杂度。
第一方面，本发明提供了一种基于多任务学习的H.266VVC屏幕内容帧内CU快速划分方法，包括以下步骤：
获取屏幕内容视频，采用标准编码器对屏幕内容视频进行编码，将128×128大小的编码树单元CTU直接划分为64×64大小的编码单元CU；
构建多任务学习网络模型并训练，得到经训练的多任务学习网络模型，多任务学习网络模型包括主干网络、第一子网络和第二子网络，第一子网络和第二子网络分别与主干网络连接，主干网络用于提取CU特征，将CU特征输入第一子网络，预测得到CU划分类型及其对应的预测概率，将CU特征输入第二子网络中，预测得到编码模式及其对应的预测概率，将CU划分类型作为预测结果或者根据CU划分类型及其对应的预测概率、编码模式及其对应的预测概率和临近CU的划分类型综合确定预测结果；
在标准编码器的编码过程中，调用经训练的多任务学习网络模型，将64×64大小的CU输入经训练的多任务学习网络模型，得到第一预测结果，根据第一预测结果进行CU划分；响应于确定第一预测结果为划分，则将64×64大小的CU划分为4个32×32大小的CU，将32×32大小的CU输入经训练的多任务学习网络模型，得到第二预测结果，根据第二预测结果进行CU划分。
作为优选，主干网络包括依次连接的第一卷积层、第二卷积层、第一池化层、第三卷积层、第四卷积层、第二池化层，第一卷积层、第二卷积层、第三卷积层、第四卷积层的卷积核大小均为3×3，步长为1，填充为1，通道数分别为64、64、128、128。
作为优选，第一子网络包括依次连接的第五卷积层、第六卷积层和三个第一全连接层，第五卷积层和第六卷积层的卷积核大小均为1×1，步长为1，填充为1，通道数分别为256、256，3个第一全连接层的神经元数分别为16384、512、2或者6，dropout比率为0.3。
作为优选，第二子网络包括依次连接的第七卷积层、第八卷积层和三个第二全连接层，第七卷积层和第八卷积层的卷积核大小均为1×1，步长为1，填充为1，通道数分别为256、256，3个第二全连接层的神经元数分别为16384、512、4，dropout比率为0.25。
作为优选，根据第一预测结果进行CU划分，具体包括：
响应于确定第一预测结果的CU划分类型为不划分，则终止率失真优化搜索过程；
响应于确定第一预测结果的CU划分类型为划分，则将64×64大小的CU划分为4个32×32大小的CU；
根据第二预测结果进行CU划分，具体包括：
响应于确定第二预测结果的CU划分类型为不划分，则终止率失真优化搜索过程；
响应于确定第二预测结果的CU划分类型为四叉树划分，则得到4个16×16大小的CU；
响应于确定第二预测结果的CU划分类型为水平二叉树划分，则得到2个16×32大小的CU；
响应于确定第二预测结果的CU划分类型为垂直二叉树划分，则得到2个32×16大小的CU；
响应于确定第二预测结果的CU划分类型为水平三叉树划分，则得到2个8×32大小的CU和1个16×32大小的CU；
响应于确定第二预测结果的CU划分类型为垂直三叉树划分，则得到2个32×8大小的CU和1个32×16大小的CU。
作为优选，将CU划分类型作为预测结果或者根据CU划分类型及其对应的预测概率、编码模式及其对应的预测概率和临近CU的划分类型综合确定预测结果，具体包括：
响应于确定不存在CU划分类型和编码模式相矛盾的情况，则将CU划分类型作为预测结果；
响应于确定存在CU划分类型和编码模式相矛盾的情况，则根据CU划分类型及其对应的预测概率、编码模式及其对应的预测概率和临近CU的划分类型进行联合判断，确定预测结果，具体包括：
响应于确定CU划分类型为不划分，编码模式为不分配模式，则根据编码模式对应的预测概率进行判断，判断编码模式的预测概率是否大于阈值且大于CU划分类型对应的预测概率，并且此CU的左边和上方CU都进行划分，若是选择预测概率最大的CU划分类型作为预测结果，否则预测结果中的CU划分类型为不划分；
响应于确定CU划分类型为划分，编码模式为除不分配模式以外的其他模式，判断CU划分类型对应的预测概率是否大于阈值且大于编码模式对应的预测概率，若是则预测结果中的CU划分类型为划分，否则预测结果中的CU划分类型为划分。
作为优选，多任务学习网络模型的训练过程中所采用的损失函数如下式所示：
；
其中，表示主任务CU划分的权重，/>表示辅助任务编码模式的权重，/>表示CU划分类型/>所占的比例，CU划分类型/>对应数值为不同尺寸CU的标签0，1或0，1，2，3，4，5，表示CU划分类型/>对应的预测概率；/>表示编码模式/>所占的比例，编码模式/>对应数值为CU的编码模式标签0，1，2，3，/>表示编码模式/>对应的预测概率，/>表示训练样本的批次数。
第二方面，本发明提供了一种基于多任务学习的H.266VVC屏幕内容帧内CU快速划分装置，包括：
编码模块，被配置为获取屏幕内容视频，采用标准编码器对屏幕内容视频进行编码，将128×128大小的编码树单元CTU直接划分为64×64大小的编码单元CU；
模型构建模块，被配置为构建多任务学习网络模型并训练，得到经训练的多任务学习网络模型，多任务学习网络模型包括主干网络、第一子网络和第二子网络，第一子网络和第二子网络分别与主干网络连接，主干网络用于提取CU特征，将CU特征输入第一子网络，预测得到CU划分类型及其对应的预测概率，将CU特征输入第二子网络中，预测得到编码模式及其对应的预测概率，将CU划分类型作为预测结果或者根据CU划分类型及其对应的预测概率、编码模式及其对应的预测概率和临近CU的划分类型综合确定预测结果；
预测模块，被配置为在标准编码器的编码过程中，调用经训练的多任务学习网络模型，将64×64大小的CU输入经训练的多任务学习网络模型，得到第一预测结果，根据第一预测结果进行CU划分；响应于确定第一预测结果为划分，则将64×64大小的CU划分为4个32×32大小的CU，将32×32大小的CU输入经训练的多任务学习网络模型，得到第二预测结果，根据第二预测结果进行CU划分。
第三方面，本发明提供了一种电子设备，包括一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面中任一实现方式描述的方法。
第四方面，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面中任一实现方式描述的方法。
相比于现有技术，本发明具有以下有益效果：
（1）本发明提出的基于多任务学习的H.266VVC屏幕内容帧内CU快速划分方法通过多任务学习网络模型预测CU划分。挖掘编码模式和 CU划分之间的相关性，利用编码模式监督CU划分，有效提高预测的准确率，可以跳过一些不必要的代价计算，在几乎不影响编码效率和视频质量的情况下，极大地降低了编码复杂度。
（2）本发明提出的基于多任务学习的H.266VVC屏幕内容帧内CU快速划分方法的多任务学习网络模型通过主干网络提取CU特征，再分别采用第一子网络和第二子网络预测CU划分类型和编码方式，并且在CU划分类型和编码方式两个结果出现冲突时结合预测概率和临近CU的划分类型联合判断确定最终的CU划分类型，保证预测结果的准确性。
（3）本发明提出的基于多任务学习的H.266VVC屏幕内容帧内CU快速划分方法的多任务学习网络模型中采用池化层和1×1卷积，运算时间较快，便于在便携式设备上进行部署。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请的一个实施例可以应用于其中的示例性装置架构图；
图2为本申请的实施例的基于多任务学习的H.266VVC屏幕内容帧内CU快速划分方法的流程示意图；
图3为本申请的实施例的基于多任务学习的H.266VVC屏幕内容帧内CU快速划分方法的多任务学习网络模型的结构示意图；
图4为本申请的实施例的基于多任务学习的H.266VVC屏幕内容帧内CU快速划分方法的编码过程示意图；
图5为本申请的实施例的基于多任务学习的H.266VVC屏幕内容帧内CU快速划分装置的示意图；
图6是适于用来实现本申请实施例的电子设备的计算机装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
图1示出了可以应用本申请实施例的基于多任务学习的H.266VVC屏幕内容帧内CU快速划分方法或基于多任务学习的H.266VVC屏幕内容帧内CU快速划分装置的示例性装置架构100。
如图1所示，装置架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种应用，例如数据处理类应用、文件处理类应用等。
终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块（例如用来提供分布式服务的软件或软件模块），也可以实现成单个软件或软件模块。在此不做具体限定。
服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上传的文件或数据进行处理的后台数据处理服务器。后台数据处理服务器可以对获取的文件或数据进行处理，生成处理结果。
需要说明的是，本申请实施例所提供的基于多任务学习的H.266VVC屏幕内容帧内CU快速划分方法可以由服务器105执行，也可以由终端设备101、102、103执行，相应地，基于多任务学习的H.266VVC屏幕内容帧内CU快速划分装置可以设置于服务器105中，也可以设置于终端设备101、102、103中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。在所处理的数据不需要从远程获取的情况下，上述装置架构可以不包括网络，而只需服务器或终端设备。
图2示出了本申请的实施例提供的一种基于多任务学习的H.266VVC屏幕内容帧内CU快速划分方法，包括以下步骤：
S1，获取屏幕内容视频，采用标准编码器对屏幕内容视频进行编码，将128×128大小的编码树单元CTU直接划分为64×64大小的编码单元CU。
具体的，在标准编码器的编码过程中，首先将128×128大小的CTU直接划分为64×64大小的CU，而后再采用基于神经网络的划分方式对后续64×64大小的CU和32×32大小的CU的划分类型进行预测，可极大地减低编码复杂度。具体的神经网络结构在后续进行说明。
S2，构建多任务学习网络模型并训练，得到经训练的多任务学习网络模型，多任务学习网络模型包括主干网络、第一子网络和第二子网络，第一子网络和第二子网络分别与主干网络连接，主干网络用于提取CU特征，将CU特征输入第一子网络，预测得到CU划分类型及其对应的预测概率，将CU特征输入第二子网络中，预测得到编码模式及其对应的预测概率，将CU划分类型作为预测结果或者根据CU划分类型及其对应的预测概率、编码模式及其对应的预测概率和临近CU的划分类型综合确定预测结果。
在具体的实施例中，主干网络包括依次连接的第一卷积层、第二卷积层、第一池化层、第三卷积层、第四卷积层、第二池化层，第一卷积层、第二卷积层、第三卷积层、第四卷积层的卷积核大小均为3×3，步长为1，填充为1，通道数分别为64、64、128、128。
在具体的实施例中，第一子网络包括依次连接的第五卷积层、第六卷积层和三个第一全连接层，第五卷积层和第六卷积层的卷积核大小均为1×1，步长为1，填充为1，通道数分别为256、256，3个第一全连接层的神经元数分别为16384、512、2或者6，dropout比率为0.3。
在具体的实施例中，第二子网络包括依次连接的第七卷积层、第八卷积层和三个第二全连接层，第七卷积层和第八卷积层的卷积核大小均为1×1，步长为1，填充为1，通道数分别为256、256，3个第二全连接层的神经元数分别为16384、512、4，dropout比率为0.25。
具体的，参考图3，多任务学习网络模型包括主干网络和两个子网络，两个子网络分别是第一子网络和第二子网络，其中，第一子网络用于预测CU划分类型及其对应的预测概率，并作为主任务；第二子网络用于预测编码模式及其对应的预测概率，并作为辅助任务。辅助任务预测得到的编码模式能够监督CU划分类型的预测结果，提高预测结果的准确性。
在具体的实施例中，多任务学习网络模型的训练过程中所采用的损失函数如下式所示：
；
其中，表示主任务CU划分的权重，/>表示辅助任务编码模式的权重，/>表示CU划分类型/>所占的比例，CU划分类型/>对应数值为不同尺寸CU的标签0，1或0，1，2，3，4，5，表示CU划分类型/>对应的预测概率；/>表示编码模式/>所占的比例，编码模式/>对应数值为CU的编码模式标签0，1，2，3，/>表示编码模式/>对应的预测概率，/>表示训练样本的批次数。
具体的，多任务学习网络模型的训练过程如下：
（1）获取真实标签。收集屏幕内容视频，用标准编码器进行编码，统计CU划分类型信息和编码模式信息。对不同的CU划分类型和编码模式分别赋予标签，64×64大小的CU有两种划分标签：0为不划分、1为四叉树划分，四种编码模式标签：0为不分配模式，1为Intra，2为IBC，3为PLT；32×32大小的CU有六种划分标签：0为不划分、1为四叉树划分、2为水平二叉树划分，3为垂直二叉树划分，4为水平三叉树划分，5为垂直三叉树划分，四种编码模式标签：0为不分配模式，1为Intra，2为IBC，3为PLT。将64×64和32×32大小的CU作为训练集、验证集和测试集，按照8：1：1的比例随机分配。
（2）考虑到CU划分比例和模式选择比例都存在不均衡的情况，故对每个子网络都设计了加权损失函数，并且主任务CU划分的权重和辅助任务编码模式的权重/>在训练过程中随着验证集的准确率变化而改变。而在整个训练过程中，需要先将主任务CU划分训练到接近收敛，再将辅助任务模式选择收敛，最终将完成主任务CU划分的收敛。
训练过程中优化函数选择Adam算法，总共迭代20000次，初始学习率为0.0001，0-10000次中，每1000次学习率下降10%，10001-20000次，每500次下降10%，训练集和验证集的批次大小都为256。在CU划分准确率达到60%左右时，加大辅助任务损失函数的权重。在辅助任务准确率达到70%左右时，再调整其权重，同时加大主任务的权重。在训练过程中学习率每1000次衰减10%。
在具体的实施例中，将CU划分类型作为预测结果或者根据CU划分类型及其对应的预测概率、编码模式及其对应的预测概率和临近CU的划分类型综合确定预测结果，具体包括：
响应于确定不存在CU划分类型和编码模式相矛盾的情况，则将CU划分类型作为预测结果；
响应于确定存在CU划分类型和编码模式相矛盾的情况，则根据CU划分类型及其对应的预测概率、编码模式及其对应的预测概率和临近CU的划分类型进行联合判断，确定预测结果，具体包括：
响应于确定CU划分类型为不划分，编码模式为不分配模式，则根据编码模式对应的预测概率进行判断，判断编码模式的预测概率是否大于阈值且大于CU划分类型对应的预测概率，并且此CU的左边和上方CU都进行划分，若是选择预测概率最大的CU划分类型作为预测结果，否则预测结果中的CU划分类型为不划分；
响应于确定CU划分类型为划分，编码模式为除不分配模式以外的其他模式，判断CU划分类型对应的预测概率是否大于阈值且大于编码模式对应的预测概率，若是则预测结果中的CU划分类型为划分，否则预测结果中的CU划分类型为划分。
具体的，正常情况下，CU划分类型为划分对应的编码模式为不分配模式，CU划分类型为不划分对应的编码模式为分配Intra、IBC、PLT这三种模式。当编码模式和CU划分类型相矛盾时，需要结合预测概率和临近CU的划分类型进行联合判断。在其中一个实施例中，将阈值设为0.8，第一种相矛盾的情况是：当第一子网络预测的CU划分类型为不划分，但第二子网络预测的编码模式为不分配模式时，与实际编码情况相违背，此时需要根据编码模式对应的预测概率进行判断，当预测概率/>大于0.8且大于CU划分类型对应的预测概率/>，并且此CU的左边和上方CU都进行划分时，则判定CU不划分的预测结果失效，选择预测概率最大所对应的CU划分类型作为预测结果。第二种相矛盾的情况是：当第一子网络预测的CU划分类型为划分，而第二子网络预测的编码模式为Intra、IBC、PLT中的其中一种时，与实际编码情况相违背，则需要CU划分类型对应的预测概率/>大于0.8且大于编码模式对应的预测概率/>，才能判定为预测结果的CU划分类型为划分。
S3，在标准编码器的编码过程中，调用所述经训练的多任务学习网络模型，将64×64大小的CU输入经训练的多任务学习网络模型，得到第一预测结果，根据第一预测结果进行CU划分；响应于确定第一预测结果为划分，则将64×64大小的CU划分为4个32×32大小的CU，将32×32大小的CU输入经训练的多任务学习网络模型，得到第二预测结果，根据第二预测结果进行CU划分。
在具体的实施例中，根据第一预测结果进行CU划分，具体包括：
响应于确定第一预测结果的CU划分类型为不划分，则终止率失真优化搜索过程；
响应于确定第一预测结果的CU划分类型为划分，则将64×64大小的CU划分为4个32×32大小的CU；
根据第二预测结果进行CU划分，具体包括：
响应于确定第二预测结果的CU划分类型为不划分，则终止率失真优化搜索过程；
响应于确定第二预测结果的CU划分类型为四叉树划分，则得到4个16×16大小的CU；
响应于确定第二预测结果的CU划分类型为水平二叉树划分，则得到2个16×32大小的CU；
响应于确定第二预测结果的CU划分类型为垂直二叉树划分，则得到2个32×16大小的CU；
响应于确定第二预测结果的CU划分类型为水平三叉树划分，则得到2个8×32大小的CU和1个16×32大小的CU；
响应于确定第二预测结果的CU划分类型为垂直三叉树划分，则得到2个32×8大小的CU和1个32×16大小的CU。
具体的，参考图4，在编码过程中，调用该经训练的多任务学习网络模型，将64×64大小的CU输入经训练的多任务学习网络模型进行预测，得到其CU划分类型和编码模式的预测概率，综合预测概率和临近CU的划分方式得到第一预测结果，根据第一预测结果中的CU划分类型进行CU划分。具体的，若第一预测结果的CU划分类型为不划分，则终止率失真优化搜索过程；若第一预测结果的CU划分类型为划分，则将64×64大小的CU划分为4个32×32大小的CU。
进一步的，响应于确认第一预测结果为不划分，则退出编码过程；响应于确认第一预测结果为划分，则将64×64大小的CU划分为4个32×32大小的CU，并输入经训练的多任务学习网络模型进行预测，综合预测概率和临近CU的划分方式得到第二预测结果，根据第二预测结果中的CU划分类型进行CU划分。具体的，若第二预测结果的CU划分类型为不划分，则终止率失真优化搜索过程；若第二预测结果的CU划分类型为四叉树划分，则得到4个16×16大小的CU；若第二预测结果的CU划分类型为水平二叉树划分，则得到2个16×32大小的CU；若第二预测结果的CU划分类型为垂直二叉树划分，则得到2个32×16大小的CU；若第二预测结果的CU划分类型为水平三叉树划分，则得到2个8×32大小的CU，1个16×32大小的CU；若第二预测结果的CU划分类型为垂直三叉树划分，则得到2个32×8大小的CU，1个32×16大小的CU。
本发明基于多任务学习网络模型预测两种CU的划分方式，跳过一些不必要的代价计算，在机会不影响编码效率的前提下，极大地降低了VVC中屏幕内容的编码复杂度。
以上步骤S1-S3并不仅仅代表步骤之间的顺序，而是步骤符号表示。
进一步参考图5，作为对上述各图所示方法的实现，本申请提供了一种基于多任务学习的H.266VVC屏幕内容帧内CU快速划分装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
本申请实施例提供了一种基于多任务学习的H.266VVC屏幕内容帧内CU快速划分装置，包括：
编码模块1，被配置为获取屏幕内容视频，采用标准编码器对屏幕内容视频进行编码，将128×128大小的编码树单元CTU直接划分为64×64大小的编码单元CU；
模型构建模块2，被配置为构建多任务学习网络模型并训练，得到经训练的多任务学习网络模型，多任务学习网络模型包括主干网络、第一子网络和第二子网络，第一子网络和第二子网络分别与主干网络连接，主干网络用于提取CU特征，将CU特征输入第一子网络，预测得到CU划分类型及其对应的预测概率，将CU特征输入第二子网络中，预测得到编码模式及其对应的预测概率，将CU划分类型作为预测结果或者根据CU划分类型及其对应的预测概率、编码模式及其对应的预测概率和临近CU的划分类型综合确定预测结果；
预测模块3，被配置为在标准编码器的编码过程中，调用所述经训练的多任务学习网络模型，将64×64大小的CU输入经训练的多任务学习网络模型，得到第一预测结果，根据第一预测结果进行CU划分；响应于确定第一预测结果为划分，则将64×64大小的CU划分为4个32×32大小的CU，将32×32大小的CU输入经训练的多任务学习网络模型，得到第二预测结果，根据第二预测结果进行CU划分。
下面参考图6，其示出了适于用来实现本申请实施例的电子设备（例如图1所示的服务器或终端设备）的计算机装置600的结构示意图。图6示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图6所示，计算机装置600包括中央处理单元（CPU）601和图形处理器（GPU）602，其可以根据存储在只读存储器（ROM）603中的程序或者从存储部分609加载到随机访问存储器（RAM）604中的程序而执行各种适当的动作和处理。在RAM 604中，还存储有装置600操作所需的各种程序和数据。CPU 601、GPU602、ROM 603以及RAM 604通过总线605彼此相连。输入/输出（I/O）接口606也连接至总线605。
以下部件连接至I/O接口606：包括键盘、鼠标等的输入部分607；包括诸如、液晶显示器（LCD）等以及扬声器等的输出部分608；包括硬盘等的存储部分609；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分610。通信部分610经由诸如因特网的网络执行通信处理。驱动器611也可以根据需要连接至I/O接口606。可拆卸介质612，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器611上，以便于从其上读出的计算机程序根据需要被安装入存储部分609。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分610从网络上被下载和安装，和/或从可拆卸介质612被安装。在该计算机程序被中央处理单元（CPU）601和图形处理器（GPU）602执行时，执行本申请的方法中限定的上述功能。
需要说明的是，本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读介质或者是上述两者的任意组合。计算机可读介质例如可以是——但不限于——电、磁、光、电磁、红外线或半导体的装置、装置或器件，或者任意以上的组合。计算机可读介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑磁盘只读存储器（CD-ROM）、光存储器件、磁存储器件或者上述的任意合适的组合。在本申请中，计算机可读介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行装置、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行装置、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，也可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。
附图中的流程图和框图，图示了按照本申请各种实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，该模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的装置来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取屏幕内容视频，采用标准编码器对屏幕内容视频进行编码，将128×128大小的编码树单元CTU直接划分为64×64大小的编码单元CU；构建多任务学习网络模型并训练，得到经训练的多任务学习网络模型，多任务学习网络模型包括主干网络、第一子网络和第二子网络，第一子网络和第二子网络分别与主干网络连接，主干网络用于提取CU特征，将CU特征输入第一子网络，预测得到CU划分类型及其对应的预测概率，将CU特征输入第二子网络中，预测得到编码模式及其对应的预测概率，将CU划分类型作为预测结果或者根据CU划分类型及其对应的预测概率、编码模式及其对应的预测概率和临近CU的划分类型综合确定预测结果；在标准编码器的编码过程中，调用经训练的多任务学习网络模型，将64×64大小的CU输入经训练的多任务学习网络模型，得到第一预测结果，根据第一预测结果进行CU划分；响应于确定第一预测结果为划分，则将64×64大小的CU划分为4个32×32大小的CU，将32×32大小的CU输入经训练的多任务学习网络模型，得到第二预测结果，根据第二预测结果进行CU划分。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的（但不限于）具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (10)
1.一种基于多任务学习的H.266VVC屏幕内容帧内CU快速划分方法，其特征在于，包括以下步骤：
获取屏幕内容视频，采用标准编码器对所述屏幕内容视频进行编码，将128×128大小的编码树单元CTU直接划分为64×64大小的编码单元CU；
构建多任务学习网络模型并训练，得到经训练的多任务学习网络模型，所述多任务学习网络模型包括主干网络、第一子网络和第二子网络，所述第一子网络和第二子网络分别与所述主干网络连接，所述主干网络用于提取CU特征，将所述CU特征输入所述第一子网络，预测得到CU划分类型及其对应的预测概率，将所述CU特征输入所述第二子网络中，预测得到编码模式及其对应的预测概率，将所述CU划分类型作为预测结果或者根据所述CU划分类型及其对应的预测概率、编码模式及其对应的预测概率和临近CU的划分类型综合确定预测结果；
在标准编码器的编码过程中，调用所述经训练的多任务学习网络模型，将所述64×64大小的CU输入经训练的多任务学习网络模型，得到第一预测结果，根据所述第一预测结果进行CU划分；响应于确定所述第一预测结果为划分，则将所述64×64大小的CU划分为4个32×32大小的CU，将所述32×32大小的CU输入经训练的多任务学习网络模型，得到第二预测结果，根据所述第二预测结果进行CU划分。
2.根据权利要求1所述的基于多任务学习的H.266VVC屏幕内容帧内CU快速划分方法，其特征在于，所述主干网络包括依次连接的第一卷积层、第二卷积层、第一池化层、第三卷积层、第四卷积层、第二池化层，所述第一卷积层、第二卷积层、第三卷积层、第四卷积层的卷积核大小均为3×3，步长为1，填充为1，通道数分别为64、64、128、128。
3.根据权利要求1所述的基于多任务学习的H.266VVC屏幕内容帧内CU快速划分方法，其特征在于，所述第一子网络包括依次连接的第五卷积层、第六卷积层和三个第一全连接层，所述第五卷积层和第六卷积层的卷积核大小均为1×1，步长为1，填充为1，通道数分别为256、256，3个第一全连接层的神经元数分别为16384、512、2或者6，dropout比率为0.3。
4.根据权利要求1所述的基于多任务学习的H.266VVC屏幕内容帧内CU快速划分方法，其特征在于，所述第二子网络包括依次连接的第七卷积层、第八卷积层和三个第二全连接层，所述第七卷积层和第八卷积层的卷积核大小均为1×1，步长为1，填充为1，通道数分别为256、256，3个第二全连接层的神经元数分别为16384、512、4，dropout比率为0.25。
5.根据权利要求1所述的基于多任务学习的H.266VVC屏幕内容帧内CU快速划分方法，其特征在于，所述根据所述第一预测结果进行CU划分，具体包括：
响应于确定第一预测结果的CU划分类型为不划分，则终止率失真优化搜索过程；
响应于确定第一预测结果的CU划分类型为划分，则将64×64大小的CU划分为4个32×32大小的CU；
所述根据所述第二预测结果进行CU划分，具体包括：
响应于确定第二预测结果的CU划分类型为不划分，则终止率失真优化搜索过程；
响应于确定第二预测结果的CU划分类型为四叉树划分，则得到4个16×16大小的CU；
响应于确定第二预测结果的CU划分类型为水平二叉树划分，则得到2个16×32大小的CU；
响应于确定第二预测结果的CU划分类型为垂直二叉树划分，则得到2个32×16大小的CU；
响应于确定第二预测结果的CU划分类型为水平三叉树划分，则得到2个8×32大小的CU和1个16×32大小的CU；
响应于确定第二预测结果的CU划分类型为垂直三叉树划分，则得到2个32×8大小的CU和1个32×16大小的CU。
6.根据权利要求1所述的基于多任务学习的H.266VVC屏幕内容帧内CU快速划分方法，其特征在于，所述将所述CU划分类型作为预测结果或者根据所述CU划分类型及其对应的预测概率、编码模式及其对应的预测概率和临近CU的划分类型综合确定预测结果，具体包括：
响应于确定不存在所述CU划分类型和编码模式相矛盾的情况，则将所述CU划分类型作为预测结果；
响应于确定存在所述CU划分类型和编码模式相矛盾的情况，则根据所述CU划分类型及其对应的预测概率、编码模式及其对应的预测概率和临近CU的划分类型进行联合判断，确定所述预测结果，具体包括：
响应于确定所述CU划分类型为不划分，所述编码模式为不分配模式，则根据所述编码模式对应的预测概率进行判断，判断所述编码模式的预测概率是否大于阈值且大于所述CU划分类型对应的预测概率，并且此CU的左边和上方CU都进行划分，若是选择预测概率最大的CU划分类型作为预测结果，否则所述预测结果中的CU划分类型为不划分；
响应于确定所述CU划分类型为划分，所述编码模式为除不分配模式以外的其他模式，判断所述CU划分类型对应的预测概率是否大于阈值且大于所述编码模式对应的预测概率，若是则所述预测结果中的CU划分类型为划分，否则所述预测结果中的CU划分类型为划分。
7.根据权利要求1所述的基于多任务学习的H.266VVC屏幕内容帧内CU快速划分方法，其特征在于，所述多任务学习网络模型的训练过程中所采用的损失函数如下式所示：
；
其中，表示主任务CU划分的权重，/>表示辅助任务编码模式的权重，/>表示CU划分类型/>所占的比例，CU划分类型/>对应数值为不同尺寸CU的标签0，1或0，1，2，3，4，5，/>表示CU划分类型/>对应的预测概率；/>表示编码模式/>所占的比例，编码模式/>对应数值为CU的编码模式标签0，1，2，3，/>表示编码模式/>对应的预测概率，/>表示训练样本的批次数。
8.一种基于多任务学习的H.266VVC屏幕内容帧内CU快速划分装置，其特征在于，包括：
编码模块，被配置为获取屏幕内容视频，采用标准编码器对所述屏幕内容视频进行编码，将128×128大小的编码树单元CTU直接划分为64×64大小的编码单元CU；
模型构建模块，被配置为构建多任务学习网络模型并训练，得到经训练的多任务学习网络模型，所述多任务学习网络模型包括主干网络、第一子网络和第二子网络，所述第一子网络和第二子网络分别与所述主干网络连接，所述主干网络用于提取CU特征，将所述CU特征输入所述第一子网络，预测得到CU划分类型及其对应的预测概率，将所述CU特征输入所述第二子网络中，预测得到编码模式及其对应的预测概率，将所述CU划分类型作为预测结果或者根据所述CU划分类型及其对应的预测概率、编码模式及其对应的预测概率和临近CU的划分类型综合确定预测结果；
预测模块，被配置为在标准编码器的编码过程中，调用所述经训练的多任务学习网络模型，将所述64×64大小的CU输入经训练的多任务学习网络模型，得到第一预测结果，根据所述第一预测结果进行CU划分；响应于确定所述第一预测结果为划分，则将所述64×64大小的CU划分为4个32×32大小的CU，将所述32×32大小的CU输入经训练的多任务学习网络模型，得到第二预测结果，根据所述第二预测结果进行CU划分。
9.一种电子设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311280429.6A CN117014610B (zh) | 2023-10-07 | 2023-10-07 | 基于多任务学习的h.266vvc屏幕内容帧内cu快速划分方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311280429.6A CN117014610B (zh) | 2023-10-07 | 2023-10-07 | 基于多任务学习的h.266vvc屏幕内容帧内cu快速划分方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117014610A true CN117014610A (zh) | 2023-11-07 |
| CN117014610B CN117014610B (zh) | 2023-12-29 |
Family
ID=88569410
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311280429.6A Active CN117014610B (zh) | 2023-10-07 | 2023-10-07 | 基于多任务学习的h.266vvc屏幕内容帧内cu快速划分方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117014610B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112702599A (zh) * | 2020-12-24 | 2021-04-23 | 重庆理工大学 | 一种基于深度学习的vvc帧内快速编码方法 |
| CN114219973A (zh) * | 2021-12-17 | 2022-03-22 | 南京理工大学 | 基于卷积神经网络的vvc块划分快速预测方法及系统 |
| CN114710667A (zh) * | 2022-03-18 | 2022-07-05 | 华侨大学 | 针对h.266/vvc屏幕内容帧内cu划分的快速预测方法及装置 |
| WO2022171042A1 (zh) * | 2021-02-10 | 2022-08-18 | 华为技术有限公司 | 一种编码方法、解码方法及设备 |
| CN115484464A (zh) * | 2022-08-03 | 2022-12-16 | 阿里巴巴（中国）有限公司 | 视频编码方法和装置 |
| WO2023011420A1 (zh) * | 2021-08-05 | 2023-02-09 | 华为技术有限公司 | 编解码方法和装置 |
| CN116033153A (zh) * | 2022-12-25 | 2023-04-28 | 南京理工大学 | Vvc标准下的编码单元快速划分方法及系统 |
| WO2023122132A2 (en) * | 2021-12-23 | 2023-06-29 | Op Solutions, Llc | Video and feature coding for multi-task machine learning |
| CN116489386A (zh) * | 2023-03-24 | 2023-07-25 | 重庆邮电大学 | 一种基于参考块的vvc帧间快速编码方法 |
-
2023
- 2023-10-07 CN CN202311280429.6A patent/CN117014610B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112702599A (zh) * | 2020-12-24 | 2021-04-23 | 重庆理工大学 | 一种基于深度学习的vvc帧内快速编码方法 |
| WO2022171042A1 (zh) * | 2021-02-10 | 2022-08-18 | 华为技术有限公司 | 一种编码方法、解码方法及设备 |
| WO2023011420A1 (zh) * | 2021-08-05 | 2023-02-09 | 华为技术有限公司 | 编解码方法和装置 |
| CN114219973A (zh) * | 2021-12-17 | 2022-03-22 | 南京理工大学 | 基于卷积神经网络的vvc块划分快速预测方法及系统 |
| WO2023122132A2 (en) * | 2021-12-23 | 2023-06-29 | Op Solutions, Llc | Video and feature coding for multi-task machine learning |
| CN114710667A (zh) * | 2022-03-18 | 2022-07-05 | 华侨大学 | 针对h.266/vvc屏幕内容帧内cu划分的快速预测方法及装置 |
| CN115484464A (zh) * | 2022-08-03 | 2022-12-16 | 阿里巴巴（中国）有限公司 | 视频编码方法和装置 |
| CN116033153A (zh) * | 2022-12-25 | 2023-04-28 | 南京理工大学 | Vvc标准下的编码单元快速划分方法及系统 |
| CN116489386A (zh) * | 2023-03-24 | 2023-07-25 | 重庆邮电大学 | 一种基于参考块的vvc帧间快速编码方法 |
Non-Patent Citations (4)
| Title |
|---|
| HONGJI ZENG: "Learning-Based Multi-Stage Intra Partition for Versatile Video Coding", 《 2022 IEEE 24TH INTERNATIONAL WORKSHOP ON MULTIMEDIA SIGNAL PROCESSING 》 * |
| 吴陆狄;翟宇轩;黄雨航;邢开应;房颖;林丽群;: "一种面向新型视频编码器的快速算法", 福州大学学报(自然科学版), no. 04 * |
| 岳洋洋，曾焕强，陈婧，林晓丹，蔡灿辉: "采用联合特征的H.266/VVC屏幕内容快速模式选择算法", 《信号处理》, vol. 37, no. 8 * |
| 邓玲玲: "下一代视频编码标准VVC的环路滤波及率失真优化技术研究", 《信息科技辑》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117014610B (zh) | 2023-12-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108174290B (zh) | 用于处理视频的方法和装置 | |
| CN114401447B (zh) | 一种视频卡顿预测方法、装置、设备和介质 | |
| CN113436620B (zh) | 语音识别模型的训练方法、语音识别方法、装置、介质及设备 | |
| CN114710667A (zh) | 针对h.266/vvc屏幕内容帧内cu划分的快速预测方法及装置 | |
| CN113327599B (zh) | 语音识别方法、装置、介质及电子设备 | |
| CN113723341B (zh) | 视频的识别方法、装置、可读介质和电子设备 | |
| US20220383637A1 (en) | Live streaming sampling method and apparatus, and electronic device | |
| CN113140012B (zh) | 图像处理方法、装置、介质及电子设备 | |
| CN115439449B (zh) | 全视野组织学图像的处理方法、装置、介质和电子设备 | |
| CN108268936B (zh) | 用于存储卷积神经网络的方法和装置 | |
| CN116977885A (zh) | 视频文本任务处理方法、装置、电子设备及可读存储介质 | |
| CN117014610B (zh) | 基于多任务学习的h.266vvc屏幕内容帧内cu快速划分方法及装置 | |
| CN113268321A (zh) | 用于边缘计算的数据处理调配方法 | |
| CN115052154B (zh) | 一种模型训练和视频编码方法、装置、设备及存储介质 | |
| CN116090543A (zh) | 模型压缩方法及装置、计算机可读介质和电子设备 | |
| CN114237962A (zh) | 告警根因判断方法、模型训练方法、装置、设备和介质 | |
| CN111737575B (zh) | 内容分发方法、装置、可读介质及电子设备 | |
| US20220318950A1 (en) | Video enhancement method and apparatus, and electronic device and storage medium | |
| CN114004313A (zh) | 故障gpu的预测方法、装置、电子设备及存储介质 | |
| CN114125443A (zh) | 视频码率控制方法、装置和电子设备 | |
| CN115952830B (zh) | 数据处理方法、装置、电子设备及存储介质 | |
| CN111330269B (zh) | 应用难度调整和策略确定方法、装置、系统、设备及介质 | |
| CN116934557B (zh) | 行为预测信息生成方法、装置、电子设备和可读介质 | |
| CN118331716A (zh) | 异构算力集成系统下算力智能迁移方法 | |
| CN116933857A (zh) | 神经网络的剪枝处理方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |