CN114697664A - 视频编码器、视频解码器及相关方法 - Google Patents

Abstract

本申请实施例公开了一种视频编码器、视频解码器及相关方法，该方法包括：对第一帧图像中的图像块进行编码，得到第一数据；对所述第一帧图像进行语义分析，得到语义信息，其中，所述语义信息为用于视频分析的信息，所述第一帧图像为所述视频中的任意一帧图像；输出码流数据，所述码流数据包括所述第一数据和所述语义信息。采用本申请，一定程度上可以提高视频分析的效率，减少计算量。

Description

视频编码器、视频解码器及相关方法

技术领域

本申请涉及视频编码领域，尤其涉及一种视频编码器、视频解码器及相关方法。

背景技术

近年来，随着高清、超高清应用走进人们的生活，视频编码技术受到越来越多的挑战。高效率视频编码(High Efficiency Video Coding，HEVC)作为新一代视频编码标准，在保持相同视频质量的条件下，其编码需要的比特数仅为上一代编码标准H.264的50％。因此，HEVC视频编码方法成为当今研究的任店之一。

屏幕内容编码(Screen Content Coding，SCC)是HEVC重要的扩展应用之一。SCC与传统的HEVC类似，仍然以混合编码框架为基础。并且依据屏幕内容视频的特性，在帧内预测编码和帧间预测编码的过程中分别引入了一系列新的技术。

但是，无论是帧内预测编码还是帧间预测编码，都只是对图像的像素进行编码，没有考虑到视频中的语义信息。所以，在海量视频中寻找特定信息将会变得比较复杂。

发明内容

本申请实施例提供了一种视频编码器、视频解码器及相关方法，一定程度上可以提高视频分析的效率，减少重复的计算量。

第一方面，本申请实施例公开了一种视频编码方法，该方法包括：对第一帧图像中的图像块进行编码，得到第一数据；对第一帧图像进行语义分析，得到语义信息，其中，语义信息为用于视频分析的信息，第一帧图像为视频中的任意一帧图像；输出码流数据，码流数据包括第一数据和语义信息。

在一种可能的实现方式中，对第一帧图像进行语义分析，得到语义信息包括：通过机器学习算法对第一帧图像进行语义分析，得到语义信息。

在一种可能的实现方式中，语义信息包括以下一项或多项：目标信息、背景信息、前景信息、光流信息。

在一种可能的实现方式中，输出码流数据，包括：通过第一通道输出第一数据；通过第二通道输出语义信息。

第二方面，本申请实施例公开了一种视频解码方法，该方法包括：接收码流数据，码流数据包括第一数据和语义信息。第一数据为对第一帧图像中的图像块进行编码得到的，语义信息为对第一帧图像进行语义分析得到；解码得到第一帧图像中的图像块和/或第一帧图像的语义信息；根据语义信息进行视频分析，第一帧图像为视频中的任意一帧图像。

在一种可能的实现方式中，接收码流数据，包括：通过第一通道接收第一数据；通过第二通道接收语义信息。

在一种可能的实现方式中，语义信息包括以下一项或多项：目标信息、背景信息、前景信息、光流信息。

第三方面，本申请实施例公开了一种视频编码器，该视频编码器包括：

编码单元，用于对第一帧图像中的图像块进行编码，得到第一数据；

分析单元，用于对第一帧图像进行语义分析，得到语义信息，其中，语义信息为用于视频分析的信息，第一帧图像为视频中的任意一帧图像；

输出单元，用于输出码流数据，码流数据包括第一数据和语义信息。

在一种可能的实现方式中，编码单元具体用于：通过机器学习算法对第一帧图像进行语义分析，得到语义信息。

在一种可能的实现方式中，输出单元具体用于：通过第一通道输出第一数据；通过第二通道输出语义信息。

在一种可能的实现方式中，语义信息包括以下一项或多项：目标信息、背景信息、前景信息、光流信息。

第四方面，本申请实施例公开了一种视频解码器，该视频解码器包括：

接收单元，用于接收码流数据，码流数据包括第一数据和语义信息。第一数据为对第一帧图像中的图像块进行编码得到的，语义信息为对第一帧图像进行语义分析得到；

解码单元，用于根据码流数据解码得到第一帧图像中的图像块和/或第一帧图像的语义信息；

分析单元，用于根据语义信息进行视频分析，第一帧图像为视频中的任意一帧图像。

在一种可能的实现方式中，接收单元具体用于：通过第一通道接收第一数据；通过第二通道接收语义信息。

在一种可能的实现方式中，语义信息包括以下一项或多项：目标信息、背景信息、前景信息、光流信息。

第五方面，本申请实施例提供了一种计算器可读存储介质，计算机可读存储介质中存储有计算机程序，当计算机程序在一个或多个处理器上运行时，执行如第一方面或第二方面实施例中的方法。

第六方面，本申请实施例提供了一种芯片系统，芯片系统包括至少一个处理器、存储器和接口电路，存储器中存储有计算机程序，当计算机程序在一个或多个处理器上运行时，执行如第一方面或第二方面实施例中的方法。

在上述方法中，对视频中的任意一帧图像进行编码的同时，分析图像帧中所包含的语义信息，然后将编码得到的第一数据以及语义分析得到的语义信息经编码通道传输给解码端。从而，解码端可以直接解析得到视频的语义信息，便于对视频进行分析、检索等，提高了处理效率，减少了对视频的重复计算。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种的视频译码系统的结构示意图；

图2是本申请实施例提供的一种的视频编码方法的流程示意图；

图3是本申请实施例提供的一种的视频解码方法的流程示意图；

图4是本申请实施例提供的一种的视频编码器的结构示意图；

图5是本申请实施例提供的一种的视频解码器的结构示意图；

图6是本申请实施例提供的一种组成处理装置的结构示意图

图7是本申请实施例提供的一种板卡的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

下面先对本申请实施例可能涉及的一些概念进行简单介绍。

1、视频编码

视频编码就是指通过压缩技术，将原始视频格式的文件转换成另一种视频格式文件的方式。视频是连续的图像序列，由连续的帧构成，一帧即为一幅图像。由于人眼的视觉暂留效应，当帧序列以一定的速率播放时，我们看到的就是动作连续的视频。由于连续的帧之间相似性极高，为便于储存传输，我们需要对原始的视频进行编码压缩，以去除空间、时间维度的冗余。

在视频编码领域，术语“图片(Picture)”、“帧(Frame)”或“图像(Image)”可以用作同义词。可以理解的是，视频编码在源侧执行，通常包括处理(例如压缩)原始视频以减少表示该视频所需的数据量，从而可以更高效地存储和/或传输。视频解码在目的侧执行，通常包括相对于编码器作逆处理，以重构视频。

2、屏幕内容编码

屏幕内容编码是HEVC重要扩展应用之一。屏幕内容是指包含各类设备(比如计算机、移动终端等)的图像显示单元捕获的内容。场景的屏幕内容有计算机图像和文本图像、自然视频与图像/文字混合的图像以及计算机生成的动画图像等。屏幕内容在桌面协同、桌面共享、云计算、云游戏、远程桌面和远程展示等应用。

在进行屏幕内容编码过程中，视频的每一帧按照基于四叉树的划分结构进行划分。在编码流程开始前，每个测试序列将被分割为许多图像组(Group of Picture，GOP)。在编码单元(Coding Unit，CU)的划分过程中，屏幕内容编码依然采用了基于四叉树的划分结构，首先将视频的每一帧分为尺寸为64×64的编码树单元(Coding Tree Unit，CTU)、然后进一步将每一个CTU划分为尺寸不同的CU、预测单元(Prediction Unit，PU)和变换单元(Transform Unit，TU)。

其中，CU的尺寸分布可以从64×64迭代划分为8×8。同时，一个CU可以进一步划分为一个或多个PU。PU的尺寸可以从64×64迭代划分到4×4。

首先，图1是本申请实施例提供的一种视频译码系统的结构示意图。如本文所使用，术语“视频译码器”一般是指视频编码器和视频解码器两者。在本申请实施例中，术语“视频译码”或“译码”可一般地指代视频编码或视频解码。视频译码系统的视频编码器100不仅对图像的像素进行编码，还对图像进行语义分析得到语义信息，从而视频解码器200可以解码得到语义信息，而语义信息可以为视频分析、视频检索等业务提供数据支撑，不需要对解码得到的视频再次进行分析计算，可以提高视频分析、视频检索等业务需求的效率。

请参见图1，图1所示的视频译码系统包括源设备10和目的设备20。源设备10产生经编码视频数据，因此源设备10可被称为视频编码装置。目的地设备20可以对有源设备10所产生的经编码的视频数据进行解码。因此，目的地设备20可以被称为视频解码装置。源设备10和目的地设备20或两个的各种实施方案可包含一个或多个处理器以及耦合到上述一个或多个处理器的存储器。上述存储器可包含但不限于RAM、ROM、EEPROM、快闪存储器或可用于以计算机存取的指令或数据结构的形式存储所要的程序代码的任何其它媒体。

源设备10和目的地设备20可以为视频广播系统、有线系统、基于网络的视频流服务、游戏应用和/或服务、多媒体通信系统和/或各种其它应用和服务的一部分或独立单元。源设备10和目的地设备20可以包括各种装置，包含桌上型计算机、移动计算装置、笔记型(例如，膝上型)计算机、平板计算机、机顶盒、例如所谓的“智能”电话等电话手持机、电视机、相机、显示装置、数字媒体播放器、视频游戏控制台、车载计算机或其类似者。

虽然图1将源设备10和目的地设备20绘示为单独的设备，但设备实施例也可以同时包括源设备10和目的地设备20或同时包括两者的功能性，即源设备10或对应的功能性以及目的地设备20或对应的功能性。在此类实施例中，可以使用相同硬件和/或软件，或使用单独的硬件和/或软件，或其任何组合来实施源设备10或对应的功能性以及目的地设备20或对应的功能性。

从图1可以看出，源设备10包括视频源101，视频编码器100和输出接口102。在一些实施例中，输出接口102可包含调节器/解调器(调制解调器)和/或发射器。视频源101可包括视频捕获装置(例如，摄像机)、含有先前捕获的视频数据的视频存档、用以从视频内容提供者接受视频数据的视频馈入接口，和/或用于产生视频数据的计算机图形系统，或视频数据的来源组合。

视频编码器100可对来自视频源101的视频数据进行编码得到第一数据，可对来自视频源101的视频数据进行语义分析得到语义信息。在一些实施例中，源设备100由输出接口102将经编码视频数据之间发射到目的地设备20。

从图1可以看出，目的地设备20包括输入接口202、视频解码器200和显示装置201。输入接口202包含接收器和/或调制解调器。输入接口202可经由链路接收经编码视频数据。显示装置201可与目的地装置20集成或可在目的地装置20外部。一般来说，显示装置201显示经解码视频数据，经解码的视频数据中包括语义信息。显示装置201可包括多种显示装置，例如，液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或其它类型的显示装置。

参见图2，图2是本申请实施例提供的一种视频编码方法的流程示意图，图2所示的流程可由图1中的视频编码器100执行。可以理解的是，图2所示的流程可以以各种顺序执行和/或同时发生，不限于图2所示的执行顺序。这种方法可包括但不限于如下步骤：

步骤S201，对第一帧图像的图像块进行编码，得到第一数据。

具体地，视频是连续的图像序列，由连续的帧构成，第一帧图像即为视频中的任意一帧图像。而对于屏幕编码来说，将视频的每一帧按照基于四叉树的划分结构进行划分得到图像块，图像块可以是CU、PU或者TU。因此，当视频编码器100接收来自视频源101的视频数据后，对视频数据的每帧图像进行划分得到图像块，然后视频编码器100可对图像块进行编码得到第一数据。

可选地，常见的编码技术有帧间预测编码和帧内预测编码。一般来说，帧间编码技术是构造预测块，计算预测块与当前块的残差，对残差、预测模式等信息进行编码，其主要去除的是空域冗余。帧间预测也是构造预测块，计算预测块与当前块的残差，对残差、预测模式、运动矢量残差、参考图像索引等信息进行编码，其主要去除的是时域冗余。因此，视频编码器100可以通过帧内预测编码技术或者帧间预测编码技术得到第一数据。

步骤S202，对第一帧图像进行语义分析，得到语义信息。

具体地，视频中包含丰富的语义信息，比如说目标信息、背景信息、前景信息、光流信息等等。目标信息可以指被观察物体的像素区域；背景信息可以指视频图像中相对于前景在一定时间内保持稳定的像素区域；前景信息可以指视频图像中相对于背景发生了一定变化的像素区域。光流信息可以指被观察物体运动的像素区域。因此在视频编码器100接收来自视频源101的视频数据后，可以对视频数据的每一帧图像进行语义分析，得到目标信息、背景信息、前景信息、光流信息等等中的一种或多种语义信息。

在一种可能的实现方式中，视频编码器100可以通过机器学习算法对视频数据中的任意一帧图像进行语义分析，从而可以得到语义信息。可以理解的是，首先需要通过不同的机器学习算法来训练得到不同的模型，然后通过特定的训练好的模型来分析得到特定的语义信息。因为语义信息包括不同的类型，所以需要根据语义信息的类型来训练模块。比如说，可以利用循环神经网络，特别是长短时记忆网络来训练编码-解码模型，视频编码器100可以通过训练好的模型对视频数据中的任意一帧图像进行语义分析得到语义信息；还可以利用结合注意力机制及记忆机制的模型对视频数据中的任意一帧图像进行语义分析得到语义信息。

需要说明的是，背景与前景都是相对的概率，以高速公路为例，在人们关注高速公路上来来往往的汽车时，则这些车辆的前景信息而路面以及周围的环境是背景；在人们关注闯入高速公路的行人时，则闯入者是前景，而包括汽车之类的其他东西又成了背景。

步骤S203，输出码流数据。

具体地，视频编码器100在得到语义信息后，对语义信息进行编码，然后通过编码通道输出码流数据，码流数据中包括对图像的像素进行编码的第一数据，以及对语义信息进行编码后的数据。

在一种可能的实现方式中，可以通过第一通道传输第一数据，可以通过第二通道传输语义信息。源设备10的输出接口102包括第一输出接口和第二输出节点，第一输出接口对应于第一通道，第二输出接口对应于第二通道。其中，第二通道是在视频编码器100处额外增加的编码通道，也即通过不同的编码通道来传输第一数据和语义信息。

请参见图3，图3是本申请实施例提供的一种视频解码方法的流程示意图，图3所示的流程可由图1中的视频解码器200执行。可以理解的是，图3所示的流程可以以各种顺序执行和/或同时发生，不限于图3所示的执行顺序。这种方法包括但不限于步骤：

步骤S301、接收码流数据。

具体地，在解码过程中，视频解码器200通过输入接口202从视频编码器100接收表示经编码视频条带的图像块的码流数据。视频解码器200还可以将码流数据存储在视频数据存储单元中，视频数据存储单元可作为用于存储来自经编码视频位流的经编码视频数据的经解码图像缓冲单元。然后，视频解码器100可以通过熵解码单元解析码流数据，其中，解析得到的码流数据包括第一数据和语义信息，第一数据为视频编码器100对第一帧图像中的图像块进行编码得到的，语义信息为对第一帧图像进行语义分析得到的。

在一种可能的实现方式中，源设备10的输出接口102包括第一输出接口和第二输出接口，相应地，目的地设备200的输入接口202包括第一输入接口和第二输入接口。第一输出接口和第一输入接口直接的通道为第一通道，第二输出接口和第二输入接口直接的通道为第二通道，因此，视频编码器200可以通过第一通道接收第一数据，通过第二通道接收语言信息。

步骤S302、解码得到第一帧图像中的图像块和/或所述第一帧图像的语义信息。

具体地，视频解码器200对接收的码流数据进行解码得到第一帧图像中的图像块和/或第一帧图像的语义信息。可以理解的是，视频编码器100对视频数据中的每帧图像都进行编码，然后传输每帧图像的第一数据，所以视频解码器200可以接收到每帧图像的第一数据，从而可以对接收的第一数据进行解码并处理得到视频数据。同理可得，可以解码处理得到视频内容的语义信息。

步骤S303，根据语义信息进行视频分析。

具体地，当视频解码器200解码处理得到语义信息后，由显示装置202对接收到的语音信息进行解读，根据语义信息中提供的数据，使用显示技术(比如说DirectDraw、Direct3D，OpenGL等技术)显示在屏幕上，便于业务人员根据语义信息进行视频分析或者视频检索等业务。举例来说，假如需要从视频中检索出红色汽车来，则可以直接根据视频数据所包含的语义信息进行检索，不需要重新再对视频数据进行计算分析，减少了计算量。

请参阅图4，图4是本申请实施例提供的一种视频编码器400的结构示意图，该视频编码器400可以为节点，也可以为节点中的一起器件，例如芯片或者集成电路等，如图所示，视频编码器400可以包括编码单元401，分析单元402，和输出单元403。其中，各个单元的描述如下：

编码单元401，用于对第一帧图像中的图像块进行编码，得到第一数据；

分析单元402，用于对所述第一帧图像进行语义分析，得到语义信息，其中，所述语义信息为用于视频分析的信息，所述第一帧图像为所述视频中的任意一帧图像；

输出单元403，用于输出码流数据，所述码流数据包括所述第一数据和所述语义信息。

在一种可能的实现方式中，分析单元402具体用于：通过机器学习算法对所述第一帧图像进行语义分析，得到语义信息。

在一种可能的实现方式中，语义信息包括以下一项或多项：目标信息、背景信息、前景信息、光流信息。

在一种可能的实现方式中，输出单元403具体用于：通过第一通道输出所述第一数据；通过第二通道输出所述语义信息。

需要说明的是，各个单元的实现还可以对应参照图所示的实施例的相应描述。

请参阅图5，图5是本申请实施例提供的一种视频解码器500的结构示意图，该视频编码器500可以为节点，也可以为节点中的一起器件，例如芯片或者集成电路等，如图所示，视频编码器500可以包括接收单元501，解码单元502，和分析单元503。其中，各个单元的描述如下：

接收单元501，用于接收码流数据，所述码流数据包括所述第一数据和所述语义信息。所述第一数据为对第一帧图像中的图像块进行编码得到的，所述语义信息为对所述第一帧图像进行语义分析得到；

解码单元502，用于根据所述码流数据解码得到第一帧图像中的图像块和/或所述第一帧图像的语义信息；

分析单元503，用于根据所述语义信息进行视频分析，所述第一帧图像为所述视频中的任意一帧图像。

在一种可能的实现方式中，接收单元501具体用于：通过第一通道接收所述第一数据；通过第二通道接收所述语义信息。

在一种可能的实现方式中，语义信息包括以下一项或多项：目标信息、背景信息、前景信息、光流信息。

需要说明的是，各个单元的实现还可以对应参照图3所示的实施例的相应描述。

请参见图6，图6是本申请实施例提供的一种组成处理装置600的结构示意图，该组成处理装置600可以为节点，也可以为节点中的一个器件，例如芯片或者集成电路等。该组成处理装置60可以包括至少一个存储器601和至少一个处理器602。可选的，还可以包含总线603。进一步可选的，还可以包括通信接口604，其中，存储器601、处理器602和通信接口604通过总线603相连。

其中，存储器601用于提供存储空间，存储空间中可以存储操作系统和计算机程序等数据。存储器601可以是随机存储记忆体(random access memory，RAM)、只读存储器(read-only memory，ROM)、可擦除可编程只读存储器(erasable programmable read onlymemory，EPROM)、或便携式只读存储器(compact disc read-only memory，CD-ROM)等等中的一种或者多种的组合。

处理器602是进行算术运算和/或逻辑运算的模块，具体可以是中央处理器(central processing unit，CPU)、图片处理器(graphics processing unit，GPU)、微处理器(microprocessor unit，MPU)、专用集成电路(Application Specific IntegratedCircuit，ASIC)、现场可编程逻辑门阵列(Field Programmable Gate Array，FPGA)、复杂可编程逻辑器件(Complex programmable logic device，CPLD)等处理模块中的一种或者多种的组合。

通信接口604用于接收外部发送的数据和/或向外部发送数据，可以为包括诸如以太网电缆等的有线链路接口，也可以是无线链路(Wi-Fi、蓝牙、通用无线传输等)接口。可选的，通信接口604还可以包括与接口耦合的发射器(如射频发射器、天线等)，或者接收器等。

在一些可能的实现方式中，该组成处理装置600中的处理器602用于读取所述存储器601中存储的计算机程序，用于执行前述的视频编码方法，例如图2、实施例所描述的视频编码方法。具体用于执行：

对第一帧图像中的图像块进行编码，得到第一数据；

对所述第一帧图像进行语义分析，得到语义信息，其中，所述语义信息为用于视频分析的信息，所述第一帧图像为所述视频中的任意一帧图像；

输出码流数据，所述码流数据包括所述第一数据和所述语义信息。

在一种可能的实现方式中，处理器602具体用于：通过机器学习算法对所述第一帧图像进行语义分析，得到语义信息。

在一种可能的实现方式中，语义信息包括以下一项或多项：目标信息、背景信息、前景信息、光流信息。

在一种可能的实现方式中，处理器602具体用于：通过第一通道输出所述第一数据；通过第二通道输出所述语义信息。

在一些可能的实现方式中，该组成处理装置600中的处理器602用于读取所述存储器601中存储的计算机程序，用于执行前述的视频解码方法，例如图3实施例所描述的视频解码方法。具体用于执行：

接收码流数据，所述码流数据包括所述第一数据和所述语义信息。所述第一数据为对第一帧图像中的图像块进行编码得到的，所述语义信息为对所述第一帧图像进行语义分析得到；

解码得到第一帧图像中的图像块和/或所述第一帧图像的语义信息；

根据所述语义信息进行视频分析，所述第一帧图像为所述视频中的任意一帧图像。

在一种可能的实现方式中，处理器602具体用于：通过第一通道接收所述第一数据；通过第二通道接收所述语义信息。

在一种可能的实现方式中，语义信息包括以下一项或多项：目标信息、背景信息、前景信息、光流信息。

请参见图7，图7是本申请实施例提供的一种板卡700的结构示意图。从图3可以看出，该板卡包括用于存储数据的存储器件704，其包括一个或多个存储单元710。该存储器件可以通过例如总线等方式与控制器件708和上文所述的芯片702进行连接和数据传输。进一步，该板卡还包括对外接口装置706，其配置用于芯片(或芯片封装结构中的芯片)与外部设备76(例如服务器或计算机等)之间的数据中继或转接功能。例如，待处理的数据可以由外部设备通过对外接口装置传递至芯片。又例如，所述芯片的计算结果可以经由所述对外接口装置传送回外部设备。根据不同的应用场景，所述对外接口装置可以具有不同的接口形式，例如其可以采用标准PCIE接口等。

芯片702可以是一种系统级芯片(System on Chip，SoC)，并且集成有一个或多个如图6中所示的组合处理装置。该芯片可以通过对外接口装置(如图7中示出的对外接口装置706)与其他相关部件相连接。该相关部件可以例如是摄像头、显示器、鼠标、键盘、网卡或wifi接口。在一些应用场景中，该芯片上可以集成有其他处理单元(例如视频编解码器)和/或接口模块(例如DRAM接口)等。

在一个或多个实施例中，本披露板卡中的控制器件可以配置用于对所述芯片的状态进行调控。为此，在一个应用场景中，该控制器件可以包括单片机(Micro ControllerUnit，MCU)，以用于对所述芯片的工作状态进行调控。

根据上述结合图6和图7的描述，本领域技术人员可以理解本披露也公开了一种电子设备或装置，其可以包括一个或多个上述板卡、一个或多个上述芯片和/或一个或多个上述组合处理装置。

根据不同的应用场景，本披露的电子设备或装置可以包括服务器、云端服务器、服务器集群、数据处理装置、机器人、电脑、打印机、扫描仪、平板电脑、智能终端、PC设备、物联网终端、移动终端、手机、行车记录仪、导航仪、传感器、摄像头、相机、摄像机、投影仪、手表、耳机、移动存储、可穿戴设备、视觉终端、自动驾驶终端、交通工具、家用电器、和/或医疗设备。所述交通工具包括飞机、轮船和/或车辆；所述家用电器包括电视、空调、微波炉、冰箱、电饭煲、加湿器、洗衣机、电灯、燃气灶、油烟机；所述医疗设备包括核磁共振仪、B超仪和/或心电图仪。本披露的电子设备或装置还可以被应用于互联网、物联网、数据中心、能源、交通、公共管理、制造、教育、电网、电信、金融、零售、工地、医疗等领域。进一步，本披露的电子设备或装置还可以用于云端、边缘端、终端等与人工智能、大数据和/或云计算相关的应用场景中。在一个或多个实施例中，根据本披露方案的算力高的电子设备或装置可以应用于云端设备(例如云端服务器)，而功耗小的电子设备或装置可以应用于终端设备和/或边缘端设备(例如智能手机或摄像头)。在一个或多个实施例中，云端设备的硬件信息和终端设备和/或边缘端设备的硬件信息相互兼容，从而可以根据终端设备和/或边缘端设备的硬件信息，从云端设备的硬件资源中匹配出合适的硬件资源来模拟终端设备和/或边缘端设备的硬件资源，以便完成端云一体或云边端一体的统一管理、调度和协同工作。

需要说明的是，为了简明的目的，本披露将一些方法及其实施例表述为一系列的动作及其组合，但是本领域技术人员可以理解本披露的方案并不受所描述的动作的顺序限制。因此，依据本披露的公开或教导，本领域技术人员可以理解其中的某些步骤可以采用其他顺序来执行或者同时执行。进一步，本领域技术人员可以理解本披露所描述的实施例可以视为可选实施例，即其中所涉及的动作或模块对于本披露某个或某些方案的实现并不一定是必需的。另外，根据方案的不同，本披露对一些实施例的描述也各有侧重。鉴于此，本领域技术人员可以理解本披露某个实施例中没有详述的部分，也可以参见其他实施例的相关描述。

在具体实现方面，基于本披露的公开和教导，本领域技术人员可以理解本披露所公开的若干实施例也可以通过本文未公开的其他方式来实现。例如，就前文所述的电子设备或装置实施例中的各个单元来说，本文在考虑了逻辑功能的基础上对其进行划分，而实际实现时也可以有另外的划分方式。又例如，可以将多个单元或组件结合或者集成到另一个系统，或者对单元或组件中的一些特征或功能进行选择性地禁用。就不同单元或组件之间的连接关系而言，前文结合附图所讨论的连接可以是单元或组件之间的直接或间接耦合。在一些场景中，前述的直接或间接耦合涉及利用接口的通信连接，其中通信接口可以支持电性、光学、声学、磁性或其它形式的信号传输。

在本披露中，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元示出的部件可以是或者也可以不是物理单元。前述部件或单元可以位于同一位置或者分布到多个网络单元上。另外，根据实际的需要，可以选择其中的部分或者全部单元来实现本披露实施例所述方案的目的。另外，在一些场景中，本披露实施例中的多个单元可以集成于一个单元中或者各个单元物理上单独存在。

在一些实现场景中，上述集成的单元可以采用软件程序模块的形式来实现。如果以软件程序模块的形式实现并作为独立的产品销售或使用时，所述集成的单元可以存储在计算机可读取存储器中。基于此，当本披露的方案以软件产品(例如计算机可读存储介质)的形式体现时，该软件产品可以存储在存储器中，其可以包括若干指令用以使得计算机设备(例如个人计算机、服务器或者网络设备等)执行本披露实施例所述方法的部分或全部步骤。前述的存储器可以包括但不限于U盘、闪存盘、只读存储器(Read Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

在另外一些实现场景中，上述集成的单元也可以采用硬件的形式实现，即为具体的硬件电路，其可以包括数字电路和/或模拟电路等。电路的硬件结构的物理实现可以包括但不限于物理器件，而物理器件可以包括但不限于晶体管或忆阻器等器件。鉴于此，本文所述的各类装置(例如计算装置或其他处理装置)可以通过适当的硬件处理器来实现，例如CPU、GPU、FPGA、DSP和ASIC等。进一步，前述的所述存储单元或存储装置可以是任意适当的存储介质(包括磁存储介质或磁光存储介质等)，其例如可以是可变电阻式存储器(Resistive Random Access Memory，RRAM)、动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)、静态随机存取存储器(Static Random Access Memory，SRAM)、增强动态随机存取存储器(Enhanced Dynamic Random Access Memory，EDRAM)、高带宽存储器(High Bandwidth Memory，HBM)、混合存储器立方体(Hybrid Memory Cube，HMC)、ROM和RAM等。

虽然本文已经示出和描述了本披露的多个实施例，但对于本领域技术人员显而易见的是，这样的实施例只是以示例的方式来提供。本领域技术人员可以在不偏离本披露思想和精神的情况下想到许多更改、改变和替代的方式。应当理解的是在实践本披露的过程中，可以采用对本文所描述的本披露实施例的各种替代方案。所附权利要求书旨在限定本披露的保护范围，并因此覆盖这些权利要求范围内的等同或替代方案。

Claims (11)

1.一种视频编码方法，其特征在于，包括：

对第一帧图像中的图像块进行编码，得到第一数据；

对所述第一帧图像进行语义分析，得到语义信息，其中，所述语义信息为用于视频分析的信息，所述第一帧图像为所述视频中的任意一帧图像；

输出码流数据，所述码流数据包括所述第一数据和所述语义信息。

2.根据权利要求1所述的方法，其特征在于，所述对所述第一帧图像进行语义分析，得到语义信息，包括：

通过机器学习算法对所述第一帧图像进行语义分析，得到语义信息。

3.根据权利要求1或2所述的方法，其特征在于，所述语义信息包括以下一项或多项：目标信息、背景信息、前景信息、光流信息。

4.根据权利要求1所述的方法，其特征在于，所述输出码流数据，包括：

通过第一通道输出所述第一数据；

通过第二通道输出所述语义信息。

5.一种视频解码方法，其特征在于，包括：

接收码流数据，所述码流数据包括所述第一数据和所述语义信息。所述第一数据为对第一帧图像中的图像块进行编码得到的，所述语义信息为对所述第一帧图像进行语义分析得到；

解码得到第一帧图像中的图像块和/或所述第一帧图像的语义信息；

根据所述语义信息进行视频分析，所述第一帧图像为所述视频中的任意一帧图像。

6.根据权利要求5所述的方法，其特征在于，所述接收码流数据，包括：

通过第一通道接收所述第一数据；

通过第二通道接收所述语义信息。

7.根据权利要求5或6所述的方法，其特征在于，所述语义信息包括以下一项或多项：目标信息、背景信息、前景信息、光流信息。

8.一种视频编码器，其特征在于，包括：

编码单元，用于对第一帧图像中的图像块进行编码，得到第一数据；

分析单元，用于对所述第一帧图像进行语义分析，得到语义信息，其中，所述语义信息为用于视频分析的信息，所述第一帧图像为所述视频中的任意一帧图像；

输出单元，用于输出码流数据，所述码流数据包括所述第一数据和所述语义信息。

9.一种视频解码器，其特征在于，包括：

接收单元，用于接收码流数据，所述码流数据包括所述第一数据和所述语义信息。所述第一数据为对第一帧图像中的图像块进行编码得到的，所述语义信息为对所述第一帧图像进行语义分析得到；

解码单元，用于根据所述码流数据解码得到第一帧图像中的图像块和/或所述第一帧图像的语义信息；

分析单元，用于根据所述语义信息进行视频分析，所述第一帧图像为所述视频中的任意一帧图像。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，当所述计算机程序在一个或多个处理器上运行时，执行如权利要求1-7中任一项所述的方法。

11.一种芯片系统，其特征在于，所述芯片系统包括至少一个处理器、存储器和接口电路，所述存储器中存储有计算机程序，当所述计算机程序在一个或多个处理器上运行时，执行如权利要求1-7中任一项所述的方法。

Images