CN111405293B - 一种视频传输方法及装置 - Google Patents

Abstract

本公开关于一种视频传输方法及装置，提高了视频传输的速度。发送端响应于对目标视频的上传指令，确定目标视频的N个关键帧图像，N个关键帧图像中任意两个关键帧图像的差异值大于预设阈值；根据N个关键帧图像，将目标视频分为N个分段视频，一个分段视频包括一个关键帧图像，一个分段视频包括的关键帧图像与该分段视频中其他帧图像的差异值均小于或等于预设阈值；确定每个分段视频对应的平均帧图像，确定每个分段视频包括的每帧图像与该分段视频对应的平均帧图像的差值，得到每个平均帧图像对应的差值图像，每个平均帧图像为相应的分段视频的静态图像；向接收端发送每个分段视频对应的平均帧图像，以及每个平均帧图像对应的差值图像的压缩文件。

Description

一种视频传输方法及装置

技术领域

本公开涉及人工智能领域，尤其涉及一种视频传输方法及装置。

背景技术

目前，在视频传输领域，通常采用的编码方式有H.264、H.265等，可以采用这些编码方式，对视频的每一帧图像的信息进行压缩。但是，由于视频中帧与帧之间的相似度极高，因此使用现有的视频编码方式压缩后的视频文件仍有冗余信息，导致视频的传输速度较低。

发明内容

本公开提供一种视频传输方法及装置，降低了视频传输的信息量，提高了视频传输的速度。本公开的技术方案如下：

根据本公开的第一方面，提供一种视频传输方法，应用于发送端，该方法包括：

响应于对目标视频的上传指令，确定所述目标视频的N个关键帧图像，N为正整数；所述N个关键帧图像中，任意两个关键帧图像的差异值大于预设阈值；

根据所述N个关键帧图像，将所述目标视频分为N个分段视频；一个分段视频包括一个关键帧图像，且一个分段视频包括的关键帧图像与该分段视频中其他帧图像的差异值均小于或等于所述预设阈值；

确定所述N个分段视频中每个分段视频对应的平均帧图像，并确定每个分段视频包括的每帧图像与该分段视频对应的平均帧图像的差值，得到每个平均帧图像对应的差值图像；每个平均帧图像为相应的分段视频的静态图像；

向接收端发送所述N个分段视频中每个分段视频对应的平均帧图像，以及每个平均帧图像对应的差值图像的压缩文件。

可选的，在所述向接收端发送所述N个分段视频中每个分段视频对应的平均帧图像，以及每个平均帧图像对应的差值图像的压缩文件之前，所述方法还包括：

采用语义分割网络，对每个平均帧图像对应的差值图像进行压缩，得到每个平均帧图像对应的语义向量，一个平均帧图像对应的语义向量为该平均帧图像对应的差值图像的压缩文件。

可选的，所述响应于对目标视频的上传指令，确定所述目标视频的N个关键帧图像，包括：

响应于对所述目标视频的上传指令，计算所述目标视频的第K帧图像与第(K-1)帧图像的差异值，K为大于1的整数；

如果所述第K帧图像与所述第(K-1)帧图像的差异值大于所述预设阈值，则确定所述第K帧图像为关键帧图像；其中，所述目标视频的第一帧图像为关键帧图像。

可选的，所述计算所述目标视频的第K帧图像与第(K-1)帧图像的差异值，包括：

计算所述第K帧图像与所述第(K-1)帧图像的每个相同位置的像素点的像素值的差值的绝对值；

如果所述绝对值大于预设值，则确定所述绝对值对应的参考值为第一值；所述第一值用于指示所述绝对值对应的所述第K帧图像上相应位置的像素点是差异点；

如果所述绝对值小于或等于所述预设值，则确定所述绝对值对应的参考值为第二值；所述第二值用于指示所述绝对值对应的所述第K帧图像上相应位置的像素点不是差异点；

将所有参考值的和除以所述第K帧图像的像素点的数量，得到所述第K帧图像与所述第(K-1)帧图像的差异值。

可选的，所述根据所述N个关键帧图像，将所述目标视频分为N个分段视频，包括：

将每个关键帧图像作为相应的分段视频的第一帧图像，从该分段视频的第二帧图像开始，第M帧图像与前一帧图像的差异值小于或等于所述预设阈值，M为大于1的整数，且M小于或等于该分段视频包括的帧图像的数量。

可选的，所述确定每个分段视频包括的每帧图像与该分段视频对应的平均帧图像的差值，包括：

分别计算每个分段视频包括的每帧图像与该分段视频对应的平均帧图像的每个相同位置的像素点的像素值的差值。

可选的，所述响应于对目标视频的上传指令，确定所述目标视频的N个关键帧图像，包括：

在视频发布页面显示所述目标视频和发布控件；

响应于对所述发布控件的触发操作，确定所述目标视频的所述N个关键帧图像。

根据本公开的第二方面，提供一种视频传输方法，应用于接收端，该方法包括：

接收发送端发送的N个平均帧图像，以及每个平均帧图像对应的差值图像的压缩文件，N为正整数；其中，所述N个平均帧图像与N个分段视频一一对应，每个平均帧图像为相应的分段视频的静态图像，每个平均帧图像对应的差值图像是根据该平均帧图像对应的分段视频包括的每帧图像与该平均帧图像的差值得到的；所述N个分段视频是根据目标视频的N个关键帧图像，分割所述目标视频得到的，所述N个关键帧图像中，任意两个关键帧图像的差异值大于预设阈值，一个分段视频包括一个关键帧图像，且一个分段视频包括的关键帧图像与该分段视频中其他帧图像的差异值均小于或等于所述预设阈值；

对每个平均帧图像对应的差值图像的压缩文件进行解压，得到每个平均帧图像对应的差值图像；

将所述N个平均帧图像中的每个平均帧图像与对应的差值图像相加，得到每个平均帧图像对应的分段视频包括的原始图像；

根据每个平均帧图像对应的分段视频包括的原始图像，得到所述目标视频。

可选的，每个平均帧图像对应的差值图像的压缩文件为语义向量时，所述对每个平均帧图像对应的差值图像的压缩文件进行解压，得到每个平均帧图像对应的差值图像，包括：

采用语义分割网络，对每个平均帧图像对应的语义向量进行解压，得到每个平均帧图像对应的差值图像。

根据本公开的第三方面，提供一种视频传输装置，应用于发送端，包括：

确定模块，被配置为执行响应于对目标视频的上传指令，确定所述目标视频的N个关键帧图像，N为正整数；所述N个关键帧图像中，任意两个关键帧图像的差异值大于预设阈值；

分割模块，被配置为执行根据所述N个关键帧图像，将所述目标视频分为N个分段视频；一个分段视频包括一个关键帧图像，且一个分段视频包括的关键帧图像与该分段视频中其他帧图像的差异值均小于或等于所述预设阈值；

所述确定模块，还被配置为执行确定所述N个分段视频中每个分段视频对应的平均帧图像，并确定每个分段视频包括的每帧图像与该分段视频对应的平均帧图像的差值，得到每个平均帧图像对应的差值图像；每个平均帧图像为相应的分段视频的静态图像；

发送模块，被配置为执行向接收端发送所述N个分段视频中每个分段视频对应的平均帧图像，以及每个平均帧图像对应的差值图像的压缩文件。

可选的，所述视频传输装置还包括：编码模块；

所述编码模块，被配置为执行采用语义分割网络，对每个平均帧图像对应的差值图像进行压缩，得到每个平均帧图像对应的语义向量，一个平均帧图像对应的语义向量为该平均帧图像对应的差值图像的压缩文件。

可选的，所述确定模块，具体被配置为执行：

响应于对所述目标视频的上传指令，计算所述目标视频的第K帧图像与第(K-1)帧图像的差异值，K为大于1的整数；

如果所述第K帧图像与所述第(K-1)帧图像的差异值大于所述预设阈值，则确定所述第K帧图像为关键帧图像；其中，所述目标视频的第一帧图像为关键帧图像。

可选的，所述确定模块，具体被配置为执行：

计算所述第K帧图像与所述第(K-1)帧图像的每个相同位置的像素点的像素值的差值的绝对值；

如果所述绝对值大于预设值，则确定所述绝对值对应的参考值为第一值；所述第一值用于指示所述绝对值对应的所述第K帧图像上相应位置的像素点是差异点；

如果所述绝对值小于或等于所述预设值，则确定所述绝对值对应的参考值为第二值；所述第二值用于指示所述绝对值对应的所述第K帧图像上相应位置的像素点不是差异点；

将所有参考值的和除以所述第K帧图像的像素点的数量，得到所述第K帧图像与所述第(K-1)帧图像的差异值。

可选的，所述分割模块，具体被配置为执行：

将每个关键帧图像作为相应的分段视频的第一帧图像，从该分段视频的第二帧图像开始，第M帧图像与前一帧图像的差异值小于或等于所述预设阈值，M为大于1的整数，且M小于或等于该分段视频包括的帧图像的数量。

可选的，所述确定模块，具体被配置为执行：

分别计算每个分段视频包括的每帧图像与该分段视频对应的平均帧图像的每个相同位置的像素点的像素值的差值。

可选的，所述确定模块，具体被配置为执行：

在视频发布页面显示所述目标视频和发布控件；

响应于对所述发布控件的触发操作，确定所述目标视频的所述N个关键帧图像。

根据本公开的第四方面，提供一种视频传输装置，应用于接收端，包括：

接收模块，被配置为执行接收发送端发送的N个平均帧图像，以及每个平均帧图像对应的差值图像的压缩文件，N为正整数；其中，所述N个平均帧图像与N个分段视频一一对应，每个平均帧图像为相应的分段视频的静态图像，每个平均帧图像对应的差值图像是根据该平均帧图像对应的分段视频包括的每帧图像与该平均帧图像的差值得到的；所述N个分段视频是根据目标视频的N个关键帧图像，分割所述目标视频得到的，所述N个关键帧图像中，任意两个关键帧图像的差异值大于预设阈值，一个分段视频包括一个关键帧图像，且一个分段视频包括的关键帧图像与该分段视频中其他帧图像的差异值均小于或等于所述预设阈值；

解码模块，被配置为执行对每个平均帧图像对应的差值图像的压缩文件进行解压，得到每个平均帧图像对应的差值图像；

计算模块，被配置为执行将所述N个平均帧图像中的每个平均帧图像与对应的差值图像相加，得到每个平均帧图像对应的分段视频包括的原始图像；

获取模块，被配置为执行根据每个平均帧图像对应的分段视频包括的原始图像，得到所述目标视频。

可选的，每个平均帧图像对应的差值图像的压缩文件为语义向量时，所述解码模块，具体被配置为执行：

采用语义分割网络，对每个平均帧图像对应的语义向量进行解压，得到每个平均帧图像对应的差值图像。

根据本公开的第五方面，提供一种发送端，所述发送端包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现上述第一方面中任一种可选地视频传输方法。

根据本公开的第六方面，提供一种接收端，所述接收端包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现上述第二方面中任一种可选地视频传输方法。

根据本公开实施例的第七方面，提供一种视频传输系统，所述视频传输系统包括：执行上述第一方面中任一种可选地视频传输方法的发送端，以及执行上述第二方面中任一种可选地视频传输方法的接收端。

根据本公开的第八方面，提供一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，当所述计算机可读存储介质中的指令由发送端的处理器执行时，使得所述发送端能够执行上述第一方面中任一种可选地视频传输方法。

根据本公开的第九方面，提供一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，当所述计算机可读存储介质中的指令由接收端的处理器执行时，使得所述接收端能够执行上述第二方面中任一种可选地视频传输方法。

根据本公开的第十方面，提供一种计算机程序产品，包含指令，当其在计算机上运行时，使得计算机执行如第一方面中任一种可选地视频传输方法。

根据本公开的第十一方面，提供一种计算机程序产品，包含指令，当其在计算机上运行时，使得计算机执行如第二方面中任一种可选地视频传输方法。

本公开提供的技术方案至少带来以下有益效果：发送端响应于对目标视频的上传指令，确定目标视频的N个关键帧图像，该N个关键帧图像中任意两个关键帧图像的差异值大于预设阈值，根据N个关键帧图像，将目标视频分为N个分段视频，一个分段视频包括一个关键帧图像，且一个分段视频包括的关键帧图像与该分段视频中其他帧图像的差异值小于或等于预设阈值，确定N个分段视频中每个分段视频对应的平均帧图像，并确定每个分段视频包括的每帧图像与该分段视频对应的平均帧图像的差值，得到每个平均帧图像对应的差值图像，向接收端发送N个分段视频中每个分段视频对应的平均帧图像，以及每个平均帧图像对应的差值图像的压缩文件。

由于目标视频的N个关键帧图像中，任意两个关键帧图像的差异值大于预设阈值，即N个关键帧图像的语义不同，使得根据N个关键帧图像分割得到的N个分段视频的语义也不同，因此发送端仅需向接收端发送每个分段视频对应的平均帧图像，即该分段视频中的静态图像，以及每个平均帧图像对应的差值图像，即该分段视频的每帧图像相对于平均帧图像的变化的部分，接收端便能够根据接收到的文件恢复目标视频。由于在传输过程中，每个分段视频的静态图像仅传输一次，且差值图像的信息量小于原始图像的信息量，因此本公开与现有的传输每帧图像的信息相比，降低了视频传输的信息量，从而提高了视频传输的速度。且，N个分段视频的语义不同，能够提高差值图像压缩后的保真度。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1是根据一示例性实施例示出的一种视频传输系统的示意图。

图2是根据一示例性实施例示出的一种视频传输方法的流程图。

图3是根据一示例性实施例示出的另一种视频传输方法的流程图。

图4是根据一示例性实施例示出的另一种视频传输方法的流程图。

图5是根据一示例性实施例示出的一种视频传输装置的逻辑结构框图。

图6是根据一示例性实施例示出的另一种视频传输装置的逻辑结构框图。

图7是根据一示例性实施例示出的另一种视频传输装置的逻辑结构框图。

图8是根据一示例性实施例示出的一种终端的结构框图。

图9是根据一示例性实施例示出的一种服务器的结构框图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

首先，对本公开实施例的应用场景进行介绍。

本公开实施例提供的视频传输方法应用于发送端向接收端传输视频的场景中。例如，假设发送端为终端，接收端为服务器，当用户使用终端拍摄视频，并发布该视频时，终端可以将该视频传输至服务器。在相关技术中，终端可以在对该视频的每一帧图像进行压缩后传输该视频的压缩文件，但是由于该视频的压缩文件有冗余信息，导致视频的传输速度较低。为了解决上述问题，本公开实施例提供一种视频传输方法及装置，通过利用不同语义的关键帧图像，将视频进行分段，并传输每个分段视频对应的平均帧图像，以及每个平均帧图像对应的差值图像的压缩文件，来降低视频传输的信息量。

接下来，对本公开实施例的实施环境进行介绍。

图1是根据一示例性实施例示出的一种视频传输系统的示意图。如图1所示，该视频传输系统可以包括：发送端11和接收端12。发送端11通过有线通讯方式或无线通讯方式与接收端12进行通信。

其中，发送端11，具备视频上传功能，主要用于向接收端12发送N个分段视频中每个分段视频对应的平均帧图像，以及每个平均帧图像对应的差值图像的压缩文件。

在一些实施例中，当发送端11为终端时，终端具体可以为手机、平板电脑、笔记本电脑、台式计算机等，本公开对此不做限定。图1中以发送端11为手机为例示出。

接收端12，主要用于接收发送端11发送端发送的N个平均帧图像，以及每个平均帧图像对应的差值图像的压缩文件，并根据接收到的信息，还原目标视频。

在一些实施例中，当接收端12为服务器时，服务器可以为一台服务器，或者，也可以为由多台服务器组成的服务器集群，本公开对此不做限定。图2中以接收端12为一台服务器为例示出。

需要说明的是，在本公开实施例中，发送端11可以向接收端12传输视频。当然，接收端12也可以作为发送端，向发送端11传输视频。

在介绍了本公开实施例的应用场景和实施环境之后，对本公开实施例提供的视频传输方法进行详细介绍。

图2是根据一示例性实施例示出的一种视频传输方法的流程图，当该方法应用于发送端时，如图2所示，该方法可以包括步骤201-步骤204。

201、响应于对目标视频的上传指令，确定目标视频的N个关键帧图像。

其中，N为正整数，且N小于或等于目标视频包括的帧图像的数量。N个关键帧图像中，任意两个关键帧图像的差异值大于预设阈值。

可选的，本公开实施例中，发送端响应于对目标视频的上传指令，确定目标视频的N个关键帧图像可以应用于以下场景中。具体的：发送端可以在视频发布页面显示目标视频和发布控件，并响应于用户对发布控件的触发操作，确定N个关键帧图像。这样，通过触发发布控件，来触发确定关键帧图像，操作简单方便。

可选的，本公开实施例中，发送端确定N个关键帧图像的具体过程为：发送端可以响应于对目标视频的上传指令，计算目标视频的第K帧图像与第(K-1)帧图像的差异值，K为大于1的整数，且K小于或等于目标视频包括的帧图像的数量。通过判断差异值是否大于预设阈值，来判断第K帧图像是否为关键帧图像。如果差异值大于预设阈值，则表明第K帧图像与第(K-1)帧图像相比，变化幅度已达到一定程度，也就是说，第K帧图像与第(K-1)帧图像的语义不同，此时发送端可以确定该第K帧图像为关键帧图像。如果差异值小于或等于预设阈值，则表明第K帧图像与第(K-1)帧图像相比，变化幅度较小，即语义相同，此时发送端确定第K帧图像不是关键帧图像。这样，通过根据相邻两帧图像的差异值来判断后一帧图像是否为关键帧图像，差异值较大则为关键帧图像，即这两帧图像的语义不同，找出语义不同的关键帧图像是实现视频分段传输的基础。

其中，默认目标视频的第一帧图像为关键帧图像。按照上述方式，将目标视频的所有后一帧图像与前一帧图像的差异值均进行判断之后，便可以得到目标视频的N个关键帧图像。

可选的，在一些实施例中，发送端计算第K帧图像与第(K-1)帧图像的差异值可以采用以下方式：先计算第K帧图像与第(K-1)帧图像的每个相同位置的像素点的像素值的差值的绝对值。对于任意一个绝对值，如果该绝对值大于预设值，则确定该绝对值对应的参考值为第一值，如果该绝对值小于或等于预设值，则确定该绝对值对应的参考值为第二值。其中，第一值用于指示该绝对值对应的第K帧图像上相应位置的像素点是差异点，第二值用于指示绝对值对应的第K帧图像上相应位置的像素点不是差异点。最后，可以将所有参考值的和除以第K帧图像的像素点的数量，得到第K帧图像与第(K-1)帧图像的差异值。这样，通过统计当前帧图像上差异点的数量，除以当前帧图像的像素点的数量，得到当前帧图像与前一帧图像的差异值，该差异值能够准确反映当前帧图像的变化幅度。

例如，可以采用以下公式，确定绝对值对应的参考值dij。

其中，k表示第K帧，k-1表示第(k-1)帧，(i，j)表示像素点的位置。x_k(i，j)表示第K帧图像(i，j)处的像素点的像素值，x_k-1(i，j)表示第(K-1)帧图像(i，j)处的像素点的像素值，t为预设值。第一值为1，第二值为0。

假设第K帧图像包括的像素点的数量为P，那么在确定出P个像素点分别对应的参考值后，可以采用以下公式，确定P个参考值的和c。也就是说，可以确定出，第K帧图像包括的差异点的数量。

最后，将c除以P便得到第K帧图像与第(K-1)帧图像的差异值。

202、根据N个关键帧图像，将目标视频分为N个分段视频。

其中，一个分段视频包括一个关键帧图像，且一个分段视频包括的关键帧图像与该分段视频中其他帧图像的差异值均小于或等于预设阈值。

可选的，本公开实施例中，发送端在确定出N个关键帧图像之后，可以根据该N个关键帧图像，将目标视频分为N个分段视频。具体的，发送端可以将每个关键帧图像作为一个分段视频的第一帧图像，从该分段视频的第二帧图像开始，第M帧图像与前一帧图像的差异值小于或等于预设阈值。其中，M为大于1的整数，且M小于或等于该分段视频包括的帧图像的数量。这样，使得一个分段视频包括一个关键帧图像，从而将目标视频分为N个语义不同的分段视频，通过传输不同语义的分段视频，能够提高视频的保真度。

示例性的，假设目标视频包括第1、2、3、4、5帧图像，默认第1帧为关键帧图像，且假设第3和4帧为关键帧图像。那么分段视频共有3个，第一个包括第1和2帧图像。第二个包括第3帧图像。第三个包括第4和5帧图像。

203、确定N个分段视频中每个分段视频对应的平均帧图像，并确定每个分段视频包括的每帧图像与该分段视频对应的平均帧图像的差值，得到每个平均帧图像对应的差值图像。

其中，每个平均帧图像为相应的分段视频的静态图像，静态图像指的是分段视频中未变动的部分。

可选的，在本公开实施例中，发送端在确定出N个分段视频后，可以确定每个分段视频对应的平均帧图像。具体的，对于每一个分段视频，发送端可以将该分段视频输入预设模型中，从而得到输出的平均帧图像。该预设模型是采用ViBe算法，预先训练得到的。这样，按照相同的方式，发送端可以得到N个平均帧图像，该N个平均帧图像与N个分段视频一一对应。

可选的，在本公开实施例中，发送端在确定出每个分段视频对应的平均帧图像后，可以确定每个分段视频包括的每帧图像与该分段视频对应的平均帧图像的差值，得到每个平均帧图像对应的差值图像。具体的，发送端可以分别计算每个分段视频包括的每帧图像与该分段视频对应的平均帧图像的每个相同位置的像素点的像素值的差值。这样，能够得到每个分段视频包括的每帧图像相对于平均帧图像变化的部分，从而能够实现每个分段视频的静态图像仅传输一次，且传输该分段视频的每帧图像的变化部分。

204、向接收端发送N个分段视频中每个分段视频对应的平均帧图像，以及每个平均帧图像对应的差值图像的压缩文件。

上述实施例提供的技术方案至少带来以下有益效果：发送端响应于对目标视频的上传指令，确定目标视频的N个关键帧图像，该N个关键帧图像中任意两个关键帧图像的差异值大于预设阈值，根据N个关键帧图像，将目标视频分为N个分段视频，一个分段视频包括一个关键帧图像，且一个分段视频包括的关键帧图像与该分段视频中其他帧图像的差异值小于或等于预设阈值，确定N个分段视频中每个分段视频对应的平均帧图像，并确定每个分段视频包括的每帧图像与该分段视频对应的平均帧图像的差值，得到每个平均帧图像对应的差值图像，向接收端发送N个分段视频中每个分段视频对应的平均帧图像，以及每个平均帧图像对应的差值图像的压缩文件。

由于目标视频的N个关键帧图像中，任意两个关键帧图像的差异值大于预设阈值，即N个关键帧图像的语义不同，使得根据N个关键帧图像分割得到的N个分段视频的语义也不同，因此发送端仅需向接收端发送每个分段视频对应的平均帧图像，即该分段视频中的静态图像，以及每个平均帧图像对应的差值图像，即该分段视频的每帧图像相对于平均帧图像的变化的部分，接收端便能够根据接收到的文件恢复目标视频。由于在传输过程中，每个分段视频的静态图像仅传输一次，且差值图像的信息量小于原始图像的信息量，因此本公开与现有的传输每帧图像的信息相比，降低了视频传输的信息量，从而提高了视频传输的速度。且，N个分段视频的语义不同，能够提高差值图像压缩后的保真度。

可选的，在执行上述步骤204之前，发送端需要先对每个平均帧图像对应的差值图像进行编码。具体的，如图3所示，还可以包括步骤205。

205、采用语义分割网络，对每个平均帧图像对应的差值图像进行压缩，得到每个平均帧图像对应的语义向量。

其中，一个平均帧图像对应的语义向量为该平均帧图像对应的差值图像的压缩文件。发送端在得到每个平均帧图像对应的差值图像后，发送端可以采用语义分割网络，如U-net网络，对每个平均帧图像对应的差值图像进行压缩，得到每个平均帧图像对应的语义向量。该语义向量为一个三维的向量。

上述实施例提供的技术方案至少带来以下有益效果：通过采用语义分割网络进行压缩，只要传输压缩后的三维向量，便可以在接收端还原视频，能够提高视频的压缩率。且压缩率能够达到关键帧图像的数量N除以目标视频包括的帧图像的数量，基本实现了无损压缩，从而接收端能够实现无损还原视频。

图4是根据一示例性实施例示出的一种视频传输方法的流程图，当该方法应用于接收端时，如图4所示，该方法可以包括步骤301-步骤304。

301、接收发送端发送的N个平均帧图像，以及每个平均帧图像对应的差值图像的压缩文件。

其中，N为正整数。N个平均帧图像与N个分段视频一一对应，每个平均帧图像为相应的分段视频的静态图像，每个平均帧图像对应的差值图像是根据该平均帧图像对应的分段视频包括的每帧图像与该平均帧图像的差值得到的。N个分段视频是根据目标视频的N个关键帧图像，分割目标视频得到的。N个关键帧图像中，任意两个关键帧图像的差异值大于预设阈值，一个分段视频包括一个关键帧图像，且一个分段视频包括的关键帧图像与该分段视频中其他帧图像的差异值均小于或等于预设阈值。

302、对每个平均帧图像对应的差值图像的压缩文件进行解压，得到每个平均帧图像对应的差值图像。

可选的，当每个平均帧图像对应的差值图像的压缩文件为语义向量时，接收端可以采用语义分割网络，对每个平均帧图像对应的语义向量进行解压，得到每个平均帧图像对应的差值图像。这样，通过采用语义分割网络进行解压，能够提高视频的压缩率，从而接收端能够实现无损还原视频。

303、将N个平均帧图像中的每个平均帧图像与对应的差值图像相加，得到每个平均帧图像对应的分段视频包括的原始图像。

304、根据每个平均帧图像对应的分段视频包括的原始图像，得到目标视频。

上述实施例提供的技术方案至少带来以下有益效果：由于目标视频的N个关键帧图像中，任意两个关键帧图像的差异值大于预设阈值，即N个关键帧图像的语义不同，使得根据N个关键帧图像分割得到的N个分段视频的语义也不同，因此发送端仅需向接收端发送每个分段视频对应的平均帧图像，即该分段视频中的静态图像，以及每个平均帧图像对应的差值图像，即该分段视频的每帧图像相对于平均帧图像的变化的部分，接收端便能够根据接收到的文件恢复目标视频。由于在传输过程中，每个分段视频的静态图像仅传输一次，且差值图像的信息量小于原始图像的信息量，因此本公开与现有的传输每帧图像的信息相比，降低了视频传输的信息量，从而提高了视频传输的速度。

图5是根据一示例性实施例示出的一种视频传输装置的逻辑结构框图。参照图5，该视频传输装置应用于发送端，该视频传输装置包括：确定模块41、分割模块42和发送模块43。

确定模块41，被配置为执行响应于对目标视频的上传指令，确定所述目标视频的N个关键帧图像，N为正整数；所述N个关键帧图像中，任意两个关键帧图像的差异值大于预设阈值；

分割模块42，被配置为执行根据所述N个关键帧图像，将所述目标视频分为N个分段视频；一个分段视频包括一个关键帧图像，且一个分段视频包括的关键帧图像与该分段视频中其他帧图像的差异值均小于或等于所述预设阈值；

所述确定模块41，还被配置为执行确定所述N个分段视频中每个分段视频对应的平均帧图像，并确定每个分段视频包括的每帧图像与该分段视频对应的平均帧图像的差值，得到每个平均帧图像对应的差值图像；每个平均帧图像为相应的分段视频的静态图像；

发送模块43，被配置为执行向接收端发送所述N个分段视频中每个分段视频对应的平均帧图像，以及每个平均帧图像对应的差值图像的压缩文件。

可选的，所述视频传输装置还包括：编码模块44(如图6所示)；

所述编码模块44，被配置为执行采用语义分割网络，对每个平均帧图像对应的差值图像进行压缩，得到每个平均帧图像对应的语义向量，一个平均帧图像对应的语义向量为该平均帧图像对应的差值图像的压缩文件。

可选的，所述确定模块41，具体被配置为执行：

响应于对所述目标视频的上传指令，计算所述目标视频的第K帧图像与第(K-1)帧图像的差异值，K为大于1的整数；

如果所述第K帧图像与所述第(K-1)帧图像的差异值大于所述预设阈值，则确定所述第K帧图像为关键帧图像；其中，所述目标视频的第一帧图像为关键帧图像。

可选的，所述确定模块41，具体被配置为执行：

计算所述第K帧图像与所述第(K-1)帧图像的每个相同位置的像素点的像素值的差值的绝对值；

如果所述绝对值大于预设值，则确定所述绝对值对应的参考值为第一值；所述第一值用于指示所述绝对值对应的所述第K帧图像上相应位置的像素点是差异点；

如果所述绝对值小于或等于所述预设值，则确定所述绝对值对应的参考值为第二值；所述第二值用于指示所述绝对值对应的所述第K帧图像上相应位置的像素点不是差异点；

将所有参考值的和除以所述第K帧图像的像素点的数量，得到所述第K帧图像与所述第(K-1)帧图像的差异值。

可选的，所述分割模块42，具体被配置为执行：

将每个关键帧图像作为相应的分段视频的第一帧图像，从该分段视频的第二帧图像开始，第M帧图像与前一帧图像的差异值小于或等于所述预设阈值，M为大于1的整数，且M小于或等于该分段视频包括的帧图像的数量。

可选的，所述确定模块41，具体被配置为执行：

分别计算每个分段视频包括的每帧图像与该分段视频对应的平均帧图像的每个相同位置的像素点的像素值的差值。

可选的，所述确定模块41，具体被配置为执行：

在视频发布页面显示所述目标视频和发布控件；

响应于对所述发布控件的触发操作，确定所述目标视频的所述N个关键帧图像。

图7是根据一示例性实施例示出的一种视频传输装置的逻辑结构框图。参照图7，该视频传输装置应用于接收端，该视频传输装置包括：接收模块51、解码模块52、计算模块53和获取模块54。

接收模块51，被配置为执行接收发送端发送的N个平均帧图像，以及每个平均帧图像对应的差值图像的压缩文件，N为正整数；其中，所述N个平均帧图像与N个分段视频一一对应，每个平均帧图像为相应的分段视频的静态图像，每个平均帧图像对应的差值图像是根据该平均帧图像对应的分段视频包括的每帧图像与该平均帧图像的差值得到的；所述N个分段视频是根据目标视频的N个关键帧图像，分割所述目标视频得到的，所述N个关键帧图像中，任意两个关键帧图像的差异值大于预设阈值，一个分段视频包括一个关键帧图像，且一个分段视频包括的关键帧图像与该分段视频中其他帧图像的差异值均小于或等于所述预设阈值；

解码模块52，被配置为执行对每个平均帧图像对应的差值图像的压缩文件进行解压，得到每个平均帧图像对应的差值图像；

计算模块53，被配置为执行将所述N个平均帧图像中的每个平均帧图像与对应的差值图像相加，得到每个平均帧图像对应的分段视频包括的原始图像；

获取模块54，被配置为执行根据每个平均帧图像对应的分段视频包括的原始图像，得到所述目标视频。

可选的，每个平均帧图像对应的差值图像的压缩文件为语义向量时，所述解码模块52，具体被配置为执行：

采用语义分割网络，对每个平均帧图像对应的语义向量进行解压，得到每个平均帧图像对应的差值图像。

图8是根据一示例性实施例示出的一种发送端的结构框图，该发送端可以是终端，该终端可以是：智能手机、平板电脑、笔记本电脑或台式电脑。

终端可以包括至少一个处理器61，通信总线62，存储器63以及至少一个通信接口64。

处理器61可以是一个处理器(central processing units，CPU)，微处理单元，ASIC，或一个或多个用于控制本公开方案程序执行的集成电路。

通信总线62可包括一通路，在上述组件之间传送信息。

通信接口64，使用任何收发器一类的装置，用于与其他设备或通信网络通信，如服务器、以太网，无线接入网(radio access network，RAN)，无线局域网(wireless localarea networks，WLAN)等。

存储器63可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electricallyerasable programmable read-only memory，EEPROM)、只读光盘(compact disc read-only memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立存在，通过总线与处理单元相连接。存储器也可以和处理单元集成在一起。

其中，存储器63用于存储执行本公开方案的应用程序代码，并由处理器61来控制执行。处理器61用于执行存储器63中存储的应用程序代码，从而实现本公开方法中的功能。

在具体实现中，作为一种实施例，处理器61可以包括一个或多个CPU，例如图8中的CPU0和CPU1。

在具体实现中，作为一种实施例，终端可以包括多个处理器，例如图8中的处理器61和处理器65。这些处理器中的每一个可以是一个单核(single-CPU)处理器，也可以是一个多核(multi-CPU)处理器。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。

本领域技术人员可以理解，图8中示出的结构并不构成对终端的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

图9是根据一示例性实施例示出的一种接收端的结构框图，该接收端可以是服务器。该服务器可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器71和一个或一个以上的存储器72。其中，存储器72中存储有至少一条指令，至少一条指令由处理器71加载并执行以实现上述各个方法实施例提供的视频传输方法。当然，该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该服务器还可以包括其他用于实现设备功能的部件，在此不做赘述。

本公开还提供了一种包括指令的计算机可读存储介质，所述计算机可读存储介质上存储有指令，当所述计算机可读存储介质中的指令由计算机设备的处理器执行时，使得计算机能够执行上述所示实施例提供的视频传输方法。例如，计算机可读存储介质可以为包括指令的存储器63，上述指令可由终端的处理器61执行以完成上述方法。又例如，计算机可读存储介质可以为包括指令的存储器72，上述指令可由服务器的处理器71执行以完成上述方法。可选地，计算机可读存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、RAM、CD-ROM、磁带、软盘和光数据存储设备等。

本公开还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机设备执行上述所示实施例提供的视频传输方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (21)

1.一种视频传输方法，应用于发送端，其特征在于，所述方法包括：

响应于对目标视频的上传指令，确定所述目标视频的N个关键帧图像，N为正整数；所述N个关键帧图像中，任意两个关键帧图像的差异值大于预设阈值；

根据所述N个关键帧图像，将所述目标视频分为N个分段视频；一个分段视频包括一个关键帧图像，且一个分段视频包括的关键帧图像与该分段视频中其他帧图像的差异值均小于或等于所述预设阈值；

确定所述N个分段视频中每个分段视频对应的平均帧图像，并确定每个分段视频包括的每帧图像与该分段视频对应的平均帧图像的差值，得到每个平均帧图像对应的差值图像；每个平均帧图像为相应的分段视频的静态图像；

向接收端发送所述N个分段视频中每个分段视频对应的平均帧图像，以及每个平均帧图像对应的差值图像的压缩文件；

所述根据所述N个关键帧图像，将所述目标视频分为N个分段视频，包括：

将每个关键帧图像作为相应的分段视频的第一帧图像，从该分段视频的第二帧图像开始，第M帧图像与前一帧图像的差异值小于或等于所述预设阈值，M为大于1的整数，且M小于或等于该分段视频包括的帧图像的数量。

2.根据权利要求1所述的视频传输方法，其特征在于，在所述向接收端发送所述N个分段视频中每个分段视频对应的平均帧图像，以及每个平均帧图像对应的差值图像的压缩文件之前，所述方法还包括：

采用语义分割网络，对每个平均帧图像对应的差值图像进行压缩，得到每个平均帧图像对应的语义向量，一个平均帧图像对应的语义向量为该平均帧图像对应的差值图像的压缩文件。

3.根据权利要求1或2所述的视频传输方法，其特征在于，所述响应于对目标视频的上传指令，确定所述目标视频的N个关键帧图像，包括：

响应于对所述目标视频的上传指令，计算所述目标视频的第K帧图像与第(K-1)帧图像的差异值，K为大于1的整数；

如果所述第K帧图像与所述第(K-1)帧图像的差异值大于所述预设阈值，则确定所述第K帧图像为关键帧图像；其中，所述目标视频的第一帧图像为关键帧图像。

4.根据权利要求3所述的视频传输方法，其特征在于，所述计算所述目标视频的第K帧图像与第(K-1)帧图像的差异值，包括：

计算所述第K帧图像与所述第(K-1)帧图像的每个相同位置的像素点的像素值的差值的绝对值；

如果所述绝对值大于预设值，则确定所述绝对值对应的参考值为第一值；所述第一值用于指示所述绝对值对应的所述第K帧图像上相应位置的像素点是差异点；

如果所述绝对值小于或等于所述预设值，则确定所述绝对值对应的参考值为第二值；所述第二值用于指示所述绝对值对应的所述第K帧图像上相应位置的像素点不是差异点；

将所有参考值的和除以所述第K帧图像的像素点的数量，得到所述第K帧图像与所述第(K-1)帧图像的差异值。

5.根据权利要求1、2、4中任一项所述的视频传输方法，其特征在于，所述确定每个分段视频包括的每帧图像与该分段视频对应的平均帧图像的差值，包括：

分别计算每个分段视频包括的每帧图像与该分段视频对应的平均帧图像的每个相同位置的像素点的像素值的差值。

6.根据权利要求1、2、4中任一项所述的视频传输方法，其特征在于，所述响应于对目标视频的上传指令，确定所述目标视频的N个关键帧图像，包括：

在视频发布页面显示所述目标视频和发布控件；

响应于对所述发布控件的触发操作，确定所述目标视频的所述N个关键帧图像。

7.一种视频传输方法，应用于接收端，其特征在于，所述方法包括：

接收发送端发送的N个平均帧图像，以及每个平均帧图像对应的差值图像的压缩文件，N为正整数；其中，所述N个平均帧图像与N个分段视频一一对应，每个平均帧图像为相应的分段视频的静态图像，每个平均帧图像对应的差值图像是根据该平均帧图像对应的分段视频包括的每帧图像与该平均帧图像的差值得到的；所述N个分段视频是根据目标视频的N个关键帧图像，分割所述目标视频得到的，所述N个关键帧图像中，任意两个关键帧图像的差异值大于预设阈值，一个分段视频包括一个关键帧图像，且一个分段视频包括的关键帧图像与该分段视频中其他帧图像的差异值均小于或等于所述预设阈值；每个所述关键帧图像为相应的分段视频的第一帧图像，且从每个分段视频的第二帧图像开始，第M帧图像与前一帧图像的差异值小于或等于所述预设阈值，M为大于1的整数，且M小于或等于该分段视频包括的帧图像的数量；

对每个平均帧图像对应的差值图像的压缩文件进行解压，得到每个平均帧图像对应的差值图像；

将所述N个平均帧图像中的每个平均帧图像与对应的差值图像相加，得到每个平均帧图像对应的分段视频包括的原始图像；

根据每个平均帧图像对应的分段视频包括的原始图像，得到所述目标视频。

8.根据权利要求7所述的视频传输方法，其特征在于，每个平均帧图像对应的差值图像的压缩文件为语义向量时，所述对每个平均帧图像对应的差值图像的压缩文件进行解压，得到每个平均帧图像对应的差值图像，包括：

采用语义分割网络，对每个平均帧图像对应的语义向量进行解压，得到每个平均帧图像对应的差值图像。

9.一种视频传输装置，应用于发送端，其特征在于，包括：

确定模块，被配置为执行响应于对目标视频的上传指令，确定所述目标视频的N个关键帧图像，N为正整数；所述N个关键帧图像中，任意两个关键帧图像的差异值大于预设阈值；

分割模块，被配置为执行根据所述N个关键帧图像，将所述目标视频分为N个分段视频；一个分段视频包括一个关键帧图像，且一个分段视频包括的关键帧图像与该分段视频中其他帧图像的差异值均小于或等于所述预设阈值；

所述确定模块，还被配置为执行确定所述N个分段视频中每个分段视频对应的平均帧图像，并确定每个分段视频包括的每帧图像与该分段视频对应的平均帧图像的差值，得到每个平均帧图像对应的差值图像；每个平均帧图像为相应的分段视频的静态图像；

发送模块，被配置为执行向接收端发送所述N个分段视频中每个分段视频对应的平均帧图像，以及每个平均帧图像对应的差值图像的压缩文件；

所述分割模块，具体被配置为执行：

将每个关键帧图像作为相应的分段视频的第一帧图像，从该分段视频的第二帧图像开始，第M帧图像与前一帧图像的差异值小于或等于所述预设阈值，M为大于1的整数，且M小于或等于该分段视频包括的帧图像的数量。

10.根据权利要求9所述的视频传输装置，其特征在于，所述视频传输装置还包括：编码模块；

所述编码模块，被配置为执行采用语义分割网络，对每个平均帧图像对应的差值图像进行压缩，得到每个平均帧图像对应的语义向量，一个平均帧图像对应的语义向量为该平均帧图像对应的差值图像的压缩文件。

11.根据权利要求9或10所述的视频传输装置，其特征在于，所述确定模块，具体被配置为执行：

响应于对所述目标视频的上传指令，计算所述目标视频的第K帧图像与第(K-1)帧图像的差异值，K为大于1的整数；

如果所述第K帧图像与所述第(K-1)帧图像的差异值大于所述预设阈值，则确定所述第K帧图像为关键帧图像；其中，所述目标视频的第一帧图像为关键帧图像。

12.根据权利要求11所述的视频传输装置，其特征在于，所述确定模块，具体被配置为执行：

计算所述第K帧图像与所述第(K-1)帧图像的每个相同位置的像素点的像素值的差值的绝对值；

如果所述绝对值大于预设值，则确定所述绝对值对应的参考值为第一值；所述第一值用于指示所述绝对值对应的所述第K帧图像上相应位置的像素点是差异点；

如果所述绝对值小于或等于所述预设值，则确定所述绝对值对应的参考值为第二值；所述第二值用于指示所述绝对值对应的所述第K帧图像上相应位置的像素点不是差异点；

将所有参考值的和除以所述第K帧图像的像素点的数量，得到所述第K帧图像与所述第(K-1)帧图像的差异值。

13.根据权利要求9、10、12中任一项所述的视频传输装置，其特征在于，所述确定模块，具体被配置为执行：

分别计算每个分段视频包括的每帧图像与该分段视频对应的平均帧图像的每个相同位置的像素点的像素值的差值。

14.根据权利要求9、10、12中任一项所述的视频传输装置，其特征在于，所述确定模块，具体被配置为执行：

在视频发布页面显示所述目标视频和发布控件；

响应于对所述发布控件的触发操作，确定所述目标视频的所述N个关键帧图像。

15.一种视频传输装置，应用于接收端，其特征在于，包括：

接收模块，被配置为执行接收发送端发送的N个平均帧图像，以及每个平均帧图像对应的差值图像的压缩文件，N为正整数；其中，所述N个平均帧图像与N个分段视频一一对应，每个平均帧图像为相应的分段视频的静态图像，每个平均帧图像对应的差值图像是根据该平均帧图像对应的分段视频包括的每帧图像与该平均帧图像的差值得到的；所述N个分段视频是根据目标视频的N个关键帧图像，分割所述目标视频得到的，所述N个关键帧图像中，任意两个关键帧图像的差异值大于预设阈值，一个分段视频包括一个关键帧图像，且一个分段视频包括的关键帧图像与该分段视频中其他帧图像的差异值均小于或等于所述预设阈值；每个所述关键帧图像为相应的分段视频的第一帧图像，且从每个分段视频的第二帧图像开始，第M帧图像与前一帧图像的差异值小于或等于所述预设阈值，M为大于1的整数，且M小于或等于该分段视频包括的帧图像的数量；

解码模块，被配置为执行对每个平均帧图像对应的差值图像的压缩文件进行解压，得到每个平均帧图像对应的差值图像；

计算模块，被配置为执行将所述N个平均帧图像中的每个平均帧图像与对应的差值图像相加，得到每个平均帧图像对应的分段视频包括的原始图像；

获取模块，被配置为执行根据每个平均帧图像对应的分段视频包括的原始图像，得到所述目标视频。

16.根据权利要求15所述的视频传输装置，其特征在于，每个平均帧图像对应的差值图像的压缩文件为语义向量时，所述解码模块，具体被配置为执行：

采用语义分割网络，对每个平均帧图像对应的语义向量进行解压，得到每个平均帧图像对应的差值图像。

17.一种发送端，其特征在于，所述发送端包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现如权利要求1-6中任一项所述的视频传输方法。

18.一种接收端，其特征在于，所述接收端包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现如权利要求7-8中任一项所述的视频传输方法。

19.一种视频传输系统，其特征在于，所述视频传输系统包括：执行如权利要求1-6中任一项所述的视频传输方法的发送端，以及执行如权利要求7-8中任一项所述的视频传输方法的接收端。

20.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，当所述计算机可读存储介质中的指令由发送端的处理器执行时，使得所述发送端能够执行如权利要求1-6中任一项所述的视频传输方法。

21.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，当所述计算机可读存储介质中的指令由接收端的处理器执行时，使得所述接收端能够执行如权利要求7-8中任一项所述的视频传输方法。

Images