CN111510739B - 一种视频传输方法及装置 - Google Patents

一种视频传输方法及装置 Download PDF

Info

Publication number
CN111510739B
CN111510739B CN201910096918.3A CN201910096918A CN111510739B CN 111510739 B CN111510739 B CN 111510739B CN 201910096918 A CN201910096918 A CN 201910096918A CN 111510739 B CN111510739 B CN 111510739B
Authority
CN
China
Prior art keywords
video
resolution
channel data
reconstructed
difference information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910096918.3A
Other languages
English (en)
Other versions
CN111510739A (zh
Inventor
潘邵武
刘坤
熊张亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201910096918.3A priority Critical patent/CN111510739B/zh
Publication of CN111510739A publication Critical patent/CN111510739A/zh
Application granted granted Critical
Publication of CN111510739B publication Critical patent/CN111510739B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种视频传输方法及装置，用以解决现有技术中采用高压缩比视频编码方案进行视频传输，成本较高的问题。本申请中，第一设备对原始视频进行分辨率压缩，生成压缩视频；之后，对压缩视频进行超分辨率重建，生成与原始视频的分辨率相同的重建视频；之后，第一设备可以根据原始视频和重建视频生成差异信息，并向第二设备发送压缩视频和差异信息；之后，第二设备对压缩视频进行超分辨率重建，生成重建视频；可以基于重建视频和接收到的来自第一设备的差异信息，生成第一视频。第一设备只需向第二设备发送压缩视频以及差异信息，可以使得占用的网络带宽更小，能够缩短传输时间；且第一设备和第二设备也不需要进行硬件升级，可以有效控制成本。

Description

一种视频传输方法及装置
技术领域
本申请涉及视频技术领域，尤其涉及一种视频传输方法及装置。
背景技术
随着现代通信技术迅速发展和多媒体数字设备的大范围普及，数字视频因其便于传输和后期处理，已在各领域得到了广泛应用，如，互联网协议电视(internet protocoltelevision，IPTV)技术就是通过有线宽带网络，向家庭用户提供数字视频。
但是网络传输系统设施和网络带宽速率对IPTV业务所承载的数字视频的分辨率存在较为明显的限制，例如，在一些网络带宽容量较低的地区，IPTV业务所承载的数字视频的分辨率较低；又例如，在观影密集的时段内，网络带宽容易存在波动，用户若观看高分辨率的高清视频时，会出现卡顿，马赛克等现象，影响用户体验。
为了能够保证用户可以流畅的观看高清视频，目前提出了高压缩比视频编码方案，也就是在视频传输时，采用更低的码率对视频进行传输；在视频传输过程中，对视频进行分析，根据实时的网络环境调节码率，以保证用户在网络环境较差的情况下，仍可以流畅的观看高清视频。
但是为了实现高压缩比视频编码方案，需要对整个网络传输系统进行硬件改造，成本巨大，无法进行广泛的普及。
发明内容
本申请提供一种视频传输方法及装置，用以解决现有技术中采用高压缩比视频编码方案进行视频传输，成本较高的问题。
第一方面，本申请实施例提供了一种视频传输方法，所述方法包括：首先，第一设备对原始视频进行分辨率压缩，生成压缩视频；之后，对所述压缩视频进行超分辨率重建，生成与所述原始视频的分辨率相同的重建视频；之后，所述第一设备可以根据所述原始视频和所述重建视频生成差异信息，所述差异信息用于表征所述原始视频的图像信息与所述重建视频的图像信息的差异；并向所述第二设备发送所述压缩视频和所述差异信息。
通过上述方法，所述第一设备只需向所述第二设备发送所述压缩视频以及所述差异信息，相较于设备之间传输原始视频的方式，可以占用较小的网络带宽，能够有效缩短传输时间，也可以有效利用网络资源；且所述第一设备和所述第二设备也不需要进行硬件升级，只要保证所述第一设备和所述第二设备配置有相应的逻辑功能就可以实现视频传输，可以有效控制成本。
在一种可能的设计中，所述第一设备可以基于神经网络模型对所述压缩视频进行超分辨率重建，将所述压缩视频重建为所述重建视频。
通过上述方法，通过神经网络模型实现超分辨率重建，可以提高视频重建的效率，也可以保证生成的所述重建视频的质量。
在一种可能的设计中，所述神经网络模型是以低分辨率样本图像为输入，高分辨率样本图像为输出，通过学习算法训练生成的，其中，所述低分辨率样本图像是所述高分辨率样本图像进行分辨率压缩后生成的。
通过上述方法，基于所述低分辨率样本图像和所述高分辨率样本图像训练生成的所述神经网络模型可以更加准确、高效的实现超分辨重建。
在一种可能的设计中，所述第一设备在对所述压缩视频进行超分辨率重建的过程中可以只对所述压缩视频的部分图像数据进行处理，示例性的，所述第一设备可以对所述压缩视频的Y通道数据进行超分辨重建，生成所述重建视频的Y通道数据。
通过上述方法，所述第一设备只对所述压缩视频的部分数据进行超分辨重建可以有效缩短视频重建的时间，进而保证之后可以较快的将所述压缩视频和所述差异信息发送给所述第二设备。
在一种可能的设计中，所述第一设备在生成所述差异信息时，可以根据所述原始视频的Y通道数据与所述重建视频的Y通道数据的差值，生成所述差异信息。
通过上述方法，可以通过差值的方式较为方便、快捷的生成所述差异信息，可以有效提高视频传输的效率。
第二方面，本申请实施例提供了一种视频传输方法，所述方法包括：首先，第二设备先接收来自第一设备的压缩视频；之后，可以对所述压缩视频进行超分辨率重建，生成重建视频；并且可以基于所述重建视频和接收到的来自所述第一设备的差异信息，生成所述第一视频，所述差异信息用于表征原始视频的图像信息与所述重建视频的图像信息的差异，所述原始视频与所述第一视频的分辨率相同。
通过上述方法，所述第二设备只需从所述第一设备接收所述压缩视频以及所述差异信息，可以生成与所述原始视频分辨率相同的第一视频，相较于设备之间传输原始视频的方式，占用的网络带宽更小，能够有效缩短传输时间，也可以有效利用网络资源；且所述第一设备和所述第二设备也不需要进行硬件升级，只要保证所述第一设备和所述第二设备配置有相应的逻辑功能就可以实现视频传输，使得所述第二设备可以还原出所述第一视频，可以有效控制成本。
在一种可能的设计中，所述第二设备可以基于神经网络模型对所述压缩视频进行超分辨率重建，将所述压缩视频重建为所述重建视频。
通过上述方法，通过神经网络模型实现超分辨率重建，可以有效保证视频重建的效率，也可以保证生成的较高质量的所述重建视频。
一种可能的设计中，所述神经网络模型是以低分辨率样本图像为输入，高分辨率样本图像为输出，通过学习算法训练生成的，其中，所述低分辨率样本图像是所述高分辨率样本图像进行分辨率压缩后生成的。
通过上述方法，基于所述低分辨率样本图像和所述高分辨率样本图像训练生成的所述神经网络模型可以更加准确、高效的实现超分辨重建。
在一种可能的设计中，所述第二设备在对所述压缩视频进行超分辨率重建的过程中可以只对所述压缩视频的部分图像数据进行处理，示例性的，所述第二设备可以对所述压缩视频的Y通道数据进行超分辨重建，生成所述重建视频的Y通道数据。
之后，所述第二设备基于所述压缩视频和接收到的来自所述第一设备的所述差异信息，生成所述第一视频时，所述第二设备可以先基于重建视频的Y通道数据和接收到的来自所述第一设备的所述差异信息，生成所述第一视频的Y通道数据；之后，对所述压缩视频的U、V通道数据进行分辨率缩放，生成所述第一视频的U、V通道数据；之后，根据所述第一视频的U、V通道数据和所述第一视频的Y通道数据合成所述第一视频。
通过上述方法，所述第二设备只对所述压缩视频的部分数据进行超分辨重建可以有效缩短视频重建的时间，进而保证之后可以较快的生成所述第一视频。
第三方面，本申请实施例还提供了一种视频传输装置，有益效果可以参见第一方面的描述此处不再赘述。该装置具有实现上述第一方面的方法实例中行为的功能。所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。在一个可能的设计中，所述装置的结构中包括压缩单元、重建单元、信息生成单元以及发送单元，这些单元可以执行上述第一方面方法示例中的相应功能，具体参见方法示例中的详细描述，此处不做赘述。
第四方面，本申请实施例还提供了一种视频传输装置，有益效果可以参见第二方面的描述此处不再赘述。该装置具有实现上述第二方面的方法实例中行为的功能。所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。在一个可能的设计中，所述装置的结构中包括接收单元、重建单元以及视频生成单元，这些单元可以执行上述第二方面方法示例中的相应功能，具体参见方法示例中的详细描述，此处不做赘述。
第五方面，本申请实施例还提供了一种视频传输装置，有益效果可以参见第一方面的描述此处不再赘述。所述通信装置的结构中包括处理器和收发器，还可以包括存储器，所述处理器被配置为支持所述终端设备执行上述第一方面方法中相应的功能。所述存储器与所述处理器耦合，其保存所述通信装置必要的程序指令和数据。所述收发器，用于与其他设备进行通信，还可以包括显示器，用于接收所述处理器的指示，显示图像。
第六方面，本申请实施例还提供了一种视频传输装置，有益效果可以参见第二方面的描述此处不再赘述。所述装置的结构中包括处理器，还可以包括收发器或存储器，所述处理器被配置为支持所述终端设备执行上述第二方面方法中相应的功能。所述存储器与所述处理器耦合，其保存所述装置必要的程序指令和数据。所述收发器，用于与其他设备进行通信。
第七方面，本申请实施例还提供了一种视频传输系统，所述系统包括第一设备和第二设备：
所述第一设备，用于对原始视频进行分辨率压缩，生成压缩视频；以及向所述第二设备发送所述压缩视频；
所述第二设备，用于接收所述压缩视频；以及对所述压缩视频进行超分辨率重建，生成重建视频。
通过上述方法，所述第一设备通过分辨率压缩有效的降低原始视频的分辨率，之后只需向所述第二设备发送所述压缩视频，相较于传输原始视频，可以有效减少占用的网络带宽，进而可以缩短传输时间，能够提高网络资源利用率；且所述第一设备和所述第二设备也不需要进行硬件升级，所述第一设备和所述第二设备只需配置有相应的逻辑功能就可以实现视频传输，可以有效控制成本。
在一种可能的设计中，所述第二设备可以基于神经网络模型对所述压缩视频进行超分辨率重建，将所述压缩视频重建为所述重建视频。
通过上述方法，通过神经网络模型实现超分辨率重建，可以有效提高视频重建的效率，且可以提高视频重建的准确率。
在一种可能的设计中，所述神经网络模型是以低分辨率样本图像为输入，高分辨率样本图像为输出，通过学习算法训练生成的，其中，所述低分辨率样本图像是所述高分辨率样本图像进行分辨率压缩后生成的。
通过上述方法，基于所述低分辨率样本图像和所述高分辨率样本图像训练生成的所述神经网络模型可以更加准确、高效的实现超分辨重建。
在一种可能的设计中，所述第二设备在对所述压缩视频进行超分辨率重建的过程中可以只对所述压缩视频的部分数据进行超分辨重建，示例性的，所述第二设备可以对所述压缩视频的Y通道数据进行超分辨重建，生成所述重建视频的Y通道数据。之后，为了生成完整的所述重建视频，所述第二设备可以先对所述压缩视频的Y通道数据进行超分辨重建，生成所述重建视频的Y通道数据；之后，对所述压缩视频的U、V通道数据进行分辨率缩放，生成所述重建视频的U、V通道数据；最后，根据所述重建视频的U、V通道数据和所述重建视频的Y通道数据合成所述重建视频。
通过上述方法，所述第二设备只对所述压缩视频的部分数据进行超分辨重建可以有效缩短视频重建的时间，进而保证之后可以较快的生成完整的所述重建视频。
第八方面，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各方面所述的方法。
第九方面，本申请还提供一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各方面所述的方法。
第十方面，本申请还提供一种计算机芯片，所述芯片与存储器相连，所述芯片用于读取并执行所述存储器中存储的软件程序，执行上述各方面所述的方法。
附图说明
图1为本申请提供的一种网络系统的架构示意图；
图2为本申请提供的一种视频传输方法示意图；
图3A～3B为本申请提供的一种基于插值的超分辨重建的示意图；
图4为本申请提供的一种基于插值的超分辨重建的示意图；
图5A为本申请提供的一种神经网络模型进行超分辨率重建的流程图；
图5B为本申请提供的一种神经网络模型中的残差单元的处理流程图；
图6为本申请提供的一种视频传输方法的流程图；
图7～图10为本申请提供的一种视频传输装置的结构示意图。
具体实施方式
本申请提供了一种视频传输方法及装置，用以解决现有技术中采用高压缩比视频编码方案进行视频传输，成本较高的问题。
如图1所示，为本申请实施例的一种网络系统的架构示意图，所述网络系统中包括第一设备和第二设备。
所述第一设备作为视频数据和差异信息的发送端，具有视频处理功能，例如可以执行视频编码、视频压缩、或超分辨率重建等；所述第一设备可以是部署有图形处理器(graphics processing unit，GPU)集群的计算机、大型的分布式计算机、硬件资源池化的集群计算机、超多核服务器、云端服务器等等。
所述第二设备作为视频数据和差异信息的接收端，可以是视频播放终端设备，视频播放过程中执行超分辨率重建，分辨率放缩等操作，所述第二设备可以是机顶盒、手机(mobile phone)、平板电脑(pad)、带无线收发功能的电脑、虚拟现实(virtual reality，VR)终端、增强现实(augmented reality，AR)终端、工业控制(industrial control)中的无线终端、无人驾驶(self driving)中的无线终端、远程医疗(remote medical)中的无线终端、智能电网(smart grid)中的无线终端、运输安全(transportation safety)中的无线终端、智慧城市(smart city)中的无线终端、智慧家庭(smart home)中的无线终端等。
在本申请实施例中，所述第一设备可以对原始视频进行压缩，且可以对压缩后的视频(在本申请实施例中对应压缩视频)进行超分辨率重建，并生成重建视频与原始视频之间的差异信息，将压缩后的视频与所述差异信息发送给所述第二设备，所述第二设备在接收到压缩后的视频与所述差异信息后，可以对压缩后的视频(在本申请实施例中对应压缩视频)进行超分辨率重建，基于压缩后的视频和所述差异信息可以生成与原始视频分辨率相同的第一视频。采用本申请实施例的方式，无需对第一设备和第二设备之间的传输系统进行升级，仅需为第一设备和第二设备配置对应的逻辑功能，在保证硬件成本的前提下，还可以保证获得原始分辨率的视频，且在所述第一设备和所述第二设备交互过程中，相较于传输原始视频，只需传输压缩后的视频以及差异信息，占用的网络带宽更小，能够有效缩短传输时间，也可以有效利用网络资源。
需要说明的是，所述第二设备在基于压缩后的视频和所述差异信息生成原始视频的过程中，受视频处理环境或者所述第二设备的设备限制，并不能完全恢复出原始视频，而是可以生成与原始视频分辨率相同的所述第一视频，可以看成是对原始视频的一种还原；在一定的允许范围内，可以认为所述第二设备基于压缩后的视频和所述差异信息生成的视频为原始视频。
下面基于如图1所示的网络框架，对本申请实施例提供的视频传输方法进行介绍，如图2所示，该方法包括：
步骤201：第一设备先对原始视频进行分辨率压缩，降低原始视频的分辨率，生成压缩视频。
步骤202：所述第一设备对所述压缩视频进行超分辨率重建，生成重建视频，其中，所述重建视频与所述原始视频的分辨率相同，通过超分辨率重建，所述第一设备可以将分辨率较低的压缩视频还原为分辨率较高的重建视频。
步骤203：鉴于超分辨率重建无法完全将所述压缩视频还原为所述原始视频，使得所述原始视频和所述重建视频之间通常会存在差异，所述第一设备可以根据所述原始视频和所述重建视频生成差异信息，所述差异信息用于表征所述原始视频的图像信息与所述重建视频的图像信息的差异，例如，所述第一设备可以通过所述原始视频的图像信息与所述重建视频的图像信息之间的差值生所述差异信息。从图像中像素点的角度，所述图像信息可以是视频图像帧的各个像素值，还可以是视频图像帧的各个像素值通过变换以后得到的特征值。相应的，所述差异信息为视频图像帧的像素值的差异、或特征指的差异。
步骤204：所述第一设备向所述第二设备发送所述压缩视频和所述差异信息。
步骤205：所述第二设备接收所述压缩视频和所述差异信息后，对所述压缩视频进行超分辨率重建，生成所述重建视频，采用与所述第一设备相同的方式，将分辨率较低的压缩视频还原为分辨率较高的重建视频。
步骤206：所述第二设备基于所述重建视频和所述差异信息，生成所述第一视频，所述第一视频和所述原始视频的分辨率相同。
其中步骤201～204为所述第一设备的操作，步骤205～步骤206为所述第二设备的操作，下面对所述第一设备的操作进行说明：
需要说明的是，在本申请实施例中分辨率高或分辨率低是相对概念，所述压缩视频的分辨率低，是相对于所述原始视频的分辨率而言的。
分辨率压缩是降低视频分辨率的一种方式，具体的，所述分辨率压缩可以指视频的降采样，以形成低分辨率的视频。本申请实施例中并不限定所述第一设备分辨率压缩的方式，例如可以采用双三次线性差值算法，也可以采用最近邻插值算法(nearest neighborinterpolation)、双线性插值算法(bilinear interpolation)、双三次插值算法(bi-cubicinterpolation)、分形算法(fractal interpolation)，凡是可以降低所述原始视频分辨率的方式均适用于本申请实施例。
进行分辨率压缩的目的是便于设备间进行视频数据传输时，能够使得占用资源较少，可以保证数据传输时效性更高，所述压缩视频的分辨率可以灵活设置，例如所述原始视频的分辨率为3864*2180，则所述压缩视频的分辨率只需低于3864*2180，示例性的，所述第一设备可以基于设备性能或当前的网络环境进行设置。如，若当前网络环境的带宽占用率较低，能够用于传输视频数据的带宽较大，所述第一设备可以通过分辨率压缩方式生成分辨率与所述第一设备的分辨率相差较小的所述压缩视频；若当前网络环境的带宽占用率较高，能够用于传输视频数据的带宽较少，所述第一设备可以通过分辨率压缩生成分辨率与所述第一设备的分辨率相差较大的所述压缩视频。
本申请实施例并不限定所述原始视频的格式，如所述原始视频可以是YUV格式的视频，也可以是RGB格式的视频，也可以是HSV格式的视频。
下面对上述三种格式进行介绍：
1、YUV格式。
YUV是对视频中每帧图像的每个像素点从明度Y、色度U、浓度V三个角度进行描述的视频编码方式。YUV格式的视频中，每帧图像对应一个矩阵，该矩阵中的每个元素表征图像中的一个像素点，矩阵中的每个元素为一个包括有明度Y、色度U、浓度V的张量。
在本申请实施例中，用于表征视频中每帧图像每个像素点的明度Y的数据为视频的Y通道数据；用于表征视频中每帧图像每个像素点的色度U的数据为视频的U通道数据；用于表征视频中每帧图像每个像素点的浓度V的数据为视频的V通道数据。
YUV具体可以分为Y'UV、YUV、YCbCr、YPbPr等，本申请实施例并不限定YUV的类型，以YCbCr格式为例，每个像素点的Cb、Cr对应的是该像素度的色度U和浓度V，YCbCr格式视频的图像信息相应的可以分为视频的Y通道数据、视频的Cb通道数据以及视频的Cr通道数据。
2、RGB格式。
RGB是对视频中每帧图像的每个像素点从红色(red，R)、绿色(green，G)、蓝色(blue，B)三种颜色的比重进行描述的视频编码方式。RGB格式的视频中，每帧图像对应一个矩阵，该矩阵中的每个元素表征图像中的一个像素点，矩阵中的每个元素为一个包括有R、G、B的张量，其中R、G、B分别表征每个像素点的红色比重、绿色比重以及蓝色比重。
在本申请实施例中，用于表征视频中每帧图像每个像素点的红色比重的数据为视频的R通道数据；用于表征视频中每帧图像每个像素点的绿色比重的数据为视频的G通道数据；用于表征视频中每帧图像每个像素点的蓝色比重的数据为视频的B通道数据。
3、HSV格式。
HSV是对视频中每帧图像的每个像素点从色度(hue，H)、饱和度(saturation，S)明度(value，V)三个角度进行描述的视频编码方式。HSV格式的视频中，每帧图像对应一个矩阵，该矩阵中的每个元素表征图像中的一个像素点，矩阵中的每个元素为一个包括有H、S、V的张量。
在本申请实施例中，用于表征视频中每帧图像每个像素点的色度的数据为视频的H通道数据；用于表征视频中每帧图像每个像素点的饱和度的数据为视频的S通道数据；用于表征视频中每帧图像每个像素点的明度的数据为视频的V通道数据。
所述第一设备在生了压缩视频之后，执行步骤202，步骤202中的超分辨率重建是指利用一系列低质量、低分辨率图像(如视频)来产生对应的一系列高质量、高分辨率图像，在本申请实施例中将所述压缩视频中包括的一系列图像帧进行处理，生成包括较高分辨率的图像的重建视频。
在本申请实施例中并不限定进行超分辨重建的方式，下面列举其中几种：
第一种、基于插值的方式进行超分辨重建。
基于插值的方式进行的超分辨率重建是指基于已知图像的像素点的值预测图像放大后，每个像素点周围像素点的值；或者基于两个或多个相邻已知图像帧的像素点信息，预测图像放大后，每个已知像素点周围像素点的值。
下面对这两种插值方式的原理进行介绍，如图3A所示，所述压缩视频中的任一帧图像中的9个像素点，这9个像素点的值是已知的，该帧图像放大后，则会形成如图3B所示的图像帧，已知的9个像素点周围存在多个未知的像素点，对于任一未知的像素点可以根据周围已知的像素点的值以及与周围各个已知像素点的关系确定未知像素点的值。
如图4所示，以采用3个相邻图像帧进行插值重建为例，基于第n-1、第n、第n+1个已知图像帧，根据其相同位置的已知像素点值，可对第n帧图像放大后未知像素点值进行预测，达到提高分辨率的效果。
第二种、基于学习的方式进行超分辨率重建。
基于学习的方式进行的超分辨率重建是指采用大量的图像数据构造学习模型，通过学习模型实现超分辨重建，具体的，基于已知的高分辨率图像和低分辨率图像，通过设定的学习算法，建立学习模型，并调整学习模型中的参数，以达到较好的超分辨率重建效果。其中，常见的学习模型有马尔科夫随机场模型、图像金字塔模型、神经网络模型、主成分分析模型等。
上述两种超分辨率重建方式仅是举例说明，本申请实施例并不限定进行超分辨率重建的方式，凡是可以由低分辨率的视频恢复出高分辨率视频的方式均适用于本申请实施例。
示例性的，所述学习模型可以是神经网络模型，所述第一设备可以基于预设的神经网络模型，将所述压缩视频重建为所述重建视频。
所述神经网络模型可以实现视频的超分辨重建，所述神经网络模型是以低分辨率样本图像为输入，高分辨率样本图像为输出，通过学习算法训练生成的，其中，所述低分辨率样本图像是所述高分辨率样本图像进行分辨率压缩后生成的。
本申请提供了一种构建所述神经网络模型的方法，下面对这种方法进行介绍：
首先，建立图像训练集。
先选择高分辨率的视频图像，将所述高分辨率的视频图像切分多个分辨率为ns×ns的高分辨率样本图像的集合1，之后，对集合1中的图像缩小s倍，形成为分辨率为n×n的低分辨率样本图像的集合2，其中s为所述神经网络模型要达到的超分辨率放大比率。
其中高分辨率的视频图像可以包括原始视频的视频图像，也可以包括其他视频的视频图像，本申请实施例并不限定。
之后，进行神经网络模型的训练。
以所述集合1中分辨率为ns×ns的样本图像作为所述神经网络模型的输出值，所述集合1中对应的分辨率为n×n的样本图像作为所述神经网络模型的输入值，采用随机梯度下降法对所述神经网络模型进行训练。
需要说明的是，在进行神经网络模型的训练时，输入值和输出值是相对应的，也就是说，作为输入值的样本图像是作为输出值的样本图像缩小s倍的图像。
所述神经网络模型训练完成后，可以调整神经网络模型的权重，采用模型压缩算法，将所得神经网络模型中的浮点型权重，压缩转换为定点型权重。
通常，所述神经网络模型经过训练后，所述神经网络模型中的权重通常为浮点型权重，浮点型权重允许在小范围内浮动，可以充分保障所述神经网络模型的运算精度，但是采用浮点型权重的所述神经网络模型的运算量较高、耗时较长。为了保障所述第一设备和所述第二设备能够在较短的时间内完成视频处理，进一步实现实时的视频处理，可以通过数据量化的方法，将浮点型权重转换为定点型权重，在运算精度允许的范围内，可以有效的提升所述运算效率。
调整权重后的神经网络模型可以加载到所述第一设备中，用于实现超分辨率重建。
需要说明的是，对于一个预设的所述神经网络模型可以实现一个特定的超分辨率放大比率的超分辨率重建，也就是说，一个所述神经网络模型可以将分辨率扩大到s倍，而在不同的场景下，可能需要不同的超分辨率放大比率；可以在所述第一设备设置多种超分辨率放大比率的神经网络模型，所述第一设备可以基于当前视频处理的场景，选择对应的神经网络模型，实现超分辨率重建。
如图5A所示，为神经网络模型进行超分辨率重建的流程图，如图5B所示，为神经网络模型中的残差单元的处理流程图。
以对分辨率为w×h的图像，放大s倍为例，所述神经网络模型包括间隔连接的m+1个卷积层和m个残差单元。各卷积层中包括通过学习算法训练所得的卷积核，通过卷积核与视频帧之间的二维卷积运算，实现对视频帧内特征信息的提取。各残差单元依托其前馈网络结构，通过学习算法训练所得的卷积核，通过卷积核与视频帧之间的多级二维运算、差值运算，实现对视频帧高频细节特征信息的提取或重建。
如图5A所示，输入w×h的视频帧图像矩阵首先与第一个卷积层中的n1组3×3卷积核进行二维卷积运算，经Leaky ReLU激活函数处理后，所述第一个卷积层输出w×h×n1的图像张量I1。I1输入残差单元#1，如图5B所示，I1依次与n2组1×1×n1卷积核、n2组3×3×n2卷积核、n1组3×3×n2卷积核进行二维卷积运算后，与初始输入图像张量I1相减，残差单元#1输出w×h×n1的图像张量I2。I1与I2在第3维度进行连接，得到w×h×2n1的图像张量I3。I3与第二个卷积层中的n1组1×1×2n1卷积核进行二维卷积运算，经Leaky ReLU激活函数处理后，所述第二个卷积层输出w×h×n1的图像张量I4。I4经残差单元#2处理后，与I3在第3维度进行连接，得到w×h×3n1的图像张量I5。依次类推，经m级卷积层和残差单元#m处理，并经第3维度连接后，输出w×h×(m+1)n1的图像张量I2m+1。I2m+1与第m+1个卷积层中的4组3×3×(m+1)n1卷积核进行二维卷积运算，经tanh激活函数处理后，输出w×h×s的图像张量I。将I所包含的s个w×h矩阵，按矩阵元素位置，重新均匀排布为sw×sh矩阵，即得放大s倍后的sw×sh图像。
所述第一设备在对所述压缩视频进行超分辨率重建的过程中，需要对所述压缩视频的图像数据(或简称图像)进行处理。
视频(如所述原始视频、所述压缩视频或所述重建视频)的图像数据包括但不限于视频的部分或全部的通道数据(如Y通道数据、U通道数据或V通道数据)、视频中图像的边缘信息、角点信息、全局或局部统计信息，以及通过深度学习方法构建的自编码信息等。
作为一种可能的实施方式，所述第一设备在对所述压缩视频进行超分辨率重建的过程中，可以只针对所述压缩视频中的部分图像数据(或简称部分图像)进行超分辨率重建，例如，所述第一设备可以只针对所述压缩视频中的Y通道数据进行处理，生成所述重建视频，相应的，所述重建视频的图像信息也仅包括Y通道数据；所述第一设备也可以针对所述压缩视频中的全部图像数据进行超分辨率重建，例如，所述第一设备可以针对所述压缩视频中的Y通道信息、U通道数据、V通道数据进行处理，生成所述重建视频，相应的，所述重建视频的图像信息也包括Y通道信息、U通道数据、V通道数据。
步骤202中，所述第一设备生成了与所述原始视频的分辨率相同的所述重建视频；之后可以执行步骤203，所述第一设备可以基于所述原始视频的图像信息与所述重建视频的图像信息生成差异信息。
由于所述第一设备在对所述压缩视频进行超分辨率重建的过程中，可以只对所述压缩视频的部分图像数据进行超分辨率重建，所述重建视频中保留的是相同类型的图像数据。示例性的，所述差异信息可以指示所述原始视频的部分通道数据与所述重建视频的相同类型的通道数据的差异，例如，若所述重建视频中保留的图像数据为Y通道数据，则所述差异信息可以指示所述原始视频的Y通道数据与所述重建视频的Y通道数据的差异；所述差异信息也可以指示所述原始视频与所述重建视频之间全部通道数据的差异，例如若所述重建视频中保留的图像数据为Y通道数据、U通道数据、V通道数据，则所述差异信息指示所述原始视频的Y通道数据、U通道数据、V通道数据与所述重建视频的Y通道数据、U通道数据、V通道数据之间的差异。
所述差异信息若指示所述原始视频的Y通道数据与所述重建视频的Y通道数据的差异，则所述第一设备可以根据所述原始视频的Y通道数据与所述重建视频的Y通道数据的差值生成所述差异信息；所述差异信息若指示所述原始视频的Y通道数据、U通道数据、V通道数据与所述重建视频的Y通道数据、U通道数据、V通道数据之间的差异，所述第一设备可以根据所述原始视频的Y通道数据与所述重建视频的Y通道数据的差值、所述原始视频的U通道数据与所述重建视频的U通道数据的差值以及所述原始视频的V通道数据与所述重建视频的V通道数据的差值，生成所述差异信息。
在上述说明中，采用差值的方式生成所述差异信息的方式仅是举例说明，本申请实施例并不限定生成所述差异信息的方式，例如还可以采用矩阵运算进行线性变换的方式生成差异信息，也可以采用一些其它的数学方法获得所述差异信息。
作为一种可能的实施方式，所述第一设备在生成所述差异信息时还可以采用神经网络，例如可以采用残差网络生成所述差异信息。
所述第一设备在生成了所述差异信息之后，执行步骤204，所述第一设备和所述第二设备之间的传输的数据为低分辨率的所述压缩视频和占用资源较小的差异信息，能够有效的提高数据传输效率，可以改善数据传输的实时性；另外，由于所述差异信息实际上携带了所述原始视频的高频细节信息，通过在所述第一设备和所述第二设备之间传输所述差异信息的方式，可以使得所述第二设备可以较好的恢复出于所述第一视频，且能够使得所述第一视频更接近于所述原始视频。
下面对所述第二设备接收到所述压缩视频和所述差异信息后的操作进行说明：
所述第二设备在接收到所述第一设备发送的压缩视频和所述差异信息，可以采用与所述第一设备相同的方式对所述压缩视频进行超分辨率重建，生成所述重建视频。
所述第二设备对所述压缩视频进行超分辨率重建，生成重建视频的方式可以参见步骤201中所述第一设备对所述压缩视频进行超分辨率重建，生成重建视频的相关描述，此处不再赘述。
由于所述差异信息表征的是所述第一视频的图像信息与所述重建视频的图像信息之间的差异，所述第二设备可以基于所述重建视频的图像信息和所述差异信息，生成所述第一视频。
若所述差异信息指示的是所述第一视频的部分通道数据与所述重建视频的相同类型的通道数据的差异，所述第二设备在对所述压缩视频进行超分辨率重建时，可以只对所述压缩视频的部分通道数据进行处理，所述重建视频中也仅保留相同类型的通道数据。
为了能够相对完整的还原所述原始视频，生成所述第一视频，所述第二设备还需要对所述压缩视频的其他通道数据进行处理，由于所述压缩视频是所述第一视频经过分辨率压缩生成的，所述第二设备可以通过对所述压缩视频中其余通道数据进行分辨率缩放，生成所述第一视频的相应的通道数据。
分辨率缩放是分辨率压缩的逆操作，是提高视频分辨率的一种方式，具体的，所述分辨率压缩指视频的上采样，以形成高分辨率的视频。
若所述压缩视频对仅对所述压缩视频的Y通道数据进行超分辨重建，生成的所述重建视频中只保留了Y通道数据。
所述第二设备基于所述重建视频和所述差异信息，生成所述第一视频时，针对所述第一视频的U、V通道数据，所述第二设备可以通过对所述压缩视频的U、V通道数据进行分辨率缩放，生成所述第一视频的U、V通道数据；针对所述第一视频的Y通道数据，所述第二设备基于重建视频的Y通道数据和所述差异信息，生成所述第一视频的Y通道数据。
所述第二设备生成了所述第一视频的各个通道数据后，就可以根据所述第一视频的U、V通道数据和所述第一视频的Y通道数据合成所述第一视频。
示例性的，若所述压缩视频对所述压缩视频的全部类型的通道(以各个通道分别为Y通道、U通道和V通道数据为例)数据进行超分辨重建，生成的所述重建视频也保留了全部类型的通道数据。
所述第二设备基于所述重建视频和所述差异信息，生成所述第一视频时，针对所述第一视频的Y通道数据，所述第二设备基于重建视频的Y、U、V通道数据和所述差异信息，生成所述第一视频的Y、U、V通道数据。
所述第二设备生成了所述第一视频的各个通道数据后，就可以根据所述第一视频的U、V通道数据和所述第一视频的Y通道数据合成所述第一视频。
下面以在进行超分辨重建时，只处理Y通道数据为例，对本申请实施例提供的视频传输方式进行说明，如图6所示，为视频传输的方法示意图。该方法包括：
步骤601：所述第一设备对所述原始视频进行分辨率压缩，生成低分辨率的压缩视频。
最初的视频为其他格式的视频，如RGB视频，所述第一设备可以先进行YCbCr转码，生成所述YCbCr格式的原始视频，之再进行分辨率压缩。
具体的，所述第一设备对所述压缩视频进行降采样，将分辨率为sw×sh的原始视频以压缩比s，降采样为分辨率为w×h的压缩视频。
步骤602：所述第一设备对所述压缩视频的Y通道数据进行超分辨率重建，生成所述重建视频。
具体的，所述第一设备基于预设的神经网络模型将分辨率为w×h的压缩视频的Y通道数据采样重建为分辨率为sw×sh的重建视频的Y通道数据。
步骤603：所述第一设备根据所述原始视频和所述重建视频生成差异信息。
所述第一设备将所述原始视频的Y通道数据与所述重建视频的Y通道数据相减，提取得到分辨率为sw×sh的Y通道上的差异信息。
步骤604：所述第一设备在对所述压缩视频和所述差异信息进行编码，并传输给所述第二设备。
步骤605：所述第二设备接收到编码后的所述压缩视频和所述差异信息，进行解码，获得所述压缩视频和所述差异信息。
步骤606：所述第二设备对所述第二设备的Y通道数据进行超分辨率重建，生成所述重建视频。具体方式与步骤602中相同，此处不再赘述。
步骤607：所述第二设备在所述重建视频的Y通道数据上叠加所述差异信息，生成所述第一视频的Y通道数据。
步骤608：所述第二设备对所述压缩视频的U、V通道数据进行分辨率缩放，生成所述第一视频的U、V通道数据。
具体的，所述第二设备对分辨率为w×h的所述压缩视频的U、V通道数据进行上采样，生成分辨率sw×sh的所述第一视频的U、V通道数据。
步骤609：所述第二设备将所述第一视频的Y、U、V通道数据进行合成，生成所述第一视频。
在如图2和6所示的实施例中，所述第一设备向所述第二设备之发送了所述压缩视频和所述差异信息，所述第二设备基于所述压缩视频和所述差异信息可以较好的生成所述第一视频，可以保证所述第一视频能够更加接近于原始视频，且由于传输所述压缩视频和所述差异信息占用的资源较小，也可以保证视频的实时处理，而在具体实施中，所述第一设备也可以只向所述第二视频发送所述压缩视频，由所述第二视频进行超分辨率重建，生成与所述第一视频较为接近的所述重建视频。
基于与方法实施例的同一发明构思，本发明实施例提供一种视频传输装置700，具体用于实现上述方法实施例中所述第一设备执行的方法，该装置的结构如图7所示，包括压缩单元701、重建单元702、信息生成单元703以及发送单元704：
所述压缩单元701，用于对原始视频进行分辨率压缩，生成压缩视频；
所述重建单元702，用于对所述压缩视频进行超分辨率重建，生成重建视频，其中，所述重建视频与所述原始视频的分辨率相同；
所述信息生成单元703，用于根据所述原始视频和所述重建视频生成差异信息，所述差异信息用于表征所述原始视频的图像信息与所述重建视频的图像信息的差异；
所述发送单元704，用于向所述第二设备发送所述压缩视频和所述差异信息。
作为一种可能的实施方式，所述重建单元702在对所述压缩视频进行超分辨率重建，生成重建视频时，可以基于神经网络模型将所述压缩视频重建为所述重建视频。
作为一种可能的实施方式，所述神经网络模型可以是以低分辨率样本图像为输入，高分辨率样本图像为输出，通过学习算法训练生成的，其中，所述低分辨率样本图像是所述高分辨率样本图像进行分辨率压缩后生成的。
作为一种可能的实施方式，所述重建单元702在对所述压缩视频进行超分辨率重建，生成重建视频时，可以只对所述压缩视频的部分图像数据进行处理，示例性的，所述重建单元702可以对所述压缩视频的Y通道数据进行超分辨重建，生成所述重建视频的Y通道数据。
作为一种可能的实施方式，所述信息生成单元703在根据所述原始视频和所述重建视频生成所述差异信息时，可以根据所述原始视频的Y通道数据与所述重建视频的Y通道数据的差值，生成所述差异信息。
基于与方法实施例的同一发明构思，本发明实施例提供一种视频传输装置800，具体用于实现上述方法实施例中所述第二设备执行的方法，该装置的结构如图8所示，包括接收单元801、重建单元802以及视频生成单元803：
所述接收单元801，用于接收来自第一设备的压缩视频以及差异信息；
所述重建单元802，用于对所述压缩视频进行超分辨率重建，生成重建视频；
所述视频生成单元803，用于基于所述重建视频和所述差异信息，生成所述第一视频，所述差异信息用于表征原始视频的图像信息与所述重建视频的图像信息的差异，所述原始视频与所述第一视频的分辨率相同。
作为一种可能的实施方式，所述重建单元802在对所述压缩视频进行超分辨率重建，生成重建视频时，可以基于神经网络模型将所述压缩视频重建为所述重建视频。
作为一种可能的实施方式，所述神经网络模型是以低分辨率样本图像为输入，高分辨率样本图像为输出，通过学习算法训练生成的，其中，所述低分辨率样本图像是所述高分辨率样本图像进行分辨率压缩后生成的。
作为一种可能的实施方式，所述重建单元802在对所述压缩视频进行超分辨率重建，生成重建视频时，可以只对所述压缩视频的部分图像数据进行处理，示例性的，所述重建单元802可以对所述压缩视频的Y通道数据进行超分辨重建，生成所述重建视频的Y通道数据。
之后，所述视频生成单元803在基于所述压缩视频和所述差异信息，生成所述第一视频时，可以先基于重建视频的Y通道数据和所述差异信息，生成所述第一视频的Y通道数据；之后，对所述压缩视频的U、V通道数据进行分辨率缩放，生成所述第一视频的U、V通道数据；然后，根据所述第一视频的U、V通道数据和所述第一视频的Y通道数据合成所述第一视频。
本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，另外，在本申请各个实施例中的各功能单元可以集成在一个处理器中，也可以是单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台终端设备(可以是个人计算机，手机，或者网络设备等)或处理器(processor)执行本申请各个实施例该方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-onlymemory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
在本申请实施例中，所述云端设备和所述终端设备均可以采用集成的方式划分各个功能模块的形式来呈现。这里的“模块”可以指特定ASIC，电路，执行一个或多个软件或固件程序的处理器和存储器，集成逻辑电路，和/或其他可以提供上述功能的器件。
在一个简单的实施例中，本领域的技术人员可以想到所述第一设备可采用图9所示的形式。
如图9所示的装置900，包括至少一个处理器901，可选的，还可以包括收发器902、存储器903。
一种可能的实现方式中，所述装置900还可以包括显示器904。所述显示器904可以用于显示视频。
存储器903可以是易失性存储器，例如随机存取存储器；存储器也可以是非易失性存储器，例如只读存储器，快闪存储器，硬盘(hard disk drive，HDD)或固态硬盘(solid-state drive，SSD)、或者存储器903是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器903可以是上述存储器的组合。
本申请实施例中不限定上述处理器901以及存储器903之间的具体连接介质。本申请实施例在图中以存储器903和处理器901之间通过总线905连接，总线905在图中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。该总线905可以分为地址总线、数据总线、控制总线等。为便于表示，图9中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
处理器901可以具有数据收发功能，能够与其他设备进行通信，如在本申请实施例中，处理器901可以向所述第二设备发送所述压缩视频以及所述差异信息，在如图9装置中，也可以设置独立的数据收发模块，例如收发器902，用于收发数据；处理器901在与其他设备进行通信时，可以通过收发器902进行数据传输，如在本申请实施例中，处理器901可以通过收发器902向所述第二设备发送所述压缩视频以及所述差异信息。
当所述第一设备采用图9所示的形式时，图9中的处理器901可以通过调用存储器903中存储的计算机执行指令，使得所述装置可以执行上述任一方法实施例中的所述第一设备执行的方法。
具体的，存储器903中存储有用于实现图7中的发送单元、接收单元和显示单元的功能的计算机执行指令，图7中的压缩单元、重建单元、信息生成单元以及发送单元的功能/实现过程均可以通过图9中的处理器901调用存储器903中存储的计算机执行指令来实现。
或者，存储器903中存储有用于实现图7中的压缩单元、重建单元、信息生成单元的功能的计算机执行指令，图7中的压缩单元、重建单元、信息生成单元的功能/实现过程可以通过图9中的处理器901调用存储器903中存储的计算机执行指令来实现，图7的发送单元功能/实现过程可以通过图9中的收发器902来实现。
在一个简单的实施例中，本领域的技术人员可以想到所述第一设备可采用图10所示的形式。
如图10所示的装置1000，包括至少一个处理器1001，可选的，还可以包括收发器1002、存储器1003。
一种可能的实现方式中，所述装置1000还可以包括显示器1004。所述显示器1004可以用于显示视频。
存储器1003可以是易失性存储器，例如随机存取存储器；存储器也可以是非易失性存储器，例如只读存储器，快闪存储器，硬盘(hard disk drive，HDD)或固态硬盘(solid-state drive，SSD)、或者存储器1003是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器1003可以是上述存储器的组合。
本申请实施例中不限定上述处理器1001以及存储器1003之间的具体连接介质。本申请实施例在图中以存储器1003和处理器1001之间通过总线1005连接，总线1005在图中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。该总线1005可以分为地址总线、数据总线、控制总线等。为便于表示，图10中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
处理器1001可以具有数据收发功能，能够与其他设备进行通信，如在本申请实施例中，处理器1001可以从所述第一设备接收所述压缩视频以及所述差异信息，在如图10装置中，也可以设置独立的数据收发模块，例如收发器1002，用于收发数据；处理器1001在与其他设备进行通信时，可以通过收发器1002进行数据传输，如在本申请实施例中，处理器1001可以通过收发器1002从所述第一设备接收所述压缩视频以及所述差异信息。
当所述第二设备采用图10所示的形式时，图10中的处理器1001可以通过调用存储器1003中存储的计算机执行指令，使得所述装置可以执行上述任一方法实施例中的所述第二设备执行的方法。
具体的，存储器1003中存储有用于实现图8中的接收单元、重建单元以及视频生成单元的功能的计算机执行指令，图8中的接收单元、重建单元以及视频生成单元的功能/实现过程均可以通过图10中的处理器1001调用存储器1003中存储的计算机执行指令来实现。
或者，存储器1003中存储有用于实现图8中的重建单元以及视频生成单元的功能的计算机执行指令，图8中的重建单元以及视频生成单元的功能/实现过程可以通过图10中的处理器1001调用存储器1003中存储的计算机执行指令来实现，图8的接收单元功能/实现过程可以通过图10中的收发器1002来实现。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (14)

1.一种视频传输方法，其特征在于，所述方法包括：
第一设备对原始视频进行分辨率压缩，生成压缩视频；
所述第一设备基于当前视频处理的场景，选择对应的超分辨率放大比率，基于神经网络模型将所述压缩视频重建为重建视频，其中，所述重建视频与所述原始视频的分辨率相同，所述神经网络模型的权重为定点型权重；
所述第一设备根据所述原始视频和所述重建视频生成差异信息，所述差异信息用于表征所述原始视频的图像信息与所述重建视频的图像信息的差异, 所述差异信息为视频图像帧的特征值的差异；
所述第一设备向第二设备发送所述压缩视频和所述差异信息。
2.如权利要求1所述的方法，其特征在于，所述神经网络模型是以低分辨率样本图像为输入，高分辨率样本图像为输出，通过学习算法训练生成的，其中，所述低分辨率样本图像是所述高分辨率样本图像进行分辨率压缩后生成的。
3.如权利要求1或2所述的方法，其特征在于，所述第一设备将所述压缩视频重建为重建视频，包括：
所述第一设备对所述压缩视频的Y通道数据进行超分辨重建，生成所述重建视频的Y通道数据。
4.如权利要求3所述的方法，其特征在于，所述第一设备根据所述原始视频和所述重建视频生成所述差异信息，包括：
所述第一设备根据所述原始视频的Y通道数据与所述重建视频的Y通道数据的差值，生成所述差异信息。
5.一种视频传输方法，其特征在于，所述方法包括：
第二设备接收来自第一设备的压缩视频；
所述第二设备基于当前视频处理的场景，选择对应的超分辨率放大比率，基于神经网络模型将所述压缩视频重建为重建视频，所述神经网络模型的权重为定点型权重；
所述第二设备基于所述重建视频和接收到的来自所述第一设备的差异信息，生成第一视频，所述差异信息用于表征原始视频的图像信息与所述重建视频的图像信息的差异，所述差异信息为视频图像帧的特征值的差异，所述原始视频与所述第一视频的分辨率相同。
6.如权利要求5所述的方法，其特征在于，所述神经网络模型是以低分辨率样本图像为输入，高分辨率样本图像为输出，通过学习算法训练生成的，其中，所述低分辨率样本图像是所述高分辨率样本图像进行分辨率压缩后生成的。
7.如权利要求5或6所述的方法，其特征在于，所述第二设备将所述压缩视频重建为重建视频，包括：
所述第二设备对所述压缩视频的Y通道数据进行超分辨重建，生成所述重建视频的Y通道数据；
所述第二设备基于所述压缩视频和接收到的来自所述第一设备的所述差异信息，生成所述第一视频，包括：
所述第二设备基于重建视频的Y通道数据和接收到的来自所述第一设备的所述差异信息，生成所述第一视频的Y通道数据；
所述第二设备对所述压缩视频的U、V通道数据进行分辨率缩放，生成所述第一视频的U、V通道数据；
所述第二设备根据所述第一视频的U、V通道数据和所述第一视频的Y通道数据合成所述第一视频。
8.一种视频传输装置，其特征在于，所述装置包括压缩单元、重建单元、信息生成单元以及发送单元：
所述压缩单元，用于对原始视频进行分辨率压缩，生成压缩视频；
所述重建单元，用于选择对应的超分辨率放大比率，基于神经网络模型将所述压缩视频重建为重建视频，其中，所述重建视频与所述原始视频的分辨率相同，所述神经网络模型的权重为定点型权重；
所述信息生成单元，用于根据所述原始视频和所述重建视频生成差异信息，所述差异信息用于表征所述原始视频的图像信息与所述重建视频的图像信息的差异，所述差异信息为视频图像帧的特征值的差异；
所述发送单元，用于向第二设备发送所述压缩视频和所述差异信息。
9.如权利要求8所述的装置，其特征在于，所述神经网络模型是以低分辨率样本图像为输入，高分辨率样本图像为输出，通过学习算法训练生成的，其中，所述低分辨率样本图像是所述高分辨率样本图像进行分辨率压缩后生成的。
10.如权利要求8或9所述的装置，其特征在于，所述重建单元在将所述压缩视频重建为重建视频，具体用于：
对所述压缩视频的Y通道数据进行超分辨重建，生成所述重建视频的Y通道数据。
11.如权利要求10所述的装置，其特征在于，所述信息生成单元在根据所述原始视频和所述重建视频生成所述差异信息，具体用于：
根据所述原始视频的Y通道数据与所述重建视频的Y通道数据的差值，生成所述差异信息。
12.一种视频传输装置，其特征在于，所述装置包括接收单元、重建单元以及视频生成单元：
所述接收单元，用于接收来自第一设备的压缩视频以及差异信息；
所述重建单元，用于选择对应的超分辨率放大比率，基于神经网络模型将所述压缩视频重建为重建视频，所述神经网络模型的权重为定点型权重；
所述视频生成单元，用于基于所述重建视频和所述差异信息，生成第一视频，所述差异信息用于表征原始视频的图像信息与所述重建视频的图像信息的差异，所述差异信息为视频图像帧的特征值的差异，所述原始视频与所述第一视频的分辨率相同。
13.如权利要求12所述的装置，其特征在于，所述神经网络模型是以低分辨率样本图像为输入，高分辨率样本图像为输出，通过学习算法训练生成的，其中，所述低分辨率样本图像是所述高分辨率样本图像进行分辨率压缩后生成的。
14.如权利要求12或13所述的装置，其特征在于，所述重建单元将所述压缩视频重建为重建视频，具体用于：
对所述压缩视频的Y通道数据进行超分辨重建，生成所述重建视频的Y通道数据；
所述视频生成单元在基于所述压缩视频和所述差异信息，生成所述第一视频，具体用于：
基于重建视频的Y通道数据和所述差异信息，生成所述第一视频的Y通道数据；
对所述压缩视频的U、V通道数据进行分辨率缩放，生成所述第一视频的U、V通道数据；
根据所述第一视频的U、V通道数据和所述第一视频的Y通道数据合成所述第一视频。
CN201910096918.3A 2019-01-31 2019-01-31 一种视频传输方法及装置 Active CN111510739B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910096918.3A CN111510739B (zh) 2019-01-31 2019-01-31 一种视频传输方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910096918.3A CN111510739B (zh) 2019-01-31 2019-01-31 一种视频传输方法及装置

Publications (2)

Publication Number Publication Date
CN111510739A CN111510739A (zh) 2020-08-07
CN111510739B true CN111510739B (zh) 2022-04-29

Family

ID=71864582

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910096918.3A Active CN111510739B (zh) 2019-01-31 2019-01-31 一种视频传输方法及装置

Country Status (1)

Country Link
CN (1) CN111510739B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114584805A (zh) * 2020-11-30 2022-06-03 华为技术有限公司 视频传输方法、服务器、终端和视频传输系统
CN112383732B (zh) * 2020-12-09 2023-08-04 上海移远通信技术股份有限公司 分辨率自适应的信号传输系统及方法
TWI813988B (zh) * 2021-05-05 2023-09-01 宏正自動科技股份有限公司 影像傳輸方法以及影像傳輸系統
CN117693937A (zh) * 2021-07-01 2024-03-12 抖音视界有限公司 在超分辨率过程期间利用编解码信息
CN113613039B (zh) * 2021-08-09 2023-06-30 咪咕文化科技有限公司 视频传输方法、系统、计算设备及计算机存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103607591A (zh) * 2013-10-28 2014-02-26 四川大学 结合超分辨率重建的图像压缩方法
CN105959705A (zh) * 2016-05-10 2016-09-21 武汉大学 一种面向可穿戴设备的视频直播方法
CN106791927A (zh) * 2016-12-23 2017-05-31 福建帝视信息科技有限公司 一种基于深度学习的视频增强与传输方法
CN107018422A (zh) * 2017-04-27 2017-08-04 四川大学 基于深度卷积神经网络的静止图像压缩方法
CN108737823A (zh) * 2018-04-04 2018-11-02 中国传媒大学 基于超分辨技术的图像编码方法和装置、解码方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9185437B2 (en) * 2012-11-01 2015-11-10 Microsoft Technology Licensing, Llc Video data

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103607591A (zh) * 2013-10-28 2014-02-26 四川大学 结合超分辨率重建的图像压缩方法
CN105959705A (zh) * 2016-05-10 2016-09-21 武汉大学 一种面向可穿戴设备的视频直播方法
CN106791927A (zh) * 2016-12-23 2017-05-31 福建帝视信息科技有限公司 一种基于深度学习的视频增强与传输方法
CN107018422A (zh) * 2017-04-27 2017-08-04 四川大学 基于深度卷积神经网络的静止图像压缩方法
CN108737823A (zh) * 2018-04-04 2018-11-02 中国传媒大学 基于超分辨技术的图像编码方法和装置、解码方法和装置

Also Published As

Publication number Publication date
CN111510739A (zh) 2020-08-07

Similar Documents

Publication Publication Date Title
CN111510739B (zh) 一种视频传输方法及装置
Li et al. Convolutional neural network-based block up-sampling for intra frame coding
US20200145692A1 (en) Video processing method and apparatus
EP3275190B1 (en) Chroma subsampling and gamut reshaping
KR102165155B1 (ko) 공간적으로 확장 가능한 비디오 코딩을 위한 적응적 보간
US8948248B2 (en) Tiered signal decoding and signal reconstruction
CN110222758B (zh) 一种图像处理方法、装置、设备及存储介质
US11445222B1 (en) Preprocessing image data
KR102500761B1 (ko) 영상의 ａｉ 부호화 및 ａｉ 복호화 방법, 및 장치
CN106170979A (zh) 恒定质量视频编码
CN110300301B (zh) 图像编解码方法和装置
CN109547784A (zh) 一种编码、解码方法及装置
CN111800629A (zh) 视频解码方法、编码方法以及视频解码器和编码器
CN115606179A (zh) 用于使用学习的下采样特征进行图像和视频编码的基于学习的下采样的cnn滤波器
KR20200044667A (ko) Ai 부호화 장치 및 그 동작방법, 및 ai 복호화 장치 및 그 동작방법
Chen et al. Convolutional block design for learned fractional downsampling
KR20210056179A (ko) Ai 부호화 장치 및 그 동작방법, 및 ai 복호화 장치 및 그 동작방법
CN116762338A (zh) 使用预处理的视频编码
Luo et al. Masked360: Enabling robust 360-degree video streaming with ultra low bandwidth consumption
CN113747242A (zh) 图像处理方法、装置、电子设备及存储介质
CN113822803A (zh) 图像超分处理方法、装置、设备及计算机可读存储介质
KR102166337B1 (ko) 영상의 ａｉ 부호화 방법 및 장치, 영상의 ａｉ 복호화 방법 및 장치
CN113228665A (zh) 用于处理配置数据的方法、设备、计算机程序和计算机可读介质
WO2019130794A1 (ja) 映像処理装置
CN114463453A (zh) 图像重建、编码解码方法、相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant