CN113747099B - 视频传输方法和设备 - Google Patents

视频传输方法和设备 Download PDF

Info

Publication number
CN113747099B
CN113747099B CN202010480038.9A CN202010480038A CN113747099B CN 113747099 B CN113747099 B CN 113747099B CN 202010480038 A CN202010480038 A CN 202010480038A CN 113747099 B CN113747099 B CN 113747099B
Authority
CN
China
Prior art keywords
video
frames
frame
target
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010480038.9A
Other languages
English (en)
Other versions
CN113747099A (zh
Inventor
孙龙
鲁威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202010480038.9A priority Critical patent/CN113747099B/zh
Priority to PCT/CN2021/094581 priority patent/WO2021238735A1/zh
Publication of CN113747099A publication Critical patent/CN113747099A/zh
Priority to US18/070,220 priority patent/US20230090985A1/en
Application granted granted Critical
Publication of CN113747099B publication Critical patent/CN113747099B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0125—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction

Abstract

本申请实施例公开了视频传输方法和设备，该方法包括：获取第一视频和第二视频，所述第一视频和所述第二视频的内容相同，且所述第一视频的画质低于所述第二视频的画质；根据所述第一视频，获取M个第一视频帧和N个目标帧的标识信息，所述目标帧为所述第一视频帧中的视频帧，M和N取任意正整数，且M大于N；根据所述N个目标帧的标识信息，在所述第二视频中获取所述N个目标帧对应的关联帧，所述目标帧与所述关联帧的标识信息相同且画质不同；对所述M个第一视频帧和N个关联帧进行重新编码，获取第三视频，所述第三视频用于传输至接收设备，所述第三视频的数据量小于所述第二视频的数据量。实施本申请实施例能够在降低传输视频的数据量的基础上，实现视频画面分辨率和画面质量的提升。

Description

视频传输方法和设备
技术领域
本申请实施例涉及视频处理技术，尤其涉及一种视频传输方法和设备。
背景技术
随着通信技术的不断发展，手机、平板、智能电视等电子设备已成为人们日常生活中不可或缺的一部分。随着电子设备的不断普及和升级、以及通信网络的宽带化、网际互连协议(internet protocol，IP)化发展，越来越多的多媒体业务应用于电子设备中，例如，短视频，流媒体视频和实时视频通话等业务。多媒体业务可以支持不同速率、不同质量的视频服务，满足不同用户的业务需求。
在提供上述多媒体业务的服务器中对于同一视频存在不同分辨率的视频流，该服务器可以按照用户的选择和/或用户的通信网络状况下发视频流，即向用户所使用的电子设备传输该视频流。
然而，当服务器向用户所使用的电子设备传输高分辨率的视频流，以满足用户获取高分辨率和高画面质量的需求时，由于该高分辨率的视频流的数据量较大，导致传输该高分辨率的视频流对用户所使用的电子设备的通信网络带宽有较高要求。由于用户所使用的电子设备的通信网络带宽、流量余额的限制，使得如何在降低传输视频流的数据量的基础上，提升视频画面分辨率和画面质量成为亟待解决的问题。
发明内容
本申请实施例提供一种视频传输方法和设备，可以在降低传输视频的数据量的基础上，实现视频画面分辨率和画面质量的提升。
第一方面，本申请实施例提供一种视频传输方法，该方法可以包括：获取第一视频和第二视频，该第一视频和该第二视频的内容相同，且该第一视频的画质低于该第二视频的画质。根据该第一视频，获取M个第一视频帧和N个目标帧的标识信息，该目标帧为该第一视频帧中的视频帧，M和N取任意正整数，且M大于N。根据该N个目标帧的标识信息，在该第二视频中获取N个目标帧对应的关联帧，该目标帧与该关联帧的标识信息相同且画质不同。对M个第一视频帧和N个关联帧进行重新编码，获取第三视频，该第三视频用于传输至接收设备，该第三视频的数据量小于该第二视频的数据量。
本实现方式，通过对低画质的第一视频和高画质的第二视频中的关联帧进行重新编码，获取第三视频，该第三视频的数据量小于全是高画质视频帧的第二视频的数据量，从而可以降低传输视频的数据量。
高画质的第二视频中的关联帧可以用于接收端对低画质的第一视频帧进行纹理迁移超分辨率处理，得到超分辨率的视频，从而可以在降低传输视频的数据量的基础上，实现视频画面分辨率和画面质量的提升。
本申请实施例的第一方面的执行主体可以是云端服务器，通过第一方面的方法可以缓解网络下行传输的压力，并且可以保障接收端的视频画面质量。
一种可能的设计中，对M个第一视频帧和N个关联帧进行重新编码，可以包括：将N个关联帧分别设置于每个关联帧关联的多个第一视频帧的尾部，进行编码。其中，每个关联帧关联的多个第一视频帧包括与该关联帧对应的目标帧关联的多个第一视频帧。
本实现方式，通过在多个第一视频帧的尾部设置一个关联帧，使得接收端可以使用该关联帧对多个第一视频帧进行纹理迁移超分辨率处理，从而可以在降低传输视频的数据量的基础上，实现视频画面分辨率和画面质量的提升。
一种可能的设计中，根据该第一视频，获取M个第一视频帧和N个目标帧的标识信息，可以包括：对该第一视频进行解码，获取M个第一视频帧，该M个第一视频帧包括K个图片组，K小于M。在M个第一视频帧中，提取N个目标帧的标识信息。其中，该K个图片组中的每个图片组包括至少一个目标帧，或者，该K个图片组中的多个图片组包括一个目标帧。
本实现方式，以图片组为粒度提取目标帧，可以在一个或多个图片组中选取一个或多个第一视频帧作为目标帧，提取该目标帧的标识信息，根据该目标帧的标识信息获取第二视频中的关联帧，使得接收端可以使用关联帧对一个或多个图片组中的第一视频帧进行纹理迁移超分辨率处理，从而可以在降低传输视频的数据量的基础上，实现视频画面分辨率和画面质量的提升。
一种可能的设计中，与该关联帧对应的目标帧关联的多个第一视频帧包括与该目标帧对应的至少一个图片组中的第一视频帧。
一种可能的设计中，将该N个关联帧分别设置于每个关联帧关联的多个第一视频帧的尾部，包括：根据该N个关联帧和每个关联帧对应的目标帧，确定每个关联帧对应的残差块。将该N个关联帧对应的残差块分别放置与每个关联帧关联的多个第一视频帧的尾部。
一种可能的设计中，根据该N个关联帧和每个关联帧对应的目标帧，确定每个关联帧对应的残差块，可以包括：对每个关联帧对应的目标帧进行插值放大，得到该目标帧的放大图，该放大图的分辨率与该关联帧的分辨率相同。对该关联帧和该关联帧的放大图进行残差处理，确定每个关联帧对应的残差块。
一种可能的设计中，该目标帧包括以下至少一项：I帧、P帧或B帧。
第二方面，本申请实施例提供一种视频传输方法，该方法可以包括：接收第一视频。根据该第一视频，获取M个第一视频帧和N个关联帧，M和N取任意正整数，且M大于N，该第一视频帧的画质低于该关联帧的画质，该关联帧与该第一视频帧中的目标帧对应。根据该N个关联帧，确定每个第一视频帧的参考图。根据每个第一视频帧的参考图，对该第一视频帧进行纹理迁移超分辨率处理，获取超分辨率视频。
一种可能的设计中，该超分辨率视频包括多个超分辨率视频帧，根据每个第一视频帧的参考图，对该第一视频帧进行纹理迁移超分辨率处理，可以包括：将每个第一视频帧和该第一视频帧的参考图输入至纹理迁移超分辨率神经网络模型中，输出该第一视频帧对应的超分辨率视频帧。其中，该纹理迁移超分辨率神经网络模型为使用第一视频帧和第二视频帧对神经网络模型进行训练得到的，该纹理迁移超分辨率神经网络模型用于将第二视频帧的纹理特征信息迁移至第一视频帧，对该第一视频帧进行超分辨率处理，该第二视频帧的画质高于该第一视频帧。
一种可能的设计中，该M个第一视频帧包括K个图片组，K小于M，根据该N个关联帧，确定每个第一视频帧的参考图，可以包括：将每个图片组的关联帧作为该图片组中每个第一视频帧的参考图。其中，每个图片组的关联帧为与该图片组中的目标帧对应的关联帧。
一种可能的设计中，该方法还可以包括：对该超分辨率视频进行渲染，显示渲染后的超分辨率视频。
第三方面，本申请提供一种视频传输装置，该视频传输装置可以为发送设备中的芯片或者片上系统，还可以为发送设备中用于实现上述第一方面或上述第一方面的任一可能的设计的方法的功能模块。该视频传输装置可以实现上述第一方面或上述第一方面的各可能的设计中发送设备所执行的功能，功能可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个上述功能相应的模块。举例来说，一种可能的实施方式中，该视频传输装置可以包括：获取模块、关联帧提取模块和编码模块。获取模块，用于获取第一视频和第二视频，该第一视频和该第二视频的内容相同，且该第一视频的画质低于该第二视频的画质。关联帧提取模块，用于根据该第一视频，获取M个第一视频帧和N个目标帧的标识信息，该目标帧为该第一视频帧中的视频帧，M和N取任意正整数，且M大于N。该关联帧提取模块，还用于根据N个目标帧的标识信息，在该第二视频中获取该N个目标帧对应的关联帧，该目标帧与该关联帧的标识信息相同且画质不同。编码模块，用于对该M个第一视频帧和N个关联帧进行重新编码，获取第三视频，该第三视频用于传输至接收设备，该第三视频的数据量小于该第二视频的数据量。
一种可能的设计中，该编码模块用于：将该N个关联帧分别设置于每个关联帧关联的多个第一视频帧的尾部，进行编码。其中，该每个关联帧关联的多个第一视频帧包括与该关联帧对应的目标帧关联的多个第一视频帧。
一种可能的设计中，该关联帧提取模块用于：对该第一视频进行解码，获取M个第一视频帧，该M个第一视频帧包括K个图片组，K小于M。在该M个第一视频帧中，提取N个目标帧的标识信息。其中，该K个图片组中的每个图片组包括至少一个目标帧，或者，该K个图片组中的多个图片组包括一个目标帧。
一种可能的设计中，与该关联帧对应的目标帧关联的多个第一视频帧包括与该目标帧对应的至少一个图片组中的第一视频帧。
一种可能的设计中，该编码模块用于：根据该N个关联帧和每个关联帧对应的目标帧，确定每个关联帧对应的残差块。将该N个关联帧对应的残差块分别放置与每个关联帧关联的多个第一视频帧的尾部。
一种可能的设计中，该编码模块用于：对每个关联帧对应的目标帧进行插值放大，得到该目标帧的放大图，该放大图的分辨率与该关联帧的分辨率相同。对该关联帧和该关联帧的放大图进行残差处理，确定每个关联帧对应的残差块。
一种可能的设计中，该目标帧包括以下至少一项：I帧、P帧或B帧。
第四方面，本申请提供一种视频传输装置，该视频传输装置可以为接收设备中的芯片或者片上系统，还可以为接收设备中用于实现上述第二方面或上述第二方面的任一可能的设计的方法的功能模块。该视频传输装置可以实现上述第二方面或上述第二方面的各可能的设计中接收设备所执行的功能，功能可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个上述功能相应的模块。举例来说，一种可能的实施方式中，该视频传输装置可以包括：接收模块、解码模块和超分辨率模块。其中，接收模块，用于接收第一视频。解码模块，用于根据该第一视频，获取M个第一视频帧和N个关联帧，M和N取任意正整数，且M大于N，该第一视频帧的画质低于该关联帧的画质，该关联帧与该第一视频帧中的目标帧对应。该解码模块，还用于根据N个关联帧，确定每个第一视频帧的参考图。超分辨率模块，用于根据每个第一视频帧的参考图，对该第一视频帧进行纹理迁移超分辨率处理，获取超分辨率视频。
一种可能的设计中，该超分辨率视频包括多个超分辨率视频帧，该超分辨率模块用于：将每个第一视频帧和该第一视频帧的参考图输入至纹理迁移超分辨率神经网络模型中，输出该第一视频帧对应的超分辨率视频帧。其中，该纹理迁移超分辨率神经网络模型为使用第一视频帧和第二视频帧对神经网络模型进行训练得到的，该纹理迁移超分辨率神经网络模型用于将第二视频帧的纹理特征信息迁移至第一视频帧，对该第一视频帧进行超分辨率处理，该第二视频帧的画质高于该第一视频帧。
一种可能的设计中，该M个第一视频帧包括K个图片组，K小于M，该解码模块用于：将每个图片组的关联帧作为该图片组中每个第一视频帧的参考图。其中，每个图片组的关联帧为与该图片组中的目标帧对应的关联帧。
一种可能的设计中，该装置还包括：渲染模块，用于对该超分辨率视频进行渲染，显示渲染后的超分辨率视频。
第五方面，本申请实施例提供一种视频传输装置，包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述第一方面中任一项所述的方法。
该视频传输装置可以为编码器或编码器的芯片或者片上系统。
第六方面，本申请实施例提供一种视频传输装置，包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述第二方面中任一项所述的方法。
该视频传输装置可以为解码器或解码器的芯片或者片上系统。
第七方面，本申请实施例提供一种计算机可读存储介质，包括计算机程序，所述计算机程序在计算机上被执行时，使得所述计算机执行上述第一方面中任一项所述的方法。
第八方面，本申请实施例提供一种计算机可读存储介质，包括计算机程序，所述计算机程序在计算机上被执行时，使得所述计算机执行上述第二方面中任一项所述的方法。
第九方面，本申请实施例提供一种发送设备，包括：编码器，该编码器用于执行如第一方面或第一方面的任一种可能的设计的方法。可选的，该发送设备还可以包括解码器，用于对接收到的视频进行解码。
第十方面，本申请实施例提供一种接收设备，包括：解码器，该解码器用于执行如第二方面或第二方面的任一种可能的设计的方法。可选的，该接收设备还可以包括编码器，用于对视频进行编码。
第十一方面，本申请实施例提供一种计算机程序产品，当该计算机程序产品在计算机上运行时，使得该计算机执行第一方面的任意一种方法的部分或全部步骤，或者，使得该计算机执行第二方面的任意一种方法的部分或全部步骤。
应当理解的是，本申请实施例的第二至十一方面与本申请实施例的第一方面的技术方案一致，各方面及对应的可行实施方式所取得的有益效果相似，不再赘述。
由此可见，本申请实施例的发送设备根据该第一视频，获取M个第一视频帧和N个目标帧的标识信息，该目标帧为该第一视频帧中的视频帧，根据该N个目标帧的标识信息，在该第二视频中获取N个目标帧对应的关联帧，对该M个第一视频帧和N个关联帧进行重新编码，获取第三视频。由于该第三视频是由低画质视频帧和小部分高画质视频帧编码而成，所以该第三视频的数据量小于全是高画质视频帧的第二视频的数据量，从而可以降低传输视频的数据量。接收设备根据该第三视频获取M个第一视频帧和N个关联帧，根据该N个关联帧，确定每个第一视频帧的参考图，根据每个第一视频帧的参考图，对该第一视频帧进行纹理迁移超分辨率处理，获取超分辨率视频。接收设备可以通过关联帧提高第一视频帧的画质和分辨率，得到超分辨率的视频，从而可以在降低传输视频的数据量的基础上，实现视频画面分辨率和画面质量的提升。
附图说明
图1为本申请实施例提供的一种视频传输系统10的示意性框图；
图2为本申请实施例提供的视频译码设备200实例的结构示意图；
图3为本申请实施例提供的另一种编码装置或解码装置的示意性框图；
图4为本申请实施例提供的一种视频传输方法的流程图；
图5为本申请实施例提供的一种视频传输方法的处理过程示意图；
图6A为本申请实施例提供的一种视频重新编码的处理过程示意图；
图6B为本申请实施例提供的关联帧的处理过程示意图；
图7为本申请实施例提供的一种纹理迁移处理过程的示意图；
图8A为本申请实施例提供的一种纹理迁移处理的示意图；
图8B为本申请实施例提供的一种纹理迁移处理的输出结果的示意图；
图9为本申请实施例的一种视频传输装置的结构示意图；
图10为本申请实施例的一种视频传输装置的结构示意图。
具体实施方式
本申请实施例的术语“第一”、“第二”等仅用于区分描述的目的，而不能理解为指示或暗示相对重要性，也不能理解为指示或暗示顺序。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元。方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。在本申请实施例的描述中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
应当理解，在本申请实施例中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
视频编码通常是指处理形成视频(也可称为视频流)或视频序列的图片序列。在视频处理领域，术语“图片(picture)”、“帧(frame)”或“图像(image)”可以用作同义词。视频编码在发送侧执行，通常包括处理(例如，通过重编码)低画质视频和高画质视频以减少接收侧获取高画质视频所需的数据量，从而更高效地存储和/或传输。视频解码在接收侧执行，通常包括相对于编码作逆处理，以重构视频帧。编码部分和解码部分的组合也称为编解码(编码和解码)。
本申请实施例所涉及的重编码指的是，对低画质视频和高画质视频中的至少一个视频帧(例如，目标帧)进行重新编码，以获取新的视频，该新的视频可以用于接收侧通过超分辨率处理获取超分辨率视频。
本申请实施例所涉及的超分辨率处理指的是，是通过硬件或软件的方法提高原有图像(例如，本申请实施例的低画质视频帧)的分辨率，通过一系列低分辨率的图像(LowResolution，LR)来得到一幅高分辨率的图像(High Resolution，HR)过程就是超分辨率处理，也可以称为超分辨率重建。
本申请实施例所涉及的画质，指的是画面质量。画质可以包括清晰度、锐度、镜头畸变、色散度、解析度、色域范围、色彩纯度(色彩艳度)、或色彩平衡等一个或多个方面指标。
下面描述本申请实施例所应用的系统架构。参见图1，图1示例性地给出了本申请实施例所应用的视频传输系统10的示意性框图。如图1所示，视频传输系统10可包括发送设备12和接收设备14，发送设备12产生经过重编码的视频(例如，上述新的视频)。接收设备14可对由发送设备12所产生的经过重编码的视频进行解码。发送设备12、接收设备14或两个的各种实施方案可包含一或多个处理器以及耦合到所述一或多个处理器的存储器。所述存储器可包含但不限于RAM、ROM、EEPROM、快闪存储器或可用于以可由计算机存取的指令或数据结构的形式存储所要的程序代码的任何其它媒体，如本文所描述。发送设备12和接收设备14可以包括各种装置，包含桌上型计算机、移动计算装置、笔记型(例如，膝上型)计算机、平板计算机、机顶盒、例如所谓的“智能”电话等电话手持机、电视机、相机、显示装置、数字媒体播放器、视频游戏控制台、服务器、车载计算机、无线通信设备或其类似者。
虽然图1将发送设备12和接收设备14绘示为单独的设备，但设备实施例也可以同时包括发送设备12和接收设备14或同时包括两者的功能性，即发送设备12或对应的功能性以及接收设备14或对应的功能性。在此类实施例中，可以使用相同硬件和/或软件，或使用单独的硬件和/或软件，或其任何组合来实施发送设备12或对应的功能性以及接收设备14或对应的功能性。
发送设备12和接收设备14之间可通过链路13进行通信连接，接收设备14可经由链路13从发送设备12接收经过重编码的视频。链路13可包括能够将经过重编码的视频从发送设备12移动到接收设备14的一或多个媒体或装置。在一个实例中，链路13可包括使得发送设备12能够实时将经过重编码的视频直接发射到接收设备14的一或多个通信媒体。在一此实例中，发送设备12可根据通信标准(例如无线通信协议)来调制经过重编码的视频，且可将经调制的视频流发射到接收设备14。所述一或多个通信媒体可包含无线和/或有线通信媒体，例如射频(RF)频谱或一或多个物理传输线。所述一或多个通信媒体可形成基于分组的网络的一部分，基于分组的网络例如为局域网、广域网或全球网络(例如，因特网)。所述一或多个通信媒体可包含路由器、交换器、基站或促进从发送设备12到接收设备14的通信的其它设备。
发送设备12包括编码器20，另外可选地，发送设备12还可以包括视频源16、以及通信接口22。具体实现形态中，所述编码器20、视频源16、以及通信接口22可能是发送设备12中的硬件部件，也可能是发送设备12中的软件程序。分别描述如下：
视频源16，可以为用于捕获视频的相机或者用于存储视频的存储器，视频源16还可以包括存储先前捕获或产生的视频和/或获取或接收视频的任何类别的(内部或外部)接口。当视频源16为相机时，视频源16可例如为本地的或集成在发送设备中的集成相机；当视频源16为存储器时，视频源16可为本地的或例如集成在发送设备中的集成存储器。当所述视频源16包括接口时，接口可例如为从外部视频源接收视频的外部接口，外部视频源例如为外部视频捕获设备，比如相机、外部存储器或外部视频生成设备，外部视频生成设备例如为外部计算机图形处理器、计算机或服务器。接口可以为根据任何专有或标准化接口协议的任何类别的接口，例如有线或无线接口、光接口。
本申请实施例中，由视频源16传输至编码器20的视频可以包括高画质视频和低画质视频。
编码器20(或称视频编码器20)，用于接收高画质视频和低画质视频，采用如下述实施例的方式对高画质视频和低画质视频进行处理，从而提供经过重编码的视频(下文将进一步基于图2或图3描述编码器20的结构细节)。在一些实施例中，编码器20可以用于执行后文所描述的各个实施例，以实现本申请所描述的视频传输方法在编码侧的应用。
通信接口22，可用于接收经过重编码的视频，并可通过链路13将经过重编码的视频传输至接收设备14或任何其它设备(如存储器)，以用于存储或直接重构，所述其它设备可为任何用于解码或存储的设备。通信接口22可例如用于将经过重编码的视频封装成合适的格式，例如数据包，以在链路13上传输。
接收设备14包括解码器30，另外可选地，接收设备14还可以包括通信接口28和显示设备32。分别描述如下：
通信接口28，可用于从发送设备12或任何其它源接收经过重编码的视频，所述任何其它源例如为存储设备，存储设备例如为经过重编码的视频存储设备。通信接口28可以用于藉由发送设备12和接收设备14之间的链路13或藉由任何类别的网络传输或接收经过重编码的视频，链路13例如为直接有线或无线连接，任何类别的网络例如为有线或无线网络或其任何组合，或任何类别的私网和公网，或其任何组合。通信接口28可以例如用于解封装通信接口22所传输的数据包以获取经过重编码的视频。
通信接口28和通信接口22都可以配置为单向通信接口或者双向通信接口，以及可以用于例如发送和接收消息来建立连接、确认和交换任何其它与通信链路和/或例如经过重编码的视频传输的数据传输有关的信息。
解码器30(或称为解码器30)，用于接收经过重编码的视频，并进行超分辨率处理以提供超分辨率视频(下文将进一步基于图2或图3描述解码器30的结构细节)。在一些实施例中，解码器30可以用于执行后文所描述的各个实施例，以实现本申请所描述的视频传输方法在解码侧的应用。
显示设备32，用于接收超分辨率视频以向例如用户或观看者显示图像。显示设备34可以为或可以包括任何类别的用于呈现经重构图片的显示器，例如，集成的或外部的显示器或监视器。例如，显示器可以包括液晶显示器(liquid crystal display，LCD)、有机发光二极管(organic light emitting diode，OLED)显示器、等离子显示器、投影仪、微LED显示器、硅基液晶(liquid crystal on silicon，LCoS)、数字光处理器(digital lightprocessor，DLP)或任何类别的其它显示器。
虽然，图1将发送设备12和接收设备14绘示为单独的设备，但设备实施例也可以同时包括发送设备12和接收设备14或同时包括两者的功能性，即发送设备12或对应的功能性以及接收设备14或对应的功能性。在此类实施例中，可以使用相同硬件和/或软件，或使用单独的硬件和/或软件，或其任何组合来实施发送设备12或对应的功能性以及接收设备14或对应的功能性。
本领域技术人员基于描述明显可知，不同单元的功能性或图1所示的发送设备12和/或接收设备14的功能性的存在和(准确)划分可能根据实际设备和应用有所不同。发送设备12和接收设备14可以包括各种设备中的任一个，包含任何类别的手持或静止设备，例如，笔记本或膝上型计算机、移动电话、智能手机、平板或平板计算机、摄像机、台式计算机、机顶盒、电视机、相机、车载设备、显示设备、数字媒体播放器、视频游戏控制台、视频流式传输设备(例如内容服务服务器或内容分发服务器)、广播接收器设备、广播发射器设备等，并可以不使用或使用任何类别的操作系统。
编码器20和解码器30都可以实施为各种合适电路中的任一个，例如，一个或多个微处理器、数字信号处理器(digital signal processor，DSP)、专用集成电路(application-specific integrated circuit，ASIC)、现场可编程门阵列(field-programmable gate array，FPGA)、离散逻辑、硬件或其任何组合。如果部分地以软件实施所述技术，则设备可将软件的指令存储于合适的非暂时性计算机可读存储介质中，且可使用一或多个处理器以硬件执行指令从而执行本公开的技术。前述内容(包含硬件、软件、硬件与软件的组合等)中的任一者可视为一或多个处理器。
在一些情况下，图1中所示视频传输系统10仅为示例，本申请的技术可以适用于不必包含编码和解码设备之间的任何数据通信的视频编码设置(例如，视频编码或视频解码)。在其它实例中，数据可从本地存储器检索、在网络上流式传输等。视频编码设备可以对数据进行编码并且将数据存储到存储器，和/或视频解码设备可以从存储器检索数据并且对数据进行解码。在一些实例中，由并不彼此通信而是仅编码数据到存储器和/或从存储器检索数据且解码数据的设备执行编码和解码。
参见图2，图2是本申请实施例提供的视频译码设备200(例如视频编码设备200或视频解码设备200)的结构示意图。视频译码设备200适于实施本文所描述的实施例。在一个实施例中，视频译码设备200可以是视频解码器(例如图1的解码器30)或视频编码器(例如图1的编码器20)。在另一个实施例中，视频译码设备200可以是上述图1的解码器30或图1的编码器20中的一个或多个组件。
视频译码设备200包括：用于接收数据的入口端口210和接收单元(Rx)220，用于处理数据的处理器、逻辑单元或中央处理器(CPU)230，用于传输数据的发射器单元(Tx)240和出口端口250，以及，用于存储数据的存储器260。视频译码设备200还可以包括与入口端口210、接收器单元220、发射器单元240和出口端口250耦合的光电转换组件和电光(EO)组件，用于光信号或电信号的出口或入口。
处理器230通过硬件和软件实现。处理器230可以实现为一个或多个CPU芯片、核(例如，多核处理器)、FPGA、ASIC和DSP。处理器230与入口端口210、接收器单元220、发射器单元240、出口端口250和存储器260通信。处理器230包括译码模块270(例如编码模块270或解码模块270)。编码/解码模块270实现本文中所公开的实施例，以实现本申请实施例所提供的视频传输方法。例如，编码/解码模块270实现、处理或提供各种编码操作。因此，通过编码/解码模块270为视频译码设备200的功能提供了实质性的改进，并影响了视频译码设备200到不同状态的转换。或者，以存储在存储器260中并由处理器230执行的指令来实现编码/解码模块270。
存储器260包括一个或多个磁盘、磁带机和固态硬盘，可以用作溢出数据存储设备，用于在选择性地执行这些程序时存储程序，并存储在程序执行过程中读取的指令和数据。存储器460可以是易失性和/或非易失性的，可以是只读存储器(ROM)、随机存取存储器(RAM)、随机存取存储器(ternary content-addressable memory，TCAM)和/或静态随机存取存储器(SRAM)。
参见图3，图3是根据一示例性实施例的可用作图1中的发送设备12和接收设备14中的任一个或两个的装置300的简化框图。装置300可以实现本申请的技术。换言之，图3为本申请实施例的编码设备或解码设备(简称为译码设备300)的一种实现方式的示意性框图。其中，译码设备300可以包括处理器310、存储器330和总线系统350。其中，处理器和存储器通过总线系统相连，该存储器用于存储指令，该处理器用于执行该存储器存储的指令。译码设备的存储器存储程序代码，且处理器可以调用存储器中存储的程序代码执行本申请描述的各种视频传输方法。为避免重复，这里不再详细描述。
在本申请实施例中，该处理器310可以是中央处理单元(Central ProcessingUnit，简称为“CPU”)，该处理器310还可以是其他通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
该存储器330可以包括只读存储器(ROM)设备或者随机存取存储器(RAM)设备。任何其他适宜类型的存储设备也可以用作存储器330。存储器330可以包括由处理器310使用总线350访问的代码和数据331。存储器330可以进一步包括操作系统333和应用程序335，该应用程序335包括允许处理器310执行本申请描述的视频传输方法的至少一个程序。例如，应用程序335可以包括应用1至N，其进一步包括执行在本申请描述的视频传输方法的视频重编码或解码应用(简称视频译码应用)。
该总线系统350除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见，在图中将各种总线都标为总线系统350。
可选的，译码设备300还可以包括一个或多个输出设备，诸如显示器370。在一个示例中，显示器370可以是触感显示器，其将显示器与可操作地感测触摸输入的触感单元合并。显示器370可以经由总线350连接到处理器310。
本申请实施例的视频传输方法，在发送设备侧，可以对低画质视频和高画质视频中的至少一个视频帧进行重编码，以获取新的视频，该新的视频的数据量小于该高画质视频的数据量，从而可以减小视频传输的数据量。在接收设备侧，可以基于新的视频，对低画质视频进行超分辨率处理，以提供超分辨率视频，从而可以在传输少于高画质视频的数据量的基础上，在接收设备侧获得较高的画面质量和较高的分辨率，提升用户观看体验。本申请实施例的视频传输方法可以在降低传输视频的数据量的基础上，提升视频画面分辨率和画面质量。
相较于采用视频超分辨率算法(如ESPCN等)对低分辨率图片进行处理的方式，本申请实施例的视频传输方法以高画质视频帧为参考图，通过纹理迁移超分辨率处理，可以提升获取的超分辨率视频的画质和分辨率。采用视频超分辨率算法(如ESPCN等)对低分辨率图片进行处理的方式，仅仅依赖于低画质视频进行超分辨率处理，在低分辨率图片中已经丢失的信息很难通过该方式额外生成和补全，因此该采用视频超分辨率算法(如ESPCN等)对低分辨率图片进行处理的方式，所得到的超分后恢复的高分辨率图像效果较差。
相较于采用云端对视频直接超分，将超分结果下发到终端的方式，本申请实施例的视频传输方法可以有效减少视频传输的数据量，并保障接收设备侧超分辨率处理效果，保证超分辨率视频的画质和分辨率。
需要说明的是，本申请实施例的发送设备和接收设备可以上述任意一种设备，例如，服务器、笔记本或膝上型计算机、移动电话、智能手机、平板或平板计算机等，为了方便描述，本申请下述实施例以发送设备为服务器，接收设备为智能手机为例进行举例说明，其不以此作为限制。
下面采用具体的实施例对本申请的视频传输方法进行解释说明。
图4为本申请实施例提供的一种视频传输方法的流程图，本申请实施例涉及发送设备和接收设备，如图4所示，本申请实施例的方法可以包括：
步骤101、发送设备获取第一视频和第二视频。
第一视频和第二视频的内容相同，且该第一视频的画质低于该第二视频的画质。本申请实施例的第一视频即为上述低画质视频，第二视频即为上述高画质视频。该第一视频和该第二视频可以是同一视频内容的不同画质的视频流。例如，电视剧A的第一集的360P的视频流(第一视频)和1080P的视频流(第二视频)。
发送设备可以从其他设备接收该第一视频和第二视频，也可以从自身存储器中获取该第一视频和第二视频。
步骤102、发送设备根据该第一视频，获取M个第一视频帧和N个目标帧的标识信息，该目标帧为该第一视频帧中的视频帧，M和N取任意正整数，且M大于N。
发送设备可以对该第一视频进行解码，获取M个第一视频帧，发送设备可以提取该M个第一视频帧中的N个目标帧的标识信息。该目标帧可以是包括以下至少一项：I帧、P帧或B帧。例如，在一些实施例中，该目标帧可以是I帧，换言之，发送设备可以提取该M个第一视频帧中的N个关键帧的标识信息。在另一些实施例中，该目标帧可以是I帧和P帧，换言之，发送设备可以提取该M个第一视频帧的I帧和部分P帧，该I帧和部分P帧的总个数为N。
对I帧、P帧和B帧的解释说明，I帧，又称帧内编码帧(Intra-coded picture)，I帧表示关键帧，是一种自带全部信息的独立帧，无需参考其他图像便可独立进行解码。又称为内部画面(intra picture)，I帧通常是每个图片组的第一个帧。P帧，又称前向预测编码帧(Predictive-coded Picture)，需要参考前面的帧进行编码。B帧，又称双向预测编码帧(Bidirectionally predicted picture)。B帧是双向差别帧，也就是B帧记录的是本帧与前后帧的差别，换言之，要解码B帧，不仅要取得之前的缓存画面，还要解码之后的画面，通过前后画面的与本帧数据的叠加取得最终的画面。
可选的，发送设备可以以图片组(Group of pictures，GOP)为粒度提取目标帧。例如，该M个第一视频帧包括K个图片组，发送设备可以在每一个图片组中选取一个或多个第一视频帧作为目标帧，提取该目标帧的标识信息。举例而言，发送设备可以在每一个图片组中选取I帧和两个P帧作为该图片组的目标帧。再例如，该M个第一视频帧包括K个图片组，发送设备可以在多个图片组中选取一个或多个第一视频帧作为目标帧，提取该目标帧的标识信息。举例而言，发送设备可以在相邻两个图片组中选取第一个图片组的I帧作为该相邻两个图片组的目标帧。K小于M。
在一些实施例中，发送设备还可以根据该M个第一视频帧的内容，选取该N个目标帧，并提取该N个目标帧的标识信息。例如，根据不同第一视频帧的内容的相似性，灵活选取目标帧。
步骤103、发送设备根据该N个目标帧的标识信息，在该第二视频中获取N个目标帧对应的关联帧，该目标帧与该关联帧的标识信息相同且画质不同。
发送设备通过该N个目标帧的标识信息，在该第二视频中提取与该标识信息相同的第二视频帧(高画质视频帧)，即提取N个目标帧(低画质视频帧)对应的关联帧(高画质视频帧)。
步骤104、发送设备对该M个第一视频帧和N个关联帧进行重新编码，获取第三视频。
该第三视频用于传输至接收设备，该第三视频的数据量小于该第二视频的数据量。
发送设备对该M个第一视频帧(低画质视频帧)和N个关联帧(高画质视频帧)进行编码，获取第三视频。
示例性的，发送设备可以将N个关联帧分别放在每个关联帧关联的多个第一视频帧的尾部，进行编码。其中，每个关联帧关联的多个第一视频帧包括与关联帧对应的目标帧关联的多个第一视频帧。例如，该目标帧为I帧，那么与关联帧对应的目标帧关联的多个第一视频帧包括该关联帧对应的I帧所在图片组的各个第一视频帧。
由于该第三视频是由大部分低画质视频帧和小部分高画质视频帧编码而成，所以该第三视频的数据量小于第二视频(全是高画质视频帧)的数据量。
步骤105、发送设备向接收设备发送第三视频。
相应的，接收设备接收发送设备发送的第三视频。
步骤106、接收设备根据该第三视频获取M个第一视频帧和N个关联帧。
接收设备可以对该第三视频进行解码，获取该M个第一视频帧和N个关联帧。由发送设备的上述处理过程可知，该第一视频帧的画质低于该关联帧的画质，该关联帧与该第一视频帧中的目标帧对应。
该目标帧的解释说明可以参见步骤102的解释说明，此处不再赘述。
步骤107、接收设备根据该N个关联帧，确定每个第一视频帧的参考图。
接收设备可以根据关联帧与第一视频帧的内容相似性，将相似性较高的关联帧作为第一视频帧的参考图。
例如，该关联帧对应的目标帧为I帧，可以将该关联帧作为I帧所在图片组中的各个第一视频帧的参考图。
步骤108、接收设备根据每个第一视频帧的参考图，对该第一视频帧进行纹理迁移超分辨率处理，获取超分辨率视频。
接收设备可以通过纹理迁移超分辨率处理，将每个第一视频帧的参考图与该第一视频帧的相似纹理，转移至该第一视频帧上，获取每个第一视频帧对应的超分辨率视频帧，从而获取超分辨率视频。该超分辨率视频的画质高于第一视频，且近似于第二视频。即通过低分辨率的图像(Low Resolution，LR)(第一视频帧)来得到高分辨率的图像(HighResolution，HR)(超分辨率视频帧)。
上述纹理迁移超分辨率处理的具体实施方式可以有很多种方式，例如，通过神经网络模型(纹理迁移超分辨率神经网络模型)实现纹理迁移超分辨率处理，输出超分辨率视频。该神经网络模型可以是任意神经网络模型，例如，深度神经网络(Deep NeuralNetwork，DNN)、卷积神经网络(Convolutional Neural Networks，CNN)或其组合等。
在一些实施例中，接收设备还可以对该超分辨率视频进行渲染，之后通过显示屏显示。
本实施例，发送设备根据该第一视频，获取M个第一视频帧和N个目标帧的标识信息，该目标帧为该第一视频帧中的视频帧，根据该N个目标帧的标识信息，在该第二视频中获取N个目标帧对应的关联帧，对该M个第一视频帧和N个关联帧进行重新编码，获取第三视频。由于该第三视频是由低画质视频帧和小部分高画质视频帧编码而成，所以该第三视频的数据量小于全是高画质视频帧的第二视频的数据量，从而可以降低传输视频的数据量。接收设备根据该第三视频获取M个第一视频帧和N个关联帧，根据该N个关联帧，确定每个第一视频帧的参考图，根据每个第一视频帧的参考图，对该第一视频帧进行纹理迁移超分辨率处理，获取超分辨率视频。接收设备可以通过关联帧提高第一视频帧的画质和分辨率，得到超分辨率的视频，从而可以在降低传输视频的数据量的基础上，实现视频画面分辨率和画面质量的提升。
当发送设备为云端服务器，接收设备为与云端服务器连接的任意终端设备时，通过云端服务器对第一视频和第二视频的至少一个视频帧进行重新编码，向终端设备发送重新编码后的视频，终端设备基于重新编码的视频进行超分辨率处理，得到超分辨率的视频，本申请实施例的方法可以缓解网络传输的压力，并且可以保障终端设备的视频画面质量。
下面，结合图5，通过具体示例，对图4所示实施例的方法进行说明。
图5为本申请实施例提供的一种视频传输方法的处理过程示意图，如图5所示，包括发送设备40和接收设备50，该发送设备40可以包括视频编解码模块4002和关联帧提取模块4004，该接收设备50可以包括视频解码模块5002和纹理迁移超分模块5004。
请参见图5，在发送设备需要向接收设备发送高画质视频时，例如，发送设备接收到接收设备发送的视频请求消息，该视频请求消息用于请求发送设备发送高画质视频(例如，1080P的视频)，发送设备为例响应该视频请求消息，可以通过如下处理过程传输视频，在降低传输视频的数据量的基础上，满足用户的视频画质需求。
具体的，发送设备可以获取请求发送的高画质视频4003，以及与该高画质视频内容相同的低画质视频4001，将低画质视频4001传输至视频编解码模块4002，视频编解码模块4002对低画质视频4001进行解码获取低画质视频帧(例如，上述M个低画质视频帧)，视频编解码模块4002提取M个低画质视频帧中的N个目标帧的ID，将N个目标帧的ID传递给关联帧提取模块4004，关联帧提取模块4004根据N个目标帧的ID，在高画质视频4003中提取N个目标帧对应的关联帧，关联帧提取模块4004将该N个关联帧传递给视频编解码模块4002，视频编解码模块4002对M个低画质视频帧和N个关联帧进行编码，获取视频流4005(例如，上述第三视频)。发送设备将视频流4005通过网络600，发送至接收设备。接收设备的视频解码模块5002对该视频流4005进行解码，获取M个低画质视频帧5001和N个关联帧5003，视频解码模块5002将M个低画质视频帧5001和N个关联帧5003传递至纹理迁移超分(Super-Resolution，SR)模块5004，纹理迁移超分(Super-Resolution，SR)模块5004对M个低画质视频帧5001和N个关联帧5003进行纹理迁移超分辨率处理，获取M个超分辨率视频帧，即超分辨率视频5005，输出该超分辨率视频5005。
下面，结合图6A，通过具体示例，对图4所示实施例的步骤102至步骤104进行说明，即对发送设备侧的重新编码的过程进行解释说明。
图6A为本申请实施例提供的一种视频重新编码的处理过程示意图，如图6A所示，本实施例以目标帧为每个图片组的关键帧为例进行举例说明。参见图6A所示的处理过程7000，发送设备可以对低画质视频7001进行解码，获取各个图片组的低画质视频帧，例如，如图6A所示的f_1、f_2、f_3、……、f_n，以及f_n+1、f_n+2、f_n+3、……、f_2n等。发送设备可以对高画质视频7002进行解码，获取各个图片组的高画质视频帧，例如，如图6A所示的f_1、f_2、f_3、……、f_n，以及f_n+1、f_n+2、f_n+3、……、f_2n等。参见处理过程8000，发送设备根据关键帧的ID在高画质视频帧中提取关键帧对应的关联帧。参见处理过程9000，发送设备可以根据该关联帧和该关键帧，确定该关联帧对应的残差块，以两倍超分的四个残差块为例，即如图6A所说的f_1部分(part)1、f_1部分(part)2、f_1部分(part)3和f_1部分(part)4。发送设备可以将f_1部分(part)1、f_1部分(part)2、f_1部分(part)3和f_1部分(part)4放置在与该关联帧对应的关键帧所在图片组的尾部，换言之，将其放入对应的关键帧所在图片组中，进行重新编码，得到上述第三视频。
图6B为本申请实施例提供的关联帧的处理过程示意图，采用图6B对上述实施例的确定残差块的具体实施方式进行解释说明，如图6B所示，以一个关联帧(也可称为高画质关联帧)和其对应的关键帧(也可称为低画质关键帧)进行举例说明。发送设备可以对该低画质关键帧进行插值放大，例如，双立方(bicubic)插值放大，得到该低画质关键帧的放大图，该低画质关键帧的放大图的分辨率与该高画质关联帧的分辨率相同。发送设备对该低画质关键帧的放大图与该高画质关联帧进行残差处理，得到高画质关联帧残差，将该高画质关联帧残差切成四块，即可得到上述f_1部分(part)1、f_1部分(part)2、f_1部分(part)3和f_1部分(part)4。其他关联帧可以采用相同的处理方式，本申请实施例不一一进行解释说明。
需要说明的是，以两倍超分的四个残差块为例，上述残差块还可以是三倍超分的九个残差块、四倍超分的16个残差块等，本申请实施例不一一举例说明。
下面，结合图7，通过具体示例，对图4所示实施例的步骤107至步骤108进行说明，即对接收设备侧的纹理迁移处理过程进行解释说明。
图7为本申请实施例提供的一种纹理迁移处理过程的示意图，如图7所示，本实施例以图6A所示的重新编码过程对应的纹理迁移处理过程为例进行举例说明。参见图7所示的处理过程10000，接收设备可以对第三视频10001进行解码，获取各个图片组的低画质视频帧和高画质关联帧的残差块，例如，如图7所示的f_1、f_2、f_3、……、f_n、f_1部分(part)1、f_1部分(part)2、f_1部分(part)3和f_1部分(part)4，以及f_n+1、f_n+2、f_n+3、……、f_2n、f_n+1部分(part)1、f_n+1部分(part)2、f_n+1部分(part)3和f_n+1部分(part)4等。参见图7所示的处理过程11000，接收设备可以根据各个图片组的高画质关联帧的残差块，得到该图片组的高画质关联帧，例如，基于f_1部分(part)1、f_1部分(part)2、f_1部分(part)3和f_1部分(part)4，得到f_1。参见图7所示的处理过程12000，接收设备可以复制每个图片组的高画质关联帧，使得每个低画质视频帧都有一个对应的高画质关联帧，该高画质关联帧作为该低画质视频帧的参考图。根据每个低画质视频帧的参考图，对该低画质视频帧进行纹理迁移超分辨率处理，获取超分辨率视频帧，进而获取超分辨率视频。
以一个低画质视频帧和其对应的高画质关联帧为例，对采用神经网络模型的纹理迁移超分辨率处理进行解释说明，图8A为本申请实施例提供的一种纹理迁移处理的示意图，如图8A所示，将低画质视频帧(LR)和其对应的高画质关联帧(HR)输入至纹理迁移超分辨率神经网络模型中，输出低画质视频帧对应的超分辨率视频帧(SR)。
其中，该纹理迁移超分辨率神经网络模型为使用低画质视频帧和高画质视频帧对神经网络模型进行训练得到的，该纹理迁移超分辨率神经网络模型用于将高画质视频帧的纹理特征信息迁移至低画质视频帧，对低画质视频帧进行超分辨率处理。
需要说明的是，本申请实施例不对该纹理迁移超分辨率神经网络模型的层数和连接关系进行限制。
结合图8B所示，图8B为本申请实施例提供的一种纹理迁移处理的输出结果的示意图，如图8B所示，低画质视频帧(LR)经过该纹理迁移超分辨率神经网络模型后，可以输出超分辨率视频帧(SR)，由图8B可见，经过本申请实施例的纹理迁移超分辨率神经网络模型的处理，可以有效提升视频帧的画质和分辨率。
基于与上述方法相同的发明构思，本申请实施例还提供了一种视频传输装置，该视频传输装置可以应用于视频编解码器。
图9为本申请实施例的一种视频传输装置的结构示意图，如图9所示，该视频传输装置900包括：获取模块901、关联帧提取模块902以及编码模块903；其中，获取模块901，用于获取第一视频和第二视频，该第一视频和该第二视频的内容相同，且该第一视频的画质低于该第二视频的画质。关联帧提取模块902，用于根据该第一视频，获取M个第一视频帧和N个目标帧的标识信息，该目标帧为该第一视频帧中的视频帧，M和N取任意正整数，且M大于N；该关联帧提取模块902，还用于根据该N个目标帧的标识信息，在该第二视频中获取该N个目标帧对应的关联帧，该目标帧与该关联帧的标识信息相同且画质不同。编码模块903，用于对该M个第一视频帧和N个关联帧进行重新编码，获取第三视频，该第三视频用于传输至接收设备，该第三视频的数据量小于该第二视频的数据量。
在一些实施例中，该编码模块903用于：将该N个关联帧分别设置于每个关联帧关联的多个第一视频帧的尾部，进行编码；其中，每个关联帧关联的多个第一视频帧包括与关联帧对应的目标帧关联的多个第一视频帧。
在一些实施例中，该关联帧提取模块902用于：对该第一视频进行解码，获取M个第一视频帧，该M个第一视频帧包括K个图片组，K小于M；在该M个第一视频帧中，提取N个目标帧的标识信息。其中，该K个图片组中的每个图片组包括至少一个目标帧，或者，该K个图片组中的多个图片组包括一个目标帧。
在一些实施例中，与所述关联帧对应的目标帧关联的多个第一视频帧包括与所述目标帧对应的至少一个图片组中的第一视频帧。
在一些实施例中，该编码模块903用于：根据该N个关联帧和每个关联帧对应的目标帧，确定每个关联帧对应的残差块；将该N个关联帧对应的残差块分别放置与每个关联帧关联的多个第一视频帧的尾部。
在一些实施例中，该编码模块903用于：对每个关联帧对应的目标帧进行插值放大，得到所述目标帧的放大图，该放大图的分辨率与该关联帧的分辨率相同；对该关联帧和该关联帧的放大图进行残差处理，确定每个关联帧对应的残差块。
在一些实施例中，该目标帧包括以下至少一项：I帧、P帧或B帧。
需要说明的是，上述获取模块901、关联帧提取模块902以及编码模块903可应用于发送端在传输视频之前的编码过程。上述视频传输装置900也可以称为视频编码装置900。
还需要说明的是，获取模块901、关联帧提取模块902以及编码模块903的具体实现过程可参考上述方法实施例的详细描述，为了说明书的简洁，这里不再赘述。
基于与上述方法相同的发明构思，本申请实施例提供一种视频编码器，视频编码器用于重新编码视频，包括：如执行如上述一个或者多个实施例中所述的视频传输装置，其中，视频传输装置用于对第一视频和第二视频重新编码生成第三视频。
该视频编码器可以是发送设备的视频编码器。
基于与上述方法相同的发明构思，本申请实施例提供一种用于传输视频的设备，该设备包括：存储器，用于存储视频或计算机执行指令；视频编码器，获取第一视频和第二视频，该第一视频和该第二视频的内容相同，且该第一视频的画质低于该第二视频的画质。根据该第一视频，获取M个第一视频帧和N个目标帧的标识信息，该目标帧为该第一视频帧中的视频帧，M和N取任意正整数，且M大于N。根据该N个目标帧的标识信息，在该第二视频中获取该N个目标帧对应的关联帧，该目标帧与该关联帧的标识信息相同且画质不同。对该M个第一视频帧和N个关联帧进行重新编码，获取第三视频，该第三视频用于传输至接收设备，该第三视频的数据量小于该第二视频的数据量。
可以替换的，装置900也可配置成通用处理系统，例如通称为芯片，该芯片可以包括提供处理功能的一个或多个处理器，该一个或多个处理器用于完成上述获取模块901、关联帧提取模块902以及编码模块903的处理功能；该芯片还可以包括输入/输出接口、管脚或电路等，输入/输出接口可用于负责此芯片与外界的信息交互，例如，此输入/输出接口可将第三视频输出给此芯片外的其他模块进行处理。该处理器可执行存储模块中存储的计算机执行指令以实现上述方法实施例中发送设备的功能。在一个示例中，该芯片中可选的包括存储单元，如寄存器、缓存等，在一些实施例中，该存储单元还可以是所述接收设备内的位于芯片外部的存储单元，如只读存储器(read-only memory，简称ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，简称RAM)等。
图10为本申请实施例的一种视频传输装置的结构示意图，如图10所示，该视频传输装置1000包括：接收模块1001、解码模块1002以及超分辨率模块1003；其中，接收模块1001，用于接收第三视频。解码模块1002，用于根据该第三视频，获取M个第一视频帧和N个关联帧，M和N取任意正整数，且M大于N，该第一视频帧的画质低于该关联帧的画质，该关联帧与该第一视频帧中的目标帧对应。解码模块1002，还用于根据该N个关联帧，确定每个第一视频帧的参考图。超分辨率模块1003，用于根据每个第一视频帧的参考图，对该第一视频帧进行纹理迁移超分辨率处理，获取超分辨率视频。
在一些实施例中，该超分辨率视频包括多个超分辨率视频帧，该超分辨率模块1003用于：将每个第一视频帧和该第一视频帧的参考图输入至纹理迁移超分辨率神经网络模型中，输出该第一视频帧对应的超分辨率视频帧。其中，该纹理迁移超分辨率神经网络模型为使用第一视频帧和第二视频帧对神经网络模型进行训练得到的，该纹理迁移超分辨率神经网络模型用于将第二视频帧的纹理特征信息迁移至第一视频帧，对该第一视频帧进行超分辨率处理，该第二视频帧的画质高于该第一视频帧。
在一些实施例中，该M个第一视频帧包括K个图片组，K小于M，该解码模块1002用于：将每个图片组的关联帧作为该图片组中每个第一视频帧的参考图。其中，每个图片组的关联帧为与该图片组中的目标帧对应的关联帧。
在一些实施例中，该装置还包括：渲染模块1004，用于对该超分辨率视频进行渲染，显示渲染后的超分辨率视频。
基于与上述方法相同的发明构思，本申请实施例提供一种视频解码器，视频解码器用于解码视频，包括：如执行如上述一个或者多个实施例中所述的视频传输装置，其中，视频传输装置用于对第三视频解码，并进行纹理迁移超分辨率处理，获取超分辨率视频。
该视频解码器可以是接收设备的视频解码器。
基于与上述方法相同的发明构思，本申请实施例提供一种用于传输视频的设备，该设备包括：存储器，用于存储视频或计算机执行指令；视频解码器，用于根据第三视频，获取M个第一视频帧和N个关联帧，M和N取任意正整数，且M大于N，该第一视频帧的画质低于该关联帧的画质，该关联帧与该第一视频帧中的目标帧对应。根据该N个关联帧，确定每个第一视频帧的参考图。根据每个第一视频帧的参考图，对该第一视频帧进行纹理迁移超分辨率处理，获取超分辨率视频。
基于与上述方法相同的发明构思，本申请实施例提供一种编解码设备，包括：相互耦合的非易失性存储器和处理器，所述处理器调用存储在所述存储器中的程序代码以执行如上述一个或者多个实施例中所述的视频传输方法的部分或全部步骤。
基于与上述方法相同的发明构思，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储了程序代码，其中，所述程序代码包括用于执行如上述一个或者多个实施例中所述的视频传输方法的部分或全部步骤的指令。
基于与上述方法相同的发明构思，本申请实施例提供一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行如上述一个或者多个实施例中所述的视频传输方法的部分或全部步骤。
本领域技术人员能够领会，结合本文公开描述的各种说明性逻辑框、模块和算法步骤所描述的功能可以硬件、软件、固件或其任何组合来实施。如果以软件来实施，那么各种说明性逻辑框、模块、和步骤描述的功能可作为一或多个指令或代码在计算机可读媒体上存储或传输，且由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体，其对应于有形媒体，例如数据存储媒体，或包括任何促进将计算机程序从一处传送到另一处的媒体(例如，根据通信协议)的通信媒体。以此方式，计算机可读媒体大体上可对应于(1)非暂时性的有形计算机可读存储媒体，或(2)通信媒体，例如信号或载波。数据存储媒体可为可由一或多个计算机或一或多个处理器存取以检索用于实施本申请中描述的技术的指令、代码和/或数据结构的任何可用媒体。计算机程序产品可包含计算机可读媒体。
作为实例而非限制，此类计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器或可用来存储指令或数据结构的形式的所要程序代码并且可由计算机存取的任何其它媒体。并且，任何连接被恰当地称作计算机可读媒体。举例来说，如果使用同轴缆线、光纤缆线、双绞线、数字订户线(DSL)或例如红外线、无线电和微波等无线技术从网站、服务器或其它远程源传输指令，那么同轴缆线、光纤缆线、双绞线、DSL或例如红外线、无线电和微波等无线技术包含在媒体的定义中。但是，应理解，所述计算机可读存储媒体和数据存储媒体并不包括连接、载波、信号或其它暂时媒体，而是实际上针对于非暂时性有形存储媒体。如本文中所使用，磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)和蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘利用激光以光学方式再现数据。以上各项的组合也应包含在计算机可读媒体的范围内。
可通过例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路等一或多个处理器来执行指令。因此，如本文中所使用的术语“处理器”可指前述结构或适合于实施本文中所描述的技术的任一其它结构中的任一者。另外，在一些方面中，本文中所描述的各种说明性逻辑框、模块、和步骤所描述的功能可以提供于经配置以用于编码和解码的专用硬件和/或软件模块内，或者并入在组合编解码器中。而且，所述技术可完全实施于一或多个电路或逻辑元件中。
本申请的技术可在各种各样的装置或设备中实施，包含无线手持机、集成电路(IC)或一组IC(例如，芯片组)。本申请中描述各种组件、模块或单元是为了强调用于执行所揭示的技术的装置的功能方面，但未必需要由不同硬件单元实现。实际上，如上文所描述，各种单元可结合合适的软件和/或固件组合在编码解码器硬件单元中，或者通过互操作硬件单元(包含如上文所描述的一或多个处理器)来提供。
在上述实施例中，对各个实施例的描述各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
以上所述，仅为本申请示例性的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (26)

1.一种视频传输方法，其特征在于，包括：
获取第一视频和第二视频，所述第一视频和所述第二视频的内容相同，且所述第一视频的画质低于所述第二视频的画质；
根据所述第一视频，获取M个第一视频帧和N个目标帧的标识信息，所述目标帧为所述第一视频帧中的视频帧，M和N取任意正整数，且M大于N；
根据所述N个目标帧的标识信息，在所述第二视频中获取所述N个目标帧对应的关联帧，所述目标帧与所述关联帧的标识信息相同且画质不同；
对所述M个第一视频帧和N个关联帧进行重新编码，获取第三视频，所述第三视频用于传输至接收设备，所述第三视频的数据量小于所述第二视频的数据量，所述关联帧用于接收端对与所述关联帧关联的所述第一视频帧进行纹理迁移超分辨率处理，获取超分辨率视频；
其中，所述对所述M个第一视频帧和N个关联帧进行重新编码，包括：
将所述N个关联帧分别设置于每个关联帧关联的多个第一视频帧的尾部，进行编码。
2.根据权利要求1所述的方法，其特征在于，
所述每个关联帧关联的多个第一视频帧包括与所述关联帧对应的目标帧关联的多个第一视频帧。
3.根据权利要求2所述的方法，其特征在于，所述根据所述第一视频，获取M个第一视频帧和N个目标帧的标识信息，包括：
对所述第一视频进行解码，获取M个第一视频帧，所述M个第一视频帧包括K个图片组，K小于M；
在所述M个第一视频帧中，提取N个目标帧的标识信息；
其中，所述K个图片组中的每个图片组包括至少一个目标帧，或者，所述K个图片组中的多个图片组包括一个目标帧。
4.根据权利要求3所述的方法，其特征在于，与所述关联帧对应的目标帧关联的多个第一视频帧包括与所述目标帧对应的至少一个图片组中的第一视频帧。
5.根据权利要求2至4任一项所述的方法，其特征在于，所述将所述N个关联帧分别设置于每个关联帧关联的多个第一视频帧的尾部，包括：
根据所述N个关联帧和每个关联帧对应的目标帧，确定每个关联帧对应的残差块；
将所述N个关联帧对应的残差块分别放置与每个关联帧关联的多个第一视频帧的尾部。
6.根据权利要求5所述的方法，其特征在于，所述根据所述N个关联帧和每个关联帧对应的目标帧，确定每个关联帧对应的残差块，包括：
对每个关联帧对应的目标帧进行插值放大，得到所述目标帧的放大图，所述放大图的分辨率与所述关联帧的分辨率相同；
对所述关联帧和所述关联帧的放大图进行残差处理，确定每个关联帧对应的残差块。
7.根据权利要求1至4、6任一项所述的方法，其特征在于，所述目标帧包括以下至少一项：I帧、P帧或B帧。
8.一种视频传输方法，其特征在于，包括：
接收第一视频；
根据所述第一视频，获取M个第一视频帧和N个关联帧，M和N取任意正整数，且M大于N，所述第一视频帧的画质低于所述关联帧的画质，所述关联帧与所述第一视频帧中的目标帧对应，所述第一视频是将所述N个关联帧分别设置于每个关联帧关联的多个第一视频帧的尾部，对所述M个第一视频帧和N个关联帧进行重新编码获得的；
根据所述N个关联帧，确定每个第一视频帧的参考图；
根据每个第一视频帧的参考图，对所述第一视频帧进行纹理迁移超分辨率处理，获取超分辨率视频。
9.根据权利要求8所述的方法，其特征在于，所述超分辨率视频包括多个超分辨率视频帧，所述根据每个第一视频帧的参考图，对所述第一视频帧进行纹理迁移超分辨率处理，包括：
将每个第一视频帧和所述第一视频帧的参考图输入至纹理迁移超分辨率神经网络模型中，输出所述第一视频帧对应的超分辨率视频帧；
其中，所述纹理迁移超分辨率神经网络模型为使用第一视频帧和第二视频帧对神经网络模型进行训练得到的，所述纹理迁移超分辨率神经网络模型用于将第二视频帧的纹理特征信息迁移至第一视频帧，对所述第一视频帧进行超分辨率处理，所述第二视频帧的画质高于所述第一视频帧。
10.根据权利要求8或9所述的方法，其特征在于，所述M个第一视频帧包括K个图片组，K小于M，所述根据所述N个关联帧，确定每个第一视频帧的参考图，包括：
将每个图片组的关联帧作为所述图片组中每个第一视频帧的参考图；
其中，每个图片组的关联帧为与所述图片组中的目标帧对应的关联帧。
11.根据权利要求8或9所述的方法，其特征在于，所述方法还包括：
对所述超分辨率视频进行渲染，显示渲染后的超分辨率视频。
12.一种视频传输装置，其特征在于，包括：
获取模块，用于获取第一视频和第二视频，所述第一视频和所述第二视频的内容相同，且所述第一视频的画质低于所述第二视频的画质；
关联帧提取模块，用于根据所述第一视频，获取M个第一视频帧和N个目标帧的标识信息，所述目标帧为所述第一视频帧中的视频帧，M和N取任意正整数，且M大于N；
所述关联帧提取模块，还用于根据所述N个目标帧的标识信息，在所述第二视频中获取所述N个目标帧对应的关联帧，所述目标帧与所述关联帧的标识信息相同且画质不同；
编码模块，用于对所述M个第一视频帧和N个关联帧进行重新编码，获取第三视频，所述第三视频用于传输至接收设备，所述第三视频的数据量小于所述第二视频的数据量，所述关联帧用于对与所述关联帧关联的所述第一视频帧进行纹理迁移超分辨率处理，获取超分辨率视频；
其中，所述编码模块用于：将所述N个关联帧分别设置于每个关联帧关联的多个第一视频帧的尾部，进行编码。
13.根据权利要求12所述的装置，其特征在于，所述每个关联帧关联的多个第一视频帧包括与所述关联帧对应的目标帧关联的多个第一视频帧。
14.根据权利要求13所述的装置，其特征在于，所述关联帧提取模块用于：
对所述第一视频进行解码，获取M个第一视频帧，所述M个第一视频帧包括K个图片组，K小于M；
在所述M个第一视频帧中，提取N个目标帧的标识信息；
其中，所述K个图片组中的每个图片组包括至少一个目标帧，或者，所述K个图片组中的多个图片组包括一个目标帧。
15.根据权利要求14所述的装置，其特征在于，与所述关联帧对应的目标帧关联的多个第一视频帧包括与所述目标帧对应的至少一个图片组中的第一视频帧。
16.根据权利要求13至15任一项所述的装置，其特征在于，所述编码模块用于：
根据所述N个关联帧和每个关联帧对应的目标帧，确定每个关联帧对应的残差块；
将所述N个关联帧对应的残差块分别放置与每个关联帧关联的多个第一视频帧的尾部。
17.根据权利要求16所述的装置，其特征在于，所述编码模块用于：
对每个关联帧对应的目标帧进行插值放大，得到所述目标帧的放大图，所述放大图的分辨率与所述关联帧的分辨率相同；
对所述关联帧和所述关联帧的放大图进行残差处理，确定每个关联帧对应的残差块。
18.根据权利要求12至15、17任一项所述的装置，其特征在于，所述目标帧包括以下至少一项：I帧、P帧或B帧。
19.一种视频传输装置，其特征在于，包括：
接收模块，用于接收第一视频；
解码模块，用于根据所述第一视频，获取M个第一视频帧和N个关联帧，M和N取任意正整数，且M大于N，所述第一视频帧的画质低于所述关联帧的画质，所述关联帧与所述第一视频帧中的目标帧对应，所述第一视频是将所述N个关联帧分别设置于每个关联帧关联的多个第一视频帧的尾部，对所述M个第一视频帧和N个关联帧进行重新编码获得的；
所述解码模块，还用于根据所述N个关联帧，确定每个第一视频帧的参考图；
超分辨率模块，用于根据每个第一视频帧的参考图，对所述第一视频帧进行纹理迁移超分辨率处理，获取超分辨率视频。
20.根据权利要求19所述的装置，其特征在于，所述超分辨率视频包括多个超分辨率视频帧，所述超分辨率模块用于：
将每个第一视频帧和所述第一视频帧的参考图输入至纹理迁移超分辨率神经网络模型中，输出所述第一视频帧对应的超分辨率视频帧；
其中，所述纹理迁移超分辨率神经网络模型为使用第一视频帧和第二视频帧对神经网络模型进行训练得到的，所述纹理迁移超分辨率神经网络模型用于将第二视频帧的纹理特征信息迁移至第一视频帧，对所述第一视频帧进行超分辨率处理，所述第二视频帧的画质高于所述第一视频帧。
21.根据权利要求19或20所述的装置，其特征在于，所述M个第一视频帧包括K个图片组，K小于M，所述解码模块用于：
将每个图片组的关联帧作为所述图片组中每个第一视频帧的参考图；
其中，每个图片组的关联帧为与所述图片组中的目标帧对应的关联帧。
22.根据权利要求19或20所述的装置，其特征在于，所述装置还包括：
渲染模块，用于对所述超分辨率视频进行渲染，显示渲染后的超分辨率视频。
23.一种视频传输装置，其特征在于，包括：相互耦合的非易失性存储器和处理器，所述处理器调用存储在所述存储器中的程序代码以执行如权利要求1至7任一项所述的方法。
24.一种视频传输装置，其特征在于，包括：相互耦合的非易失性存储器和处理器，所述处理器调用存储在所述存储器中的程序代码以执行如权利要求8至11任一项所述的方法。
25.一种视频编解码设备，其特征在于，包括：编码器，所述编码器用于执行如权利要求1至7任一项所述的方法。
26.一种视频编解码设备，其特征在于，包括：解码器，所述解码器用于执行如权利要求8至11任一项所述的方法。
CN202010480038.9A 2020-05-29 2020-05-29 视频传输方法和设备 Active CN113747099B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010480038.9A CN113747099B (zh) 2020-05-29 2020-05-29 视频传输方法和设备
PCT/CN2021/094581 WO2021238735A1 (zh) 2020-05-29 2021-05-19 视频传输方法和设备
US18/070,220 US20230090985A1 (en) 2020-05-29 2022-11-28 Video transmission method and device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010480038.9A CN113747099B (zh) 2020-05-29 2020-05-29 视频传输方法和设备

Publications (2)

Publication Number Publication Date
CN113747099A CN113747099A (zh) 2021-12-03
CN113747099B true CN113747099B (zh) 2022-12-06

Family

ID=78725086

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010480038.9A Active CN113747099B (zh) 2020-05-29 2020-05-29 视频传输方法和设备

Country Status (3)

Country Link
US (1) US20230090985A1 (zh)
CN (1) CN113747099B (zh)
WO (1) WO2021238735A1 (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101079254A (zh) * 2006-05-22 2007-11-28 株式会社东芝 高分辨率化装置和方法
CN103813174A (zh) * 2012-11-12 2014-05-21 腾讯科技（深圳）有限公司 一种混合分辨率编解码方法和装置
CN105141876A (zh) * 2015-09-24 2015-12-09 京东方科技集团股份有限公司 视频信号转换方法、视频信号转换装置以及显示系统
CN106254722A (zh) * 2016-07-15 2016-12-21 北京邮电大学 一种视频超分辨率重建方法和装置
CN109961396A (zh) * 2017-12-25 2019-07-02 中国科学院沈阳自动化研究所 一种基于卷积神经网络的图像超分辨率重建方法
CN110062232A (zh) * 2019-04-01 2019-07-26 杭州电子科技大学 一种基于超分辨率的视频压缩方法及系统
CN110120011A (zh) * 2019-05-07 2019-08-13 电子科技大学 一种基于卷积神经网络和混合分辨率的视频超分辨方法
CN110415172A (zh) * 2019-07-10 2019-11-05 武汉大学苏州研究院 一种面向混合分辨率码流中人脸区域的超分辨率重建方法
CN110443768A (zh) * 2019-08-08 2019-11-12 齐鲁工业大学 基于多重微分一致性约束和对称冗余网络的单帧图像超分辨率重建方法
KR20190131205A (ko) * 2018-05-16 2019-11-26 한국과학기술원 슈퍼 레졸루션(Super Resolution) 네트워크 처리방법 및 시스템

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090144311A1 (en) * 2007-11-30 2009-06-04 Motorola, Inc. Method and apparatus for developing high resolution databases from low resolution databases
US8520736B2 (en) * 2009-04-14 2013-08-27 Fastvdo, Llc Real-time superresolution and video transmission
US10885608B2 (en) * 2018-06-06 2021-01-05 Adobe Inc. Super-resolution with reference images

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101079254A (zh) * 2006-05-22 2007-11-28 株式会社东芝 高分辨率化装置和方法
CN103813174A (zh) * 2012-11-12 2014-05-21 腾讯科技（深圳）有限公司 一种混合分辨率编解码方法和装置
CN105141876A (zh) * 2015-09-24 2015-12-09 京东方科技集团股份有限公司 视频信号转换方法、视频信号转换装置以及显示系统
CN106254722A (zh) * 2016-07-15 2016-12-21 北京邮电大学 一种视频超分辨率重建方法和装置
CN109961396A (zh) * 2017-12-25 2019-07-02 中国科学院沈阳自动化研究所 一种基于卷积神经网络的图像超分辨率重建方法
KR20190131205A (ko) * 2018-05-16 2019-11-26 한국과학기술원 슈퍼 레졸루션(Super Resolution) 네트워크 처리방법 및 시스템
CN110062232A (zh) * 2019-04-01 2019-07-26 杭州电子科技大学 一种基于超分辨率的视频压缩方法及系统
CN110120011A (zh) * 2019-05-07 2019-08-13 电子科技大学 一种基于卷积神经网络和混合分辨率的视频超分辨方法
CN110415172A (zh) * 2019-07-10 2019-11-05 武汉大学苏州研究院 一种面向混合分辨率码流中人脸区域的超分辨率重建方法
CN110443768A (zh) * 2019-08-08 2019-11-12 齐鲁工业大学 基于多重微分一致性约束和对称冗余网络的单帧图像超分辨率重建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于卷积神经网络的视频超分辨技术研究;敬琳萍;《中国优秀硕士学位论文全文数据库信息科技辑》;20191215;参见第3.2.1、3.2.2节及图3-4、图3-5 *
超分辨率重建算法综述;李欣等;《电视技术》;20160917(第09期);全文 *

Also Published As

Publication number Publication date
CN113747099A (zh) 2021-12-03
WO2021238735A1 (zh) 2021-12-02
US20230090985A1 (en) 2023-03-23

Similar Documents

Publication Publication Date Title
US11082709B2 (en) Chroma prediction method and device
US10187668B2 (en) Method, system and server for live streaming audio-video file
US11711511B2 (en) Picture prediction method and apparatus
CN109076246B (zh) 使用图像数据校正掩码的视频编码方法和系统
WO2019024919A1 (zh) 视频转码方法及其装置、服务器、可读存储介质
WO2020143594A1 (zh) 视频解码方法、视频编码方法、装置、设备及存储介质
WO2018010662A1 (zh) 视频文件的转码方法，装置及存储介质
US11647223B2 (en) Dynamic motion vector referencing for video coding
KR102549670B1 (ko) 크로마 블록 예측 방법 및 디바이스
US9432624B2 (en) Method for improving an MCU's performance using common properties of the H.264 codec standard
WO2021057697A1 (zh) 视频编解码方法和装置、存储介质及电子装置
CN115068933A (zh) 带集成nic和共享帧缓冲器访问以实现低时延的gpu
JP2023126795A (ja) ビデオコーディングにおけるクロマイントラ予測のための方法及び装置
US20190028714A1 (en) Video coding using frame rotation
WO2021147464A1 (zh) 视频处理方法、装置及电子设备
WO2021057686A1 (zh) 视频解码方法和装置、视频编码方法和装置、存储介质及电子装置
WO2021147463A1 (zh) 视频处理方法、装置及电子设备
CN114125448B (zh) 视频编码方法、解码方法及相关装置
JP2017517793A (ja) ビデオオリエンテーションネゴシエーション
CN113747099B (zh) 视频传输方法和设备
WO2021169817A1 (zh) 视频处理方法及电子设备
Ji et al. A smart Android based remote monitoring system
KR20120012089A (ko) 스케일러블 비디오 코딩기법을 활용하는 영상 제공 시스템 및 그 방법
CN105812922A (zh) 多媒体文件数据的处理方法及系统、播放器和客户端
WO2023015520A1 (zh) 图像编解码方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant