CN114845138A - 自适应流媒体的超分辨率重建方法和装置及服务器 - Google Patents

自适应流媒体的超分辨率重建方法和装置及服务器 Download PDF

Info

Publication number
CN114845138A
CN114845138A CN202210445983.4A CN202210445983A CN114845138A CN 114845138 A CN114845138 A CN 114845138A CN 202210445983 A CN202210445983 A CN 202210445983A CN 114845138 A CN114845138 A CN 114845138A
Authority
CN
China
Prior art keywords
resolution
super
streaming media
video stream
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210445983.4A
Other languages
English (en)
Inventor
张玲
汤传吉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics China R&D Center
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics China R&D Center
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics China R&D Center, Samsung Electronics Co Ltd filed Critical Samsung Electronics China R&D Center
Priority to CN202210445983.4A priority Critical patent/CN114845138A/zh
Publication of CN114845138A publication Critical patent/CN114845138A/zh
Priority to PCT/KR2023/003622 priority patent/WO2023210969A1/en
Priority to US18/129,534 priority patent/US20230342881A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/251—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4662—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms
    • H04N21/4666—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms using neural networks, e.g. processing the feedback provided by the user

Abstract

本申请公开了一种自适应流媒体的超分辨率重建方法和装置及服务器，其中方法包括：在流媒体的播放过程中，当终端设备下载的视频流的第一分辨率未达到目标超分辨率时，终端设备根据所述第一分辨率和所述目标超分辨率，从服务器中获取相应的超分辨率神经网络；其中，所述超分辨率神经网络预先通过以所述流媒体的所述第一分辨率的视频流为输入、以所述流媒体的所述目标超分辨率的视频流为学习目标，进行模型训练得到；所述目标超分辨率大于所述第一分辨率；所述终端设备利用所述超分辨率神经网络，将下载的所述视频流重构为所述目标超分辨率的视频流，基于所述重构得到的视频流，进行所述流媒体的播放。采用本申请，可以提高自适应流媒体的视频画质。

Description

自适应流媒体的超分辨率重建方法和装置及服务器
技术领域
本发明涉及计算机应用技术，特别是涉及一种自适应流媒体的超分辨率重建方法和装置及服务器。
背景技术
目前，在视频播放领域，动态自适应流媒体传输技术(如smooth stream、HLS以及DASH标准等)得到了广泛应用，该技术可以依据不同的网络状况，选择不同码率和分辨率的视频流，以保证视频播放的流畅性。
发明人在实现本发明的过程中发现，采用现有的动态自适应码流的播放方案，无法在保证视频播放流畅性的同时保证视频画质。该问题的主要原因在于：现有动态自适应码流的播放方案，为了保证视频播放的流畅性，会考虑实时的网络状状况，控制视频流下载的分辨率，例如，在网络带宽较差时，往往会选择低分辨率视频播放，这样，用户实际下载的视频流分辨率往往无法达到用户的目标播放分辨率，从而使得播放的视频画质无法满足用户需求，甚至在切换到较低分辨率时，会明显地感觉到画质降低，导致用户观看体验变差。
发明内容
有鉴于此，本发明的主要目的在于提供一种自适应流媒体的超分辨率重建方法和装置及服务器，可以提高自适应流媒体播放的视频画质。
为了达到上述目的，本发明实施例提出的技术方案为：
一种自适应流媒体的超分辨率重建方法，包括：
在流媒体的播放过程中，当终端设备下载的视频流的第一分辨率未达到目标超分辨率时，所述终端设备根据所述第一分辨率和所述目标超分辨率，从服务器中获取相应的超分辨率神经网络；其中，所述超分辨率神经网络预先通过以所述流媒体的所述第一分辨率的视频流为输入、以所述流媒体的所述目标超分辨率的视频流为学习目标，进行模型训练得到；所述目标超分辨率大于所述第一分辨率；
所述终端设备利用所述超分辨率神经网络，将下载的所述视频流重构为所述目标超分辨率的视频流，基于所述重构得到的视频流，进行所述流媒体的播放。
本发明实施例还提出一种自适应流媒体的超分辨率重建装置，设置于终端设备中，包括：
超分辨率神经网络获取单元，用于在流媒体的播放过程中，当终端设备下载的视频流的第一分辨率未达到目标超分辨率时，所述终端设备根据所述第一分辨率和所述目标超分辨率，从服务器中获取相应的超分辨率神经网络；其中，所述超分辨率神经网络预先通过以所述流媒体的所述第一分辨率的视频流为输入、以所述流媒体的所述目标超分辨率的视频流为学习目标，进行模型训练得到；所述目标超分辨率大于所述第一分辨率；
重构播放单元，用于利用所述超分辨率神经网络，将下载的所述视频流重构为所述目标超分辨率的视频流，基于所述重构得到的视频流，进行所述流媒体的播放。
本发明实施例还提出一种服务器，包括：
超分辨率神经网络生成单元，用于预先为需要提供给终端设备的每个流媒体St，针对该流媒体St的视频流对应的每种第一分辨率，以该流媒体St的所述第一分辨率的视频流为输入、以该第一分辨率对应的每种第二分辨率为学习目标，进行模型训练，得到用于将该流媒体St的所述第一分辨率的视频流重构为所述第二分辨率的视频流的超分辨率神经网络；其中，所述第一分辨率小于所述流媒体St的视频流对应的最大分辨率，所述第二分辨率为所述流媒体St的视频流分辨率范围内大于所述第一分辨率且小于或等于预设最大重构分辨率的分辨率；所述最大重构分辨率大于所述第一分辨率；
超分辨率神经网络提供单元，用于根据终端设备的请求，将相应的所述超分辨率神经网络发送给所述终端设备，以供所述终端设备在相应流媒体的播放过程中，基于所述超分辨率神经网络，将当前接收的视频流重构为当前目标超分辨率的视频流。
本发明实施例还提出一种自适应流媒体的超分辨率重建设备，包括处理器和存储器；
所述存储器中存储有可被所述处理器执行的应用程序，用于使得所述处理器执行如上所述自适应流媒体的超分辨率重建方法。
本发明实施例还提出一种计算机可读存储介质，其中存储有计算机可读指令，该计算机可读指令用于执行上述自适应流媒体的超分辨率重建方法。
本发明实施例还提出一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现上述自适应流媒体的超分辨率重建方法的步骤。
综上所述，本发明实施例提出的自适应流媒体的超分辨率重建方案，在服务器侧预先为需要提供给终端设备的每个流媒体，利用该流媒体的视频流数据，训练生成用于将该流媒体的各种分辨率的视频流重构为各种更高分辨率的不同超分辨率神经网络。然后，当流媒体在终端设备中播放时，如果下载的视频流的第一分辨率未达到目标超分辨率，则根据终端设备当前配置的目标超分辨率和当前下载视频流的分辨率(即第一分辨率)，从服务器中获取相应的超分辨率神经网络，利用所获取的超分辨率神经网络，将当前下载的第一分辨率的视频流重构为目标超分辨率的视频流，并基于重构得到的视频流，进行流媒体的播放。如此，由于终端进行视频流重构时采用的超分辨率神经网络是预先基于当前所播放流媒体自身的视频数据训练生成的，因此，可以使得重构得到的视频流能够与相应分辨率的原始视频更贴近，从而可以提高超分辨率重建的准确性，有效解决了下载的视频流分辨率无法满足用户需求的问题，进而可以提高自适应流媒体播放时的视频画质、较大程度地满足用户的播放分辨率要求，尤其能够减少网络状况对视频画质的影响，可以在保证视频播放流畅性的同时保证视频画质。
附图说明
图1为本发明实施例的自适应流媒体的超分辨率重建方法流程示意图；
图2为本发明实施例的超分辨率神经网络的生成示意图；
图3为本发明实施例的超分辨率重建示例图；
图4为本发明实施例的超分辨率重建效果示例图；
图5为本发明实施例的自适应流媒体的超分辨率重建装置结构示意图；
图6为本发明实施例的服务器结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图及具体实施例对本发明作进一步地详细描述。
图1为本发明实施例的自适应流媒体的超分辨率重建方法流程示意图，如图1所示，该实施例主要包括：
步骤101、在流媒体的播放过程中，当终端设备下载的视频流的第一分辨率未达到目标超分辨率时，所述终端设备根据所述第一分辨率和所述目标超分辨率，从服务器中获取相应的超分辨率神经网络。
其中，所述超分辨率神经网络预先通过以所述流媒体的所述第一分辨率的视频流为输入、以所述流媒体的所述目标超分辨率的视频流为学习目标，进行模型训练得到；所述目标超分辨率大于所述第一分辨率。
所述目标超分辨率用于表征用户的视频播放需求。这里，终端设备在流媒体的播放过程中，当终端设备下载的视频流的第一分辨率未达到目标超分辨率时(例如，受网络状况的影响终端设备下载的视频流的分辨率降低时，或者，终端设备选择了更高分辨率的视频流，而受网络状况或用户优先级较低等限制，无法下载相应的更高分辨率视频流等情况)，将根据终端设备中当前配置的目标超分辨率和当前所下载视频流的分辨率，从服务器中获取相应的超分辨率神经网络，以便利用该超分辨率神经网络，将下载的所述视频流重构为目标超分辨率的视频流。由于终端设备从服务器中获取的超分辨率神经网络是由服务器预先基于当前所播放流媒体自身的视频数据训练生成的，即以当前所播放流媒体的当前分辨率(即第一分辨率)的视频流为输入、以该流媒体的所述目标超分辨率的视频流为学习目标，进行模型训练得到。如此，可以使得重构得到的视频流能够与所述目标超分辨率的原始视频更贴近，从而可以提高超分辨率重建的准确性，有效解决了下载的视频流分辨率无法满足用户需求的问题，进而可以提高自适应流媒体播放时的视频画质、较大程度地满足用户的播放分辨率要求，尤其能够减少网络状况对视频画质的影响，可以在保证视频播放流畅性的同时保证视频画质。
一种实施方式中，为了提高模型训练效率，服务器侧可以基于预设的基础神经网络，采用下述方法进行上述模型训练：
以所述流媒体的所述第一分辨率的视频流为输入、以所述流媒体的所述目标超分辨率的视频流为学习目标，对预设的基础神经网络进行迁移学习。
具体的，所述基础神经网络可以采用现有的超分辨率神经网络模型实现，如SRCNN等，但不限于此。
另外，在实际应用中，也不限于基于现有模型，生成超分辨率神经网络，也可以不依赖基础模型直接重新进行模型训练。
这里，通过以流媒体的自身媒体数据，进行模型训练，即以该流媒体的所述第一分辨率的视频流为输入、以该流媒体的所述目标超分辨率的视频流为学习目标，对进行模型训练，使得训练得到的超分辨率神经网络(具体包括神经网络结构和参数)，能够准确地将该媒体的所述第一分辨率的视频流重构为所述目标超分辨率的视频流。
在实际应用中，为了提高超分辨率神经网络的生成效率，可以采用专门的机器学习服务器生成上述超分辨率神经网络，具体地，可由内容服务器预先将流媒体的视频流内容发给机器学习服务器，触发机器学习服务器生成超分辨率神经网络。
一种实施方式中，超分辨率神经网络生成后，为了便于后续查询获取，可以将超分辨率神经网络模型附加在相应的视频流里面，即所述超分辨率神经网络在所述服务器中与所述流媒体的所述第一分辨率的视频流绑定存储。例如，以1080p流作为学习输入，以2160p流作为学习目标，生成一种超分辨率神经网络：1080->2160p，该超分辨率神经网络将与1080p流绑定在一起存储。
一种实施方式中，步骤101中终端设备具体可以采用下述方法从服务器中获取相应的超分辨率神经网络：
所述终端设备向所述服务器发送超分辨率神经网络获取请求，所述超分辨率神经网络获取请求携带所述第一分辨率和所述目标超分辨率，以触发所述服务器从预先为所述流媒体生成的超分辨率神经网络集合中，获取与所述第一分辨率和所述目标超分辨率的组合相匹配的所述超分辨率神经网络。
这里，终端设备向服务器发送超分辨率神经网络获取请求中，需要携带用于超分辨率重建的输入分辨率(即第一分辨率)和目标分辨率(即终端中当前配置的目标超分辨率)，以便服务器侧可以以这些信息为索引，准确查找到相匹配的超分辨率神经网络提供给终端设备。
一种实施方式中，为了更好地满足不同类型用户的超分辨率重建需要，目标超分辨率由所述终端设备按照预设的超分辨率设置原则基于当前播放流媒体的用户的类型确定。
所述超分辨率设置原则可由用户或内容提供商根据实际应用需要设置。例如，一种实施方式中，为了为高级用户提供更高质量的视频播放服务，所述超分辨率设置原则可以包括：
如果所述用户为普通用户，则所述目标超分辨率为用户当前选择的目标播放分辨率；如果所述用户为高级用户，则所述目标超分辨率为预设的高级播放分辨率。通常，所述高级播放分辨率将高于普通用户可以选择的目标播放分辨率范围。
步骤102、所述终端设备利用所述超分辨率神经网络，将下载的所述视频流重构为所述目标超分辨率的视频流，基于所述重构得到的视频流，进行所述流媒体的播放。
这里，由于在流媒体的分辨率降低后，是利用重构后的目标超分辨率的视频流进行播放，而如上文所述，所获取的超分辨率神经网络能确保重构得到的视频流能够与目标超分辨率的原始视频流更贴近，因此，可以减少网络带宽对流媒体播放分辨率的影响，使得视频播放画质可以满足用户播放需求，不会随着下载的视频流的分辨率的降低而变差，从而可以提高自适应流媒体播放时的视频画质。
通过上述技术方案可以看出，采用上述方法实施例可以有效提高自适应流媒体播放时的视频画质。下面结合图2～4，以一具体流媒体的播放示例，进一步详细说明上述实施例的具体实现。
以某一多媒体播放平台提供的自适应流(HLS)播放为例：
步骤1、内容服务器预先将一部影片的各分辨率流发送给机器学习服务器。
步骤2、机器学习服务器基于接收到的所述分辨率流，分别针对除最大分辨率之外的每种分辨率，生成对应于不同高分辨率的超分辨率神经网络，并发送给内容服务器，由内容服务器将这些超分辨率神经网络附加在相应分辨率的视频流里面。
如图2所示，假设存在4种分辨率480p,720p,1080p,2160p。机器学习服务器以480p流为输入，分别以另外3路高分辨率流作为学习目标，以基础网络模型(SRCNN)作为基本模型，进行迁移学习，将会生成3种对应的超分辨率神经网络：480->720p，480->1080p，480->2160p。
同样，以720p流作为学习输入，1080p，2160p作为学习目标，将会生成两种超分辨率神经网络：720->1080p、20->2160p；以1080p作为学习输入，2160p作为学习目标，将会生成一种超分辨率神经网络：1080->2160p。
将生成的超分辨率神经网络发送回内容服务器，附加在视频流里面。
步骤3、在流媒体播放过程中，当终端设备的网络情况变差，降低了视频流下载的分辨率时，终端设备请求下载相应的超分辨率神经网络。
例如，如图3所示，在流媒体播放过程中，服务器或终端设备会检查网络状况，当网络状况好时，终端设备会播放高分辨率的视频(如2160p)，而当网络状况变差时，则需要降低所下载的视频流的分辨率，假设终端设备当前下载的视频流降低为720p流。当用户为普通用户时，其选择的目标超分辨率为1080p，终端设备此时将会请求下载720p->1080p的超分辨率神经网络。当用户为高级用户时，相应的目标超分辨率为2160p，终端设备此时将会请求下载720p->2160p的超分辨率神经网络。
步骤4、终端设备基于所获得的超分辨率神经网络对应的神经网络结构和参数，对当前下载的视频流，进行重构处理，得到对应的高分辨率流，基于重构得到高分辨率流进行视频播放。
图4给出了不同网络状态下的超分辨率重建效果示例图，如图4所示，当网络差时，利用超分辨率神经网络1080->2160p进行重构处理，当网络极差时，利用超分辨率神经网络720p->2160p进行重构处理，从图中可以看出，基于重构处理后的视频流可以获得更好画质的视频播放效果。
与上述方法实施例相对应，本申请实施例还提出一种自适应流媒体的超分辨率重建装置，设置于终端设备中，如图5所示，包括：
超分辨率神经网络获取单元501，用于在流媒体的播放过程中，当终端设备下载的视频流的第一分辨率未达到目标超分辨率时，所述终端设备根据所述第一分辨率和所述目标超分辨率，从服务器中获取相应的超分辨率神经网络；其中，所述超分辨率神经网络预先通过以所述流媒体的所述第一分辨率的视频流为输入、以所述流媒体的所述目标超分辨率的视频流为学习目标，进行模型训练得到；所述目标超分辨率大于所述第一分辨率。
重构播放单元502，用于利用所述超分辨率神经网络，将下载的所述视频流重构为所述目标超分辨率的视频流，基于所述重构得到的视频流，进行所述流媒体的播放。
与上述方法实施例相对应，本申请实施例还提出一种服务器，如图6所示，包括：
超分辨率神经网络生成单元601，用于预先为需要提供给终端设备的每个流媒体St，针对该流媒体St的视频流对应的每种第一分辨率，以该流媒体St的所述第一分辨率的视频流为输入、以该第一分辨率对应的每种第二分辨率为学习目标，进行模型训练，得到用于将该流媒体St的所述第一分辨率的视频流重构为所述第二分辨率的视频流的超分辨率神经网络；其中，所述第一分辨率小于所述流媒体St的视频流对应的最大分辨率，所述第二分辨率为所述流媒体St的视频流分辨率范围内大于所述第一分辨率且小于或等于预设最大重构分辨率的分辨率；所述最大重构分辨率大于所述第一分辨率。
超分辨率神经网络提供单元602，用于根据终端设备的请求，将相应的所述超分辨率神经网络发送给所述终端设备，以供所述终端设备在相应流媒体的播放过程中，基于所述超分辨率神经网络，将当前接收的视频流重构为当前目标超分辨率的视频流。
上述最大重构分辨率，具体可由本领域技术人员根据实际需要设置合适取值。例如，为了满足各种用户的高分辨率播放需要，该最大重构分辨率可以为流媒体对应的视频流分辨率范围的最大值，但不限于此。
需要说明的是，上述方法和装置实施例是基于同一发明构思的，由于方法及装置解决问题的原理相似，因此，装置和方法的实施可以相互参见，重复之处不再赘述。
与上述方法实施例相对应，本申请实施例还提出一种自适应流媒体的超分辨率重建设备，包括处理器和存储器；所述存储器中存储有可被所述处理器执行的应用程序，用于使得所述处理器执行如上所述自适应流媒体的超分辨率重建方法。具体地，可以提供配有存储介质的系统或者装置，在该存储介质上存储着实现上述实施例中任一实施方式的功能的软件程序代码，且使该系统或者装置的计算机(或CPU或MPU)读出并执行存储在存储介质中的程序代码。此外，还可以通过基于程序代码的指令使计算机上操作的操作系统等来完成部分或者全部的实际操作。还可以将从存储介质读出的程序代码写到插入计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展单元中设置的存储器中，随后基于程序代码的指令使安装在扩展板或者扩展单元上的CPU等来执行部分和全部实际操作，从而实现上述自适应流媒体的超分辨率重建方法实施方式中任一实施方式的功能。
其中，存储器具体可以实施为电可擦可编程只读存储器(EEPROM)、快闪存储器(Flash memory)、可编程程序只读存储器(PROM)等多种存储介质。处理器可以实施为包括一或多个中央处理器或一或多个现场可编程门阵列，其中现场可编程门阵列集成一或多个中央处理器核。具体地，中央处理器或中央处理器核可以实施为CPU或MCU。
本申请实施例实现了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现如上所述自适应流媒体的超分辨率重建方法的步骤。
需要说明的是，上述各流程和各结构图中不是所有的步骤和模块都是必须的，可以根据实际的需要忽略某些步骤或模块。各步骤的执行顺序不是固定的，可以根据需要进行调整。各模块的划分仅仅是为了便于描述采用的功能上的划分，实际实现时，一个模块可以分由多个模块实现，多个模块的功能也可以由同一个模块实现，这些模块可以位于同一个设备中，也可以位于不同的设备中。
各实施方式中的硬件模块可以以机械方式或电子方式实现。例如，一个硬件模块可以包括专门设计的永久性电路或逻辑器件(如专用处理器，如FPGA或ASIC)用于完成特定的操作。硬件模块也可以包括由软件临时配置的可编程逻辑器件或电路(如包括通用处理器或其它可编程处理器)用于执行特定操作。至于具体采用机械方式，或是采用专用的永久性电路，或是采用临时配置的电路(如由软件进行配置)来实现硬件模块，可以根据成本和时间上的考虑来决定。
在本文中，“示意性”表示“充当实例、例子或说明”，不应将在本文中被描述为“示意性”的任何图示、实施方式解释为一种更优选的或更具优点的技术方案。为使图面简洁，各图中只示意性地表示出了与本发明相关部分，而并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的一个。在本文中，“一个”并不表示将本发明相关部分的数量限制为“仅此一个”，并且“一个”不表示排除本发明相关部分的数量“多于一个”的情形。在本文中，“上”、“下”、“前”、“后”、“左”、“右”、“内”、“外”等仅用于表示相关部分之间的相对位置关系，而非限定这些相关部分的绝对位置。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (11)

1.一种自适应流媒体的超分辨率重建方法，其特征在于，包括：
在流媒体的播放过程中，当终端设备下载的视频流的第一分辨率未达到目标超分辨率时，所述终端设备根据所述第一分辨率和所述目标超分辨率，从服务器中获取相应的超分辨率神经网络；其中，所述超分辨率神经网络预先通过以所述流媒体的所述第一分辨率的视频流为输入、以所述流媒体的所述目标超分辨率的视频流为学习目标，进行模型训练得到；所述目标超分辨率大于所述第一分辨率；
所述终端设备利用所述超分辨率神经网络，将下载的所述视频流重构为所述目标超分辨率的视频流，基于所述重构得到的视频流，进行所述流媒体的播放。
2.根据权利要求1所述的方法，其特征在于，所述模型训练包括：
以所述流媒体的所述第一分辨率的视频流为输入、以所述流媒体的所述目标超分辨率的视频流为学习目标，对预设的基础神经网络进行迁移学习。
3.根据权利要求1所述的方法，其特征在于，所述从服务器中获取相应的超分辨率神经网络包括：
所述终端设备向所述服务器发送超分辨率神经网络获取请求，所述超分辨率神经网络获取请求携带所述第一分辨率和所述目标超分辨率，以触发所述服务器从预先为所述流媒体生成的超分辨率神经网络集合中，获取与所述第一分辨率和所述目标超分辨率的组合相匹配的所述超分辨率神经网络。
4.根据权利要求1所述的方法，其特征在于，所述超分辨率神经网络在所述服务器中与所述流媒体的所述第一分辨率的视频流绑定存储。
5.根据权利要求1所述的方法，其特征在于，所述目标超分辨率由所述终端设备按照预设的超分辨率设置原则基于用户的类型确定。
6.根据权利要5所述的方法，其特征在于，所述超分辨率设置原则包括：
如果所述用户为普通用户，则所述目标超分辨率为用户当前选择的目标播放分辨率；如果所述用户为高级用户，则所述目标超分辨率为预设的高级播放分辨率。
7.一种自适应流媒体的超分辨率重建装置，设置于终端设备中，其特征在于，包括：
超分辨率神经网络获取单元，用于在流媒体的播放过程中，当终端设备下载的视频流的第一分辨率未达到目标超分辨率时，所述终端设备根据所述第一分辨率和所述目标超分辨率，从服务器中获取相应的超分辨率神经网络；其中，所述超分辨率神经网络预先通过以所述流媒体的所述第一分辨率的视频流为输入、以所述流媒体的所述目标超分辨率的视频流为学习目标，进行模型训练得到；所述目标超分辨率大于所述第一分辨率；
重构播放单元，用于利用所述超分辨率神经网络，将下载的所述视频流重构为所述目标超分辨率的视频流，基于所述重构得到的视频流，进行所述流媒体的播放。
8.一种服务器，其特征在于，包括：
超分辨率神经网络生成单元，用于预先为需要提供给终端设备的每个流媒体St，针对该流媒体St的视频流对应的每种第一分辨率，以该流媒体St的所述第一分辨率的视频流为输入、以该第一分辨率对应的每种第二分辨率为学习目标，进行模型训练，得到用于将该流媒体St的所述第一分辨率的视频流重构为所述第二分辨率的视频流的超分辨率神经网络；其中，所述第一分辨率小于所述流媒体St的视频流对应的最大分辨率，所述第二分辨率为所述流媒体St的视频流分辨率范围内大于所述第一分辨率且小于或等于预设最大重构分辨率的分辨率；所述最大重构分辨率大于所述第一分辨率；
超分辨率神经网络提供单元，用于根据终端设备的请求，将相应的所述超分辨率神经网络发送给所述终端设备，以供所述终端设备在相应流媒体的播放过程中，基于所述超分辨率神经网络，将当前接收的视频流重构为当前目标超分辨率的视频流。
9.一种自适应流媒体的超分辨率重建设备，其特征在于，包括处理器和存储器；
所述存储器中存储有可被所述处理器执行的应用程序，用于使得所述处理器执行如权利要求1至6中任一项所述自适应流媒体的超分辨率重建方法。
10.一种计算机可读存储介质，其特征在于，其中存储有计算机可读指令，该计算机可读指令用于执行如权利要求1至6中任一项所述自适应流媒体的超分辨率重建方法。
11.一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现权利要求1至6中任一项所述自适应流媒体的超分辨率重建方法的步骤。
CN202210445983.4A 2022-04-26 2022-04-26 自适应流媒体的超分辨率重建方法和装置及服务器 Pending CN114845138A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202210445983.4A CN114845138A (zh) 2022-04-26 2022-04-26 自适应流媒体的超分辨率重建方法和装置及服务器
PCT/KR2023/003622 WO2023210969A1 (en) 2022-04-26 2023-03-17 Super-resolution reconstruction method and apparatus for adaptive streaming media and server
US18/129,534 US20230342881A1 (en) 2022-04-26 2023-03-31 Super-resolution reconstruction method and apparatus for adaptive streaming media and server

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210445983.4A CN114845138A (zh) 2022-04-26 2022-04-26 自适应流媒体的超分辨率重建方法和装置及服务器

Publications (1)

Publication Number Publication Date
CN114845138A true CN114845138A (zh) 2022-08-02

Family

ID=82565077

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210445983.4A Pending CN114845138A (zh) 2022-04-26 2022-04-26 自适应流媒体的超分辨率重建方法和装置及服务器

Country Status (2)

Country Link
CN (1) CN114845138A (zh)
WO (1) WO2023210969A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115460461A (zh) * 2022-09-07 2022-12-09 北京奇艺世纪科技有限公司 视频处理方法及装置、终端设备、计算机可读存储介质
WO2023210969A1 (en) * 2022-04-26 2023-11-02 Samsung Electronics Co., Ltd. Super-resolution reconstruction method and apparatus for adaptive streaming media and server

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3259914A1 (en) * 2015-02-19 2017-12-27 Magic Pony Technology Limited Interpolating visual data
KR102082816B1 (ko) * 2018-04-24 2020-02-28 주식회사 지디에프랩 스트리밍 파일의 해상도 개선 방법
KR102059529B1 (ko) * 2018-05-16 2019-12-26 한국과학기술원 슈퍼 레졸루션(Super Resolution) 네트워크 처리방법 및 시스템
US11463757B2 (en) * 2018-09-27 2022-10-04 Intel Corporation Media streaming for receiver-enabled resolution
KR20220021495A (ko) * 2020-08-14 2022-02-22 주식회사 지디에프랩 Ai에 기반하여 스트리밍 파일의 해상도를 개선하는 방법
CN114845138A (zh) * 2022-04-26 2022-08-02 三星电子（中国）研发中心 自适应流媒体的超分辨率重建方法和装置及服务器

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023210969A1 (en) * 2022-04-26 2023-11-02 Samsung Electronics Co., Ltd. Super-resolution reconstruction method and apparatus for adaptive streaming media and server
CN115460461A (zh) * 2022-09-07 2022-12-09 北京奇艺世纪科技有限公司 视频处理方法及装置、终端设备、计算机可读存储介质
CN115460461B (zh) * 2022-09-07 2024-04-26 北京奇艺世纪科技有限公司 视频处理方法及装置、终端设备、计算机可读存储介质

Also Published As

Publication number Publication date
WO2023210969A1 (en) 2023-11-02

Similar Documents

Publication Publication Date Title
CN114845138A (zh) 自适应流媒体的超分辨率重建方法和装置及服务器
US11683540B2 (en) Method and apparatus for spatial enhanced adaptive bitrate live streaming for 360 degree video playback
WO2020048429A1 (zh) 一种媒体资源获取的方法及装置
CN110636346B (zh) 一种码率自适应切换方法、装置、电子设备及存储介质
CN108810636A (zh) 视频播放方法、设备及系统
US20100050221A1 (en) Image Delivery System with Image Quality Varying with Frame Rate
US20210360047A1 (en) Video coding method and video decoding method
CN108810600B (zh) 一种视频场景的切换方法、客户端及服务器
CN109672897B (zh) 全景视频编码方法及装置
CN108600783B (zh) 一种帧率调节方法、装置及终端设备
CN113748659B (zh) 接收会话的媒体数据的方法、装置和非易失性计算机可读介质
JP7297086B2 (ja) セッションのメディアデータを受信するための方法、装置、およびプログラム
CN108769739A (zh) 从全景视频中获取图片和短视频的方法
EP3285455B1 (en) Content item aggregation method and related device and communication system
CN110913260A (zh) 显示控制方法、显示控制装置和电子设备
JP6478357B2 (ja) メディアストリーミング・オーバー・ハイパーテキストトランスファープロトコルにおけるメディアプレゼンテーションガイドを提供するための方法及び関連する装置
CA3198392A1 (en) Dynamic user-device upscaling of media streams
US20230217047A1 (en) Method, system, and computer-readable recording medium for implementing fast-switching mode between channels in multi-live transmission environment
CN110300118B (zh) 流媒体处理方法、装置及存储介质
CN108574881B (zh) 一种投影类型推荐方法、服务器及客户端
US20230342881A1 (en) Super-resolution reconstruction method and apparatus for adaptive streaming media and server
KR102635891B1 (ko) 세션 기반 dash 동작들을 위한 패턴 주소 지정
CN114938461A (zh) 视频处理方法、装置、设备及可读存储介质
Ribezzo et al. TAPAS-360: A Tool for the Design and Experimental Evaluation of 360 Video Streaming Systems
CN110636348B (zh) 视频播放方法、装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination