CN111147893A - 一种视频自适应方法、相关设备以及存储介质 - Google Patents

一种视频自适应方法、相关设备以及存储介质 Download PDF

Info

Publication number
CN111147893A
CN111147893A CN201811306037.1A CN201811306037A CN111147893A CN 111147893 A CN111147893 A CN 111147893A CN 201811306037 A CN201811306037 A CN 201811306037A CN 111147893 A CN111147893 A CN 111147893A
Authority
CN
China
Prior art keywords
video
frame rate
target
resolution
indication information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811306037.1A
Other languages
English (en)
Other versions
CN111147893B (zh
Inventor
江亮亮
柳亮亮
黄胜森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201811306037.1A priority Critical patent/CN111147893B/zh
Priority to CN202111090151.7A priority patent/CN114007107A/zh
Priority to EP19878259.1A priority patent/EP3866474B1/en
Priority to PCT/CN2019/104925 priority patent/WO2020088103A1/zh
Publication of CN111147893A publication Critical patent/CN111147893A/zh
Priority to US17/245,197 priority patent/US11509860B2/en
Application granted granted Critical
Publication of CN111147893B publication Critical patent/CN111147893B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H04N21/25825—Management of client data involving client display capabilities, e.g. screen resolution of a mobile phone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/762—Media network packet handling at the source 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6582—Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/152—Multipoint control units therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明实施例公开了一种视频自适应方法、相关设备以及存储介质。本发明实施例方法包括：接收视频接收设备发送的指示信息，所述指示信息用于指示所述视频接收设备的图像超分辨率能力，若所述指示信息指示所述视频接收设备的图像超分辨率能力已开启，则获取与所述指示信息对应的目标帧率和目标分辨率的视频，将具有所述目标帧率和所述目标分辨率的视频发送给所述视频接收设备。可见，具有的目标帧率和目标分辨率的视频与视频接收设备的图像超分辨率能力相匹配，所述视频接收设备可显示均衡清晰度和流畅度的视频，在保障视频接收设备显示有高清晰度的视频的同时，还有效的保障了显示视频的流畅度。

Description

一种视频自适应方法、相关设备以及存储介质
技术领域
本申请涉及网络通信技术领域，尤其涉及的是一种视频自适应方法、相关设备以及存储介质。
背景技术
图像超分辨率技术是指由一幅低分辨率图像恢复出高分辨率图像。为将图像超分辨率技术应用于实时视频中，则可通过视频网络自适应技术实现图像超分辨率技术。
视频网络自适应技术是根据网络状况的变化自适应调整前向纠错FEC冗余策略、视频帧率和视频分辨率的技术，目的是在现有网络状况下，最大程度地保障视频的清晰度和流畅度。
终端的图像超分辨率能力对均衡视频的清晰度和流畅度有相当程度的影响，但是在现有技术中，视频网络自适应技术尚未考虑终端的图像超分辨率能力，因没有考虑终端的图像超分辨率能力，则终端所显示的视频，不能很好的均衡清晰度与流畅度，以导致无法最优化地均衡视频的清晰度与流畅度，影响视频显示的质量。
发明内容
本申请实施例提供了一种视频自适应方法、相关设备以及存储介质，以使视频发送设备可基于视频接收设备的图像超分辨率能力发送目标视频，以使视频接收设备所显示的目标视频能够均衡视频流畅度和清晰度。
本发明实施例第一方面提供了一种视频自适应方法，包括：
步骤A、视频发送设备接收视频接收设备发送的指示信息；
其中，所述指示信息用于指示所述视频接收设备的图像超分辨率能力；例如所述指示信息可用于指示所述视频接收设备是否具有图像超分辨率能力，又如，所述指示信息可用于指示所述视频接收设备的图像超分辨率能力是否开启。
可选的，所述指示信息可为会话描述协议提议SDP offer中所包括的参数，所述视频接收设备可通过设置在所述SDP offer中的不同取值的参数指示所述视频接收设备的不同的图像超分辨率能力，如，SDP offer所包括的参数Multiple_flag取值为0时，指示所述视频接收设备不具备图像超分辨率能力，在如，SDP offer所包括的参数Multiple_flag取值为2时，指示所述视频接收设备支持图像超分辨率能力且倍率为2，在如，SDP offer所包括的参数Open_flag取值为True时，指示所述视频接收设备已开启图像超分辨率能力，在如，SDP offer所包括的参数Open_flag取值为False时，指示所述视频接收设备已关闭图像超分辨率能力。
步骤B、视频发送设备获取与所述指示信息对应的目标帧率和目标分辨率的视频。
所述视频发送设备根据所述指示信息确定所述视频接收设备的图像超分辨率能力是否开启，在所述视频发送设备确定出所述指示信息用于指示所述视频接收设备的图像超分辨率能力已开启的情况下，则所述视频发送设备获取与所述指示信息对应的目标帧率和目标分辨率的视频(或视频文件)。
步骤C、视频发送设备将目标视频发送给视频接收设备。
所述视频发送设备确定具有已确定的所述目标帧率和所述目标分辨率的视频为目标视频，则所述视频发送设备将已确定的目标视频发送给所述视频接收设备，所述视频接收设备即可显示该目标视频。
在本方面中，所述视频发送设备可根据视频接收设备的图像超分辨率能力对准备发送给视频接收设备的目标视频的帧率和分辨率进行调节，使得调节后的目标视频所具有的目标帧率和目标分辨率与视频接收设备的图像超分辨率能力相匹配，所述视频发送设备将目标视频发送给视频接收设备，所述视频接收设备可显示均衡清晰度和流畅度的目标视频，在保障视频接收设备显示有高清晰度的目标视频的同时，还有效的保障了显示所述目标视频的流畅度，以有效的提高目标视频的显示质量。
基于本发明实施例第一方面，本发明实施例第一方面的一种可选的实现方式中，所述步骤B具体可包括：
步骤B11、视频发送设备获取与网络状态相适配的编码码率；
所述视频发送设备通过带宽探测技术获取如下所示至少一项网络状态：带宽、丢包、时延或抖动。在所述视频发送设备获取到所述网络状态的情况下，所述视频发送设备获取到与网络状态相适配的编码码率；
具体的，所述视频发送设备获取网络状态相适配的编码码率的时机可为所述视频发送设备可在与所述视频接收设备初始建立通信连接时，获取与网络状态相适配的编码码率，还可为所述视频发送设备可实时对当前网络状态进行检测，若检测到当前网络状态发生改变，则所述视频发送设备获取与当前网络状态相适配的编码码率，还可为所述视频发送设备可实时对当前网络状态进行检测，并根据检测到当前网络状态获取与当前网络状态相适配的编码码率。
步骤B12、视频发送设备获取与所述编码码率对应的编码帧率；
所述视频发送设备可预先存储有对应关系，该对应关系包括不同的码率范围与不同的编码码率的对应关系，所述视频发送设备即可基于对应关系，确定出编码码率对应的编码帧率。
步骤B13、视频发送设备获取与所述指示信息对应的预设帧率；
在所述视频发送设备确定出所述指示信息满足目标条件的情况下，所述视频发送设备确定与指示信息对应的预设帧率，其中，所述目标条件为所述指示信息用于指示所述视频接收设备已开启图像超分辨率能力。
步骤B14、视频发送设备判断所述编码帧率是都大于或等于所述预设帧率，若否，则执行步骤B15，若是，则执行步骤B16。
步骤B15、视频发送设备确定所述目标帧率为所述预设帧率；
在所述视频发送设备确定出所述编码帧率小于所述预设帧率的情况下，所述视频发送设备确定所述目标帧率为所述预设帧率。
步骤B16、视频发送设备确定所述目标帧率为所述编码帧率。
在所述视频发送设备确定出所述编码帧率大于或等于所述预设帧率的情况下，所述视频发送设备确定所述目标帧率为所述编码帧率。
步骤B17、视频发送设备根据所述目标帧率确定所述目标分辨率。
在视频发送设备通过步骤B15或步骤B16，所述视频发送设备确定出所述目标帧率的情况下，所述视频发送设备即可根据所述目标帧率确定出与所述目标帧率对应的所述目标分辨率。
步骤B18、视频发送设备确定具有所述目标帧率和所述目标分辨率的目标视频。
采用本方面所示，所述视频发送设备可预先设置预设帧率，通过所述预设帧率对所述编码帧率进行调节以获取目标帧率，如在所述视频发送设备判断出所述编码帧率小于所述预设帧率的情况下，所述视频发送设备确定所述视频接收设备能够支持更为流畅的视频，所述视频发送设备对小于所述预设帧率的所述编码帧率进行调节且确定调节后的编码帧率为目标帧率，即调节后的目标帧率大于所述编码帧率，从而提高视频接收设备所显示的目标视频的流畅度。在所述视频发送设备判断出所述编码帧率大于或等于所述预设帧率的情况下，所述视频发送设备确定所述视频接收装置能够流畅的显示具有编码帧率的视频，则所述视频发送设备无需对所述编码帧率进行调节，所述视频发送设备直接确定所述编码帧率为所述目标帧率。
基于本发明实施例第一方面，本发明实施例第一方面的一种可选的实现方式中，本方面所示的方法还包括步骤D；
步骤D、所述视频发送设备根据所述指示信息配置所述预设帧率。
在所述指示信息用于指示所述视频接收设备所支持的所述图像超分辨率的倍率的情况下，所述视频发送设备根据所述指示信息配置所述预设帧率，其中，所述预设帧率的大小与所述视频接收设备所支持的所述图像超分辨率的倍率对应。例如，所述视频发送设备所配置的所述预设帧率的大小与所述视频接收设备所支持的所述图像超分辨率的倍率成正相关关系。
具体的，视频接收设备所支持的图像超分辨率的倍率和视频接收设备对视频清晰度的增强能力成正相关关系，即所述视频接收设备所支持的图像超分辨率的倍率越大，则说明视频接收设备具有更强的对视频清晰度的增强能力。为均衡视频的清晰度和流畅度，在视频接收设备具有比较高的视频的清晰度增强能力的情况下，视频发送设备可通过降低清晰度并补偿流畅度的方式以均衡视频的清晰度和流畅度，以保障视频接收设备可流畅的显示具有一定清晰度的视频。
采用本方面所示，所述视频接收设备可确定出在所述视频接收设备所支持的图像超分辨率的倍率越大的情况下，所述视频发送设备所配置的所述预设帧率越大，通过越大的预设帧率，以降低视频的分辨率，可见，所述视频发送设备可通过降低清晰度并补偿流畅度的方式以均衡视频的清晰度和流畅度，以保障视频接收设备可流畅的显示具有一定清晰度的视频。
基于本发明实施例第一方面，本发明实施例第一方面的一种可选的实现方式中，所述步骤B17具体包括：
步骤B171、视频发送设备根据所述编码码率和所述目标帧率确定平均单帧大小。
在所述视频发送设备确定出所述目标帧率为所述预设帧率的情况下，则所述视频发送设备即可根据所述编码码率和所述目标帧率确定平均单帧大小，其中，所述平均单帧大小为每一视频帧所包括的字节数；
具体的，所述视频发送设备可根据如下公式确定出平均单帧大小：
目标帧率＝编码码率/平均单帧大小。
可见，所述视频发送设备将已确定的所述编码码率和目标帧率带入至公式中以确定出平均单帧大小。
步骤B1712、视频发送设备确定与所述平均单帧大小对应的分辨率为所述目标分辨率。
所述视频发送设备已预先创建不同的平均单帧大小和不同的分辨率的对应关系，则所述视频发送设备即可根据已确定的所述平均单帧大小确定出对应的目标分辨率。
采用本方面所示，在所述视频发送设备判断出所述编码帧率小于所述预设帧率的情况下，所述视频发送设备确定所述视频接收设备能够支持更为流畅的视频，所述视频发送设备对小于所述预设帧率的所述编码帧率进行调节且确定调节后的编码帧率为目标帧率，即调节后的目标帧率大于所述编码帧率，从而提高视频接收设备所显示的目标视频的流畅度。并确定出与目标帧率对应的目标分辨率，通过目标帧率和目标分辨率确定出可发送至所述视频接收设备的目标视频，从而使得视频接收设备可均衡所显示的目标视频的流畅度和清晰度。
基于本发明实施例第一方面，本发明实施例第一方面的一种可选的实现方式中，所述步骤B具体包括：
步骤B21、视频发送设备获取与所述指示信息对应的第一对应关系以及第二对应关系。
其中，所述第一对应关系包括不同的码率范围与不同的分辨率的对应关系，所述第二对应关系包括不同的分辨率与不同的平均单帧大小的对应关系；
步骤B22、视频发送设备获取与网络状态相适配的编码码率；
步骤B23、视频发送设备根据所述第一对应关系，确定与所述编码码率对应的分辨率为所述目标分辨率；
步骤B24、视频发送设备根据所述第二对应关系，确定与所述目标分辨率对应的平均单帧大小为目标平均单帧大小；
步骤B25、视频发送设备根据所述目标平均单帧大小和所述编码码率确定所述目标帧率；
步骤B26、视频发送设备确定具有所述目标帧率和所述目标分辨率的目标视频。
采用本方面所示，所述视频发送设备在确定出视频接收设备的图像超分辨率能力开启的情况下，所述视频发送设备可对已存储的对应关系进行更新，使得所述视频发送设备基于相同的码率能够确定出更高的目标帧率，所述视频发送设备对准备发送给视频接收设备的目标视频的帧率和分辨率进行调节，使得调节后的目标视频所具有的目标帧率和目标分辨率与视频接收设备的图像超分辨率能力相匹配，所述视频发送设备将目标视频发送给视频接收设备，所述视频接收设备可显示均衡清晰度和流畅度的目标视频，在保障视频接收设备显示有高清晰度的目标视频的同时，还有效的保障了显示所述目标视频的流畅度。
基于本发明实施例第一方面，本发明实施例第一方面的一种可选的实现方式中，所述方法还包括：
步骤B0，其中，所述步骤B0的执行时序早于所述步骤B的执行时序，所述步骤B0、视频发送设备判断所述指示信息所指示的倍率是否大于1，若是，则触发执行步骤B。
具体的，所述指示信息还用于指示所述视频接收设备支持的所述图像超分辨率的倍率，则所述视频发送设备在确定出所述指示信息所指示的倍率大于1的情况下，则触发执行所述获取与所述指示信息对应的目标帧率和目标分辨率的视频的步骤。
基于本发明实施例第一方面，本发明实施例第一方面的一种可选的实现方式中，所述方法还包括步骤A0，其中，步骤A0的执行时序早于所述步骤A的执行时序。
步骤A0、视频发送设备将请求信息发送给所述视频接收设备。
其中，所述请求信息用于请求所述视频接收设备发送所述指示信息，则在所述视频接收设备接收到所述请求信息的情况下，所述视频接收设备即可将所述指示信息发送给所述视频发送设备。
基于本发明实施例第一方面，本发明实施例第一方面的一种可选的实现方式中，所述接收视频接收设备发送的指示信息包括：
本方面中，所述视频发送设备和所述视频接收设备之间可进行媒体协商过程，通过媒体协商过程使得所述视频发送设备和所述视频接收设备可进行连接，使得所述视频发送设备和所述视频接收设备可进行媒体通信，则所述视频接收设备可在与所述视频发送设备之间进行媒体协商的过程中，将所述指示信息发送给所述视频发送设备。
例如，所述视频接收设备可将所述指示信息设置在会话描述协议提议SDP offer中，所述视频接收设备可通过设置在所述SDP offer中的不同取值的参数指示所述视频接收设备的不同的图像超分辨率能力，如，SDP offer所包括的参数Multiple_flag取值为0时，指示所述视频接收设备不具备图像超分辨率能力，在如，SDP offer所包括的参数Multiple_flag取值为2时，指示所述视频接收设备支持图像超分辨率能力且倍率为2，在如，SDP offer所包括的参数Open_flag取值为True时，指示所述视频接收设备已开启图像超分辨率能力，在如，SDP offer所包括的参数Open_flag取值为False时，指示所述视频接收设备已关闭图像超分辨率能力。
本发明实施例第二方面提供了一种视频自适应方法，包括：
步骤A、视频接收设备向视频发送设备发送指示信息；
所述指示信息用于指示视频接收设备的图像超分辨率能力；
步骤B、视频接收设备接收所述视频发送设备发送的目标视频。
若所述指示信息用于指示所述视频接收设备的图像超分辨率能力已开启，则所述视频接收设备接收所述视频发送设备发送的目标视频，所述目标视频为具有目标帧率和目标分辨率的视频，所述目标帧率和所述目标分辨率与所述指示信息对应。
在本方面中，所述视频接收设备可将指示信息发送给视频发送设备，所述视频发送设备可根据视频接收设备的图像超分辨率能力对准备发送给视频接收设备的目标视频的帧率和分辨率进行调节，使得调节后的目标视频所具有的目标帧率和目标分辨率与视频接收设备的图像超分辨率能力相匹配，所述视频发送设备将目标视频发送给视频接收设备，所述视频接收设备可显示均衡清晰度和流畅度的目标视频，在保障视频接收设备显示有高清晰度的目标视频的同时，还有效的保障了显示所述目标视频的流畅度。
基于本发明实施例第二方面，本发明实施例第二方面的一种可选的实现方式中，所述步骤A具体包括：
步骤A11、视频接收设备获取所述视频接收设备所支持的所述图像超分辨率的倍率；
步骤A12、生成所述指示信息，且所述指示信息用于指示所述视频接收设备所支持的所述图像超分辨率的倍率。
本方面所示的视频接收设备获取图像超分辨率倍率的具体过程，请详见上述第一方面所示，具体不做赘述。
基于本发明实施例第二方面，本发明实施例第二方面的一种可选的实现方式中，步骤A之前，还包括步骤A2，所述步骤A2的执行时序早于所述步骤A的执行时序；
步骤A2、视频接收设备接收所述视频发送设备发送的请求信息。
在所述视频接收设备接收到所述请求信息的情况下，所述视频接收设备即可确定出所述视频发送设备需要获取所述视频接收设备的指示信息；
所述步骤A具体为：所述视频接收设备根据所述请求信息向所述视频发送设备发送所述指示信息。
基于本发明实施例第二方面，本发明实施例第二方面的一种可选的实现方式中，
所述视频接收设备可在媒体协商过程中向所述视频发送设备发送指示信息。
本发明实施例第三方面提供了一种视频发送设备，包括：
接收单元，用于接收视频接收设备发送的指示信息，所述指示信息用于指示所述视频接收设备的图像超分辨率能力；
获取单元，用于若所述接收单元所接收到的所述指示信息用于指示所述视频接收设备的图像超分辨率能力已开启，则获取与所述指示信息对应的目标帧率和目标分辨率的视频；
发送单元，用于将具有所述目标帧率和所述目标分辨率的目标视频发送给所述视频接收设备。
在本方面所示的视频发送设备，所述视频发送设备可根据视频接收设备的图像超分辨率能力对准备发送给视频接收设备的目标视频的帧率和分辨率进行调节，使得调节后的目标视频所具有的目标帧率和目标分辨率与视频接收设备的图像超分辨率能力相匹配，所述视频发送设备将目标视频发送给视频接收设备，所述视频接收设备可显示均衡清晰度和流畅度的目标视频，在保障视频接收设备显示有高清晰度的目标视频的同时，还有效的保障了显示所述目标视频的流畅度。
基于本发明实施例第三方面，本发明实施例第三方面的一种可选的实现方式中，所述获取单元包括：
第一获取模块，用于获取与网络状态相适配的编码码率；
第二获取模块，用于获取与所述编码码率对应的编码帧率；
第三获取模块，用于获取与所述指示信息对应的预设帧率；
第四获取模块，用于若所述编码帧率小于所述预设帧率，则确定所述目标帧率为所述预设帧率；
第五获取模块，用于若所述编码帧率大于或等于所述预设帧率，则确定所述目标帧率为所述编码帧率；
第六获取模块，用于根据所述目标帧率确定所述目标分辨率；
第七获取模块，用于获取具有所述目标帧率和所述目标分辨率的视频。
基于本发明实施例第三方面，本发明实施例第三方面的一种可选的实现方式中，所述视频发送设备还包括：
配置单元，若所述指示信息用于指示所述视频接收设备所支持的所述图像超分辨率的倍率，则所述配置单元用于根据所述指示信息配置所述预设帧率，且所述预设帧率的大小与所述视频接收设备所支持的所述图像超分辨率的倍率对应。
基于本发明实施例第三方面，本发明实施例第三方面的一种可选的实现方式中，所述预设帧率的大小与所述视频接收设备所支持的所述图像超分辨率的倍率成正相关关系。
基于本发明实施例第三方面，本发明实施例第三方面的一种可选的实现方式中，所述第六获取模块具体用于，若所述目标帧率为所述预设帧率，则根据所述编码码率和所述目标帧率确定平均单帧大小，所述平均单帧大小为每一视频帧所包括的字节数，并用于确定与所述平均单帧大小对应的分辨率为所述目标分辨率。
基于本发明实施例第三方面，本发明实施例第三方面的一种可选的实现方式中，所述获取单元包括：
第八获取模块，用于获取与所述指示信息对应的第一对应关系以及第二对应关系，所述第一对应关系包括不同的码率范围与不同的分辨率的对应关系，所述第二对应关系包括不同的分辨率与不同的平均单帧大小的对应关系；
第九获取模块，用于获取与网络状态相适配的编码码率；
第十获取模块，用于根据所述第一对应关系，确定与所述编码码率对应的分辨率为所述目标分辨率；
第十一获取模块，用于根据所述第二对应关系，确定与所述目标分辨率对应的平均单帧大小为目标平均单帧大小；
第十二获取模块，用于根据所述目标平均单帧大小和所述编码码率确定所述目标帧率。
第十三获取模块，用于获取具有所述目标帧率和所述目标分辨率的视频。
基于本发明实施例第三方面，本发明实施例第三方面的一种可选的实现方式中，在所述指示信息还用于指示所述视频接收设备支持的所述图像超分辨率的倍率，则所述获取单元还用于，在确定所述指示信息所指示的倍率大于1的情况下，触发执行获取与所述指示信息对应的目标帧率和目标分辨率的视频的步骤；
基于本发明实施例第三方面，本发明实施例第三方面的一种可选的实现方式中，所述发送单元还用于，将请求信息发送给所述视频接收设备，所述请求信息用于请求所述视频接收设备发送所述指示信息。
基于本发明实施例第三方面，本发明实施例第三方面的一种可选的实现方式中，所述接收单元还用于，在媒体协商过程中接收所述视频接收设备发送的所述指示信息。
本发明实施例第四方面提供了一种视频接收设备，包括：
发送单元，用于向视频发送设备发送指示信息，所述指示信息用于指示视频接收设备的图像超分辨率能力；
接收单元，若所述指示信息指示所述视频接收设备的图像超分辨率能力已开启，则用于接收所述视频发送设备发送具有目标帧率和目标分辨率的视频，所述目标帧率和所述目标分辨率与所述指示信息对应。
基于本发明实施例第四方面，本发明实施例第四方面的一种可选的实现方式中，所述视频接收设备具体包括：
获取单元，用于获取所述视频接收设备所支持的所述图像超分辨率的倍率；
生成单元，用于生成所述指示信息，且所述指示信息用于指示所述视频接收设备所支持的所述图像超分辨率的倍率。
基于本发明实施例第四方面，本发明实施例第四方面的一种可选的实现方式中，所述接收单元还用于，接收所述视频发送设备发送的请求信息；
所述发送单元还用于，根据所述请求信息向所述视频发送设备发送所述指示信息。
基于本发明实施例第四方面，本发明实施例第四方面的一种可选的实现方式中，所述发送单元具体用于，在媒体协商过程中向所述视频发送设备发送指示信息。
本发明实施例第五方面提供了一种电子设备，包括：一个或多个处理器、存储器、通信总线、以及一个或多个程序，所述处理器和所述存储器通过所述通信总线相连；
其中所述一个或多个程序被存储在所述存储器中，所述一个或多个程序包括指令，所述指令当被所述电子设备执行时使所述电子设备执行如上述所示的本发明实施例第一方面所述的方法，或所述指令当被所述电子设备执行时使所述电子设备执行如上述所示的本发明实施例第二方面所述的方法。
本发明实施例第六方面提供了一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当被电子设备执行时使所述电子设备执行如上述所示的本发明实施例第一方面所述的方法，或所述指令当被电子设备执行时使所述电子设备执行如上述所示的本发明实施例第二方面所述的方法。
附图说明
图1为本发明所提供的视频网络的一种实施例结构示意图；
图2为本发明所提供的视频自适应方法的一种实施例步骤流程图；
图3为本发明所提供的视频自适应方法的另一种实施例步骤流程图；
图4为本发明所提供的多点视频会话场景的一种视频网络结构示例图；
图5为本发明所提供的视频自适应方法的另一种实施例步骤流程图；
图6为本发明所提供的视频自适应方法的另一种实施例步骤流程图；
图7为本发明所提供的多点视频会话场景的一种视频网络结构示例图；
图8为本发明所提供的视频自适应方法的另一种实施例步骤流程图；
图9为本发明所提供的视频自适应方法的另一种实施例步骤流程图；
图10为本发明所提供的视频发送设备的一种实施例结构示意图；
图11为本发明所提供的视频接收设备的一种实施例结构示意图；
图12为本发明所提供的电子设备的一种实施例结构示意图。
具体实施方式
以下首先结合图1所示对本实施例所提供的视频网络的具体结构进行示例性说明，如图1所示可知，所述视频网络包括视频发送设备101以及视频接收设备102。
所述视频发送设备101和所述视频接收设备102用于执行本申请所示的视频自适应方法，从而使得视频发送设备101能够根据视频接收设备102的图像超分辨率能力对视频进行调节，以均衡视频的清晰度和流畅度，并将调节后的视频发送给视频接收设备102，有效的保障了视频接收设备102所显示的视频的清晰度和流畅度。
本实施例对所述视频发送设备101以及所述视频接收设备102的具体的设备类型不做限定，例如，在多点视频会话场景下，所述视频发送设备101可为多点控制单元(multipoint control unit，MCU)，视频发送设备还可以为视频媒体服务器。所述视频接收设备102可为终端，其中，所述终端可为智能手机、具有视频通话功能的蜂窝电话、无绳电话、会话启动协议(session initiation protocol，SIP)电话、个人数字处理(personaldigital assistant，PDA)设备、车载设备以及可穿戴设备、机顶盒等。又如，在点对点场景下，所述视频发送设备101以及所述视频接收设备102均可为终端。
基于图1所示的视频网络，以下结合图2所示对本实施例所示的视频自适应方法的具体执行流程进行示例性说明：
步骤201、视频接收设备向视频发送设备发送指示信息。
本实施例所示的所述指示信息用于指示所述视频接收设备的图像超分辨率能力，具体的，所述指示信息用于指示所述视频接收设备是否具有所述图像超分辨率能力，和/或，所述图像超分辨率能力是否开启。
例如，所述指示信息用于指示所述视频接收设备具有图像超分辨率能力，又如，所述指示信息用于指示所述视频接收设备具有图像超分辨率能力且图像超分辨率能力已开启，又如，所述指示信息用于指示所述视频接收设备具有图像超分辨率能力且图像超分辨率能力未开启，又如，所述指示信息用于指示所述视频接收设备所具有的图像超分辨率能力已开启，又如，所述指示信息用于指示所述视频接收设备所具有的图像超分辨率能力未开启。
步骤202、视频发送设备接收所述指示信息。
可选的，在所述视频接收设备和所述视频发送设备在媒体协商过程中，所述视频接收设备向所述视频发送设备发送所述指示信息，其中，所述视频接收设备和所述视频发送设备通过媒体协商以创建会话启动协议(session initiation protocol，SIP)会话，以使视频发送设备和所述视频接收设备建立连接以进行媒体通信。
可选的，所述视频发送设备可在接收所述指示信息之前预先向所述视频接收设备发送请求消息，所述请求信息用于请求所述视频接收设备发送所述指示信息。所述视频接收设备在接收到所述请求消息的情况下，所述视频接收设备将所述指示信息发送给所述视频发送设备。
本实施例对所述指示信息具体的消息类型不做限定，只要所述指示信息能够指示所述视频接收设备的图像超分辨率能力即可，例如，所述指示信息可为包括在SDP offer中的参数，且通过SDP offer所包括的取值不同的参数以指示所述视频接收设备所具有的不同的图像超分辨率能力。
步骤203、视频发送设备获取与网络状态相适配的编码码率。
本实施例所示的所述网络状态可为如下所示的至少一项：带宽、丢包、时延或抖动等。
所述视频发送设备可通过带宽探测技术获取上述所示的网络状态，在所述视频发送设备获取到所述网络状态的情况下，所述视频发送设备获取到与网络状态相适配的编码码率，所述视频发送设备可根据所述编码码率获取到目标帧率，以使所述视频发送设备能够将具有所述目标帧率的目标视频发送给所述视频接收设备。
以下对所述视频发送设备获取所述编码码率的几种可选的情况下进行示例性说明：
可选的，所述视频发送设备可在与所述视频接收设备初始建立通信连接时，获取与网络状态相适配的编码码率。
可选的，所述视频发送设备可实时对当前网络状态进行检测，若检测到当前网络状态发生改变，则所述视频发送设备获取与当前网络状态相适配的编码码率。
可选的，所述视频发送设备可实时对当前网络状态进行检测，并根据检测到当前网络状态获取与当前网络状态相适配的编码码率。
步骤204、视频发送设备根据所述编码码率获取编码帧率。
具体的，所述视频发送设备可预先创建第一对应关系和第二对应关系，所述视频发送设备根据已创建的所述第一对应关系和所述第二对应关系确定出编码帧率，更具体的，所述第一对应关系可如表1所示，第一对应关系包括了不同的码率范围和不同的分辨率的对应关系：
表1
Figure BDA0001852705390000101
根据第一对应关系，所述视频发送设备可首先确定出编码码率所位于的码率范围，从而确定出对应的分辨率，本实施例中，将与所述编码码率对应的分辨率称之为编码分辨率。例如，若所述视频发送设备确定出编码码率为2000kb/s，则所述视频发送设备确定出编码码率所位于的码率范围为810kb/s-2100kb/s，所述视频发送设备确定出对应的编码分辨率为720P。
需明确的是，本实施例对所述第一对应关系所包括的具体对应关系不做限定，只要所述视频发送设备根据所述编码码率能够确定出对应的分辨率即可。
在所述视频发送设备确定出所述编码码率对应的编码分辨率的情况下，所述视频发送设备可根据第二对应关系确定出与所述编码分辨率对应的平均单帧大小，其中，本实施例所示的第二对应关系可参见表2所示，如表2所示的所述第二对应关系包括了不同的分辨率和不同的平均单帧大小的对应关系，所述平均单帧大小是指每一视频帧所包括的字节数，即所述视频发送设备根据表2所示的第二对应关系，可确定出与编码分辨率对应的平均单帧大小。
表2
Figure BDA0001852705390000111
例如，在所述视频发送设备确定出所述编码分辨率为720P的情况下，则所述视频发送设备根据如表2所示的第二对应关系确定出对应的平均单帧大小为70kb/f。
所述视频发送设备可将已确定的所述编码码率，以及根据表1和表2确定出的与所述编码码率对应的平均单帧大小带入至如下公式，以获取到编码帧率：
编码帧率＝编码码率/平均单帧大小。
由以上所示示例可知，在所述视频发送设备确定出所述编码码率为2000kb/s，根据上述所示的第一对应关系和第二对应关系确定出与所述编码码率对应的平均单帧大小为70kb/f的情况下，则所述视频发送设备确定出编码帧率＝2000kb/s/70kb/f＝28.57帧/秒(f/s)。
步骤205、视频发送设备判断所述指示信息是否满足目标条件，若否，则执行步骤206，若是，则执行步骤208。
本实施例中，所述视频发送设备接收到所述指示信息的情况下，所述视频发送设备判断所述指示信息是否满足所述目标条件，其中，所述目标条件为所述指示信息用于指示所述视频接收设备已开启图像超分辨率能力。
例如，在所述视频发送设备确定出所述指示信息用于指示所述视频接收设备具有图像超分辨率能力且图像超分辨率能力已开启，或者，所述指示信息用于指示所述视频接收设备所具有的图像超分辨率能力已开启的情况下，所述视频发送设备确定出所述指示信息满足所述目标条件。
又如，在所述视频发送设备确定出所述指示信息用于指示所述视频接收设备具有图像超分辨率能力且图像超分辨率能力未开启，或者所述指示信息用于指示所述视频接收设备所具有的图像超分辨率能力未开启的情况下，所述视频发送设备确定出所述指示信息不满足所述目标条件。
又如，若所述视频发送设备确定出所述指示信息用于指示所述视频接收设备具有图像超分辨率能力，但是所述视频发送设备不确定所述视频接收设备是否将图像超分辨率能力开启的情况下，则所述视频发送设备可向所述视频接收设备发送第一消息，所述第一消息用于请求所述视频接收设备向所述视频发送设备发送第二消息，所述第二消息用于指示所述视频接收设备是否开启所述图像超分辨率能力，则在所述视频发送设备确定出所述第二请求消息用于指示所述视频接收设备已开启所述图像超分辨率能力的情况下，所述视频发送设备确定出满足所述目标条件，若所述视频发送设备确定出所述第二请求消息用于指示所述视频接收设备不开启所述图像超分辨率能力的情况下，所述视频发送设备确定出不满足所述目标条件。
可选的，本实施例所示的所述指示信息还用于指示所述视频接收设备所支持的所述图像超分辨率的倍率，则本实施例所示的目标条件还可为所述指示信息所指示的所述图像超分辨率的倍率大于1。
其中，所述图像超分辨率的倍率是指，对原视频通过图像超分辨率技术处理后的视频的像素宽度除以原视频像素宽度得到的倍数，以及对原视频通过图像超分辨率技术处理后的视频的像素高度除以原视频像素高度得到的倍数，如原视频的像素宽度为540,像素高度为360，通过图像超分辨率技术处理后的视频的宽度为1080、像素高度为720，可知，图像超分辨率的倍率＝1080/540＝2，或图像超分辨率的倍率＝720/360＝2。
上述所示以通过图像超分辨率技术对原视频进行同比例放大为例进行示例性说明，即对原视频的像素的宽度进行放大的倍数和对原视频的像素的高度进行放大的倍数相同为例进行示例性说明，在其他实施例中，也可通过图像超分辨率技术对原视频进行不同比例进行放大，如对原视频通过图像超分辨率技术处理后的视频的像素宽度除以原视频像素宽度得到的第一倍数，对原视频通过图像超分辨率技术处理后的视频的像素高度除以原视频像素高度得到的第二倍数，且第一倍数与第二倍数不相同；
可选的，所述视频接收设备可判断所述第一倍数和所述第二倍数之间的最小值，以所述第一倍数和所述第二倍数之间的最小值作为图像超分辨率的倍率。
还可选的，所述视频接收设备可判断所述第一倍数和所述第二倍数之间的最大值，以所述第一倍数和所述第二倍数之间的最大值作为图像超分辨率的倍率。
步骤206、视频发送设备将具有编码帧率和编码分辨率的视频发送给视频接收设备。
本实施例中，在所述视频发送设备确定出所述视频接收设备不满足所述目标条件的情况下，则所述视频发送设备所发送的视频无需考虑视频接收设备的图像超分辨率能力，所述视频发送设备可直接将具有编码帧率和编码分辨率的视频发送给视频接收设备。
步骤207、视频接收设备接收具有编码帧率和编码分辨率的视频。
步骤208、视频发送设备判断编码帧率是否小于或等于预设帧率，若是，则执行步骤209，若否，则执行步骤210。
本实施例中，在所述视频发送设备确定出所述视频接收设备满足所述目标条件的情况下，则所述视频发送设备所发送的视频需考虑视频接收设备的图像超分辨率能力。
本实施例所示的视频发送设备可预先配置预设帧率，本实施例对所述预设帧率具体的大小不做限定。本实施例所示的所述视频发送设备所配置的所述预设帧率和所述指示信息相对应，具体的，本实施例所示的视频发送设备可根据视频接收设备所支持的图像超分辨率的倍率配置所述预设帧率。
更具体的，所述视频发送设备所配置的所述预设帧率与所述视频接收设备所支持的图像超分辨率的倍率对应，则在所述视频发送设备接收到包括有图像超分辨率的倍率的指示信息的情况下，所述视频发送设备确定出与所述视频接收设备所支持的图像超分辨率的倍率对应的预设帧率。
以下对所述视频发送设备配置所述预设帧率的过程进行示例性说明，需明确的是，以下对配置所述预设帧率的说明为可选的示例，不做限定，只要所述预设帧率与所述图像超分辨率的倍率对应即可。
例如，所述视频发送设备所配置的所述预设帧率的大小与所述视频接收设备所支持的所述图像超分辨率的倍率成正相关关系。
又如，所述视频发送设备可配置有第三对应关系，所述第三对应关系包括不同的预设帧率与不同的图像超分辨率的倍率范围的对应关系，所述第三对应关系可参见如下所示的表3所示，如表3所示可知，所述第三对应关系所包括的对应关系中，所述视频发送设备所配置的所述预设帧率的大小与所述视频接收设备所支持的所述图像超分辨率的倍率的不同范围成正相关关系，即第三对应关系所包括的越大的图像超分辨率的倍率的范围，对应有越大的预设帧率，继续以表3所示为例，在图像超分辨率的倍率位于大于或等于4且小于或等于5范围内时所对应的预设帧率(20)，大于图像超分辨率的倍率位于大于等于2且小于或等于3范围内时所对应的预设帧率(15)。
表3
图像超分辨率的倍率的范围 大于等于2且小于或等于3 大于或等于4且小于或等于5
预设帧率 15 20
由上所示对图像超分辨率的倍率的说明可知，视频接收设备所支持的图像超分辨率的倍率和视频接收设备对视频清晰度的增强能力成正相关关系，即所述视频接收设备所支持的图像超分辨率的倍率越大，则说明视频接收设备具有更强的对视频清晰度的增强能力。为均衡视频的清晰度和流畅度，在视频接收设备具有比较高的视频的清晰度增强能力的情况下，视频发送设备可通过降低清晰度并补偿流畅度的方式以均衡视频的清晰度和流畅度，以保障视频接收设备可流畅的显示具有一定清晰度的视频。
具体的，所述视频接收设备可确定出在所述视频接收设备所支持的图像超分辨率的倍率越大的情况下，所述视频发送设备所配置的所述预设帧率越大，通过越大的预设帧率，以降低视频的分辨率。
步骤209、视频发送设备确定目标帧率为所述预设帧率。
本实施例中，在所述视频发送设备判断出所述编码帧率小于所述预设帧率的情况下，所述视频发送设备确定所述视频接收设备能够支持更为流畅的视频，所述视频发送设备对小于所述预设帧率的所述编码帧率进行调节且确定调节后的编码帧率为目标帧率，其中，所述目标帧率等于所述预设帧率。可见，所述视频发送设备在编码帧率小于所述预设帧率的情况下，对所述编码帧率进行调节以使调节后的编码帧率等于所述预设帧率。
本实施例以所述目标帧率等于所述预设帧率为例进行示例性说明，不做限定，只要所述视频发送设备所确定出的所述目标帧率大于或等于所述预设帧率即可。
步骤210、视频发送设备确定目标帧率为所述编码帧率。
在所述视频发送设备判断出所述编码帧率大于或等于所述预设帧率的情况下，所述视频发送设备确定所述视频接收装置能够流畅的显示具有编码帧率的视频，则所述视频发送设备无需对所述编码帧率进行调节，所述视频发送设备直接确定所述编码帧率为所述目标帧率。
步骤211、视频发送设备根据所述目标帧率确定所述目标分辨率。
本实施例中，在所述视频发送设备确定出所述目标帧率的情况下，所述视频发送设备可确定出与所述目标帧率对应的目标分辨率。
可选的，若所述视频发送设备在执行完步骤209，即在所述视频发送设备对所述编码帧率进行调节以使调节后的编码帧率(目标帧率)等于所述预设帧率的情况下，所述视频发送设备根据所述目标帧率确定出目标分辨率。
具体确定过程可参见如下所示：
首先，所述视频发送设备可根据如下公式计算出平均单帧大小，
目标帧率＝编码码率/平均单帧大小。
其中，所述视频发送设备已在上述步骤203中确定出所述编码码率，则所述视频发送设备将已确定的所述编码码率和目标帧率带入至公式中以确定出平均单帧大小。
然后，所述视频发送设备根据上述如表2所示的第二对应关系确定出与平均单帧大小对应的分辨率为所述目标分辨率。
步骤212、视频发送设备将目标视频发送给视频接收设备。
本实施例中，在所述视频发送设备确定出所述目标帧率和所述目标分辨率的情况下，所述视频发送设备可将已采集到并准备要发送给视频接收设备的目标视频的帧率和分辨率进行调节，以使所述目标视频的帧率为所述目标帧率，所述目标视频的分辨率为所述目标分辨率，所述视频发送设备将调节后的具有所述目标帧率和所述目标分辨率的目标视频发送给视频接收设备。
步骤213、视频接收设备接收所述目标视频。
所述视频接收设备可通过图像超分辨率技术对所述目标视频进行处理，以增强目标视频的清晰度，以使所述视频接收设备可在现有的网络状况下，最大程度的保障所述视频接收设备所显示的目标视频的清晰度以及流畅度。
采用本实施例所示的视频自适应方法，所述视频发送设备可根据视频接收设备的图像超分辨率能力对准备发送给视频接收设备的目标视频的帧率和分辨率进行调节，使得调节后的目标视频所具有的目标帧率和目标分辨率与视频接收设备的图像超分辨率能力相匹配，所述视频发送设备将目标视频发送给视频接收设备，所述视频接收设备可显示均衡清晰度和流畅度的目标视频，在保障视频接收设备显示有高清晰度的目标视频的同时，还有效的保障了显示所述目标视频的流畅度。
采用图2所示的实施例，视频发送设备可通过设置预设帧率的方式对目标视频的帧率进行调节以实现视频自适应方法，以下结合图3所示的实施例说明视频发送设备根据指示信息确定目标帧率和目标分辨率的另一种方法进行示例性说明：
步骤301、视频接收设备向视频发送设备发送指示信息。
步骤302、视频发送设备接收所述指示信息。
步骤303、视频发送设备获取与网络状态相适配的编码码率。
本实施例所示的步骤301至步骤303的具体执行过程，请详见图2所示的步骤201至步骤203所示，具体执行过程不做限定。
步骤304、视频发送设备判断所述指示信息是否满足目标条件，若否，则执行步骤305，若是，则执行步骤308。
本实施例所示的所述视频发送设备判断视频接收设备是否满足所述目标条件的具体过程，请详见图2所示的步骤205所示，具体在本实施例中不做赘述。
步骤305、视频发送设备根据所述编码码率获取编码帧率。
本实施例所示的步骤305的具体执行过程，请详见图2所示的步骤204所示，具体不做赘述。
步骤306、视频发送设备将具有编码帧率和编码分辨率的视频发送给视频接收设备。
步骤307、视频接收设备接收具有编码帧率和编码分辨率的视频。
本实施例所示的步骤306至步骤307的具体执行过程，请详见图2所示的步骤206至步骤207所示，具体执行过程不做赘述。
步骤308、视频发送设备获取与指示信息对应的第一对应关系以及第二对应关系。
本实施例中，在所述视频发送设备确定出所述视频接收设备满足所述目标条件的情况下，则所述视频发送设备所发送的视频需考虑视频接收设备的图像超分辨率能力。
具体的，所述视频发送设备可获取满足所述目标条件的所述指示信息对应的第一对应关系，其中，满足所述目标条件的所述指示信息对应的第一对应关系可预先存储在所述视频发送设备中，或，所述视频发送设备可在接收到满足所述目标条件的所述指示信息的情况下，获取对应的第一对应关系，具体在本实施例中不做限定。
以下对所述视频发送设备获取满足所述目标条件的所述指示信息对应的第一对应关系的过程进行示例性说明：
所述视频发送设备根据所述指示信息对上述实施例所示的第一对应关系(表1)进行更新，更新后的第一对应关系可参见表4所示。
表4
码率范围 分辨率
64kb/s-384kb/s CIF
384kb/s-1024kb/s VGA
1024kb/s-2400kb/s 720P
2400kb/s-4096kb/s 1080P
结合表1和表4所示可知，本实施例所示视频发送设备可在表1的基础上进行第一对应关系的更新，以使更新后的第一对应关系(表4)相对于更新前的第一对应关系(表1)，相同的分辨率对应更大的码率范围，例如，在表1中，分辨率“VGA”对应的码率范围为“256kb/s-810kb/s”，而本实施例中，所述视频发送设备所配置的第一对应关系所包括的与分辨率“VGA”对应的码率范围可为“384kb/s-1024kb/s”。
可见，相同的码率在更新后的第一对应关系中可对应更低的分辨率，例如，若所述视频发送设备确定出的编码码率为“2400kb/s”，则在表1所示的第一对应关系中可确定出对应的分辨率为“1080P”，而通过本实施例所示的更新后的第一对应关系确定出对应的分辨率为“720P”。
所述第二对应关系的具体说明，请详见上述实施例中的表2所示，具体在本实施例中不做赘述，由表2所示可知，分辨率的大小和平均单帧大小之间呈正相关关系，则图3所示实施例和图2所示的实施例相比，相同的编码码率，可对应更小的平均单帧大小，还以编码码率为“2400kb/s”为例，则在图2所示的实施例中，确定出与编码码率为“2400kb/s”对应的平均单帧大小为“120kb/f”，而在本实施例中所确定出的与编码码率为“2400kb/s”对应的平均单帧大小为“70kb/f”。
步骤309、视频发送设备确定目标分辨率。
具体的，本实施例所示的所述视频发送设备可根据所述第一对应关系，确定与所述编码码率对应的分辨率为所述目标分辨率，由上述示例所示，若所述视频发送设备确定出所述编码码率为“2400kb/s”，则所述目标分辨率可为“720P”。
步骤310、视频发送设备确定目标帧率。
本实施例在所述视频发送设备确定出目标分辨率的情况下，所述视频发送设备可根据所述第二对应关系确定出目标平均单帧大小，以上述所示可知，所述平均单帧大小可为“70kb/f”。
所述视频发送设备根据如下公式计算出目标帧率；
目标帧率＝编码码率/目标平均单帧大小。
由上述公式可知，所述目标帧率和所述目标平均单帧大小之间成反比关系，则视频发送设备基于相同的编码码率可确定出更低的目标平均单帧大小，可见，通过表1和表4不同的对应关系，本实施例所示的视频发送设备能够基于相同的编码码率确定出更大的目标帧率，通过更大的目标帧率，提高了视频接收设备所显示的视频的流畅度。
步骤311、视频发送设备将目标视频发送给视频接收设备。
步骤312、视频接收设备接收所述目标视频。
本实施例所示的步骤311和步骤312的具体执行过程，请详见图2所示的步骤212至步骤213所示，具体执行过程在本实施例中不做赘述。
采用本实施例所示的视频自适应方法，所述视频发送设备在确定出视频接收设备的图像超分辨率能力开启的情况下，所述视频发送设备可对已存储的对应关系进行更新，使得所述视频发送设备基于相同的码率能够确定出更高的目标帧率，所述视频发送设备对准备发送给视频接收设备的目标视频的帧率和分辨率进行调节，使得调节后的目标视频所具有的目标帧率和目标分辨率与视频接收设备的图像超分辨率能力相匹配，所述视频发送设备将目标视频发送给视频接收设备，所述视频接收设备可显示均衡清晰度和流畅度的目标视频，在保障视频接收设备显示有高清晰度的目标视频的同时，还有效的保障了显示所述目标视频的流畅度。
为更好的理解本申请所提供的视频自适应方法，以下结合具体应用场景对视频自适应方法的执行过程进行进一步的示例性说明：
请参见图4所示的应用场景，图4为本发明所提供的多点视频会话场景的一种视频网络结构示例图。
如图4所示，在视频网络应用至多点视频会话场景中时，所述视频网络具体包括：用于发起多点视频会话的会议终端400、会议(Conference)应用服务器(applicationserver，AS)401、多媒体资源功能控制器(multimedia resource function controller，MRFC)402、多点控制单元(multipoint control unit，MCU)403、呼叫控制(call control)网元404、接入网关(Access Gateway)405以及终端406，其中，所述MCU 403作为视频发送设备，终端406作为视频接收设备。其中，多点视频会话场景具体用于多媒体会议、远程教学以及多媒体发布等，具体不做限定。
本实施例对所述会议终端400以及终端406具体的设备类型不做限定，可为智能手机、具有视频通话功能的蜂窝电话、无绳电话、会话启动协议(session initiationprotocol，SIP)电话、个人数字处理(personal digital assistant，PDA)设备、车载设备以及可穿戴设备等。
具体的，Conference AS 401属于业务能力层网元，可提供基于网络之间互连的协议(internet protocol，IP)多媒体子系统(IP multimedia subsystem，IMS)网络的多媒体会议业务，完成语音会议、数据会议、视频会议的调度，并提供全球广域网或万维网(worldwide web，Web)界面化的配置和管理服务。
MRFC 402可通过H.248协议控制多媒体资源处理器(multimedia resourcefunction processor，MRFP)上的媒体资源，其中，MRFP是处于接入层的逻辑功能实体，主要实现多媒体资源的提供和承载。MRFC 402处于控制层的逻辑功能实体，主要实现对MRFP中多媒体资源的控制。MRFC 402用于解析来自Conference AS 401的会话初始协议(sessioninitiation protocol，SIP)资源控制命令，转换为对MRFP的控制命令并产生相应计费信息，其中，SIP是由国际互联网工程任务组(the internet engineering task force，IETF)提出的IP电话信令协议,用于管理网络中的视频会话。MCU 403在多点视频会议网络结构中处于核心交换的位置，其功能是将各会议地点的信息流，经过同步分离后，抽取出音频、视频、数据等信息和指令，再将各会议地点的信息和指令，送入同一种处理模块，完成相应的音频混合或切换、视频混合或切换、数据广播和路由选择、定时和会议控制等过程，最后将各会议地点所需的信息重新组合起来，送往各相应的终端。call control 404为呼叫会话控制执行信令操作，管理SIP会话和与其它网络实体配合进行会话控制、服务控制和资源分配。
Access Gateway 405提供模拟用户线接口，用于直接将普通电话用户接入到软交换或者IMS网络中，提供公用电话交换网(public switched telephone network，PSTN的所有业务，如电话业务、拨号上网业务等，Access Gateway 405可直接将用户数据及用户信令封装在IP包中。
继续参见图4所示，会议终端400、Conference AS 401、MRFC 402、MCU 403之间，以及Conference AS 401、call control 404、Access Gateway 405以及终端406之间可形成有信令通道(图4所示的实线部分所示)，所述信令通道负责媒体协商控制，MCU403、AccessGateway 405以及终端406之间可形成有承载通道(图4所示的虚线部分所示)，所述承载通道负责媒体流的传输。
基于图4所示的应用于多点视频会议场景的视频网络结构，以下结合图5所示对视频自适应方法的具体执行流程进行示例性说明：
步骤501、会议应用服务器发送SIP呼叫请求。
会议应用服务器(Conference AS)可根据主叫用户通过所述会议终端输入的终端号码确定出需要呼叫的终端，Conference AS生成用于呼叫所述终端的SIP呼叫请求(INVITE)，其中，所述SIP呼叫请求用于请求具有所述终端号码的终端加入Conference AS发起的SIP会话。
具体的，Conference AS将所生成的SIP呼叫请求发送给所述终端的具体路径可为，所述Conference AS将所生成的SIP呼叫请求发送给呼叫控制网元，呼叫控制网元将所接收到的SIP呼叫请求转发给接入网关，所述接入网关将所接收到的SIP呼叫请求转发给终端。
步骤502、终端接收SIP呼叫请求。
终端根据已接收到的SIP呼叫请求，确定被邀请加入Conference AS发起的SIP会话。
步骤503、终端回复200OK消息。
在所述终端确定出加入Conference AS发起的SIP会话，所述终端生成200OK消息，所述200OK消息用于指示所述终端同意加入Conference AS发起的SIP会话。
本实施例中，所述终端可在所述200OK消息中携带会话描述协议(sessiondescription protocol，SDP)提议(offer)消息，所述SDP offer包括有终端用于接收视频的IP地址以及端口等。
所述终端将已生成的所述200OK消息发送给所述Conference AS，所述终端将所述200OK消息发送给所述Conference AS的具体路径可为：所述终端将所述200OK消息发送给接入网关，所述接入网关将已接收到的200OK消息转发给控制网元，控制网元将已接收到的200OK消息转发给Conference AS。
本实施例中，所述终端可在将指示信息设置在所述SDP offer中，本应用场景所示的所述指示信息可为用于指示不同图像超分辨率的能力的参数，对指示信息的具体说明，可参见如下所示的表5所示：
表5
Figure BDA0001852705390000181
表5
Figure BDA0001852705390000191
可见，若所述终端向所述Conference AS指示所述终端不具备图像超分辨率能力，则所述指示信息所包括的参数Multiple_flag＝0，若所述终端向所述Conference AS指示所述终端已开启图像超分辨率能力且图像超分辨率的倍率为2，则所述指示信息所包括的参数Open_flag＝True，且参数Multiple_flag＝2。若所述终端向所述Conference AS指示所述终端所支持的图像超分辨率能力且倍率为2，则所述指示信息所包括的参数Multiple_flag＝2。
步骤504、会议应用服务器将INVITE请求发送给发送给多点控制单元。
本实施例所示的所述INVITE请求包括有所述SDP offer，所述INVITE请求用于邀请多点控制单元加入至所述会议应用服务器所发起的SIP会话中。
可选的，所述会议应用服务器将所述INVITE请求发送给发送给多点控制单元的具体路径可为，所述会议应用服务器将INVITE请求发送给多媒体资源功能控制器，所述多媒体资源功能控制器将已接收到的INVITE请求转发给多点控制单元。还可选的，所述会议应用服务器可将所述INVITE请求分别发送给所述多点控制单元以及所述多媒体资源功能控制器。
步骤505、多点控制单元将200OK消息发送给会议应用服务器。
在所述多点控制单元确定出加入所述会议应用服务器所发起的SIP会话的情况下，所述多点控制单元将200OK消息发送给所述会议应用服务器。
可选的，所述多点控制单元将200OK消息发送给会议应用服务器的具体路径可为，所述多点控制单元将200OK消息发送给多媒体资源功能控制器，所述多媒体资源功能控制器可将已接收到的200OK消息转发给会议应用服务器。
步骤506、会议应用服务器发送确认字符信息。
本实施例中，在所述会议应用服务器确定接收到200OK消息后，所述会议应用服务器将确认字符(Acknowledgement，ACK)信息发送给所述终端。
所述会议服务器将所述确认字符信息发送给所述终端的路径，可参见上述步骤501所示的会议服务器将SIP呼叫请求发送给终端的路径，具体在本步骤中不做赘述。
本实施例所示的步骤501至步骤506所示为所述会议应用服务器和所述终端之间的媒体协商过程，通过所述步骤501和步骤506所示，创建会议应用服务器和所述终端之间的连接，进行媒体通信。
步骤507、多点控制单元获取与网络状态相适配的编码码率。
本实施例步骤507的具体执行过程，请详见图2所示的步骤203所示，具体执行过程在本实施例中不做赘述。
在本应用场景中，以所述多点控制单元可实时对当前网络状态进行检测，若检测到当前网络状态发生改变，则所述多点控制单元获取与当前网络状态相适配的编码码率为例进行示例性说明。
步骤508、多点控制单元根据所述编码码率获取编码帧率。
步骤509、多点控制单元判断所述指示信息是否满足目标条件，若否，则执行步骤510，若是，则执行步骤512。
步骤510、多点控制单元将具有编码帧率和编码分辨率的视频发送给终端。
步骤511、终端接收具有编码帧率和编码分辨率的视频。
步骤512、多点控制单元判断编码帧率是否小于或等于预设帧率，若是，则执行步骤513，若否，则执行步骤514。
步骤513、多点控制单元确定目标帧率为所述预设帧率。
步骤514、多点控制单元确定目标帧率为所述编码帧率。
步骤515、多点控制单元根据所述目标帧率确定所述目标分辨率。
步骤516、多点控制单元将目标视频发送给终端。
步骤517、终端接收所述目标视频。
本应用场景所示的步骤508至步骤517的具体执行过程，请详见图2所示的步骤204至步骤213所示，具体执行过程在本应用场景中不做赘述。
步骤518、终端将更新命令发送给会议应用服务器。
本应用场景中，所述终端可确定图像超分辨率能力是否出现变更，若是，则所述终端将更新(update)命令发送给会议应用服务器，可选的，所述图像超分辨率能力变更可指，终端的图像超分辨率能力由开启状态变更为关闭状态，还可选的，所述图像超分辨率能力变更可指，终端的图像超分辨率能力由关闭状态变更为开启状态，还可选的，所述图像超分辨率能力变更可指，终端所支持的图像超分辨率的倍率出现变更。
例如，所述终端可根据终端的中央处理器(central processing unit，CPU)的使用率确定是否开启图像超分辨率能力，如在执行上述所示的媒体协商的过程中，所述终端确定出所述终端的CPU的使用率超过预设阈值，则所述终端可关闭所述图像超分辨率能力，所述终端在后续的运行过程中，可实时或周期性的对终端的CPU的使用率进行检测，在检测到所述终端的CPU的使用率小于所述预设阈值的情况下，所述终端自动开启所述图像超分辨率能力，所述终端确定终端的图像超分辨率能力出现变更，所述终端将所述更新命令发送给所述会议应用服务器。其中，所述终端还可通过所述更新命令将所述终端所支持的图像超分辨率的倍率发送给所述会议应用服务器，所述终端所支持的图像超分辨率的倍率可为预设的固定数值，所述终端所支持的图像超分辨率的倍率也可与终端的CPU的使用率成反相关关系，具体在本应用场景中不做限定。
又如，所述终端可根据终端的内存的占用率确定是否开启图像超分辨率能力，如在执行上述所示的媒体协商的过程中，所述终端确定出所述终端的内存的占用率超过预设阈值，则所述终端可关闭所述图像超分辨率能力，所述终端在后续的运行过程中，可实时或周期性的对终端的内存的占用率进行检测，在检测到所述终端的内存的占用率小于所述预设阈值的情况下，所述终端自动开启所述图像超分辨率能力，所述终端确定终端的图像超分辨率能力出现变更，所述终端将所述更新命令发送给所述会议应用服务器。其中，所述终端还可通过所述更新命令将所述终端所支持的图像超分辨率的倍率发送给所述会议应用服务器，所述终端所支持的图像超分辨率的倍率可为预设的固定数值，所述终端所支持的图像超分辨率的倍率也可与终端的内存的占用率成反相关关系，具体在本应用场景中不做限定。
所述终端将所述更新命令发送给所述会议应用服务器的具体路径可为：所述终端将所述更新命令发送给接入网关，所述接入网关将已接收到的更新命令消息转发给控制网元，控制网元将已接收到的更新命令消息转发给会议应用服务器。
本应用场景中，若所述终端所发送的所述更新命令用于指示所述终端的图像超分辨率能力由开启状态变更为关闭状态，和/或所述终端所支持的图像超分辨率的倍率变更为1或以下，则所述会议应用服务器执行上述所示的步骤507至步骤510所示的过程。若所述终端所发送的所述更新命令用于指示所述终端的图像超分辨率能力由关闭状态变更为开启状态，和/或所述终端所支持的图像超分辨率的倍率变更为大于1以上，则所述会议应用服务器执行上述所示的步骤507至步骤508，以及步骤512至步骤516所示的过程。
所述终端将更新命令发送给会议应用服务器的具体路径的说明，可参见步骤503所示，终端将200OK消息发送给会议应用服务器的路径，具体在本应用场景中不做赘述。
步骤519、会议应用服务器将更新命令发送给多点控制单元。
所述会议应用服务器将所述更新命令发送给发送给多点控制单元的具体路径可为，所述会议应用服务器将更新命令发送给多媒体资源功能控制器，所述多媒体资源功能控制器将已接收到的更新命令转发给多点控制单元。还可选的，所述会议应用服务器可将所述更新命令分别发送给所述多点控制单元以及所述多媒体资源功能控制器。
步骤520、多点控制单元将200OK消息发送给会议应用服务器。
步骤521、会议应用服务器将200OK消息发送给终端。
本实施例中，在所述会议应用服务器确定接收到200OK消息后，所述会议应用服务器将200OK消息发送给所述终端。
具体的，会议应用服务器将200OK消息发送给所述终端的具体路径可为，所述会议应用服务器将所生成的200OK消息发送给呼叫控制网元，呼叫控制网元将所接收到的200OK消息转发给接入网关，所述接入网关将所接收到的200OK消息转发给终端。
采用本应用场景所示的方法，多点控制单元在确定出终端的图像超分辨率能力开启或者终端的图像超分辨率能力由关闭状态变更为开启状态，所述多点控制单元可根据终端的图像超分辨率能力对准备发送给终端的目标视频的帧率和分辨率进行调节，使得调节后的目标视频所具有的目标帧率和目标分辨率与终端的图像超分辨率能力相匹配，所述多点控制单元可将目标视频发送给终端，所述终端可显示均衡清晰度和流畅度的目标视频，在保障终端显示有高清晰度的目标视频的同时，还有效的保障了显示所述目标视频的流畅度。
基于图4所示的多点视频会议场景的视频网络结构，采用图5所示的应用场景多点控制单元可通过设置预设帧率的方式对目标视频的帧率进行调节以实现视频自适应方法，以下结合图6所示的应用场景说明多点控制单元根据指示信息确定目标帧率和目标分辨率的另一种方法进行示例性说明：
步骤601、会议应用服务器向终端发送SIP呼叫请求。
步骤602、终端接收SIP呼叫请求。
步骤603、终端向会议应用服务器回复200OK消息。
步骤604、会议应用服务器将INVITE请求发送给发送给多点控制单元。
步骤605、多点控制单元将200OK消息发送给会议应用服务器。
步骤606、会议应用服务器将确认字符信息发送给终端。
步骤607、多点控制单元获取与网络状态相适配的编码码率。
本应用场景所示的步骤601至步骤607的具体执行过程，请详见图5所示的步骤501至步骤507所示，具体执行过程在本应用场景中不做赘述。
步骤608、多点控制单元判断所述指示信息是否满足目标条件，若否，则执行步骤609，若是，则执行步骤611。
步骤609、多点控制单元根据所述编码码率获取编码帧率。
步骤610、多点控制单元将具有编码帧率和编码分辨率的视频发送给终端。
步骤611、终端接收具有编码帧率和编码分辨率的视频。
步骤612、多点控制单元获取与指示信息对应的第一对应关系以及第二对应关系。
步骤613、多点控制单元确定目标分辨率。
步骤614、多点控制单元确定目标帧率。
步骤615、多点控制单元将目标视频发送给终端。
步骤616、终端接收所述目标视频。
本应用场景所示的步骤608至步骤616的具体执行过程，请详见图3所示的步骤304至步骤312所示，具体执行过程在本应用场景中不做赘述。
步骤617、终端将更新命令发送给会议应用服务器。
步骤618、会议应用服务器将更新命令发送给多点控制单元。
步骤619、多点控制单元将200OK消息发送给会议应用服务器。
步骤620、会议应用服务器将200OK消息发送给终端。
本应用场景所示的步骤617至步骤620的具体执行过程，请详见图5所示的步骤518至步骤521所示，具体执行过程在本应用场景中不做赘述。
采用本应用场景所示的方法，所述多点控制单元在确定出终端的图像超分辨率能力开启的情况下，所述多点控制单元可对已存储的对应关系进行更新，使得所述多点控制单元基于相同的码率能够确定出更高的目标帧率，所述多点控制单元对准备发送给终端的目标视频的帧率和分辨率进行调节，使得目标视频所具有的目标帧率和目标分辨率与终端的图像超分辨率能力相匹配，所述多点控制单元将目标视频发送给终端，所述终端可显示均衡清晰度和流畅度的目标视频，在保障终端显示有高清晰度的目标视频的同时，还有效的保障了显示所述目标视频的流畅度。
为更好的理解本申请所提供的视频自适应方法，以下结合另一具体应用场景对视频自适应方法的执行过程进行进一步的示例性说明：
请参见图7所示的应用场景，图7为本发明所提供的点对点会话场景的一种视频网络结构示例图。
如图7所示，在视频网络应用至点对点会话场景中时，所述视频网络具体包括：第一终端701、应用服务器(AS)702以及第二终端703。
在第一终端701通过AS 702向第二终端703发起呼叫时，所述第一终端701作为视频发送设备，所述第二终端703作为视频接收设备，在所述第二终端703通过AS 702向第一终端701发起呼叫时，所述第二终端703作为视频发送设备，所述第一终端701作为视频接收设备。
在本应用场景中，以所述第一终端701和所述第二终端703进行实时视频通话为例进行示例性说明，为实现在实时视频通话场景下显示高清晰度视频，以下结合图8所示对本应用场景的具体执行流程进行说明，需明确的是，下述所示的方法，也可应用在非实时视频通话的场景，例如所述第一终端和所述第二终端之间可交互已录制完成的视频，具体不做限定：
步骤801、第一终端将SIP呼叫请求发送给AS。
在所述第一终端确定出需要与第二终端进行实时视频通话的情况下，所述第一终端可将SIP呼叫请求发送给AS，其中，所述SIP呼叫请求包括有所述第二终端的号码。
本应用场景中，所述SIP呼叫请求还可包括有所述第一终端用于接收视频的IP地址以及端口等信息，以使所述第二终端能够根据所述SIP呼叫请求将视频发送给所述第一终端。
所述SIP呼叫请求中，还包括第一指示信息，所述第一指示信息用于所述第一终端的图像超分辨率能力，对所述第一指示信息的具体说明，可参见上述图5所示的应用场景中指示信息的说明，具体不做赘述。
步骤802、AS将SIP呼叫请求转发给第二终端。
步骤803、第二终端向AS回复200OK消息。
在所述第二终端确定出与所述第一终端进行实时视频通话，则所述第二终端生成200OK消息，所述200OK消息用于指示所述第二终端同意加入所述第一终端发起的实时视频通话。
本实施例中，所述第二终端可在所述200OK消息中携带SDP offer消息，所述SDPoffer包括有第二终端用于接收视频的IP地址以及端口等，以使所述第一终端能够根据所述SDP offer消息的指示将视频发送给所述第二终端。
本应用场景中的所述SDP offer消息中，还可包括有第二指示信息，所述第二指示信息用于指示所述第二终端的图像超分辨率能力，对所述第二指示信息的具体说明，可参见上述图5所示的应用场景中指示信息的说明，具体不做赘述。
步骤804、AS将200OK消息转发给所述第一终端。
步骤805、第一终端将确认字符信息发送AS。
本应用场景中，在所述第一终端确定接收到200OK消息后，所述第一终端将确认字符(Acknowledgement，ACK)信息发送给所述AS。
步骤806、AS将确认字符信息转发给所述第二终端。
本应用场景中，步骤801至步骤806所示为媒体协商过程，通过所述步骤801至步骤806所示，创建第一终端和所述第二终端之间的连接，进行实时视频通话。
以下步骤所示对所述第一终端向所述第二终端发送视频的过程进行示例性说明：
步骤807、第一终端获取与网络状态相适配的编码码率。
本实施例步骤807的具体执行过程，请详见图2所示的步骤203所示，具体执行过程在本实施例中不做赘述。
可选的，所述第一终端可实时对当前网络状态进行检测，若检测到当前网络状态发生改变，则所述第一终端获取与当前网络状态相适配的编码码率。
还可选的，所述AS可实时对当前网络状态进行检测，若检测到当前网络状态发生改变，则所述AS将网络状况发生改变的情况下通知给所述第一终端，所述第一终端获取与当前网络状态相适配的编码码率。
步骤808、第一终端根据所述编码码率获取编码帧率。
步骤809、第一终端判断所述第二指示信息是否满足目标条件，若否，则执行步骤810，若是，则执行步骤812。
步骤810、第一终端将具有编码帧率和编码分辨率的视频发送给第二终端。
步骤811、第二终端接收具有编码帧率和编码分辨率的视频。
步骤812、第一终端判断编码帧率是否小于或等于预设帧率，若是，则执行步骤813，若否，则执行步骤814。
步骤813、第一终端确定目标帧率为所述预设帧率。
步骤814、第一终端确定目标帧率为所述编码帧率。
步骤815、第一终端根据所述目标帧率确定所述目标分辨率。
步骤816、第一终端将目标视频发送给第二终端。
步骤817、第二终端接收所述目标视频。
本应用场景缩水的步骤808至步骤817的具体执行过程，请详见图5所示的步骤508至步骤517的具体执行过程，具体执行过程在本应用场景中不做赘述。
步骤818、第二终端将更新命令发送给AS。
本应用场景中，所述第二终端发送所述更新命令的说明，请详见图5的步骤518所示的终端发送更新命令的说明，具体在本应用场景中不做赘述。
步骤819、AS将更新命令转发给第一终端。
本应用场景中，若所述第二终端所发送的所述更新命令用于指示所述第二终端的图像超分辨率能力由开启状态变更为关闭状态，和/或所述终端所支持的图像超分辨率的倍率变更为1或以下，则所述第一终端执行上述所示的步骤807至步骤810所示的过程。若所述第二终端所发送的所述更新命令用于指示所述第二终端的图像超分辨率能力由关闭状态变更为开启状态，和/或所述第二终端所支持的图像超分辨率的倍率变更为大于1以上，则所述第一终端执行上述所示的步骤807至步骤808，以及步骤812至步骤816所示的过程。
步骤820、第一终端将200OK消息发送给AS。
步骤821、AS将200OK消息发送给第二终端。
本应用场景所示的步骤820至步骤821的具体执行过程，请详见图5所示的步骤520至步骤521的具体执行过程，具体在本应用场景中不做赘述。
在所述第二终端将视频发送给所述第一终端的具体过程，可参见上述所示的所述第一终端将视频发送给所述第二终端的具体过程，具体在本应用场景不做赘述。
采用本应用场景所示的方法，所述第一终端在确定出第二终端的图像超分辨率能力开启或者第二终端的图像超分辨率能力由关闭状态变更为开启状态，所述第一终端可根据第二终端的图像超分辨率能力对准备发送给第二终端的目标视频的帧率和分辨率进行调节，使得调节后的目标视频所具有的目标帧率和目标分辨率与第二终端的图像超分辨率能力相匹配，所述第一终端可将目标视频发送给第二终端，所述第二终端可显示均衡清晰度和流畅度的目标视频，在保障第二终端显示有高清晰度的目标视频的同时，还有效的保障了显示所述目标视频的流畅度。
基于图7所示的点对点实时视频通话的网络结构，采用图8所示的应用场景第一终端可通过设置预设帧率的方式对目标视频的帧率进行调节以实现视频自适应方法，以下结合图9所示的应用场景说明第一终端根据指示信息确定目标帧率和目标分辨率的另一种方法进行示例性说明：
步骤901、第一终端将SIP呼叫请求发送给AS。
步骤902、AS将SIP呼叫请求转发给第二终端。
步骤903、第二终端向AS回复200OK消息。
步骤904、AS将200OK消息转发给所述第一终端。
步骤905、第一终端将确认字符信息发送AS。
步骤906、AS将确认字符信息转发给所述第二终端。
步骤907、第一终端获取与网络状态相适配的编码码率。
本应用场景所示的步骤901至步骤907的具体执行过程，请详见图8所示的步骤801至步骤807所示，具体执行过程在本应用场景中不做赘述。
步骤908、第一终端判断所述第二指示信息是否满足目标条件，若否，则执行步骤909，若是，则执行步骤912。
步骤909、第一终端根据所述编码码率获取编码帧率。
步骤910、第一终端将具有编码帧率和编码分辨率的视频发送给终端。
步骤911、第二终端接收具有编码帧率和编码分辨率的视频。
步骤912、第一终端获取与所述第二指示信息对应的第一对应关系以及第二对应关系。
步骤913、第一终端确定目标分辨率。
步骤914、第一终端确定目标帧率。
步骤915、第一终端将目标视频发送给终端。
步骤916、第二终端接收所述目标视频。
本应用场景所示的步骤908至步骤916的具体执行过程，请详见图3所示的步骤604至步骤612所示，具体执行过程在本应用场景中不做赘述。
步骤917、第二终端将更新命令发送给AS。
步骤918、AS将更新命令发送给第一终端。
步骤919、第一终端将200OK消息发送给AS。
步骤920、AS将200OK消息发送给第二终端。
本应用场景所示的步骤917至步骤920的具体执行过程，请详见图5所示的步骤518至步骤521所示，具体执行过程在本应用场景中不做赘述。
采用本应用场景所示的方法，所述第一终端在确定出第二终端的图像超分辨率能力开启的情况下，所述第一终端可对已存储的对应关系进行更新，使得所述第一终端基于相同的码率能够确定出更高的目标帧率，所述第一终端对准备发送给第二终端的目标视频的帧率和分辨率进行调节，使得目标视频所具有的目标帧率和目标分辨率与第二终端的图像超分辨率能力相匹配，所述第一终端将目标视频发送给第二终端，所述第二终端可显示均衡清晰度和流畅度的目标视频，在保障终端显示有高清晰度的目标视频的同时，还有效的保障了显示所述目标视频的流畅度。
以下结合图10所示对本申请所提供的视频发送设备的具体结构进行示例性说明，所述视频发送设备用于执行视频自适应方法，所述视频自适应方法的具体执行过程，请详见上述实施例所示。
所述视频发送设备包括：
接收单元1001，用于接收视频接收设备发送的指示信息，所述指示信息用于指示所述视频接收设备的图像超分辨率能力；
可选的，所述视频发送设备还包括配置单元1002，若所述指示信息用于指示所述视频接收设备所支持的所述图像超分辨率的倍率，则所述配置单元1002用于根据所述指示信息配置预设帧率，且所述预设帧率的大小与所述视频接收设备所支持的所述图像超分辨率的倍率对应。
可选的，所述预设帧率的大小与所述视频接收设备所支持的所述图像超分辨率的倍率成正相关关系。
获取单元1003，用于若所述接收单元1001所接收到的所述指示信息用于指示所述视频接收设备的图像超分辨率能力已开启，则获取与所述指示信息对应的目标帧率和目标分辨率的视频；
可选的，在所述指示信息还用于指示所述视频接收设备支持的所述图像超分辨率的倍率，则所述获取单元1003还用于，在确定所述指示信息所指示的倍率大于1的情况下，触发执行获取与所述指示信息对应的目标帧率和目标分辨率的视频的步骤。
可选的，所述获取单元1003包括：
第一获取模块10031，用于获取与网络状态相适配的编码码率；
第二获取模块10032，用于获取与所述编码码率对应的编码帧率；
第三获取模块10033，用于获取与所述指示信息对应的预设帧率；
第四获取模块10034，用于若所述编码帧率小于所述预设帧率，则确定所述目标帧率为所述预设帧率；
第五获取模块10035，用于若所述编码帧率大于或等于所述预设帧率，则确定所述目标帧率为所述编码帧率；
第六获取模块10036，用于根据所述目标帧率确定所述目标分辨率；
第七获取模块10037，用于获取具有所述目标帧率和所述目标分辨率的视频。
具体的，所述第六获取模块10036具体用于，若所述目标帧率为所述预设帧率，则根据所述编码码率和所述目标帧率确定平均单帧大小，所述平均单帧大小为每一视频帧所包括的字节数，并用于确定与所述平均单帧大小对应的分辨率为所述目标分辨率。
可选的，所述获取单元1003包括：
第八获取模块10038，用于获取与所述指示信息对应的第一对应关系以及第二对应关系，所述第一对应关系包括不同的码率范围与不同的分辨率的对应关系，所述第二对应关系包括不同的分辨率与不同的平均单帧大小的对应关系；
第九获取模块10039，用于获取与网络状态相适配的编码码率；
第十获取模块100310，用于根据所述第一对应关系，确定与所述编码码率对应的分辨率为所述目标分辨率；
第十一获取模块100311，用于根据所述第二对应关系，确定与所述目标分辨率对应的平均单帧大小为目标平均单帧大小；
第十二获取模块100312，用于根据所述目标平均单帧大小和所述编码码率确定所述目标帧率；
第十三获取模块100313，用于获取具有所述目标帧率和所述目标分辨率的视频。
发送单元1004，用于将具有所述目标帧率和所述目标分辨率的视频发送给所述视频接收设备。
可选的，所述发送单元1004还用于，将请求信息发送给所述视频接收设备，所述请求信息用于请求所述视频接收设备发送所述指示信息。
可选的，所述接收单元1001还用于，在媒体协商过程中接收所述视频接收设备发送的所述指示信息。
本实施例所示的视频发送设备执行所述视频自适应方法的有益效果的说明，请详见上述实施例所示，具体在本实施例中不做赘述。
以下结合图11所示对本申请所提供的视频接收设备的具体结构进行示例性说明，所述视频接收设备用于执行视频自适应方法，所述视频自适应方法的具体执行过程，请详见上述实施例所示。
获取单元1101，用于获取所述视频接收设备所支持的所述图像超分辨率的倍率；
生成单元1102，用于生成所述指示信息，且所述指示信息用于指示所述视频接收设备所支持的所述图像超分辨率的倍率。
发送单元1103，用于向视频发送设备发送指示信息，所述指示信息用于指示视频接收设备的图像超分辨率能力；
接收单元1104，用于若所述指示信息指示所述视频接收设备的图像超分辨率能力已开启，则用于接收所述视频发送设备发送具有目标帧率和目标分辨率的视频，所述目标帧率和所述目标分辨率与所述指示信息对应。
可选的，所述接收单元1104还用于，接收所述视频发送设备发送的请求信息；
所述发送单元1103还用于，根据所述请求信息向所述视频发送设备发送所述指示信息。
可选的，所述发送单元1103具体用于，在媒体协商过程中向所述视频发送设备发送指示信息。
本实施例所示的视频接收设备执行所述视频自适应方法的有益效果的说明，请详见上述实施例所示，具体在本实施例中不做赘述。
以下从实体硬件的角度对用于实现上述实施例所示的视频自适应方法的电子设备的具体结构进行示例性说明，其中，所述电子设备可为视频发送设备，也可为视频接收设备。
如图12所示，电子设备1200包括至少一个处理器1201，通信总线1202以及存储器1203。所述处理器1201和所述存储器1203通过所述通信总线相连；
处理器1201可以是一个通用中央处理器(central processing unit，CPU)，微处理器，特定应用集成电路(application-specific integrated circuit，ASIC)，或一个或多个用于控制本发明方案程序执行的集成电路。
通信总线1202可包括一通路，在上述组件之间传送信息。
可选的，所述电子设备1200还可包括通信接口1204，用于与其他设备或通信网络通信，如以太网，无线接入网(radio access network，RAN)，无线局域网(wireless localarea networks，WLAN)等。
存储器1203可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electrically erasable programmable read-only memory，EEPROM)、只读光盘(compactdisc read-only memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立存在，通过总线与处理器相连接。存储器也可以和处理器集成在一起。
其中，存储器1203用于存储执行本发明方案的一个或多个程序，一个或多个程序中包括指令，所述指令由处理器1201来控制执行以实现上述实施例所示的视频自适应方法。
在具体实现中，作为一种实施例，处理器1201可以包括一个或多个CPU，例如图12中的CPU0和CPU1。
在具体实现中，作为一种实施例，电子设备1200可以包括多个处理器，例如图12中的处理器1201和处理器1208。这些处理器中的每一个可以是一个单核(single-CPU)处理器，也可以是一个多核(multi-CPU)处理器。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (22)

1.一种视频自适应方法，其特征在于，包括：
接收视频接收设备发送的指示信息，所述指示信息用于指示所述视频接收设备的图像超分辨率能力；
若所述指示信息指示所述视频接收设备的图像超分辨率能力已开启，则获取与所述指示信息对应的目标帧率和目标分辨率的视频；
将具有所述目标帧率和所述目标分辨率的视频发送给所述视频接收设备。
2.根据权利要求1所述的方法，其特征在于，所述获取与所述指示信息对应的目标帧率和目标分辨率的视频包括：
获取与网络状态相适配的编码码率；
获取与所述编码码率对应的编码帧率；
获取与所述指示信息对应的预设帧率；
若所述编码帧率小于所述预设帧率，则确定所述目标帧率为所述预设帧率；
若所述编码帧率大于或等于所述预设帧率，则确定所述目标帧率为所述编码帧率；
根据所述目标帧率确定所述目标分辨率；
获取具有所述目标帧率和所述目标分辨率的视频。
3.根据权利要求2所述的方法，其特征在于，所述指示信息用于指示所述视频接收设备所支持的所述图像超分辨率的倍率，所述方法还包括：
根据所述指示信息配置所述预设帧率，且所述预设帧率的大小与所述视频接收设备所支持的所述图像超分辨率的倍率对应。
4.根据权利要求2或3所述的方法，其特征在于，若所述目标帧率为所述预设帧率，则所述获取与所述指示信息对应的目标帧率和目标分辨率的视频包括：
根据所述编码码率和所述目标帧率确定平均单帧大小，所述平均单帧大小为每一视频帧所包括的字节数；
确定与所述平均单帧大小对应的分辨率为所述目标分辨率；
获取具有所述目标帧率和所述目标分辨率的视频。
5.根据权利要求1所述的方法，其特征在于，所述获取与所述指示信息对应的目标帧率和目标分辨率的视频包括：
获取与所述指示信息对应的第一对应关系以及第二对应关系，所述第一对应关系包括不同的码率范围与不同的分辨率的对应关系，所述第二对应关系包括不同的分辨率与不同的平均单帧大小的对应关系；
获取与网络状态相适配的编码码率；
根据所述第一对应关系，确定与所述编码码率对应的分辨率为所述目标分辨率；
根据所述第二对应关系，确定与所述目标分辨率对应的平均单帧大小为目标平均单帧大小；
根据所述目标平均单帧大小和所述编码码率确定所述目标帧率；
获取具有所述目标帧率和所述目标分辨率的视频。
6.根据权利要求1至5任一项所述的方法，其特征在于，所述指示信息还用于指示所述视频接收设备支持的所述图像超分辨率的倍率，所述方法还包括：
若确定所述指示信息所指示的倍率大于1，则触发执行所述获取与所述指示信息对应的目标帧率和目标分辨率的视频的步骤。
7.根据权利要求1至6任一项所述的方法，其特征在于，所述接收视频接收设备发送的指示信息包括：
在媒体协商过程中接收所述视频接收设备发送的所述指示信息。
8.一种视频自适应方法，其特征在于，包括：
向视频发送设备发送指示信息，所述指示信息用于指示视频接收设备的图像超分辨率能力；
若所述指示信息指示所述视频接收设备的图像超分辨率能力已开启，则接收所述视频发送设备发送具有目标帧率和目标分辨率的视频，所述目标帧率和所述目标分辨率与所述指示信息对应。
9.根据权利要求8所述的方法，其特征在于，所述向视频发送设备发送指示信息之前，所述方法还包括：
获取所述视频接收设备所支持的所述图像超分辨率的倍率；
生成所述指示信息，且所述指示信息用于指示所述视频接收设备所支持的所述图像超分辨率的倍率。
10.根据权利要求8或9所述的方法，其特征在于，所述向视频发送设备发送指示信息包括：
在媒体协商过程中向所述视频发送设备发送指示信息。
11.一种视频发送设备，其特征在于，包括：
接收单元，用于接收视频接收设备发送的指示信息，所述指示信息用于指示所述视频接收设备的图像超分辨率能力；
获取单元，用于若所述接收单元所接收到的所述指示信息指示所述视频接收设备的图像超分辨率能力已开启，则获取与所述指示信息对应的目标帧率和目标分辨率的视频；
发送单元，用于将具有所述目标帧率和所述目标分辨率的视频发送给所述视频接收设备。
12.根据权利要求11所述的视频发送设备，其特征在于，所述获取单元包括：
第一获取模块，用于获取与网络状态相适配的编码码率；
第二获取模块，用于获取与所述编码码率对应的编码帧率；
第三获取模块，用于获取与所述指示信息对应的预设帧率；
第四获取模块，用于若所述编码帧率小于所述预设帧率，则确定所述目标帧率为所述预设帧率；
第五获取模块，用于若所述编码帧率大于或等于所述预设帧率，则确定所述目标帧率为所述编码帧率；
第六获取模块，用于根据所述目标帧率确定所述目标分辨率；
第七获取模块，用于获取具有所述目标帧率和所述目标分辨率的视频。
13.根据权利要求12所述的视频发送设备，其特征在于，所述视频发送设备还包括：
配置单元，若所述指示信息用于指示所述视频接收设备所支持的所述图像超分辨率的倍率，则所述配置单元用于根据所述指示信息配置所述预设帧率，且所述预设帧率的大小与所述视频接收设备所支持的所述图像超分辨率的倍率对应。
14.根据权利要求12或13所述的视频发送设备，其特征在于，所述第六获取模块具体用于，若所述目标帧率为所述预设帧率，则根据所述编码码率和所述目标帧率确定平均单帧大小，所述平均单帧大小为每一视频帧所包括的字节数，并用于确定与所述平均单帧大小对应的分辨率为所述目标分辨率。
15.根据权利要求11所述的视频发送设备，其特征在于，所述获取单元包括：
第八获取模块，用于获取与所述指示信息对应的第一对应关系以及第二对应关系，所述第一对应关系包括不同的码率范围与不同的分辨率的对应关系，所述第二对应关系包括不同的分辨率与不同的平均单帧大小的对应关系；
第九获取模块，用于获取与网络状态相适配的编码码率；
第十获取模块，用于根据所述第一对应关系，确定与所述编码码率对应的分辨率为所述目标分辨率；
第十一获取模块，用于根据所述第二对应关系，确定与所述目标分辨率对应的平均单帧大小为目标平均单帧大小；
第十二获取模块，用于根据所述目标平均单帧大小和所述编码码率确定所述目标帧率；
第十三获取模块，用于获取具有所述目标帧率和所述目标分辨率的视频。
16.根据权利要求11至15任一项所述的视频发送设备，其特征在于，
在所述指示信息还用于指示所述视频接收设备支持的所述图像超分辨率的倍率，则所述获取单元还用于，在确定所述指示信息所指示的倍率大于1的情况下，触发执行获取与所述指示信息对应的目标帧率和目标分辨率的视频的步骤。
17.根据权利要求11至16任一项所述的视频发送设备，其特征在于，所述接收单元还用于，在媒体协商过程中接收所述视频接收设备发送的所述指示信息。
18.一种视频接收设备，其特征在于，包括：
发送单元，用于向视频发送设备发送指示信息，所述指示信息用于指示视频接收设备的图像超分辨率能力；
接收单元，若所述指示信息指示所述视频接收设备的图像超分辨率能力已开启，则用于接收所述视频发送设备发送具有目标帧率和目标分辨率的视频，所述目标帧率和所述目标分辨率与所述指示信息对应。
19.根据权利要求18所述的视频接收设备，其特征在于，所述视频接收设备具体包括：
获取单元，用于获取所述视频接收设备所支持的所述图像超分辨率的倍率；
生成单元，用于生成所述指示信息，且所述指示信息用于指示所述视频接收设备所支持的所述图像超分辨率的倍率。
20.根据权利要求18或19所述的视频接收设备，其特征在于，所述发送单元具体用于，在媒体协商过程中向所述视频发送设备发送指示信息。
21.一种电子设备，其特征在于，包括：
一个或多个处理器、存储器、通信总线、以及一个或多个程序，所述处理器和所述存储器通过所述通信总线相连；
其中所述一个或多个程序被存储在所述存储器中，所述一个或多个程序包括指令，所述指令当被所述电子设备执行时使所述电子设备执行如权利要求1至7任一项所述的方法，或所述指令当被所述电子设备执行时使所述电子设备执行如权利要求8至10任一项所述的方法。
22.一种存储一个或多个程序的计算机可读存储介质，其特征在于，所述一个或多个程序包括指令，所述指令当被电子设备执行时使所述电子设备执行如权利要求1至7任一项所述的方法，或，所述指令当被电子设备执行时使所述电子设备执行如权利要求8至10任一项所述的方法。
CN201811306037.1A 2018-11-02 2018-11-02 一种视频自适应方法、相关设备以及存储介质 Active CN111147893B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201811306037.1A CN111147893B (zh) 2018-11-02 2018-11-02 一种视频自适应方法、相关设备以及存储介质
CN202111090151.7A CN114007107A (zh) 2018-11-02 2018-11-02 一种视频自适应方法、相关设备以及存储介质
EP19878259.1A EP3866474B1 (en) 2018-11-02 2019-09-09 Video self-adaptation method, related device and storage medium
PCT/CN2019/104925 WO2020088103A1 (zh) 2018-11-02 2019-09-09 一种视频自适应方法、相关设备以及存储介质
US17/245,197 US11509860B2 (en) 2018-11-02 2021-04-30 Video adaptation method, related device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811306037.1A CN111147893B (zh) 2018-11-02 2018-11-02 一种视频自适应方法、相关设备以及存储介质

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202111090151.7A Division CN114007107A (zh) 2018-11-02 2018-11-02 一种视频自适应方法、相关设备以及存储介质

Publications (2)

Publication Number Publication Date
CN111147893A true CN111147893A (zh) 2020-05-12
CN111147893B CN111147893B (zh) 2021-10-22

Family

ID=70463423

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201811306037.1A Active CN111147893B (zh) 2018-11-02 2018-11-02 一种视频自适应方法、相关设备以及存储介质
CN202111090151.7A Pending CN114007107A (zh) 2018-11-02 2018-11-02 一种视频自适应方法、相关设备以及存储介质

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202111090151.7A Pending CN114007107A (zh) 2018-11-02 2018-11-02 一种视频自适应方法、相关设备以及存储介质

Country Status (4)

Country Link
US (1) US11509860B2 (zh)
EP (1) EP3866474B1 (zh)
CN (2) CN111147893B (zh)
WO (1) WO2020088103A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111787262A (zh) * 2020-07-10 2020-10-16 上海茂声智能科技有限公司 一种局域网音视频通话方法、系统、设备以及存储介质
CN111954001A (zh) * 2020-07-31 2020-11-17 西安万像电子科技有限公司 图像编码方法、装置、编码端设备及存储介质
CN112367462A (zh) * 2020-10-29 2021-02-12 北京达佳互联信息技术有限公司 拍摄方法、装置、电子设备及存储介质
CN112702558A (zh) * 2020-12-23 2021-04-23 联想(北京)有限公司 一种数据处理方法及装置
CN113411340A (zh) * 2021-06-22 2021-09-17 中国农业银行股份有限公司 视频处理方法、装置、电子设备、存储介质和程序产品
CN114584805A (zh) * 2020-11-30 2022-06-03 华为技术有限公司 视频传输方法、服务器、终端和视频传输系统
WO2022135093A1 (zh) * 2020-12-25 2022-06-30 北京字节跳动网络技术有限公司 画面显示方法、装置及电子设备
CN114900717A (zh) * 2022-05-13 2022-08-12 杭州网易智企科技有限公司 视频数据传输方法、装置、介质和计算设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101646033A (zh) * 2008-08-04 2010-02-10 株式会社东芝 图像处理装置和图像处理方法
CN101662606A (zh) * 2008-08-29 2010-03-03 株式会社东芝 视频显示装置和视频显示方法
CN103491388A (zh) * 2012-06-11 2014-01-01 株式会社东芝 视频发送器和视频接收器
WO2015053352A1 (ja) * 2013-10-10 2015-04-16 シャープ株式会社 表示装置及び超解像処理方法
CN107133919A (zh) * 2017-05-16 2017-09-05 西安电子科技大学 基于深度学习的时间维视频超分辨率方法
CN107358576A (zh) * 2017-06-24 2017-11-17 天津大学 基于卷积神经网络的深度图超分辨率重建方法
US20180109782A1 (en) * 2012-06-28 2018-04-19 Fotonation Cayman Limited Systems and Methods for Detecting Defective Camera Arrays and Optic Arrays
CN108495128A (zh) * 2018-03-09 2018-09-04 罗雷 基于超分辨率重建技术的视频传输系统及传输方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6538686B2 (en) * 2000-01-07 2003-03-25 Minolta Co., Ltd. Method for transmitting image data and communication terminal
JP2009081753A (ja) * 2007-09-27 2009-04-16 Hitachi Ltd 無線通信システム、送信機及び受信機
JP2010041336A (ja) * 2008-08-04 2010-02-18 Toshiba Corp 画像処理装置、および画像処理方法
US20110164676A1 (en) * 2008-09-26 2011-07-07 Kazunori Ozawa Distribution server, distribution system, method, and program
CN102137248B (zh) * 2010-01-21 2015-05-20 腾讯科技（深圳）有限公司 视频分辨率的切换方法及装置、终端及切换系统
CN101945278B (zh) * 2010-09-15 2012-07-25 中国科学院深圳先进技术研究院 视频自适应转码方法和系统
US8908007B2 (en) * 2011-07-15 2014-12-09 Panasonic Corporation Transmission device and transmission method
CN104144313B (zh) * 2013-05-10 2018-01-23 中国电信股份有限公司 视频通信方法、系统与云端图像服务器
CN103561279B (zh) * 2013-10-10 2017-02-01 中兴通讯股份有限公司 一种多媒体文件播放的方法、系统及云转码服务设备
EP2884743A1 (en) * 2013-12-12 2015-06-17 Alcatel Lucent Process for managing the exchanges of video streams between users of a video conference service
US10771736B2 (en) * 2014-06-30 2020-09-08 Microsoft Technology Licensing, Llc Compositing and transmitting contextual information during an audio or video call
CN104702976A (zh) * 2015-02-10 2015-06-10 深圳创维数字技术有限公司 一种视频播放方法及设备
CN105306963B (zh) * 2015-10-20 2019-10-08 努比亚技术有限公司 自适应移动终端分辨率的视频处理系统、装置和方法
CN105657321A (zh) * 2015-11-09 2016-06-08 乐视致新电子科技（天津）有限公司 视频清晰度自适应调节方法、装置及终端
CN106791927A (zh) * 2016-12-23 2017-05-31 福建帝视信息科技有限公司 一种基于深度学习的视频增强与传输方法
US20190045248A1 (en) * 2018-05-31 2019-02-07 Intel Corporation Super resolution identifier mechanism
US11463757B2 (en) * 2018-09-27 2022-10-04 Intel Corporation Media streaming for receiver-enabled resolution

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101646033A (zh) * 2008-08-04 2010-02-10 株式会社东芝 图像处理装置和图像处理方法
CN101662606A (zh) * 2008-08-29 2010-03-03 株式会社东芝 视频显示装置和视频显示方法
CN103491388A (zh) * 2012-06-11 2014-01-01 株式会社东芝 视频发送器和视频接收器
US20180109782A1 (en) * 2012-06-28 2018-04-19 Fotonation Cayman Limited Systems and Methods for Detecting Defective Camera Arrays and Optic Arrays
WO2015053352A1 (ja) * 2013-10-10 2015-04-16 シャープ株式会社 表示装置及び超解像処理方法
CN107133919A (zh) * 2017-05-16 2017-09-05 西安电子科技大学 基于深度学习的时间维视频超分辨率方法
CN107358576A (zh) * 2017-06-24 2017-11-17 天津大学 基于卷积神经网络的深度图超分辨率重建方法
CN108495128A (zh) * 2018-03-09 2018-09-04 罗雷 基于超分辨率重建技术的视频传输系统及传输方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
苏衡等: "《超分辨率图像重建方法综述》", 《自动化学报》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111787262A (zh) * 2020-07-10 2020-10-16 上海茂声智能科技有限公司 一种局域网音视频通话方法、系统、设备以及存储介质
CN111787262B (zh) * 2020-07-10 2022-09-23 上海茂声智能科技有限公司 一种局域网音视频通话方法、系统、设备以及存储介质
CN111954001A (zh) * 2020-07-31 2020-11-17 西安万像电子科技有限公司 图像编码方法、装置、编码端设备及存储介质
CN112367462A (zh) * 2020-10-29 2021-02-12 北京达佳互联信息技术有限公司 拍摄方法、装置、电子设备及存储介质
CN112367462B (zh) * 2020-10-29 2022-04-22 北京达佳互联信息技术有限公司 拍摄方法、装置、电子设备及存储介质
CN114584805A (zh) * 2020-11-30 2022-06-03 华为技术有限公司 视频传输方法、服务器、终端和视频传输系统
CN112702558A (zh) * 2020-12-23 2021-04-23 联想(北京)有限公司 一种数据处理方法及装置
WO2022135093A1 (zh) * 2020-12-25 2022-06-30 北京字节跳动网络技术有限公司 画面显示方法、装置及电子设备
CN113411340A (zh) * 2021-06-22 2021-09-17 中国农业银行股份有限公司 视频处理方法、装置、电子设备、存储介质和程序产品
CN114900717A (zh) * 2022-05-13 2022-08-12 杭州网易智企科技有限公司 视频数据传输方法、装置、介质和计算设备
CN114900717B (zh) * 2022-05-13 2023-09-26 杭州网易智企科技有限公司 视频数据传输方法、装置、介质和计算设备

Also Published As

Publication number Publication date
WO2020088103A1 (zh) 2020-05-07
EP3866474B1 (en) 2024-02-07
EP3866474A4 (en) 2021-10-13
US20210250547A1 (en) 2021-08-12
CN114007107A (zh) 2022-02-01
US11509860B2 (en) 2022-11-22
EP3866474A1 (en) 2021-08-18
CN111147893B (zh) 2021-10-22

Similar Documents

Publication Publication Date Title
CN111147893B (zh) 一种视频自适应方法、相关设备以及存储介质
CN107743698B (zh) 用于多路径媒体传递的方法和装置
TWI630825B (zh) 互動式視訊會議
JP5043132B2 (ja) 通信システムにおけるデータ伝送方法
CN105763832B (zh) 一种视频互动、控制方法及装置
US9538134B2 (en) Method and system for resource load balancing in a conferencing session
US9094527B2 (en) Seamlessly transferring a communication
JP2009506611A (ja) マルチメディア・ストリームにおいてデバイスが非同期を実行するように又は同期遅延を含むように装置に信号通知するための方法
CN103348657B (zh) 流媒体播放方法、设备及系统
WO2011088656A1 (zh) 一种移动终端实现可视电话三方通话的方法及系统
US10645128B2 (en) Media session processing method, related device, and communications system
CN115209189B (zh) 一种视频流传输方法、系统、服务器及存储介质
KR20160029498A (ko) 영상 스트림 제공 방법 및 시스템과 중계 장치
WO2021196860A1 (zh) 视频传输方法、系统、相关设备及存储介质
EP2884743A1 (en) Process for managing the exchanges of video streams between users of a video conference service
KR20170071251A (ko) 회의 서비스를 제공하는 다중 접속 제어 장치
CN108353035B (zh) 用于多路复用数据的方法和设备
WO2022007619A1 (zh) 视频传输方法、设备、系统及存储介质
CN111404908B (zh) 数据交互方法、装置、电子设备及可读存储介质
WO2021144139A1 (en) Method, apparatus and computer program product providing for signaling of viewport orientation timing in panoramic video delivery

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant