CN113038289A - 发送和接收视频数据方法、终端设备和服务器 - Google Patents

发送和接收视频数据方法、终端设备和服务器 Download PDF

Info

Publication number
CN113038289A
CN113038289A CN202110292268.7A CN202110292268A CN113038289A CN 113038289 A CN113038289 A CN 113038289A CN 202110292268 A CN202110292268 A CN 202110292268A CN 113038289 A CN113038289 A CN 113038289A
Authority
CN
China
Prior art keywords
video data
data stream
information
multicast
layer video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110292268.7A
Other languages
English (en)
Inventor
杨振新
姜春苗
胡波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung China Semiconductor Co Ltd
Samsung Electronics Co Ltd
Original Assignee
Samsung China Semiconductor Co Ltd
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung China Semiconductor Co Ltd, Samsung Electronics Co Ltd filed Critical Samsung China Semiconductor Co Ltd
Priority to CN202110292268.7A priority Critical patent/CN113038289A/zh
Priority to US17/222,205 priority patent/US20220303620A1/en
Publication of CN113038289A publication Critical patent/CN113038289A/zh
Priority to KR1020210093144A priority patent/KR20220130553A/ko
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/64—Addressing
    • H04N21/6405—Multicasting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605—Creation or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H04N21/23655—Statistical multiplexing, e.g. by controlling the encoder to alter its bitrate to optimize the bandwidth utilization
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440227—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/631—Multimode Transmission, e.g. transmitting basic layers and enhancement layers of the content over different transmission paths or transmitting with different error corrections, different keys or with different transmission protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors

Abstract

提供了一种发送和接收视频数据方法、终端设备和服务器，服务器将原始视频数据分层后形成的多个视频数据流，在指定的视频数据流中嵌入包含有视频数据流的特性信息的扩展信息，将多个视频数据流分别传入对应的通道进行发送。终端设备中的组播预测模型能够基于特性信息和当前播放视频的用户体验信息输出组播接入策略，之后基于组播接入策略调整当前接入的组播组合，获得当前的网络传输环境下较优的组播组合，获得当前的网络传输环境下较优的组播组合，以接收相应数量和质量的视频数据流。服务器和终端设备所执行的上述方法可以在不增加带宽消耗的前提下实现了对网络拥塞的控制。

Description

发送和接收视频数据方法、终端设备和服务器
技术领域
本发明涉及视频传输技术领域，更具体地讲，涉及一种发送和接收视频数据方法的装置、终端设备和服务器。
背景技术
组播是一种允许一个或多个发送者(组播源)发送单一的数据包到多个接收者的网络技术，是一种节约网络带宽、降低网络负载的有效手段。组播源(如服务器)把数据包发送到特定组播组，而只有属于该组播组的地址的接收方(如终端设备)才能接收到数据包。
现有的组播技术包括单视频流组播、多视频流重复组播和分层视频组播。其中，对于单视频流组播技术，每个接收方(如终端设备)只能获得相同质量(如分辨率)的视频，视频质量的选择场景比较单一。对于多视频流重复组播技术，其可以针对同一原始视频的不同质量(如不同分辨率)的片源在不同的信道传输，这会导致相同视频重复占用有限的网络带宽，容易造成较大的网络传输带宽，导致流量增加，另外，冗余信息处理也会造成计算资源浪费。对于分层视频组播技术，接收方(如终端设备)需要定期地加入和离开组播组来适应网络状态的变化，会出现组播路由和接收方速率自适应的负担过重、整体视频接收质量不稳定的问题。而且，现有的分层视频组播技术无法覆盖较多的应用场景，并且对网络拥塞(特别是网络内部的短暂拥塞)响应缓慢。
发明内容
本发明针对现有技术的不足，提供了一种发送和接收视频数据方法、终端设备和服务器。
根据本发明的一方面，提供了一种发送视频数据的方法，包括：将原始视频分层成多个视频数据流；在多个视频数据流中的至少一个视频数据流的至少一个数据包中嵌入扩展信息，其中，扩展信息包含有预设的视频数据流的特性信息；将多个视频数据流分别传入对应的通道进行发送。
如上所述，将原始视频分层成多个视频数据流，可以通过对应通道分层传输数据给到组播地址，不同视频数据流的数据之间是相互独立的，相比于现有技术的多视频流重复组播方案相比，不会增加输出传输的总带宽，分层视频组播的网络带宽利用效率大大提高了。另外，通过嵌入扩展信息(特性信息)可以便于接收端据此分析预测组播接入策略。
在本发明的一种实施方式中，将原始视频分层成多个视频数据流的步骤包括：将原始视频分层成基础层视频数据流和一个或多个增强层视频数据流，所述在所述多个视频数据流中的至少一个视频数据流的至少一个数据包中嵌入扩展信息的步骤包括：至少在所述基础层视频数据流的至少一个数据包中嵌入扩展信息。
如上所述，基础层视频数据流可以提供基本的视频质量，并且可独立解码，而增强层视频数据流则需要与基础层视频数据流一起才可解码，以实现视频质量的增强。基于此，将扩展信息嵌入基础层视频数据流，使得接收端在仅接收到基础层视频数据流的情况下，也可以解析获取到所述特征信息。
在本发明的一种实施方式中，至少在所述基础层视频数据流的至少一个数据包中嵌入扩展信息的步骤包括：在所述基础层视频数据流的至少一个数据包中嵌入扩展信息，所述扩展信息包括所述基础层视频数据流的特性信息、以及至少一个增强层视频数据流的特性信息。
如上所述，基础层视频数据流中嵌入增强层视频数据流的特征信息，可使得接收端仅解码基础层视频数据流，即可获取到增强层视频数据流的特征信息，从而使得特征信息的获取便捷高效。
在本发明的一种实施方式中，至少在所述基础层视频数据流的至少一个数据包中嵌入扩展信息的步骤包括：在所述基础层视频数据流的至少一个数据包中嵌入扩展信息，所述扩展信息包括所述基础层视频数据流的特性信息、以及与所述基础层视频数据流相邻的增强层视频数据流的特性信息；以及在每个增强层视频数据流的至少一个数据包中嵌入扩展信息，所述扩展信息包括：该增强层视频数据流本身的特性信息、以及与该增强层视频数据流相邻的视频数据流的特性信息。
如上所述，在基础层视频数据流以及每个增强层视频数据流中都嵌入扩展信息，既可以单独解码基础层视频数据流获取所述特征信息，也可以将增强层视频数据流与基础层视频数据流一起解码，获取所述特征信息，为接收端获取所述特征信息的方式提供了新的选择。
在本发明的一种实施方式中，每个视频数据流的特性信息包括以下至少一种类型：该视频数据流的发送速率、该视频数据流的数据量与基础层视频数据流的数据量的比值、该视频数据流的数据量与其余的视频数据流的数据量之和的比值。
如上所述，所述视频数据流的特性信息，可用作预先训练组播预测模型的训练数据；也可在实施阶段发送至接收端，以使得接收端基于所述组播预测模型预测组播策略。
在本发明的一种实施方式中，扩展信息还包括以下至少一项：用于表征数据包嵌有扩展信息的第一标识、扩展信息所包含的特性信息对应的视频数据流的数量、扩展信息中特性信息的类型数量、扩展信息的嵌入方式。
如上所述，上述扩展信息中的任一项都是对原始分层编码传输(LCT，LayeredCoding Transport)协议的扩展，通过上述扩展信息可以便于接收端解码得到特征信息。
上述发送视频数据的方法可运行于服务端，通过将原始视频分层成一个基础层视频数据流及若干增强层视频数据流。这些分层的视频流中可嵌入特征信息，然后通过不同的通道发送至对应的组播中，从而为接收端提供了可利用的预测数据，以便于接收端基于组播预测模型制定组播接入策略。
根据本发明的另一方面，提供了一种接收视频数据的方法，包括：接收与当前接入的组播组合对应的视频数据流，其中，所述对应的视频数据流中的至少一个视频数据流的至少一个数据包中嵌有扩展信息，扩展信息包含有预设的视频数据流的特性信息；从扩展信息中提取特性信息；基于当前播放的视频获取所述视频的体验质量信息；基于提取的特性信息和体验质量信息，利用组播预测模型，获得组播接入策略；基于组播接入策略，对当前接入的组播组合进行调整。
如上所述，接收视频数据的方法可执行于接收端(例如，终端)，通过接收视频数据流获取特征信息，结合对所述视频的体验质量信息，利用组播预测模型，获取组播接入策略，从而能够更精准的指导执行加入/离开动作，做到加入、退出组播的最优化处理，大大较少了一些无谓的加入/退出试错动作，不仅仅节约了终端的计算资源，同时也减少了每次加入/退出对上层路由的压力。这样，在不增加带宽消耗的情况下实现了接收端驱动的分层拥塞控制，提升用户体验；另一方面，由于组播预测模型的精确性及鲁棒性，从技术实现原理上，规避了现有技术试错动作逻辑判断分支覆盖不够精准，从而导致的分层视频组播技术无法覆盖较多的应用场景的问题。
在本发明的一种实施方式中，所述对应的视频数据流包括基础层视频数据流；或者，所述对应的视频数据流包括基础层视频流和一个或多个增强层视频数据流；其中，至少所述基础层视频数据流的至少一个数据包中嵌入有扩展信息。
如上所述，基础层视频数据流可以提供基本的视频质量，并且可独立解码，而增强层视频数据流则需要与基础层视频数据流一起才可解码，以实现视频质量的增强。基于此，将扩展信息嵌入基础层视频数据流，使得接收端在仅接收到基础层视频数据流的情况下，也可以解析获取到所述特征信息。
在本发明的一种实施方式中，所述基础层视频数据流的至少一个数据包中嵌入有扩展信息，所述扩展信息包括嵌入有基础层视频数据流的特性信息、以及至少一个增强层视频数据流的特性信息。
如上所述，基础层视频数据流中嵌入增强层视频数据流的特征信息，可使得接收端仅解码基础层视频数据流，即可获取到增强层视频数据流的特征信息，从而使得特征信息的获取便捷高效。
在本发明的一种实施方式中，所述基础层视频数据流的至少一个数据包中嵌入有扩展信息，所述扩展信息包括：所述基础层视频数据流的特性信息、以及与基础层视频数据流相邻的增强层视频数据流的特性信息；以及所述一个或多个增强层视频流中的每个增强层视频数据流的至少一个数据包中嵌入有扩展信息，所述扩展信息包括：该增强层视频数据流本身的特性信息、以及与该增强层视频数据流相邻的视频数据流的特性信息。
如上所述，在基础层视频数据流以及每个增强层视频数据流中都嵌入扩展信息，既可以单独解码基础层视频数据流获取所述特征信息，也可以将增强层视频数据流与基础层视频数据流一起解码，获取所述特征信息，为接收端获取所述特征信息的方式提供了新的选择。
在本发明的一种实施方式中，从扩展信息中提取的特性信包括以下至少一种类型：视频数据流的发送速率、视频数据流的数据量与基础层视频数据流的数据量的比值、视频数据流的数据量与其余的视频数据流的数据量之和的比值。
如上所述，所述视频数据流的特性信息，可用于接收端基于所述组播预测模型预测组播策略。
在本发明的一种实施方式中，扩展信息还包括以下至少一项：用于表征数据包嵌有扩展信息的第一标识、扩展信息所包含的特性信息对应的视频数据流的数量、扩展信息中特性信息的类型数量、扩展信息的嵌入方式。
如上所述，上述扩展信息中的任一项都是对原始LCT协议的扩展，通过上述扩展信息可便于接收端解码得到特征信息。
在本发明的一种实施方式中，调整终端设备接入的组播组合的步骤包括以下任意一个步骤：新接入终端设备当前接入的组播组合以外的至少一个组播；退出终端设备当前接入的组播组合中的至少一个组播；维持终端设备当前接入的组播组合不变。
如上所述，基于组播预测模型预测得出的组播接入策略，通过上述调整步骤，可实现对接收端当前的组播组合进行调整。
在本发明的一种实施方式中，体验质量信息包括以下至少一种类型：抖动持续时间、平均编解码比特率、帧速率偏差。
如上所述，用户可基于这些指标给出反馈，以确定可量化的体验质量信息，以便于组播预测模型实施预测。
在本发明的一种实施方式中，组播预测模型通过基于提取的特性信息和体验质量信息以及组播接入策略被重新训练以被更新。
如上所述，在接收到足够数据量(例如，一个周期的数据)后，基于反馈机制的动态模型更新策略，可使得组播预测模型更加精准。
根据本发明的另一方面，提供了一种视频数据的发送装置，包括视频分层模块、信息嵌入模块和视频传输模块。视频分层模块被配置为：将原始视频分层成多个视频数据流；信息嵌入模块被配置为：在多个视频数据流中的至少一个视频数据流的至少一个数据包中嵌入扩展信息，其中，扩展信息包含有预设的视频数据流的特性信息；视频传输模块被配置为：将多个视频数据流分别传入对应的通道进行发送。
在本发明的一种实施方式中，所述视频分层模块被配置为：将原始视频分层成基础层视频数据流和一个或多个增强层视频数据流，所述信息嵌入模块被配置为：至少在所述基础层视频数据流的至少一个数据包中嵌入扩展信息。
在本发明的一种实施方式中，所述信息嵌入模块被配置为：在所述基础层视频数据流的至少一个数据包中嵌入扩展信息，所述扩展信息，包括所述基础层视频数据流的特性信息、以及至少一个增强层视频数据流的特性信息。
在本发明的一种实施方式中，所述信息嵌入模块被配置为：在所述基础层视频数据流的至少一个数据包中嵌入扩展信息，所述扩展信息包括所述基础层视频数据流的特性信息、以及与所述基础层视频数据流相邻的增强层视频数据流的特性信息；以及在每个增强层视频数据流的至少一个数据包中，嵌入扩展信息，所述扩展信息包括：该增强层视频数据流本身的特性信息、以及与该增强层视频数据流相邻的视频数据流的特性信息。
在本发明的一种实施方式中，每个视频数据流的特性信息包括以下至少一种类型：该视频数据流的发送速率、该视频数据流的数据量与基础层视频数据流的数据量的比值、该视频数据流的数据量与其余的视频数据流的数据量之和的比值。
在本发明的一种实施方式中，扩展信息还包括以下至少一项：用于表征数据包嵌有扩展信息的第一标识、扩展信息所包含的特性信息对应的视频数据流的数量、扩展信息中特性信息的类型数量、扩展信息的嵌入方式。
根据本发明的另一方面，提供了一种视频数据的接收装置，包括：视频接收模块，被配置为：接收与当前接入的组播组合对应的视频数据流，其中，所述对应的视频数据流中的至少一个视频数据流的至少一个数据包中嵌有扩展信息，扩展信息包含有预设的视频数据流的特性信息；第一提取模块，被配置为：从扩展信息中提取特性信息；第二提取模块，被配置为：基于当前播放的视频获取所述视频的体验质量信息；策略输出模块，被配置为：基于提取的特性信息和体验质量信息，利用组播预测模型，获得组播接入策略；组播调整模块，被配置为：基于组播接入策略，对当前接入的组播组合进行调整。
在本发明的一种实施方式中，所述多个视频数据流包括基础层视频数据流；或者所述对应的视频数据流包括基础层视频流和一个或多个增强层视频数据流；其中，至少在所述基础层视频数据流的至少一个数据包中嵌入有扩展信息。
在本发明的一种实施方式中，所述基础层视频数据流的至少一个数据包中嵌入有扩展信息，所述基础层视频数据流的特性信息、以及至少一个增强层视频数据流的特性信息。
在本发明的一种实施方式中，所述基础层视频数据流的至少一个数据包中嵌入有所述基础层视频数据流的特性信息、以及与所述基础层视频数据流相邻的增强层视频数据流的特性信息；以及所述一个或多个增强层视频流中的每个增强层视频数据流的至少一个数据包中嵌入有扩展信息，所述扩展信息包括：该增强层视频数据流本身的特性信息、以及与该增强层视频数据流相邻的视频数据流的特性信息。
在本发明的一种实施方式中，从扩展信息中提取的特性信包括以下至少一种类型：该视频数据流的发送速率、该视频数据流的数据量与基础层视频数据流的数据量的比值、该视频数据流的数据量与其余的视频数据流的数据量之和的比值。
在本发明的一种实施方式中，扩展信息还包括以下至少一项：用于表征数据包嵌有扩展信息的第一标识、扩展信息所包含的特性信息对应的视频数据流的数量、扩展信息中特性信息的类型数量、扩展信息的嵌入方式。
在本发明的一种实施方式中，组播调整模块被配置为执行以下步骤中的任意一个步骤：新接入终端设备当前接入的组播组合以外的至少一个组播；退出终端设备当前接入的组播组合中的至少一个组播；维持终端设备当前接入的组播组合不变。
在本发明的一种实施方式中，体验质量信息包括以下至少一种类型：抖动持续时间、平均编解码比特率、帧速率偏差。
在本发明的一种实施方式中，所述装置还包括模型更新模块，模型更新模块被配置为：组播预测模型通过基于提取的特性信息和体验质量信息以及组播接入策略被重新训练以被更新。
根据本发明的另一方面，提供了一种包括至少一个处理器和至少一个存储指令的存储器的服务器，其中，指令在被至少一个处理器运行时，促使至少一个处理器执行上述的发送视频数据的方法。
根据本发明的另一方面，提供了一种包括至少一个处理器和至少一个存储指令的存储器的终端设备，其中，指令在被至少一个处理器运行时，促使至少一个处理器执行上述的接收视频数据的方法。
根据本发明的另一方面，提供了一种存储指令的计算机可读存储介质，其中，当指令被服务器的至少一个处理器运行时，促使至少一个处理器执行上述的发送视频数据的方法。
根据本发明的另一方面，提供了一种存储指令的计算机可读存储介质，其中，当指令被至少一个处理器运行时，促使至少一个处理器执行上述的接收视频数据的方法。
本发明示例性实施例的发送和接收视频数据的方法和系统，提供了一种组播预测模型。服务器将原始视频数据分层后形成的多个视频数据流，在指定的视频数据流中嵌入包含有视频数据流的特性信息的扩展信息，将多个视频数据流分别传入对应的组播中。终端设备中的组播预测模型能够基于特性信息和当前播放视频的用户体验信息输出组播接入策略，之后基于组播接入策略调整当前接入的组播组合，获得当前的网络传输环境下较优的组播组合，以接收相应数量和质量的视频数据流。服务器和终端设备所执行的上述方法可以在不增加带宽消耗的前提下实现了对网络拥塞的控制。
而且，组播预测模型具有较好的准确性和鲁棒性，在不同的应用环境下(如不同的网络传输环境、不同的视频内容或不同的用户体验信息)均能较准确地输出对应的组播接入策略，还可以减少无意义的接入或退出组播的试错动作，从而节约终端设备的计算资源，以及减少因接入或退出组播而对上层路由造成的压力。
另外，终端设备接入不同的组播组合可以得到不同质量的视频，增加了视频质量的选择场景。
附图说明
下面将结合附图进行本发明的详细描述，本发明的上述特征和其它目的、特点和优点将会变得更加清楚，其中：
图1是本发明示例性实施例提供的发送视频数据的方法以及接收视频数据的方法的应用场景图。
图2示出了本发明示例性实施例提供的发送视频数据的方法的流程图。
图3示出了本发明示例性实施例提供的数据包中扩展信息的示意图。
图4示出了本发明示例性实施例提供的接收视频数据的方法的流程图。
图5示出了本发明示例性实施例提供的终端设备执行基于关键帧数据包触发的调整接入的组播组合的方法的示意图。
图6示出了本发明示例性实施例提供的用于训练组播预测模型的信息组与标签信息的对应关系示意图。
图7示出了本发明示例性实施例提供的视频数据的发送装置的框图。
图8示出了本发明示例性实施例提供的视频数据的接收装置的框图。
具体实施方式
以下，参照附图来详细说明本发明的实施例。其中，相同的标号始终表示相同的部件。
本发明示例性实施例提供了一种发送视频数据的方法以及一种接收视频数据的方法，其中，发送视频数据的方法可以由服务器执行，接收视频数据的方法可以由终端设备执行。上述方法可以应用在视频业务中，例如可以应用在演进型多媒体广播/多播业务(Evolved Multimedia Broadcast/Multicast Services，EMBMS)中。
图1是本发明示例性实施例提供的发送视频数据的方法以及接收视频数据的方法的应用场景图。
参照图1，服务器将原始视频数据分层形成多个视频数据流，在指定的视频数据流中嵌入包括视频数据流特性信息的扩展信息，然后将多个视频数据流分别发送至对应的组播中。终端设备中的组播预测模型能够基于视频流的特性信息和当前播放视频的用户体验信息输出组播接入策略，之后基于组播接入策略调整当前终端设备接入的组播组合，获得当前的网络传输环境下较优的组播组合，以接收相应数量和质量的视频数据流。服务器和终端设备所执行的上述方法可以在不增加带宽消耗的前提下实现了对网络拥塞的控制。
其中，所述组播接入策略，可以理解为基于视频流的特性信息和当前播放视频的用户体验信息，为终端设备制定的对所述组播组合中包括的多个组播进行优化选择的方案，所述选择包括接入、退出、或者保持。优化选择的目标使得终端设备具备良好的视频数据流接收能力，从而提升用户体验。对组播接入策略的具体细节将在下文结合图5进行描述。
所述组播预测模型，是已经训练好的机器学习模型。这里，所述机器学习模型可为基于任何可用的初始模型执行训练而获得，其中，所述初始模型可包括但不限于基于监督学习的多分类模型、支持向量机、人工神经网络模型或随机森林模型。该模型可以运行在终端设备中，可基于训练数据集进行训练，训练数据可包括视频流的特性信息、视频的用户体验信息以及相应的组播接入策略。具体训练过程将在下文描述。此外，组播预测模型具有较好的准确性和鲁棒性，在不同的应用环境下(如不同的网络传输环境、不同的视频内容或不同的用户体验信息)均能较准确地输出对应的组播接入策略，还可以减少无意义的接入或退出组播的试错动作，从而节约终端设备的计算资源，以及减少因接入或退出组播而对上层路由造成的压力。
另外，终端设备接入不同的组播组合可以得到不同质量的视频，增加了视频质量的选择场景。
下面介绍本发明示例性实施例提供的发送视频数据的方法的具体步骤。
图2示出了本发明示例性实施例提供的发送视频数据的方法的流程图。
参照图2，在步骤S110，服务器将原始视频分层成多个视频数据流。
在步骤S110中，服务器可以基于相关的视频分层技术(如分层视频组播技术)将原始视频分层成多个视频数据流，原始视频分层后形成的视频数据流的数量可以根据实际需要而定。
在此需要说明的是，多个视频数据流是可以彼此增强、且在传输时是相互独立、且彼此增强的，多个视频数据流传输占用的带宽之和就是这条路径下游的终端设备可以获得的最大速率。终端设备可以接收多个视频数据流中的至少一个视频数据流，当终端设备接收到的视频数据流的数量发生改变时，终端设备所播放的视频质量也会发生改变，例如，当终端设备接收到的视频数据流的数量增加时，终端设备所播放的视频的分辨率变高；当终端设备接收到的视频数据流的数量减少时，终端设备所播放的视频的分辨率变低。
在本发明的一种实施方式中，步骤S110可以包括：服务器将原始视频分层成基础层视频数据流和一个或多个增强层视频数据流。
基础层视频数据流可以进行独立解码，用于提供基本的视频质量，增强层视频数据流需要与基础层视频数据流一起进行解码，增强层视频数据流可以提供更高的视频质量。应当说明的是，终端设备所接收视频数据流至少包括基础层视频数据流。
终端设备仅接收基础层视频数据流时，其播放的视频具有基本的质量；终端设备接收基础层视频数据流和至少一个增强层视频数据流时，其播放的视频可以具有更高的质量，而且，随着终端设备接收的增强层视频数据流的数量的增加，其播放的视频的质量也可以随之提高。
以视频的分辨率为例，在本发明的一个实施例中，如图1所示，服务器将原始视频分层成基础层视频数据流0、增强层视频数据1、增强层视频数据2、增强层视频数据3，视频的分辨率可以分为360P、480P、720P和1080P等。
基础层视频数据流0可以提供分辨率为360P的视频质量，基础层视频数据流0与增强层视频数据流1共同提供分辨率为480P的视频质量，基础层视频数据流0、增强层视频数据流1以及增强层视频数据流2共同提供分辨率为720P的视频质量，基础层视频数据流0、增强层视频数据1、增强层视频数据2以及增强层视频数据3共同提供分辨率为1080P的视频质量。
在步骤S120，服务器在多个视频数据流中的至少一个视频数据流的至少一个数据包中嵌入扩展信息。这里，扩展信息包含有预设的视频数据流的特性信息。
可以理解，视频数据流是以数据包的形式进行传输的，每个视频数据流可以包括多个数据包，扩展信息可以嵌入在任意一个视频数据流的任意一个数据包中。可选地，用于嵌入扩展信息的视频数据流的数量以及数据包的数量可以根据实际需要而定，例如，在一个指定的视频数据流的一个或多个数据包中嵌入扩展信息，或者，分别在多个指定的视频数据流的一个或多个数据包中嵌入扩展信息。例如，仅在某一个视频数据流的第5个数据包中嵌入扩展信息，或者，在某一个视频数据流的第1个、第4个、第7个和第10个数据包中嵌入扩展信息。
在本发明的一种实施方式中，步骤S120可以包括：至少在所述基础层视频数据流的至少一个数据包中嵌入扩展信息。
如前文所述，终端设备所接收视频数据流至少包括基础层视频数据流，因此在基础层视频数据流的数据包嵌入扩展信息，可以保证每个终端设备都可以接收到扩展信息。
在本发明的一种实施方式中，步骤S120可以包括：服务器在基础层视频数据流的至少一个数据包中嵌入扩展信息，所述扩展信息包括所述基础层视频数据流的特性信息、以及至少一个增强层视频数据流的特性信息。
基础层视频数据流的数据包中所嵌入的扩展信息，可以是基础层视频数据流的特性信息、以及一部分的增强层视频数据流的特性信息；或者，可以是基础层视频数据流的特性信息、以及全部的增强层视频数据流的特性信息。
例如，基础层视频数据流0的数据包中所嵌入的扩展信息，可以包括基础层视频数据流0以及增强层视频数据流1的特性信息；或者，基础层视频数据流0的数据包中所嵌入的扩展信息，可以包括基础层视频数据流0以及增强层视频数据流1至增强层视频数据流4的特性信息。
在本发明的一种实施方式中，步骤S120可以包括：在基础层视频数据流的至少一个数据包中嵌入的扩展信息包括：基础层视频数据流的特性信息、以及与基础层视频数据流相邻增强层视频数据流的特性信息；以及在每个增强层视频数据流的至少一个数据包中嵌入的扩展信息包括：该增强层视频数据流本身的特性信息、以及与该增强层视频数据流相邻的视频数据流的特性信息。需要解释的是，所述“相邻”指的是按照对原始视频分层的逻辑顺序上的相邻。例如将一段原始视频分层成4层，具体地，包括基础层0、增强层1、增强层2以及增强层3；其中与基础层0相邻的增强层可以为增强层1，与增强层2相邻的可以为增强层1和增强层3。
作为示例，基础层视频数据流0、增强层视频数据流1、增强层视频数据流2以及增强层视频数据流3依次相邻。基础层视频数据流0的数据包中所嵌入的扩展信息，可以包括基础层视频数据流0的特性信息、以及增强层视频数据流1的特性信息；增强层视频数据流1的数据包中所嵌入的扩展信息，可以包括增强层视频数据流1的特性信息、以及基础层视频数据流0的特性信息和/或增强层视频数据流2的特性信息；增强层视频数据流2的数据包中所嵌入的扩展信息，可以包括增强层视频数据流2的特性信息、以及增强层视频数据流1和/或增强层视频数据流3的特性信息，以此类推。
在本发明的一种实施方式中，每个视频数据流的特性信息包括以下至少一种类型：该视频数据流的发送速率、该视频数据流的数据量与基础层视频数据流的数据量的比值、该视频数据流的数据量与其余的视频数据流的数据量之和的比值。
参照图1，以基础层视频数据流0为例，基础层视频数据流0的特性信息可以包括基础层视频数据流0的发送速率、基础层视频数据流0与其自身的数据量的比值(可以理解，该比值为1)、以及基础层视频数据流0与其余的视频数据流(即增强层视频数据流1至增强层视频数据流3)的数据量之和的比值。
以增强层视频数据流1为例，增强层视频数据流1的特性信息可以包括增强层视频数据流1的发送速率、增强层视频数据流1与基础层视频数据流0数据量的比值、以及增强层视频数据流1与其余的视频数据流(即基础层视频数据流0、增强层视频数据流2以及增强层视频数据流3)的数据量之和的比值。
可以理解，在嵌入有扩展信息的数据包中，一个视频数据流的特性信息可以包括以上3种类型特性信息中一个或多个。
在本发明的一种实施方式中，扩展信息还包括以下至少一项：用于表征数据包嵌有扩展信息的第一标识、扩展信息所包含的特性信息对应的视频数据流的数量、扩展信息中特性信息的类型数量、扩展信息的嵌入方式。
在此需要说明的是，在本发明实施例中，扩展信息可以嵌入数据包的包头中，扩展信息的第一标识为预设值。当数据包的包头具有第一标识时，表征该数据包嵌有扩展信息。
在本发明实施例中，一个数据包中的扩展信息可以包含至少一个视频数据流的特性信息。作为示例，当一个数据包中的扩展信息包含1个视频数据流的特性信息时，特性信息对应的视频数据流的数量为1；当一个数据包中的扩展信息包含2个视频数据流的特性信息时，特性信息对应的视频数据流的数量为2；以此类推，当一个数据包中的扩展信息包含n个视频数据流的特性信息时，特性信息对应的视频数据流的数量为n，n为正整数。
在一个数据包中的扩展信息中，每个视频数据流的特性信息的类型以及数量是相同的。如前文所述，视频数据流的特性信息的类型包括：该视频数据流的发送速率、该视频数据流的数据量与基础层视频数据流的数据量的比值、该视频数据流的数据量与其余的视频数据流的数据量之和的比值。因此，在本发明实施例中，扩展信息中特性信息的类型数量可以是1、2或3。
图3示出了本发明示例性实施例提供的数据包中扩展信息的示意图。
下面以图3为例，对扩展信息做示例性的介绍。
参照图3，Flag的值为1时代表第一标识，当Flag的值为0时，图3中的其他项均为空，表示数据包中未嵌入扩展信息。
Type的值可表示扩展信息的嵌入方式。例如，Type的值为1时，可表示第一种嵌入方式，即基础层视频数据流的数据包和每个增强层视频数据流的数据包中都分别嵌入有扩展信息；Type的值为2时，可表示第二种嵌入方式，即仅在基础层视频数据流的数据包中嵌入有扩展信息。
Layer Count的值表示扩展信息所包含的特性信息对应的视频数据流的数量。
Feature Count的值表示扩展信息中特性信息的类型数量。
Li用于区分扩展信息所包含的特性信息所对应的不同的视频数据流。如图3所示，Layer Count的值为3，则扩展信息所包含的特性信息对应的视频数据流的数量为3，L1、L2和L3分别代表3个视频数据流。
Li的值表示该Li所代表的视频数据流与扩展信息所在的视频数据流之间的关系。当Li为0时，Li所代表的视频数据流即为扩展信息所在的视频数据流；当Li为-1时，Li所代表的视频数据流为扩展信息所在的视频数据流的前一个视频数据流；当Li为1时，Li所代表的视频数据流为扩展信息所在的视频数据流的后一个数据流。
可以理解，当Li为-n时，Li所代表的视频数据流为扩展信息所在的视频数据流的前n个视频数据流；当Li为n时，Li所代表的视频数据流为扩展信息所在的视频数据流的后n个视频数据流，n为正整数。
参照图3，L2的值为0，表示增强层视频数据流2为扩展信息所在的视频数据流；L1的值为-1，表示增强层视频数据流1为增强层视频数据流2的前一个视频数据流；L3的值为1，表示增强层视频数据流3为增强层视频数据流2的后一个视频数据流。
Lenij的值表示Li所代表的视频数据流的第j个特性信息的字节长度。其中，i和j均为正整数。
参照图3，例如，Len11的值为增强层视频数据流1的发送速率这一信息的字节长度。
Fij的值表示Li所代表的视频数据流的第j个特性信息的数值。其中，i和j均为正整数。
参照图3，例如，F11的值为增强层视频数据流1的发送速率的数值。
在步骤S130，服务器将多个视频数据流分别传入对应的通道进行发送。
可以理解，视频数据流与组播一一对应，服务器以预设的通信协议，通过对应的通道将每个视频数据流传入对应的组播中其中，预设的通信协议可以包括FLUTE协议和LCT协议等。
以图1为例，服务器通过通道0将基础层视频数据流0传到组播0中，服务器通过通道1将增强层视频数据流1传到组播1中，服务器通过通道2将增强层视频数据流2传到组播2中，服务器通过通道3将增强层视频数据流3传到组播3中。
终端设备可以接入对应的组播来接收对应的视频数据流，例如，终端设备接入组播0时可以接收基础层视频数据流0，终端设备接入组播0和组播1时可以接收基础层视频数据流0和增强层视频数据流1。
如上所述，服务端将原始视频分层成多个视频数据流，可以通过对应通道分层传输数据给到组播地址，不同视频数据流的数据之间是相互独立的，相比于现有技术的多视频流重复组播方案相比，不会增加输出传输的总带宽，分层视频组播的网络带宽利用效率大大提高了。另外，通过嵌入扩展信息(特性信息)可以便于接收端据此分析预测组播接入策略。
下面介绍本发明示例性实施例提供的接收视频数据的方法的具体步骤。
图4示出了本发明示例性实施例提供的发送视频数据的方法的流程图。
参照图4，在步骤S210，终端设备接收与当前接入的组播组合对应的视频数据流。
这里，所述对应的视频数据流中的至少一个视频数据流的至少一个数据包中嵌有扩展信息，扩展信息包含有预设的视频数据流的特性信息。
在此需要说明的是，一个组播组合可以包括至少一个组播。如前文所述，终端设备可以接收多个视频数据流中的至少一个视频数据流，当终端设备接收到的视频数据流的数量发生改变时，终端设备所播放的视频质量也会发生改变。因此，终端设备接入不同的组播组合可以接收到不同的视频数据流，从而获得不同的视频质量。
可选地，在步骤S210中，终端设备当前接入的组播组合可以是默认的组播组合，也可以是基于用户对视频质量的选择设置确定的组播组合。在步骤S210中，不同的终端设备接入的组播组合可以是相同的，也可以是不同的。
以图1为例，终端设备1当前接入的组播组合包括组播0、组播1和组播2，可以接收基础层视频数据流0、增强层视频数据流1和增强层视频数据流2；终端设备2当前接入的组播组合包括组播0、组播1，可以接收基础层视频数据流0、增强层视频数据流1；终端设备3当前接入的组播组合包括组播0，可以接收基础层视频数据流0。
可选地，所述对应的视频数据流包括基础层视频数据流；或者所述对应的视频数据流包括基础层视频流和一个或多个增强层视频数据流，其中，至少所述基础层视频数据流的至少一个数据包中嵌入有扩展信息。在步骤S210中，终端设备接入的组播组合至少包括基础层视频数据流所对应的组播，从而保证终端设备都可以接收到扩展信息。
在步骤S220，终端设备从扩展信息中提取特性信息。
可以理解，扩展信息嵌入在视频数据流的任意一个数据包中，视频数据流是以数据包的形式进行传输的，当终端设备基于其接入的组播组合对应的视频数据流种接收到嵌入有扩展信息的数据包时，在该数据包的扩展信息中提取特性信息。
如前文所述，在本发明实施例中，扩展信息可以有两种嵌入方式。
第一种嵌入方式：基础层视频数据流的数据包和至少一个增强层视频数据流的数据包中分别嵌入有扩展信息。即所述至少所述基础层视频数据流的至少一个数据包中，嵌入有所述基础层视频数据流的特性信息、以及与基础层视频数据流相邻的增强层视频数据流的特性信息；
所述一个或多个增强层视频流中的每个增强层视频数据流的至少一个数据包中嵌入有扩展信息，所述扩展信息包括：该增强层视频数据流本身的特性信息、以及与该增强层视频数据流相邻的视频数据流的特性信息。
第二种嵌入方式：仅基础层视频数据流的数据包中嵌入有扩展信息。即所述至少所述基础层视频数据流的至少一个数据包中嵌入有扩展信息包括：所述基础层视频数据流的至少一个数据包中嵌入有扩展信息，所述基础层视频数据流的特性信息、以及至少一个增强层视频数据流的特性信息。
对于任意一种嵌入方式所获得的嵌入有扩展信息的数据包，终端设备在接收该数据包时，均可以在该数据包的扩展信息中提取特性信息。
可选地，终端设备从扩展信息中提取的特性信包括以下至少一种类型：视频数据流的发送速率、视频数据流的数据量与基础层视频数据流的数据量的比值、视频数据流的数据量与其余的视频数据流的数据量之和的比值。
在步骤S230，终端设备基于当前播放的视频获取所述视频的体验质量信息。
体验质量信息一般指Quality of Experience(QoE)，即用户对设备、网络、系统、应用或业务的质量和性能(包括有效性和可用性等方面)的综合主观感受。在本发明实施例中，体验质量信息为能够基于当前播放的视频被提取和量化的信息。
体验质量信息包括以下至少一种类型：抖动持续时间、平均编解码比特率、帧速率偏差。
下面对每种类型的体验质量信息进行解释说明。
当实际回放时间和预期回放时间之间的绝对差大于预先定义的值(100毫秒)时就会发生抖动，该抖动所持续的时间为抖动持续时间。平均编解码比特率为一段视频文件的大小与播放该段视频文件所用的时间的比值。帧速率偏差表示视频中的某一帧的实际播放时间与该帧的预期播放时间的时间差。
在此需要说明的是，在步骤S230中所提取体验质量信息包括以上3种类型的体验质量信息中的至少一种。
在步骤S240，终端设备基于提取的特性信息和体验质量信息，利用组播预测模型，获得组播接入策略。
可以理解，组播预测模型是已经训练好的机器学习模型，该模型可以运行在终端设备中。在步骤S240中，将提取的特性信息和体验质量信息作为模型的输入，使得组播预测模型能够输出组播接入策略，组播接入策略用于指示的组播组合的调整方式。
在此需要说明的是，组播预测模型可以预置在终端设备中，组播预测模型也可以由终端设备在指定设备中下载得到的。例如，图1所示的服务器中存储有组播预测模型，当终端设备初次与服务器连接时，下载该组播预测模型。
在步骤S250，终端设备基于组播接入策略，对当前接入的组播组合进行调整。
在本发明的一种实施方式中，步骤S250可以为以下任意一个步骤：
步骤(a1)：新接入终端设备当前接入的组播组合以外的至少一个组播；
例如，终端设备1当前接入的组播组合包括组播0、组播1和组播2，终端设备1可以在当前接入的组播组合的基础上，新接入组播3。
步骤(a2)：退出终端设备当前接入的组播组合中的至少一个组播；
例如，终端设备1当前接入的组播组合包括组播0、组播1和组播2，终端设备1可以在当前接入的组播组合的基础上，退出组播2。
步骤(a3)：维持终端设备当前接入的组播组合不变。
例如，终端设备1当前接入的组播组合包括组播0、组播1和组播2，终端设备1维持当前接入的组播组合不变。
在本发明实施例中，可以将嵌入有扩展信息的数据包称为关键帧数据包，可以理解，终端设备每接收到一个关键帧数据包，即可执行一次步骤S220至步骤S250。即，终端设备每接收到一个关键帧数据包，调整一次当前接入的组播组合。
如上所述，终端设备可通过接收视频数据流获取特征信息，结合对所述视频的体验质量信息，利用组播预测模型，获取组播接入策略，从而能够更精准的指导执行加入/离开动作，做到加入、退出组播的最优化处理，大大减少了一些无谓的加入/退出试错动作，不仅仅节约了终端的计算资源，同时也减少了每次加入/退出对上层路由的压力。这样，在不增加带宽消耗的情况下实现了接收端驱动的分层拥塞控制，提升用户体验；另一方面，由于组播预测模型的精确性及鲁棒性，从技术实现原理上，规避了现有技术试错动作逻辑判断分支覆盖不够精准，从而导致的分层视频组播技术无法覆盖较多的应用场景的问题。
图5示出了本发明示例性实施例提供的终端设备执行基于关键帧数据包触发的调整接入的组播组合的方法的示意图。
参照图5，服务器在不同的时间点依次发送关键帧数据包1、关键帧数据包2和关键帧数据包3。
终端设备1最初接入组播0和组播1，当终端设备1接收到关键帧数据包1时，新接入组播2、组播3和组播4；当终端设备1接收到关键帧数据包2时，维持当前接入的组播组合不变；当终端设备1接收到关键帧数据包3时，维持当前接入的组播组合不变。
终端设备2最初接入组播0和组播1，当终端设备2接收到关键帧数据包1时，新接入组播2和组播3；当终端设备2接收到关键帧数据包2时，退出组播3；当终端设备2接收到关键帧数据包3时，维持当前接入的组播组合不变。
终端设备3最初接入组播0和组播1，当终端设备3接收到关键帧数据包1时，新接入组播2、组播3和组播4；当终端设备3接收到关键帧数据包2时，退出组播3和组播4；当终端设备3接收到关键帧数据包3时，新接入组播3。
在本发明的一种实施方式中，组播预测模型可以通过基于提取的特性信息和体验质量信息以及组播接入策略被重新训练以被更新。
下面介绍组播预测模型的训练过程：
步骤(b1)：基于多个内容大小不同的原始视频获取多种特性信息组合，设置多种体验质量信息组合，将每种特性信息组合分别与各个的体验质量信息组合组成多个信息组。
图6示出了本发明示例性实施例提供的用于训练组播预测模型的信息组与标签信息的对应关系示意图。
如图6所示，每个信息组包括至少一种特性信息和至少一种体验质量信息。图6中的每一行代表一个信息组，每一行的末尾为该信息组的标签信息(Label)。
如图6所示，特性信息的类型包括视频数据流的发送速率(用图6中的Send bitrate表示)、视频数据流的数据量与基础层视频数据流的数据量的比值(用图6中的Relative proportion表示)、该视频数据流的数据量与其余的视频数据流的数据量之和的比值(用图6中的Absolute proportion表示)。体验质量信息包括抖动持续时间(用图6中的Jitter duration表示)、平均编解码比特率(用图6中的Codec bitrate表示)、帧速率偏差(图中未示出)。
如图6所示，体验质量信息的类型包括抖动持续时间、平均编解码比特率、帧速率偏差。
步骤(b2)：为每个信息组标注标签信息。
标签信息指示该信息组对应的组播接入策略。如图6所示，参照标签信息可以为：“Join two consecutive layers(接入两个连续的视频层数据流)”、“Join one layer(接入一个视频层数据流)”、“Remain unchanged(保持不变)”、“Exit one layer(退出一个视频层数据流)”、“Exit two consecutive layers(退出两个连续的视频层数据流)”。
步骤(b3)：将每个信息组及其标签信息作为训练数据，对初始的组播预测模型进行训练。
其中，组播预测模型可以为基于监督学习的多分类模型，可以利用支持向量机、人工神经网络或随机森林等机器学习算法来训练组播预测模型。
下面以图1中的终端设备1为例，介绍一种发送和接收视频数据的过程。
步骤(d1)：服务器将原始视频分层成基础层视频数据流0、增强层视频数据1、增强层视频数据2、增强层视频数据3。
步骤(d2)：服务器在基础层视频数据流0、增强层视频数据1、增强层视频数据2、增强层视频数据3的至少一个数据包中分别嵌入扩展信息。
基础层视频数据流0的数据包中所嵌入的扩展信息，包括基础层视频数据流0的特性信息、以及增强层视频数据流1的特性信息；增强层视频数据流1的数据包中所嵌入的扩展信息，包括增强层视频数据流1的特性信息、以及增强层视频数据流2的特性信息；增强层视频数据流2的数据包中所嵌入的扩展信息，包括增强层视频数据流2的特性信息、以及增强层视频数据流1和增强层视频数据流3的特性信息；增强层视频数据流3的数据包中所嵌入的扩展信息，包括增强层视频数据流2的特性信息、以及增强层视频数据流3的特性信息。
步骤(d3)：服务器通过通道0将基础层视频数据流0传到组播0中，服务器通过通道1将增强层视频数据流1传到组播1中，服务器通过通道2将增强层视频数据流2传到组播2中，服务器通过通道3将增强层视频数据流3传到组播3中。
步骤(d4)：终端设备1接收与当前接入的组播组合对应的视频数据流。
例如，终端设备1当前接入的组播组合包括组播0、组播1和组播2，可以接收基础层视频数据流0、增强层视频数据流1和增强层视频数据流2
步骤(d5)：终端设备1接收到增强层视频数据流2中的嵌入有扩展信息的数据包，该数据包中所嵌入的扩展信息，可以包括增强层视频数据流2的特性信息、以及增强层视频数据流1和/或增强层视频数据流3的特性信息。
步骤(d6)：终端设备1基于当前播放的视频提取体验质量信息。
步骤(d7)：终端设备1基于提取的特性信息和体验质量信息，利用组播预测模型，获得组播接入策略。
步骤(d8)：终端设备1基于组播接入策略，调整当前接入的组播组合。
具体地，终端设备1当前接入的组播组合包括组播0、组播1和组播2，终端设备1在当前接入的组播组合的基础上，新接入组播3。调整后的组播组合包括组播0、组播1、组播2和组播3。
在本发明的一种实施方式中，组播预测模型可以通过基于提取的特性信息和体验质量信息以及组播接入策略被重新训练以被更新。
可以理解，将上述步骤S220提取的特性信息、上述步骤S230提取的体验质量信息以及上述步骤S240获得的组播接入策略作为新的训练数据，重新训练当前的组播预测模型，以进一步提高组播预测模型的精确性。
可选地，可以利用如下步骤来重新训练组播预测模型：
步骤(c1)：终端设备将提取到的特性信息和体验质量信息、以及组播接入策略，发送至预设设备。
步骤(c2)：预设设备将接收到的特性信息、体验质量信息以及组播作为训练数据，重新训练其组播预测模型。其中，预设设备中的组播预测模型与所述终端设备中的组播预测模型相同。
步骤(c3)：预设设备将重新训练后的组播预测模型的参数信息发送至终端设备。
步骤(c4)：终端设备基于接收到的参数信息更其组播预测模型。
在此需要说明的是，预设设备可以是图1所示的服务器，也可以是其它的服务器或计算机设备。
图7示出了本发明示例性实施例的视频数据的发送装置的框图。其中，视频数据的发送装置的功能单元可以由实现本发明原理的硬件、软件或硬件和软件的结合来实现。本领域技术人员可以理解的是，图7所描述的功能单元可以组合起来或者划分成子单元，从而实现上述发明的原理。因此，本文的描述可以支持对本文描述的功能单元的任何可能的组合、或者划分、或者更进一步的限定。
下面就视频数据的发送装置可以具有的功能单元以及各功能单元可以执行的操作做简要说明，对于其中涉及的细节部分可以参见上文相关描述，这里不再赘述。
参照图7，本发明示例性实施例的视频数据的发送装置包括视频分层模块310、信息嵌入模块320和视频传输模块330。
视频分层模块310被配置为：将原始视频分层成多个视频数据流。
信息嵌入模块320被配置为：在多个视频数据流中的至少一个视频数据流的至少一个数据包中嵌入扩展信息，其中，扩展信息包含有预设的视频数据流的特性信息。
视频传输模块330被配置为：将多个视频数据流分别传入对应的通道进行发送。
在本发明的一种实施方式中，视频分层模块310被配置为：将原始视频分层成基础层视频数据流和一个或多个增强层视频数据流，信息嵌入模块320被配置为：至少在所述基础层视频数据流的至少一个数据包中嵌入扩展信息。
在本发明的一种实施方式中，信息嵌入模块320被配置为：在基础层视频数据流的至少一个数据包中嵌入扩展信息，所述扩展信息包括基础层视频数据流的特性信息、以及至少一个增强层视频数据流的特性信息。
在本发明的一种实施方式中，信息嵌入模块320被配置为：在所述基础层视频数据流的至少一个数据包中嵌入扩展信息，所述扩展信息包括所述基础层视频数据流的特性信息、以及与所述基础层视频数据流相邻的增强层视频数据流的特性信息；以及在每个增强层视频数据流的至少一个数据包中，嵌入扩展信息，所述扩展信息包括：该增强层视频数据流本身的特性信息、以及与该增强层视频数据流相邻的视频数据流的特性信息。
在本发明的一种实施方式中，每个视频数据流的特性信息包括以下至少一种类型：该视频数据流的发送速率、该视频数据流的数据量与基础层视频数据流的数据量的比值、该视频数据流的数据量与其余的视频数据流的数据量之和的比值。
在本发明的一种实施方式中，扩展信息还包括以下至少一项：用于表征数据包嵌有扩展信息的第一标识、扩展信息所包含的特性信息对应的视频数据流的数量、扩展信息中特性信息的类型数量、扩展信息的嵌入方式。
图8示出了本发明示例性实施例的视频数据的接收装置的框图。其中，视频数据的接收装置的功能单元可以由实现本发明原理的硬件、软件或硬件和软件的结合来实现。本领域技术人员可以理解的是，图8所描述的功能单元可以组合起来或者划分成子单元，从而实现上述发明的原理。因此，本文的描述可以支持对本文描述的功能单元的任何可能的组合、或者划分、或者更进一步的限定。
下面就视频数据的接收装置可以具有的功能单元以及各功能单元可以执行的操作做简要说明，对于其中涉及的细节部分可以参见上文相关描述，这里不再赘述。
参照图8，本发明示例性实施例的视频数据的接收装置包括视频接收模块410、第一提取模块420、第二提取模块430、策略输出模块440和组播调整模块450。
视频接收模块410被配置为：接收与当前接入的组播组合对应的视频数据流，其中，所述对应的视频数据流中的至少一个视频数据流的至少一个数据包中嵌有扩展信息，扩展信息包含有预设的视频数据流的特性信息。
第一提取模块420被配置为：从扩展信息中提取特性信息。
第二提取模块430被配置为：基于当前播放的视频获取所述视频的体验质量信息。
策略输出模块440被配置为：基于提取的特性信息和体验质量信息，利用组播预测模型，获得组播接入策略。
组播调整模块450被配置为：基于组播接入策略，对当前接入的组播组合进行调整。
在本发明的一种实施方式中，所述对应的视频数据流包括基础层视频数据流；或者所述对应的视频数据流包括基础层视频流和一个或多个增强层视频数据流；其中，至少在所述基础层视频数据流的至少一个数据包中嵌入有扩展信息。
在本发明的一种实施方式中，所述基础层视频数据流的至少一个数据包中嵌入有扩展信息，所述基础层视频数据流的特性信息、以及至少一个增强层视频数据流的特性信息。
在本发明的一种实施方式中，所述基础层视频数据流的至少一个数据包中嵌入有扩展信息，所述扩展信息包括所述基础层视频数据流的特性信息、以及与所述基础层视频数据流相邻的增强层视频数据流的特性信息；以及所述一个或多个增强层视频流中的每个增强层视频数据流的至少一个数据包中嵌入有扩展信息，所述扩展信息包括：该增强层视频数据流本身的特性信息、以及与该增强层视频数据流相邻的视频数据流的特性信息。
在本发明的一种实施方式中，从扩展信息中提取特性信息包括以下至少一种类型：该视频数据流的发送速率、该视频数据流的数据量与基础层视频数据流的数据量的比值、该视频数据流的数据量与其余的视频数据流的数据量之和的比值。
在本发明的一种实施方式中，扩展信息还包括以下至少一项：用于表征数据包嵌有扩展信息的第一标识、扩展信息所包含的特性信息对应的视频数据流的数量、扩展信息中特性信息的类型数量、扩展信息的嵌入方式。
在本发明的一种实施方式中，组播调整模块450被配置为执行以下步骤中的任意一个步骤：新接入终端设备当前接入的组播组合以外的至少一个组播；退出终端设备当前接入的组播组合中的至少一个组播；维持终端设备当前接入的组播组合不变。
在本发明的一种实施方式中，体验质量信息包括以下至少一种类型：抖动持续时间、平均编解码比特率、帧速率偏差。
在本发明的一种实施方式中，接收装置还包括模型更新模块460，模型更新模块460被配置为：组播预测模型通过基于提取的特性信息和体验质量信息以及组播接入策略被重新训练以被更新。
本发明示例性实施例还提供了一种包括至少一个处理器和至少一个存储指令的存储器的服务器，其中，指令在被至少一个处理器运行时，促使至少一个处理器执行上述的发送视频数据的方法。
本发明示例性实施例还提供了一种包括至少一个处理器和至少一个存储指令的存储器的终端设备，其中，指令在被至少一个处理器运行时，促使至少一个处理器执行上述的接收视频数据的方法。
上述的处理器可以是CPU(CentralProcessing Unit，中央处理器)、通用处理器，DSP(DigitalSignalProcessor，数据信号处理器)、ASIC(Application SpecificIntegrated Circuit，专用集成电路)、FPGA(Field-Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。
存储器可以是ROM(Read-Only Memory，只读存储器)或可存储静态信息和指令的其他类型的静态存储设备，可以是RAM(Random Access Memory，随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM(Electrically ErasableProgrammable Read Only Memory，电可擦可编程只读存储器)、CD-ROM(Compact DiscRead-Only Memory，只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。
本发明示例性实施例还提供了一种存储指令的计算机可读存储介质，其中，当指令被服务器的至少一个处理器运行时，促使至少一个处理器执行上述的发送视频数据的方法。
本发明示例性实施例还提供了一种存储指令的计算机可读存储介质，其中，当指令被至少一个处理器运行时，促使至少一个处理器执行上述的接收视频数据的方法。
上述的计算机可读记录介质是可存储由计算机系统读出的数据的任意数据存储器。计算机可读记录介质的示例包括：只读存储器、随机存取存储器、只读光盘、磁带、软盘、光数据存储器和载波(诸如经有线或无线传输路径通过互联网的数据传输)。
尽管已经参照本发明的特定示例性实施例显示和描述了本发明，但是本领域技术人员将理解，在不脱离由权利要求及其等同物限定的本发明的精神和范围的情况下，可进行各种形式和细节上的各种改变。

Claims (19)

1.一种发送视频数据的方法，包括：
将原始视频分层成多个视频数据流；
在所述多个视频数据流中的至少一个视频数据流的至少一个数据包中嵌入扩展信息，其中，所述扩展信息包含有预设的视频数据流的特性信息；
将所述多个视频数据流分别传入对应的通道进行发送。
2.如权利要求1所述的方法，其中，所述将原始视频分层成多个视频数据流的步骤包括：
将原始视频分层成基础层视频数据流和一个或多个增强层视频数据流，
所述在所述多个视频数据流中的至少一个视频数据流的至少一个数据包中嵌入扩展信息的步骤包括：
至少在所述基础层视频数据流的至少一个数据包中嵌入扩展信息。
3.如权利要求2所述的方法，其中，至少在所述基础层视频数据流的至少一个数据包中嵌入扩展信息的步骤包括：
在所述基础层视频数据流的至少一个数据包中嵌入扩展信息，所述扩展信息包括所述基础层视频数据流的特性信息、以及至少一个增强层视频数据流的特性信息。
4.如权利要求2所述的方法，其中，至少在所述基础层视频数据流的至少一个数据包中嵌入扩展信息的步骤包括：
在所述基础层视频数据流的至少一个数据包中嵌入扩展信息，所述扩展信息包括所述基础层视频数据流的特性信息、以及与所述基础层视频数据流相邻的增强层视频数据流的特性信息；以及
在每个增强层视频数据流的至少一个数据包中嵌入扩展信息，所述扩展信息包括：该增强层视频数据流本身的特性信息、以及与该增强层视频数据流相邻的视频数据流的特性信息。
5.如权利要求1所述的方法，其中，每个所述视频数据流的特性信息包括以下至少一种类型：该视频数据流的发送速率、该视频数据流的数据量与所述基础层视频数据流的数据量的比值、该视频数据流的数据量与其余的视频数据流的数据量之和的比值。
6.如权利要求1所述的方法，其中，所述扩展信息还包括以下至少一项：
用于表征数据包嵌有所述扩展信息的第一标识、所述扩展信息所包含的所述特性信息对应的视频数据流的数量、所述扩展信息中特性信息的类型数量、扩展信息的嵌入方式。
7.一种接收视频数据的方法，包括：
接收与当前接入的组播组合对应的视频数据流，其中，所述对应的视频数据流中的至少一个视频数据流的至少一个数据包中嵌有扩展信息，所述扩展信息包含有预设的视频数据流的特性信息；
从所述扩展信息中提取所述特性信息；
基于当前播放的视频获取所述视频的体验质量信息；
基于提取的特性信息和体验质量信息，利用组播预测模型，获得组播接入策略；
基于所述组播接入策略，对当前接入的组播组合进行调整。
8.如权利要求7所述的方法，其中，所述对应的视频数据流包括基础层视频数据流；或者
所述对应的视频数据流包括基础层视频流和一个或多个增强层视频数据流；
其中，至少所述基础层视频数据流的至少一个数据包中嵌入有扩展信息。
9.如权利要求8所述的方法，其中，
所述基础层视频数据流的至少一个数据包中嵌入有扩展信息，所述扩展信息包括所述基础层视频数据流的特性信息、以及至少一个增强层视频数据流的特性信息。
10.如权利要求8所述的方法，其中，所述基础层视频数据流的至少一个数据包中嵌入有扩展信息，所述扩展信息包括所述基础层视频数据流的特性信息、以及与所述基础层视频数据流相邻的增强层视频数据流的特性信息；以及
所述一个或多个增强层视频流中的每个增强层视频数据流的至少一个数据包中嵌入有扩展信息，所述扩展信息包括：
该增强层视频数据流本身的特性信息、以及与该增强层视频数据流相邻的视频数据流的特性信息。
11.如权利要求7所述的方法，其中，从所述扩展信息中提取的所述特性信息包括以下至少一种类型：视频数据流的发送速率、视频数据流的数据量与基础层视频数据流的数据量的比值、视频数据流的数据量与其余的视频数据流的数据量之和的比值。
12.如权利要求7所述的方法，其中，所述扩展信息还包括以下至少一项：
用于表征数据包嵌有所述扩展信息的第一标识、所述扩展信息所包含的所述特性信息对应的视频数据流的数量、所述扩展信息中特性信息的类型数量、扩展信息的嵌入方式。
13.如权利要求7所述的方法，其中，所述体验质量信息包括以下至少一种类型：抖动持续时间、平均编解码比特率、帧速率偏差。
14.一种视频数据的发送装置，包括：
视频分层模块，被配置为：将原始视频分层成多个视频数据流；
信息嵌入模块，被配置为：在所述多个视频数据流中的至少一个视频数据流的至少一个数据包中嵌入扩展信息，其中，所述扩展信息包含有预设的视频数据流的特性信息；
视频传输模块，被配置为：将所述多个视频数据流分别传入对应的通道进行发送。
15.一种视频数据的接收装置，包括：
视频接收模块，被配置为：接收与当前接入的组播组合对应的视频数据流，其中，所述对应的视频数据流中的至少一个视频数据流的至少一个数据包中嵌有扩展信息，所述扩展信息包含有预设的视频数据流的特性信息；
第一提取模块，被配置为：从所述扩展信息中提取所述特性信息；
第二提取模块，被配置为：基于当前播放的视频获取所述视频的体验质量信息；
策略输出模块，被配置为：基于提取的特性信息和体验质量信息，利用组播预测模型，获得组播接入策略；
组播调整模块，被配置为：基于所述组播接入策略，对当前接入的组播组合进行调整。
16.一种包括至少一个处理器和至少一个存储指令的存储器的服务器，其中，所述指令在被所述至少一个处理器运行时，促使所述至少一个处理器执行如权利要求1至6中的任一权利要求所述的发送视频数据的方法。
17.一种包括至少一个处理器和至少一个存储指令的存储器的终端设备，其中，所述指令在被所述至少一个处理器运行时，促使所述至少一个处理器执行如权利要求7至13中的任一权利要求所述的接收视频数据的方法。
18.一种存储指令的计算机可读存储介质，其中，当所述指令被服务器的至少一个处理器运行时，促使所述至少一个处理器执行如权利要求1至6中的任一权利要求所述的发送视频数据的方法。
19.一种存储指令的计算机可读存储介质，其中，当所述指令被终端设备的至少一个处理器运行时，促使所述至少一个处理器执行如权利要求7至13中的任一权利要求所述的接收视频数据的方法。
CN202110292268.7A 2021-03-18 2021-03-18 发送和接收视频数据方法、终端设备和服务器 Pending CN113038289A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202110292268.7A CN113038289A (zh) 2021-03-18 2021-03-18 发送和接收视频数据方法、终端设备和服务器
US17/222,205 US20220303620A1 (en) 2021-03-18 2021-04-05 Methods for transmitting and receiving video data, terminal device and server
KR1020210093144A KR20220130553A (ko) 2021-03-18 2021-07-15 영상 데이터를 송수신하는 단말 장치, 서버 및 이의 동작 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110292268.7A CN113038289A (zh) 2021-03-18 2021-03-18 发送和接收视频数据方法、终端设备和服务器

Publications (1)

Publication Number Publication Date
CN113038289A true CN113038289A (zh) 2021-06-25

Family

ID=76471542

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110292268.7A Pending CN113038289A (zh) 2021-03-18 2021-03-18 发送和接收视频数据方法、终端设备和服务器

Country Status (3)

Country Link
US (1) US20220303620A1 (zh)
KR (1) KR20220130553A (zh)
CN (1) CN113038289A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101330436A (zh) * 2007-06-19 2008-12-24 上海贝尔阿尔卡特股份有限公司 可调整的组播多媒体业务数据的传输方法及装置
US20090268806A1 (en) * 2008-04-07 2009-10-29 Jin Pil Kim Method of transmitting and receiving broadcasting signal and apparatus for receiving broadcasting signal
US20110013538A1 (en) * 2009-07-20 2011-01-20 Canon Kabushiki Kaisha Methods and Devices for Estimating a Level of Use of a Communication Network and for Adapting a Level of Subscription to Multicast Sessions
US20110299601A1 (en) * 2010-06-08 2011-12-08 Cisco Technology, Inc. Scalable video multicast framework for heterogeneous endpoints
US20140211681A1 (en) * 2013-01-25 2014-07-31 Cisco Technology, Inc. System and method for video delivery over heterogeneous networks with scalable video coding for multiple subscriber tiers
US20150020131A1 (en) * 2012-01-20 2015-01-15 Korea Electronics Technology Institute Method for transmitting and receiving program configuration information for scalable ultra high definition video service in hybrid transmission environment, and method and apparatus for effectively transmitting scalar layer information
US20210297681A1 (en) * 2018-07-15 2021-09-23 V-Nova International Limited Low complexity enhancement video coding

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101330436A (zh) * 2007-06-19 2008-12-24 上海贝尔阿尔卡特股份有限公司 可调整的组播多媒体业务数据的传输方法及装置
US20090268806A1 (en) * 2008-04-07 2009-10-29 Jin Pil Kim Method of transmitting and receiving broadcasting signal and apparatus for receiving broadcasting signal
US20110013538A1 (en) * 2009-07-20 2011-01-20 Canon Kabushiki Kaisha Methods and Devices for Estimating a Level of Use of a Communication Network and for Adapting a Level of Subscription to Multicast Sessions
US20110299601A1 (en) * 2010-06-08 2011-12-08 Cisco Technology, Inc. Scalable video multicast framework for heterogeneous endpoints
US20150020131A1 (en) * 2012-01-20 2015-01-15 Korea Electronics Technology Institute Method for transmitting and receiving program configuration information for scalable ultra high definition video service in hybrid transmission environment, and method and apparatus for effectively transmitting scalar layer information
US20140211681A1 (en) * 2013-01-25 2014-07-31 Cisco Technology, Inc. System and method for video delivery over heterogeneous networks with scalable video coding for multiple subscriber tiers
US20210297681A1 (en) * 2018-07-15 2021-09-23 V-Nova International Limited Low complexity enhancement video coding

Also Published As

Publication number Publication date
KR20220130553A (ko) 2022-09-27
US20220303620A1 (en) 2022-09-22

Similar Documents

Publication Publication Date Title
US11088947B2 (en) Device, system, and method of pre-processing and data delivery for multi-link communications and for media content
RU2601442C2 (ru) Способ и устройство передачи/приема мультимедиа-содержимого в системе мультимедиа
CN1859579B (zh) 传输多媒体数据流的设备和方法
CN110636346B (zh) 一种码率自适应切换方法、装置、电子设备及存储介质
EP2750405B1 (en) Information stream management
US8239558B2 (en) Transport mechanisms for dynamic rich media scenes
US8571215B2 (en) Combined storage and transmission of scalable media
CN105075276B (zh) 在广播通信网络中操作客户端设备和服务器设备的技术
JP5147950B2 (ja) 可変帯域幅のチャンネルを介してサイマル放送を行う装置および方法
CN105594219A (zh) 用于广播信号的发射/接收处理的设备和方法
CN105308916A (zh) 多媒体传输网络中用于控制媒体传递的方法和装置
US20100169504A1 (en) Service Layer Assisted Change of Multimedia Stream Access Delivery
CN102130886B (zh) 网络视频流媒体系统及传输处理方法、发送端
CN102067551B (zh) 媒体流处理
US20170063488A1 (en) Rate adaptation method using bit error rate for multimedia service and apparatus therefor
US20150110168A1 (en) Video data transmission method and apparatus
CN107079013B (zh) 管理媒体流的并发流式传输
US20200359088A1 (en) Method and apparatus of transmitting media data related information in multimedia transmission system
CN105684390A (zh) 用于为自适应流传输客户端预留带宽的方法和设备
US20150039721A1 (en) Method and apparatus for controlling traffic using adaptive streaming in multi-media content transmission system
JP2004524775A (ja) ビデオ及びオーディオパケットをビデオトランスポートストリームに挿入するためのシステム及び方法
CN101741752B (zh) 视频流传输的方法、装置和系统
CN113038289A (zh) 发送和接收视频数据方法、终端设备和服务器
US8041831B2 (en) Method for broadcasting a series of contents from a source to receiver terminals, through a computer network, related signal, broadcasting source and terminal
CN108632681A (zh) 播放媒体流的方法、服务器及终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination