CN110266706A - 一种多媒体流数据的播放方法和装置 - Google Patents

一种多媒体流数据的播放方法和装置 Download PDF

Info

Publication number
CN110266706A
CN110266706A CN201910559977.XA CN201910559977A CN110266706A CN 110266706 A CN110266706 A CN 110266706A CN 201910559977 A CN201910559977 A CN 201910559977A CN 110266706 A CN110266706 A CN 110266706A
Authority
CN
China
Prior art keywords
frame
data
data packet
data frame
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910559977.XA
Other languages
English (en)
Inventor
葛冬冬
孙晔
黄思远
朱春波
谭皓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics China R&D Center
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics China R&D Center
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics China R&D Center, Samsung Electronics Co Ltd filed Critical Samsung Electronics China R&D Center
Priority to CN201910559977.XA priority Critical patent/CN110266706A/zh
Publication of CN110266706A publication Critical patent/CN110266706A/zh
Priority to CN201911011474.5A priority patent/CN111064698B/zh
Priority to PCT/KR2020/008384 priority patent/WO2020263025A1/en
Priority to EP20830617.5A priority patent/EP3970384B1/en
Priority to US17/549,283 priority patent/US11870831B2/en
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/765—Media network packet handling intermediate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/222—Secondary servers, e.g. proxy server, cable television Head-end
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H04N21/23106—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion involving caching operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605—Creation or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H04N21/2393—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26283—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for associating distribution time parameters to content, e.g. to generate electronic program guide data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer

Abstract

本申请公开了一种多媒体流数据的传输控制方法和装置，其中方法包括：当边缘服务器接收到内容服务器下发的实时视频的首个数据包时，将当前时刻记录为第一时刻；所述边缘服务器检测当前接收的所述实时视频的数据包是否包含所述第一时刻对应的数据帧，如果是，则将所述第一时刻对应的数据帧标记为关键帧，对该关键帧以及当前所述数据包包含的数据帧序列中在该关键帧之后的所有数据帧，重新执行编码和复用操作后，将所生成的数据包下发给相应用户设备；否则，丢弃当前接收的所述数据包，并在接收到下一个所述实时视频的数据包时重新执行本步骤。采用本发明，可以有效减少实时视频的播放延时。

Description

一种多媒体流数据的播放方法和装置
技术领域
本发明涉及计算机应用技术，特别是涉及一种多媒体流数据的播放方法和装置。
背景技术
近些年来，全球互联网流量急剧增长。视频是这一增长的主要贡献者，并将继续主导网络流量。这一趋势是智能手机、平板电脑、游戏设备和智能电视等设备用于访问视频内容的普及结果。根据Cisco公司的预测，未来的网络流量将呈指数增长态势，到2021年全球上网用户将达到46亿，网络接入设备将达到271亿，视频数据的访问占用比例将从当前的73％提升到82％，每月产生的数据量将突破190EB(1EB等于230GB)。庞大的数据量将对通信网络和数据传输系统产生巨大的压力。
随着移动上下行带宽提升及资费的下调，视频直播被赋予了更多娱乐和社交的属性，人们享受随时随地进行直播和观看，主播不再满足于单向的直播，观众也更渴望互动，为此，需要客户端的视频播放进度与实时录制的场景画面尽量保持同步，以满足主播与观众之间的互动需要。
发明人在实现本发明的过程中发现现有的视频播放方案无法满足上述需要。主要原因分析如下：现有的视频播放方案中客户端需要缓存一定量的数据包，并且由于视频显示的限制，为了避免出现花屏和马赛克的问题，内容服务器在构建首个数据包时需要以关键帧为起始帧，而起始帧的位置可能会和用户请求视频的时间点相差较大，如此，一方面会使得客户端所播放的视频画面与实时录制的场景画面之间会存在较大的时延，另一方面，也会由于用户客户端下载了较多过期的数据帧而产生了不必要的传输和播放时延，因此，采用现有的视频播放方案无法满足上述实时视频播放的同步需求。
发明内容
有鉴于此，本发明的主要目的在于提供一种多媒体流数据的传输控制方法和装置，可以有效减少视频播放时延。
为了达到上述目的，本发明提出的技术方案为：
一种多媒体流数据的传输控制方法，包括：
当边缘服务器接收到内容服务器下发的实时视频的首个数据包时，将当前时刻记录为第一时刻；
所述边缘服务器检测当前接收的所述实时视频的数据包是否包含所述第一时刻对应的数据帧，如果是，则将所述第一时刻对应的数据帧标记为关键帧，对该关键帧以及当前所述数据包包含的数据帧序列中在该关键帧之后的所有数据帧，重新执行编码和复用操作后，将所生成的数据包下发给相应用户设备；否则，丢弃当前接收的所述数据包，并在接收到下一个所述实时视频的数据包时重新执行本步骤。
较佳地，所述实时视频包括：实况转播的视频和直播视频。
较佳地，所述方法进一步包括：
当边缘服务器接收到用户的点播请求时，检测当前缓存中是否存在所述点播请求指定的起始播放位置对应的数据帧，如果有，则对缓存中的相应数据帧执行内容处理操作，否则，从所述内容服务器获取所述点播请求对应的数据帧，并对所述获取的数据帧执行所述内容处理操作；
所述内容处理操作包括：
将所述起始播放位置对应的数据帧标识为关键帧，并对该关键帧和其后的数据帧，执行编码和复用操作后，将所生成的数据包下发给相应用户设备。
较佳地，所述方法进一步包括：
所述边缘服务器预先采用机器学习方法，按照数据帧越重要权重越大的原则，确定点播视频中每个数据帧在整个视频中的权重；
当边缘服务器接收到用户的对所述点播视频的特技播放点播请求后，按照预设的压缩强度与权重阈值映射关系，确定所述特技播放点播请求指定的压缩强度对应的权重阈值；
对于缓存中当前需要下发给所述用户的数据包，所述边缘服务器将该数据包包含的数据帧中权重小于所确定的权重阈值的数据帧丢弃，并对其中权重大于等于所确定的权重阈值的数据帧，执行编码和复用操作后，将所生成的数据包下发给相应用户设备。
较佳地，所述方法进一步包括：
当边缘服务器接收到用户的指定倍速播放请求后，对于缓存中当前需要下发给所述用户的数据包，按照每N帧保留一帧数据的方式，对该数据包包含的数据帧进行剪裁，将经过所述剪裁后剩余的数据帧标识为关键帧，并对所述剩余的数据帧执行编码和复用操作后，将所生成的数据包下发给相应用户设备；其中，N为所述指定倍速播放请求指定的播放倍速。
本发明实施例还提供了一种多媒体流数据的传输控制装置，设置于边缘服务器中，其特征在于，包括：处理器，所述处理器用于：
当边缘服务器接收到内容服务器下发的实时视频的首个数据包时，将当前时刻记录为第一时刻；
检测当前接收的所述实时视频的数据包是否包含所述第一时刻对应的数据帧，如果是，则将所述第一时刻对应的数据帧标记为关键帧，对该关键帧以及当前所述数据包包含的数据帧序列中在该关键帧之后的所有数据帧，重新执行编码和复用操作后，将所生成的数据包下发给相应用户设备；否则，丢弃当前接收的所述数据包，并在接收到下一个所述实时视频的数据包时重新执行本步骤。
较佳地，所述实时视频包括：实况转播的视频和直播视频。
较佳地，所述处理器进一步用于：
当边缘服务器接收到用户的点播请求时，检测当前缓存中是否存在所述点播请求指定的起始播放位置对应的数据帧，如果有，则对缓存中的相应数据帧执行内容处理操作，否则，从所述内容服务器获取所述点播请求对应的数据帧，并对所述获取的数据帧执行所述内容处理操作；
所述内容处理操作包括：
将所述起始播放位置对应的数据帧标识为关键帧，并对该关键帧和其后的数据帧，执行编码和复用操作后，将所生成的数据包下发给相应用户设备。
较佳地，所述处理器进一步用于：
所述边缘服务器预先采用机器学习方法，按照数据帧越重要权重越大的原则，确定点播视频中每个数据帧在整个视频中的权重；
当边缘服务器接收到用户的对所述点播视频的特技播放点播请求后，按照预设的压缩强度与权重阈值映射关系，确定所述特技播放点播请求指定的压缩强度对应的权重阈值；
对于缓存中当前需要下发给所述用户的数据包，将该数据包包含的数据帧中权重小于所确定的权重阈值的数据帧丢弃，并对其中权重大于等于所确定的权重阈值的数据帧，执行编码和复用操作后，将所生成的数据包下发给相应用户设备。
较佳地，所述处理器进一步用于：
当边缘服务器接收到用户的指定倍速播放请求后，对于缓存中当前需要下发给所述用户的数据包，按照每N帧保留一帧数据的方式，对该数据包包含的数据帧进行剪裁，将经过所述剪裁后剩余的数据帧标识为关键帧，并对所述剩余的数据帧执行编码和复用操作后，将所生成的数据包下发给相应用户设备；其中，N为所述指定倍速播放请求指定的播放倍速。
本申请还公开了一种非易失性计算机可读存储介质，所述非易失性计算机可读存储介质存储指令，所述指令在由处理器执行时使得所述处理器执行如前所述的多媒体流数据的传输控制方法的步骤。
本申请还公开了一种电子设备，包括如前所述的非易失性计算机可读存储介质、以及可访问所述非易失性计算机可读存储介质的所述处理器。
综上所述，本发明提出的多媒体流数据的传输控制方法和装置，由边缘服务器将接收到内容服务器下发的实时视频的首个数据包的时间点设置为第一时刻，将内容服务器下发的该第一时刻对应的数据帧转换为关键帧，并且仅将内容服务器下发的该第一时刻及其后对应的数据帧进行打包作为首个数据包发送给用户的播放端，如此，通过由边缘服务器对发送给用户的实时视频的首个数据包进行上述控制，有效地减少了发送给用户的首个数据包携带的过期数据帧数量，进而减少了首个数据包传输给用户端的时间开销，同时还使得播放端的视频播放进度较大程度地与实时视频的录制进度相接近，从而有效减少了视频播放时延，进而满足用户的实时视频同步播放需求。
附图说明
图1为本发明实施例的方法流程示意图；
图2为本发明实施例的实时视频传输场景示意图；
图3为本发明实施例中实时视频传输场景的传输控制示意图；
图4为本发明实施例的精准指定位置播放场景图；
图5为本发明实施例的特技播放场景示意图；
图6为本发明实施例中用于特技播放的一种基于深度神经网络的实现方法流程示意图；
图7为本发明实施例的精准倍速播放场景示意图；
图8为本发明实施例的同CMAF标准流协同工作的场景图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图及具体实施例对本发明作进一步地详细描述。
图1为本发明实施例的方法流程示意图，如图1所示，该实施例实现的多媒体流数据的传输控制方法主要包括：
步骤101、当边缘服务器接收到内容服务器下发的实时视频的首个数据包时，将当前时刻记录为第一时刻。
本步骤中，介于用户的播放端设备(如电视机顶盒、个人计算机、平板电脑、手机或者其他终端设备)和内容服务器之间的边缘服务器在接收到内容服务器下发的实时视频的数据包后，需要检测该数据包是否为内容服务器根据用户的视频播放请求为其发送的首个数据包，如果是首个数据包，则需要利用后续步骤由边缘服务器对其进行处理，以使播放端设备可以快速启动相应视频的播放，并实现实时视频的同步播放，如果不是首个数据包，则直接透传给用户的播放端设备即可，如图2所示。
较佳地，所述实时视频具体可以为实况转播的视频或者是直播视频。
步骤102、所述边缘服务器检测当前接收的所述实时视频的数据包是否包含所述第一时刻对应的数据帧，如果是，则将所述第一时刻对应的数据帧标记为关键帧，对该关键帧以及当前所述数据包包含的数据帧序列中在该关键帧之后的所有数据帧，重新执行编码和复用操作后，将所生成的数据包下发给相应用户设备；否则，丢弃当前接收的所述数据包，并在接收到下一个所述实时视频的数据包时重新执行本步骤。
本步骤中，如图3所示，边缘服务器需要对包含了所述第一时刻对应的数据帧的数据包进行处理，将其中的第一时刻对应的数据帧标记为关键帧，并且，仅将该数据包中该关键帧以及该关键帧之后的数据帧进行重新打包，将该重新生成的包作为下发给用户的第一个数据包发送给用户，这样，由于该数据包中的第一个数据帧为关键帧，因此，用户可以直接从该帧开始播放，有效缩短了启动时间，另一方面，通过边缘服务器的上述预处理，有效减少了发送给用户的第一个数据包携带的过期数据帧数量，使得播放端的视频播放进度较大程度地与实时视频的录制进度相接近，有效减少了视频播放时延，从而可以满足用户的实时视频同步播放需求。
在实际应用中，边缘服务器收到数据包后，需要通过对数据包进行解复用解码处理，得到数据包所包含的数据帧序列，具体方法为本领域技术人员所掌握，在此不再赘述。
进一步地，考虑到现有的视频播放方案中，在点播场景下，受限于需要定位到关键帧的要求，往往无法准确定位到用户请求的时间点播放视频，针对该问题，较佳地，如图4所示可以采用下述方法提高点播场景下点播定位的准确性。
当边缘服务器接收到用户的点播请求时，检测当前缓存中是否存在所述点播请求指定的起始播放位置对应的数据帧，如果有，则对缓存中的相应数据帧执行内容处理操作，否则，从所述内容服务器获取所述点播请求对应的数据帧，并对所述获取的数据帧执行所述内容处理操作；
所述内容处理操作包括：
将所述起始播放位置对应的数据帧标识为关键帧，并对该关键帧和其后的数据帧，执行编码和复用操作后，将所生成的数据包下发给相应用户设备。
上述方法中，通过将用户点播请求指定的起始播放位置对应的数据帧转换为关键帧后，再打包发送给用户，可以使得用户端在播放相应的数据帧时，能够从该起始播放位置对应的数据帧进行播放，而不是从与该起始播放位置最接近的关键帧开始，从而可以提高视频点播的准确性并且有效缩短点播的响应时间。
在实际应用中，在点播场景下用户可以通过提交特技播放请求，实现视频的快速播放，针对该用户需求，较佳地，如图5所示边缘服务器可以采用下述处理方法，以获得灵活地快进非关键场景、正常播放关键场景的特技效果。
步骤x1、边缘服务器预先采用机器学习方法，按照数据帧越重要权重越大的原则，确定点播视频中每个数据帧在整个视频中的权重。
步骤x2、当边缘服务器接收到用户的对所述点播视频的特技播放点播请求后，按照预设的压缩强度与权重阈值映射关系，确定所述特技播放点播请求指定的压缩强度对应的权重阈值。
步骤x3、对于缓存中当前需要下发给所述用户的数据包，所述边缘服务器将该数据包包含的数据帧中权重小于所确定的权重阈值的数据帧丢弃，并对其中权重大于等于所确定的权重阈值的数据帧，执行编码和复用操作后，将所生成的数据包下发给相应用户设备。
上述方法中，边缘服务器需要预先采用机器学习方法，按照数据帧越重要权重越大的原则，确定每个数据帧的权重，这样，数据帧的权重越大，则其在整个视频中的重要性越大，越关键。
在实际应用中，如图6所示，可以采用机器学习方法通过对视频画面的每一帧进行分析，以当前节目段场景切换的频率是否频繁，画面动态变化是否频繁，音频数据信息量是否密集，以及在线用户看到画面的行为(如是否连续快进，是否执行跳跃播放操作)作为评判依据，决策出当前视频段数据的重要程度，以此为标准为每一帧数据设定权重值。具体采用机器学习方法确定上述权重的方法为本领域技术人员所掌握，在此不再赘述。
上述方法中，通过根据用户请求的压缩强度，将权重小于该压缩强度对应的权重阈值的数据帧删除，仅将大于该权重阈值的数据帧发送给用户设备，从而达到有选择的快速播放的效果，使得用户可以灵活地快进非关键场景，而对于关键场景则可以正常播放，如此，可以实现：在保证用户观看到节目的全部关键信息的同时，减少用户的观看时间。
在实际应用中，在点播场景下用户可以通过指定倍速播放请求，实现视频的快进播放，针对该用户需求，较佳地，如图7所示边缘服务器可以采用下述处理方法：
当边缘服务器接收到用户的指定倍速播放请求后，对于缓存中当前需要下发给所述用户的数据包，按照每N帧保留一帧数据的方式，对该数据包包含的数据帧进行剪裁，将经过所述剪裁后剩余的数据帧标识为关键帧，并对所述剩余的数据帧执行编码和复用操作后，将所生成的数据包下发给相应用户设备；其中，N为所述指定倍速播放请求指定的播放倍速。
上述方法中，需要按照每N帧保留一帧数据的方式，对数据包包含的数据帧进行剪裁，例如，对于2倍速播放请求，需要每两帧中保留一帧，对于4倍速播放请求，需要每四帧中保留一帧，如此，可以满足用户的快进播放需求。另一方面通过将所保留的数据帧标识为关键帧，可以确保快进播放的流畅性，有效避免了现有方案中由于需要过滤非关键帧而存在的快进播放不流畅问题。
在实际应用中，本领域技术人员可以根据实际需要选择每N帧中需要保留的数据帧，例如可以是每N帧中的第一帧数据，也可以是最后一帧数据，还可以是中间的一帧数据，在此不限。
需要说明的是，如图8所示，本申请还可以可与CMAF标准协同工作，即，在边缘服务器中可以采用上述方法对CMAF标准块进行预处理(即边缘服务器处理的数据包可以是CMAF标准块)，以达到进一步降低启动延迟和播放延迟的效果。
本发明实施例还提供了一种多媒体流数据的传输控制装置，设置于边缘服务器中，其特征在于，包括：处理器，所述处理器用于：
当边缘服务器接收到内容服务器下发的实时视频的首个数据包时，将当前时刻记录为第一时刻；
检测当前接收的所述实时视频的数据包是否包含所述第一时刻对应的数据帧，如果是，则将所述第一时刻对应的数据帧标记为关键帧，对该关键帧以及当前所述数据包包含的数据帧序列中在该关键帧之后的所有数据帧，重新执行编码和复用操作后，将所生成的数据包下发给相应用户设备；否则，丢弃当前接收的所述数据包，并在接收到下一个所述实时视频的数据包时重新执行本步骤。
较佳地，所述实时视频包括：实况转播的视频和直播视频。
较佳地，所述处理器进一步用于：
当边缘服务器接收到用户的点播请求时，检测当前缓存中是否存在所述点播请求指定的起始播放位置对应的数据帧，如果有，则对缓存中的相应数据帧执行内容处理操作，否则，从所述内容服务器获取所述点播请求对应的数据帧，并对所述获取的数据帧执行所述内容处理操作；
所述内容处理操作包括：
将所述起始播放位置对应的数据帧标识为关键帧，并对该关键帧和其后的数据帧，执行编码和复用操作后，将所生成的数据包下发给相应用户设备。
较佳地，所述处理器进一步用于：
所述边缘服务器预先采用机器学习方法，按照数据帧越重要权重越大的原则，确定点播视频中每个数据帧在整个视频中的权重；
当边缘服务器接收到用户的对所述点播视频的特技播放点播请求后，按照预设的压缩强度与权重阈值映射关系，确定所述特技播放点播请求指定的压缩强度对应的权重阈值；
对于缓存中当前需要下发给所述用户的数据包，将该数据包包含的数据帧中权重小于所确定的权重阈值的数据帧丢弃，并对其中权重大于等于所确定的权重阈值的数据帧，执行编码和复用操作后，将所生成的数据包下发给相应用户设备。
较佳地，所述处理器进一步用于：
当边缘服务器接收到用户的指定倍速播放请求后，对于缓存中当前需要下发给所述用户的数据包，按照每N帧保留一帧数据的方式，对该数据包包含的数据帧进行剪裁，将经过所述剪裁后剩余的数据帧标识为关键帧，并对所述剩余的数据帧执行编码和复用操作后，将所生成的数据包下发给相应用户设备；其中，N为所述指定倍速播放请求指定的播放倍速。
本发明实施例还公开了一种非易失性计算机可读存储介质，所述非易失性计算机可读存储介质存储指令，所述指令在由处理器执行时使得所述处理器执行如前所述的多媒体流数据的传输控制方法的步骤。
综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (12)

1.一种多媒体流数据的传输控制方法，其特征在于，包括：
当边缘服务器接收到内容服务器下发的实时视频的首个数据包时，将当前时刻记录为第一时刻；
所述边缘服务器检测当前接收的所述实时视频的数据包是否包含所述第一时刻对应的数据帧，如果是，则将所述第一时刻对应的数据帧标记为关键帧，对该关键帧以及当前所述数据包包含的数据帧序列中在该关键帧之后的所有数据帧，重新执行编码和复用操作后，将所生成的数据包下发给相应用户设备；否则，丢弃当前接收的所述数据包，并在接收到下一个所述实时视频的数据包时重新执行本步骤。
2.根据权利要求1所述的方法，其特征在于，所述实时视频包括：实况转播的视频和直播视频。
3.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：
当边缘服务器接收到用户的点播请求时，检测当前缓存中是否存在所述点播请求指定的起始播放位置对应的数据帧，如果有，则对缓存中的相应数据帧执行内容处理操作，否则，从所述内容服务器获取所述点播请求对应的数据帧，并对所述获取的数据帧执行所述内容处理操作；
所述内容处理操作包括：
将所述起始播放位置对应的数据帧标识为关键帧，并对该关键帧和其后的数据帧，执行编码和复用操作后，将所生成的数据包下发给相应用户设备。
4.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：
所述边缘服务器预先采用机器学习方法，按照数据帧越重要权重越大的原则，确定点播视频中每个数据帧在整个视频中的权重；
当边缘服务器接收到用户的对所述点播视频的特技播放点播请求后，按照预设的压缩强度与权重阈值映射关系，确定所述特技播放点播请求指定的压缩强度对应的权重阈值；
对于缓存中当前需要下发给所述用户的数据包，所述边缘服务器将该数据包包含的数据帧中权重小于所确定的权重阈值的数据帧丢弃，并对其中权重大于等于所确定的权重阈值的数据帧，执行编码和复用操作后，将所生成的数据包下发给相应用户设备。
5.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：
当边缘服务器接收到用户的指定倍速播放请求后，对于缓存中当前需要下发给所述用户的数据包，所述边缘服务器按照每N帧保留一帧数据的方式，对该数据包包含的数据帧进行剪裁，将经过所述剪裁后剩余的数据帧标识为关键帧，并对所述剩余的数据帧执行编码和复用操作后，将所生成的数据包下发给相应用户设备；其中，N为所述指定倍速播放请求指定的播放倍速。
6.一种多媒体流数据的传输控制装置，设置于边缘服务器中，其特征在于，包括：处理器，所述处理器用于：
当边缘服务器接收到内容服务器下发的实时视频的首个数据包时，将当前时刻记录为第一时刻；
检测当前接收的所述实时视频的数据包是否包含所述第一时刻对应的数据帧，如果是，则将所述第一时刻对应的数据帧标记为关键帧，对该关键帧以及当前所述数据包包含的数据帧序列中在该关键帧之后的所有数据帧，重新执行编码和复用操作后，将所生成的数据包下发给相应用户设备；否则，丢弃当前接收的所述数据包，并在接收到下一个所述实时视频的数据包时重新执行本步骤。
7.根据权利要求6所述的装置，其特征在于，所述实时视频包括：实况转播的视频和直播视频。
8.根据权利要求6所述的装置，其特征在于，所述处理器进一步用于：
当边缘服务器接收到用户的点播请求时，检测当前缓存中是否存在所述点播请求指定的起始播放位置对应的数据帧，如果有，则对缓存中的相应数据帧执行内容处理操作，否则，从所述内容服务器获取所述点播请求对应的数据帧，并对所述获取的数据帧执行所述内容处理操作；
所述内容处理操作包括：
将所述起始播放位置对应的数据帧标识为关键帧，并对该关键帧和其后的数据帧，执行编码和复用操作后，将所生成的数据包下发给相应用户设备。
9.根据权利要求6所述的装置，其特征在于，所述处理器进一步用于：
所述边缘服务器预先采用机器学习方法，按照数据帧越重要权重越大的原则，确定点播视频中每个数据帧在整个视频中的权重；
当边缘服务器接收到用户的对所述点播视频的特技播放点播请求后，按照预设的压缩强度与权重阈值映射关系，确定所述特技播放点播请求指定的压缩强度对应的权重阈值；
对于缓存中当前需要下发给所述用户的数据包，将该数据包包含的数据帧中权重小于所确定的权重阈值的数据帧丢弃，并对其中权重大于等于所确定的权重阈值的数据帧，执行编码和复用操作后，将所生成的数据包下发给相应用户设备。
10.根据权利要求6所述的装置，其特征在于，所述处理器进一步用于：
当边缘服务器接收到用户的指定倍速播放请求后，对于缓存中当前需要下发给所述用户的数据包，按照每N帧保留一帧数据的方式，对该数据包包含的数据帧进行剪裁，将经过所述剪裁后剩余的数据帧标识为关键帧，并对所述剩余的数据帧执行编码和复用操作后，将所生成的数据包下发给相应用户设备；其中，N为所述指定倍速播放请求指定的播放倍速。
11.一种非易失性计算机可读存储介质，所述非易失性计算机可读存储介质存储指令，其特征在于，所述指令在由处理器执行时使得所述处理器执行如权利要求1至5中任一项所述的多媒体流数据的传输控制方法的步骤。
12.一种电子设备，其特征在于，包括如权利要求11所述的非易失性计算机可读存储介质、以及可访问所述非易失性计算机可读存储介质的所述处理器。
CN201910559977.XA 2019-06-26 2019-06-26 一种多媒体流数据的播放方法和装置 Pending CN110266706A (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201910559977.XA CN110266706A (zh) 2019-06-26 2019-06-26 一种多媒体流数据的播放方法和装置
CN201911011474.5A CN111064698B (zh) 2019-06-26 2019-10-23 一种多媒体流数据的播放方法和装置
PCT/KR2020/008384 WO2020263025A1 (en) 2019-06-26 2020-06-26 Method and apparatus for playing multimedia streaming data
EP20830617.5A EP3970384B1 (en) 2019-06-26 2020-06-26 Method and apparatus for playing multimedia streaming data
US17/549,283 US11870831B2 (en) 2019-06-26 2021-12-13 Method and apparatus for playing multimedia streaming data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910559977.XA CN110266706A (zh) 2019-06-26 2019-06-26 一种多媒体流数据的播放方法和装置

Publications (1)

Publication Number Publication Date
CN110266706A true CN110266706A (zh) 2019-09-20

Family

ID=67921742

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201910559977.XA Pending CN110266706A (zh) 2019-06-26 2019-06-26 一种多媒体流数据的播放方法和装置
CN201911011474.5A Active CN111064698B (zh) 2019-06-26 2019-10-23 一种多媒体流数据的播放方法和装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201911011474.5A Active CN111064698B (zh) 2019-06-26 2019-10-23 一种多媒体流数据的播放方法和装置

Country Status (4)

Country Link
US (1) US11870831B2 (zh)
EP (1) EP3970384B1 (zh)
CN (2) CN110266706A (zh)
WO (1) WO2020263025A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022105597A1 (zh) * 2020-11-20 2022-05-27 北京字跳网络技术有限公司 视频倍速播放方法、装置、电子设备及存储介质

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6445738B1 (en) 1996-04-25 2002-09-03 Opentv, Inc. System and method for creating trick play video streams from a compressed normal play video bitstream
JP3964872B2 (ja) * 2001-10-29 2007-08-22 エムピーネット・インターナショナル・インコーポレイテッド マルチメディア通信のためのデータ構造、方法及びシステム
US7562375B2 (en) 2003-10-10 2009-07-14 Microsoft Corporation Fast channel change
US7668914B2 (en) * 2005-03-28 2010-02-23 Alcatel Lucent Milestone synchronization in broadcast multimedia streams
US8161159B1 (en) * 2005-10-31 2012-04-17 Adobe Systems Incorporated Network configuration with smart edge servers
KR100859705B1 (ko) 2008-02-05 2008-09-23 주식회사 셀런 임시ｉ프레임을 생성하여 라이브 멀티미디어 스트림을전송하는 방법 및 시스템
US8270358B2 (en) * 2009-01-12 2012-09-18 Radio Ip Software Inc. System and method for transmitting over multiple simultaneous communication networks by using roaming profiles
CA2789448C (en) 2010-02-11 2016-04-05 Echostar Advanced Technologies L.L.C. Systems and methods to provide trick play during streaming playback
US9510029B2 (en) 2010-02-11 2016-11-29 Echostar Advanced Technologies L.L.C. Systems and methods to provide trick play during streaming playback
CN102404650A (zh) * 2011-11-30 2012-04-04 江苏奇异点网络有限公司 在线视频的音视频同步控制方法
US8407747B1 (en) 2012-03-13 2013-03-26 Google Inc. Adaptive trick play streaming
US9794375B2 (en) * 2013-03-14 2017-10-17 Openwave Mobility, Inc. Method, apparatus, and non-transitory computer medium for obtaining a required frame size for a compressed data frame
MX350232B (es) 2013-03-15 2017-08-29 Arris Entpr Llc Definición de lista de reproducción mejorada y entrega para cambio rápido de canal con transmisión adaptable http.
US9318150B2 (en) * 2013-04-05 2016-04-19 Avid Technology, Inc. Full fidelity remote video editing
CN104284239A (zh) * 2013-07-11 2015-01-14 中兴通讯股份有限公司 一种视频播放方法、装置、视频播放客户端和多媒体服务器
US10284850B2 (en) * 2013-11-14 2019-05-07 Riversilica Technologies Pvt Ltd Method and system to control bit rate in video encoding
AU2015410096B2 (en) 2015-09-25 2019-09-26 Huawei Technologies Co., Ltd. Apparatus and method for video motion compensation
CN107801049B (zh) * 2016-09-05 2020-01-17 杭州海康威视数字技术股份有限公司 一种实时视频传送、播放方法及装置
US10630746B1 (en) * 2017-09-29 2020-04-21 Twitch Interactive, Inc. Streaming playlist including future encoded segments
EP3777201A1 (en) * 2018-04-03 2021-02-17 Universiteit Gent Creating different video stream representations

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022105597A1 (zh) * 2020-11-20 2022-05-27 北京字跳网络技术有限公司 视频倍速播放方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
US11870831B2 (en) 2024-01-09
CN111064698A (zh) 2020-04-24
EP3970384A4 (en) 2022-12-14
CN111064698B (zh) 2022-02-08
US20220103609A1 (en) 2022-03-31
EP3970384A1 (en) 2022-03-23
WO2020263025A1 (en) 2020-12-30
EP3970384B1 (en) 2024-01-31

Similar Documents

Publication Publication Date Title
CN102598688B (zh) 流式传输经编码视频数据
CN109168078B (zh) 一种视频清晰度切换方法及装置
US9510043B2 (en) Pre-buffering audio streams
EP1204277B1 (en) Subliminally embedded keys in video for synchronization
CN103843301B (zh) 经译码多媒体数据的网络串流期间的表示之间的切换
WO2021147448A1 (zh) 一种视频数据处理方法、装置及存储介质
CN104394426B (zh) 流媒体倍速播放方法和装置
CN109565620A (zh) 低延迟http实时流传输
CN108322775A (zh) 媒体流传输期间在适配集合间的切换方法和装置
US20100070643A1 (en) Delivery of synchronized metadata using multiple transactions
CN103814562A (zh) 用信号表示片段的特性以用于媒体数据的网络流式传输
CN102740159A (zh) 媒体文件存储格式和自适应传送系统
CN108040286A (zh) 视频预览方法、装置、电子设备和计算机可读存储介质
US20180192090A1 (en) Method of implementing audio and video live broadcast and server
CN113330751B (zh) 用于媒体片段大小和优先级排名的存储和信令的方法和装置
CN101917613A (zh) 一种流媒体采集编码服务系统
US20230379531A1 (en) Systems, apparatus and methods for rendering digital content
CN109168020A (zh) 基于直播的视频处理方法、装置、计算设备和存储介质
CN108337553A (zh) 一种多媒体数据预下载方法
CN108307248B (zh) 视频播放方法、装置、计算设备及存储介质
CN105979354A (zh) 一种频道切换方法及装置
CN110266706A (zh) 一种多媒体流数据的播放方法和装置
WO2020188142A1 (en) Method and apparatus for grouping entities in media content
JP2023082098A (ja) 情報処理装置および情報処理方法
CN103888788A (zh) 一种基于双向机顶盒的虚拟旅游服务系统及实现方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190920