CN111064698A - 一种多媒体流数据的播放方法和装置 - Google Patents

一种多媒体流数据的播放方法和装置 Download PDF

Info

Publication number
CN111064698A
CN111064698A CN201911011474.5A CN201911011474A CN111064698A CN 111064698 A CN111064698 A CN 111064698A CN 201911011474 A CN201911011474 A CN 201911011474A CN 111064698 A CN111064698 A CN 111064698A
Authority
CN
China
Prior art keywords
data
data packet
frame
video
user equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911011474.5A
Other languages
English (en)
Other versions
CN111064698B (zh
Inventor
吴迪
孙晔
黄思远
朱春波
邹烈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics China R&D Center
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics China R&D Center
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics China R&D Center, Samsung Electronics Co Ltd filed Critical Samsung Electronics China R&D Center
Publication of CN111064698A publication Critical patent/CN111064698A/zh
Priority to EP20830617.5A priority Critical patent/EP3970384B1/en
Priority to PCT/KR2020/008384 priority patent/WO2020263025A1/en
Priority to US17/549,283 priority patent/US11870831B2/en
Application granted granted Critical
Publication of CN111064698B publication Critical patent/CN111064698B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/765—Media network packet handling intermediate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/222—Secondary servers, e.g. proxy server, cable television Head-end
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H04N21/23106—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion involving caching operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605—Creation or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H04N21/2393—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26283—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for associating distribution time parameters to content, e.g. to generate electronic program guide data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请公开了一种多媒体流数据的传输控制方法和装置，其中方法包括：当边缘服务器需要将用户设备所请求视频的数据包发送给所述用户设备时，如果当前为所述边缘服务器根据所述请求首次发送数据包，则对所述数据包进行过滤处理，将过滤处理后生成的数据包发送给所述用户设备；否则，直接将所述数据包给所述用户设备；所述视频包括点播视频和实时视频；所述用户设备根据接收到的所述数据包，直接进行视频播放。采用本发明，可以有效减少实时视频的播放延时。

Description

一种多媒体流数据的播放方法和装置
技术领域
本发明涉及计算机应用技术，特别是涉及一种多媒体流数据的播放方法和装置。
背景技术
近些年来，全球互联网流量急剧增长。视频是这一增长的主要贡献者，并将继续主导网络流量。这一趋势是智能手机、平板电脑、游戏设备和智能电视等设备用于访问视频内容的普及结果。根据Cisco公司的预测，未来的网络流量将呈指数增长态势，到2021年全球上网用户将达到46亿，网络接入设备将达到271亿，视频数据的访问占用比例将从当前的73％提升到82％，每月产生的数据量将突破190EB(1EB等于230GB)。庞大的数据量将对通信网络和数据传输系统产生巨大的压力。
随着移动上下行带宽提升及资费的下调，视频直播被赋予了更多娱乐和社交的属性，人们享受随时随地进行直播和观看，主播不满足于单向的直播，观众则更渴望互动，直播的打开时间和延迟变成了影响产品功能发展重要指标。
发明人在实现本发明的过程中发现现有的视频播放方案存在播放延时较大的问题。主要原因分析如下：
由于视频显示的限制，画面必须从关键帧开始播放，否则就会出现花屏和马赛克的问题。为此，内容服务器在构建首个数据包时需要以关键帧为起始帧。但是由于网络带宽的限制，视频数据中的关键帧必然无法做到非常密集。这样，首个数据包的起始帧对应的时间点可能会和用户请求视频的时间点相差较大，如此，将会导致用户客户端下载到的数据有部分过期数据需要丢弃或者开始播放的画面不准确的问题。
发明内容
有鉴于此，本发明的主要目的在于提供一种多媒体流数据的传输控制方法和装置，可以有效减少视频播放时延。
为了达到上述目的，本发明提出的技术方案为：
一种多媒体流数据的传输控制方法，包括：
当边缘服务器需要将用户设备所请求视频的数据包发送给所述用户设备时，如果当前为所述边缘服务器根据所述请求首次发送数据包，则对所述数据包进行过滤处理，将过滤处理后生成的数据包发送给所述用户设备；否则，直接将所述数据包给所述用户设备；所述视频包括点播视频和实时视频；
所述用户设备根据接收到的所述数据包，直接进行视频播放。
较佳地，当所述视频为实时视频时，所述过滤处理包括：
所述边缘服务器检测所述数据包是否包含第一时刻对应的数据帧，如果是，则将所述第一时刻对应的数据帧作为起始帧，对该起始帧以及所述数据包中在该起始帧之后的所有数据帧，按照预设的数据包生成方式，执行编码和复用操作后，将所生成的数据包下发给所述用户设备；否则，丢弃当前接收的所述数据包，并在接收到下一个所述实时视频的数据包时重新执行本步骤；其中，所述第一时刻为所述边缘服务器接收到所述内容服务器下发的所述视频的首个数据包的时刻。
较佳地，当所述视频为实时视频时，所述过滤处理包括：
所述边缘服务器检测所述数据包是否包含第一时刻对应的数据帧，如果是，则将所述第一时刻对应的数据帧作为起始帧，对该起始帧以及所述数据包中在该起始帧之后的数据帧，按照预设的数据包生成方式，执行编码和复用操作后，将所生成的数据包下发给所述用户设备；其中，所述第一时刻为所述用户设备向所述内容服务器请求所述视频的时刻。
较佳地，当所述视频为点播视频时，所述过滤处理包括：
将所述数据包中第二时刻对应的数据帧作为起始帧，并对该起始帧和所述数据包中该起始帧之后的数据帧，按照预设的数据包生成方式，执行编码和复用操作后，将所生成的数据包下发给所述用户设备，所述第二时刻为所述用户设备发送所述请求时指定的起始播放时刻。
较佳地，所述数据包生成方式包括：
如果数据帧序列包含关键帧，且起始帧不是关键帧，则对其中第一个关键帧之前的所有数据帧进行重新编码，将所述重新编码的数据帧，以及数据帧序列中未重新编码的数据帧，一起进行复用打包，得到相应的数据包；其中，所述数据帧序列由用于生成数据包的所有数据帧组成；
如果所述数据帧序列的起始帧为关键帧，则将所述数据帧序列中的所有数据帧一起进行复用打包，得到相应的数据包；
如果所述数据帧序列不包含关键帧，则对所有数据帧进行重新编码，将重新编码的数据帧一起进行复用打包，得到相应的数据包。
较佳地，所述方法进一步包括：
当边缘服务器接收到用户的点播请求时，检查当前缓存中是否存在所述点播请求指定的起始播放时刻对应的数据包，如果有，则从缓存中获取所述点播请求对应的数据包，否则，从所述内容服务器中获取所述点播请求对应的数据包。
较佳地，所述方法进一步包括：
所述边缘服务器预先采用机器学习方法，按照数据帧越重要权重越大的原则，确定点播视频中每个数据帧在整个视频中的权重；
当边缘服务器接收到用户的对所述点播视频的特技播放点播请求后，按照预设的压缩强度与权重阈值映射关系，确定所述特技播放点播请求指定的压缩强度对应的权重阈值；对于缓存中当前需要下发给所述用户的数据包，所述边缘服务器将该数据包包含的数据帧中权重小于所确定的权重阈值的数据帧丢弃，并对其中权重大于等于所确定的权重阈值的数据帧，执行编码和复用操作后，将所生成的数据包下发给相应用户设备。
较佳地，所述方法进一步包括：
当边缘服务器接收到用户的指定倍速播放请求后，对于缓存中当前需要下发给所述用户的数据包，所述边缘服务器按照每N帧保留一帧数据的方式，对该数据包包含的数据帧进行剪裁，并对所述剪裁后保留的数据帧，执行编码和复用操作后，将所生成的数据包下发给相应用户设备；其中，N为所述指定倍速播放请求指定的播放倍速。
一种多媒体流数据的传输控制装置，设置于边缘服务器中，包括：处理器，所述处理器用于：
当需要将用户设备所请求视频的数据包发送给所述用户设备时，如果当前为所述边缘服务器根据所述请求首次发送数据包，则对所述数据包进行过滤处理，将过滤处理后生成的数据包发送给所述用户设备；否则，直接将所述数据包给所述用户设备；所述视频包括点播视频和实时视频。
较佳地，所述处理器具体用于当所述视频为实时视频时，进行所述过滤处理，包括：
检测所述数据包是否包含第一时刻对应的数据帧，如果是，则将所述第一时刻对应的数据帧作为起始帧，对该起始帧以及所述数据包中在该起始帧之后的所有数据帧，按照预设的数据包生成方式，执行编码和复用操作后，将所生成的数据包下发给所述用户设备；否则，丢弃当前接收的所述数据包，并在接收到下一个所述实时视频的数据包时重新执行本步骤；其中，所述第一时刻为所述边缘服务器接收到所述内容服务器下发的所述视频的首个数据包的时刻。
较佳地，所述处理器具体用于当所述视频为实时视频时，进行所述过滤处理，包括：
所述边缘服务器检测当前接收的所述实时视频的数据包是否包含第一时刻对应的数据帧，如果是，则将所述第一时刻对应的数据帧作为起始帧，对该起始帧以及所述数据包中在该起始帧之后的数据帧，按照预设的数据包生成方式，执行编码和复用操作后，将所生成的数据包下发给所述用户设备；其中，所述第一时刻为所述用户设备向所述内容服务器请求所述视频的时刻。
较佳地，所述处理器具体用于当所述视频为点播视频时，进行所述过滤处理，包括：
将所述数据包中第二时刻对应的数据帧作为起始帧，并对该起始帧和所述数据包中该起始帧之后的数据帧，按照预设的数据包生成方式，执行编码和复用操作后，将所生成的数据包下发给所述用户设备，所述第二时刻为所述用户设备发送所述请求时指定的起始播放时刻。
较佳地，所述数据包生成方式包括：
如果数据帧序列包含关键帧，且起始帧不是关键帧，则对其中第一个关键帧之前的所有数据帧进行重新编码，将所述重新编码的数据帧，以及数据帧序列中未重新编码的数据帧，一起进行复用打包，得到相应的数据包；其中，所述数据帧序列由用于生成数据包的所有数据帧组成；
如果所述数据帧序列的起始帧为关键帧，则将所述数据帧序列中的所有数据帧一起进行复用打包，得到相应的数据包；
如果所述数据帧序列不包含关键帧，则对所有数据帧进行重新编码，将重新编码的数据帧一起进行复用打包，得到相应的数据包。
较佳地，所述处理器进一步用于：
当边缘服务器接收到用户的点播请求时，检查当前缓存中是否存在所述点播请求指定的起始播放时刻对应的数据包，如果有，则从缓存中获取所述点播请求对应的数据包，否则，从所述内容服务器中获取所述点播请求对应的数据包。
较佳地，所述处理器进一步用于：预先采用机器学习方法，按照数据帧越重要权重越大的原则，确定点播视频中每个数据帧在整个视频中的权重；当接收到用户的对所述点播视频的特技播放点播请求后，按照预设的压缩强度与权重阈值映射关系，确定所述特技播放点播请求指定的压缩强度对应的权重阈值；对于缓存中当前需要下发给所述用户的数据包，将该数据包包含的数据帧中权重小于所确定的权重阈值的数据帧丢弃，并对其中权重大于等于所确定的权重阈值的数据帧，执行编码和复用操作后，将所生成的数据包下发给相应用户设备。
较佳地，所述处理器进一步用于：
当接收到用户的指定倍速播放请求后，对于缓存中当前需要下发给所述用户的数据包，按照每N帧保留一帧数据的方式，对该数据包包含的数据帧进行剪裁，并对所述剪裁后保留的数据帧，执行编码和复用操作后，将所生成的数据包下发给相应用户设备；其中，N为所述指定倍速播放请求指定的播放倍速。
本申请实施例还提供了一种非易失性计算机可读存储介质，所述非易失性计算机可读存储介质存储指令，所述指令在由处理器执行时使得所述处理器执行如上所述的多媒体流数据的传输控制方法的步骤。
本申请实施例还提供了一种电子设备，包括如上所述的非易失性计算机可读存储介质、以及可访问所述非易失性计算机可读存储介质的所述处理器。
综上所述，在本发明提出的多媒体流数据的传输控制方法和装置中，边缘服务器在根据用户设备的视频请求首次向用户发送数据包时，需要先对该数据包进行过滤处理，再将过滤处理后生成的数据包发送给所述用户设备。如此，通过由边缘服务器预先对发送给用户设备的首个数据包进行过滤处理，一方面，可以较大程度地减少用户设备下载到的首个数据包所包含的过期数据帧数量，另一方面，用户设备不需要再对首个数据包中的数据帧进行处理，直接就可以进行相应的视频播放，因此可以减少用户设备播放视频时的处理开销。因此，本发明既可以有效提高用户设备播放视频的启动速度、降低视频播放时延，又可以降低视频播放时用户设备的处理开销。
附图说明
图1为本发明实施例的方法流程示意图；
图2为本发明实施例的特技播放场景示意图；
图3为本发明实施例的精准倍速播放场景示意图；
图4为本发明实施例在直播场景或点播场景快速启动时，对数据包进行预处理的流程示意图；
图5是本发明实施例在点播场景特技播放时，对数据包进行预处理的流程示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图及具体实施例对本发明作进一步地详细描述。
图1为本发明实施例的方法流程示意图，如图1所示，该实施例实现的多媒体流数据的传输控制方法主要包括：
步骤101、当边缘服务器需要将用户设备所请求视频的数据包发送给所述用户设备时，如果当前为所述边缘服务器根据所述请求首次发送数据包，则对所述数据包进行过滤处理，将过滤处理后生成的数据包发送给所述用户设备；否则，直接将所述数据包给所述用户设备；所述视频包括点播视频和实时视频。
本步骤中，介于用户的播放端设备(如电视机顶盒、个人计算机、平板电脑、手机或者其他终端设备)和内容服务器之间的边缘服务器需要将用户设备所请求视频的数据包发送给所述用户设备时，如果当前为所述边缘服务器根据所述请求首次发送数据包，则对所述数据包进行过滤处理，将过滤处理后生成的数据包发送给所述用户设备；否则，直接将所述数据包透传给所述用户设备即可。如此，通过由边缘服务器预先对发送给用户设备的首个数据包进行过滤处理，一方面，可以较大程度地减少用户设备下载到的首个数据包所包含的过期数据帧数量，进而减少播放时延、提高视频启动速度，另一方面，用户设备不需要再对首个数据包中的数据帧进行处理，直接就可以进行相应的视频播放，因此可以减少用户设备播放视频时的处理开销。
在实际应用中，所述视频可以为点播视频，也可以为实时视频。所述实时视频具体可以为实况转播的视频或者是直播视频。
较佳地，当所述视频为实时视频时，步骤101中可以采用下述两种方法进行所述过滤处理：
方法一、边缘服务器检测所述数据包是否包含第一时刻对应的数据帧，如果是，则将所述第一时刻对应的数据帧作为起始帧，对该起始帧以及所述数据包包含的数据帧序列中在该起始帧之后的数据帧，按照预设的数据包生成方式，执行编码和复用操作后，将所生成的数据包下发给所述用户设备；否则，丢弃当前接收的所述数据包，并在接收到下一个所述实时视频的数据包时重新执行本步骤。
较佳地，为了最大程度地实现用户设备对视频的快速启动，所述第一时刻可以为用户设备向所述内容服务器请求所述视频的时刻。
进一步地，所述第一时刻也可以为所述边缘服务器接收到所述内容服务器下发的所述视频的首个数据包的时刻。如此，对于实时视频，在可以在快速启动视频的同时，最大程度地实现实时视频的同步播放。
较佳地，可以在最小范围内进行数据帧的重新编码，以减少重新编码的数据量，进而减少用户设备的处理开销。具体可以采用下述数据包生成方式实现这一目的：
如果数据帧序列包含关键帧，且起始帧不是关键帧，则对所述数据帧序列中第一个关键帧之前的所有数据帧进行重新编码，将所述重新编码的数据帧，以及数据帧序列中未重新编码的数据帧，一起进行复用打包，得到相应的数据包；其中，所述数据帧序列由用于生成数据包的所有数据帧组成；
如果所述数据帧序列的起始帧为关键帧，则将所述数据帧序列中的所有数据帧一起进行复用打包，得到相应的数据包；
如果所述数据帧序列不包含关键帧，则对所有数据帧进行重新编码，将重新编码的数据帧一起进行复用打包，得到相应的数据包。
这里需要说明的是，在上述数据包生成方式中，如果起始帧不是关键帧，则需要执行重新编码，以使起始帧成为关键帧，从而可以避免视频播放时出现花屏和马赛克的问题。
上述方法一中，如图3所示，边缘服务器需要对包含了所述第一时刻对应的数据帧的数据包进行处理，将其中的第一时刻对应的数据帧作为起始帧，并且，仅将该数据包中该起始帧以及该起始帧之后的数据帧进行重新打包，将该重新生成的包作为下发给用户的第一个数据包发送给用户，这样，通过边缘服务器的上述预处理，使得该数据包中的第一个数据帧与所述第一时刻相对应，一方面，客户端可以直接从第一个数据帧进行播放，有效缩短了视频启动时间，另一方面，有效减少了发送给用户的第一个数据包携带的过期数据帧数量，使得播放端的视频播放进度较大程度地与实时视频的录制进度相接近，有效减少了视频播放时延，从而可以满足用户的实时视频同步播放需求。
在实际应用中，边缘服务器收到数据包后，需要通过对数据包进行解复用解码处理，得到数据包所包含的数据帧序列，具体方法为本领域技术人员所掌握，在此不再赘述。
方法二、边缘服务器检测所述数据包是否包含第一时刻对应的数据帧，如果是，则将所述第一时刻对应的数据帧作为起始帧，对该起始帧以及所述数据包包含的数据帧序列中在该起始帧之后的数据帧，按照预设的数据包生成方式，执行编码和复用操作后，将所生成的数据包下发给所述用户设备；其中，所述第一时刻为所述用户设备向所述内容服务器请求所述视频的时刻。
较佳地，上述方法二中可以采用与方法一相同的数据包生成方式。
较佳地，当所述视频为点播视频时，步骤101中可以采用下述方法进行所述过滤处理：
将所述数据包中第二时刻对应的数据帧作为起始帧，并对该起始帧和所述数据包中该起始帧之后的数据帧，按照预设的数据包生成方式，执行编码和复用操作后，将所生成的数据包下发给所述用户设备，所述第二时刻为所述用户设备发送所述请求时指定的起始播放时刻。
较佳地，上述方法中可以采用与上述方法一相同的数据包生成方式。
上述方法中，通过将用户点播请求指定的起始播放时刻对应的数据帧作为起始帧，再执行编码和复用操作后，如此可以使得起始帧为关键帧且其对应的时刻即为点播请求指定的起始播放的时刻，从而使得用户端在播放相应视频时，能够从该起始播放时刻对应的数据帧进行播放，而不是从与该起始播放位置最接近的关键帧开始，从而可以提高视频点播的准确性并且有效缩短点播的响应时间。
从上述过滤处理方法可以看出，通过过滤处理，一方面可以减少过期数据帧的数据量，另一方面可以确保数据包中的第一个帧为关键帧，这样，用户设备收到数据包后直接播放即可。
步骤102、所述用户设备根据接收到的所述数据包，直接进行视频播放。
本步骤中，由于用户设备所接收到的首个数据包是由边缘服务器处理过的数据包，该数据包中的第一个数据帧将会是关键帧，因此，直接根据数据包进行视频播放即可，而不需要进行播放前的数据帧处理，从而可以加快视频播放的启动，
在实际应用中，在点播场景下用户可以通过提交特技播放请求，实现视频的快速播放，针对该用户需求，较佳地，如图2所示边缘服务器可以采用下述处理方法，以获得灵活地快进非关键场景、正常播放关键场景的特技效果。
步骤x1、边缘服务器预先采用机器学习方法，按照数据帧越重要权重越大的原则，确定点播视频中每个数据帧在整个视频中的权重。
步骤x2、当边缘服务器接收到用户的对所述点播视频的特技播放点播请求后，按照预设的压缩强度与权重阈值映射关系，确定所述特技播放点播请求指定的压缩强度对应的权重阈值；对于缓存中当前需要下发给所述用户的数据包，所述边缘服务器将该数据包包含的数据帧中权重小于所确定的权重阈值的数据帧丢弃，并对其中权重大于等于所确定的权重阈值的数据帧，执行编码和复用操作后，将所生成的数据包下发给相应用户设备。
上述方法中，边缘服务器需要预先采用机器学习方法，按照数据帧越重要权重越大的原则，确定每个数据帧的权重，这样，数据帧的权重越大，则其在整个视频中的重要性越大，越关键。
在实际应用中，可以采用机器学习方法通过对视频画面的每一帧进行分析，以当前节目段场景切换的频率是否频繁，画面动态变化是否频繁，音频数据信息量是否密集，以及在线用户看到画面的行为(如是否连续快进，是否执行跳跃播放操作)作为评判依据，决策出当前视频段数据的重要程度，以此为标准为每一帧数据设定权重值。具体采用机器学习方法确定上述权重的方法为本领域技术人员所掌握，在此不再赘述。
上述方法中，通过根据用户请求的压缩强度，将权重小于该压缩强度对应的权重阈值的数据帧删除，仅将大于该权重阈值的数据帧发送给用户设备，从而达到有选择的快速播放的效果，使得用户可以灵活地快进非关键场景，而对于关键场景则可以正常播放，如此，可以实现：在保证用户观看到节目的全部关键信息的同时，减少用户的观看时间。
在实际应用中，在点播场景下用户可以通过指定倍速播放请求，实现视频的快进播放，针对该用户需求，较佳地，如图3所示边缘服务器可以采用下述处理方法：
当边缘服务器接收到用户的指定倍速播放请求后，对于缓存中当前需要下发给所述用户的数据包，所述边缘服务器按照每N帧保留一帧数据的方式，对该数据包包含的数据帧进行剪裁，并对所述剪裁后保留的数据帧，执行编码和复用操作后，将所生成的数据包下发给相应用户设备；其中，N为所述指定倍速播放请求指定的播放倍速。
这里需要说明的是，上述方法中是将剪裁后保留的所有数据帧，统一执行编码和复用操作，如此，根据现有的数据包生成方法可以保证所生成的包中的起始数据帧一定为关键帧，因此，这里不需要再专门进行关键帧的标识。
上述方法中，需要按照每N帧保留一帧数据的方式，对数据包包含的数据帧进行剪裁，例如，对于2倍速播放请求，需要每两帧中保留一帧，对于4倍速播放请求，需要每四帧中保留一帧，如此，可以满足用户的快进播放需求。
在实际应用中，本领域技术人员可以根据实际需要选择每N帧中需要保留的数据帧，例如可以是每N帧中的第一帧数据，也可以是最后一帧数据，还可以是中间的一帧数据，在此不限。
下面通过三种具体场景下的实现示例对上述方法实施例的具体实现进行阐述。
实施例一、用户观看直播流：
Step 1：用户端开始观看直播流。
Step 2：边缘服务器检测数据包是否是起始包，如果是起始包，进行Step3和Step4的处理，否则不需要进行任何处理直接将数据包下发给用户。
Step 3：如图4所示，对起始包进行解复用，并对解复用后的数据帧进行Step3.1和Step3.2的处理。
Step 3.1：对数据帧进行解码，判断数据帧的显示时间和第一时刻的关系，如果其显示时间小于第一时刻，丢弃该数据帧，如果其显示时间等于第一时刻，将其编码成关键帧，如果其显示时间大于第一时刻，将其编码成非关键帧。
这里的第一时刻为所述用户设备向所述内容服务器请求所述视频的时刻。
Step 3.2：重复Step3.1，直到遇到显示时间大于第一时刻的一个关键帧或者起始包结束。
Step 4：重新将数据进行复用，打包成新的数据包下发给用户。
Step 5：用户收到新的数据包后解复用解码，取得的数据可以立即显示，无需丢弃过期帧数据，达到直播低延迟的效果。
实施例二、用户观看点播流时做指定播放位置操作：
Step 1：用户在观看点播流时做指定播放位置操作，向内容服务器请求数据，并向边缘服务器发送指定播放位置信息。
Step 2：边缘服务器检测数据包是否是包含指定播放位置内容的数据包，如果是则进行Step3和Step4的处理，否则不进行任何处理直接将数据包下发给用户。
Step 3：如图4所示，对数据包进行解复用，并对解复用后的数据帧进行Step3.1和Step3.2的处理。
Step 3.1：对数据帧进行解码，判断其显示时间和指定播放时间的关系，如果其显示时间小于指定播放时间，丢弃该数据帧，如果其显示时间等于指定播放时间，将其编码成关键帧，如果其显示时间大于指定播放时间，将其编码成非关键帧。
Step 3.2：重复Step3.1，直到遇到显示时间大于指定播放时间的一个关键帧或者起始包结束。
Step 4：重新将数据帧进行复用，打包成新的数据包下发给用户。
Step 5：用户收到数据包，可以直接进行处理并显示，达到用户端快速显示和精确Seek的效果。
实施例三、用户观看点播流时，请求快速播放：
Step 1：用户将快速播放要求发送给边缘服务器。
Step 2：边缘服务器接收到特技播放请求后，根据具体的请求得到多媒体数据压缩边界值，并对每个数据包进行Step3处理，直到接收到快速播放取消请求。
Step 3：如图5所示，对数据包进行解复用，并对解复用后的每一个数据帧进行Step3.1的处理。
Step 3.1：对数据帧进行解码，对解码后的数据进行分析，得到一个表示当前帧内容重要程度的权值，如果该权值大于Step2中得到的压缩边界值，则对其进行压缩，否则丢弃。
Step 4：将数据帧进行复用，打包成新的数据包下发给用户。
Step 5：用户收到数据包后无需进行任何处理直接播放，达到快速播放效果。
本发明实施例还提供了一种与上述方法实施例对应的多媒体流数据的传输控制装置，设置于边缘服务器中，其特征在于，包括：处理器，所述处理器用于：
当需要将用户设备所请求视频的数据包发送给所述用户设备时，如果当前为所述边缘服务器根据所述请求首次发送数据包，则对所述数据包进行过滤处理，将过滤处理后生成的数据包发送给所述用户设备；否则，直接将所述数据包给所述用户设备；所述视频包括点播视频和实时视频。
较佳地，所述处理器具体用于当所述视频为实时视频时，进行所述过滤处理，包括：
检测所述数据包是否包含第一时刻对应的数据帧，如果是，则将所述第一时刻对应的数据帧作为起始帧，对该起始帧以及所述数据包中在该起始帧之后的所有数据帧，按照预设的数据包生成方式，执行编码和复用操作后，将所生成的数据包下发给所述用户设备；否则，丢弃当前接收的所述数据包，并在接收到下一个所述实时视频的数据包时重新执行本步骤；其中，所述第一时刻为所述边缘服务器接收到所述内容服务器下发的所述视频的首个数据包的时刻。
较佳地，所述处理器具体用于当所述视频为实时视频时，进行所述过滤处理，包括：
所述边缘服务器检测当前接收的所述实时视频的数据包是否包含第一时刻对应的数据帧，如果是，则将所述第一时刻对应的数据帧作为起始帧，对该起始帧以及所述数据包中在该起始帧之后的数据帧，按照预设的数据包生成方式，执行编码和复用操作后，将所生成的数据包下发给所述用户设备；其中，所述第一时刻为所述用户设备向所述内容服务器请求所述视频的时刻。
较佳地，所述处理器具体用于当所述视频为点播视频时，进行所述过滤处理，包括：
将所述数据包中第二时刻对应的数据帧作为起始帧，并对该起始帧和所述数据包中该起始帧之后的数据帧，按照预设的数据包生成方式，执行编码和复用操作后，将所生成的数据包下发给所述用户设备，所述第二时刻为所述用户设备发送所述请求时指定的起始播放时刻。
较佳地，所述数据包生成方式包括：
如果数据帧序列包含关键帧，且起始帧不是关键帧，则对所述数据帧序列中第一个关键帧之前的所有数据帧进行重新编码，将所述重新编码的数据帧，以及数据帧序列中未重新编码的数据帧，一起进行复用打包，得到相应的数据包；其中，所述数据帧序列由用于生成数据包的所有数据帧组成；
如果所述数据帧序列的起始帧为关键帧，则将所述数据帧序列中的所有数据帧一起进行复用打包，得到相应的数据包；
如果所述数据帧序列不包含关键帧，则对所有数据帧进行重新编码，将重新编码的数据帧一起进行复用打包，得到相应的数据包。
较佳地，所述处理器进一步用于：
当边缘服务器接收到用户的点播请求时，检查当前缓存中是否存在所述点播请求指定的起始播放时刻对应的数据包，如果有，则从缓存中获取所述点播请求对应的数据包，否则，从所述内容服务器中获取所述点播请求对应的数据包。
较佳地，所述处理器进一步用于：预先采用机器学习方法，按照数据帧越重要权重越大的原则，确定点播视频中每个数据帧在整个视频中的权重；当接收到用户的对所述点播视频的特技播放点播请求后，按照预设的压缩强度与权重阈值映射关系，确定所述特技播放点播请求指定的压缩强度对应的权重阈值；对于缓存中当前需要下发给所述用户的数据包，将该数据包包含的数据帧中权重小于所确定的权重阈值的数据帧丢弃，并对其中权重大于等于所确定的权重阈值的数据帧，执行编码和复用操作后，将所生成的数据包下发给相应用户设备。
较佳地，所述处理器进一步用于：
当接收到用户的指定倍速播放请求后，对于缓存中当前需要下发给所述用户的数据包，按照每N帧保留一帧数据的方式，对该数据包包含的数据帧进行剪裁，并对所述剪裁后保留的数据帧，执行编码和复用操作后，将所生成的数据包下发给相应用户设备；其中，N为所述指定倍速播放请求指定的播放倍速。
本发明实施例还公开了一种非易失性计算机可读存储介质，所述非易失性计算机可读存储介质存储指令，所述指令在由处理器执行时使得所述处理器执行如前所述的多媒体流数据的传输控制方法的步骤。
综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (18)

1.一种多媒体流数据的传输控制方法，其特征在于，包括：
当边缘服务器需要将用户设备所请求视频的数据包发送给所述用户设备时，如果当前为所述边缘服务器根据所述请求首次发送数据包，则对所述数据包进行过滤处理，将过滤处理后生成的数据包发送给所述用户设备；否则，直接将所述数据包给所述用户设备；所述视频包括点播视频和实时视频；
所述用户设备根据接收到的所述数据包，直接进行视频播放。
2.根据权利要求1所述的方法，其特征在于，当所述视频为实时视频时，所述过滤处理包括：
所述边缘服务器检测所述数据包是否包含第一时刻对应的数据帧，如果是，则将所述第一时刻对应的数据帧作为起始帧，对该起始帧以及所述数据包中在该起始帧之后的所有数据帧，按照预设的数据包生成方式，执行编码和复用操作后，将所生成的数据包下发给所述用户设备；否则，丢弃当前接收的所述数据包，并在接收到下一个所述实时视频的数据包时重新执行本步骤；其中，所述第一时刻为所述边缘服务器接收到所述内容服务器下发的所述视频的首个数据包的时刻。
3.根据权利要求1所述的方法，其特征在于，当所述视频为实时视频时，所述过滤处理包括：
所述边缘服务器检测所述数据包是否包含第一时刻对应的数据帧，如果是，则将所述第一时刻对应的数据帧作为起始帧，对该起始帧以及所述数据包中在该起始帧之后的数据帧，按照预设的数据包生成方式，执行编码和复用操作后，将所生成的数据包下发给所述用户设备；其中，所述第一时刻为所述用户设备向所述内容服务器请求所述视频的时刻。
4.根据权利要求1所述的方法，其特征在于，当所述视频为点播视频时，所述过滤处理包括：
将所述数据包中第二时刻对应的数据帧作为起始帧，并对该起始帧和所述数据包中该起始帧之后的数据帧，按照预设的数据包生成方式，执行编码和复用操作后，将所生成的数据包下发给所述用户设备，所述第二时刻为所述用户设备发送所述请求时指定的起始播放时刻。
5.根据权利要求2、3或4所述的方法，其特征在于，所述数据包生成方式包括：
如果数据帧序列包含关键帧，且起始帧不是关键帧，则对其中第一个关键帧之前的所有数据帧进行重新编码，将所述重新编码的数据帧，以及数据帧序列中未重新编码的数据帧，一起进行复用打包，得到相应的数据包；其中，所述数据帧序列由用于生成数据包的所有数据帧组成；
如果所述数据帧序列的起始帧为关键帧，则将所述数据帧序列中的所有数据帧一起进行复用打包，得到相应的数据包；
如果所述数据帧序列不包含关键帧，则对所有数据帧进行重新编码，将重新编码的数据帧一起进行复用打包，得到相应的数据包。
6.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：
当边缘服务器接收到用户的点播请求时，检查当前缓存中是否存在所述点播请求指定的起始播放时刻对应的数据包，如果有，则从缓存中获取所述点播请求对应的数据包，否则，从所述内容服务器中获取所述点播请求对应的数据包。
7.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：
所述边缘服务器预先采用机器学习方法，按照数据帧越重要权重越大的原则，确定点播视频中每个数据帧在整个视频中的权重；
当边缘服务器接收到用户的对所述点播视频的特技播放点播请求后，按照预设的压缩强度与权重阈值映射关系，确定所述特技播放点播请求指定的压缩强度对应的权重阈值；对于缓存中当前需要下发给所述用户的数据包，所述边缘服务器将该数据包包含的数据帧中权重小于所确定的权重阈值的数据帧丢弃，并对其中权重大于等于所确定的权重阈值的数据帧，执行编码和复用操作后，将所生成的数据包下发给相应用户设备。
8.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：
当边缘服务器接收到用户的指定倍速播放请求后，对于缓存中当前需要下发给所述用户的数据包，所述边缘服务器按照每N帧保留一帧数据的方式，对该数据包包含的数据帧进行剪裁，并对所述剪裁后保留的数据帧，执行编码和复用操作后，将所生成的数据包下发给相应用户设备；其中，N为所述指定倍速播放请求指定的播放倍速。
9.一种多媒体流数据的传输控制装置，设置于边缘服务器中，其特征在于，包括：处理器，所述处理器用于：
当需要将用户设备所请求视频的数据包发送给所述用户设备时，如果当前为所述边缘服务器根据所述请求首次发送数据包，则对所述数据包进行过滤处理，将过滤处理后生成的数据包发送给所述用户设备；否则，直接将所述数据包给所述用户设备；所述视频包括点播视频和实时视频。
10.根据权利要求9所述的装置，其特征在于，所述处理器具体用于当所述视频为实时视频时，进行所述过滤处理，包括：
检测所述数据包是否包含第一时刻对应的数据帧，如果是，则将所述第一时刻对应的数据帧作为起始帧，对该起始帧以及所述数据包中在该起始帧之后的所有数据帧，按照预设的数据包生成方式，执行编码和复用操作后，将所生成的数据包下发给所述用户设备；否则，丢弃当前接收的所述数据包，并在接收到下一个所述实时视频的数据包时重新执行本步骤；其中，所述第一时刻为所述边缘服务器接收到所述内容服务器下发的所述视频的首个数据包的时刻。
11.根据权利要求9所述的装置，其特征在于，所述处理器具体用于当所述视频为实时视频时，进行所述过滤处理，包括：
所述边缘服务器检测当前接收的所述实时视频的数据包是否包含第一时刻对应的数据帧，如果是，则将所述第一时刻对应的数据帧作为起始帧，对该起始帧以及所述数据包中在该起始帧之后的数据帧，按照预设的数据包生成方式，执行编码和复用操作后，将所生成的数据包下发给所述用户设备；其中，所述第一时刻为所述用户设备向所述内容服务器请求所述视频的时刻。
12.根据权利要求9所述的装置，其特征在于，所述处理器具体用于当所述视频为点播视频时，进行所述过滤处理，包括：
将所述数据包中第二时刻对应的数据帧作为起始帧，并对该起始帧和所述数据包中该起始帧之后的数据帧，按照预设的数据包生成方式，执行编码和复用操作后，将所生成的数据包下发给所述用户设备，所述第二时刻为所述用户设备发送所述请求时指定的起始播放时刻。
13.根据权利要求10、11或12所述的装置，其特征在于，所述数据包生成方式包括：
如果数据帧序列包含关键帧，且起始帧不是关键帧，则对其中第一个关键帧之前的所有数据帧进行重新编码，将所述重新编码的数据帧，以及数据帧序列中未重新编码的数据帧，一起进行复用打包，得到相应的数据包；其中，所述数据帧序列由用于生成数据包的所有数据帧组成；
如果所述数据帧序列的起始帧为关键帧，则将所述数据帧序列中的所有数据帧一起进行复用打包，得到相应的数据包；
如果所述数据帧序列不包含关键帧，则对所有数据帧进行重新编码，将重新编码的数据帧一起进行复用打包，得到相应的数据包。
14.根据权利要求9所述的装置，其特征在于，所述处理器进一步用于：
当边缘服务器接收到用户的点播请求时，检查当前缓存中是否存在所述点播请求指定的起始播放时刻对应的数据包，如果有，则从缓存中获取所述点播请求对应的数据包，否则，从所述内容服务器中获取所述点播请求对应的数据包。
15.根据权利要求9所述的装置，其特征在于，所述处理器进一步用于：预先采用机器学习方法，按照数据帧越重要权重越大的原则，确定点播视频中每个数据帧在整个视频中的权重；当接收到用户的对所述点播视频的特技播放点播请求后，按照预设的压缩强度与权重阈值映射关系，确定所述特技播放点播请求指定的压缩强度对应的权重阈值；对于缓存中当前需要下发给所述用户的数据包，将该数据包包含的数据帧中权重小于所确定的权重阈值的数据帧丢弃，并对其中权重大于等于所确定的权重阈值的数据帧，执行编码和复用操作后，将所生成的数据包下发给相应用户设备。
16.根据权利要求9所述的装置，其特征在于，所述处理器进一步用于：
当接收到用户的指定倍速播放请求后，对于缓存中当前需要下发给所述用户的数据包，按照每N帧保留一帧数据的方式，对该数据包包含的数据帧进行剪裁，并对所述剪裁后保留的数据帧，执行编码和复用操作后，将所生成的数据包下发给相应用户设备；其中，N为所述指定倍速播放请求指定的播放倍速。
17.一种非易失性计算机可读存储介质，所述非易失性计算机可读存储介质存储指令，其特征在于，所述指令在由处理器执行时使得所述处理器执行如权利要求1至8中任一项所述的多媒体流数据的传输控制方法的步骤。
18.一种电子设备，其特征在于，包括如权利要求17所述的非易失性计算机可读存储介质、以及可访问所述非易失性计算机可读存储介质的所述处理器。
CN201911011474.5A 2019-06-26 2019-10-23 一种多媒体流数据的播放方法和装置 Active CN111064698B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP20830617.5A EP3970384B1 (en) 2019-06-26 2020-06-26 Method and apparatus for playing multimedia streaming data
PCT/KR2020/008384 WO2020263025A1 (en) 2019-06-26 2020-06-26 Method and apparatus for playing multimedia streaming data
US17/549,283 US11870831B2 (en) 2019-06-26 2021-12-13 Method and apparatus for playing multimedia streaming data

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910559977.XA CN110266706A (zh) 2019-06-26 2019-06-26 一种多媒体流数据的播放方法和装置
CN201910559977X 2019-06-26

Publications (2)

Publication Number Publication Date
CN111064698A true CN111064698A (zh) 2020-04-24
CN111064698B CN111064698B (zh) 2022-02-08

Family

ID=67921742

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201910559977.XA Pending CN110266706A (zh) 2019-06-26 2019-06-26 一种多媒体流数据的播放方法和装置
CN201911011474.5A Active CN111064698B (zh) 2019-06-26 2019-10-23 一种多媒体流数据的播放方法和装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201910559977.XA Pending CN110266706A (zh) 2019-06-26 2019-06-26 一种多媒体流数据的播放方法和装置

Country Status (4)

Country Link
US (1) US11870831B2 (zh)
EP (1) EP3970384B1 (zh)
CN (2) CN110266706A (zh)
WO (1) WO2020263025A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112437345B (zh) * 2020-11-20 2023-03-14 北京字跳网络技术有限公司 视频倍速播放方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1893364B (zh) * 2005-03-28 2011-03-02 阿尔卡特公司 一种广播多媒体流中的关键信息同步的方法及装置
CN102404650A (zh) * 2011-11-30 2012-04-04 江苏奇异点网络有限公司 在线视频的音视频同步控制方法
US8161159B1 (en) * 2005-10-31 2012-04-17 Adobe Systems Incorporated Network configuration with smart edge servers
CN104284239A (zh) * 2013-07-11 2015-01-14 中兴通讯股份有限公司 一种视频播放方法、装置、视频播放客户端和多媒体服务器
CN105165015A (zh) * 2013-03-15 2015-12-16 艾锐势科技公司 利用http自适应流的快速信道改变的增强播放列表定义和传递
CN107801049A (zh) * 2016-09-05 2018-03-13 杭州海康威视数字技术股份有限公司 一种实时视频传送、播放方法及装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6445738B1 (en) 1996-04-25 2002-09-03 Opentv, Inc. System and method for creating trick play video streams from a compressed normal play video bitstream
EP1451981A1 (en) * 2001-10-29 2004-09-01 MPNET International, Inc. Method, system, and data structure for multimedia communications
US7562375B2 (en) 2003-10-10 2009-07-14 Microsoft Corporation Fast channel change
KR100859705B1 (ko) 2008-02-05 2008-09-23 주식회사 셀런 임시ｉ프레임을 생성하여 라이브 멀티미디어 스트림을전송하는 방법 및 시스템
WO2010078654A1 (en) * 2009-01-12 2010-07-15 Radio Ip Software Inc. System and method for transmitting over multiple simultaneous communication networks by using roaming profiles
US9510029B2 (en) 2010-02-11 2016-11-29 Echostar Advanced Technologies L.L.C. Systems and methods to provide trick play during streaming playback
EP2534845B8 (en) * 2010-02-11 2019-07-10 DISH Technologies L.L.C. Systems and methods to provide trick play during streaming playback
US8407747B1 (en) 2012-03-13 2013-03-26 Google Inc. Adaptive trick play streaming
US9794375B2 (en) * 2013-03-14 2017-10-17 Openwave Mobility, Inc. Method, apparatus, and non-transitory computer medium for obtaining a required frame size for a compressed data frame
US9318150B2 (en) * 2013-04-05 2016-04-19 Avid Technology, Inc. Full fidelity remote video editing
WO2015071865A1 (en) * 2013-11-14 2015-05-21 Riversilica Technologies Pvt Ltd Method and system to control bit rate in video encoding
KR102146436B1 (ko) 2015-09-25 2020-08-20 후아웨이 테크놀러지 컴퍼니 리미티드 비디오 모션 보상을 위한 장치 및 방법
US10630746B1 (en) * 2017-09-29 2020-04-21 Twitch Interactive, Inc. Streaming playlist including future encoded segments
WO2019193012A1 (en) * 2018-04-03 2019-10-10 Universiteit Gent Creating different video stream representations

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1893364B (zh) * 2005-03-28 2011-03-02 阿尔卡特公司 一种广播多媒体流中的关键信息同步的方法及装置
US8161159B1 (en) * 2005-10-31 2012-04-17 Adobe Systems Incorporated Network configuration with smart edge servers
CN102404650A (zh) * 2011-11-30 2012-04-04 江苏奇异点网络有限公司 在线视频的音视频同步控制方法
CN105165015A (zh) * 2013-03-15 2015-12-16 艾锐势科技公司 利用http自适应流的快速信道改变的增强播放列表定义和传递
CN104284239A (zh) * 2013-07-11 2015-01-14 中兴通讯股份有限公司 一种视频播放方法、装置、视频播放客户端和多媒体服务器
CN107801049A (zh) * 2016-09-05 2018-03-13 杭州海康威视数字技术股份有限公司 一种实时视频传送、播放方法及装置

Also Published As

Publication number Publication date
EP3970384A4 (en) 2022-12-14
CN111064698B (zh) 2022-02-08
US20220103609A1 (en) 2022-03-31
US11870831B2 (en) 2024-01-09
EP3970384A1 (en) 2022-03-23
CN110266706A (zh) 2019-09-20
WO2020263025A1 (en) 2020-12-30
EP3970384B1 (en) 2024-01-31

Similar Documents

Publication Publication Date Title
CN111135569B (zh) 云游戏处理方法、装置、存储介质与电子设备
CN104735470B (zh) 一种流媒体数据传输方法及装置
CN107690073B (zh) 一种视频直播方法及视频直播服务器
CN106686438B (zh) 一种跨设备的音频图像同步播放的方法、装置及系统
CN107547940A (zh) 视频播放处理方法、设备及计算机可读存储介质
WO2021147448A1 (zh) 一种视频数据处理方法、装置及存储介质
US20120246335A1 (en) Method, terminal, and server for implementing fast playout
US10958972B2 (en) Channel change method and apparatus
CN109168083B (zh) 一种流媒体实时播放方法及装置
CN112752109B (zh) 视频播放控制方法和系统
KR20160100370A (ko) 정보 푸시 방법, 기기, 및 시스템
EP2466911A1 (en) Method and device for fast pushing unicast stream in fast channel change
MX2011005782A (es) Metodo y aparato para controlar la reproduccion de datos de video-audio.
US20240121455A1 (en) Method, apparatus, electronic device and storage medium for video bitrate switching
CN108696771B (zh) 一种视频播放方法及装置
CN105898395A (zh) 一种网络视频播放方法、装置及系统
CN113242436B (zh) 直播数据的处理方法、装置及电子设备
US20230045876A1 (en) Video Playing Method, Apparatus, and System, and Computer Storage Medium
CN108307248B (zh) 视频播放方法、装置、计算设备及存储介质
CN113225585A (zh) 一种视频清晰度的切换方法、装置、电子设备以及存储介质
CN111064698B (zh) 一种多媒体流数据的播放方法和装置
CN114257771B (zh) 一种多路音视频的录像回放方法、装置、存储介质和电子设备
US20230388590A1 (en) Playback optimization method and system
CN115208864A (zh) 数据传输方法、装置、设备、车辆及存储介质
CN105491394B (zh) 发送mmt包的方法及装置、接收mmt包的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant