CN113852866A - 媒体流的处理方法、装置及系统 - Google Patents
媒体流的处理方法、装置及系统 Download PDFInfo
- Publication number
- CN113852866A CN113852866A CN202111096389.0A CN202111096389A CN113852866A CN 113852866 A CN113852866 A CN 113852866A CN 202111096389 A CN202111096389 A CN 202111096389A CN 113852866 A CN113852866 A CN 113852866A
- Authority
- CN
- China
- Prior art keywords
- media stream
- rate
- network
- server
- user terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/437—Interfacing the upstream path of the transmission network, e.g. for transmitting client requests to a VOD server
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44209—Monitoring of downstream path of the transmission network originating from a server, e.g. bandwidth variations of a wireless network
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明公开了一种媒体流的处理方法、装置及系统。其中,该方法包括:向服务器发送用于请求媒体流数据的请求命令,其中,请求命令中至少包括用户终端所在网络的网络速率;接收来自服务器发送原始媒体流时的数据传输速率;比较网络速率与数据传输速率,并依据比较结果接收与比较结果对应的媒体流数据。本发明解决了相关技术中在实时视频开始时出现的视频显示慢和卡顿的技术问题。
Description
技术领域
本发明涉及视频数据处理技术领域,具体而言,涉及一种媒体流的处理方法、装置及系统。
背景技术
当前在智能家居等领域,远程查看实时监控画面应用非常广泛。远程查看时开始建立有时会等待时间较长,影响使用体验。在查看时,首先建立连接,由于开始时本地没有缓存的数据,需要等待服务器将解码参数(DC)和关键帧Key Frame传输过来之后才能开始解码。正常的Key Frame一般体积比较大,传输过来需要一定时间,而且由于IP网络的特性,传输速率不固定,如果开始时传输较慢(一般连接开始到速率稳定有一个过程),由于开始时没有本地缓存的数据,解码器无数据解码,因此会出现明显的卡顿或者显示延迟。
图1是根据现有技术的一种开始解码显示的过程的示意图,如图1所示,在服务器端存储一个图像组GOP。连接的时候,先把GOP的视频图像下载下来,该方案主要是解决开始连接时实时流是非关键帧NKey Frame无法解码导致的显示慢的问题。但该方案存在的问题是实时性不好(延迟一个GOP),而且存储的GOP和实时流一样的数据,如果开始网络不好,一样下载GOP慢导致开始显示慢。因此,相关技术中存在实时视频开始时出现的视频显示慢和卡顿的技术问题。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种媒体流的处理方法、装置及系统,以至少解决相关技术中在实时视频开始时出现的视频显示慢和卡顿的技术问题。
根据本发明实施例的一个方面,提供了一种媒体流的处理方法,包括:向服务器发送用于请求媒体流数据的请求命令,其中,所述请求命令中至少包括用户终端所在网络的网络速率;接收来自所述服务器发送原始媒体流时的数据传输速率;比较所述网络速率与所述数据传输速率,并依据比较结果接收与所述比较结果对应的媒体流数据。
可选地,向服务器发送用于请求媒体流数据的请求命令,包括:采集所述用户终端所在网络的网络速率;在所述网络速率大于或者等于第一预定速率阈值的情况下,将所述网络速率设置在所述请求命令中,其中,所述第一预定速率阈值为所述服务器生成媒体流数据的最低速率值与速率余量之和;将包含所述网络速率的所述请求命令,发送给所述服务器。
可选地,所述方法还包括:在所述网络速率小于或者等于第二预定速率阈值的情况下,则继续采集所述网络速率;在所述网络速率大于所述第二预定速率阈值的情况下,则向所述服务器发送所述网络速率的更新消息;其中,所述第二预定速率阈值为所述原始媒体流的数据传输速率与速率余量之和。
可选地,比较所述网络速率与所述数据传输速率,并依据比较结果接收与所述比较结果对应的媒体流数据,包括:在所述网络速率大于所述第二预定速率阈值的情况下,获取所述服务器的原始媒体流;在所述用户终端的网络速率小于或者等于所述第二预定速率阈值的情况下,获取所述服务器根据原始媒体流生成的新媒体流;其中,所述原始媒体流与所述新媒体流的数据参数不同。
可选地,获取所述服务器的原始媒体流,包括:将所述服务器发送的原始媒体流的解码器配置参数、关键帧以及非关键帧,确定为所述原始媒体流,并获取所述原始媒体流。
可选地,获取所述服务器根据原始媒体流生成的新媒体流,包括:将所述服务器根据原始媒体流的解码器配置参数、关键帧以及非关键帧生成新的解码器配置参数、关键帧以及非关键帧,确定为所述新媒体流,并获取所述新媒体流。
根据本发明实施例的另一方面,还提供了一种媒体流的处理方法,包括:接收用户终端发送的用于请求媒体流数据的请求命令,其中,所述请求命令中至少包括所述用户终端所在网络的网络速率;根据所述网络速率确定是否生成所述网络速率对应新媒体流信息,若是则生成所述网络速率对应新媒体流,并将所述新媒体流发送给所述用户终端,若否则将原始媒体流发送给所述用户终端。
可选地,第二预定速率阈值为所述原始媒体流的数据传输速率与速率余量之和,根据所述网络速率确定是否生成所述网络速率对应新媒体流信息,包括:在所述网络速率大于所述第二预定速率阈值的情况下,则将所述原始媒体流发送给所述用户终端。
可选地,第二预定速率阈值为所述原始媒体流的数据传输速率与速率余量之和,根据所述网络速率确定是否生成所述网络速率对应新媒体流信息,包括:在所述网络速率小于或者等于所述第二预定速率阈值的情况下,则生成所述网络速率对应新媒体流,并将所述新媒体流发送给所述用户终端。
根据本发明实施例的另一方面,还提供了一种媒体流的处理装置,包括:第一发送模块,用于向服务器发送用于请求媒体流数据的请求命令,其中,所述请求命令中至少包括用户终端所在网络的网络速率;第一接收模块,用于接收来自所述服务器发送原始媒体流时的数据传输速率;第二接收模块,用于比较所述网络速率与所述数据传输速率,并依据比较结果接收与所述比较结果对应的媒体流数据。
根据本发明实施例的另一方面,还提供了一种媒体流的处理装置,包括:第三接收模块,用于接收用户终端发送的用于请求媒体流数据的请求命令,其中,所述请求命令中至少包括所述用户终端所在网络的网络速率;第二发送模块,用于根据所述网络速率确定是否生成所述网络速率对应新媒体流信息,若是则生成所述网络速率对应新媒体流,并将所述新媒体流发送给所述用户终端,若否则将原始媒体流发送给所述用户终端。
根据本发明实施例的另一方面,还提供了一种媒体流的处理系统,包括:用户终端与服务器,且所述用户终端与所述服务器通信连接,所述用户终端,用于向服务器发送用于请求媒体流数据的请求命令,以及接收所述服务器的媒体流数据,其中,所述请求命令至少包括用户终端所在网络的网络速率;所述服务器,用于接收所述请求命令,并获取所述服务器发送原始媒体流时的数据传输速率,以及比较所述网络速率与所述数据传输速率,并依据比较结果向所述用户终端发送与所述比较结果对应的媒体流数据。
根据本发明实施例的另一方面,还提供了一种计算机可读存储介质,所述计算机可读存储介质包括存储的程序,其中,在所述程序运行时控制所述计算机可读存储介质所在设备执行上述中任意一项所述的媒体流的处理方法。
根据本发明实施例的另一方面,还提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行上述中任意一项所述的媒体流的处理方法。
在本发明实施例中,采用向服务器发送用于请求媒体流数据的请求命令,其中,请求命令中至少包括用户终端所在网络的网络速率;接收来自服务器发送原始媒体流时的数据传输速率;比较网络速率与数据传输速率,并依据比较结果接收与比较结果对应的媒体流数据,通过用户终端所在网络的网络速率与服务器发送原始媒体流时的数据传输速率进行比较,以确定用户终端接收的媒体流数据,达到了根据网络状况生成合适的媒体流数据的目的,从而实现了快速、流畅、及时的显示媒体流数据,可有效抵抗开始时网络速率低导致的显示慢和卡顿,提升用户体验的技术效果,进而解决了相关技术中在实时视频开始时出现的视频显示慢和卡顿的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据现有技术的一种开始解码显示的过程的示意图;
图2是根据本发明实施例的一种媒体流的处理方法的流程图;
图3是根据本发明实施例的另一种媒体流的处理方法的流程图;
图4是根据本发明可选实施例的一种媒体流的处理方法应用在UE侧的流程图;
图5是根据本发明可选实施例的一种媒体流的处理方法应用在服务器端的流程图;
图6是根据本发明实施例的一种媒体流的处理装置的示意图;
图7是根据本发明实施例的另一种媒体流的处理装置的示意图;
图8是根据本发明实施例的媒体流的处理系统的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为了便于描述,下面对本发明中出现的部分名词或术语进行详细说明。
用户终端(User Equipment,简称为UE):用来播放音视频的设备。
解码器配置(Decoder Configuration,简称为DC):用来配置解码器的参数,解码器配置之后才允许解码。
关键帧(Key Frame):可以不依赖其它帧而进行独立解码的视频帧,体积较大。
非关键帧(Non Key Frame,简称为NKey Frame):需要依赖其它帧才能解码的视频帧,体积较小。
视频缓冲(Video Buffer,简称为VB):用来缓冲视频的存储空间。
图像组(Group of Pictures,GOP):一组解码的图像。
实施例1
根据本发明实施例,提供了一种媒体流的处理方法的实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图2是根据本发明实施例的一种媒体流的处理方法的流程图,如图2所示,该方法包括如下步骤:
步骤S202,向服务器发送用于请求媒体流数据的请求命令,其中,请求命令中至少包括用户终端所在网络的网络速率;
在一种可选的实施方式中,向服务器发送用于请求媒体流数据的请求命令,包括:采集用户终端所在网络的网络速率;在网络速率大于或者等于第一预定速率阈值的情况下,将网络速率设置在请求命令中,其中,第一预定速率阈值为服务器生成媒体流数据的最低速率值与速率余量之和;将包含网络速率的请求命令,发送给服务器。
另外,在网络速率小于第一预定速率阈值的情况下,不会生成或者发送请求媒体流数据的请求命令。
步骤S204,接收来自服务器发送原始媒体流时的数据传输速率;
步骤S206,比较网络速率与数据传输速率,并依据比较结果接收与比较结果对应的媒体流数据。
在一种可选的实施方式中,上述方法还包括:在网络速率小于或者等于第二预定速率阈值的情况下,则继续采集网络速率;在网络速率大于第二预定速率阈值的情况下,则向服务器发送网络速率的更新消息;其中,第二预定速率阈值为原始媒体流的数据传输速率与速率余量之和。需要说明的是,还可以在网络速率大于第二预定速率阈值的情况下,则向服务器发送网络速率。上述速率余量为预设的冗余速率。
在一种可选的实施方式中,比较网络速率与数据传输速率,并依据比较结果接收与比较结果对应的媒体流数据,包括:在网络速率大于第二预定速率阈值的情况下,获取服务器的原始媒体流;在用户终端的网络速率小于或者等于第二预定速率阈值的情况下,获取服务器根据原始媒体流生成的新媒体流。需要说明的是,原始媒体流与新媒体流的数据参数不同。通过上述实施方式,可以使得用户终端快速、流畅、及时的得到媒体流数据。
在一种可选的实施方式中,获取服务器的原始媒体流,包括:将服务器发送的原始媒体流的解码器配置参数、关键帧以及非关键帧,确定为原始媒体流,并获取原始媒体流。
在一种可选的实施方式中,获取服务器根据原始媒体流生成的新媒体流,包括:将服务器根据原始媒体流的解码器配置参数、关键帧以及非关键帧生成新的解码器配置参数、关键帧以及非关键帧,确定为新媒体流,并获取新媒体流。
需要说明的是,上述用户终端包括但不限于智能手机、平板,笔记本电脑、智能穿戴设备等;上述服务器包括但不限于云服务器、分布式服务器等;上述媒体流数据包括但不限于音频、视频等;另外,上述步骤S202至S206可以应用在用户终端侧,同时不需要服务器端一直维持多路不同视频流,节省服务器资源。
通过上述步骤,可以通过用户终端所在网络的网络速率与服务器发送原始媒体流时的数据传输速率进行比较,以确定用户终端接收的媒体流数据,达到了根据网络状况生成合适的媒体流数据的目的,从而实现了快速、流畅、及时的显示媒体流数据,可有效抵抗开始时网络速率低导致的显示慢和卡顿,提升用户体验的技术效果,进而解决了相关技术中在实时视频开始时出现的视频显示慢和卡顿的技术问题。
实施例2
根据本发明实施例的另一方面,还提供了一种媒体流的处理方法,图3是根据本发明实施例的另一种媒体流的处理方法的流程图,如图3所示,该方法包括如下步骤:
步骤S302,接收用户终端发送的用于请求媒体流数据的请求命令,其中,请求命令中至少包括用户终端所在网络的网络速率;
步骤S304,根据网络速率确定是否生成网络速率对应新媒体流信息,若是则生成网络速率对应新媒体流,并将新媒体流发送给用户终端,若否则将原始媒体流发送给用户终端。
在一种可选的实施方式中,第二预定速率阈值为原始媒体流的数据传输速率与速率余量之和,根据网络速率确定是否生成网络速率对应新媒体流信息,包括:在网络速率大于第二预定速率阈值的情况下,则将原始媒体流发送给用户终端。
在一种可选的实施方式中,第二预定速率阈值为原始媒体流的数据传输速率与速率余量之和,根据网络速率确定是否生成网络速率对应新媒体流信息,包括:在网络速率小于或者等于第二预定速率阈值的情况下,则生成网络速率对应新媒体流,并将新媒体流发送给用户终端。通过上述实施方式,可以使得服务器快速、流畅、及时的将媒体流数据发送给用户终端。
需要说明的是,上述用户终端包括但不限于智能手机、平板,笔记本电脑、智能穿戴设备等;上述服务器包括但不限于云服务器、分布式服务器等;上述媒体流数据包括但不限于音频、视频等;另外,上述步骤S302至S304可以应用在服务器端,同时不需要服务器端一直维持多路不同视频流,节省服务器资源。
通过上述步骤,可以通过用户终端所在网络的网络速率与服务器发送原始媒体流时的数据传输速率进行比较,以确定用户终端接收的媒体流数据,达到了根据网络状况生成合适的媒体流数据的目的,从而实现了快速、流畅、及时的显示媒体流数据,可有效抵抗开始时网络速率低导致的显示慢和卡顿,提升用户体验的技术效果,进而解决了相关技术中在实时视频开始时出现的视频显示慢和卡顿的技术问题。
下面对本发明一种可选的实施方式进行详细说明。
图4是根据本发明可选实施例的一种媒体流的处理方法应用在UE侧的流程图,如图4所示,在UE侧流程中,S1是开始探测到的当前网络速率,R1是建立连接收发送的获取直播数据的请求,R1中包含了探测到速率S1,minS是服务器生成媒体流的最低值,MS1是服务器的原始媒体流,S2是原始媒体流MS1的速率,ΔS是速率余量,使用该参数的原因是媒体速率和实际带宽之间保留一定的空余量,保证传输的及时、顺畅。R2是通知客户端S1速率变更的消息。
图5是根据本发明可选实施例的一种媒体流的处理方法应用在服务器端的流程图,如图5所示,在服务器端的流程中,R1是UE发送来建立连接的请求,其中包含UE速率参数S1。MS1是原始媒体流,S2是原始媒体流的速率,ΔS是速率余量。MS2是根据S1生成的新媒体流,S3是MS2的速率,该速率和实际带宽之间有ΔS的差距。R2是UE发送来的速率更新信息。
在连接开始时,获取UE当前的速率S1,如果S1>=minS+ΔS,将速率包含在请求R1中,发送给服务器。服务器收到请求之后,获取S1,和自己的原始媒体流MS1的速率S2进行比较,如果S1不大于S2+ΔS(存在ΔS的原因是留存一定的速率空间,因为带宽利用率达不到100%,ΔS的值可以具体情况确定,典型值100kbps),针对连接根据MS1生成实时媒体流MS2,MS2的媒体流速率为S3,S1-S3=ΔS(相当于实际发送的媒体流速率比网络速率少了ΔS),发送MS2的媒体流给UE.客户端在S1<=S2+ΔS时,继续探测网络速率,如果UE速率S1>S2+ΔS,则将速率更新请求R2发送给服务器,服务器收到之后,取消生成MS2,发送MS1给UE。
本发明具体实施方法如下:
S01:开始,UE探测当前速率S1;
S02:如果S1>=minS+ΔS,转S03;否则转S13,其中,minS是服务器支持生成媒体流的最低速率;
S03:将S1放入到UE请求R1中,发送给服务器,转S04;
S04:服务器收到请求R1,取出S1,和原始媒体流MS1的速率S2比较,将S2回给UE,服务器如果S1<=S2+ΔS,转S05;否则,转S13;
S05:根据MS1生成新媒体流MS2的DC、Key Frame和NKey Frame,MS2的速率为S3,且S1-S3=ΔS,转S06;
S06:将MS2发送给UE,转S07;
S07:UE接收MS2媒体流,转S08;
S08:如果S1<=S2+ΔS,转S09;否则转S13;
S09:继续探测网络速率,转S10;
S10:如果S1>S2+ΔS,发送请求R2给服务器,R2包含更新的速率S1,转S11;否则转S09;
S11:服务器收到R2,取出新探测速率S1,如果S1>S2+ΔS,转S12;否则转S06;
S12:取消生成MS2,将MS1的DC、Key Frame和NKey Frame发送给UE,转S13;
S13:结束。
在本发明的上述实施方式中,可以在查看实时视频,智能根据网络状况生成合适的视频流,保证UE图像显示的快速、流畅、及时和质量,同时服务器媒体流按需生成,不需要服务器一直维持多路视频流,减轻服务器资源负担。
实施例3
根据本发明实施例的另一方面,还提供了一种媒体流的处理装置,图6是根据本发明实施例的一种媒体流的处理装置的示意图,如图6所示,该媒体流的处理装置包括:第一发送模块62、第一接收模块64和第二接收模块66。下面对该媒体流的处理装置进行详细说明。
第一发送模块62,用于向服务器发送用于请求媒体流数据的请求命令,其中,请求命令中至少包括用户终端所在网络的网络速率;第一接收模块64,连接至上述第一发送模块62,用于接收来自服务器发送原始媒体流时的数据传输速率;第二接收模块66,连接至上述第一接收模块64,用于比较网络速率与数据传输速率,并依据比较结果接收与比较结果对应的媒体流数据。
需要说明的是,上述各个模块是可以通过软件或硬件来实现的,例如,对于后者,可以通过以下方式实现:上述各个模块可以位于同一处理器中;和/或,上述各个模块以任意组合的方式位于不同的处理器中。
在上述实施例中,该媒体流的处理装置可以通过用户终端所在网络的网络速率与服务器发送原始媒体流时的数据传输速率进行比较,以确定用户终端接收的媒体流数据,达到了根据网络状况生成合适的媒体流数据的目的,从而实现了快速、流畅、及时的显示媒体流数据,可有效抵抗开始时网络速率低导致的显示慢和卡顿,提升用户体验的技术效果,进而解决了相关技术中在实时视频开始时出现的视频显示慢和卡顿的技术问题。
此处需要说明的是,上述第一发送模块62、第一接收模块64和第二接收模块66对应于实施例1中的步骤S202至S206,上述模块与对应的步骤所实现的示例和应用场景相同,但不限于上述实施例1所公开的内容。
可选地,上述第一发送模块62包括:采集单元,用于采集用户终端所在网络的网络速率;设置单元,用于在网络速率大于或者等于第一预定速率阈值的情况下,将网络速率设置在请求命令中,其中,第一预定速率阈值为服务器生成媒体流数据的最低速率值与速率余量之和;第一发送单元,用于将包含网络速率的请求命令,发送给服务器。
可选地,上述装置还包括:第一处理模块,用于在网络速率小于或者等于第二预定速率阈值的情况下,则继续采集网络速率;第二处理模块,用于在网络速率大于第二预定速率阈值的情况下,则向服务器发送网络速率的更新消息;其中,第二预定速率阈值为原始媒体流的数据传输速率与速率余量之和。
可选地,上述第二接收模块66包括:第一获取单元,用于在网络速率大于第二预定速率阈值的情况下,获取服务器的原始媒体流;第二获取单元,用于在用户终端的网络速率小于或者等于第二预定速率阈值的情况下,获取服务器根据原始媒体流生成的新媒体流;其中,原始媒体流与新媒体流的数据参数不同。
可选地,上述第一获取单元包括:第一处理子单元,用于将服务器发送的原始媒体流的解码器配置参数、关键帧以及非关键帧,确定为原始媒体流,并获取原始媒体流。
可选地,上述第二获取单元包括:第二处理子单元,用于将服务器根据原始媒体流的解码器配置参数、关键帧以及非关键帧生成新的解码器配置参数、关键帧以及非关键帧,确定为新媒体流,并获取新媒体流。
实施例4
根据本发明实施例的另一方面,还提供了一种媒体流的处理装置,图7是根据本发明实施例的另一种媒体流的处理装置的示意图,如图7所示,该媒体流的处理装置包括:第三接收模块72和第二发送模块74。下面对该媒体流的处理装置进行详细说明。
第三接收模块72,用于接收用户终端发送的用于请求媒体流数据的请求命令,其中,请求命令中至少包括用户终端所在网络的网络速率;第二发送模块74,连接至上述第三接收模块72,用于根据网络速率确定是否生成网络速率对应新媒体流信息,若是则生成网络速率对应新媒体流,并将新媒体流发送给用户终端,若否则将原始媒体流发送给用户终端。
需要说明的是,上述各个模块是可以通过软件或硬件来实现的,例如,对于后者,可以通过以下方式实现:上述各个模块可以位于同一处理器中;和/或,上述各个模块以任意组合的方式位于不同的处理器中。
在上述实施例中,该媒体流的处理装置可以通过用户终端所在网络的网络速率与服务器发送原始媒体流时的数据传输速率进行比较,以确定用户终端接收的媒体流数据,达到了根据网络状况生成合适的媒体流数据的目的,从而实现了快速、流畅、及时的显示媒体流数据,可有效抵抗开始时网络速率低导致的显示慢和卡顿,提升用户体验的技术效果,进而解决了相关技术中在实时视频开始时出现的视频显示慢和卡顿的技术问题。
此处需要说明的是,上述第三接收模块72和第二发送模块74对应于实施例1中的步骤S302至S304,上述模块与对应的步骤所实现的示例和应用场景相同,但不限于上述实施例2所公开的内容。
可选地,第二预定速率阈值为原始媒体流的数据传输速率与速率余量之和,上述第二发送模块74包括:第二发送单元,用于在网络速率大于第二预定速率阈值的情况下,则将原始媒体流发送给用户终端。
可选地,第二预定速率阈值为原始媒体流的数据传输速率与速率余量之和,上述第二发送模块74包括:第三发送单元,用于在网络速率小于或者等于第二预定速率阈值的情况下,则生成网络速率对应新媒体流,并将新媒体流发送给用户终端。
实施例5
根据本发明实施例的另一方面,还提供了一种媒体流的处理系统,图8是根据本发明实施例的媒体流的处理系统的示意图,如图8所示,该媒体流的处理系统包括:用户终端82与服务器84,且用户终端82与服务器84通信连接,用户终端82,用于向服务器84发送用于请求媒体流数据的请求命令,以及接收服务器84的媒体流数据,其中,请求命令至少包括用户终端82所在网络的网络速率;服务器84,用于接收请求命令,并获取服务器84发送原始媒体流时的数据传输速率,以及比较网络速率与数据传输速率,并依据比较结果向用户终端82发送与比较结果对应的媒体流数据。
在上述实施例中,该媒体流的处理系统可以通过用户终端所在网络的网络速率与服务器发送原始媒体流时的数据传输速率进行比较,以确定用户终端接收的媒体流数据,达到了根据网络状况生成合适的媒体流数据的目的,从而实现了快速、流畅、及时的显示媒体流数据,可有效抵抗开始时网络速率低导致的显示慢和卡顿,提升用户体验的技术效果,进而解决了相关技术中在实时视频开始时出现的视频显示慢和卡顿的技术问题。
实施例6
根据本发明实施例的另一方面,还提供了一种计算机可读存储介质,该计算机可读存储介质包括存储的程序,其中,在程序运行时控制计算机可读存储介质所在设备执行上述中任意一项的媒体流的处理方法。
可选地,在本实施例中,上述计算机可读存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中,和/或位于移动终端群中的任意一个移动终端中,上述计算机可读存储介质包括存储的程序。
可选地,在程序运行时控制计算机可读存储介质所在设备执行以下功能:向服务器发送用于请求媒体流数据的请求命令,其中,请求命令中至少包括用户终端所在网络的网络速率;接收来自服务器发送原始媒体流时的数据传输速率;比较网络速率与数据传输速率,并依据比较结果接收与比较结果对应的媒体流数据;或者,接收用户终端发送的用于请求媒体流数据的请求命令,其中,请求命令中至少包括用户终端所在网络的网络速率;根据网络速率确定是否生成网络速率对应新媒体流信息,若是则生成网络速率对应新媒体流,并将新媒体流发送给用户终端,若否则将原始媒体流发送给用户终端。
实施例7
根据本发明实施例的另一方面,还提供了一种处理器,该处理器用于运行程序,其中,程序运行时执行上述中任意一项的媒体流的处理方法。
本发明实施例提供了一种设备,该设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序,处理器执行程序时实现以下步骤:向服务器发送用于请求媒体流数据的请求命令,其中,请求命令中至少包括用户终端所在网络的网络速率;接收来自服务器发送原始媒体流时的数据传输速率;比较网络速率与数据传输速率,并依据比较结果接收与比较结果对应的媒体流数据;或者,接收用户终端发送的用于请求媒体流数据的请求命令,其中,请求命令中至少包括用户终端所在网络的网络速率;根据网络速率确定是否生成网络速率对应新媒体流信息,若是则生成网络速率对应新媒体流,并将新媒体流发送给用户终端,若否则将原始媒体流发送给用户终端。
本发明还提供了一种计算机程序产品,当在数据处理设备上执行时,适于执行初始化有如下方法步骤的程序:向服务器发送用于请求媒体流数据的请求命令,其中,请求命令中至少包括用户终端所在网络的网络速率;接收来自服务器发送原始媒体流时的数据传输速率;比较网络速率与数据传输速率,并依据比较结果接收与比较结果对应的媒体流数据;或者,接收用户终端发送的用于请求媒体流数据的请求命令,其中,请求命令中至少包括用户终端所在网络的网络速率;根据网络速率确定是否生成网络速率对应新媒体流信息,若是则生成网络速率对应新媒体流,并将新媒体流发送给用户终端,若否则将原始媒体流发送给用户终端。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (13)
1.一种媒体流的处理方法,其特征在于,包括:
向服务器发送用于请求媒体流数据的请求命令,其中,所述请求命令中至少包括用户终端所在网络的网络速率;
接收来自所述服务器发送原始媒体流时的数据传输速率;
比较所述网络速率与所述数据传输速率,并依据比较结果接收与所述比较结果对应的媒体流数据。
2.根据权利要求1所述的方法,其特征在于,向服务器发送用于请求媒体流数据的请求命令,包括:
采集所述用户终端所在网络的网络速率;
在所述网络速率大于或者等于第一预定速率阈值的情况下,将所述网络速率设置在所述请求命令中,其中,所述第一预定速率阈值为所述服务器生成的所述媒体流数据的最低速率值与速率余量之和;
将包含所述网络速率的所述请求命令,发送给所述服务器。
3.根据权利要求1所述的方法,其特征在于,比较所述网络速率与所述数据传输速率,并依据比较结果接收与所述比较结果对应的媒体流数据,包括:
在所述网络速率大于第二预定速率阈值的情况下,获取所述服务器的原始媒体流;
在所述用户终端的网络速率小于或者等于所述第二预定速率阈值的情况下,获取所述服务器根据原始媒体流生成的新媒体流;
其中,所述第二预定速率阈值为所述原始媒体流的数据传输速率与速率余量之和,所述原始媒体流与所述新媒体流的数据参数不同。
4.根据权利要求3所述的方法,其特征在于,获取所述服务器的原始媒体流,包括:
将所述服务器发送的原始媒体流的解码器配置参数、关键帧以及非关键帧,确定为所述原始媒体流,并获取所述原始媒体流。
5.根据权利要求3所述的方法,其特征在于,获取所述服务器根据原始媒体流生成的新媒体流,包括:
将所述服务器根据原始媒体流的解码器配置参数、关键帧以及非关键帧生成新的解码器配置参数、关键帧以及非关键帧,确定为所述新媒体流,并获取所述新媒体流。
6.一种媒体流的处理方法,其特征在于,包括:
接收用户终端发送的用于请求媒体流数据的请求命令,其中,所述请求命令中至少包括所述用户终端所在网络的网络速率;
根据所述网络速率确定是否生成所述网络速率对应新媒体流信息,若是则生成所述网络速率对应新媒体流,并将所述新媒体流发送给所述用户终端,若否则将原始媒体流发送给所述用户终端。
7.根据权利要求6所述的方法,其特征在于,第二预定速率阈值为所述原始媒体流的数据传输速率与速率余量之和,根据所述网络速率确定是否生成所述网络速率对应新媒体流信息,包括:
在所述网络速率大于所述第二预定速率阈值的情况下,则将所述原始媒体流发送给所述用户终端。
8.根据权利要求6所述的方法,其特征在于,第二预定速率阈值为所述原始媒体流的数据传输速率与速率余量之和,根据所述网络速率确定是否生成所述网络速率对应新媒体流信息,包括:
在所述网络速率小于或者等于所述第二预定速率阈值的情况下,则生成所述网络速率对应新媒体流,并将所述新媒体流发送给所述用户终端。
9.一种媒体流的处理装置,其特征在于,包括:
第一发送模块,用于向服务器发送用于请求媒体流数据的请求命令,其中,所述请求命令中至少包括用户终端所在网络的网络速率;
第一接收模块,用于接收来自所述服务器发送原始媒体流时的数据传输速率;
第二接收模块,用于比较所述网络速率与所述数据传输速率,并依据比较结果接收与所述比较结果对应的媒体流数据。
10.一种媒体流的处理装置,其特征在于,包括:
第三接收模块,用于接收用户终端发送的用于请求媒体流数据的请求命令,其中,所述请求命令中至少包括所述用户终端所在网络的网络速率;
第二发送模块,用于根据所述网络速率确定是否生成所述网络速率对应新媒体流信息,若是则生成所述网络速率对应新媒体流,并将所述新媒体流发送给所述用户终端,若否则将原始媒体流发送给所述用户终端。
11.一种媒体流的处理系统,其特征在于,包括:用户终端与服务器,且所述用户终端与所述服务器通信连接,
所述用户终端,用于向服务器发送用于请求媒体流数据的请求命令,以及接收所述服务器的媒体流数据,其中,所述请求命令至少包括用户终端所在网络的网络速率;
所述服务器,用于接收所述请求命令,并获取所述服务器发送原始媒体流时的数据传输速率,以及比较所述网络速率与所述数据传输速率,并依据比较结果向所述用户终端发送与所述比较结果对应的媒体流数据。
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括存储的程序,其中,在所述程序运行时控制所述计算机可读存储介质所在设备执行权利要求1至5或者权利要求6至8中任意一项所述的媒体流的处理方法。
13.一种处理器,其特征在于,所述处理器用于运行程序,其中,所述程序运行时执行权利要求1至5或者权利要求6至8中任意一项所述的媒体流的处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111096389.0A CN113852866B (zh) | 2021-09-16 | 2021-09-16 | 媒体流的处理方法、装置及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111096389.0A CN113852866B (zh) | 2021-09-16 | 2021-09-16 | 媒体流的处理方法、装置及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113852866A true CN113852866A (zh) | 2021-12-28 |
CN113852866B CN113852866B (zh) | 2022-08-02 |
Family
ID=78974394
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111096389.0A Active CN113852866B (zh) | 2021-09-16 | 2021-09-16 | 媒体流的处理方法、装置及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113852866B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115002086A (zh) * | 2022-05-23 | 2022-09-02 | 阿里巴巴(中国)有限公司 | 实时流媒体的传输方法及电子设备 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020150123A1 (en) * | 2001-04-11 | 2002-10-17 | Cyber Operations, Llc | System and method for network delivery of low bit rate multimedia content |
CN101068236A (zh) * | 2007-04-13 | 2007-11-07 | 华为技术有限公司 | 流媒体码率控制方法、系统和设备 |
CN102315986A (zh) * | 2011-08-31 | 2012-01-11 | 百度在线网络技术(北京)有限公司 | 一种用于确定移动终端的网络速率的方法与设备 |
CN104243102A (zh) * | 2014-09-30 | 2014-12-24 | 深圳市云之讯网络技术有限公司 | 一种基于网络状态评估的码率控制方法及其装置 |
US20170041238A1 (en) * | 2014-04-03 | 2017-02-09 | Orbital Multi Media Holdings Corporation | Data flow control method |
CN109729437A (zh) * | 2017-10-30 | 2019-05-07 | 中国电信股份有限公司 | 流媒体自适应传输方法、终端和系统 |
CN110121100A (zh) * | 2019-05-28 | 2019-08-13 | 平安科技(深圳)有限公司 | 媒体文件的下载方法、装置、终端和计算机可读存储介质 |
-
2021
- 2021-09-16 CN CN202111096389.0A patent/CN113852866B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020150123A1 (en) * | 2001-04-11 | 2002-10-17 | Cyber Operations, Llc | System and method for network delivery of low bit rate multimedia content |
CN101068236A (zh) * | 2007-04-13 | 2007-11-07 | 华为技术有限公司 | 流媒体码率控制方法、系统和设备 |
CN102315986A (zh) * | 2011-08-31 | 2012-01-11 | 百度在线网络技术(北京)有限公司 | 一种用于确定移动终端的网络速率的方法与设备 |
US20170041238A1 (en) * | 2014-04-03 | 2017-02-09 | Orbital Multi Media Holdings Corporation | Data flow control method |
CN104243102A (zh) * | 2014-09-30 | 2014-12-24 | 深圳市云之讯网络技术有限公司 | 一种基于网络状态评估的码率控制方法及其装置 |
CN109729437A (zh) * | 2017-10-30 | 2019-05-07 | 中国电信股份有限公司 | 流媒体自适应传输方法、终端和系统 |
CN110121100A (zh) * | 2019-05-28 | 2019-08-13 | 平安科技(深圳)有限公司 | 媒体文件的下载方法、装置、终端和计算机可读存储介质 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115002086A (zh) * | 2022-05-23 | 2022-09-02 | 阿里巴巴(中国)有限公司 | 实时流媒体的传输方法及电子设备 |
CN115002086B (zh) * | 2022-05-23 | 2024-04-02 | 阿里巴巴(中国)有限公司 | 实时流媒体的传输方法及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN113852866B (zh) | 2022-08-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2854342A1 (en) | Multi-screen interaction method, apparatus, and terminal device | |
CN110933517B (zh) | 码率切换方法、客户端和计算机可读存储介质 | |
JP2006510310A (ja) | マルチメディアメッセージ処理サービスのための方法及びシステム | |
US11336938B2 (en) | Pre-positioning of streaming content onto communication devices for future content recommendations | |
EP3697088A1 (en) | Video sending and receiving method, device, and terminal | |
CN113518247A (zh) | 视频播放方法、相关设备及计算机可读存储介质 | |
US10404606B2 (en) | Method and apparatus for acquiring video bitstream | |
CN111343045A (zh) | 调整心跳频率的方法及装置 | |
CN113891175B (zh) | 直播推流方法、装置及系统 | |
EP4060955A1 (en) | Security method, apparatus and system easy to access by user | |
WO2017219852A1 (zh) | 数据信息的共享方法及装置、终端 | |
US10277652B2 (en) | Transmission apparatus, transmission method, and program | |
CN106658065B (zh) | 音视频同步方法、装置及系统 | |
CN113852866B (zh) | 媒体流的处理方法、装置及系统 | |
CN114679604B (zh) | 资源处理方法及装置 | |
CN114040256A (zh) | 基于hls协议的直播数据处理方法、设备及介质 | |
US11997369B2 (en) | Method of processing an error during the rendering of a digital content | |
CN109819278B (zh) | 直播视频的优化方法 | |
CN114900707B (zh) | 一种直播方法及系统 | |
CN112004132B (zh) | 一种视频同步播放方法及装置 | |
CN114339296A (zh) | 传输媒体流的方法、装置以及媒体系统 | |
CN114422866A (zh) | 一种视频处理方法、装置、电子设备和存储介质 | |
FR3068852A1 (fr) | Procede de gestion du droit d'acces a un contenu numerique | |
CN114268830A (zh) | 云导播同步方法、装置、设备及存储介质 | |
US20150271530A1 (en) | Video quality enhancement method and apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |