CN107770600A - 流媒体数据的传输方法、装置、设备和存储介质 - Google Patents

流媒体数据的传输方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN107770600A
CN107770600A CN201711083820.1A CN201711083820A CN107770600A CN 107770600 A CN107770600 A CN 107770600A CN 201711083820 A CN201711083820 A CN 201711083820A CN 107770600 A CN107770600 A CN 107770600A
Authority
CN
China
Prior art keywords
transmission
video
stream
code
frames
Prior art date
Application number
CN201711083820.1A
Other languages
English (en)
Inventor
薛震
Original Assignee
深圳创维-Rgb电子有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳创维-Rgb电子有限公司 filed Critical 深圳创维-Rgb电子有限公司
Priority to CN201711083820.1A priority Critical patent/CN107770600A/zh
Publication of CN107770600A publication Critical patent/CN107770600A/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439Processing of audio elementary streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44227Monitoring of local network, e.g. connection or bandwidth variations; Detecting new devices in the local network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8166Monomedia components thereof involving executable data, e.g. software
    • H04N21/8193Monomedia components thereof involving executable data, e.g. software dedicated tools, e.g. video decoder software or IPMP tool

Abstract

本发明实施例公开了一种流媒体数据的传输方法、装置、设备和存储介质。其中,传输方法包括:发送端将流媒体数据中的视频数据采样编码,生成由I帧和多个P帧组成的视频码流;发送端将流媒体数据中的音频数据采样编码,生成音频码流;发送端按设定交织均匀度,将视频码流与音频码流交织成传输码流;发送端按先I帧后P帧的顺序,向接收端发送传输码流。本技术方案降低了多屏互动场景中,流媒体数据从发送端传输编码到接收端解码播放之间的延时,提高了流媒体数据的播放流畅度。

Description

流媒体数据的传输方法、装置、设备和存储介质

技术领域

[0001 ]本发明实施例涉及互联网技术领域,尤其涉及一种流媒体数据的传输方法、装置、 设备和存储介质。

背景技术

[0002]近年来,随着互联网的迅速发展,多媒体的内容也越来越丰富,通过智能手机或平 板电脑观看在线视频、玩在线游戏已经十分普遍,大屏电视也越来越普及,这使得多屏互动 成为一种比较实用的功能。

[0003]例如,在智能手机上观看在线视频或玩在线游戏时,通过多屏互动技术可以将智 能手机上的屏幕数据编码传送到大屏电视端进行解码播放,用户的体验感能得到很大提 升。但由于流媒体数据在编码传输到解码播放时延时较大,经常会导致手机端的屏幕画面 和电视端的屏幕画面不同步,以及电视端屏幕画面卡顿、花屏等问题。

发明内容

[0004]为解决相关技术问题,本发明实施例提供一种流媒体数据的传输方法、装置、设备 和存储介质,降低了多屏互动场景中流媒体数据从编码传输到解码显示之间的延时,提高 了基于多屏互动的流媒体数据的播放流畅度。

[0005]为实现上述目的,本发明实施例采用如下技术方案:

[0006]第一方面,本发明实施例提供了 一种流媒体数据的传输方法,包括:

[0007]发送端将流媒体数据中的视频数据采样编码,生成由I帧和多个P帧组成的视频码 流;

[0008]发送端将流媒体数据中的音频数据采样编码,生成音频码流;

[0009]发送端按设定交织均匀度,将所述视频码流与所述音频码流交织成传输码流; [0010]发送端按先I帧后p帧的顺序,向接收端发送所述传输码流。

[0011]第二方面,本发明实施例提供了一种流媒体数据的传输装置,配置于基于多屏互 动的发送端,所述传输装置包括:

[0012]视频编码单元,用于将流媒体数据中的视频数据采样编码,生成由I帧和多个p帧 组成的视频码流;

[0013]音频编码单元,用于将流媒体数据中的音频数据采样编码,生成音频码流;

[0014]音视频交织单元,用于按设定交织均匀度,将所述视频码流与所述音频码流交织 成传输码流;

[0015]传输码流发送单元,用于按先I帧后P帧的顺序,向接收端发送所述传输码流。

[0016]第三方面,本发明实施例提供了—种设备,包括:

[0017] —个或多个处理器;

[0018]存储装置,用于存储一个或多个程序;

[0019]当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理 器实现本发明任一实施例提供的流媒体数据的传输方法。

[0020] 第四方面,本发明实施例提供了一种计算机可读存储介质,其上存储有计算机程 序,该程序被处理器执行时实现本发明任一实施例提供的流媒体数据的传输方法。

[0021] 本发明实施例提供的技术方案带来的有益效果:

[0022]本发明实施例提供一种流媒体数据的传输方法、装置、设备和存储介质,基于多屏 互动的发送端和接收端之间,发送端在视频编码时不生成B帧,减少了编码缓冲延迟,接收 端进行视频解码时只需解码I巾贞和P1!1贞,不需解码帥贞,降低了巾贞间参考引起的解码延时;发 送端按照设定均匀度交织视频码流和音频码流,保证了传输码流中音视频严格同步均匀, 接收端则无需再对音视频做同步处理,播放时不需要为音视频同步再做缓冲,降低了同^ 延时。本技术方案降低了多屏互动场景中,流媒体数据从发送端传输编码到接收端解码播 放之间的延时,提高了流媒体数据的播放流畅度。

附图说明

[0023]为了更清楚地说明本发明实施例中的技术方案,下面将对本发明实施例描述中所 需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施 例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据本发明实施 例的内容和这些附图获得其他的附图。

[0024]图1是本发明实施例提供的一种基于多屏互动的数据交互场景示意图;

[0025]图2是本发明实施例提供的一种流媒体数据的传输方法的流程示意图;

[0026] 图3是标准视频编码协议下I帧、B帧和P帧的编码示意图;

[0027] 图4是标准视频编码协议下视频码流的结构示意图;

[0028]图5是本发明实施例提供的另一种流媒体数据的传输方法的流程示意图;

[0029] 图6是本发明实施例提供的另一种流媒体数据的传输方法的流程示意图;

[0030] 图7是本发明实施例提供的一种流媒体数据的传输装置的架构示意图;

[0031] 图8是本发明实施例提供的一种设备的结构示意图。

具体实施方式

[0032] 为使本发明解决的技术问题、采用的技术方案和达到的技术效果更加清楚,下面 将结合附图对本发明实施例的技术方案作进一步的详细描述,显然,所描述的实施例仅仅 是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在 没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

[0033] 请参考图2,本实施例的方法可适用于如图1所示的基于多屏互动编码传输流媒体 数据并解码播放的场景,其中,发送端和接收端可以采用基于在线网络的无线投屏技术相 连,该方法可以由图1中的发送端来执行,具体可以由配置于该发送端的软件和/或硬件来 执行。

[0034] 如图2所示,本实施例提供的技术方案可以包括:

[0035] S210、发送端将流媒体数据中的视频数据采样编码,生成由I帧和多个P帧组成的 视频码流。

[0036] 示例性的,流媒体数据中包括视频数据和音频数据,在对流媒体数据进行编码传 输时,发送端是对视频数据和音频数据分别进行采样编码,即同时进行视频编码和音频编 码。对于视频编码,如图3所示,一般编码的帧类型包括I帧、P帧和B帧。其中,I帧又称帧内编 码帧,是一种自带全部信息的独立帧,无需参考其他图像帧便可独立进行编码及解码,视频 序列中的第一个帧始终都是I帧,因为它是关键帧;P帧又称帧间预测编码帧,需要参考前面 的I帧才能进行编码及解码;B巾贞又称双向预测编码帧,B帧记录的是本帧与前后帧的差别, 也就是说要解码B帧,不仅要取得之前的缓存画面,还要解码之后的画面,通过前后画面的 与本帧数据的叠加取得最终的画面,B帧压缩率较高。

[0037]在一个实施例中,发送端的视频编码器在进行视频编码时,控制编码的帧类型,视 频编码器输出的视频码流仅包括I帧和多个P帧,不输出B帧,各P帧之间只发生前向参考。发 送端编码器不做双向参考减少了帧缓冲减少编码延时,同时接收端在视频解码时,解码器 只需处理向前参考的I帧和P帧,不需要缓冲多帧来处理双向参考的B帧,这样降低了帧间参 考引起的解码延时。

[G038]优选的,所述视频码流的每一帧均设置有帧结束符。

[0039]在一个实施例中,发送端通过视频编码器在进行视频编码时,为每一帧设置帧结 束符,巾贞结束符用以表示一巾贞数据传输结束。相应的,接收端在接收视频码流解码时,收到 帧结束符时即可开始解码当前帧,而不必等到接收下一帧的帧头再开始解码,可进一步降 低帧间解码延时。

[GCMO]优选的,所述视频码流的最小可解码颗粒度为片或宏块。

[0041]示例性的,如图4所示,一般视频码流由起始码和NAL Unit (Network Abstraction Layer Unit,网络抽象层单元)构成,其中,NAL Unit进一步包括NALU Header (网络抽象层 单元头数据)和NALU主体,NALU主体由Slice (片)构成,Slice进一步包括Slice Header (片 头数据)和Slice Data (片数据),Slice Data由flags (标识)和多个Macroblock Layer (宏 块)构成。

[0042]在一个实施例中,发送端设置视频编码器输出的视频码流的最小可解码颗粒度为 Slice (片)或宏块,Slice和宏块之间无耦合,并以Slice或宏块为单位在网络上发送。相应 的,接收端在接收到视频码流时,可以对单个S1 i ce或宏块进行解码,无需等到接收完整的 一帧再解码,可以降低帧内解码的延时。

[0043] S220、发送端将流媒体数据中的音频数据采样编码,生成音频码流。

[0044]需要说明的是,发送端是同时执行S210和S220两个步骤,步骤序号不应理解成对 两个步骤的执行顺序,即发送端的视频编码器和音频编码器是同时并行工作。

[0045] S230、发送端按设定交织均匀度,将视频码流与音频码流交织成传输码流。

[0046]示例性的,视频编码器输出视频码流,同时音频编码器输出音频码流,发送端将视 频码流和音频码流汇合作同步交织处理,合理控制音视频的交织均匀度,则在编码端输出 的传输码流即可实现音视频严格同步均匀。由于发送端已经实现传输码流中音视频严格同 步均勾,相应的,接收端接收到传输码流后,无需再做音视频同步处理,可消在除播放时用 于同步音视频而做的缓冲,从而降低同步延时。

[0047]关于交织均匀度,举例来说,发送端的视频编码器和音频编码器同时并行编码,编 码获得视频码流和音频码流在发送端的输出端口交织成传输码流,并且视频码流和音频码 流是按固定比例进行交织,如每2帧视频图像数据和1帧音频数据交织,则交织均匀度为2。 在本实施例中,为避免同步交织过程中,因视频图像数据和音频数据不对称导致同步交织 时间过长的问题,通常将,交织均匀度设置的比较小,一般不超过10,本实施例中可以将设 定交织均匀度设置为5,即发送端将每5帧视频图像数据和1帧音频数据进行同步交织。

[0048] S240、发送端按先I帧后P帧的顺序,向接收端发送传输码流。

[0049]示例性的,由于I帧为关键帧,是携带有全部信息的独立帧,所以视频码流的视频 序列中的第一帧必须为I帧,发送端在发送传输码流时先发送I帧再按序发送P帧,接收端接 收后解码播放。

[0050]优选的,接收端接收传输码流并解码播放,其中,接收端的解复用模块、解码模块 和播放显示模块等解码流水线上前后模块之间共享数据。

[0051]在一个实施例中,接收端的解复用模块、解码模块和播放显示模块等解码流水线 上前后模块之间共享数据,使得各模块组成通路减少数据拷贝。各个模块并行处理传输码 流数据,避免各模块之间互相阻塞的情况,播放显示模块在播放时减少了缓冲或不需要缓 冲,从而降低了接收端的解码延时。

[0052] 综上,在本实施例的技术方案中,发送端在视频编码时不生成B帧,发送端减少编 码延时,接收端进行视频解码时只需解码I帧和P帧,不需解码B帧,降低了帧间参考引起的 解码延时,并在视频码流的每一帧设置帧结束符,以及设置视频码流的最小可解码颗粒度 为片或宏块,进一步降低了接收端的解码延时;发送端按照设定均匀度交织视频码流和音 频码流,保证了传输码流中音视频严格同步均匀,接收端则无需再对音视频做同步处理,播 放时不需要为音视频同步再做缓冲,降低了同步延时。本技术方案降低了多屏互动场景中, 流媒体数据从发送端传输编码到接收端解码播放之间的延时,提高了流媒体数据的播放流 畅度。

[0053]请参考图5,在上述实施例的基础上,可选的,在发送端向接收端发送传输码流之 后,还包括:

[0054]发送端接收接收端返回的带宽监控信息;

[0055]发送端根据带宽监控信息,动态调整编码码率、帧率和/或分辨率。

[0056]优选的,所述发送端根据带宽监控信息,动态调整编码码率、帧率和/或分辨率,包 括:

[0057]若传输带宽不支持当前传输码率,则发送端减小编码码率、帧率和/或分辨率; [0058]若传输带宽支持当前传输码率,且传输带宽的利用率低于设定值,则发送端增大 编码码率、帧率和/或分辨率。

[0059]由此,发送端根据带宽监控信息动态调整编码码率、帧率和/或分辨率,使得接收 端在播放时的流畅度和清晰度得到较好的平衡。

[0060]基于上述优化,如图5所示,本实施例提供的技术方案具体可以包括:

[0061] S510、发送端将流媒体数据中的视频数据采样编码,生成由I帧和多个P帧组成的 视频码流。

[0062] S520、发送端将流媒体数据中的音频数据采样编码,生成音频码流。

[0063] S530、发送端按设定交织均匀度,将视频码流与音频码流交织成传输码流。

[0064] SS40、发送端按先I帧后P帧的顺序,向接收端发送传输码流。

[0065] S550、发送端接收接收端返回的带宽监控信息。

[0066] 示例性的,在接收端接收传输码流的同时,还监控传输带宽,实时检测传输带宽是 否支持传输码流的码率,将检测结果作为带宽监控信息返回给发送端。其中,传输带宽可以 用传输速率来表征,接收端可以通过监控传输速率来监控传输带宽。

[0067] S560、发送端根据带宽监控信息,动态调整编码码率、帧率和/或分辨率。

[0068]优选的,S560具体可以包括:

[0069]若传输带宽不支持当前传输码率,则发送端减小编码码率、帧率和/或分辨率;若 传输带宽支持当前传输码率,且传输带宽的利用率低于设定值,则发送端增大编码码率、帧 率和/或分辨率。

[0070]举例来说,发送端按照一定的码率进行编码和发送,接收端可以知道数据的码率 和当前接收数据的传输速率,如果传输速率不支持当前传输码率,接收端播放不够流畅,则 需要发送端适度减小编码码率、帧率和/或分辨率,以通过适当降低播放清晰度来提升播放 流畅度。

[0071]如果传输速率支持当前传输码率,且如果传输带宽的利用率低于设定值,例如利 用率低于〇_5,表明传输带宽资源存在较大的浪费,则需要发送端适度增大编码码率、帧率 和/或分辨率,以在保证播放流畅度的情况下,适度提升播放清晰度。

[0072]综上,在本实施例的技术方案中,接收端在接收到传输码流解码播放的同时,实时 监控传输速率,并将监控信息返回给发送端,发送端根据该监控信息动态调整编码码率、帧 率和/或分辨率,使得接收端在播放时的流畅度和清晰度得到较好的平衡。

[0073]请参考图6,在上述实施例的基础上,可选的,在发送端向接收端发送传输码流之 后,还包括:

[0074]发送端接收接收端返回的视频解码异常信息;

[0075]发送端响应视频解码异常信息,向接收端重发〗帧。

[0076]由此,在接收端解码出现视频解码异常时,发送端向接收端重新发送〗帧,使得接 收端解码恢复正常,快速消除解码播放时花屏、卡顿等现象,保证解码播放的流畅度。

[0077]基于上述优化,如图6所示,本实施例提供的技术方案具体可以包括:

[0078] S610、发送端将流媒体数据中的视频数据采样编码,生成由〗帧和多个p帧组成的 视频码流。

[0079] S620、发送端将流媒体数据中的音频数据采样编码,生成音频码流。

[0080] %30、发送端按设定交织均匀度,将视频码流与音频码流交织成传输码流。

[0081] S640、发送端按先I帧后P帧的顺序,向接收端发送传输码流。

[0082] S650、发送端接收接收端返回的视频解码异常信息。

[0083]示例性的,接收端接收到传输码流在解码的同时,还实时监控视频解码状态,当解 码器上报视频解码错误时,向发送端发送视频解码异常信息。

[0084] S660、发送端响应视频解码异常信息,向接收端重发〗帧。 ⑽:]、、;^!1 列性的,由于1倾是。关键巾贞,不论接收端是解码11)1贞出现异常,还是解酬1 贞出现 异常,发送端重发1巾贞后,接收端根据重发的工巾贞都可以快速恢复解码,快速解决因视频解码 异常导致的花屏、卡顿等现象。

[0086]综上,在本实删_术方钟,接收職鹏的耐还实时监娜難码状态, 当解码出麵顯酣常时,自发職腿频鹏异常信息,紐端向触顧新发送工 帧,使得接收端解码恢复正常,快速消除解码播放时花屏、卡顿等现象,保证解码播放的流 畅度。

[0087]请参考图7,图7所示的流媒体数据的传输装置,用于执行上述实施例提供的流媒 体数据的传输方法,具备执行方法相应的功能模块和有益效果。

[0088]如图7所示,本实施例提供的传输装置700,配置于基于多屏互动的发送端,,该传 输装置700可以包括:

[0089] 视频编码单元710,用于将流媒体数据中的视频数据采样编码,生成由I帧和多个P 帧组成的视频码流。

[0090]音频编码单元720,用于将流媒体数据中的音频数据采样编码,生成音频码流。 [0091]音视频交织单元730,用于按设定交织均匀度,将视频码流与音频码流交织成传输 码流。

[0092]传输码流发送单元740,用于按先I帧后P帧的顺序,向接收端发送传输码流。

[0093]综上,在本实施例的技术方案中,发送端在视频编码时不生成B帧,减少编码延迟, 接收端进行视频解码时只需解码I帧和P帧,不需解码B帧,降低了帧间参考引起的解码延 时;发送端按照设定均匀度交织视频码流和音频码流,保证了传输码流中音视频严格同步 均匀,接收端则无需再对音视频做同步处理,播放时不需要为音视频同步再做缓冲,降低了 同步延时。本技术方案降低了多屏互动场景中,流媒体数据从发送端传输编码到接收端解 码播放之间的延时,提高了流媒体数据的播放流畅度。

[0094]在上述技术方案的基础上,所述视频码流的每一帧均设置有帧结束符。

[0095]在上述技术方案的基础上,所述视频码流的最小可解码颗粒度为片或宏块。

[0096]在上述技术方案的基础上,传输装置700还可以包括:

[0097]带宽监控信息接收单元,用于接收所述接收端返回的带宽监控信息;

[0098]动态调整单元,用于根据所述带宽监控信息,动态调整编码码率、帧率和/或分辨 率。

[0099] 在上述技术方案的基础上,动态调整单元具体用于:

[0100]若传输带宽不支持当前传输码率,则发送端减小编码码率、帧率和/或分辨率; [0101]若传输带宽支持当前传输码率,且传输带宽的利用率低于设定值,则发送端增大 编码码率、帧率和/或分辨率。

[0102]在上述技术方案的基础上,传输装置700还可以包括:

[0103]视频解码异常信息接收模块,用于接收所述接收端返回的视频解码异常信息; [0104]重发模块,用于响应所述视频解码异常信息,向所述接收端重发所述〗帧。

[0105]此外,接收端接收所述传输码流并解码播放时,接收端的解复用模块、解码模块和 播放显示模块之间共享传输码流数据。

[0106]图8是本发明实施例提供的一种设备的结构示意图。图8示出了适于用来实现本发 明实施方式的示例性设备I2的框图。图8显示的设备I2仅仅是一个示例,不应对本发明实施 例的功能和使用范围带来任何限制。

[0107]如图8所不,设备12以通用计算设备的形式表现。设备12的组件可以包括但不限 于:一个或者多个处理器或者处理单元I6,系统存储器28,连接不同系统组件(包括系统存 储器28和处理单元16)的总线18。

[0108] 总线18表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器, 外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举 例来说,这些体系结构包括但不限于工业标准体系结构(ISA)总线,微通道体系结构(MAC) 总线,增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。

[0109] 设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被设备12 访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。

[0110] 系统存储器28可以包括易失性存储器形式的计算机系统可读介质,例如随机存取 存储器(RAM) 30和/或高速缓存存储器32。设备12可以进一步包括其它可移动/不可移动的、 易失性/非易失性计算机系统存储介质。仅作为举例,存储系统34可以用于读写不可移动 的、非易失性磁介质(图8未显示,通常称为“硬盘驱动器”)。尽管图8中未示出,可以提供用 于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘 (例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可 以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品, 该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本发明各实施 例的功能。

[0111]具有一组(至少一个)程序模块42的程序/实用工具40,可以存储在例如存储器28 中,这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及 程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常 执行本发明所描述的实施例中的功能和/或方法。

[0112]设备12也可以与一个或多个外部设备14 (例如键盘、指向设备、显示器24等)通信, 还可与一个或者多个使得用户能与该设备12交互的设备通信,和/或与使得该设备12能与 一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通 信可以通过输入/输出(I/O)接口22进行。并且,设备12还可以通过网络适配器20与一个或 者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示, 网络适配器20通过总线18与设备12的其它模块通信。应当明白,尽管图中未示出,可以结合 设备12使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、 外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

[0113]处理单元16通过运行存储在系统存储器28中的程序,从而执行各种功能应用以及 数据处理,例如实现本发明实施例所提供的流媒体数据的传输方法。

[0114]本发明实施例还提供了一种包含计算机可执行指令的存储介质,所述计算机可执 行指令在由计算机处理器执行时用于执行一种流媒体数据的传输方法,该方法包括:

[0115]发送端将流媒体数据中的视频数据采样编码,生成由I帧和多个P帧组成的视频码 流;

[0116]发送端将流媒体数据中的音频数据采样编码,生成音频码流;

[0117]发送端按设定交织均匀度,将所述视频码流与所述音频码流交织成传输码流. [0118]发送端按先I帧后P帧的顺序,向接收端发送所述传输码流。 一 ’

[0119]本发明实施例的计算机存储介质,可以采用一个或多个计算机可读的介质的任意 组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可^ 存储介质例如可以是但不限于—电、磁、光、电磁、红外线、或半导体的系统、装置或 器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具 有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器 (ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-R0M)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储 介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件 使用或者与其结合使用。

[0120]计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号, 其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限 于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可 读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于 由指令执行系统、装置或者器件使用或者与其结合使用的程序。

[0121]计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括一一但不限 于无线、电线、光缆、RF等等,或者上述的任意合适的组合。

[0122]可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机 程序代码,所述程序设计语言包括面向对象的程序设计语言一诸如Java、Smalltalk、C++, 还包括常规的过程式程序设计语言一诸如” C”语言或类似的程序设计语言。程序代码可以 完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部 分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在 涉及远程计算机的情形中,远程计算机可以通过任意种类的网络一一包括局域网(LAN)或 广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提 供商来通过因特网连接)。

[0123]注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解, 本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、 重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行 了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还 可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。

Claims (10)

1. 一种流媒体数据的传输方法,其特征在于,包括: 发送端将流媒体数据中的视频数据采样编码,生成由I帧和多个P帧组成的视频码流; 发送端将流媒体数据中的音频数据采样编码,生成音频码流; 发送端按设定交织均匀度,将所述视频码流与所述音频码流交织成传输码流; 发送端按先I帧后P帧的顺序,向接收端发送所述传输码流。
2.如权利要求1所述的方法,其特征在于,所述视频码流的每一帧均设置有帧结束符。
3.如权利要求1所述的方法,其特征在于,所述视频码流的最小可解码颗粒度为片或宏 块。
4. 如权利要求1所述的方法,其特征在于,所述方法还包括: 发送端接收所述接收端返回的带宽监控信息; 发送端根据所述带宽监控信息,动态调整编码码率、帧率和/或分辨率。
5. 如权利要求4所述的方法,其特征在于,所述发送端根据所述带宽监控信息,动态调 整编码码率、帧率和/或分辨率,包括: 若传输带宽不支持当前传输码率,则发送端减小编码码率、帧率和/或分辨率; 若传输带宽支持当前传输码率,且传输带宽的利用率低于设定值,则发送端增大编码 码率、帧率和/或分辨率。
6. 如权利要求1所述的方法,其特征在于,所述方法还包括: 发送端接收所述接收端返回的视频解码异常信息; 发送端响应所述视频解码异常信息,向所述接收端重发所述I帧。
7.如权利要求1所述的方法,其特征在于,所述方法还包括: 接收端接收所述传输码流并解码播放,其中,所述的解码流水线上前后模块之间共享 数据,其中所述模块包括解复用模块、解码模块和播放显示模块。
8.—种流媒体数据的传输装置,配置于基于多屏互动的发送端,其特征在于,所述传输 装置包括: 视频编码单元,用于将流媒体数据中的视频数据采样编码,生成由〗帧和多个P帧组成 的视频码流; 音频编码单元,用于将流媒体数据中的音频数据采样编码,生成音频码流; 音视频交织单元,用于按设定交织均匀度,将所述视频码流与所述音频码流交织成传 输码流; 传输码流发送单元,用于按先I帧后P帧的顺序,向接收端发送所述传输码流。
9.一种设备,其特征在于,包括: 一个或多个处理器; 存储装置,用于存储一个或多个程序; 当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实 现如权利要求1-6中任一所述的流媒体数据的传输方法。 plO • ^种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器 执行时实现如权利要求1_6中任一所述的流媒体数据的传输方法。
CN201711083820.1A 2017-11-07 2017-11-07 流媒体数据的传输方法、装置、设备和存储介质 CN107770600A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711083820.1A CN107770600A (zh) 2017-11-07 2017-11-07 流媒体数据的传输方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711083820.1A CN107770600A (zh) 2017-11-07 2017-11-07 流媒体数据的传输方法、装置、设备和存储介质

Publications (1)

Publication Number Publication Date
CN107770600A true CN107770600A (zh) 2018-03-06

Family

ID=61272690

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711083820.1A CN107770600A (zh) 2017-11-07 2017-11-07 流媒体数据的传输方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN107770600A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1476199A (zh) * 2002-07-26 2004-02-18 三星电子株式会社 传输控制参数产生方法及根据分组特性选择性重发的方法
CN102523510A (zh) * 2011-12-24 2012-06-27 深圳市同洲电子股份有限公司 多屏互动方法、装置及数字电视一体机
CN103297772A (zh) * 2013-05-02 2013-09-11 深圳市比维视创科技有限公司 处理传屏映像的方法、系统以及显示设备
CN104113722A (zh) * 2014-06-19 2014-10-22 南京熊猫电子股份有限公司 一种无线视频会议传输方法
CN104581385A (zh) * 2014-12-23 2015-04-29 深圳市九洲电器有限公司 多屏互动自适应播放方法及系统
CN104735470A (zh) * 2015-02-11 2015-06-24 海信集团有限公司 一种流媒体数据传输方法及装置
CN105357592A (zh) * 2015-10-26 2016-02-24 山东大学苏州研究院 一种流媒体自适应传输选择性丢帧方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1476199A (zh) * 2002-07-26 2004-02-18 三星电子株式会社 传输控制参数产生方法及根据分组特性选择性重发的方法
CN102523510A (zh) * 2011-12-24 2012-06-27 深圳市同洲电子股份有限公司 多屏互动方法、装置及数字电视一体机
CN103297772A (zh) * 2013-05-02 2013-09-11 深圳市比维视创科技有限公司 处理传屏映像的方法、系统以及显示设备
CN104113722A (zh) * 2014-06-19 2014-10-22 南京熊猫电子股份有限公司 一种无线视频会议传输方法
CN104581385A (zh) * 2014-12-23 2015-04-29 深圳市九洲电器有限公司 多屏互动自适应播放方法及系统
CN104735470A (zh) * 2015-02-11 2015-06-24 海信集团有限公司 一种流媒体数据传输方法及装置
CN105357592A (zh) * 2015-10-26 2016-02-24 山东大学苏州研究院 一种流媒体自适应传输选择性丢帧方法

Similar Documents

Publication Publication Date Title
US10764623B2 (en) Method and system for media adaption
Petrangeli et al. An http/2-based adaptive streaming framework for 360 virtual reality videos
US9462228B2 (en) Distributed real-time media composer
US9485466B2 (en) Video processing in a multi-participant video conference
Simpson Video Over IP: IPTV, Internet Video, H. 264, P2P, Web TV, and Streaming: A complete guide to understanding the technology
US9271052B2 (en) Grid encoded media asset data
US10728594B2 (en) Method and apparatus for transmitting data of mobile terminal
CA2621605C (en) Optimizing data rate for video services
JP2014168262A (ja) モバイルデバイスからワイヤレスディスプレイにコンテンツを送信するシステムおよび方法
CN101584221B (zh) 在iptv系统中使用低比特率流的视频数据丢失恢复
US6557030B1 (en) Systems and methods for providing video-on-demand services for broadcasting systems
Zinner et al. Towards QoE management for scalable video streaming
US8677432B2 (en) System and method for providing a personal broadcasting service using a mobile communication terminal
JP5330690B2 (ja) ポータブル通信デバイスのためのデータミキサ
JP3801984B2 (ja) 帯域幅スケーラを含むマルチキャスト伝送システム
US8397269B2 (en) Fast digital channel changing
EP3298790A1 (en) Providing low&high quality streams
US6775327B2 (en) High definition television decoder
JP5722366B2 (ja) リアルタイムマルチメディアストリーミング帯域幅管理
US9479737B2 (en) Systems and methods for event programming via a remote media player
US8205236B2 (en) Contents distribution system, contents distribution method thereof and contents distribution program thereof
US8161518B2 (en) Contents distribution system and distribution server and display terminal of contents distribution system
Held Understanding Iptv
CN102572520B (zh) 图像处理设备、图像再现设备以及图像再现系统
US20120033133A1 (en) Closed captioning language translation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1251103

Country of ref document: HK

RJ01 Rejection of invention patent application after publication

Application publication date: 20180306

RJ01 Rejection of invention patent application after publication