CN112702353A - 流媒体传输方法、电子设备和存储介质 - Google Patents

Abstract

本发明提供一种流媒体传输方法、电子设备和存储介质，其中方法包括：确定待传输的多路媒体数据流；基于各路媒体数据流的展示轨道，分别对各路媒体数据流进行封装，得到各路媒体数据流的封装数据；分别发送各路媒体数据流的封装数据。本发明提供的方法、电子设备和存储介质，基于各路媒体数据流的展示轨道，分别对各路媒体数据流进行封装后发送，从而可以支持多路不同内容的媒体数据流传输，各路媒体数据流相互独立，传输过程中不存在合并过程，灵活性高，有助于满足用户个性化和多样化的播放需求。

Description

流媒体传输方法、电子设备和存储介质

技术领域

本发明涉及流媒体技术领域，尤其涉及一种流媒体传输方法、电子设备和存储介质。

背景技术

流媒体是指采用流式传输的方式在互联网进行播放的媒体格式，如音频流、视频流等。当前的流媒体传输是指发送端将多媒体文件基于主流的流媒体协议进行封装后传输到接收端，再由接收端解封装的过程。

受到带宽本身的限制，主流的流媒体协议均只支持单一内容单路音视频的封装，且所有的特效均需要在编码阶段合成到视频本身。而随着5G(5th-Generation，第五代移动通信技术)时代的到来，带宽成本已经不存在瓶颈，同时人们对感官体验的要求越来越高，对于音视频的呈现方式和呈现效果的需求越来越多样化和个性化，目前的流媒体协传输方式已然无法满足用户需求。

发明内容

本发明提供一种流媒体传输方法、电子设备和存储介质，用以解决现有的流媒体传输方法无法满足多样化、个性化的用户需求的问题。

本发明提供一种流媒体传输方法，包括：

确定待传输的多路媒体数据流；

基于各路媒体数据流的展示轨道，分别对各路媒体数据流进行封装，得到各路媒体数据流的封装数据；

分别发送各路媒体数据流的封装数据。

根据本发明提供一种的流媒体传输方法，还包括：

确定待传输的特效数据流，所述特效数据流表征所述多路媒体数据流中图片数据流和/或文字数据流的展现形式；

对所述特效数据流进行封装，得到所述特效数据流的封装数据；

发送所述特效数据流的封装数据。

根据本发明提供一种的流媒体传输方法，所述封装数据的包头包括扩展标识位，所述扩展标识位用于标识扩展类型，所述扩展类型包括所述特效数据流、所述图片数据流和所述文字数据流。

根据本发明提供一种的流媒体传输方法，所述扩展类型的封装数据的扩展字段包括类型标识位，所述类型标识位用于区分所述特效数据流、所述图片数据流和所述文字数据流。

根据本发明提供一种的流媒体传输方法，所述特效数据流的封装数据的数据部分包括特效类型、着色器类型以及着色器属性信息。

根据本发明提供一种的流媒体传输方法，所述基于各路媒体数据流的展示轨道，分别对各路媒体数据流进行封装，得到各路媒体数据流的封装数据，包括：

将各路媒体数据流的展示轨道写入对应封装数据的扩展字段中，所述扩展字段的格式是基于对应媒体数据流的媒体类型确定的。

根据本发明提供一种的流媒体传输方法，所述媒体类型为视频的扩展字段包括视频轨道标识，或包括视频位置信息和所述视频轨道标识；

所述媒体类型为音频的扩展字段包括音频轨道标识，或包括音频方向信息和所述音频轨道标识；

所述媒体类型为图片或文字的扩展字段包括视频轨道标识，或包括特效索引标识和所述视频轨道标识。

本发明还提供一种流媒体传输方法，包括：

接收多路封装数据，所述多路封装数据是发送端基于各路媒体数据流的展示轨道，分别对各路媒体数据流进行封装得到的；

对各路封装数据进行解封装，得到各路媒体数据流及其展示轨道；

基于各路媒体数据流的展示轨道，展示各路媒体数据流。

本发明还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述流媒体传输方法的步骤。

本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述流媒体传输方法的步骤。

本发明提供的流媒体传输方法、电子设备和存储介质，基于各路媒体数据流的展示轨道，分别对各路媒体数据流进行封装后发送，从而可以支持多路不同内容的媒体数据流传输，各路媒体数据流相互独立，传输过程中不存在合并过程，灵活性高，有助于满足用户个性化和多样化的播放需求。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的流媒体传输方式示意图之一；

图2是本发明提供的流媒体传输方法的流程示意图之一；

图3是本发明提供的流媒体传输方式示意图之二；

图4是本发明提供的封装数据的结构示意图之一；

图5是本发明提供的封装数据的结构示意图之二；

图6是本发明提供的特效数据流的封装数据的数据部分的结构示意图；

图7是本发明提供的视频位置信息示意图；

图8是本发明提供的3D音频场景示意图；

图9是本发明提供的流媒体传输方法的流程示意图之二；

图10是本发明提供的流媒体传输方法的流程示意图之三；

图11是本发明提供的发送端的结构示意图；

图12是本发明提供的接收端的结构示意图；

图13是本发明提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前的流媒体协议均只支持单一内容单路音视频的封装。图1是本发明提供的流媒体传输方式示意图，如图1所示，针对视频流数据仅存在一路可传输的封装数据，同样地，针对音频流数据，也只存在一路可传输的封装数据。由于音视频均只支持单路传输，不同内容的视频流数据或者音频流数据，必须在传输之前先合成为一路再进行封装，固定的传输模式很大程度上限制了流媒体播放的灵活性，难以满足用户个性化和多样化的播放需求。

对此，本发明实施例提供了一种流媒体传输方法。图2是本发明提供的流媒体传输方法的流程示意图之一，如图2所示，该方法的执行主体为流媒体传输的发送端，该方法包括：

步骤110，确定待传输的多路媒体数据流。

具体地，媒体数据流可以是音频数据流、视频数据流，也可以是由需要在不同时间展示的图片构成的图片数据流，或者由需要在不同时间展示的文字构成的文字数据流等。

待传输的媒体数据流可以有多路，此处的多路媒体数据流可以可是相同类型或者不同类型的媒体数据流，例如多路媒体数据流可以是3路不同内容的视频数据流，又例如多路媒体数据流可以是两路不同内容的视频数据流，以及两路不同内容的音频数据流。此处待传输的多路媒体视频流可以是根据发送端的发送需求或者是接收端的展示需求确定的，多路媒体视频流的数量和类型均可以灵活调整，以便于满足用户个性化和多样化的播放需求。

步骤120，基于各路媒体数据流的展示轨道，分别对各路媒体数据流进行封装，得到各路媒体数据流的封装数据。

具体地，媒体数据流的媒体类型可以是常见的视频、音频等，也可以是用于特效展示的图片、文字等。

考虑到流媒体展示的灵活性，在流媒体封装之前不对相同媒体类型的媒体数据流作合并，而相同媒体类型的媒体数据流在非合并状态下展示的前提是确定各自的展示轨道，因此在对各路媒体数据流进行封装时，不仅需要考虑不同媒体类型的媒体数据流基于各自对应媒体类型的封装方式进行封装，还需要考虑相同媒体类型的媒体数据流需要以各自的展示轨道作为区分进行封装，从而使得接收端在接收到相同媒体类型的多路媒体数据流后，根据各路媒体数据流的展示轨道实现各路媒体数据流的并行展示。

例如，视频数据流的展示轨道即视频轨道，3路不同内容的视频数据流可以对应不同的视频轨道来实现并行播放，从而实现“画中画”的播放效果。又例如，音频数据流的展示轨道即音频轨道，多路不同内容的音频数据流可以对应不同的音频轨道来实现并行播放，从而实现3D音效。

分别对各路媒体数据流进行封装，可对应得到各路媒体数据流的封装数据。此处的封装数据与媒体数据流一一对应，各路媒体数据流及其封装数据之间互不影响，封装前后以及封装过程中均不存在媒体数据流及其封装数据的合并，因此使得各路媒体数据流可以灵活组合以满足用户的各种需求。

步骤130，分别发送各路媒体数据流的封装数据。

具体地，在完成各路媒体数据流的封装之后，即可将封装所得的封装数据分别发送到接收端。接收端在接收到各路封装数据之后，可分别解封装得到各路媒体数据流并进行展示。

图3是本发明提供的流媒体传输方式示意图之二，如图3所示，三路相同媒体类型不同内容的视频数据流，即视频数据流A、B、C分别经过封装得到了封装数据A、B、C。在此基础上，封装数据A、B、C分别传输到接收端，并在接收端解封装后按照各视频数据流的展示轨道进行并行播放，实现了“画中画”的播放效果。

本发明实施例提供的方法，基于各路媒体数据流的展示轨道，分别对各路媒体数据流进行封装后发送，从而可以支持多路不同内容的媒体数据流传输，各路媒体数据流相互独立，传输过程中不存在合并过程，灵活性高，有助于满足用户个性化和多样化的播放需求。

目前，特效作为优化用户观看体验的重要部分，受到越来越多用户的关注。而常规的特效通常直接合成在视频流中，无法实现因人而异的灵活定制。对此，本发明实施例进一步将特效拆分为特效数据流和特效媒体数据流两部分，其中特效媒体数据流可以包括图片数据流和/或文字数据流，用于为特效的展示提供素材，特效数据流用于为特效的展示提供具体的展现形式，例如特效数据流中可以包含对图片数据流和/或文字数据流中的图片、文字进行特效渲染的具体参数。

对应地，该方法还包括：

确定待传输的特效数据流，特效数据流表征多路媒体数据流中图片数据流和/或文字数据流的展现形式；

对特效数据流进行封装，得到特效数据流的封装数据；

发送特效数据流的封装数据。

具体地，针对流媒体存在特效需求的情况，在确定待传输的多路媒体数据流的同时，还需要确定特效数据流。由于特效的实现需要依赖于特效数据流提供的展现形式，以及图片数据流和/或文字数据流提供的特效素材，待传输的图片数据流和/或文字数据流，与待传输的特效数据流是相互依存的，即当待传输的多路媒体数据流中存在图片数据流和/或文字数据流时，必然也需要传输相应的特效数据流。

与各路媒体数据流的封装相似地，特效数据流也需要经过独立封装，从而得到其封装数据，并将特效数据流的封装数据独立作为一路数据进行发送。

本发明实施例提供的方法，将特效拆分为特效数据流，以及图片数据流和/或文字数据流进行分别封装和发送，实现了特效与音视频的完全解耦，使得用户可以针对相同或者不同的音视频定制不同的渲染效果，有助于提高特效的个性化定制的灵活性。

基于上述任一实施例，图4是本发明提供的封装数据的结构示意图之一，如图4所示，封装数据可以沿用常见的RTP数据包的结构，即包含包头、扩展段和playload三个部分的数据。考虑到常见的RTP数据包仅用于封装音视频数据流，未用于封装特效数据流、图片数据流和文字数据流，可以在封装数据的包头进行设置，以便于区分。

本发明实施例中，在封装数据的包头设置扩展标识位，扩展标识位用于标识扩展类型，扩展类型包括特效数据流、图片数据流和文字数据流。

进一步地，扩展标识位可以设置在包头的PT字段，通过扩展标识位的不同值区分封装数据对应的数据流是否为扩展类型，此处特效数据流、图片数据流和文字数据流均属于扩展类型，其对应在包头的扩展标识位设置的值是一致的。

基于上述任一实施例，扩展类型的封装数据的扩展字段包括类型标识位，类型标识位用于区分特效数据流、图片数据流和文字数据流。

具体地，考虑到特效数据流、图片数据流和文字数据流的封装数据在包头的扩展标识位是一致的，虽然可以将特效数据流、图片数据流和文字数据流与音频数据流和视频数据流区分开，但是无法实现特效数据流、图片数据流和文字数据流的区分。因此，针对此三种数据流，在封装数据的扩展字段中设置类型标识位，特效数据流、图片数据流和文字数据流在类型标识位上对应有不同的值。

例如，图5是本发明提供的封装数据的结构示意图之二，如图5所示，扩展字段可以包括扩展头长度和类型标识位两部分。

基于上述任一实施例，图6是本发明提供的特效数据流的封装数据的数据部分的结构示意图，如图6所示，特效数据流的封装数据的数据部分包括特效类型、着色器类型以及着色器属性信息。

具体地，特效类型ftyp即特效的类型头定义，着色器类型lang即着色器shager的类型，例如GL Shader；着色器属性信息data表示数据字段，即shader的数据段。

进一步地，着色器属性信息data可以包含着色器类型type，例如顶点着色器、片着色器或其他；还可以包含着色器代码长度size；此外，还可以包含着色器里外部变量的参数定义param，param通常是用户根据shader自定义得到的；另外，还可以包含shader的字符串代码code，可以是通过base64编码得到的。其中，针对字段param可以存在两种定义方式，一种是name和value键值对，另一种是只包含value的形式。

需要说明的是，基于如此定义下的封装数据，接收端可以直接实现特定的特效。此外，发送端也可以根据自身的需求或者用户的喜好针对同一个视频内容定制不同的特效。

基于上述任一实施例，着色器属性信息中着色器里外部变量的参数定义param可以进一步包括该参数的名字定义name，该参数占用的长度size，该参数的值value。其中，name和value均可以用字符串表示，例如name可以是“scale”。

基于上述任一实施例，着色器属性信息中shader的字符串代码code即shader代码段的内容，code中size表示shader内容的长度。整个shader代码段都是字符串表示，可以是通过base64编码得到的。

基于上述任一实施例，步骤120包括：

将各路媒体数据流的展示轨道写入对应封装数据的扩展字段中，扩展字段的格式是基于对应媒体数据流的媒体类型确定的。

具体地，目前流媒体传输时，针对同一媒体类型的媒体数据流需要先合并后封装，即同一媒体类型的媒体数据流最终仅对应一路封装数据。而本发明实施例中不对同一媒体类型不同内容的媒体数据流进行合并，由此得到的多路相同媒体类型不同内容的媒体数据流必须存在展示轨道的区分，方能够实现并行播放。

针对这一情况，在数据封装时，将各路媒体数据流的展示轨道写入对应封装数据的扩展字段中，从而使得封装数据中能够携带对应媒体数据流的展示轨道，保证接收端在解封装之后能够得到各路媒体数据流的展示轨道，实现相同媒体类型不同内容的媒体数据流的并行播放。

此外，考虑到不同媒体类型的展示轨道以及其余与媒体类型相关的信息可能存在区别，不同媒体类型的扩展字段可以对应不同的形式。

基于上述任一实施例，媒体类型为视频的扩展字段包括视频轨道标识，或包括视频位置信息和视频轨道标识。

具体地，视频轨道标识用于标识对应视频数据流的视频轨道，从而使得接收端在对不同内容的视频数据流的封装数据进行解封装之后，可以得到不同内容的视频数据流的视频轨道，以实现视频数据流的并行播放。

此外，视频的扩展字段还可以包括视频位置信息。此处的视频位置信息可以包括视频数据流的显示层级，也可以包含视频数据流在对应显示层级的坐标信息。其中，显示层级用于表示视频数据流对应于其他视频数据流在显示界面上的叠加层级。

视频的扩展字段可以表示为track id,layer,x,y,w,h。其中，track id为视频轨道标识，layer为视频数据流的显示层级，(x,y)为视频数据流在对应显示层级的左上角坐标，w和h为视频数据流在对应显示层级的宽和高。

例如图7是本发明提供的视频位置信息示意图，图7中一共包含3路视频数据流，分别是A、B、C,track id分别是0、1、2，其中A的坐标信息分别为Xa,Ya,Wa,Ha。A的layer是0，表示在最底层，B的layer为1，在A的上面一层，C的layer为2，在B的上层。以此类推，layer的值越大，表示其层级越高。只能有一路视频数据流为0层级。

除此之外，如果存在多路相同层级的视频数据流，必须保证相互之间没有交集的情况。以上扩展字段，能够有效的区分不同内容的视频数据流，以及每个视频数据流展示的层级和位置。

基于上述任一实施例，媒体类型为音频的扩展字段包括音频轨道标识，或包括音频方向信息和音频轨道标识。

具体地，音频轨道标识用于标识对应音频数据流的音频轨道，从而使得接收端在对不同内容的音频数据流的封装数据进行解封装之后，可以得到不同内容的音频数据流的音频轨道，以实现音频数据流的并行播放。

此外，音频的扩展字段还可以包括音频方向信息，音频方向信息用于反映3D音频播放场景下一路音频视频流的播放方向。

音频的扩展字段包含track id,dir等，其中，track id代表音频轨道标识；dir代表音频方向信息。dir针对于3D音频播放场景，如果扩展字段中没有dir字段，则表示此时不是3D音频播放场景，只是多路音频的传输。

图8是本发明提供的3D音频场景示意图，如图8所示，此时传输的是3D视频数据流和来自6个方向的音频数据流，接收端会根据3D视频数据流旋转方向切换音频数据流的方向，每个方向的音量均存在对应权重，例如用户正面方向音量最大，后面最小，左右上下次之。

基于上述任一实施例，媒体类型为图片或文字的扩展字段包括视频轨道标识，或包括特效索引标识和所述视频轨道标识。

其中，图片或文字的扩展字段中的视频轨道标识反映的是对应图片数据流或者文字数据流需要显示的视频数据流的视频轨道。

特效索引标识反映的是对应图片数据流或者文字数据流的索引号，特效索引标识会被特效数据流所引用，用于指明特效所依赖的图片和文字素材。

此外，图片数据流的封装数据中，数据部分即图片数据本身，且图片数据本身可以根据实际大小进行拆分，例如当图片数据大于最大传输单元MTU时，可以进行分包处理、

文字数据流的封装数据中，数据部分可以是基于base64编码所得的文字字符串。

基于上述任一实施例，图9是本发明提供的流媒体传输方法的流程示意图之二，如图9所示，该方法的执行主体是流媒体传输的接收端，该方法包括：

步骤910，接收多路封装数据，多路封装数据是发送端基于各路媒体数据流的展示轨道，分别对各路媒体数据流进行封装得到的。

步骤920，对各路封装数据进行解封装，得到各路媒体数据流及其展示轨道。

步骤930，基于各路媒体数据流的展示轨道，展示各路媒体数据流。

具体地，考虑到流媒体展示的灵活性，在流媒体封装之前不对相同媒体类型的媒体数据流作合并，而相同媒体类型的媒体数据流在非合并状态下展示的前提是确定各自的展示轨道，发送端在对各路媒体数据流进行封装时，不仅需要考虑不同媒体类型的媒体数据流基于各自对应媒体类型的封装方式进行封装，还需要考虑相同媒体类型的媒体数据流需要以各自的展示轨道作为区分进行封装。

因此，发送端分别对各路媒体数据流进行封装，进而对应得到各路媒体数据流的封装数据。此处的封装数据与媒体数据流一一对应，各路媒体数据流及其封装数据之间互不影响，封装前后以及封装过程中均不存在媒体数据流及其封装数据的合并，因此使得各路媒体数据流可以灵活组合以满足用户的各种需求。

相应地，接收端接收到的多路封装数据，同样是一路封装数据对应一路媒体数据流。在此基础上对各路封装数据分别解封装，即可得到各路相互独立的媒体数据流及其展示轨道，从而实现各路媒体数据流的并行展示。

本发明实施例提供的方法，基于各路媒体数据流的展示轨道，分别对各路媒体数据流进行封装后传输，从而可以支持多路不同内容的媒体数据流传输，各路媒体数据流相互独立，传输过程中不存在合并过程，灵活性高，有助于满足用户个性化和多样化的播放需求。

基于上述任一实施例，该方法还包括：

接收特效数据集流的封装数据；

对特效数据集流的封装数据进行解封装，得到特效数据流；

基于特效数据流，以及图片数据流和/或文字数据流进行特效展示。

具体地，特效数据流，以及图片数据流和/或文字数据流，可以组合形成特效。发送端在完成特效拆分之后进行特效数据流的封装数据，以及图片数据流和/或文字数据流的封装数据的分别传输，使得接收端在接收到上述封装数据之后，可以通过解封装得到特效数据流，以及图片数据流和/或文字数据流，从而实现特效的重新组合和展示。

本发明实施例提供的方法，将特效拆分为特效数据流，以及图片数据流和/或文字数据流进行分别接收、解封装和组合展示，实现了特效与音视频的完全解耦，使得用户可以针对相同或者不同的音视频定制不同的渲染效果，有助于提高特效的个性化定制的灵活性。

基于上述任一实施例，该方法中，步骤920包括：从各路封装数据的扩展字段中，读取对应媒体数据流的展示轨道。

具体地，在数据封装时，发送端将各路媒体数据流的展示轨道写入对应封装数据的扩展字段中，从而使得封装数据中能够携带对应媒体数据流的展示轨道。相应地，接收端在解封装时，可以从各路封装数据的扩展字段中，读取对应媒体数据流的展示轨道，从而实现相同媒体类型不同内容的媒体数据流的并行播放。

基于上述任一实施例，图10是本发明提供的流媒体传输方法的流程示意图之三，如图10所示，流媒体传输方法包括：

首先，发送端确定待传输的多路媒体数据流，以及特效数据流。其中，媒体数据流包括视频数据流A、音频数据流B、图片数据流C和文字数据流D，特效数据流为特效数据流E。

发送端分别基于各媒体数据流的展示轨道，对各路媒体数据流进行封装，得到视频数据流A对应的封装数据A、音频数据流B对应的封装数据B、图片数据流C对应的封装数据C和文字数据流D对应的封装数据D。

此外，发送端还对特效数据流E进行封装，从而得到特效数据流E对应的封装数据E。

随后，发送端分为5路分别发送封装数据A、封装数据B、封装数据C、封装数据D和封装数据E。

接收端在接收到封装数据A、封装数据B、封装数据C、封装数据D和封装数据E后，通过读取各个封装数据的包头，将封装数据对应的数据流类型区分为扩展类型和非扩展类型，并读取扩展类型的封装数据的扩展字段，从而区分特效数据流、图片数据流和文字数据流的封装数据。在此基础上，接收端解封装各路封装数据，得到视频数据流A、音频数据流B、图片数据流C和文字数据流D，以及各自对应的展示轨道，另外得到特效数据流E。

最后，接收端基于视频数据流A、音频数据流B、图片数据流C和文字数据流D及其各自对应的展示轨道，以及特效数据流E，进行多媒体展示。

基于上述任一实施例，图11是本发明提供的发送端的结构示意图，如图11所示，发送端包括：

数据流确定单元1110，用于确定待传输的多路媒体数据流；

封装单元1120，用于基于各路媒体数据流的展示轨道，分别对各路媒体数据流进行封装，得到各路媒体数据流的封装数据；

发送单元1130，用于分别发送各路媒体数据流的封装数据。

本发明实施例提供的发送端，基于各路媒体数据流的展示轨道，分别对各路媒体数据流进行封装后发送，从而可以支持多路不同内容的媒体数据流传输，各路媒体数据流相互独立，传输过程中不存在合并过程，灵活性高，有助于满足用户个性化和多样化的播放需求。

基于上述任一实施例，发送端还包括：

特效发送单元，用于确定待传输的特效数据流，所述特效数据流表征所述多路媒体数据流中图片数据流和/或文字数据流的展现形式；

对所述特效数据流进行封装，得到所述特效数据流的封装数据；

发送所述特效数据流的封装数据。

基于上述任一实施例，所述封装数据的包头包括扩展标识位，所述扩展标识位用于标识扩展类型，所述扩展类型包括所述特效数据流、所述图片数据流和所述文字数据流。

基于上述任一实施例，所述扩展类型的封装数据的扩展字段包括类型标识位，所述类型标识位用于区分所述特效数据流、所述图片数据流和所述文字数据流。

基于上述任一实施例，所述特效数据流的封装数据的数据部分包括特效类型、着色器类型以及着色器属性信息。

基于上述任一实施例，封装单元1120用于：

将各路媒体数据流的展示轨道写入对应封装数据的扩展字段中，所述扩展字段的格式是基于对应媒体数据流的媒体类型确定的。

基于上述任一实施例，所述媒体类型为视频的扩展字段包括视频轨道标识，或包括视频位置信息和所述视频轨道标识；

所述媒体类型为音频的扩展字段包括音频轨道标识，或包括音频方向信息和所述音频轨道标识；

所述媒体类型为图片或文字的扩展字段包括视频轨道标识，或包括特效索引标识和所述视频轨道标识。

基于上述任一实施例，图12是本发明提供的接收端的结构示意图，如图12所示，接收端包括：

接收单元1210，用于接收多路封装数据，所述多路封装数据是发送端基于各路媒体数据流的展示轨道，分别对各路媒体数据流进行封装得到的；

解封装单元1220，用于对各路封装数据进行解封装，得到各路媒体数据流及其展示轨道；

展示单元1230，用于基于各路媒体数据流的展示轨道，展示各路媒体数据流。

本发明实施例提供的接收端，基于各路媒体数据流的展示轨道，分别对各路媒体数据流进行封装后传输，从而可以支持多路不同内容的媒体数据流传输，各路媒体数据流相互独立，传输过程中不存在合并过程，灵活性高，有助于满足用户个性化和多样化的播放需求。

图13示例了一种电子设备的实体结构示意图，如图13所示，该电子设备可以包括：处理器(processor)1310、通信接口(Communications Interface)1320、存储器(memory)1330和通信总线1340，其中，处理器1310，通信接口1320，存储器1330通过通信总线1340完成相互间的通信。处理器1310可以调用存储器1330中的逻辑指令，以执行流媒体传输方法，该方法包括：确定待传输的多路媒体数据流；基于各路媒体数据流的展示轨道，分别对各路媒体数据流进行封装，得到各路媒体数据流的封装数据；分别发送各路媒体数据流的封装数据。

处理器1310还可以调用存储器1330中的逻辑指令，以执行流媒体传输方法，该方法包括：接收多路封装数据，所述多路封装数据是发送端基于各路媒体数据流的展示轨道，分别对各路媒体数据流进行封装得到的；对各路封装数据进行解封装，得到各路媒体数据流及其展示轨道；基于各路媒体数据流的展示轨道，展示各路媒体数据流。

此外，上述的存储器1330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的流媒体传输方法，该方法包括：确定待传输的多路媒体数据流；基于各路媒体数据流的展示轨道，分别对各路媒体数据流进行封装，得到各路媒体数据流的封装数据；分别发送各路媒体数据流的封装数据。

本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的流媒体传输方法，该方法包括：接收多路封装数据，所述多路封装数据是发送端基于各路媒体数据流的展示轨道，分别对各路媒体数据流进行封装得到的；对各路封装数据进行解封装，得到各路媒体数据流及其展示轨道；基于各路媒体数据流的展示轨道，展示各路媒体数据流。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的流媒体传输方法，该方法包括：确定待传输的多路媒体数据流；基于各路媒体数据流的展示轨道，分别对各路媒体数据流进行封装，得到各路媒体数据流的封装数据；分别发送各路媒体数据流的封装数据。

本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的流媒体传输方法，该方法包括：接收多路封装数据，所述多路封装数据是发送端基于各路媒体数据流的展示轨道，分别对各路媒体数据流进行封装得到的；对各路封装数据进行解封装，得到各路媒体数据流及其展示轨道；基于各路媒体数据流的展示轨道，展示各路媒体数据流。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种流媒体传输方法，其特征在于，应用于发送端，该方法包括：

确定待传输的多路媒体数据流；

基于各路媒体数据流的展示轨道，分别对各路媒体数据流进行封装，得到各路媒体数据流的封装数据；

分别发送各路媒体数据流的封装数据。

2.根据权利要求1所述的流媒体传输方法，其特征在于，还包括：

确定待传输的特效数据流，所述特效数据流表征所述多路媒体数据流中图片数据流和/或文字数据流的展现形式；

对所述特效数据流进行封装，得到所述特效数据流的封装数据；

发送所述特效数据流的封装数据。

3.根据权利要求2所述的流媒体传输方法，其特征在于，所述封装数据的包头包括扩展标识位，所述扩展标识位用于标识扩展类型，所述扩展类型包括所述特效数据流、所述图片数据流和所述文字数据流。

4.根据权利要求3所述的流媒体传输方法，其特征在于，所述扩展类型的封装数据的扩展字段包括类型标识位，所述类型标识位用于区分所述特效数据流、所述图片数据流和所述文字数据流。

5.根据权利要求2所述的流媒体传输方法，其特征在于，所述特效数据流的封装数据的数据部分包括特效类型、着色器类型以及着色器属性信息。

6.根据权利要求1至5中任一项所述的流媒体传输方法，其特征在于，所述基于各路媒体数据流的展示轨道，分别对各路媒体数据流进行封装，得到各路媒体数据流的封装数据，包括：

将各路媒体数据流的展示轨道写入对应封装数据的扩展字段中，所述扩展字段的格式是基于对应媒体数据流的媒体类型确定的。

7.根据权利要求6所述的流媒体传输方法，其特征在于，所述媒体类型为视频的扩展字段包括视频轨道标识，或包括视频位置信息和所述视频轨道标识；

所述媒体类型为音频的扩展字段包括音频轨道标识，或包括音频方向信息和所述音频轨道标识；

所述媒体类型为图片或文字的扩展字段包括视频轨道标识，或包括特效索引标识和所述视频轨道标识。

8.一种流媒体传输方法，其特征在于，应用于接收端，该方法包括：

接收多路封装数据，所述多路封装数据是发送端基于各路媒体数据流的展示轨道，分别对各路媒体数据流进行封装得到的；

对各路封装数据进行解封装，得到各路媒体数据流及其展示轨道；

基于各路媒体数据流的展示轨道，展示各路媒体数据流。

9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至8任一项所述流媒体传输方法的步骤。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述流媒体传输方法的步骤。

Images