CN113873275B - 一种视频媒体数据的传输方法及装置 - Google Patents

Abstract

本发明公开了一种视频媒体数据的传输方法及装置，包括：第一端获取编码后视频媒体数据的任一第一数据帧；根据第一数据帧与额外数据之间的对应关系将额外数据进行分割，得到第一额外帧，并在第一额外帧的第一预设位置插入预设标识，得到第二额外帧；将第一描述符修改为第二描述符，并将第二额外帧插入至第一数据帧的第二预设位置，得到第二数据帧；将第二数据帧进行封装，得到媒体源，并将媒体源发送至第二端。通过对第一描述符进行修改，将第一额外帧插入至第一数据帧，使第一额外帧伪装成了第一数据帧的一部分，从而不需要更改或拓展服务器的传输协议来传输额外帧，降低服务器的复杂性，以及在第二端对于额外帧与数据帧进行同步时的延迟。

Description

一种视频媒体数据的传输方法及装置

技术领域

本发明涉及视频编解码领域，尤其涉及一种视频媒体数据的传输方法及装置。

背景技术

现有技术中，视频媒体一般包括视频帧和音频帧，在一些场景下，视频媒体还包括与视频帧在时间上一致的额外数据，如，全景的视频中，某一视频帧所需要显示重要视角的位置信息、云VR的推流端需要加入服务器渲染时的摄像机角度等、字幕等。

在直播场景中，视频媒体生成和播放流程通常包括以下步骤：

1、第一端获取原视频数据，并进行编码，确定视频媒体(包括视频帧和音频帧)；

2、第一端将编码后的视频媒体封装为预设格式，得到媒体源；

3、第一端将媒体源和额外数据通过服务器发送至第二端，以使第二端在获取媒体源和额外数据之后，对媒体源进行解封装和解码，得到帧数据(视频帧、音频帧)，并对帧数据和额外数据进行播放处理。

但目前，服务器一般只针对媒体源进行传输，针对额外数据，通常需要更改或者拓展服务器的传输协议，增加了服务器的复杂性，且额外数据和媒体源在第二端是由两个源代码进行处理，增加了第二端的计算压力，另外，在传输过程中，媒体源和额外数据会存在延迟。

因此，现需要一种视频媒体数据的传输方法，在传输额外数据时，无需更改或拓展服务器的传输协议，降低服务器的复杂性，减少第二端的计算压力，并降低第二端对于额外帧与数据帧进行同步时的延迟。

发明内容

本发明实施例提供一种视频媒体数据的传输方法及装置，用于对视频媒体数据的数据帧和额外帧进行处理，在传输额外数据时，无需更改或拓展服务器的传输协议，降低服务器的复杂性，减少第二端的计算压力，并降低第二端对于额外帧与数据帧进行同步时的延迟。

第一方面，本发明实施例提供一种视频媒体数据的传输方法，包括：

第一端获取编码后视频媒体数据的任一第一数据帧；

所述第一端根据所述第一数据帧与额外数据之间的对应关系将额外数据进行分割，得到第一额外帧，并在所述第一额外帧的第一预设位置插入预设标识，得到第二额外帧；所述预设标识用于指示第一数据长度的第二额外帧；

所述推流端第一端根据所述预设标识修改所述第一数据帧的第一描述符为第二描述符，并将所述第二额外帧插入至所述第一数据帧的第二预设位置，得到第二数据帧；所述第一描述符用于描述所述第一数据帧第二数据长度；所述第二描述符用于描述所述第二数据帧的第三数据长度；

所述第一端将所述第二数据帧进行封装，得到媒体源，并将所述媒体源发送至第二端。

上述技术方案中，将第一数据帧的第一描述符进行修改，并将第一数据帧对应的第二额外帧插入至第一数据帧，因为第二额外帧是根据第一额外帧得到的，以使得到的第二数据帧既包括第一数据帧，还包括了第一额外帧，相当于将第一额外帧伪装成了第一数据帧的一部分，从而在通过服务器传输时，不需要更改或拓展服务器的传输协议，降低了服务器的复杂性，因为第一数据帧和第一额外帧同时发送至了第二端，因此降低了在第二端对于额外帧与数据帧进行同步时的延迟，且第二端在进行解封装和解码计算时，只针对一个数据帧，即第二数据帧，不需要进行额外处理，因此减少了第二端的计算压力。

可选的，所述预设标识包括第一标识和第二标识；所述第一标识用于表征所述第二额外帧的数据头部；所述第二标识用于表征所述第二额外帧的数据尾部；

所述第一端根据所述预设标识修改所述第一数据帧的第一描述符，包括：

所述第一端根据所述第一标识和所述第二标识确定所述第二额外帧的第一数据长度；

所述第一端根据所述第一数据长度和所述第二数据长度修改所述第一数据帧的第一描述符为第二描述符。

上述技术方案中，通过第一标识和第二标识来确定第一数据长度，以此根据第一数据长度修改第一描述符，实现在将第二额外帧插入至第一数据帧后，使第一额外帧伪装成了第一数据帧的一部分，从而在通过服务器传输时，不需要更改或拓展服务器的传输协议，降低服务器的复杂性，降低在第二端对于额外帧与数据帧进行同步时的延迟，并且，通过第一标识和第二标识可以明确第一额外帧，防止第一额外帧的数据发生变化，保证了第一额外帧的准确性。

可选的，所述预设标识包括第一标识和第三标识；所述第一标识用于表征所述第二额外帧的数据头部；所述第三标识用于表征所述第二额外帧的第一数据长度。

上述技术方案中，可以通过第三标识直接来确定第一额外帧的第一数据长度，而第一标识和第三标识可以确定第一额外帧，防止第一额外帧的数据发生变化，保证了第一额外帧的准确性。

可选的，在所述第一额外帧的第一预设位置插入预设标识，包括：

在所述第一额外帧的头部位置插入预设标识。

上述技术方案中，预设标识插入在第一额外帧的头部位置，以便于读取第一额外帧的数据长度，提升确定第二数据帧的效率。

可选的，将所述第二额外帧插入至所述第一数据帧的第二预设位置，得到第二数据帧，包括：

所述第一端将所述第二额外帧插入至第一数据帧的数据尾部，得到第二数据帧。

上述技术方案中，将第二额外帧插入至第一数据帧的数据尾部，以使第二数据帧既包括第一数据帧，还包括第一额外帧，相当于将第一额外帧伪装成了第一数据帧的一部分，从而在通过服务器传输时，不需要更改或拓展服务器的传输协议，降低服务器的复杂性，降低在第二端对于额外帧与数据帧进行同步时的延迟。

第二方面，本发明实施例提供一种视频媒体数据的传输方法，包括：

第二端获取第一端发送的媒体源；所述媒体源是第一端对第二数据帧进行封装得到的；

所述第二端将所述媒体源解封装，得到所述第二数据帧；

所述第二端查找所述第二数据帧中的预设标识，并根据所述预设标识从所述第二数据帧中确定出第二额外帧；所述预设标识用于指示第一数据长度的第二额外帧；

所述第二端根据所述预设标识从所述第二额外帧中得到第一额外帧；所述第一额外帧是第一端根据数据帧与额外数据之间的对应关系将额外数据进行分割得到的；

所述第二端根据所述第二数据帧中的第二描述符和预设标识，得到第一数据帧中的第一描述符和所述第一数据帧；所述第一描述符用于描述所述第一数据帧第二数据长度；所述第二描述符用于描述所述第二数据帧的第三数据长度；

所述第二端对所述第一额外帧和所述第一数据帧进行显示。

上述技术方案中，第二数据帧既包括第一数据帧，还包括第一额外帧，第二端在进行解封装和解码计算时，只针对一个第二数据帧，通过一个源代码进行处理，减少了第二端的计算压力，并且，通过预设标识可以从第二数据帧中确定出待显示的第一额外帧和第一数据帧，降低了对于额外帧与数据帧进行同步时的延迟。

可选的，所述第二端根据所述预设标识从所述第二额外帧中得到第一额外帧，包括：

所述第二端将所述第二额外帧中的预设标识删除，得到所述第一额外帧。

上述技术方案中，将第二额外帧中的预设标识删除，得到待显示的第一额外帧，以防止在对第一额外帧进行显示时，数据出现错误，保证了第一额外帧的数据准确性。

可选的，所述预设标识包括第一标识、第二标识和/或第三标识；所述第一标识用于表征所述第二额外帧的数据头部；所述第二标识用于表征所述第二额外帧的数据尾部；所述第三标识用于表征所述第二额外帧的数据长度；

所述第二端根据所述第二数据帧中的第二描述符和预设标识，得到第一数据帧中的第一描述符和所述第一数据帧，包括：

所述第二端根据第一标识、第二标识和/或第三标识确定所述第二额外帧的第一数据长度；

所述第二端将所述第二描述符减去所述第一数据长度，得到所述第一描述符；

所述第二端将第二数据帧中的第二额外帧删除，确定第一数据帧。

上述技术方案中，通过第一标识、第二标识和/或第三标识确定第一数据长度，然后根据第一数据长度将第二描述符修改为第一描述符，相当于将第二数据帧还原为第一数据帧，以保证在进行显示时，第一数据帧的数据准确性。

第三方面，本发明实施例提供一种视频媒体数据的传输装置，包括：

获取模块，用于获取编码后视频媒体数据的任一第一数据帧；

处理模块，用于根据所述第一数据帧与额外数据之间的对应关系将额外数据进行分割，得到第一额外帧，并在所述第一额外帧的第一预设位置插入预设标识，得到第二额外帧；所述预设标识用于指示第一数据长度的第二额外帧；

根据所述预设标识修改所述第一数据帧的第一描述符为第二描述符，并将所述第二额外帧插入至所述第一数据帧的第二预设位置，得到第二数据帧；所述第一描述符用于描述所述第一数据帧第二数据长度；所述第二描述符用于描述所述第二数据帧的第三数据长度；

将所述第二数据帧进行封装，得到媒体源，并将所述媒体源发送至第二端。

可选的，所述预设标识包括第一标识和第二标识；所述第一标识用于表征所述第二额外帧的数据头部；所述第二标识用于表征所述第二额外帧的数据尾部；

所述处理模块具体用于：

根据所述预设标识修改所述第一数据帧的第一描述符，包括：

根据所述第一标识和所述第二标识确定所述第二额外帧的第一数据长度；

根据所述第一数据长度和所述第二数据长度修改所述第一数据帧的第一描述符为第二描述符。

可选的，所述预设标识包括第一标识和第三标识；所述第一标识用于表征所述第二额外帧的数据头部；所述第三标识用于表征所述第二额外帧的第一数据长度。

可选的，所述处理模块具体用于：

在所述第一额外帧的头部位置插入预设标识。

可选的，所述处理模块具体用于：

将所述第二额外帧插入至第一数据帧的数据尾部，得到第二数据帧。

第四方面，本发明实施例提供一种视频媒体数据的传输装置，包括：

获取单元，用于获取第一端发送的媒体源；所述媒体源是第一端对第二数据帧进行封装得到的；

处理单元，用于将所述媒体源解封装，得到所述第二数据帧；

查找所述第二数据帧中的预设标识，并根据所述预设标识从所述第二数据帧中确定出第二额外帧；所述预设标识用于指示第一数据长度的第二额外帧；

根据所述预设标识从所述第二额外帧中得到第一额外帧；所述第一额外帧是第一端根据数据帧与额外数据之间的对应关系将额外数据进行分割得到的；

根据所述第二数据帧中的第二描述符和预设标识，得到第一数据帧中的第一描述符和所述第一数据帧；所述第一描述符用于描述所述第一数据帧第二数据长度；所述第二描述符用于描述所述第二数据帧的第三数据长度；

显示单元，用于对所述第一额外帧和所述第一数据帧进行显示。

可选的，所述处理单元具体用于：

将所述第二额外帧中的预设标识删除，得到所述第一额外帧。

所述预设标识包括第一标识、第二标识和/或第三标识；所述第一标识用于表征所述第二额外帧的数据头部；所述第二标识用于表征所述第二额外帧的数据尾部；所述第三标识用于表征所述第二额外帧的数据长度；

可选的，所述处理单元具体用于：

根据第一标识、第二标识和/或第三标识确定所述第二额外帧的第一数据长度；

将所述第二描述符减去所述第一数据长度，得到所述第一描述符；

将第二数据帧中的第二额外帧删除，确定第一数据帧。

第五方面，本发明实施例还提供一种计算机设备，包括：

存储器，用于存储程序指令；

处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行上述视频媒体数据的传输方法。

第六方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行上述视频媒体数据的传输方法。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种系统架构示意图；

图2为本发明实施例提供的一种视频媒体数据的传输方法的流程示意图；

图3为本发明实施例提供的一种得到第二数据帧的示意图；

图4为本发明实施例提供的一种视频媒体数据的传输方法的流程示意图；

图5为本发明实施例提供的一种视频媒体数据的传输装置的结构示意图；

图6为本发明实施例提供的一种视频媒体数据的传输装置的结构示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

目前，观看视频已成为人们日常生活中的一项娱乐活动，例如，观看抖音、快手等小视频，其中，视频属于视频媒体数据的一种，视频媒体数据还包括音频文件等。

视频媒体数据一般是由音频帧、视频帧和额外数据组成，包括实时的视频媒体和非实时的视频媒体，例如，一种实时的视频媒体(抖音直播的视频媒体数据、斗鱼直播的视频媒体数据等)，一种非实时的视频媒体(移动终端录制的视频媒体数据等)。具体的传输步骤包括：

1、第一端对原始视频帧和/或音频帧进行编码，得到视频媒体；其中，第一端指的是确定视频媒体的录制端、或编码设备端，如电脑、摄像机、移动终端、推流软件(如抖音、斗鱼、虎牙)等；编码方式包括H.264、H.265等编码，在此不做具体限定。

2、第一端将编码后的视频帧和/或音频帧进行封装，得到媒体源；其中，封装是指将编码后的视频帧和/或音频帧按照预设格式存放至媒体容器中；预设格式包括mp4、mkv、avi、ts、flv等格式；媒体容器是与预设格式相对应的存储单元；

3、第一端将媒体源通过服务器发送至第二端；其中，服务器用于根据预设传输协议对媒体源进行传输；预设传输协议用于服务器与第二端、第一端完成媒体源传输控制的网络应用层协议，如rtmp，rtsp，http协议等。

4、第二端对媒体源解封装和解码，得到视频帧和/或音频帧，并将视频帧和/或音频帧进行显示；其中，第二端是用于播放或显示视频帧和/或音频帧的前端设备，如移动终端、平板电脑等。

如果在视频媒体中加入与视频帧和/或音频帧在时间上相关的同步额外数据(如全景视频中，某一视频帧所需要显示重要视角的位置信息、云VR的推流端需要加入服务器渲染时的摄像机角度、某一视频帧的字幕、某一音频帧的放大声音参数等)，一般是通过下述3种方法：

a、第一端将额外数据存放至媒体容器以外的文件，相当于视频媒体包括两个文件，一个是媒体源文件，另一个是额外数据文件，且两个文件的格式不同，将媒体源文件和额外数据文件通过服务器发送至第二端。

b、第一端以容器支持的Extra-data格式的形式将额外数据存放至媒体容器，得到一个与媒体源文件格式相同的额外数据文件，将媒体源文件和额外数据文件以同一视频媒体的形式通过服务器发送至第二端。

c、第一端将额外数据以一个额外的Media-stream形式存放入媒体容器，作为另一视频流，以两种视频媒体的形式通过服务器发送至第二端。

但是，在上述a方法中，因为两个文件的格式不同，因此在传输时，需要对服务器进行传输协议的更改或拓展，以对服务器重新部署，过程非常繁琐。同时，由于文件io读取的先后或者网络传输存在延迟，因此存在两者先后到达第二端的情况，需要在第二端进行两者的同步，第二端在进行同步时会造成等待两个文件数据都被获取到，即会造成延迟，对于同步要求极高的应用场景(例如云渲染，云VR)，该方法无法满足需求。

在上述b方法中，一方面很多媒体容器不支持Extra-data，具有一些特殊的格式标准，导致额外数据不能符合媒体容器的格式标准。并且，在额外数据以与媒体源文件格式相同的形式由第一端通过服务发送至第二端的过程中，会因数据格式不兼容导致额外数据被第一端和服务器删除，因此，若想以该方法实现将额外数据发送至第二端，需要对第一端和服务器进行相应的配置更改，但更改方法很繁琐。

在上述c方法中，额外数据以字幕为例，另一视频媒体以字幕流(substilestream)和/或数据流(data stream)为例，一方面，第一端的媒体容器可能对字幕流(substile stream)和/或数据流(data stream)格式不支持，会因数据格式不兼容将额外数据删除，另一方面，服务器的传输协议不支持字幕流(substile stream)和/或数据流(data stream)格式，不会将额外数据进行传输，若想实现数据传输，需要对第一端和服务器进行相应的配置更改，且第二端需要对其进行额外的数据同步，消除延迟。

综上所述，现有技术的额外数据传输，需要更改服务器的传输协议，增加了服务器的复杂性，且额外数据在第二端和服务器中，存在数据格式兼容问题，导致无法将额外数和视频媒体同时传输至第二端，使第二端对于额外帧与数据帧进行同步时的延迟，因此，现需要一种额外数据的传输方法，在传输额外数据时，无需更改或拓展服务器的传输协议，降低第二端对于额外帧与数据帧进行同步时的延迟。

图1示例性的示出了本发明实施例所适用的一种系统架构，该系统架构包括第一端110、服务器120和第二端130。

其中，第一端110用于获取编码后的视频媒体数据，然后针对编码后的视频媒体数据的任一第一数据帧，修改第一数据帧的第一描述符，将第一额外帧插入至第一数据帧，得到第二数据帧，使第二数据帧既包括第一数据帧，又包括第一额外帧，实现将第一额外帧伪装成第一数据帧的一部分，然后将第二数据帧通过服务器120发送至第二端130。

服务器120，用于根据预设传输协议传输媒体源，媒体源是第一端110将第二数据帧封装后得到的。

第二端130，用于在得到媒体源之后，将媒体源解封装和解码后，得到第二数据帧，并在第二数据帧中确定出待显示的第一数据帧和第一额外帧，并对第一额外帧和第一数据帧进行显示。

需要说明的是，上述图1所示的结构仅是一种示例，本发明实施例对此不做限定。

基于上述描述，图2示例性的示出了本发明实施例提供的一种视频媒体数据的传输方法的流程示意图，该流程可由视频媒体数据的传输装置执行。

如图2所示，该流程具体包括：

步骤210，第一端获取编码后视频媒体数据的任一第一数据帧。

本发明实施例中，第一数据帧包括音频帧和/或视频帧，需要说明的是，第一数据帧是根据视频媒体数据按照一定的顺序确定的，例如，按照本领域常使用的编码时间顺序，从视频文件中确定原视频数据，然后将原视频数据编码为视频帧和音频帧，以此得到数据帧。

步骤220，所述第一端根据所述第一数据帧与额外数据之间的对应关系将额外数据进行分割，得到第一额外帧，并在所述第一额外帧的第一预设位置插入预设标识，得到第二额外帧。

本发明实施例中，预设标识插入在第一额外帧的头部位置，预设标识包括多个标识，用于指示第一数据长度的第二额外帧。

步骤230，所述第一端根据所述预设标识修改所述第一数据帧的第一描述符为第二描述符，并将所述第二额外帧插入至所述第一数据帧的第二预设位置，得到第二数据帧。

本发明实施例中，所述第一描述符用于描述所述第一数据帧第二数据长度；所述第二描述符用于描述所述第二数据帧的第三数据长度；通过将第一描述符修改为第二描述符，才可以实现将第一额外帧伪装成第一数据帧的一部分。第一描述符一般记录在数据帧头部，数据帧头部用于明确标记用于表示从数据帧头部开始，后面的内容是数据帧的数据。

步骤240，所述第一端将所述第二数据帧进行封装，得到媒体源，并将所述媒体源发送至第二端。

本发明实施例中，因为第二数据帧相当于一个数据帧，其格式与第一数据帧相同，因此通过服务器将媒体源发送至第二端时，不需要额外对服务器的传输协议进行适应性的配置，以此避免更改或拓展服务器的传输协议，防止增加服务器的复杂性。

在步骤220中，额外数据的分割是根据第一数据帧与额外数据之间的对应关系进行的，其中，对应关系可以为时间戳，可以为预设的标识等，在此不作具体限定。

以第一数据帧为视频帧、额外数据为字幕举例来说，例如，额外数据中的额外帧D1(如字幕“对不起”)根据对应关系(如视频帧F1的时间戳f1)，确定额外帧D1需要在视频播放至第F1帧时被使用，以此类推，额外帧D2需要在视频播放至第F2帧被使用，同理，将额外数据分割为与视频帧相对应的额外帧(如额外帧D1和额外帧D2)。

在步骤220的一种可实施的方式中，预设标识包括第一标识和第二标识；其中，第一标识用于表征第二额外帧的数据头部；第二标识用于表征第二额外帧的数据尾部，因此可以根据数据头部和数据尾部来确定第二额外帧的第一数据长度，第一数据长度包括了预设标识的数据长度。

在步骤230中，通过第一数据长度来得到第二描述符，具体的，第一端根据所述第一标识和所述第二标识确定所述第二额外帧的第一数据长度；根据所述第一数据长度和所述第二数据长度修改所述第一数据帧的第一描述符为第二描述符。

进一步地，将第一数据长度与第二数据长度的和作为第二描述符。

举例来说，第一描述符为10，也就是说第一数据帧的第二数据长度为10，通过第一标识和第二标识确定第一数据长度为5，则第二描述符为15(5+10)。

在步骤220的另一种可实施的方式中，预设标识包括第一标识和第三标识；所述第一标识用于表征所述第二额外帧的数据头部；所述第三标识用于表征所述第二额外帧的第一数据长度。

在本发明实施例中，通过第三标识可以直接确定第一数据长度，以此来减少计算第一数据长度的计算量，但需要通过第三标识从第二额外帧中计算出第一额外帧，以保证第一额外帧的数据准确性。

在步骤240中，第二预设位置可以为第一数据帧中的任一位置，本发明实施例中，第二预设位置为第一数据帧中的数据尾部，进一步地，第一端将所述第二额外帧插入至第一数据帧的数据尾部，得到第二数据帧。以此使第二数据帧既包括第一数据帧，又包括第一额外帧，实现了第一额外帧伪装成第一数据帧的一部分，以此来避免更改或拓展服务器的传输协议，防止增加服务器的复杂性，并且第一额外帧与第一数据帧作为同一数据帧进行传输，降低了传输过程中的延迟。

为了更好的描述上述技术方案，图3示例性的示出了一种得到第二数据帧的示意图，如图3所示，针对任一第一数据帧，第一数据帧中包括第一描述符，用于描述第二数据帧的第二数据长度为10，根据第一数据帧确定对应的第一额外帧，然后将第一额外帧插入第一标识和第二标识，得到第二额外帧，其中，第一标识用于表示第二额外帧的数据头部、第二标识用于表示第二额外帧的数据尾部、通过第二标识和第一标识确定第二额外帧的第一数据长度为5，然后根据第一数据长度和第二数据长度将第一描述符修改为第二描述符，也就是说，第二描述符为15，然后将第二额外帧自第一标识，插入至第一数据帧的数据尾部，得到第二数据帧，由图3可以看出，确定的第二数据帧既包括第一数据帧，又包括第一额外帧，从而实现在传输额外数据时，无需更改或拓展服务器的传输协议，降低服务器的复杂性，并降低第二端对于额外帧与数据帧进行同步时的延迟。

本发明的应用场景在于对数据帧获取的场景，在一种可能存在的应用场景中，对于非直播视频媒体数据，第一端通过上述方法确定第二数据帧之后，可以通过存储介质或者网络传输的方式发送给第二端播放。例如，第一端将第二数据帧缓存至移动硬盘或USB(universal serial bus)闪存盘，然后第二端通过移动硬盘或USB(universal serialbus)闪存盘将第二数据帧缓存至第二端，以使第二端播放第一数据帧和第一额外帧。

在本发明实施例所描述的应用场景中，对于实时视频媒体数据，第一端确定第二数据帧后，将该第二数据帧推送至服务器，服务器再将第二数据帧发送给第二端，第二端解析第二数据帧。在解析时，首先找到第二数据帧的数据头，确定第二数据帧的第二描述符，根据第二数据帧的第二描述符的第三数据长度k1，然后根据第三数据长度k1，将第二数据帧的数据头开始的部分后面的大小为k1的数据确定为第二数据帧的数据，以此确定出第二数据帧。

需要说明的是，本发明实施例虽未对音频帧进行举例，但本发明技术方案同样适用于音频帧，在此不做赘述。

为了更好的解释上述技术方案，图4示例性的示出了本发明实施例提供的一种视频媒体数据的传输方法的流程示意图，该流程可由视频媒体数据的传输装置执行。

如图4所示，流程包括：

步骤410，第二端获取第一端发送的媒体源。

本发明实施例中，所述媒体源是第一端对第二数据帧进行封装得到的；需要说明的是，根据应用场景的不同，获取媒体源的方法也不同，例如，针对非流媒体类媒体文件(如直播内容)，第二端可以通过存储介质或者网络传输的方式得到媒体源，针对流媒体类媒体文件(如非直播内容)，第二端可以通过服务器得到媒体源，在此不做具体限定。

步骤420，所述第二端将所述媒体源解封装，得到所述第二数据帧。

本发明实施例中，第二端根据封装时的方法，对媒体源进行解封装，得到第二数据帧，例如将媒体源依次通过物理层、数据链路层、网络层、传输层、会话层、表示层和应用层来实现解封装。

步骤430，所述第二端查找所述第二数据帧中的预设标识，并根据所述预设标识从所述第二数据帧中确定出第二额外帧。

本发明实施例中，预设标识用于指示第一数据长度的第二额外帧；预设标识包括第一标识和第二标识，或包括第一标识和第三标识，同理，预设标识也可以包括第一标识、第二标识和第三标识；所述第一标识用于表征所述第二额外帧的数据头部；所述第二标识用于表征所述第二额外帧的数据尾部；所述第三标识用于表征所述第二额外帧的数据长度。

步骤440，所述第二端根据所述预设标识从所述第二额外帧中得到第一额外帧。

本发明实施例中，第一额外帧是第一端根据数据帧与额外数据之间的对应关系将额外数据进行分割得到的。

步骤450，所述第二端根据所述第二数据帧中的第二描述符和预设标识，得到第一数据帧中的第一描述符和所述第一数据帧。

本发明实施例中，所述第一描述符用于描述第二数据长度的第一数据帧；所述第二描述符用于描述第三数据长度的第二数据帧。

步骤460，所述第二端对所述第一额外帧和所述第一数据帧进行显示。

在步骤430中，根据第一标识、第二标识和/或第三标识可以在第二数据帧中确定出第二额外帧和第一数据帧。举例来说，根据第一标识和第二标识来确定第二额外帧，或者，根据第一标识确定第二额外帧的数据头部，然后根据第三标识确定第二额外帧的数据内容，以此得到第二额外帧。

在步骤440中，第二额外帧是基于第一额外帧，在预设位置插入预设标识得到的，因此，第二端将第二额外帧中的预设标识删除，得到第一额外帧。

在步骤450中，根据第一标识和第二标识可以确定第一数据长度，或者根据第三标识直接确定第一数据长度，然后根据第一数据长度得到第一描述符，进而得到第一数据帧。

进一步地，所述第二端根据第一标识、第二标识和/或第三标识确定所述第二额外帧的第一数据长度；将所述第二描述符减去所述第一数据长度，得到所述第一描述符；将第二数据帧中的第二额外帧删除，确定第一数据帧。

本发明实施例中，因为第二数据帧中既包括了第一额外帧，又包括了第一数据帧，因此在显示第一额外帧和第一数据帧时，不存在延迟的问题，并且，在显示时，因为并没有对第一额外帧和第一数据帧进行修改，因此封装后的第二数据帧在解码时不会被认为存在无用的冗余数据，避免无法对第一额外帧和第一数据帧进行显示，保证了第一额外帧和第一数据帧的准确性。

基于相同的技术构思，图5示例性的示出了本发明实施例提供的一种视频媒体数据的传输装置的结构示意图，该装置可以执行视频媒体数据的传输方法的流程。

如图5所示，该装置具体包括：

获取模块510，用于获取编码后视频媒体数据的任一第一数据帧；

处理模块520，用于根据所述第一数据帧与额外数据之间的对应关系将额外数据进行分割，得到第一额外帧，并在所述第一额外帧的第一预设位置插入预设标识，得到第二额外帧；所述预设标识用于指示第一数据长度的第二额外帧；

根据所述预设标识修改所述第一数据帧的第一描述符为第二描述符，并将所述第二额外帧插入至所述第一数据帧的第二预设位置，得到第二数据帧；所述第一描述符用于描述所述第一数据帧第二数据长度；所述第二描述符用于描述所述第二数据帧的第三数据长度；

将所述第二数据帧进行封装，得到媒体源，并将所述媒体源发送至第二端。

可选的，所述预设标识包括第一标识和第二标识；所述第一标识用于表征所述第二额外帧的数据头部；所述第二标识用于表征所述第二额外帧的数据尾部；

所述处理模块520具体用于：

根据所述预设标识修改所述第一数据帧的第一描述符，包括：

根据所述第一标识和所述第二标识确定所述第二额外帧的第一数据长度；

根据所述第一数据长度和所述第二数据长度修改所述第一数据帧的第一描述符为第二描述符。

可选的，所述预设标识包括第一标识和第三标识；所述第一标识用于表征所述第二额外帧的数据头部；所述第三标识用于表征所述第二额外帧的第一数据长度。

可选的，所述处理模块520具体用于：

在所述第一额外帧的头部位置插入预设标识。

可选的，所述处理模块520具体用于：

将所述第二额外帧插入至第一数据帧的数据尾部，得到第二数据帧。

基于相同的技术构思，图6示例性的示出了本发明实施例提供的一种视频媒体数据的传输装置的结构示意图，该装置可以执行视频媒体数据的传输方法的流程。

如图6所示，该装置具体包括：

获取单元610，用于获取第一端发送的媒体源；所述媒体源是第一端对第二数据帧进行封装得到的；

处理单元620，用于将所述媒体源解封装，得到所述第二数据帧；

查找所述第二数据帧中的预设标识，并根据所述预设标识从所述第二数据帧中确定出第二额外帧；所述预设标识用于指示第一数据长度的第二额外帧；

根据所述预设标识从所述第二额外帧中得到第一额外帧；所述第一额外帧是第一端根据数据帧与额外数据之间的对应关系将额外数据进行分割得到的；

根据所述第二数据帧中的第二描述符和预设标识，得到第一数据帧中的第一描述符和所述第一数据帧；所述第一描述符用于描述所述第一数据帧第二数据长度；所述第二描述符用于描述所述第二数据帧的第三数据长度；

显示单元630，用于对所述第一额外帧和所述第一数据帧进行显示。

可选的，所述处理单元620具体用于：

将所述第二额外帧中的预设标识删除，得到所述第一额外帧。

所述预设标识包括第一标识、第二标识和/或第三标识；所述第一标识用于表征所述第二额外帧的数据头部；所述第二标识用于表征所述第二额外帧的数据尾部；所述第三标识用于表征所述第二额外帧的数据长度；

可选的，所述处理单元620具体用于：

根据第一标识、第二标识和/或第三标识确定所述第二额外帧的第一数据长度；

将所述第二描述符减去所述第一数据长度，得到所述第一描述符；

将第二数据帧中的第二额外帧删除，确定第一数据帧。

基于相同的技术构思，本发明实施例还提供一种计算机设备，包括：

存储器，用于存储程序指令；

处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行上述视频媒体数据的传输方法。

基于相同的技术构思，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行上述视频媒体数据的传输方法。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种视频媒体数据的传输方法，其特征在于，包括：

第一端获取编码后视频媒体数据的任一第一数据帧；

所述第一端根据所述第一数据帧与额外数据之间的对应关系将额外数据进行分割，得到第一额外帧，并在所述第一额外帧的第一预设位置插入预设标识，得到第二额外帧；所述预设标识用于指示第一数据长度的第二额外帧；

所述第一端根据所述预设标识指示的第一数据长度和第二数据长度修改所述第一数据帧的第一描述符为第二描述符，并将所述第二额外帧插入至所述第一数据帧的第二预设位置，得到第二数据帧；所述第一描述符用于描述所述第一数据帧第二数据长度；所述第二描述符用于描述所述第二数据帧的第三数据长度；所述第二预设位置为第一数据帧中的任一位置；

所述第一端将所述第二数据帧进行封装，得到媒体源，并将所述媒体源发送至第二端。

2.如权利要求1所述的方法，其特征在于，所述预设标识包括第一标识和第二标识；所述第一标识用于表征所述第二额外帧的数据头部；所述第二标识用于表征所述第二额外帧的数据尾部；

所述方法还包括：

所述第一端根据所述第一标识和所述第二标识确定所述第二额外帧的第一数据长度。

3.如权利要求1所述的方法，其特征在于，所述预设标识包括第一标识和第三标识；所述第一标识用于表征所述第二额外帧的数据头部；所述第三标识用于表征所述第二额外帧的第一数据长度。

4.如权利要求1至3任一项所述的方法，其特征在于，在所述第一额外帧的第一预设位置插入预设标识，包括：

在所述第一额外帧的头部位置插入预设标识。

5.如权利要求1至3任一项所述的方法，其特征在于，将所述第二额外帧插入至所述第一数据帧的第二预设位置，得到第二数据帧，包括：

所述第一端将所述第二额外帧插入至第一数据帧的数据尾部，得到第二数据帧。

6.一种视频媒体数据的传输方法，其特征在于，包括：

第二端获取第一端发送的媒体源；所述媒体源是第一端对第二数据帧进行封装得到的；

所述第二端将所述媒体源解封装，得到所述第二数据帧；

所述第二端查找所述第二数据帧中的预设标识，并根据所述预设标识从所述第二数据帧中确定出第二额外帧；所述预设标识用于指示第一数据长度的第二额外帧；

所述第二端根据所述预设标识从所述第二额外帧中得到第一额外帧；所述第一额外帧是第一端根据数据帧与额外数据之间的对应关系将额外数据进行分割得到的；

所述第二端根据所述第二数据帧中的第二描述符和预设标识，得到第一数据帧中的第一描述符和所述第一数据帧；所述第一描述符用于描述所述第一数据帧第二数据长度；所述第二描述符用于描述所述第二数据帧的第三数据长度；

所述第二端对所述第一额外帧和所述第一数据帧进行显示；

所述第二端根据所述第二数据帧中的第二描述符和预设标识，得到第一数据帧中的第一描述符和所述第一数据帧，包括：

所述第二端根据预设标识确定所述第二额外帧的第一数据长度；

所述第二端将所述第二描述符减去所述第一数据长度，得到所述第一描述符；

所述第二端将第二数据帧中的第二额外帧删除，确定第一数据帧。

7.如权利要求6所述的方法，其特征在于，所述第二端根据所述预设标识从所述第二额外帧中得到第一额外帧，包括：

所述第二端将所述第二额外帧中的预设标识删除，得到所述第一额外帧。

8.如权利要求6所述的方法，其特征在于，所述预设标识包括第一标识、第二标识和/或第三标识；所述第一标识用于表征所述第二额外帧的数据头部；所述第二标识用于表征所述第二额外帧的数据尾部；所述第三标识用于表征所述第二额外帧的数据长度。

9.一种视频媒体数据的传输装置，其特征在于，包括：

获取模块，用于获取编码后视频媒体数据的任一第一数据帧；

处理模块，用于根据所述第一数据帧与额外数据之间的对应关系将额外数据进行分割，得到第一额外帧，并在所述第一额外帧的第一预设位置插入预设标识，得到第二额外帧；所述预设标识用于指示第一数据长度的第二额外帧；

根据所述预设标识指示的第一数据长度和第二数据长度修改所述第一数据帧的第一描述符为第二描述符，并将所述第二额外帧插入至所述第一数据帧的第二预设位置，得到第二数据帧；所述第一描述符用于描述所述第一数据帧第二数据长度；所述第二描述符用于描述所述第二数据帧的第三数据长度；所述第二预设位置为第一数据帧中的任一位置；

将所述第二数据帧进行封装，得到媒体源，并将所述媒体源发送至第二端。

10.一种视频媒体数据的传输装置，其特征在于，包括：

获取单元，用于获取第一端发送的媒体源；所述媒体源是第一端对第二数据帧进行封装得到的；

处理单元，用于将所述媒体源解封装，得到所述第二数据帧；

查找所述第二数据帧中的预设标识，并根据所述预设标识从所述第二数据帧中确定出第二额外帧；所述预设标识用于指示第一数据长度的第二额外帧；

根据所述预设标识从所述第二额外帧中得到第一额外帧；所述第一额外帧是第一端根据数据帧与额外数据之间的对应关系将额外数据进行分割得到的；

根据所述第二数据帧中的第二描述符和预设标识，得到第一数据帧中的第一描述符和所述第一数据帧；所述第一描述符用于描述所述第一数据帧第二数据长度；所述第二描述符用于描述所述第二数据帧的第三数据长度；所述处理单元具体用于：

根据预设标识确定所述第二额外帧的第一数据长度；

将所述第二描述符减去所述第一数据长度，得到所述第一描述符；

将第二数据帧中的第二额外帧删除，确定第一数据帧；

显示单元，用于对所述第一额外帧和所述第一数据帧进行显示。