CN106488291A - 在视频直播中同步显示文件的方法和装置 - Google Patents

Abstract

本申请公开了一种在视频直播中同步显示文件的方法和装置。方法的一具体实施方式包括：采集端获取流媒体数据的视频帧和文件唯一标识的对应关系，基于文件唯一标识，编码得到同步字段，并将同步字段添加至视频帧的扩展字段，将添加同步字段后的流媒体数据上传至服务器；播放端从服务器下载流媒体数据，检测在流媒体数据的各视频帧的扩展字段中是否存在同步字段，响应于扩展字段中存在同步字段，从服务器下载对应同步字段的文件，在播放流媒体数据时同步显示对应同步字段的视频帧和文件。该实施方式减少了直播过程中所需的流量，并且实现了同步方法简单且误差率较小。

Description

在视频直播中同步显示文件的方法和装置

技术领域

本申请涉及计算机技术领域，具体涉及互联网技术领域，尤其涉及一种在视频直播中同步显示文件的方法和装置。

背景技术

随着移动网络的发展，移动网络直播业务也受到越来越多的关注。在直播业务相对同质化的如今，如何突破传统视频直播限制，带来更多样的衍生功能和交互体验成为一个难题。

在现有技术中，衍生出了一种在视频直播中同步显示文件的直播方式。这一直播方式的实现，是采集端对视频和文件(例如图片、幻灯片或涂鸦等)分别生成视频流，之后采集端传输视频生成的视频流和文件生成的视频流至服务器，之后播放端从服务器分别下载视频生成的视频流和文件生成的视频流进行播放。

然而，目前这种对视频和文件分别生成视频流，之后采集端分别传输视频生成的视频流和文件生成的视频流至服务器，之后播放端从服务器分别下载视频生成的视频流和文件生成的视频流进行播放的直播技术，由于传输时需要下载视频生成的视频流和文件生成的视频流，而文件生成的视频流中包括大量的冗余信息，因此消耗的流量较多，并且在进行同步操作时，因为需要同步播放视频生成的视频流和文件生成的视频流，同步操作复杂、误差较高。

发明内容

本申请的目的在于提出一种改进的一种在视频直播中同步显示文件的方法和装置，来解决以上背景技术部分提到的技术问题。

第一方面，本申请提供了一种在视频直播中同步显示文件的方法，所述方法包括：采集端获取流媒体数据的视频帧和文件唯一标识的对应关系，基于所述文件唯一标识，编码得到同步字段，并将所述同步字段添加至所述视频帧的扩展字段，将添加同步字段后的流媒体数据上传至服务器；播放端从所述服务器下载流媒体数据，检测在流媒体数据的各视频帧的扩展字段中是否存在同步字段，响应于扩展字段中存在同步字段，从所述服务器下载对应所述同步字段的文件，在播放流媒体数据时同步显示对应所述同步字段的视频帧和文件。

在一些实施例中，所述基于所述文件唯一标识，编码得到同步字段包括：将所述文件唯一标识编码为同步字段；或将所述文件唯一标识编码为同步字段，且响应于采集流媒体数据时有新文件上传，将用于强制刷新的控制字段编码追加至所述同步字段；其中，所述文件唯一标识为上传至所述服务器的文件在服务器中的唯一标识。

在一些实施例中，所述从所述服务器下载对应所述同步字段的文件包括以下一项或多项：若所述同步字段为首次检测到的同步字段且所述服务器中所述同步字段指示的文件属于预定文件集合，则从所述服务器下载所述预定文件集合；若所述同步字段中存在用于强制刷新的控制字段且所述服务器中所述同步字段指示的文件属于预定文件集合，从所述服务器下载所述预定文件集合中自所述同步字段指示的文件开始的文件子集；以及若本地不存在对应单个同步字段的文件，从所述服务器下载对应所述单个同步字段的文件。

在一些实施例中，所述从所述服务器下载对应所述同步字段的文件包括：根据网络类型和网速从所述服务器下载预定参数的对应所述同步字段的文件。

第二方面，本申请提供了一种在视频直播中同步显示文件的方法，所述方法包括：获取流媒体数据的视频帧和文件唯一标识的对应关系；基于所述文件唯一标识，编码得到同步字段；并将所述同步字段添加至所述视频帧的扩展字段；将添加同步字段后的流媒体数据上传至服务器，以便播放端根据所述同步字段从服务器下载对应所述同步字段的文件，并在播放流媒体数据时同步显示对应所述同步字段的视频帧和文件。

在一些实施例中，所述基于所述文件唯一标识，编码得到同步字段包括：将所述文件唯一标识编码为同步字段；或将所述文件唯一标识编码为同步字段，且响应于采集流媒体数据时有新文件上传，将用于强制刷新的控制字段编码追加至所述同步字段；其中，所述文件唯一标识为上传至所述服务器的文件在服务器中的唯一标识。

第三方面，本申请提供了一种在视频直播中同步显示文件的方法，所述方法包括：从服务器下载流媒体数据；检测在流媒体数据的各视频帧的扩展字段中是否存在同步字段，所述同步字段为采集端基于与视频帧对应的文件唯一标识编码得到；响应于扩展字段中存在同步字段，从所述服务器下载对应所述同步字段的文件；在播放流媒体数据时同步显示对应所述同步字段的视频帧和文件。

在一些实施例中，所述从所述服务器下载对应所述同步字段的文件包括以下一项或多项：若所述同步字段为首次检测到的同步字段且所述服务器中所述同步字段指示的文件属于预定文件集合，则从所述服务器下载所述预定文件集合；若所述同步字段中存在用于强制刷新的控制字段且所述服务器中所述同步字段指示的文件属于预定文件集合，从所述服务器下载所述预定文件集合中自所述同步字段指示的文件开始的文件子集；以及若本地不存在对应单个同步字段的文件，从所述服务器下载对应所述单个同步字段的文件。

在一些实施例中，所述从所述服务器下载对应所述同步字段的文件包括：根据网络类型和网速从所述服务器下载预定参数的对应所述同步字段的文件。

第四方面，本申请提供了一种在视频直播中同步显示文件的装置，所述装置包括：采集端，包括：关系获取单元，用于获取流媒体数据的视频帧和文件唯一标识的对应关系；标识编码单元，用于基于所述文件唯一标识，编码得到同步字段；字段添加单元，用于将所述同步字段添加至所述视频帧的扩展字段；流媒体上传单元，用于将添加同步字段后的流媒体数据上传至服务器；播放端，包括：流媒体下载单元，用于从所述服务器下载流媒体数据；字段检测单元，用于检测在流媒体数据的各视频帧的扩展字段中是否存在同步字段；文件下载单元，用于响应于扩展字段中存在同步字段，从所述服务器下载对应所述同步字段的文件；同步播放单元，用于在播放流媒体数据时同步显示对应所述同步字段的视频帧和文件。

在一些实施例中，所述标识编码单元进一步用于：将所述文件唯一标识编码为同步字段；或将所述文件唯一标识编码为同步字段，且响应于采集流媒体数据时有新文件上传，将用于强制刷新的控制字段编码追加至所述同步字段；其中，所述文件唯一标识为上传至所述服务器的文件在服务器中的唯一标识。

在一些实施例中，所述文件下载单元进一步用于以下一项或多项：若所述同步字段为首次检测到的同步字段且所述服务器中所述同步字段指示的文件属于预定文件集合，则从所述服务器下载所述预定文件集合；若所述同步字段中存在用于强制刷新的控制字段且所述服务器中所述同步字段指示的文件属于预定文件集合，从所述服务器下载所述预定文件集合中自所述同步字段指示的文件开始的文件子集；以及若本地不存在对应单个同步字段的文件，从所述服务器下载对应所述单个同步字段的文件。

在一些实施例中，所述文件下载单元进一步用于包括：根据网络类型和网速从所述服务器下载预定参数的对应所述同步字段的文件。

第五方面，本申请提供了一种在视频直播中同步显示文件的装置，所述装置包括：关系获取单元，用于获取流媒体数据的视频帧和文件唯一标识的对应关系；标识编码单元，用于基于所述文件唯一标识，编码得到同步字段；字段添加单元，用于将所述同步字段添加至所述视频帧的扩展字段；流媒体上传单元，用于将添加同步字段后的流媒体数据上传至服务器，以便播放端根据所述同步字段从服务器下载对应所述同步字段的文件，并在播放流媒体数据时同步显示对应所述同步字段的视频帧和文件。

在一些实施例中，所述标识编码单元进一步用于：将所述文件唯一标识编码为同步字段；或将所述文件唯一标识编码为同步字段，且响应于采集流媒体数据时有新文件上传，将用于强制刷新的控制字段编码追加至所述同步字段；其中，所述文件唯一标识为上传至所述服务器的文件在服务器中的唯一标识。

第六方面，本申请提供了一种在视频直播中同步显示文件的装置，所述装置包括：流媒体下载单元，用于从服务器下载流媒体数据；字段检测单元，用于检测在流媒体数据的各视频帧的扩展字段中是否存在同步字段，所述同步字段为采集端基于与视频帧对应的文件唯一标识编码得到；文件下载单元，用于响应于扩展字段中存在同步字段，从所述服务器下载对应所述同步字段的文件；同步播放单元，用于在播放流媒体数据时同步显示对应所述同步字段的视频帧和文件。

在一些实施例中，所述文件下载单元进一步用于以下一项或多项：若所述同步字段为首次检测到的同步字段且所述服务器中所述同步字段指示的文件属于预定文件集合，则从所述服务器下载所述预定文件集合；若所述同步字段中存在用于强制刷新的控制字段且所述服务器中所述同步字段指示的文件属于预定文件集合，从所述服务器下载所述预定文件集合中自所述同步字段指示的文件开始的文件子集；以及若本地不存在对应单个同步字段的文件，从所述服务器下载对应所述单个同步字段的文件。

在一些实施例中，所述文件下载单元进一步用于：根据网络类型和网速从所述服务器下载预定参数的对应所述同步字段的文件。

本申请提供的在视频直播中同步显示文件的方法和装置，首先采集端获取流媒体数据的视频帧和文件唯一标识的对应关系，之后采集端基于所述文件唯一标识，编码得到同步字段，之后采集端将所述同步字段添加至所述视频帧的扩展字段，之后将添加同步字段后的流媒体数据上传至服务器；之后播放端从所述服务器下载流媒体数据，之后播放端检测在流媒体数据的各视频帧的扩展字段中是否存在同步字段，之后播放端响应于扩展字段中存在同步字段，从所述服务器下载对应所述同步字段的文件，之后播放端在播放流媒体数据时同步显示对应所述同步字段的视频帧和文件，从而通过在流媒体数据传输的扩展字段中添加对于进度的控制信息，可以进行多端视频直播中的文件播放控制，由于下载的文件中减少了冗余信息，因此减少了直播过程中所需的流量，并且在进行同步操作时，在视频流的视频帧中同步文件即可，因此同步操作简单且误差较小。

进一步的，在一些实施例中，可以预加载需要同步呈现的文件集合和/或文件子集，可以提高直播过程中同步后续文件的效率。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是本申请可以应用于其中的示例性系统架构图；

图2是根据本申请的在视频直播中同步显示文件的方法的一个实施例的示意性流程图；

图3a是根据本申请的在视频直播中同步显示文件的方法用于采集端的一个示例性应用场景；

图3b是根据本申请的在视频直播中同步显示文件的方法用于播放端的一个示例性应用场景；

图4是根据本申请的在视频直播中同步显示文件的装置的一个实施例的示例性结构图；

图5是适于用来实现本申请实施例的终端设备或服务器的计算机系统的结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

图1示出了可以应用本申请的在视频直播中同步显示文件的方法或在视频直播中同步显示文件的装置的实施例的示例性系统架构100。

如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105、106。网络104用以在终端设备101、102、103和服务器105、106之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户110可以使用终端设备101、102、103通过网络104与服务器105、106交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如视频播放类应用、搜索引擎类应用、购物类应用、即时通信工具、邮箱客户端、社交平台软件等。

终端设备101、102、103可以是具有显示屏并且支持弹幕交互功能的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving PictureExperts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(MovingPicture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。

服务器105、106可以是提供各种服务的服务器，例如对终端设备101、102、103提供支持的后台服务器。后台服务器可以对终端提交的数据进行存储，并在接收到终端的下载请求时将存储的内容(例如流媒体数据或文件)传输给终端设备。

需要说明的是，本申请中实施例所提供的在视频直播中同步显示文件的方法一般由服务器105、106和终端设备101、102、103共同执行，相应地，在视频直播中同步显示文件的装置一般设置于服务器105、106和终端设备101、102、103中。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

继续参考图2，示出了根据本申请的在视频直播中同步显示文件的方法的一个实施例的流程200。该在视频直播中同步显示文件的方法，包括以下步骤：

步骤201，采集端获取流媒体数据的视频帧和文件唯一标识的对应关系。

在本实施例中，采集端是指可以采集流媒体数据的视频帧和文件唯一标识的对应关系的终端，该终端可以用于向其他用户发布直播视频。这里的流媒体数据，是指采用流式传输的方式在互联网播放的媒体格式数据，可以为当前采集或预先设置的流媒体数据。

这里的文件唯一标识，是指上传至服务器的文件在服务器中的唯一标识，例如该唯一标识可以是图片URL或者ID等，基于该唯一标识可以在服务器中唯一确定一份文件。这里的文件的类型，可以为现有或未来发展的技术中的文件的类型，本申请对此不做限定。例如，文件的类型可以为图片、幻灯片或涂鸦等。应当理解，当文件唯一标识属于预定的文件唯一标识集合时，也即表明文件唯一标识对应的文件属于预定的文件唯一标识集合对应的文件集合，这里的文件集合通常可以包括对应于同一视频上传的多个文件。

采集端在获取流媒体数据的视频帧和文件唯一标识的对应关系时，可以在流媒体的视频帧播放界面添加与文件唯一标识的对应关系例如可以选择流媒体数据的视频帧界面预设的添加文件选项以添加的文件唯一标识；也可以在流媒体数据的视频帧界面输入预设的添加文件指令以添加文件唯一标识等。

步骤202，采集端基于文件唯一标识，编码得到同步字段。

在本实施例中，采集端可以基于文件唯一标识进行编码，例如将文件唯一标识进行编码或将文件唯一标识以及其它标示同步信息的参数进行编码，以得到标示同步信息的同步字段。

这里的编码方式，可以为现有技术或未来发展的技术中的编码方式，本申请对此不做限定。

在本实施例的一些可选实现方式中，上述基于文件唯一标识，编码得到同步字段可以包括：将文件唯一标识编码为同步字段。

在本实施例的一些可选实现方式中，上述基于文件唯一标识，编码得到同步字段可以包括：将文件唯一标识编码为同步字段，且响应于采集流媒体数据时有新文件上传，将用于强制刷新的控制字段编码追加至同步字段。

步骤203，采集端将同步字段添加至视频帧的扩展字段。

在本实施例中，基于上述步骤202中得到的同步字段，采集端可以将该同步字段添加至视频帧的扩展字段，例如添加至RTMP协议的SEI帧等。

步骤204，采集端将添加同步字段后的流媒体数据上传至服务器。

在本实施例中，基于上述步骤203中得到的已添加同步字段的视频帧的扩展字段，可以将包括该已添加同步字段的视频帧的扩展字段的流媒体数据上传至服务器，以便播放端下载。

步骤205，播放端从服务器下载流媒体数据。

在本实施例中，在步骤204中将已添加同步字段后的流媒体数据上传服务器之后，播放端可以向服务器发送下载请求，之后服务器响应于该下载请求向播放端发送流媒体数据，从而实现播放端从服务器下载流媒体数据。这里的播放端，是指用户利用其观看直播的终端。

步骤206，播放端检测在流媒体数据的各视频帧的扩展字段中是否存在同步字段。

在本实施例中，在下载流媒体数据之后，播放端可以检测在流媒体数据的各视频帧的扩展字段中是否存在同步字段，以便在存在同步字段时下载同步字段指示的文件，从而可以同步播放流媒体数据和文件。

步骤207，播放端响应于扩展字段中存在同步字段，从服务器下载对应同步字段的文件。

在本实施例中，基于步骤206中检测的结果为扩展字段中存在同步字段，可以从服务器下载对应同步字段的文件。在从服务器下载对应同步字段的文件时，可以采用现有技术或未来发展的技术中的下载方式来下载文件，本申请对此不作限定。

在本实施例的一些可选实现方式中，从服务器下载对应同步字段的文件可以包括：若同步字段为首次检测到的同步字段且服务器中同步字段指示的文件属于预定文件集合，则从服务器下载预定文件集合，从而预加载需要同步呈现的文件集合，提高同步呈现文件的效率。在下载预定文件集合时，可以采用现有技术中或未来发展的技术中的下载方式下载预定文件集合，例如可以按文件顺序异步批量下载预定文件集合。

备选地或附加地，从服务器下载对应同步字段的文件可以包括：若同步字段中存在用于强制刷新的控制字段且服务器中同步字段指示的文件属于预定文件集合，从服务器按文件顺序异步批量下载预定文件集合中自同步字段指示的文件开始的文件子集，从而为强制刷新后需要呈现的文件预先做好数据准备，提高多端同步效率。在这里，当同步字段中存在用于强制刷新的控制字段时，也即表明在采集流媒体数据时有新文件上传，因此需要从服务器下载自上传的新文件开始的文件子集。在下载文件子集时，可以采用现有技术中或未来发展的技术中的下载方式下载文件子集，例如可以按文件顺序异步批量下载文件子集。

备选地或附加地，从服务器下载对应同步字段的文件可以包括：若本地不存在对应单个同步字段的文件，从服务器下载对应单个同步字段的文件。在这里，通过从服务器再次下载单个未下载成功的文件，可以确保按照同步字段的指示呈现文件，避免因文件丢失所引起的同步误差率高的问题。

在本实施例的一些可选实现方式中，可以根据网络类型和网速从服务器下载预定参数的对应所述同步字段的文件，这里的下载预定参数的文件，是指下载与网络类型和网速环境相适应、能够快速完成下载的文件，以确保在播放流媒体数据的视频帧时可以同步显示文件。

例如，当文件未下载时，若网络类型和网速符合预设的缩略文件下载条件，可以从服务器下载对应所述同步字段的缩略文件；若网络类型和网速符合预设的原始文件下载条件，可以从服务器下载对应所述同步字段的原始文件。

又例如，若网络类型和网速符合预设的更新下载条件，可以先下载对应同步字段的缩略文件，之后响应于下载对应同步字段的缩略文件完成，再下载对应同步字段的原始文件；与此对应，在播放流媒体数据时，可以先同步显示对应同步字段的视频帧和缩略文件，之后响应于下载原始文件完成，将缩略文件刷新为原始文件。

步骤208，播放端在播放流媒体数据时同步显示对应同步字段的视频帧和文件。

在本实施例中，基于步骤207中下载的文件，播放端可以在播放流媒体数据至同步字段对应的视频帧时，同步显示对应同步字段的文件。

应当理解，本申请上述实施例中的在视频直播中同步显示文件的方法，仅为对本申请的示例性描述，并不代表对本申请的限定。例如，可以根据需要将其中包括的单个步骤拆分为多个子步骤，也可以根据需要将其中包括的多个步骤合并为一个步骤。服务器端可以为单个服务器、多个服务器或服务器集群等。例如，可以设置文件服务器用于上传、存储及下载文件，另外设置服务器用于上传、存储及下载流媒体数据；也可以设置单台服务器或服务器集群用于上传、存储及下载文件和流媒体数据。

本申请上述实施例提供的在视频直播中同步显示文件的方法，通过在流媒体数据传输的扩展字段中添加对于进度的控制信息，可以进行多端视频直播中的文件播放控制，由于此时下载的文件中减少了冗余信息，因此减少了直播过程中所需的流量，并且在进行同步操作时，在视频流的视频帧中同步文件即可，因此同步操作简单且误差较小。

以下结合图3a，描述根据本申请的在视频直播中同步显示文件的方法用于采集端的一个示例性应用场景。

如图3a所示，该用于采集端的在视频直播中同步显示文件的方法的应用场景包括以下步骤：

在步骤301中，检测是否需要上传新文件，若是，执行步骤302，若否，执行步骤303；

在步骤302中，异步上传文件或文件集合至文件服务器端，之后执行步骤303；

在步骤303中，检测是否有新文件上传成功，若是，执行步骤304，若否，执行步骤305；

在步骤304中，获取服务器保存的上传成功的文件唯一标识到本地，之后执行步骤305；

在步骤305中，采集视频帧，之后执行步骤306；

在步骤306中，获取对应视频帧的文件唯一标识，之后执行步骤307；

在步骤307中，将文件唯一标识编码为同步字段写入视频帧的扩展字段内，之后执行步骤308；

在步骤308中，监控采集视频时是否有新文件上传，若是，执行步骤309，若否，执行步骤310；

在步骤309中，将用于强制刷新的控制字段编码追加至视频帧的扩展字段的同步字段中，之后执行步骤310；

在步骤310中，向流媒体服务器传输视频帧。

在该图3a对应的应用场景中，通过首先获取对应视频帧的文件唯一标识，之后将唯一标识编码为同步字段写入视频帧的扩展字段内，建立了视频帧和文件的对应关系，提高了视频帧和文件的同步效率。进一步地，若采集视频时有新文件上传，可以将用于强制刷新的控制字段编码追加进视频帧的扩展字段的同步字段中，从而可以在有新文件上传时及时添加文件唯一标识和控制字段至同步字段中，提高了在采集端追加用于同步视频帧的文件的效率，并且由于上传的文件不包括冗余信息，因此减少了上传文件所需的流量。

以下结合图3b，描述根据本申请的在视频直播中同步显示文件的方法用于播放端的一个示例性应用场景。

如图3b所示，该用于播放端的在视频直播中同步显示文件的方法的应用场景包括以下步骤：

在步骤311中，从流媒体服务器获取视频帧，之后执行步骤312；

在步骤312中，解码各视频帧的扩展字段中的同步字段，之后执行步骤313；

在步骤313中，检测当前的视频帧的扩展字段中是否存同步字段，若是，执行步骤314，若否，执行步骤318；

在步骤314中，判断是否为首次检测到同步字段或者同步字段中存在用于强制刷新的控制字段，若是，执行步骤315，若否，执行步骤316；

在步骤315中，从文件服务器按文件顺序异步批量下载文件集合，之后执行步骤316；

在步骤316中，检测同步字段中文件唯一标识对应的文件是否未下载，若是，执行步骤317，若否，执行步骤318；

在步骤317中，从文件服务器下载对应文件唯一标识的文件，之后执行步骤318；

在步骤318中，在步骤319中显示视频帧时，从本地加载文件，并同步呈现文件；

在步骤319中，显示视频帧。

在该图3b对应的应用场景中，通过从流媒体服务器获取视频帧并解码视频帧的扩展字段中的同步字段，可以得到同步字段中的文件唯一标识，从而确定文件唯一标识对应的文件，从文件服务器下载该唯一标识对应的文件。进一步地，若同步字段中存在用于强制刷新的控制字段，则下载文件集合，以确保视频直播过程中所需加载的文件下载至本地，从而可以提高同步播放视频帧和文件的效率，在这里，由于在播放文件前已将文件下载至本地，仅当同步字段中文件唯一标识对应的文件未下载至本地时，需要从文件服务器下载对应文件唯一标识的文件，由于下载的文件中减少了冗余信息，因此减少了直播过程中所需的流量。

作为上述方法在采集端的实现，本申请还提供了一种用于采集端的在视频直播中同步显示文件的方法的一个实施例(图中未示出)，该方法实施例与图2中所示的方法实施例中采集端所执行的操作步骤相对应，由此，上文针对采集端所执行的操作步骤描述的操作和特征同样适用于该用于采集端的在视频直播中同步显示文件的方法，在此不再赘述。

具体地，该用于采集端的在视频直播中同步显示文件的方法可以包括：获取流媒体数据的视频帧和文件唯一标识的对应关系；基于文件唯一标识，编码得到同步字段；并将同步字段添加至视频帧的扩展字段；将添加同步字段后的流媒体数据上传至服务器，以便播放端根据同步字段从服务器下载对应同步字段的文件，并在播放流媒体数据时同步显示对应同步字段的视频帧和文件，其中，文件唯一标识为上传至服务器的文件在服务器中的唯一标识。

在本实施例的一些可选实现方式中，基于文件唯一标识，编码得到同步字段包括：将文件唯一标识编码为同步字段；或将文件唯一标识编码为同步字段，且响应于采集流媒体数据时有新文件上传，将用于强制刷新的控制字段编码追加至同步字段。

作为上述方法在播放端的实现，本申请还提供了一种用于播放端的在视频直播中同步显示文件的方法的一个实施例(图中未示出)，该方法实施例与图2中所示的方法实施例中播放端所执行的操作步骤相对应，由此，上文针对播放端所执行的操作步骤描述的操作和特征同样适用于该用于播放端的在视频直播中同步显示文件的方法，在此不再赘述。

具体地，该用于播放端的在视频直播中同步显示文件的方法可以包括：从服务器下载流媒体数据；检测在流媒体数据的各视频帧的扩展字段中是否存在同步字段，同步字段为采集端基于与视频帧对应的文件唯一标识编码得到，文件唯一标识为上传至服务器的文件在服务器中的唯一标识；响应于扩展字段中存在同步字段，从服务器下载对应同步字段的文件；在播放流媒体数据时同步显示对应同步字段的视频帧和文件。

在本实施例的一些可选实现方式中，从服务器下载对应同步字段的文件包括以下一项或多项：若同步字段为首次检测到的同步字段且服务器中同步字段指示的文件属于预定文件集合，则从服务器下载预定文件集合；若同步字段中存在用于强制刷新的控制字段且服务器中同步字段指示的文件属于预定文件集合，从服务器下载预定文件集合中自同步字段指示的文件开始的文件子集；以及若本地不存在对应单个同步字段的文件，从服务器下载对应单个同步字段的文件。

在本实施例的一些可选实现方式中，从服务器下载对应同步字段的文件包括：根据网络类型和网速从服务器下载预定参数的对应同步字段的文件。

进一步参考图4，作为对上述方法的实现，本申请提供了一种在视频直播中同步显示文件的装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，由此，上文针对方法描述的操作和特征同样适用于装置400及其中包含的单元，在此不再赘述。该装置具体可以应用于各种电子设备中。

如图4所示，本实施例的在视频直播中同步显示文件的装置400包括：采集端410和播放端420。

其中，采集端410包括：关系获取单元411，用于获取流媒体数据的视频帧和文件唯一标识的对应关系；标识编码单元412，用于基于文件唯一标识，编码得到同步字段；字段添加单元413，用于将同步字段添加至视频帧的扩展字段；流媒体上传单元414，用于将添加同步字段后的流媒体数据上传至服务器，其中，文件唯一标识为上传至服务器的文件在服务器中的唯一标识；

播放端420包括：流媒体下载单元421，用于从服务器下载流媒体数据；字段检测单元422，用于检测在流媒体数据的各视频帧的扩展字段中是否存在同步字段；文件下载单元423，用于响应于扩展字段中存在同步字段，从服务器下载对应同步字段的文件；同步播放单元424，用于在播放流媒体数据时同步显示对应同步字段的视频帧和文件。

在本实施例的一些可选实现方式中，标识编码单元412进一步用于：将文件唯一标识编码为同步字段；或将文件唯一标识编码为同步字段，且响应于采集流媒体数据时有新文件上传，将用于强制刷新的控制字段编码追加至同步字段。

在本实施例的一些可选实现方式中，文件下载单元423进一步用于以下一项或多项：若同步字段为首次检测到的同步字段且服务器中同步字段指示的文件属于预定文件集合，则从服务器下载预定文件集合；若同步字段中存在用于强制刷新的控制字段且服务器中同步字段指示的文件属于预定文件集合，从服务器下载预定文件集合中自同步字段指示的文件开始的文件子集；以及若本地不存在对应单个同步字段的文件，从服务器下载对应单个同步字段的文件。

在本实施例的一些可选实现方式中，文件下载单元423进一步用于包括：根据网络类型和网速从服务器下载预定参数的对应同步字段的文件。

应当理解，本申请上述实施例中的在视频直播中同步显示文件的方法，仅为对本申请的示例性描述，并不代表对本申请的限定。例如，可以根据需要将其中包括的单个单元拆分为多个子单元，也可以根据需要将其中包括的多个单元合并为一个单元。服务器端可以为单个服务器、多个服务器或服务器集群等。例如，可以设置文件服务器用于上传、存储及下载文件，另外设置服务器用于上传、存储及下载流媒体数据；也可以设置单台服务器或服务器集群用于上传、存储及下载文件和流媒体数据。

作为对上述方法在采集端的实现，本申请提供了一种用于采集端的在视频直播中同步显示文件的装置的一个实施例(图中未示出)，该装置实施例与用于采集端的在视频直播中同步显示文件的方法实施例相对应，由此，上文针对用于采集端的在视频直播中同步显示文件的方法描述的操作和特征同样适用于该用于采集端的在视频直播中同步显示文件的装置，在此不再赘述。该装置具体可以应用于各种电子设备中。

该用于采集端的在视频直播中同步显示文件的装置可以包括：关系获取单元，用于获取流媒体数据的视频帧和文件唯一标识的对应关系；标识编码单元，用于基于文件唯一标识，编码得到同步字段；字段添加单元，用于将同步字段添加至视频帧的扩展字段；流媒体上传单元，用于将添加同步字段后的流媒体数据上传至服务器，以便播放端根据同步字段从服务器下载对应同步字段的文件，并在播放流媒体数据时同步显示对应同步字段的视频帧和文件，其中，文件唯一标识为上传至服务器的文件在服务器中的唯一标识。

在本实施例的一些可选实现方式中，标识编码单元进一步用于：将文件唯一标识编码为同步字段；或将文件唯一标识编码为同步字段，且响应于采集流媒体数据时有新文件上传，将用于强制刷新的控制字段编码追加至同步字段。

作为对上述方法在播放端的实现，本申请还提供了一种用于播放端的在视频直播中同步显示文件的装置的一个实施例(图中未示出)，该装置实施例与用于播放端的在视频直播中同步显示文件的方法实施例相对应，由此，上文针对用于播放端的在视频直播中同步显示文件的方法描述的操作和特征同样适用于该用于播放端的在视频直播中同步显示文件的装置。该装置具体可以应用于各种电子设备中。

具体地，该用于播放端的在视频直播中同步显示文件的装置可以包括：流媒体下载单元，用于从服务器下载流媒体数据；字段检测单元，用于检测在流媒体数据的各视频帧的扩展字段中是否存在同步字段，同步字段为采集端基于与视频帧对应的文件唯一标识编码得到，文件唯一标识为上传至服务器的文件在服务器中的唯一标识；文件下载单元，用于响应于扩展字段中存在同步字段，从服务器下载对应同步字段的文件；同步播放单元，用于在播放流媒体数据时同步显示对应同步字段的视频帧和文件。

在本实施例的一些可选实现方式中，文件下载单元进一步用于以下一项或多项：若同步字段为首次检测到的同步字段且服务器中同步字段指示的文件属于预定文件集合，则从服务器下载预定文件集合；若同步字段中存在用于强制刷新的控制字段且服务器中同步字段指示的文件属于预定文件集合，从服务器下载预定文件集合中自同步字段指示的文件开始的文件子集；以及若本地不存在对应单个同步字段的文件，从服务器下载对应单个同步字段的文件。

在本实施例的一些可选实现方式中，文件下载单元进一步用于：根据网络类型和网速从服务器下载预定参数的对应同步字段的文件。

下面参考图5，其示出了适于用来实现本申请实施例的终端设备或服务器的计算机系统500的结构示意图。

如图5所示，计算机系统500包括中央处理单元(CPU)501，其可以根据存储在只读存储器(ROM)502中的程序或者从存储部分508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中，还存储有系统500操作所需的各种程序和数据。CPU 501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。

以下部件连接至I/O接口505：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，所述计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(CPU)501执行时，执行本申请的方法中限定的上述功能。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个单元、程序段、或代码的一部分，所述单元、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括关系获取单元、标识编码单元、字段添加单元和流媒体上传单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，关系获取单元还可以被描述为“获取流媒体数据的视频帧和文件唯一标识的对应关系的单元”。

作为另一方面，本申请还提供了一种非易失性计算机存储介质，该非易失性计算机存储介质可以是上述实施例中所述装置中所包含的非易失性计算机存储介质；也可以是单独存在，未装配入终端中的非易失性计算机存储介质。上述非易失性计算机存储介质存储有一个或者多个程序，当所述一个或者多个程序被一个设备执行时，使得所述设备：获取流媒体数据的视频帧和文件唯一标识的对应关系；基于文件唯一标识，编码得到同步字段；并将同步字段添加至视频帧的扩展字段；将添加同步字段后的流媒体数据上传至服务器，以便播放端根据同步字段从服务器下载对应同步字段的文件，并在播放流媒体数据时同步显示对应同步字段的视频帧和文件，其中，文件唯一标识为上传至服务器的文件在服务器中的唯一标识。

作为另一方面，本申请还提供了一种非易失性计算机存储介质，该非易失性计算机存储介质可以是上述实施例中所述装置中所包含的非易失性计算机存储介质；也可以是单独存在，未装配入终端中的非易失性计算机存储介质。上述非易失性计算机存储介质存储有一个或者多个程序，当所述一个或者多个程序被一个设备执行时，使得所述设备：从服务器下载流媒体数据；检测在流媒体数据的各视频帧的扩展字段中是否存在同步字段，同步字段为采集端基于与视频帧对应的文件唯一标识编码得到，文件唯一标识为上传至服务器的文件在服务器中的唯一标识；响应于扩展字段中存在同步字段，从服务器下载对应同步字段的文件；在播放流媒体数据时同步显示对应同步字段的视频帧和文件。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (18)

1.一种在视频直播中同步显示文件的方法，其特征在于，所述方法包括：

采集端获取流媒体数据的视频帧和文件唯一标识的对应关系，基于所述文件唯一标识，编码得到同步字段，并将所述同步字段添加至所述视频帧的扩展字段，将添加同步字段后的流媒体数据上传至服务器；

播放端从所述服务器下载流媒体数据，检测在流媒体数据的各视频帧的扩展字段中是否存在同步字段，响应于扩展字段中存在同步字段，从所述服务器下载对应所述同步字段的文件，在播放流媒体数据时同步显示对应所述同步字段的视频帧和文件。

2.根据权利要求1所述的方法，其特征在于，所述基于所述文件唯一标识，编码得到同步字段包括：

将所述文件唯一标识编码为同步字段；或

将所述文件唯一标识编码为同步字段，且响应于采集流媒体数据时有新文件上传，将用于强制刷新的控制字段编码追加至所述同步字段；

其中，所述文件唯一标识为上传至所述服务器的文件在服务器中的唯一标识。

3.根据权利要求2所述的方法，其特征在于，所述从所述服务器下载对应所述同步字段的文件包括以下一项或多项：

若所述同步字段为首次检测到的同步字段且所述服务器中所述同步字段指示的文件属于预定文件集合，则从所述服务器下载所述预定文件集合；

若所述同步字段中存在用于强制刷新的控制字段且所述服务器中所述同步字段指示的文件属于预定文件集合，从所述服务器下载所述预定文件集合中自所述同步字段指示的文件开始的文件子集；以及

若本地不存在对应单个同步字段的文件，从所述服务器下载对应所述单个同步字段的文件。

4.根据权利要求1-3任意一项所述的方法，其特征在于，所述从所述服务器下载对应所述同步字段的文件包括：

根据网络类型和网速从所述服务器下载预定参数的对应所述同步字段的文件。

5.一种在视频直播中同步显示文件的方法，其特征在于，所述方法包括：

获取流媒体数据的视频帧和文件唯一标识的对应关系；

基于所述文件唯一标识，编码得到同步字段；

并将所述同步字段添加至所述视频帧的扩展字段；

将添加同步字段后的流媒体数据上传至服务器，以便播放端根据所述同步字段从服务器下载对应所述同步字段的文件，并在播放流媒体数据时同步显示对应所述同步字段的视频帧和文件。

6.根据权利要求5所述的方法，其特征在于，所述基于所述文件唯一标识，编码得到同步字段包括：

将所述文件唯一标识编码为同步字段；或

将所述文件唯一标识编码为同步字段，且响应于采集流媒体数据时有新文件上传，将用于强制刷新的控制字段编码追加至所述同步字段；

其中，所述文件唯一标识为上传至所述服务器的文件在服务器中的唯一标识。

7.一种在视频直播中同步显示文件的方法，其特征在于，所述方法包括：

从服务器下载流媒体数据；

检测在流媒体数据的各视频帧的扩展字段中是否存在同步字段，所述同步字段为采集端基于与视频帧对应的文件唯一标识编码得到；

响应于扩展字段中存在同步字段，从所述服务器下载对应所述同步字段的文件；

在播放流媒体数据时同步显示对应所述同步字段的视频帧和文件。

8.根据权利要求7所述的方法，其特征在于，所述从所述服务器下载对应所述同步字段的文件包括以下一项或多项：

若所述同步字段为首次检测到的同步字段且所述服务器中所述同步字段指示的文件属于预定文件集合，则从所述服务器下载所述预定文件集合；

若所述同步字段中存在用于强制刷新的控制字段且所述服务器中所述同步字段指示的文件属于预定文件集合，从所述服务器下载所述预定文件集合中自所述同步字段指示的文件开始的文件子集；以及

若本地不存在对应单个同步字段的文件，从所述服务器下载对应所述单个同步字段的文件。

9.根据权利要求7或8任意一项所述的方法，其特征在于，所述从所述服务器下载对应所述同步字段的文件包括：

根据网络类型和网速从所述服务器下载预定参数的对应所述同步字段的文件。

10.一种在视频直播中同步显示文件的装置，其特征在于，所述装置包括：

采集端，包括：关系获取单元，用于获取流媒体数据的视频帧和文件唯一标识的对应关系；标识编码单元，用于基于所述文件唯一标识，编码得到同步字段；字段添加单元，用于将所述同步字段添加至所述视频帧的扩展字段；流媒体上传单元，用于将添加同步字段后的流媒体数据上传至服务器；

播放端，包括：流媒体下载单元，用于从所述服务器下载流媒体数据；字段检测单元，用于检测在流媒体数据的各视频帧的扩展字段中是否存在同步字段；文件下载单元，用于响应于扩展字段中存在同步字段，从所述服务器下载对应所述同步字段的文件；同步播放单元，用于在播放流媒体数据时同步显示对应所述同步字段的视频帧和文件。

11.根据权利要求10所述的装置，其特征在于，所述标识编码单元进一步用于：

将所述文件唯一标识编码为同步字段；或

将所述文件唯一标识编码为同步字段，且响应于采集流媒体数据时有新文件上传，将用于强制刷新的控制字段编码追加至所述同步字段；

其中，所述文件唯一标识为上传至所述服务器的文件在服务器中的唯一标识。

12.根据权利要求11所述的装置，其特征在于，所述文件下载单元进一步用于以下一项或多项：

若所述同步字段为首次检测到的同步字段且所述服务器中所述同步字段指示的文件属于预定文件集合，则从所述服务器下载所述预定文件集合；

若所述同步字段中存在用于强制刷新的控制字段且所述服务器中所述同步字段指示的文件属于预定文件集合，从所述服务器下载所述预定文件集合中自所述同步字段指示的文件开始的文件子集；以及

若本地不存在对应单个同步字段的文件，从所述服务器下载对应所述单个同步字段的文件。

13.根据权利要求10-12任意一项所述的装置，其特征在于，所述文件下载单元进一步用于包括：

根据网络类型和网速从所述服务器下载预定参数的对应所述同步字段的文件。

14.一种在视频直播中同步显示文件的装置，其特征在于，所述装置包括：

关系获取单元，用于获取流媒体数据的视频帧和文件唯一标识的对应关系；

标识编码单元，用于基于所述文件唯一标识，编码得到同步字段；

字段添加单元，用于将所述同步字段添加至所述视频帧的扩展字段；

流媒体上传单元，用于将添加同步字段后的流媒体数据上传至服务器，以便播放端根据所述同步字段从服务器下载对应所述同步字段的文件，并在播放流媒体数据时同步显示对应所述同步字段的视频帧和文件。

15.根据权利要求14所述的装置，其特征在于，所述标识编码单元进一步用于：

将所述文件唯一标识编码为同步字段；或

将所述文件唯一标识编码为同步字段，且响应于采集流媒体数据时有新文件上传，将用于强制刷新的控制字段编码追加至所述同步字段；

其中，所述文件唯一标识为上传至所述服务器的文件在服务器中的唯一标识。

16.一种在视频直播中同步显示文件的装置，其特征在于，所述装置包括：

流媒体下载单元，用于从服务器下载流媒体数据；

字段检测单元，用于检测在流媒体数据的各视频帧的扩展字段中是否存在同步字段，所述同步字段为采集端基于与视频帧对应的文件唯一标识编码得到；

文件下载单元，用于响应于扩展字段中存在同步字段，从所述服务器下载对应所述同步字段的文件；

同步播放单元，用于在播放流媒体数据时同步显示对应所述同步字段的视频帧和文件。

17.根据权利要求16所述的装置，其特征在于，所述文件下载单元进一步用于以下一项或多项：

若所述同步字段为首次检测到的同步字段且所述服务器中所述同步字段指示的文件属于预定文件集合，则从所述服务器下载所述预定文件集合；

若所述同步字段中存在用于强制刷新的控制字段且所述服务器中所述同步字段指示的文件属于预定文件集合，从所述服务器下载所述预定文件集合中自所述同步字段指示的文件开始的文件子集；以及

若本地不存在对应单个同步字段的文件，从所述服务器下载对应所述单个同步字段的文件。

18.根据权利要求16或17任意一项所述的装置，其特征在于，所述文件下载单元进一步用于：

根据网络类型和网速从所述服务器下载预定参数的对应所述同步字段的文件。