CN109714622A - 一种视频数据处理方法、装置及电子设备 - Google Patents

Abstract

本发明实施例提供了一种视频数据处理方法、装置及电子设备，当从原始视频数据中监测到目标帧时，获取待插入的事件消息，其中，目标帧为预设类型的视频帧；根据第一视频帧的时间戳和目标帧的时间戳，计算事件消息的插入延时，其中，第一视频帧为原始视频数据中与事件消息同步显示的视频帧；根据事件消息和插入延时，生成消息帧；根据原始视频数据和消息帧，生成目标视频数据，其中，目标视频数据中消息帧位于目标帧之前。通过本技术方案基于该目标视频数据进行传输，使得原始视频数据、事件消息和事件消息的插入延时可以采用同一通道进行发送，也就使得获得到目标视频数据的设备可以将原始视频数据和事件消息同步显示，从而可以提升用户体验。

Description

一种视频数据处理方法、装置及电子设备

技术领域

本发明涉及互联网技术领域，特别是涉及一种视频数据处理方法、装置及电子设备。

背景技术

随着互联网技术的高速发展，各种新型的信息交互方式也得到了快速的发展。在播放原始视频数据的过程中，当播放到与事件消息同步的视频帧时，需要将事件消息同步显示，基于原始视频数据中与事件消息可以实现信息交互。现有技术中，当播放设备从其他设备上获取原始视频数据和事件消息时，原始视频数据和事件消息是通过两个通道发送的。

例如，越来越常见的网络直播可以作为一种信息交互方式。网络直播可以通过各种电子设备，如手机、平板电脑、智能眼镜等作为主播端，并随时随地的进行原始视频数据的采集，以及主播操作产生的事件消息的采集，然后利用网络将所采集的原始视频数据和事件消息，实时发送至播放端。在播放端可以实时的收看到主播端所发送的原始视频数据和事件消息，原始视频数据和事件消息同步显示，从而实现主播端与播放端之间的实时的数据交互。具体的，如目前较流行的网络直播形式——直播答题，这种形式不同于以往的弹幕形式，需要主播通过操控主播端进行出题，主播端采集到的题目就可以作为事件消息。

然而，发明人在实现本发明的过程中发现，现有技术至少存在如下问题：由于原始视频数据和事件消息两者不能共用一个通道发送，而是分开发送的。这样就可能导致原始视频数据和事件消息两者的延时相差较大且无法控制，从而导致两者同步较困难，用户体验差。

发明内容

本发明实施例的目的在于提供一种视频数据处理方法、装置及电子设备，以实现提升用户体验。具体技术方案如下：

第一方面，为了达到上述目的，本发明实施例公开了一种视频数据处理方法，所述方法包括：

当从原始视频数据中监测到目标帧时，获取待插入的事件消息，其中，目标帧为预设类型的视频帧；

根据第一视频帧的时间戳和所述目标帧的时间戳，计算所述事件消息的插入延时，其中，所述第一视频帧为所述原始视频数据中与所述事件消息同步显示的视频帧；

根据所述事件消息和所述插入延时，生成消息帧；

根据所述原始视频数据和所述消息帧，生成目标视频数据，其中，所述目标视频数据中所述消息帧位于所述目标帧之前。

可选的，所述当从原始视频数据中监测到目标帧时，获取待插入的事件消息的步骤，包括：

当从原始视频数据中监测到目标帧时，将任务池中当前有效的事件消息作为获取的待插入的事件消息，其中，当前有效是指当前处于对应的事件消息的有效期内。

可选的，所述将任务池中当前有效的事件消息作为获取的待插入的事件消息的步骤，包括：

将任务池中当前有效的，且本次插入为第一次插入的事件消息，以及当前有效的，且上一次插入与本次插入的时间间隔大于预设时间间隔的事件消息作为获取的待插入的事件消息。

可选的，所述方法还包括：

接收用户输入的事件操作指令；

根据所述事件操作指令，生成附有有效期的事件消息，其中，所述有效期是根据第二视频帧的时间戳和预设的持续时间确定的，所述第二视频帧是所述原始视频数据中与生成的事件消息同步显示的视频帧；

将生成的事件消息添加到所述任务池中。

在本发明实施的又一方面，还提供了一种视频数据处理方法，所述方法包括：

获取目标视频数据，其中，所述目标视频数据包括原始视频数据和消息帧，所述消息帧位于所述原始视频数据中的目标帧之前，所述目标帧为所述原始视频数据中预设类型的视频帧；

根据所述目标视频数据中的消息帧，获取事件消息和所述事件消息的插入延时；

根据所述插入延时和所述目标帧的时间戳，确定所述原始视频数据中与所述事件消息同步显示的第一视频帧；

当播放至所述第一视频帧时，将所述事件消息同步显示。

可选的，所述根据所述插入延时和所述目标帧的时间戳，确定所述原始视频数据中与所述事件消息同步显示的第一视频帧的步骤，包括：

当解码所述目标帧时，根据当前播放的视频帧和所述目标视频帧两者的时间戳，计算预解码领先时间；

根据预解码领先时间和所述插入延时，确定同步延时；

将同步延时后对应视频帧作为所述原始视频数据中与所述事件消息同步显示的第一视频帧。

可选的，所述方法还包括：

判断获取的事件消息是否为首次获得，如果是，继续执行根据所述插入延时和目标帧的时间戳，确定所述原始视频数据中与所述事件消息同步显示的第一视频帧的步骤。

在本发明实施的又一方面，还提供了一种视频数据处理装置，所述装置包括：

第一获取模块，用于当从原始视频数据中监测到目标帧时，获取待插入的事件消息，其中，目标帧为预设类型的视频帧；

计算模块，用于根据第一视频帧的时间戳和所述目标帧的时间戳，计算所述事件消息的插入延时，其中，所述第一视频帧为所述原始视频数据中与所述事件消息同步显示的视频帧；

第一生成模块，用于根据所述事件消息和所述插入延时，生成消息帧；

第二生成模块，用于根据所述原始视频数据和所述消息帧，生成目标视频数据，其中，所述目标视频数据中所述消息帧位于所述目标帧之前。

可选的，所述第一获取模块用于：当从原始视频数据中监测到目标帧时，将任务池中当前有效的事件消息作为获取的待插入的事件消息，其中，当前有效是指当前处于对应的事件消息的有效期内。

可选的，所述第一获取模块用于：将任务池中当前有效的，且本次插入为第一次插入的事件消息，以及当前有效的，且上一次插入与本次插入的时间间隔大于预设时间间隔的事件消息作为获取的待插入的事件消息。

可选的，所述装置还包括：

接收模块，用于接收用户输入的事件操作指令；

第三生成模块，用于根据所述事件操作指令，生成附有有效期的事件消息，其中，所述有效期是根据第二视频帧的时间戳和预设的持续时间确定的，所述第二视频帧是所述原始视频数据中与生成的事件消息同步显示的视频帧；

添加模块，用于将生成的事件消息添加到所述任务池中。

在本发明实施的又一方面，还提供了一种视频数据处理装置，所述装置包括：

第二获取模块，用于获取目标视频数据，其中，所述目标视频数据包括原始视频数据和消息帧，所述消息帧位于所述原始视频数据中的目标帧之前，所述目标帧为所述原始视频数据中预设类型的视频帧；

第三获取模块，用于根据所述目标视频数据中的消息帧，获取事件消息和所述事件消息的插入延时；

确定模块，用于根据所述插入延时和所述目标帧的时间戳，确定所述原始视频数据中与所述事件消息同步显示的第一视频帧；

同步模块，用于当播放至所述第一视频帧时，将所述事件消息同步显示。

可选的，所述第二确定模块用于：

当解码所述目标帧时，根据当前播放的视频帧和所述目标视频帧两者的时间戳，计算预解码领先时间；

根据预解码领先时间和所述插入延时，确定同步延时；

将同步延时后对应视频帧作为所述原始视频数据中与所述事件消息同步显示的第一视频帧。

可选的，所述装置还包括：

判断模块，用于判断获取的事件消息是否为首次获得，如果是，触发上述确定模块执行根据所述插入延时和目标帧的时间戳，确定所述原始视频数据中与所述事件消息同步显示的第一视频帧。

在本发明实施的又一方面，还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，所述处理器，所述通信接口，所述存储器通过所述通信总线完成相互间的通信；

所述存储器，用于存放计算机程序；

所述处理器，用于执行所述存储器上所存放的程序时，实现上述任一所述的视频数据处理方法。

在本发明实施的又一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述任一所述的视频数据处理方法。

在本发明实施的又一方面，本发明实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的视频数据处理方法。

本发明实施例提供的一种视频数据处理方法、装置及电子设备，当从原始视频数据中监测到目标帧时，可以获取待插入的事件消息，然后根据原始视频数据中与事件消息同步的第一视频帧的时间戳和目标帧的时间戳，计算事件消息的插入延时；根据事件消息和插入延时，可以生成消息帧；根据原始视频数据和消息帧，生成目标视频数据，其中，目标视频数据中消息帧位于目标帧之前。通过本技术方案，将事件消息和事件消息的插入延时以消息帧的方式插入到目标帧之前，生成目标视频数据。基于该目标视频数据进行传输，使得原始视频数据、事件消息和事件消息的插入延时可以采用同一通道进行发送。由于采用一个通道发送，使得目标帧和事件消息的相对延时固定为事件消息插入延时，因此，基于目标帧的时间戳和事件消息的插入延时可以从原始视频数据中与时间消息同步的第一视频帧，也就使得获得到目标视频数据的设备可以将原始视频数据和事件消息同步显示，从而可以提升用户体验。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。

图1为本发明实施例提供的视频数据处理方法的第一种流程示意图；

图2为H.264的一种基本结构；

图3为H.264基本结构中的SEI消息体(消息帧S1)；

图4为H.264基本结构中的SEI消息体(消息帧S2)；

图5为本发明实施例提供的视频数据处理方法的第二种流程示意图；

图6为本发明实施例提供的一种实施本发明实施例的系统框图；

图7为本发明实施例提供的视频数据处理装置的第一种结构示意图；

图8为本发明实施例提供的视频数据处理装置的第二种结构示意图；

图9为本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。

现有技术中，由于原始视频数据和事件消息两者不能共用一个通道发送，而是分开发送的，容易导致两者同步较困难，用户体验差。为了解决该技术问题，本发明实施例提供了一种视频数据处理方法、装置及电子设备。

下面以应用于网络直播且将主播端作为执行主体，对本发明实施例提供的一种视频数据处理方法进行详细说明。本发明实施例提供的一种视频数据处理方法，应用于一种电子设备，该电子设备可以包括手机、电脑、智能电视等各类能够联网并传输信息的智能设备。参照图1，该视频数据处理方法包括：

S101、当从原始视频数据中监测到目标帧时，获取待插入的事件消息，其中，目标帧为预设类型的视频帧。

在进行网络直播时，主播端采集原始视频数据，具体的可以通过主播端的摄像头进行原始视频数据的采集，在采集原始视频数据过程中可以监测是否采集到目标帧。事件消息可以是按照如下方式生成的：主播向主播端输入事件操作指令时，主播端根据该事件操作指令生成事件消息。例如，直播答题作为一种直播形式，是一种新的直播交互方式，主播向主播端输入事件操作指令来发布待答的题目或该题目的答案，则主播端根据该事件操作指令生成的事件消息包括题目或该题目的答案，其中，题目和该题目的答案可以是预先设置的。

其中，目标帧为原始视频数据中预设类型的视频帧。在H.264编码标准中，目标帧可以为原始视频数据中的IDR(Instantaneous Decoding Refresh，及时解码刷新)帧。

S102、根据第一视频帧的时间戳和目标帧的时间戳，计算事件消息的插入延时，其中，第一视频帧为原始视频数据中与事件消息同步显示的视频帧。

具体的，可以将目标帧的时间戳减去第一视频帧的时间戳的差值作为事件消息的插入延时。事件消息是与主播端接收到的事件操作指令对应的，如果主播在输入事件操作指令时，对应事件消息即刻开始生效，则该事件消息与原始视频数据同步的第一视频帧可以为，主播端输入事件操作指令时对应的主播端采集的视频帧。

当然，在其他实施方式中，如果主播在输入事件操作指令时，事件消息在延时预设时间段后开始生效，则原始视频数据中与该事件消息同步的第一视频帧为：相对主播端接收到事件操作指令时，延时预设时间段后对应的视频帧。如主播输入事件操作指令的同时，还输入的事件消息的起始时间为5秒后，则相对主播输入事件操作指令的时间延时5秒后对应的主播端采集的视频帧即为第一视频帧。再如图5所示，在主播端一侧，事件发生时画面即为事件消息对应的第一视频帧，事件发生时画面即为事件消息对应的事件发生时的视频帧。当播放端播放到该视频帧时，需要将原始视频数据中与事件消息同步显示。

S103、根据事件消息和插入延时，生成消息帧。

消息帧可以为用于插入IDR帧之前的SEI(Supplemental enhancement infor-mation，附加增强消息)消息体，通过H.264编码规范中SEI消息体可以在原始视频数据中插入消息。SEI消息体可以携带一对事件消息和插入延时即一个事件消息和该事件消息的插入延时，也可以携带多对事件消息和插入延时。SEI消息体是H.264基本结构的一种单元类型，H.264基本结构如图2所示，SEI消息体如图3和图4所示。图3中，一个SEI消息体携带标识为#6的事件消息，标识#6对应的事件消息的插入延时即时间戳P为0.04秒。图4中，一个SEI消息体携带标识为#13和#6的两个事件消息，标识#13对应的事件消息的插入延时即时间戳P为5.04秒，标识#6对应的事件消息的插入延时为0.04秒。

S104、根据原始视频数据和消息帧，生成目标视频数据，其中，目标视频数据中消息帧位于目标帧之前。

具体的，可以将生成的SEI消息体插入到监测到的IDR帧之前，具体是原始视频数据中与该IDR帧相邻的位置。

当需要播放目标视频数据时，可以根据目标视频数据中，消息帧中的事件消息的插入延时和目标帧的时间戳，确定目标视频数据中原始视频数据中与事件消息同步的第一视频帧，当播放至第一视频帧时，将原始视频数据和事件消息同步显示。

应用图1实施例，将事件消息和事件消息的插入延时以消息帧的方式插入到目标帧之前，生成目标视频数据。基于该目标视频数据进行传输，使得原始视频数据、事件消息和事件消息的插入延时可以采用同一通道进行发送。由于采用一个通道发送，使得目标帧和事件消息的相对延时固定为事件消息插入延时，因此，基于目标帧的时间戳和事件消息的插入延时可以从原始视频数据中与时间消息同步的第一视频帧，也就使得获得到目标视频数据的设备可以将原始视频数据和事件消息同步显示，从而可以提升用户体验。

该视频数据处理方法还包括：将目标视频数据发送至服务器或播放端。

通过发送目标视频数据的通道，可以将原始视频数据和消息帧一起直接发送至播放端，或直接发送至服务器，播放端可以从服务器获取到目标视频数据，从而使播放端可以根据目标视频数据中消息帧中的事件消息的插入延时和目标帧的时间戳，确定原始视频数据中与事件消息同步的第一视频帧，当播放至第一视频帧时，将原始视频数据和事件消息同步显示。由于采用一个通道发送事件消息、事件消息的插入延时和原始视频数据，使得可以将原始视频数据和事件消息同步显示，从而可以提升用户体验。

本发明实施例的一种实施方式中，当从原始视频数据中监测到目标帧时，获取待插入的事件消息的步骤，包括：

当从原始视频数据中监测到目标帧时，将任务池中当前有效的事件消息作为获取的待插入的事件消息，其中，当前有效是指当前处于对应的事件消息的有效期内。具体的，当主播端从原始视频数据中监测到目标帧时，主播端可以从任务池中获取当前有效的事件消息，并将获取的事件消息作为获取的待插入的事件消息，任务池是用来存储事件消息的。

每个事件消息都有一个有效期，可以将事件消息的起始时间和持续时间所限定时间范围作为有效期。如果从原始视频数据中监测到目标帧的时刻是处于事件消息的起始时间和持续时间所确定的时间范围内，则确定该事件消息为当前有效的事件消息。具体地，事件消息的起始时间可以为生产事件消息的时间，事件消息的持续时间既可以为生产事件消息之前预先设置的，也可以为根据该事件消息动态设定的。

通过本步骤，如果多次监测到目标帧，且对应时刻均在事件消息的有效期内，则可以多次将事件消息插入到原始视频数据中，从而实现冗余发送，可以避免因消息帧的丢失而导致的事件消息与原始视频数据的不同步。如当消息帧为SEI消息体时，可以避免因SEI消息体优先级低于视频帧的优先级而导致SEI消息体丢失，从而导致事件消息与原始视频数据的不同步的问题。

本发明实施例的一种实施方式中，将任务池中当前有效的事件消息作为获取的待插入的事件消息的步骤，包括：

将任务池中获取当前有效的，且本次插入为第一次插入的事件消息，以及当前有效的，且上一次插入时间与本次插入时间的间隔大于预设时间间隔的事件消息作为获取的待插入的事件消息。

预设时间间隔可以按照如下方式获得：

主播端接收主播输入的最小插入时间间隔，将接收到最小插入时间间隔作为预设时间间隔。通过这种方式可以实现主播端根据实际的需求，自由的配置预设时间间隔。当然，在其他实施方式中，预设时间间隔也可以是预先设置的。

本次插入是指在当前监测到的目标帧之前的插入，针对某一当前有效的事件消息，如果本次插入为第一次插入，即在生成该事件消息之后至当前，未将该事件消息以消息帧的形式插入到原始视频数据中的目标帧之前，也即在生成该事件消息之后至当前，当前监测到目标帧是第一次监测到目标帧，则将事件消息作为待插入的事件消息。

针对某一当前有效的事件消息，如果本次插入不是第一次插入，在上次插入距离本次插入的时间间隔大于预设时间间隔的情况下，则将事件消息作为待插入的事件消息。

进一步的，该视频数据处理方法还包括：

(1)、主播端接收主播输入的事件操作指令；具体的是发布事件消息的操作指令，操作指令可以对应预先配置的用于生成事件消息的内容，起始时间和持续时间。在其他实施方式中，操作指令包含配置事件消息的参数，例如，输入生成题目的参数，这些参数可以用于生成题目。

(2)、主播端根据事件操作指令，生成附有有效期的事件消息，其中，有效期是根据第二视频帧的时间戳和预设的持续时间确定的，第二视频帧是原始视频数据中与生成的事件消息同步显示的视频帧。

具体的，根据与操作指令对应的内容生成事件消息，操作指令对应的内容可以包括起始时间和持续时间。当然，在其他实施方式中，操作指令中还可以包括对事件消息起始时间和持续时间的设置操作指令，从而使得主播端可以获得事件消息的起始时间和持续时间，起始时间可以通过对应的视频帧的时间戳来表示。需要说明的是，针对同一事件消息，第一视频帧和第二视频帧是同一视频帧。

(3)、主播端将生成的事件消息添加到任务池中。

任务池是用于存放生成的事件消息的，当监测到目标帧时，可以从任务池中确定待插入的事件消息。

再进一步的，该视频数据处理方法还可以包括：主播端将过期的事件消息从任务池中删除。每个事件消息都有一个有效期，主播端可以通过在主播端输入事件消息的起始时间和持续时间限定的时间范围作为有效期。如果从原始视频数据中监测到目标帧的时刻是处于事件消息的起始时间和持续时间对应确定的时间范围之外，则确定该事件消息为过期的事件消息。

通过本步骤可以及时将任务池中过期的事件消息删除，通过与上述在任务池中添加事件消息，可以根据事件消息的生成与过期删除等操作实时的更新任务池中的事件消息。从而便于当监测到目标帧时，从任务池中确定待插入的事件消息。

下面以应用于网络直播且将播放端作为执行主体，对本发明实施例提供的一种视频数据处理方法进行详细说明。播放端是可以播放目标视频数据的电子设备，该电子设备可以包括手机、电脑、智能电视等各类能够联网并传输信息的智能设备。参照图5，本发明实施例提供的一种视频数据处理方法包括如下步骤：

S501、获取目标视频数据，其中，目标视频数据包括原始视频数据和消息帧，消息帧位于原始视频数据中的目标帧之前，目标帧为原始视频数据中预设类型的视频帧。

目标视频数据中包括原始视频数据和插入到原始视频数据中的消息帧，消息帧携带事件消息和事件消息的插入延时，事件消息的插入延时是根据第一视频帧的时间戳和目标帧的时间戳计算得到的。主播端可以按照上述实施例中获取目标视频数据的方式获取目标视频数据，并将目标视频数据直接发送至播放端，或通过服务器将目标视频数据间接发送至播放端。

S502、根据目标视频数据中消息帧，获取事件消息和事件消息的插入延时。

通过解析消息帧，可以获得事件消息和事件消息的插入延时。如果消息帧中携带多对事件消息和事件消息的插入延时，则可以获得消息帧中携带的每个事件消息和该每个事件消息对应的插入延时。

S503、根据插入延时和目标帧的时间戳，确定目标视频数据中原始视频数据中与事件消息同步的第一视频帧。

本步骤可以按照以下方式实现，即本步骤可以包括：

当解码目标帧时，根据当前播放的视频帧和目标视频帧两者的时间戳，计算预解码领先时间。

根据预解码领先时间和插入延时，确定同步延时；具体的，将预解码领先时间减去插入延时即可获得同步延时。

将同步延时后对应视频帧作为第一视频帧，具体的可以通过通知的方式确定该视频帧，在解码目标帧后，并经过同步延时后即生成通知，根据通知确定第一视频帧。

S504、当播放至第一视频帧时，将原始视频数据和事件消息同步显示。

具体应用时，也就是在解码目标帧后，并经过同步延时后，可以通知上层应用即播放器将原始视频数据和事件消息同步显示。具体可以按照预先设置的持续时间，在所设定的持续时间内，原始视频数据中与事件消息持续同步显示。

应用图5所示实施例，无需通过单独的消息通道，即可获取到目标视频数据中的原始视频数据和插入到原始视频数据中目标帧之前的消息帧，消息帧中携带事件消息和事件消息的插入延时。根据插入延时和目标帧的时间戳，即可确定与事件消息同步的第一视频帧，当播放到第一视频帧时，将原始视频数据中与事件消息同步显示，提高用户体验。通过本发明实施例提供的视频数据处理方法，可以实现事件与画面同步，它们之间的延时仅为个位数毫秒级别，因此，用户体验较佳。

本发明实施例的一种实施方式中，根据插入延时和目标帧的时间戳，确定原始视频数据中与事件消息同步显示的第一视频帧的步骤，包括：

判断获取的事件消息是否为首次获得，如果是，继续执行根据插入延时和目标帧的时间戳，确定原始视频数据中与事件消息同步显示的第一视频帧的步骤。

通过本步骤可以实现事件消息在播放端的去重，从而避免因丢失消息帧而导致的事件消息和原始视频数据不同步的问题。

示例一，参照图6，主播端采集原始视频数据，并在这个过程中实时监测原始视频数据中的IDR帧。主播对主播端进行操作，使得主播端可以接收到主播输入的事件操作指令，主播端根据事件操作指令，生成附有有效期的事件消息，然后，将生成的事件消息添加到任务池中。其中，有效期是根据第二视频帧的时间戳和预设的持续时间确定的，第二视频帧是原始视频数据中与生成的事件消息同步显示的视频帧。

当主播端监测到IDR帧时，主播端可以从任务池中获取待插入的事件消息，也即图6中的同步事件消息。同步事件消息可以为任务池中全部的当前有效的事件消息，或同步事件消息可以为任务池中当前有效，且本次插入为第一次插入的事件消息，以及当前有效，且本次插入与上一次插入的时间间隔大于预设时间间隔的事件消息。

主播端将IDR帧的时间戳减去第一视频帧的时间戳得到值作为同步事件消息的插入延时，第一视频帧是原始视频数据中与同步事件消息同步的视频帧，也就是图6中主播端一侧事件发生时画面对应的视频帧。

主播端再根据同步事件消息和对应的同步事件消息的消息插入延时生成SEI消息体，将SEI消息体插入到监测到的IDR帧之前的相邻位置后，生成.264流即目标视频数据。

.264流被主播端直接发送至播放端或通过服务器发送至播放端，在播放端，当解码IDR帧时，播放到图6中播放端一侧的当前观看画面对应的视频帧。通过对消息帧的解析可以获得同步事件消息和同步事件消息的消息插入延时，将该当前观看画面对应视频帧的时间戳和IDR帧的时间戳的差值作为预解码领先时间，将预解码领先时间和消息插入延时的差值作为同步延时。根据同步延时设置延时通知，也就是当经过同步延时的时间段后，通知上层应用将原始视频数据和同步事件消息同步显示，即将事件消息对应的事件和事件发生时的画面同步，其中，上层应用可以为视频播放器。

示例二，主播端的用户主播A与播放端的用户观众B通过主播端与播放端的直播交互实现答题互动。

主播端通过摄像头摄录主播A的原始视频数据，原始视频数据按照时间顺序依次标记为视频帧1、视频帧2、视频帧3…，主播端界面设有出题按钮和公布答案的按钮，预先配置多个有顺序的题目A、B、C…和的答案即题目A的答案、题目B的答案、题目C的答案…，出题按钮和公布答案的按钮对应起始时间均为主播点击按钮的时间，出题按钮对应的持续时间为10秒，公布答案的按钮对应的持续时间为5秒，本示例中的播放速率为25帧/每秒。

主播A第一次点击出题按钮，对应出题目A，起始时间对应的视频帧为视频帧170，持续到视频帧420，主播端根据题目A生成6#消息，有效期从视频帧170持续到视频帧420，将6#消息放入任务池中。

当监测到视频帧171帧为IDR帧时，视频帧171处于视频帧170至视频帧420的范围内，任务池中6#消息有效，确定6#消息的插入延时为0.04秒，根据6#消息和插入延时0.04秒生成消息帧S1，消息帧S1如图3所示，并将该消息帧插入到原始视频数据中视频帧171之前，即视频帧170和视频帧171之间的位置，生成用于直播的目标视频数据。

主播A在第一次点击出题按钮之后5秒点击公布答案的按钮，对应给出题目A的答案，起始时间对应的视频帧为视频帧295，持续到视频帧420，主播端根据题目A的答案生成13#消息，有效期从视频帧295持续到视频帧420，将13#消息放入任务池中。

当监测到视频帧296帧为IDR帧时，视频帧296处于视频帧170至视频帧420的范围内，任务池中6#消息有效，确定6#消息的插入延时为5.04秒；视频帧296处于视频帧295至视频帧420的范围内，任务池中13#消息有效，确定13#消息的插入延时为0.04秒。根据6#消息，6#消息的插入延时5.04秒，以及13#消息和13#消息的插入延时0.04秒生成消息帧S2，消息帧S2如图4所示，并将该消息帧插入到原始视频数据中视频帧296之前，即视频帧295和视频帧296之间的位置，生成用于直播的目标视频数据。

播放端从主播端或服务器接收到主播A的目标视频数据，通过解码播放目标视频数据，解码到消息帧S1时，当前播放至视频帧100，获得题目A和题目A对应的插入延时0.04秒，根据视频帧100和视频帧171的时间戳计算预解码领先时间为2.84秒，计算题目A对应的通知延时为2.8秒。播放持续2.8秒后即播放到视频帧170时，将题目A与原始视频数据同步显示，在播放端的画面中显示题目A，并持续到视频帧420。

解码消息帧S2时，当前播放至视频帧180，获得题目A和题目A对应的插入延时5.04秒，题目A的答案，题目A的答案对应的插入延时0.04秒。根据视频帧180和视频帧296的时间戳计算预解码领先时间为4.64秒。根据预解码领先时间4.64秒，计算题目A的答案对应的通知延时为4.6秒，播放持续4.6秒后即播放到视频帧295时，将题目A的答案与原始视频数据同步显示，在播放端的画面中显示题目A，并持续到视频帧420。如果题目A未同步，则根据预解码领先时间4.64秒，计算题目A对应的通知延时为-0.4秒，根据题目A对应的通知延时为-0.4秒，即刻将题目A与原始视频数据同步显示，在播放端的画面中显示题目A，并持续到视频帧420。

基于与上述方法实施例相同的发明构思，本发明实施例提供了一种视频数据处理装置，可以应用于主播端，参照图7，该装置包括：

第一获取模块71，用于当从原始视频数据中监测到目标帧时，获取待插入的事件消息，其中，目标帧为预设类型的视频帧；

计算模块72，用于根据第一视频帧的时间戳和所述目标帧的时间戳，计算所述事件消息的插入延时，其中，所述第一视频帧为所述原始视频数据中与所述事件消息同步显示的视频帧；

第一生成模块73，用于根据所述事件消息和所述插入延时，生成消息帧；

第二生成模块74，用于根据所述原始视频数据和所述消息帧，生成目标视频数据，其中，所述目标视频数据中所述消息帧位于所述目标帧之前。

应用图7实施例，将事件消息和事件消息的插入延时以消息帧的方式插入到目标帧之前，生成目标视频数据。基于该目标视频数据进行传输，使得原始视频数据、事件消息和事件消息的插入延时可以采用同一通道进行发送。由于采用一个通道发送，使得目标帧和事件消息的相对延时固定为事件消息插入延时，因此，基于目标帧的时间戳和事件消息的插入延时可以从原始视频数据中与时间消息同步的第一视频帧，也就使得获得到目标视频数据的设备可以将原始视频数据和事件消息同步显示，从而可以提升用户体验。

数据的设备可以将原始视频数据和事件消息同步显示，从而可以提升用户体验。

本发明实施例的一种实施方式中，所述第一获取模块用于：当从原始视频数据中监测到目标帧时，将任务池中当前有效的事件消息作为获取的待插入的事件消息，其中，当前有效是指当前处于对应的事件消息的有效期内。

本发明实施例的一种实施方式中，第一获取模块用于：将任务池中当前有效的，且本次插入为第一次插入的事件消息，以及当前有效的，且上一次插入与本次插入的时间间隔大于预设时间间隔的事件消息作为获取的待插入的事件消息。

本发明实施例的一种实施方式中，该装置还包括：

接收模块，用于接收用户输入的事件操作指令；

第三生成模块，用于根据事件操作指令，生成附有有效期的事件消息，其中，有效期是根据第二视频帧的时间戳和预设的持续时间确定的，第二视频帧是原始视频数据中与生成的事件消息同步显示的视频帧；

添加模块，用于将生成的事件消息添加到任务池中。

基于与上述方法实施例相同的发明构思，本发明实施例提供了一种视频数据处理装置，可以应用于播放端，参照图8，该装置包括：

第二获取模块81，用于获取目标视频数据，其中，目标视频数据包括原始视频数据和消息帧，消息帧位于原始视频数据中的目标帧之前，目标帧为原始视频数据中预设类型的视频帧；

第三获取模块82，用于根据目标视频数据中的消息帧，获取事件消息和事件消息的插入延时；

确定模块83，用于根据插入延时和目标帧的时间戳，确定原始视频数据中与事件消息同步显示的第一视频帧；

同步模块84，用于当播放至第一视频帧时，将事件消息同步显示。

应用图8所示实施例，无需通过单独的消息通道，即可获取到目标视频数据中的原始视频数据和插入到原始视频数据中目标帧之前的消息帧，消息帧中携带事件消息和事件消息的插入延时。根据插入延时和目标帧的时间戳，即可确定与事件消息同步的第一视频帧，当播放到第一视频帧时，将原始视频数据中与事件消息同步显示，提高用户体验。通过本发明实施例提供的视频数据处理方法，可以实现事件与画面同步，它们之间的延时仅为个位数毫秒级别，因此，用户体验较佳。

本发明实施例的一种实施方式中，确定模块83用于：

当解码目标帧时，根据当前播放的视频帧和目标视频帧两者的时间戳，计算预解码领先时间；

根据预解码领先时间和插入延时，确定同步延时；

将同步延时后对应视频帧作为原始视频数据中与事件消息同步显示的第一视频帧。

本发明实施例的一种实施方式中，该装置还包括：

判断模块，用于判断获取的事件消息是否为首次获得，如果是，触发上述确定模块83执行根据插入延时和目标帧的时间戳，确定原始视频数据中与事件消息同步显示的第一视频帧。

本发明实施例还提供了一种电子设备，如图9所示，包括处理器91、通信接口92、存储器93和通信总线94，其中，处理器91，通信接口92，存储器93通过通信总线94完成相互间的通信，

存储器93，用于存放计算机程序；

处理器91，用于执行存储器93上所存放的程序时，实现如下步骤：

当从原始视频数据中监测到目标帧时，获取待插入的事件消息，其中，目标帧为预设类型的视频帧；

根据第一视频帧的时间戳和所述目标帧的时间戳，计算所述事件消息的插入延时，其中，所述第一视频帧为所述原始视频数据中与所述事件消息同步显示的视频帧；

根据所述事件消息和所述插入延时，生成消息帧；

根据所述原始视频数据和所述消息帧，生成目标视频数据，其中，所述目标视频数据中所述消息帧位于所述目标帧之前。

或，处理器91，用于执行存储器93上所存放的程序时，实现如下步骤：

获取目标视频数据，其中，所述目标视频数据包括原始视频数据和消息帧，所述消息帧位于所述原始视频数据中的目标帧之前，所述目标帧为所述原始视频数据中预设类型的视频帧；

根据所述目标视频数据中的消息帧，获取事件消息和所述事件消息的插入延时；

根据所述插入延时和所述目标帧的时间戳，确定所述原始视频数据中与所述事件消息同步显示的第一视频帧；

当播放至所述第一视频帧时，将所述事件消息同步显示。

上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述电子设备与其他设备之间的通信。

存储器可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一的视频数据处理方法。

在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一的视频数据处理方法。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本发明实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备、计算机可读存储介质、计算机程序产品实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

Claims (15)

1.一种视频数据处理方法，其特征在于，所述方法包括：

当从原始视频数据中监测到目标帧时，获取待插入的事件消息，其中，目标帧为预设类型的视频帧；

根据第一视频帧的时间戳和所述目标帧的时间戳，计算所述事件消息的插入延时，其中，所述第一视频帧为所述原始视频数据中与所述事件消息同步显示的视频帧；

根据所述事件消息和所述插入延时，生成消息帧；

根据所述原始视频数据和所述消息帧，生成目标视频数据，其中，所述目标视频数据中所述消息帧位于所述目标帧之前。

2.根据权利要求1所述的方法，其特征在于，所述当从原始视频数据中监测到目标帧时，获取待插入的事件消息的步骤，包括：

当从原始视频数据中监测到目标帧时，将任务池中当前有效的事件消息作为获取的待插入的事件消息，其中，当前有效是指当前处于对应的事件消息的有效期内。

3.根据权利要求2所述的方法，其特征在于，所述将任务池中当前有效的事件消息作为获取的待插入的事件消息的步骤，包括：

将任务池中当前有效的，且本次插入为第一次插入的事件消息，以及当前有效的，且上一次插入与本次插入的时间间隔大于预设时间间隔的事件消息作为获取的待插入的事件消息。

4.根据权利要求2或3所述的方法，其特征在于，所述方法还包括：

接收用户输入的事件操作指令；

根据所述事件操作指令，生成附有有效期的事件消息，其中，所述有效期是根据第二视频帧的时间戳和预设的持续时间确定的，所述第二视频帧是所述原始视频数据中与生成的事件消息同步显示的视频帧；

将生成的事件消息添加到所述任务池中。

5.一种视频数据处理方法，其特征在于，所述方法包括：

获取目标视频数据，其中，所述目标视频数据包括原始视频数据和消息帧，所述消息帧位于所述原始视频数据中的目标帧之前，所述目标帧为所述原始视频数据中预设类型的视频帧；

根据所述目标视频数据中的消息帧，获取事件消息和所述事件消息的插入延时；

根据所述插入延时和所述目标帧的时间戳，确定所述原始视频数据中与所述事件消息同步显示的第一视频帧；

当播放至所述第一视频帧时，将所述事件消息同步显示。

6.根据权利要求5所述的方法，其特征在于，所述根据所述插入延时和所述目标帧的时间戳，确定所述原始视频数据中与所述事件消息同步显示的第一视频帧的步骤，包括：

当解码所述目标帧时，根据当前播放的视频帧和所述目标视频帧两者的时间戳，计算预解码领先时间；

根据预解码领先时间和所述插入延时，确定同步延时；

将同步延时后对应视频帧作为所述原始视频数据中与所述事件消息同步显示的第一视频帧。

7.根据权利要求5所述的方法，其特征在于，所述方法还包括：

判断获取的事件消息是否为首次获得，如果是，继续执行根据所述插入延时和目标帧的时间戳，确定所述原始视频数据中与所述事件消息同步显示的第一视频帧的步骤。

8.一种视频数据处理装置，其特征在于，所述装置包括：

第一获取模块，用于当从原始视频数据中监测到目标帧时，获取待插入的事件消息，其中，目标帧为预设类型的视频帧；

计算模块，用于根据第一视频帧的时间戳和所述目标帧的时间戳，计算所述事件消息的插入延时，其中，所述第一视频帧为所述原始视频数据中与所述事件消息同步显示的视频帧；

第一生成模块，用于根据所述事件消息和所述插入延时，生成消息帧；

第二生成模块，用于根据所述原始视频数据和所述消息帧，生成目标视频数据，其中，所述目标视频数据中所述消息帧位于所述目标帧之前。

9.根据权利要求8所述的装置，其特征在于，所述第一获取模块用于：当从原始视频数据中监测到目标帧时，将任务池中当前有效的事件消息作为获取的待插入的事件消息，其中，当前有效是指当前处于对应的事件消息的有效期内。

10.根据权利要求9所述的装置，其特征在于，所述第一获取模块用于：将任务池中当前有效的，且本次插入为第一次插入的事件消息，以及当前有效的，且上一次插入与本次插入的时间间隔大于预设时间间隔的事件消息作为获取的待插入的事件消息。

11.根据权利要求9或10所述的装置，其特征在于，所述装置还包括：

接收模块，用于接收用户输入的事件操作指令；

第三生成模块，用于根据所述事件操作指令，生成附有有效期的事件消息，其中，所述有效期是根据第二视频帧的时间戳和预设的持续时间确定的，所述第二视频帧是所述原始视频数据中与生成的事件消息同步显示的视频帧；

添加模块，用于将生成的事件消息添加到所述任务池中。

12.一种视频数据处理装置，其特征在于，所述装置包括：

第二获取模块，用于获取目标视频数据，其中，所述目标视频数据包括原始视频数据和消息帧，所述消息帧位于所述原始视频数据中的目标帧之前，所述目标帧为所述原始视频数据中预设类型的视频帧；

第三获取模块，用于根据所述目标视频数据中的消息帧，获取事件消息和所述事件消息的插入延时；

确定模块，用于根据所述插入延时和所述目标帧的时间戳，确定所述原始视频数据中与所述事件消息同步显示的第一视频帧；

同步模块，用于当播放至所述第一视频帧时，将所述事件消息同步显示。

13.根据权利要求12所述的装置，其特征在于，所述第二确定模块用于：

当解码所述目标帧时，根据当前播放的视频帧和所述目标视频帧两者的时间戳，计算预解码领先时间；

根据预解码领先时间和所述插入延时，确定同步延时；

将同步延时后对应视频帧作为所述原始视频数据中与所述事件消息同步显示的第一视频帧。

14.根据权利要求12所述的装置，其特征在于，所述装置还包括：

判断模块，用于判断获取的事件消息是否为首次获得，如果是，触发上述确定模块执行根据所述插入延时和目标帧的时间戳，确定所述原始视频数据中与所述事件消息同步显示的第一视频帧。

15.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，所述处理器，所述通信接口，所述存储器通过所述通信总线完成相互间的通信；

所述存储器，用于存放计算机程序；

所述处理器，用于执行所述存储器上所存放的程序时，实现权利要求1-7任一所述的方法步骤。