CN109039994A - 一种计算音频和视频异步时差的方法及设备 - Google Patents

Abstract

本发明公开了一种计算音频和视频异步时差的方法及设备，用于计算音频和视频的异步时差。该方法包括：第一设备接收第二设备发送的第一数据包和第二数据包；其中，第一设备接收第二数据包的时间与接收第一数据包的时间之间的时间差小于或等于预设接收时间差阈值；第一设备获取第一发送时间信息和第二发送时间信息；其中，第一发送时间信息用于指示第二设备将第一数据包发送给第一设备的时间，第二发送时间信息用于指示第二设备将第二数据包发送给第一设备的时间；第一设备计算第一发送时间信息指示的时间与第二发送时间信息指示的时间之间的差值，得到第一时间差；第一设备根据第一时间差确定第一数据包和第二数据包的异步时差。

Description

一种计算音频和视频异步时差的方法及设备

技术领域

本发明涉及通信技术领域，特别涉及一种计算音频和视频异步时差的方法及设备。

背景技术

目前，越来越多的用户通过视频通话的方式来进行通信，而长期演进网络语音业务(Voice Over Long Term Evolution，VoLTE)视频通话是一种较为常见的视频通话方式。其中，VoLTE是一种网络协议(Internet Protocol，IP)数据传输技术，VoLTE视频通话的全部业务承载于第4代移动通信技术(4Generation，4G)，4G网络能够为用户提供更高质量的音视频通话。VoLTE视频通话过程中进行传输的数据包包括音频数据包和视频数据包两部分，其中，音频数据和视频数据采用不同的编码规范，但音频数据和视频数据采用相同的数据传输协议，即可靠传输协议(Reliable Transport Protocol，RTP)，RTP协议能够为用户提供实时的端对端数据传输服务。

为了使得用户能够拥有更佳的视频通话体验，需要对用户视频通话过程中的通信质量进行评估，进而对评估后所存在的问题进行优化，以使得用户的视频通话体验更佳。目前，对视频通话的评估的网络指标主要包括视频通话过程中的数据的传输速率、视频通话的接通率、语音音频质量和视频图像质量等。其中，对于语音音频质量和视频图像质量的评估都是分开进行的，只能够分别获得用户在视频通话过程中的语音音频和视频图像的质量。但这些网络指标还不足以全面体现用户在视频通话过程中的使用体验。其中，视频通话过程中的音频和视频是否同步对于用户的使用体验影响也是较大的，若是音频和视频不同步，即用户看到的图像和听到的声音是不对应的，这样的用户体验显然不佳。但目前对于视频通话过程中的音频和视频是否同步还未给出较为有效的评估方案。

发明内容

本发明实施例提供一种计算音频和视频异步时差的方法及设备，用于计算音频和视频的异步时差。

第一方面，提供一种计算音频和视频异步时差的方法，该方法包括：

第一设备接收第二设备发送的第一数据包；所述第一数据包包括音频数据或视频数据；

所述第一设备获取所述第一数据包的第一发送时间信息；其中，所述第一发送时间信息用于指示所述第二设备将所述第一数据包发送给所述第一设备的时间；

所述第一设备确定是否已接收所述第二设备发送的第二数据包，其中，所述第一设备接收所述第二数据包的时间与接收所述第一数据包的时间之间的时间差小于或等于预设接收时间差阈值；若所述第一数据包包括音频数据，则所述第二数据包包括视频数据，或者，若所述第一数据包包括视频数据，则所述第二数据包包括音频数据；

若确定已接收所述第二数据包，则所述第一设备获取所述第二数据包的第二发送时间信息；其中，所述第二发送时间信息用于指示所述第二设备将所述第二数据包发送给所述第一设备的时间；

所述第一设备计算所述第一发送时间信息指示的时间与所述第二发送时间信息指示的时间之间的差值，得到第一时间差；

所述第一设备根据所述第一时间差确定所述第一数据包和所述第二数据包的异步时差，所述异步时差为所述第二设备将所述第一数据包和所述第二数据包发送给所述第一设备的过程中产生的时差。

可选的，所述方法还包括：

所述第一设备确定所述第二设备发送的第一个视频数据包和第一个音频数据包；

所述第一设备获取所述第一设备接收所述第一个视频数据包的时间，以及获取所述第一设备接收所述第一个音频数据包的时间；

所述第一设备计算所述第一设备接收所述第一个视频数据包的时间和所述第一设备接收所述第一个音频数据包的时间之间的差值，得到第二时间差，所述第二时间差为所述第二设备采集视频数据和音频数据的初始时间差。

可选的，

所述方法还包括：

所述第一设备计算所述第一时间差与所述第二时间差的差值，得到第三时间差；

则，所述第一设备根据所述第一时间差确定所述第一数据包和所述第二数据包的异步时差，包括：

所述第一设备根据所述第三时间差确定所述异步时差。

可选的，在所述第一设备根据所述第三时间差确定所述异步时差之后，所述方法还包括：

所述第一设备将所述第三时间差与预设同步时间阈值进行比较；其中，所述预设同步时间阈值是所述第一设备中将所述音频数据包和所述视频数据包进行处理后，使得所述音频数据和所述视频数据在所述第一设备中进行播放时能够同步的最大时差；

则所述第一设备根据所述第三时间差确定所述异步时差，包括：

若所述第三时间差小于或等于所述预设同步时间阈值，则所述第一设备确定所述异步时差为0；或者，

若所述第三时间差大于所述预设同步时间阈值，则所述第一设备确定所述第三时间差与所述预设同步时间阈值的差值为所述异步时差。

可选的，

所述第一设备获取所述第一数据包的第一发送时间信息，包括：

所述第一设备从所述第一设备中的处理芯片中获取消息记录，所述消息记录包括所述第一设备接收所述第一数据包的记录；

所述第一设备根据所述第一数据包的接收时间以及所述第一数据包的类型标识，在所述消息记录中查找获得接收所述第一数据包的第一消息记录；

所述第一设备从所述第一消息记录中获取所述第一数据包的第一发送时间信息。

可选的，所述第一设备确定所述第二设备发送的第一个视频数据包和第一个音频数据包，包括：

所述第一设备查找所述消息记录中发送时间信息为第一预设时间信息的记录，得到第三消息记录；则所述第一设备将所述第三消息记录对应的视频数据包确定为所述第一个视频数据包；和/或，

所述第一设备查找所述消息记录中第二发送时间信息为第二预设时间信息的记录，得到第四消息记录；则所述第一设备将所述第四消息记录对应的音频数据包确定为所述第一个音频数据包。

第二方面，提供一种计算音频和视频异步时差的设备，该设备包括：

接收单元，用于接收第二设备发送的第一数据包；所述第一数据包包括音频数据或视频数据；

获取单元，用于获取所述第一数据包的第一发送时间信息；其中，所述第一发送时间信息用于指示所述第二设备将所述第一数据包发送给第一设备的时间；

确定单元，用于确定是否已接收所述第二设备发送的第二数据包，其中，所述接收单元接收所述第二数据包的时间与接收所述第一数据包的时间之间的时间差小于或等于预设接收时间差阈值；若所述第一数据包包括音频数据，则所述第二数据包包括视频数据，或者，若所述第一数据包包括视频数据，则所述第二数据包包括音频数据；

若所述确定单元确定已接收所述第二数据包，则所述获取单元还用于获取所述第二数据包的第二发送时间信息；其中，所述第二发送时间信息用于指示所述第二设备将所述第二数据包发送给所述第一设备的时间；

计算单元，用于计算所述第一发送时间信息指示的时间与所述第二发送时间信息指示的时间之间的差值，得到第一时间差；

所述确定单元还用于：根据所述第一时间差确定所述第一数据包和所述第二数据包的异步时差，所述异步时差为所述第二设备将所述第一数据包和所述第二数据包发送给所述第一设备的过程中产生的时差。

可选的，

所述确定单元还用于：确定所述第二设备发送的第一个视频数据包和第一个音频数据包；

所述获取单元还用于：获取所述接收单元接收所述第一个视频数据包的时间，以及获取所述接收单元接收所述第一个音频数据包的时间；

所述计算单元还用于：计算所述接收单元接收所述第一个视频数据包的时间和所述接收单元接收所述第一个音频数据包的时间之间的差值，得到第二时间差，所述第二时间差为所述第二设备采集视频数据和音频数据的初始时间差。

可选的，

所述计算单元还用于：计算所述第一时间差与所述第二时间差的差值，得到第三时间差；

则所述确定单元根据所述第一时间差确定所述第一数据包和所述第二数据包的异步时差，包括：

所述确定单元根据所述第三时间差确定所述异步时差。

可选的，所述设备还包括比较单元；

所述比较单元用于：在所述确定单元根据所述第三时间差确定所述异步时差之后，将所述第三时间差与预设同步时间阈值进行比较；其中，所述预设同步时间阈值是所述第一设备中将所述音频数据包和所述视频数据包进行处理后，使得所述音频数据和所述视频数据在所述第一设备中进行播放时能够同步的最大时差；

则所述确定单元根据所述第三时间差确定所述异步时差，包括：

若所述第三时间差小于或等于所述预设同步时间阈值，则所述确定单元确定所述异步时差为0；或者，

若所述第三时间差大于所述预设同步时间阈值，则所述确定单元确定所述第三时间差与所述预设同步时间阈值的差值为所述异步时差。

可选的，所述设备还包括查找单元；

所述获取单元还用于：从所述第一设备中的处理芯片中获取消息记录，所述消息记录包括所述第一设备接收所述第一数据包的记录；

所述查找单元用于：根据所述第一数据包的接收时间以及所述第一数据包的类型标识，在所述消息记录中查找获得接收所述第一数据包的第一消息记录；

则所述获取单元获取所述第一数据包的第一发送时间信息，包括：

所述获取单元从所述第一消息记录中获取所述第一数据包的第一发送时间信息。

可选的，

所述查找单元还用于：所述第一设备查找所述消息记录中发送时间信息为第一预设时间信息的记录，得到第三消息记录；和/或查找所述消息记录中第二发送时间信息为第二预设时间信息的记录，得到第四消息记录；

则所述确定单元确定所述第二设备发送的第一个视频数据包和第一个音频数据包，包括：

所述确定单元将所述第三消息记录对应的视频数据包确定为所述第一个视频数据包；和/或，所述确定单元将所述第四消息记录对应的音频数据包确定为所述第一个音频数据包。

第三方面，提供一种计算机装置，所述装置包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如第一方面提供的计算音频和视频异步时差的方法中任一项所述方法的步骤。

第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如第一方面提供的计算音频和视频异步时差的方法中任一项所述方法的步骤。

在本发明实施例中，在第一设备同时接收到第二设备发送的两个数据包时，如果忽略发送过程中产生的异步时差，例如网络时延引起的时差，则第二设备发送这两个数据包的时间应是相同的，但实际情况中由于网络时延等原因，第二设备发送这两个数据包的时间实际并不相同，因此这两个数据包的发送时间差即可以作为发送过程中产生的异步时差。因此第一设备可以获取接收时间差在一定时间范围内的第一数据包和第二数据包，即相当于同一时刻接收的第一数据包和第二数据包，第一设备还可以获取第二设备发送第一数据包和第二数据包的发送时间，并计算第一数据包和第二数据包的发送时间的差值，根据发送时间的差值就可以得到第二设备将第一数据包和第二数据包发送给第一设备过程中产生的异步时差，进而根据异步时差的值的大小就可以判断第一数据包和第二数据包在第一设备中播放时是否能够同步播放，也就是能够对第一设备和第二设备视频通话中的音频和视频是否同步进行评估。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，显而易见地，下面所介绍的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为现有技术中对视频通话中评估方案的示意图；

图2为本发明实施例提供的计算音频和视频异步时差的方法的流程示意图；

图3为本发明实施例提供的第一设备接收音频数据包和视频数据包的时间差示意图；

图4为本发明实施例提供的计算音频和视频异步时差的设备的一种结构示意图；

图5为本发明实施例提供的计算机装置的一种结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

以下，对本发明实施例中的部分用语进行解释说明，以便于本领域技术人员理解。

(1)第一设备，是指向用户提供语音和/或数据连通性的设备，例如可以包括具有无线连接功能的手持式设备、或连接到无线调制解调器的处理设备。该第一设备可以经无线接入网(Radio Access Network，RAN)与核心网进行通信，与RAN交换语音和/或数据。该第一设备可以包括UE、无线终端设备、移动终端设备、用户终端设备(User Terminal)、用户代理(User Agent)、或用户装备(User Device)等。例如，可以包括移动电话(或称为“蜂窝”电话)，具有移动终端设备的计算机，便携式、袖珍式、手持式、计算机内置的或者车载的移动装置。例如，个人通信业务(Personal Communication Service，PCS)电话、无绳电话、会话发起协议(SIP)话机、无线本地环路(Wireless Local Loop，WLL)站、个人数字助理(Personal Digital Assistant，PDA)、智能穿戴式设备等设备。

(2)第二设备可以为上述第一设备的实现方式中的任意一种，因此对第二设备的实现方式可参考对第一设备的描述。

下面介绍本发明实施例的技术背景。

请参见图1，为本发明实施例的技术背景示意图。其中，在需要对两个用户设备之间的VoLTE视频通话质量进行评估时，首先需要在个人电脑(Personal Computer，PC)上安装用于评估测试的软件，并将该PC与用户设备1和用户设备2相连，通过该PC上的软件控制用户设备1发送一段视频给用户设备2。PC可以获取用户设备1发送的视频和用户设备2接收的视频，然后，在PC上同时播放这两段视频，并逐帧将两段视频进行比对得出每一帧的视觉感知差异，最终通过视频质量感知评估(Perceptual Evaluation of Video Quality，PEVQ)算法得到最终评估结果，并以此作为VoLTE视频通话质量的评估结果。但这种评估方法仅仅只包括对VoLTE视频通话中的图像质量的评估，并没有针对VoLTE视频通话中音频和视频是否同步进行评估。

鉴于此，本申请本发明实施例提供一种计算音频和视频异步时差的方法，在该方法中，第一设备可以获取接收时间差在一定时间范围内的第一数据包和第二数据包，即相当于同一时刻接收的第一数据包和第二数据包，第一设备还可以获取第二设备发送第一数据包和第二数据包的发送时间，并且获取第一数据包和第二数据包的发送时间的差值，根据发送时间的差值就可以得到第二设备将第一数据包和第二数据包发送给第一设备过程中产生的异步时差，进而根据异步时差的值的大小就可以判断第一数据包和第二数据包在第一设备中播放时是否能够同步播放，也就是说能够对第一设备和第二设备视频通话中的音频和视频是否同步进行评估。

下面结合附图介绍本发明实施例提供的技术方案。

请参见图2，本发明一实施例提供一种计算音频和视频异步时差的方法，该方法的流程描述如下：

步骤201：第一设备接收第二设备发送的第一数据包；第一数据包包括音频数据或视频数据；

步骤202：第一设备获取第一数据包的第一发送时间信息；其中，第一发送时间信息用于指示第二设备将第一数据包发送给第一设备的时间；

步骤203：第一设备确定是否已接收第二设备发送的第二数据包，其中，第一设备接收第二数据包的时间与接收第一数据包的时间之间的时间差小于或等于预设接收时间差阈值；

步骤204：若确定已接收第二数据包，则第一设备获取第二数据包的第二发送时间信息；其中，第二发送时间信息用于指示第二设备将第二数据包发送给第一设备的时间；

步骤205：第一设备计算第一发送时间信息指示的时间与第二发送时间信息指示的时间之间的差值，得到第一时间差；

步骤206：第一设备根据第一时间差确定第一数据包和第二数据包的异步时差，异步时差为第二设备将第一数据包和第二数据包发送给第一设备的过程中产生的时差。

在本发明实施例中，第一设备可以接收第二设备发送的第一数据包。其中第二设备将第一数据包发送给第一设备可以是在进行VoLTE视频通话的过程中进行的，则第一数据包中的数据则可以包括VoLTE视频通话中的音频数据或者视频数据。当第一设备接收到第一数据包的同时，第一设备还可以记录下第一数据包的接收时间。

在第一设备获取第一数据包后，则可以获取第一数据包的第一发送时间信息。其中，第一发送时间信息是用于指示第二设备将第一数据包发送给第一设备的时间。

具体的，第一设备在接收到任何的数据包时，第一设备中的处理芯片都会生成消息记录，该消息记录用于记录接收到的数据包的相关信息，例如该数据包的接收时间，类型等，另外，还可以包括该数据包中携带的信息，例如该数据包的编码规范，数据包中的数据类型，该数据包的发送序列号，发送时间等。当然，还可以包括其他可能的信息，本发明实施例对此不做限制。那么，第一设备则可以从第一设备中的处理芯片获取该消息记录，并在该消息记录中进行查找。其中，处理芯片还可以是第一设备中的处理器或者负责通信的处理器，本发明实施例对此不做限制。

其中，在进行查找时，可以根据第一数据包的接收时间和第一数据包的类型标识在消息记录中找到第一数据包对应的第一消息记录。其中，类型标识是用于指示第一数据包中的数据为音频数据还是视频数据，但针对不同的处理芯片，类型标识也可能会不同。例如，当处理芯片为某一具体公司A芯片，如果类型标识为“0x1568”时，则可以知道该数据包中的数据为音频数据；如果类型标识为“0x15cc”时，则可以知道该数据包中的数据为视频数据。

在本发明实施例中，在查找到第一数据包对应的第一消息记录时，则可以从第一消息记录中获取第一数据包的第一发送时间信息。

下面将举例对如何获取第一数据包的第一发送时间信息进行说明，其中，第一数据包中数据为视频数据，即第一数据包为视频数据包，下面举例中的处理芯片为某一具体公司A芯片。

请参见表1，为第一设备从某一具体公司A芯片获取的消息记录。其中，为了更加直观的描述音频视频数据包的发送时间信息的过程，表1中的消息记录为筛选类型标识为视频数据之后的部分消息记录。其中，序号列用于指示消息记录的序号，接收时间用于指示接收数据包的时间，类型标识列用于指示接收的数据包的类型，大小列用于指示数据包的大小。

序号	接收时间	类型标识	大小
				5619	2016Jul 7 08:44.08.856	0x15cc	50
5622	2016Jul 7 08:44.08.878	0x15cc	50
				5623	2016Jul 7 08:44.08.899	0x15cc	50
5628	2016Jul 7 08:44.08.920	0x15cc	50
				5631	2016Jul 7 08:44.08.941	0x15cc	50

表1

在获取消息记录后，则可以根据接收时间和类型标识找到视频数据包对应的消息记录，例如接收时间为“2016Jul 7 08:44.08.920”，则视频数据包对应的消息记录的序号为5628。找到该条消息记录后，则可以从该消息记录中查找到该视频数据包的发送时间信息，即第二设备将该视频数据包发送给第一设备的时间。具体的，找到消息记录后，该消息记录中包括第二设备通过RTP协议进行数据传输时的时间戳(TimeStamp)，该时间戳即为发送时间信息，该时间戳的标识为“RtpTimeStamp”，也就是说该消息记录中标识为“RtpTimeStamp”的对应的数据即为第二设备将该视频数据包发送给第一设备的发送时间信息。例如，标识为“RtpTimeStamp”的对应的数据可以为“1369170”，其中，这里的“1369170”是指在对视频数据进行采样时的相对时间，因此在获取该数据后，还需要将该时间戳数据换算成绝对时间才能进行后续的计算，例如可以通过时间戳数据来除以采样率来换算成绝对时间。其中，视频数据包的编码规范一般为数字视频压缩格式H.264，这种编码规范的采样率通常为90000Hz。

下面将举例对如何获取第一数据包的第一发送时间信息进行说明，其中，第一数据包中数据为音频数据，即第一数据包为音频数据包，下面举例中的处理芯片也为某一具体公司A芯片。

请参见表2，为第一设备从某一具体公司A芯片获取的消息记录。其中，为了更加直观的描述获取音频数据包的发送时间信息的过程，表1中的消息记录为筛选类型标识为音频数据之后的部分消息记录。其中，序号列用于指示消息记录的序号，接收时间列用于指示接收数据包的时间，类型标识列用于指示接收的数据包的类型，大小列用于指示数据包的大小，其中，由于音频数据包的上行数据包和下行数据包共用一个类型标识，因此在第一设备确定消息记录时，还需要确定该消息记录对应的音频数据包的方向，即该确定消息记录中方向为下行的音频数据包对应的消息记录，第一设备可以根据方向列来确定，方向列是用于指示该消息记录对应的数据为上行数据还是下行数据，其中，BS>>表示该消息记录对应的音频数据包的方向为下行，BS<<表示该消息记录对应的音频数据包的方向为上行。

序号	接收时间	类型标识	方向	大小
					5601	2016Jul 7 16:44.08.707	0x1568	BS>>	65
5689	2016Jul 7 16:44.08.767	0x1568	BS>>	65
					5694	2016Jul 7 16:44.08.839	0x1568	BS<<	65
5701	2016Jul 7 16:44.08.927	0x1568	BS>>	65
					5705	2016Jul 7 16:44.08.979	0x1568	BS<<	119

表2

在获取消息记录后，则可以根据接收时间和类型标识找到音频数据包对应的消息记录，例如接收时间为“2016Jul 7 16:44.08.927”，则音频数据包对应的消息记录的序号为5701。找到该条消息记录后，则可以从该消息记录中查找到该音频数据包的发送时间信息，即第二设备将该音频数据包发送给第一设备的时间。具体的，找到消息记录后，该消息记录中包括第二设备通过RTP协议进行数据传输时的时间戳(TimeStamp)，该时间戳即为发送时间信息，该时间戳的标识为“RtpTimeStamp”，也就是说该消息记录中标识为“RtpTimeStamp”的对应的数据即为第二设备将该音频数据包发送给第一设备的发送时间信息例如，标识为“RtpTimeStamp”的对应的数据可以为“256960”，其中，这里的“256960”是指在对音频数据进行采样时的相对时间，因此在获取该数据后，还需要将该时间戳数据换算成绝对时间才能进行后续的计算，例如可以通过时间戳数据来除以采样率来换算成绝对时间。其中，音频数据包的编码规范一般为数字音频压缩格式(Adaptive Multi Rate-Wideband extension，AMR-WB)，这种编码规范的采样率通常为16000Hz。

本发明实施例中，第一设备还可以确定是否已经接收到第二设备发送的第二数据包。其中，第一设备接收第二数据包的时间与接收第一数据包的时间之间的时间差小于或等于预设接收时间差阈值。具体的，第一设备可以以第一数据包的接收时间为基准，查找接收时间与第一数据包的接收时间的差值在预设接收时间差阈值范围内的第二数据包。其中，预设接收时间差阈值可以根据经验来设置，或者根据实验结果来设置。

具体的，若第一数据包包括音频数据，则第二数据包包括视频数据，或者，若第一数据包包括视频数据，则第二数据包包括音频数据。下面以第一数据包为视频数据包，第二数据包为音频数据包为例进行说明如何设置预设接收时间差阈值。

请参见图3，为第一设备接收音频数据包和视频数据包的时间差示意图。其中，在VoLTE视频通话中，第二设备发送音频数据包的时间差为20ms，在不考虑网络时延的情况下，那么第一设备接收到音频数据包的时间差也必然为20ms，即图3中所示第一设备接收音频数据包1～3的时间差为20ms。若第一设备接收视频数据包的时间刚好处于接收两个音频数据包的时间的中间，即图3中所示视频数据包1，则视频数据包与左右两个音频数据包的时间差都为10ms；若第一设备接收视频数据包的时间没有处于接收两个音频数据包的时间的中间，即图3中所示视频数据包2，那么视频数据包与左右两个音频数据包的时间差必然有一个是小于10ms的，如视频数据包2与音频数据包2的时间间隔为15ms，而视频数据包2与音频数据包3的时间间隔为5ms，因此则可以将预设接收时间差阈值设置为10ms。而在实际的网络数据传输过程中，由于网络时延的原因，第一设备接收到的连续两个音频数据包的时间差必然不是20ms，经过测试后得出，在实际的网络数据传输过程中第一设备接收到的连续两个音频数据包的时间差通常为40ms，因此则可以将预设接收时间差阈值设置为20ms。另外，若是第一设备查找到符合上述要求的第二数据包有多个，则第一设备可以选择这多个第二数据包中与第一数据包的接收时间最接近的第二数据包。

请继续参见图2，本发明实施例中，若确定已接收第二数据包，则第一设备获取第二数据包的第二发送时间信息；第二发送时间信息用于指示第二设备将第二数据包发送给第一设备的时间。具体的，第一设备获取第二数据包的第二发送时间信息的方式，与第一设备获取第一数据包的第一发送时间信息的方式可以相同，因此对于第一设备获取第二数据包的第二发送时间信息都可参考第一设备获取第一数据包的第一发送时间信息部分的描述，本发明实施例在此不再赘述。

本发明实施例中，在第一设备获取第一发送时间信息与第二发送时间信息之后，则可以计算第一发送时间信息指示的时间与第二发送时间信息指示的时间之间的差值，得到第一时间差。具体的，第一数据包可以为视频数据包，则第一数据包的第一发送时间信息指示的时间可以为上述表1中序号为5628的消息记录对应的时间戳，即1369170；第二数据包可以为音频数据包，则第二数据包的第二发送时间信息指示的时间可以为上述表2中序号为5701的消息记录对应的时间戳，即256960，则第一时间差＝256960/16000-1369170/90000＝0.847s。

本发明实施例中，在第一设备同时接收到第二设备发送的两个数据包时，如果忽略网络时延造成的时差，则第二设备发送这两个数据包的时间应是相同的，但实际情况中由于网络时延的原因，第二设备发送这两个数据包的时间实际并不相同，因此这两个数据包的发送时间差即可以作为由于网络时延产生的时差，即这两个数据包的异步时差。因此，在第一设备获取第一时间差之后，则可以根据第一时间差确定第一数据包和第二数据包的异步时差。例如可以将第一时间差作为第一数据包和第二数据包的异步时差，即异步时差＝0.847s。

本发明实施例中，由于在VoLTE视频通话建立时，视频建立的复杂度较音频建立的复杂度更高，因此通常视频的建立往往比音频的建立慢，也就是第二设备开始发送第一个视频数据包的时间是比第二设备发送第一个音频数据包的时间要晚的，所以第二设备发送的音频数据包和视频数据包通常存在一个初始时差，因此在计算音频数据包和视频数据包的异步时差时还可以排除掉这个初始时差。

本发明实施例中，因为第一个视频数据包的发送时间可以认为是VoLTE视频通话中视频建立的时间，而第一个音频数据包的发送时间可以认为是VoLTE视频通话中音频建立的时间，第一个视频数据包的发送时间与第一个音频数据包的发送时间的差值即为初始时差。因此第一设备首先可以确定第二设备发送的第一个视频数据包和第一个音频数据包。

其中，通常第一个视频数据包的发送时间信息都是固定的，因此第一设备可以从消息记录中查找发送时间信息为第一预设时间信息的消息记录，得到第三消息记录，该第三消息记录对应的视频数据包即为第一个视频数据包。第一预设时间信息可以通过经验确定，例如当处理芯片为某一具体公司A芯片时，第一预设时间信息可以为时间戳1800。

相应的，通常第一个音频数据包的发送时间信息也是固定的，因此第一设备可以从消息记录中查找发送时间信息为第一预设时间信息的消息记录，得到第四消息记录，该第四消息记录对应的音频数据包即为第一个音频数据包。第一预设时间信息可以通过经验确定，例如当处理芯片为某一具体公司A芯片时，第一预设时间信息可以为时间戳320。

本发明实施例中，由于第一个视频数据包和第一个音频数据包的发送时间信息指示的时间为相对时间，计算时还需要转换为绝对时间，过程较为复杂，因此，为了计算的简便，在第一设备确定第一个视频数据包和第一个音频数据包之后，则可以直接将第一设备接收该第一个视频数据包的时间以及获取第一设备接收该第一个音频数据包的时间的差值作为初始时差。其中，第一设备在消息记录中确定第三消息记录和第四消息记录时，则可以获取第一个视频数据包的接收时间和第一个音频数据包的接收时间。

在第一设备获取第一设备接收该第一个视频数据包的时间以及获取第一设备接收该第一个音频数据包的时间之后，第一设备则可以计算第一设备接收该第一个视频数据包的时间以及获取第一设备接收该第一个音频数据包的时间之间的差值，得到第二时间差。其中，第二时间差即为初始时差。例如，第一设备接收该第一个视频数据包的时间可以为08:43:53:799，第一设备接收该第一个音频数据包的时间可以为16:43:52:893，由于从某一具体公司A芯片获取的接收时间的小时位是不准确的，因此在实际计算时需忽略小时位的时间，仅用除小时位之外的其他位进行计算即可，则第二时间差＝43:53:799-43:52:893＝0.906s，即初始时差为0.906s。其中，这里的接收时间仅用于举例，实际的接收时间应根据实际情况而定。

本发明实施例中，在第一设备获取初始时差之后，则在计算的异步时差时，应排除掉这个初始时差。具体的，第一设备可以获取第一时间差和初始时差的差值，得到第三时间差，并根据第三时间差确定第一数据包和第二数据包的异步时差。例如可以将第三时间差作为第一数据包和第二数据包的异步时差。

本发明实施例中，由于第一设备中的播放软件在进行音频处理和视频处理时，是具备一定的异步处理能力的，该异步处理能力是指接收的不同步的音频数据包和视频数据包，在经过播放软件的处理之后能够进行同步播放，但播放软件的异步处理能力也是有限的，即只有音频数据包和视频数据包的异步时差处于预设同步时间阈值范围内，则经过播放软件的处理之后该音频数据包和视频数据包才能够进行同步播放。因此在第一设备获取第三时间差之后，还可以将第三时间差与预设同步时间阈值进行比较，若是第三时间差小于或者等于预设同步时间阈值，则在经过播放软件的处理之后第一数据包和第二数据包能够进行同步播放，即最终的第一数据包和第二数据包的异步时差为0；若是第三时间差大于预设同步时间阈值，则在经过播放软件的处理之后第一数据包和第二数据包也是不能够进行同步播放的，则最终的第一数据包和第二数据包的异步时差为第三时间差与预设同步时间阈值的差值。

本发明实施例中，第一设备可以计算得到多个最终的异步时差值，并求得这多个最终的异步时差的平均值，根据平均值来对第一设备和第二设备的VOLTE视频通话中的音频和视频是否同步进行评估。

综上所述，在本发明实施例中，在第一设备同时接收到第二设备发送的两个数据包时，如果忽略发送过程中产生的异步时差，例如网络时延引起的时差，则第二设备发送这两个数据包的时间应是相同的，但实际情况中由于网络时延等原因，第二设备发送这两个数据包的时间实际并不相同，因此这两个数据包的发送时间差即可以作为发送过程中产生的异步时差。因此第一设备可以获取接收时间差在一定时间范围内的第一数据包和第二数据包，即相当于同一时刻接收的第一数据包和第二数据包，第一设备还可以获取第二设备发送第一数据包和第二数据包的发送时间，并计算第一数据包和第二数据包的发送时间的差值，根据发送时间的差值就可以得到第二设备将第一数据包和第二数据包发送给第一设备过程中产生的异步时差，进而根据异步时差的值的大小就可以判断第一数据包和第二数据包在第一设备中播放时是否能够同步播放，也就是能够对第一设备和第二设备视频通话中的音频和视频是否同步进行评估。

下面结合附图介绍本发明实施例提供的设备。

请参见图4，基于同一发明构思，本发明一实施例提供一种计算音频和视频异步时差的设备40，该设备包括：

接收单元401，用于接收第二设备发送的第一数据包；所述第一数据包包括音频数据或视频数据；

获取单元402，用于获取所述第一数据包的第一发送时间信息；其中，所述第一发送时间信息用于指示所述第二设备将所述第一数据包发送给第一设备的时间；

确定单元403，用于确定是否已接收所述第二设备发送的第二数据包，其中，所述接收单元401接收所述第二数据包的时间与接收所述第一数据包的时间之间的时间差小于或等于预设接收时间差阈值；若所述第一数据包包括音频数据，则所述第二数据包包括视频数据，或者，若所述第一数据包包括视频数据，则所述第二数据包包括音频数据；

若所述确定单元403确定已接收所述第二数据包，则所述获取单元402还用于获取所述第二数据包的第二发送时间信息；其中，所述第二发送时间信息用于指示所述第二设备将所述第二数据包发送给所述第一设备的时间；

计算单元404，用于计算所述第一发送时间信息指示的时间与所述第二发送时间信息指示的时间之间的差值，得到第一时间差；

所述确定单元403还用于：根据所述第一时间差确定所述第一数据包和所述第二数据包的异步时差，所述异步时差为所述第二设备将所述第一数据包和所述第二数据包发送给所述第一设备的过程中产生的时差。

可选的，

所述确定单元403还用于：确定所述第二设备发送的第一个视频数据包和第一个音频数据包；

所述获取单元402还用于：获取所述接收单元401接收所述第一个视频数据包的时间，以及获取所述接收单元401接收所述第一个音频数据包的时间；

所述计算单元404还用于：计算所述接收单元401接收所述第一个视频数据包的时间和所述接收单元401接收所述第一个音频数据包的时间之间的差值，得到第二时间差，所述第二时间差为所述第二设备采集视频数据和音频数据的初始时间差。

可选的，

所述计算单元404还用于：计算所述第一时间差与所述第二时间差的差值，得到第三时间差；

则所述确定单元403根据所述第一时间差确定所述第一数据包和所述第二数据包的异步时差，包括：

所述确定单元403根据所述第三时间差确定所述异步时差。

可选的，所述设备还包括比较单元405；

所述比较单元405用于：在所述确定单元403根据所述第三时间差确定所述异步时差之后，将所述第三时间差与预设同步时间阈值进行比较；其中，所述预设同步时间阈值是所述第一设备中将所述音频数据包和所述视频数据包进行处理后，使得所述音频数据和所述视频数据在所述第一设备中进行播放时能够同步的最大时差；

则所述确定单元403根据所述第三时间差确定所述异步时差，包括：

若所述第三时间差小于或等于所述预设同步时间阈值，则所述确定单元403确定所述异步时差为0；或者，

若所述第三时间差大于所述预设同步时间阈值，则所述确定单元403确定所述第三时间差与所述预设同步时间阈值的差值为所述异步时差。

可选的，所述设备还包括查找单元406；

所述获取单元402还用于：从所述第一设备中的处理芯片中获取消息记录，所述消息记录包括所述第一设备接收所述第一数据包的记录；

所述查找单元406用于：根据所述第一数据包的接收时间以及所述第一数据包的类型标识，在所述消息记录中查找获得接收所述第一数据包的第一消息记录；

则所述获取单元402获取所述第一数据包的第一发送时间信息，包括：

所述获取单元402从所述第一消息记录中获取所述第一数据包的第一发送时间信息。

可选的，

所述查找单元406还用于：所述第一设备查找所述消息记录中发送时间信息为第一预设时间信息的记录，得到第三消息记录；和/或查找所述消息记录中第二发送时间信息为第二预设时间信息的记录，得到第四消息记录；

则所述确定单元403确定所述第二设备发送的第一个视频数据包和第一个音频数据包，包括：

所述确定单元403将所述第三消息记录对应的视频数据包确定为所述第一个视频数据包；和/或，所述确定单元403将所述第四消息记录对应的音频数据包确定为所述第一个音频数据包。

该设备可以用于执行图2所示的实施例所提供的方法，例如为如前的第一设备。因此，对于该设备的各功能模块所能够实现的功能等可参考图2所示的实施例的描述，不多赘述。其中，比较单元405和查找单元406不是必选的功能模块，因此在图4中以虚线示出。

请参见图5，本发明一实施例还提供一种计算机装置，该计算机装置包括处理器501，处理器501用于执行存储器中存储的计算机程序时实现本发明实施例提供的计算音频和视频异步时差的方法的步骤。

可选的，处理器501具体可以是中央处理器、特定应用集成电路(英文：Application Specific Integrated Circuit，简称：ASIC)，可以是一个或多个用于控制程序执行的集成电路，可以是使用现场可编程门阵列(英文：Field Programmable GateArray，简称：FPGA)开发的硬件电路，可以是基带处理器。

可选的，处理器501可以包括至少一个处理核心。

可选的，该计算机装置还包括存储器502，存储器502可以包括只读存储器(英文：Read Only Memory，简称：ROM)、随机存取存储器(英文：Random Access Memory，简称：RAM)和磁盘存储器。存储器502用于存储处理器501运行时所需的数据。存储器502的数量为一个或多个。其中，存储器502在图5中一并示出，但需要知道的是存储器502不是必选的功能模块，因此在图5中以虚线示出。

在本发明实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性或其它的形式。

在本发明实施例中的各功能单元可以集成在一个处理单元中，或者各个单元也可以均是独立的物理模块。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备，例如可以是个人计算机，服务器，或者网络设备等，或处理器(processor)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：通用串行总线闪存盘(Universal Serial Bus flash drive)、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以对本申请的技术方案进行了详细介绍，但以上实施例的说明只是用于帮助理解本发明实施例的方法，不应理解为对本发明实施例的限制。本技术领域的技术人员可轻易想到的变化或替换，都应涵盖在本发明实施例的保护范围之内。

Claims (14)

1.一种计算音频和视频异步时差的方法，其特征在于，包括：

第一设备接收第二设备发送的第一数据包；所述第一数据包包括音频数据或视频数据；

所述第一设备获取所述第一数据包的第一发送时间信息；其中，所述第一发送时间信息用于指示所述第二设备将所述第一数据包发送给所述第一设备的时间；

所述第一设备确定是否已接收所述第二设备发送的第二数据包，其中，所述第一设备接收所述第二数据包的时间与接收所述第一数据包的时间之间的时间差小于或等于预设接收时间差阈值；若所述第一数据包包括音频数据，则所述第二数据包包括视频数据，或者，若所述第一数据包包括视频数据，则所述第二数据包包括音频数据；

若确定已接收所述第二数据包，则所述第一设备获取所述第二数据包的第二发送时间信息；其中，所述第二发送时间信息用于指示所述第二设备将所述第二数据包发送给所述第一设备的时间；

所述第一设备计算所述第一发送时间信息指示的时间与所述第二发送时间信息指示的时间之间的差值，得到第一时间差；

所述第一设备根据所述第一时间差确定所述第一数据包和所述第二数据包的异步时差，所述异步时差为所述第二设备将所述第一数据包和所述第二数据包发送给所述第一设备的过程中产生的时差。

2.如权利要1所述的方法，其特征在于，所述方法还包括：

所述第一设备确定所述第二设备发送的第一个视频数据包和第一个音频数据包；

所述第一设备获取所述第一设备接收所述第一个视频数据包的时间，以及获取所述第一设备接收所述第一个音频数据包的时间；

所述第一设备计算所述第一设备接收所述第一个视频数据包的时间和所述第一设备接收所述第一个音频数据包的时间之间的差值，得到第二时间差，所述第二时间差为所述第二设备采集视频数据和音频数据的初始时间差。

3.如权利要2所述的方法，其特征在于，

所述方法还包括：

所述第一设备计算所述第一时间差与所述第二时间差的差值，得到第三时间差；

则，所述第一设备根据所述第一时间差确定所述第一数据包和所述第二数据包的异步时差，包括：

所述第一设备根据所述第三时间差确定所述异步时差。

4.如权利要求3所述的方法，其特征在于，

在所述第一设备根据所述第三时间差确定所述异步时差之后，所述方法还包括：

所述第一设备将所述第三时间差与预设同步时间阈值进行比较；其中，所述预设同步时间阈值是所述第一设备中将所述音频数据包和所述视频数据包进行处理后，使得所述音频数据和所述视频数据在所述第一设备中进行播放时能够同步的最大时差；

则所述第一设备根据所述第三时间差确定所述异步时差，包括：

若所述第三时间差小于或等于所述预设同步时间阈值，则所述第一设备确定所述异步时差为0；或者，

若所述第三时间差大于所述预设同步时间阈值，则所述第一设备确定所述第三时间差与所述预设同步时间阈值的差值为所述异步时差。

5.如权利要求1-4任一所述的方法，其特征在于，

所述第一设备获取所述第一数据包的第一发送时间信息，包括：

所述第一设备从所述第一设备中的处理芯片中获取消息记录，所述消息记录包括所述第一设备接收所述第一数据包的记录；

所述第一设备根据所述第一数据包的接收时间以及所述第一数据包的类型标识，在所述消息记录中查找获得接收所述第一数据包的第一消息记录；

所述第一设备从所述第一消息记录中获取所述第一数据包的第一发送时间信息。

6.如权利要求5所述的方法，其特征在于，所述第一设备确定所述第二设备发送的第一个视频数据包和第一个音频数据包，包括：

所述第一设备查找所述消息记录中发送时间信息为第一预设时间信息的记录，得到第三消息记录；则所述第一设备将所述第三消息记录对应的视频数据包确定为所述第一个视频数据包；和/或，

所述第一设备查找所述消息记录中第二发送时间信息为第二预设时间信息的记录，得到第四消息记录；则所述第一设备将所述第四消息记录对应的音频数据包确定为所述第一个音频数据包。

7.一种计算音频和视频异步时差的设备，其特征在于，包括：

接收单元，用于接收第二设备发送的第一数据包；所述第一数据包包括音频数据或视频数据；

获取单元，用于获取所述第一数据包的第一发送时间信息；其中，所述第一发送时间信息用于指示所述第二设备将所述第一数据包发送给第一设备的时间；

确定单元，用于确定是否已接收所述第二设备发送的第二数据包，其中，所述接收单元接收所述第二数据包的时间与接收所述第一数据包的时间之间的时间差小于或等于预设接收时间差阈值；若所述第一数据包包括音频数据，则所述第二数据包包括视频数据，或者，若所述第一数据包包括视频数据，则所述第二数据包包括音频数据；

若所述确定单元确定已接收所述第二数据包，则所述获取单元还用于获取所述第二数据包的第二发送时间信息；其中，所述第二发送时间信息用于指示所述第二设备将所述第二数据包发送给所述第一设备的时间；

计算单元，用于计算所述第一发送时间信息指示的时间与所述第二发送时间信息指示的时间之间的差值，得到第一时间差；

所述确定单元还用于：根据所述第一时间差确定所述第一数据包和所述第二数据包的异步时差，所述异步时差为所述第二设备将所述第一数据包和所述第二数据包发送给所述第一设备的过程中产生的时差。

8.如权利要7所述的设备，其特征在于，

所述确定单元还用于：确定所述第二设备发送的第一个视频数据包和第一个音频数据包；

所述获取单元还用于：获取所述接收单元接收所述第一个视频数据包的时间，以及获取所述接收单元接收所述第一个音频数据包的时间；

所述计算单元还用于：计算所述接收单元接收所述第一个视频数据包的时间和所述接收单元接收所述第一个音频数据包的时间之间的差值，得到第二时间差，所述第二时间差为所述第二设备采集视频数据和音频数据的初始时间差。

9.如权利要8所述的设备，其特征在于，

所述计算单元还用于：计算所述第一时间差与所述第二时间差的差值，得到第三时间差；

则所述确定单元根据所述第一时间差确定所述第一数据包和所述第二数据包的异步时差，包括：

所述确定单元根据所述第三时间差确定所述异步时差。

10.如权利要9所述的设备，其特征在于，所述设备还包括比较单元；

所述比较单元用于：在所述确定单元根据所述第三时间差确定所述异步时差之后，将所述第三时间差与预设同步时间阈值进行比较；其中，所述预设同步时间阈值是所述第一设备中将所述音频数据包和所述视频数据包进行处理后，使得所述音频数据和所述视频数据在所述第一设备中进行播放时能够同步的最大时差；

则所述确定单元根据所述第三时间差确定所述异步时差，包括：

若所述第三时间差小于或等于所述预设同步时间阈值，则所述确定单元确定所述异步时差为0；或者，

若所述第三时间差大于所述预设同步时间阈值，则所述确定单元确定所述第三时间差与所述预设同步时间阈值的差值为所述异步时差。

11.如权利要7-10任一所述的设备，其特征在于，所述设备还包括查找单元；

所述获取单元还用于：从所述第一设备中的处理芯片中获取消息记录，所述消息记录包括所述第一设备接收所述第一数据包的记录；

所述查找单元用于：根据所述第一数据包的接收时间以及所述第一数据包的类型标识，在所述消息记录中查找获得接收所述第一数据包的第一消息记录；

则所述获取单元获取所述第一数据包的第一发送时间信息，包括：

所述获取单元从所述第一消息记录中获取所述第一数据包的第一发送时间信息。

12.如权利要7-10任一所述的设备，其特征在于，

所述查找单元还用于：所述第一设备查找所述消息记录中发送时间信息为第一预设时间信息的记录，得到第三消息记录；和/或查找所述消息记录中第二发送时间信息为第二预设时间信息的记录，得到第四消息记录；

则所述确定单元确定所述第二设备发送的第一个视频数据包和第一个音频数据包，包括：

所述确定单元将所述第三消息记录对应的视频数据包确定为所述第一个视频数据包；和/或，所述确定单元将所述第四消息记录对应的音频数据包确定为所述第一个音频数据包。

13.一种计算机装置，其特征在于，所述装置包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1-6中任一项所述方法的步骤。

14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1-6中任一项所述方法的步骤。