CN110585702A - 一种音画同步数据处理方法、装置、设备及介质 - Google Patents

Abstract

本申请提供一种音画同步数据处理方法，可游戏画面的音画同步检测，包括：获取待测画面，待测画面包括视频信息和音频信息；对待测画面进行音画分离，得到第一视频信息和第一音频信息；将第一视频信息与视频特征信息库进行特征匹配，得到第一特征帧以及第一特征帧的出现时刻T1，第一特征帧为第一视频信息中的一帧；将第一音频信息与音频特征信息库进行特征匹配，得到第一特征音频以及第一特征音频的出现时刻T2，第一特征音频为第一音频信息中的一段音频；当T1减去T2的绝对值大于预设值时，判定待测画面音画同步异常。本申请实施例还提供一种装置、设备及介质，能够实现游戏画面中音画同步的自动化检测，从而提高了测试效率。

Description

一种音画同步数据处理方法、装置、设备及介质

技术领域

本发明涉及计算机技术领域，更具体地说，涉及一种音画同步数据处理方法、装置、设备及介质。

背景技术

在游戏数据处理领域，有一个测试项是手工测试人员难以测试评估的，即游戏音画同步性测试。所谓游戏音画同步性，是指在游戏中，因为程序实现、渲染性能、资源异常，导致游戏声音与画面的不同步的问题。

现有技术中，判断游戏音画同步的方式一般是人工主观判断，这会造成2个问题：1.因为人为主观判断，结果偏差较大，且每次结果都可能不同；2.如果要轮询所有场景，要投入大量人力。

因此，现有技术中的上述问题还有待于解决。

发明内容

有鉴于此，为解决上述问题，本发明提供的技术方案如下：

一种音画同步数据处理方法，包括：

获取待测画面，所述待测画面包括视频信息和音频信息；

对所述待测画面进行音画分离，得到第一视频信息和第一音频信息；

将所述第一视频信息与预设的视频特征信息库进行特征匹配，得到第一特征帧以及所述第一特征帧的出现时刻T1，所述第一特征帧为所述第一视频信息中的一帧；

将所述第一音频信息与预设的音频特征信息库进行特征匹配，得到第一特征音频以及所述第一特征音频的出现时刻T2，所述第一特征音频为所述第一音频信息中的一段音频；

当T1减去T2的绝对值大于预设值时，判定所述待测画面音画同步异常。

一种音画同步数据处理装置，包括：

获取单元，所述获取单元用于获取待测画面，所述待测画面包括视频信息和音频信息；

执行单元，所述执行单元用于对所述获取单元获取的所述待测画面进行音画分离，得到第一视频信息和第一音频信息；

第一匹配单元，所述第一匹配单元用于将所述执行单元分离的所述第一视频信息与预设的视频特征信息库进行特征匹配，得到第一特征帧以及所述第一特征帧的出现时刻T1，所述第一特征帧为所述第一视频信息中的一帧；

第二匹配单元，所述第二匹配单元用于将所述执行单元分离的将所述第一音频信息与预设的音频特征信息库进行特征匹配，得到第一特征音频以及所述第一特征音频的出现时刻T2，所述第一特征音频为所述第一音频信息中的一段音频；

判断单元，所述判断单元用于在T1减去T2的绝对值大于预设值时，判定所述待测画面音画同步异常。

可选地，所述装置还包括第一创建单元，所述第一创建单元用于：

获取正常画面，所述正常画面为音画同步的画面；

从所述正常画面中选定目标特征帧以及所述目标特征帧对应的目标音频信息，所述目标特征帧为所述正常画面中的一帧，所述目标音频信息为所述正常画面中一段音频信息；

将所述目标特征帧加入所述视频特征信息库中；

将所述目标音频信息加入所述音频特征信息库中。

可选地，所述装置还包括第二创建单元，所述第二创建单元用于：

在所述第一游戏的开发过程中：

在所述第一游戏画面的视频信息中创建第一视频特征信息；

将所述第一视频特征信息加入所述视频特征信息库中；

将所述第一视频特征信息所对应的音频信息设定为第一音频特征信息；

将所述第一音频特征信息加入所述音频特征信息库中。

可选地，所述执行单元，还用于：

对所述第一视频信息进行视频分离与解帧，得到由多个第一视频信息中的帧组成的第一视频帧集合；

所述将所述第一视频信息与预设的视频特征信息库进行特征匹配，得到第一特征帧以及所述第一特征帧的出现时刻T1，包括：

将所述第一视频帧集合中的视频帧与所述视频特征信息库中的视频特征信息一一比对；

当所述第一视频帧集合中的第一视频帧与所述视频特征新信息库中的第二视频特征信息的匹配度符合预设值时，判定所述第一视频帧具备所述第二视频特征信息的特征；

输出所述第一视频帧为所述第一特征帧；

将所述第一视频帧的帧号除以所述第一视频帧的帧率，得到所述第一特征帧的出现时刻T1。

可选地，所述第一匹配单元，还用于：

将所述第一特征帧转化为灰度图，得到第一灰度帧；

将所述第二视频特征信息转化为灰度图，得到第二灰度帧；

将所述第一灰度帧转化为第一矩阵，其中，所述第一矩阵中的一个元素用于表达所述第一灰度帧中的一个像素；

将所述第二灰度帧转化为第二矩阵，其中，所述第二矩阵中的一个元素用于表达所述第二灰度帧中的一个像素；

将所述第一矩阵与所述第二矩阵输入平方差算法中；

所述判断单元，还用于：

当所述平方差算法的计算结果符合预设值时，判定所述第一视频帧与所述第二视频特征信息的匹配度符合预设值。

可选地，所述第二匹配单元，还用于：

将所述第一音频信息转化为第一音频数据；

对所述第一音频数据进行去噪处理，得到第二音频数据；

将所述第二音频数据与所述音频特征信息库中的所有音频特征信息通过互相关算法进行逐一比对；

当所述第二音频数据与第二特征音频的匹配度符合预设值时，判定所述第二音频数据具备所述第二特征音频的特征，其中，所述第二特征音频为所述音频特征信息库中的所有音频特征信息中的一个音频特征信息；

输出所述第二音频数据为所述第一特征音频；

输出所述第二音频数据的出现时间作为所述T2。

可选地，所述装置为第一终端，所述第一终端为区块链中的区块节点设备。

一种计算机设备，所述计算机设备包括：交互装置、输入/输出(I/O)接口、处理器和存储器，所述存储器中存储有程序指令；

所述交互装置用于获取用户输入的操作指令；

所述处理器用于执行存储器中存储的程序指令，执行上述任意一项所述的方法。

一种计算机可读存储介质，包括指令，当所述指令在计算机设备上运行时，使得所述计算机设备执行上述任意一项所述的方法。

本申请提供的音画同步数据处理方法，可游戏画面的音画同步检测，包括：获取待测画面，待测画面包括视频信息和音频信息；对待测画面进行音画分离，得到第一视频信息和第一音频信息；将第一视频信息与预设的视频特征信息库进行特征匹配，得到第一特征帧以及第一特征帧的出现时刻T1，第一特征帧为第一视频信息中的一帧；将第一音频信息与预设的音频特征信息库进行特征匹配，得到第一特征音频以及第一特征音频的出现时刻T2，第一特征音频为第一音频信息中的一段音频；当T1减去T2的绝对值大于预设值时，判定待测画面音画同步异常。本申请实施例还提供一种装置、设备及介质，能够实现游戏画面中音画同步的自动化检测，从而提高了测试效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1A为本申请实施例所提供的音画同步数据处理方法的一个实施例的流程图；

图1B为本申请实施例所提供的音画同步数据处理方法的另一个实施例的流程图；

图1C为本申请实施例所提供的音画同步数据处理方法的另一个实施例的流程图；

图1D为本申请实施例所提供的音画同步数据处理方法的另一个实施例的流程图；

图1E为本申请实施例所提供的音画同步数据处理方法的另一个实施例的流程图；

图1F为本申请实施例所提供的音画同步数据处理方法的另一个实施例的流程图；

图2为本申请实施例所提供的音画同步数据处理方法的另一个实施例的流程图；

图3为本申请实施例所提供的音画同步数据处理方法的另一个实施例的流程图；

图4为本申请实施例提供的分布式系统应用于区块链系统的结构示意图；

图5为本申请实施例提供的区块结构的示意图；

图6为本申请实施例所提供的计算机设备的示意图；

图7为本申请实施例所提供的音画同步数据处理装置的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

在游戏测试领域，有一个测试项是手工测试人员难以测试评估的，即游戏音画同步性测试。所谓游戏音画同步性，是指在游戏中，因为程序实现、渲染性能、资源异常，导致游戏声音与画面的不同步的问题。

当前，判断游戏音画同步的方式一般是人工主观判断，这会造成2个问题：1.因为人为主观判断，结果偏差较大，且每次结果都可能不同；2.如果要轮询所有场景，要投入大量人力。

在音画同步数据处理领域，存在一种检测方案，可用于DVD机或手机视频播放的音画同步测试，以检测硬件处理性能对音画同步的影响，其技术思路为，构建一个测试视频，该测试视频全程显示纯黑色画面，只有在测试点设置有一个特殊帧，该特殊帧为一个纯白帧，同时该特殊帧对应有第一音频；在测试过程中，播放该测试视频，当播放到该特殊帧时，通过光电效应将该纯白帧转换为脉冲音频，并记录该脉冲音频的其实时间T1，同时识别该第一音频的其实时间T2，通过计算T1减去T2得出硬件的音画不同步差。

可见，在上述技术方案中，为了测试的需要必须构造一个特殊的测试视频以用于音画同步测试，并且测试的结果也只能测试硬件对于音画同步问题的影响。而在游戏测试领域，需要测试游戏本身的音画同步情况，测试对象可能是测试自主开发的游戏，也可能是测试他人开发的游戏，因此无法针对测试构建专门的测试视频。

因此，针对上述问题，本申请实施例提供了一种音画同步数据处理方法，可以应用于游戏的音画同步检测中，需要说明的是，本申请实施例所提供的音画同步数据处理方法还可以应用于各种音画同步检测中，本申请实施例仅以游戏检测作为例子以便于理解，对于本方法的应用领域本申请实施例并不进行限定。为便于理解，以下首先结合附图，对本申请实施例所提供的方法进行详细说明。

请参阅图1A，如图1A所示，本申请实施例所提供的音画同步数据处理方法，包括以下步骤。

101、获取待测画面。

本实施例中，待测画面包括视频信息和音频信息，可以是一段具有声音的视频画面，例如可以是录制的游戏视频或电影视频等。

以对游戏进行测试为例，获取待测画面需要对游戏画面进行录制采集，以得到待测游戏画面，具体的录制方法可以包括black magic采集卡采集或AV Recorder采集两种可选的方式，为便于理解，以下对此2种方式进行详细说明。

1、black magic采集卡采集。

请参阅图1B，如图1B所示，通过black magic采集卡采集游戏画面的具体方式为：

游戏机的显卡与采集机中的black magic采集卡连接，其中，游戏机可以是电脑、平板电脑或智能手机等用于运行游戏的设备，显卡与black magic采集卡之间通过HDMI线连接，可选地，也可以通过其他视频流格式来实现连接。在游戏运行过程中，black magic采集卡通过自带的软件对游戏运行过程中的游戏画面进行采集。

本实施例中，black magic采集卡采集的方式为硬件采集方式，能够支持设置显卡渲染帧率为60fps，从而实现对游戏画面的无损采集，60fps为现在一般显示器刷新极限帧率，而如果使用非硬件方式采集，是无法以60fps的高帧率采集视频的。使用非60fps采集视频，意味着存对原画存在“丢帧”，而这将引入“误差”，相应地，本方法的缺点在于，使用硬件采集需要相应的硬件设备以及连线，使用起来略微复杂。

2、AV Recorder采集。

AV Recorder是基于ffmpeg与底层设备驱动之上封装的产品，其中，ffmpeg是一套可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序。

请参阅图1C，如图1C所示，AV Recorder使用ffmpeg，通过底层设备驱动，调用平台虚拟设备，直接获取显存、音频输出缓存流，从而封装视频，以达到PC视频录制效果，得到游戏运行过程中的游戏画面。

本实施例中，AV Recorder采集无需硬件协助，同时可以支持跨平台，能在windows、linux或mac等不同的操作系统上实现，具有较好的通用性，虽然采集帧率无法达到60fps(即无法满帧采集)，一般只能30fps采集，这会默认引入“误差”，误差范围为：0～0.016s，不过由于误差范围较少，一般情况不影响测试结果。因此，AV Recorder采集具有较好的通用性和便捷性，本申请实施例的后续步骤以AV Recorder采集方法进行说明。

102、对待测画面进行音画分离，得到第一视频信息和第一音频信息。

本实施例中，对于待测画面中的视频和音频，需要进行分离，以便于后续检测步骤的进行。

具体地，对于第一视频信息，可以进一步对第一视频信息进行视频分离与解帧，得到由多个第一视频信息中的帧组成的第一视频帧集合；

可选地，对于上述音画分离的具体实现方式，可以基于ffmpeg所提供的调用进行音画分离。其中，视频分离和音频分离具有不同的操作方式和注意事项，以下详细说明。

1、对于视频的分离，可采用ffmpeg所提供的如下调用：

ffmpeg-i input.mp4-r 60frames/frame-％05d.png

在执行视频的解帧时，还需要关注以下注意事项：

1)、解帧的目的在于将动态的视频分解为逐帧的图片，解帧前需分析视频帧率，解帧时使用的解帧帧率需要源视频帧率一致，如遇到动态帧率视频，则使用最高帧率60fps进行解帧。使用不当帧率进行解帧，会造成视频关键画面丢失、延迟等问题，导致引入误差、严重则会导致测试失败；

2)、解帧时，解帧图片的格式保存为png，如果使用压缩格式，会导致图片失真，特征点变化，从而导致后续步骤无法找到图片特征而令测试失败。

2、对于音频的分离，可采用ffmpeg所提供的如下调用：

ffmpeg-i input.mp4-vn-ac 1-ar 441000out.wav

在执行音频分离时，还需要关注以下注意事项：

1)、分离得到的所述第一音频信息不能被转码，变换格式，否则失真会到导致后续识别音频特征失败或者增加测试误差；

2)、所述第一音频信息的采集频率，需与预设的音频特征信息库中音频特征的采集频率相同，否则会导致识别时音频失真，增加误差；

3)、所述第一音频信息的音轨，需与预设的音频特征信息库库中的音频特征音轨相同。但一般使用时，音频特征音多为单声道，而PC游戏一般为双声道，所以在这种情况下，分离音频时默认以左声道作为默认声道处理。

103、将第一视频信息与预设的视频特征信息库进行特征匹配，得到第一特征帧以及第一特征帧的出现时刻T1。

本实施例中，视频特征信息库是预设的特征信息库，当中包含了用于检测音画同步的视频特征信息，例如，在格斗类游戏中，游戏角色挥拳时会发出“嘭”的声音，则该特征可以构成该格斗游戏中的一个用于检测音画同步的特征，角色挥拳的画面即构成了视频特征信息库中的一个视频特征信息。

进一步地，对于第一视频信息与预设的视频特征信息库进行特征匹配的具体比对方式，以下结合附图1D进行详细说明。

请参阅图1D，如图1D所示，上述步骤103可以包括以下步骤：

1031、将第一视频帧集合中的视频帧与视频特征信息库中的视频特征信息一一比对。

本实施例中，第一视频帧集合为第一视频信息解帧得到的集合，将集合中的所有视频帧与视频特征信息库中的视频特征信息一一比对，以尝试将第一视频信息中与视频特征信息库进行比对。

1032、当第一视频帧集合中的第一视频帧与视频特征新信息库中的第二视频特征信息的匹配度符合预设值时，判定第一视频帧具备第二视频特征信息的特征。

本实施例中，例如，在格斗类游戏中，第一视频帧为一个角色a挥拳的画面，通过比对在视频特征信息库中找到第二视频特征信息：角色b挥拳的视频，从而实现匹配，即可判定，第一视频帧具备第二视频特征信息的特征：即角色挥拳。

1033、输出第一视频帧为第一特征帧。

本实施例中，当第一视频帧具备第二视频特征信息的特征时，即实现了匹配，从而输出第一视频帧为第一特征帧。

1034、将第一视频帧的帧号除以第一视频帧的帧率，得到第一特征帧的出现时刻T1。

本实施例中，将第一视频帧的帧号(frame_index)除以第一视频帧的帧率(frame_rate)，得到该第一特征帧的出现时间T1，具体计算公式为：T1＝frame_index/frame_rate。

需要说明的是，对于上述步骤1031，可以通过多种方式实现第一视频帧集合中的视频帧与视频特征信息库中的视频特征信息的比对，作为一种优选的方案，本申请实施例提供一种实施方式。

请参阅图1E，如图1E所示，上述步骤1031可以包括以下步骤：

10311、将第一特征帧转化为灰度图，得到第一灰度帧。

本实施例中，由于在识别过程中，灰度图相较于彩色图片，具有更好的额识别性，有利于后续的比对识别，因此首先需要将第一特征帧转化为灰度图，具体的实现方式执行：frame＝rgb2gray(frame)，从而将第一特征帧由RGB图片转为灰度图。

10312、将第二视频特征信息转化为灰度图，得到第二灰度帧。

本实施例中，第二视频特征信息也是由特定数量的视频帧组成的，因此将这些视频帧转化为灰度图，即可得到第二灰度帧，因此可知，该第二灰度帧的数量为至少一个，具体的实现方式通过执行特征数据转灰度图来实现：i_featrues＝rgb2gray(i_featrues)，从而将第二视频特征信息转化为第二灰度帧。

10313、将第一灰度帧转化为第一矩阵。

本实施例中，第一矩阵中的一个元素用于表达第一灰度帧中的一个像素，具体地，第一矩阵中的每个元素用于对应地描述第一灰度帧中的一个像素，从而将该第一灰度帧转化为第一矩阵。

10314、将第二灰度帧转化为第二矩阵。

本实施例中，第二矩阵中的一个元素用于表达第二灰度帧中的一个像素，具体地，第二矩阵中的每个元素用于对应地描述第二灰度帧中的一个像素，从而将该第二灰度帧转化为第二矩阵。

10315、将第一矩阵与第二矩阵输入平方差算法中。

本实施例中，将第一矩阵与第二矩阵输入以下平方差算法：

从而能够该平方差算法，计算第一矩阵与第二矩阵之间的匹配度，可选地，除了上述平方差算法外，上述匹配度的计算还可以通过归一化的平方差、相关性匹配、归一化的相关性匹配方法、相关性系数匹配方法、归一化的相关性系数匹配方法等方法来实现，对此本申请实施例并不进行限定。从而通过上述方法，实现第一视频帧集合中的视频帧与视频特征信息库中的视频特征信息的比对。

基于上述比对，步骤1032中，当第一视频帧集合中的第一视频帧与视频特征新信息库中的第二视频特征信息的匹配度符合预设值时，判定第一视频帧具备第二视频特征信息的特征。具体实现方式为：

当平方差算法的计算结果符合预设值时，判定第一视频帧与第二视频特征信息的匹配度符合预设值。

104、将第一音频信息与预设的音频特征信息库进行特征匹配，得到第一特征音频以及第一特征音频的出现时刻T2。

本实施例中，该第一特征音频为第一音频信息中的一段音频；例如，在格斗类游戏中，游戏角色挥拳时会发出“嘭”的声音，则该特征可以构成该格斗游戏中的一个用于检测音画同步的特征，角色挥拳时发出的音频声音“嘭”即构成了音频特征信息库中的一个特征音频。

进一步地，对第一音频信息与预设的音频特征信息库进行特征匹配的具体比对方式，以下结合附图1F进行详细说明。

请参阅图1F，如图1F所示，上述步骤104可以包括以下步骤：

1041、将第一音频信息转化为第一音频数据。

本实施例中，第一音频信息本身为一组声音的波形，通过转化，将该组波形描述为一组音频数据，例如(1、-1、5、-5、20、-20)，从而该第一音频数据可以用于描述第一音频信息的波形。

1042、对第一音频数据进行去噪处理，得到第二音频数据。

本实施例中，为了提升后续匹配的准确性，使用音频特征识别对噪音敏感，以排除大量噪音对识别准确率的影响。具体地，降噪操作可以通过去噪算法来实现，例如基于RNN音频降噪。

1043、将第二音频数据与音频特征信息库中的所有音频特征信息通过互相关算法进行逐一比对。

本实施例中，互相关算法是信号分析里的概念，表示的是两个时间序列之间的相关程度，即描述信号x(t),y(t)在任意两个不同时刻t1，t2的取值之间的相关程度。描述两个不同的信号之间的相关性。在本方案中，第二音频数据就是一套用于描述波形的时间序列，通过互相关算法，即可实现第二音频数据与与音频特征信息库中的所有音频特征信息的比对。

1044、当第二音频数据与第二特征音频的匹配度符合预设值时，判定第二音频数据具备第二特征音频的特征。

本实施例中，当相关性达到一定预设值，即可判定第二音频数据具备第二特征音频的特征，例如，在格斗类游戏中，第二特征音频为一个角色a在挥拳时发出的声音“嘭”，通过比对在音频特征信息库中找到第二特征音频：角色b挥拳时发出的声音“嘭”，从而实现匹配，即可判定，第二音频数据具备第二特征音频的特征：即角色挥拳时发出的声音“嘭”。

1045、输出第二音频数据为第一特征音频。

本实施例中，但第二音频数据具备第二特征音频的特征时，即实现了匹配，从而输出第二音频数据为第一特征音频。

1046、输出第二音频数据的出现时间作为T2。

本实施例中，获取到T2的具体算法可以为：T2＝correlate(a_featrues,_audio,mode＝'full')。

上述步骤1041至1046中，通过互相关算法实现第一音频信息与预设的音频特征信息库进行特征匹配，从而得到第一特征音频以及第一特征音频的出现时刻T2。

105、计算T1减去T2的绝对值。

本实施例中，T1为第一特征帧的出现时间，T2为第一特征音频的出现时间，例如，在格斗类游戏中，游戏角色挥拳的同时会发出“嘭”的音效，而第一特征帧具有角色挥拳画面的特征，第一特征音频具有声音“嘭”的特征，则当游戏画面正常工作时，游戏会在角色挥拳的同时发出“嘭”的声音，即第一特征帧与第一特征音频的应该同时出现，当然，系统容错运行第一特征帧与第一特征音频在一定程度内的不同步，因此，计算第一特征帧的出现时间T1减去第一特征音频的出现时间T2的绝对值，从而可以得到第一特征帧和第一特征音频之间出现的时间差，当该时间差大于预设值时，即可判定待测画面音画同步异常。

本申请所提供的音画同步数据处理方法，通过提取待测画面中的特征视频和特征音频，比对二者是否同步出现，从而以特征视频和特征音频为检测点，实现对游戏音画同步的检测，无需构造特定的测试视频即可适用于所有游戏的音画同步检测中，实现了音画同步的自动化检测。

需要说明的是，在上述步骤101至105之前，需要对上述视频特征信息库和音频特征信息库进行构建，根据待测画面来源的不同，采取不同的方式进行构建，具体地，1、针对非测试方自主开发的游戏，可以寻找游戏中的特征信息，将这些特征信息分别加入视频特征信息库和音频特征信息库中，以便后续在游戏运行过程中对音画同步进行检测。为便于理解，以下结合附图，对此两种情况进行具体说明。2、针对测试方自主开发的游戏，可以在游戏开发时加入特征信息，从而将这些特征信息分别加入视频特征信息库和音频特征信息库中，以便后续在游戏运行过程中对音画同步进行检测。

1、针对非测试方自主开发的游戏。

针对非测试方自主开发的游戏，测试方无法对被测游戏进行改动，只能针对被测游戏的情况，构建视频特征信息库和音频特征信息库，请参阅图2，如图2所示，针对非测试方自主开发的游戏，构建视频特征信息库和音频特征信息库主要包括以下步骤。

201、获取正常画面。

本实施例中，正常画面为音画同步的画面，可以是测试人员手段挑选的，由于只需要输入一段固定的正常画面即可，因此工作量比较小，具体方式可以是，测试人员进行一局游戏并进行录制，在游戏结束后，没有音画不同步的现象发生，即可判断录制得到的该局游戏画面为音画同步的画面。对于游戏过程中录制得到上述正常画面的方式，可参阅上述步骤101的记载，此处不再赘述。

202、从正常画面中选定目标特征帧以及目标特征帧对应的目标音频信息。

本实施例中，例如，正常画面为一个格斗游戏A的游戏画面，在该格斗游戏A中，只要角色出拳，就会发出“嘭”的音效，因此，这个特征可以作为一个检测点，以检测待测画面是否音画同步，则获取目标特征帧A1：角色挥拳的图片；目标音频信息：角色挥拳发出的音效“嘭”。在后续对格斗游戏A的检测过程中，只需要检测角色任意一次挥拳画面的出现时间与音效“嘭”的发出时间间隔是否符合预设值，即可检测待测画面是否音画同构是，具体工作过程，可参阅上述步骤101至105，此处不再赘述。

203、将目标特征帧加入视频特征信息库中。

本实施例中，将目标特征帧加入视频特征信息库中，从而使得后续的待测画面中的视频可以与视频特征信息库中的目标特征帧比对，以检测待测画面中是否具备目标特征帧所记录的特征。

204、将目标音频信息加入音频特征信息库中。

本实施例中，将目标音频信息加入音频特征信息库中，从而使得后续的待测画面中的音频可以与音频特征信息库中的目标音频信息比对，以检测待测画面中是否具备目标音频信息所记录的特征。

上述步骤201至204，对于非测试方自主开发的游戏，测试人员录制没有音画不同步的正常游戏画面，并记录这些画面中具有特征信息的视频和音频信息作为检测点，分别添加到视频特征信息库和音频特征信息库中，以供后续步骤101至105进行特征匹配，实现音画同步的检测。

2、针对测试方自主开发的游戏。

对于测试方自主开发的游戏，开发人员可以在游戏开发过程中预先植入特征信息，以作为检测点，便于后续对该款游戏的测试。请参阅图3，如图3所示，针对测试方自主开发的游戏，构建视频特征信息库和音频特征信息库，需要在游戏开发的过程中执行以下步骤。

301、在第一游戏画面的视频信息中创建第一视频特征信息。

本实施例中，第一游戏即测试方自主开发的游戏，在开发过程中，用户可以根据实际需要，在第一游戏的游戏画面中加入第一视频特征信息，可以是在游戏画面中加入特定检测帧，从而在后续检测游戏时，匹配到具有相同特征的画面，就触发检测，判断该画面出现时，对应的音频是否在预设时间内出现，以实现音画同步检测。

302、将第一视频特征信息加入视频特征信息库中。

本实施例中，将第一视频特征信息加入视频特征信息库中，以使得后续步骤可以基于该视频特征信息库进行检测。

303、将第一视频特征信息所对应的音频信息设定为第一音频特征信息。

本实施例中，第一音频特征信息为音画同步时，与第一视频特征信息同事出现的音频信息。

304、将第一音频特征信息加入音频特征信息库中。

本实施例中，将第一音频特征信息加入音频特征信息库中，以使得后续步骤可以基于该音频特征信息库进行检测。

本申请实施例所提供的音画同步数据处理方法，可以应用在游戏测试的领域，通过本方法，使精准测试“音画同步性”变为现实，之前通过人工测试各种音画同步，存在主观差异性，结果严谨性等问题。通过本方案进行自动量化分析，结果精准，彻底杜绝以上问题。同时，本方案使“音画同步性”全自动化变得可行，大大降低人工工作量。之前使用人工全面回归某款游戏所有项的音画同步性，保守预期为2天，实现自动化后，全面回归可以缩减到30～50分钟内完成。同时，通过横向扩展，可进一步缩减回归时间。

本发明实施例涉及的方法可以是由客户端、多个节点(接入网络中的任意形式的计算设备，如服务器、用户终端)通过网络通信的形式连接形成的分布式系统。

以分布式系统为区块链系统为例，参见图4，图4是本发明实施例提供的分布式系统400应用于区块链系统的一个可选的结构示意图，由多个节点401(接入网络中的任意形式的计算设备，如服务器、用户终端)和客户端402形成，节点之间形成组成的点对点(P2P，Peer To Peer)网络，P2P协议是一个运行在传输控制协议(TCP，Transmission ControlProtocol)协议之上的应用层协议。在分布式系统中，任何机器如服务器、终端都可以加入而成为节点，节点包括硬件层、中间层、操作系统层和应用层。

参见图4示出的区块链系统中各节点的功能，涉及的功能包括：

1、路由，节点具有的基本功能，用于支持节点之间的通信。

节点除具有路由功能外，还可以具有以下功能：

2、应用，用于部署在区块链中，根据实际业务需求而实现特定业务，记录实现功能相关的数据形成记录数据，在记录数据中携带数字签名以表示任务数据的来源，将记录数据发送到区块链系统中的其他节点，供其他节点在验证记录数据来源以及完整性成功时，将记录数据添加到临时区块中。

例如，应用实现的业务包括：

1)、执行本申请实施例所提供的上述各种方法，以实现对游戏画面中音画同步的检测。

2)、区块链，包括一系列按照产生的先后时间顺序相互接续的区块(Block)，新区块一旦加入到区块链中就不会再被移除，区块中记录了区块链系统中节点提交的记录数据。

参见图5，图5是本发明实施例提供的区块结构(Block Structure)一个可选的示意图，每个区块中包括本区块存储交易记录的哈希值(本区块的哈希值)、以及前一区块的哈希值，各区块通过哈希值连接形成区块链。另外，区块中还可以包括有区块生成时的时间戳等信息。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了相关的信息，用于验证其信息的有效性(防伪)和生成下一个区块。

上述对本申请实施例提供的方案进行了介绍。可以理解的是，计算机设备为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的模块及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

从硬件结构上来描述，上述方法可以由一个实体设备实现，也可以由多个实体设备共同实现，还可以是一个实体设备内的一个逻辑功能模块，本申请实施例对此不作具体限定。

例如，上述方法均可以通过图6中的计算机设备来实现。图6为本申请实施例提供的计算机设备的硬件结构示意图。该计算机设备包括至少一个处理器601，通信线路602，存储器603以及至少一个通信接口604。

处理器601可以是一个通用中央处理器(central processing unit，CPU)，微处理器，特定应用集成电路(application-specific integrated circuit，服务器IC)，或一个或多个用于控制本申请方案程序执行的集成电路。

通信线路602可包括一通路，在上述组件之间传送信息。

通信接口604，使用任何收发器一类的装置，用于与其他设备或通信网络通信，如以太网，无线接入网(radio access network，RAN)，无线局域网(wireless local areanetworks，WLAN)等。

存储器603可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electricallyer服务器able programmable read-only memory，EEPROM)、只读光盘(compact disc read-only memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立存在，通过通信线路602与处理器相连接。存储器也可以和处理器集成在一起。

其中，存储器603用于存储执行本申请方案的计算机执行指令，并由处理器601来控制执行。处理器601用于执行存储器603中存储的计算机执行指令，从而实现本申请上述实施例提供的方法。

可选的，本申请实施例中的计算机执行指令也可以称之为应用程序代码，本申请实施例对此不作具体限定。

在具体实现中，作为一种实施例，处理器601可以包括一个或多个CPU，例如图6中的CPU0和CPU1。

在具体实现中，作为一种实施例，计算机设备可以包括多个处理器，例如图6中的处理器601和处理器607。这些处理器中的每一个可以是一个单核(single-CPU)处理器，也可以是一个多核(multi-CPU)处理器。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。

在具体实现中，作为一种实施例，计算机设备还可以包括输出设备605和输入设备606。输出设备605和处理器601通信，可以以多种方式来显示信息。例如，输出设备605可以是液晶显示器(liquid crystal display，LCD)，发光二级管(light emitting diode，LED)显示设备，阴极射线管(cathode ray tube，CRT)显示设备，或投影仪(projector)等。输入设备606和处理器601通信，可以以多种方式接收用户的输入。例如，输入设备606可以是鼠标、键盘、触摸屏设备或传感设备等。

上述的计算机设备可以是一个通用设备或者是一个专用设备。在具体实现中，计算机设备可以是台式机、便携式电脑、网络服务器、掌上电脑(personal digitalassistant，PDA)、移动手机、平板电脑、无线终端设备、嵌入式设备或有图6中类似结构的设备。本申请实施例不限定计算机设备的类型。

本申请实施例可以根据上述方法示例对存储设备进行功能单元的划分，例如，可以对应各个功能划分各个功能单元，也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。需要说明的是，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

比如，以采用集成的方式划分各个功能单元的情况下，图7示出了一种音画同步数据处理装置的示意图。

如图7所示，本申请实施例提供的音画同步数据处理装置，包括：

获取单元701，所述获取单元701用于获取待测画面，所述待测画面包括视频信息和音频信息；

执行单元702，所述执行单元702用于对所述获取单元701获取的所述待测画面进行音画分离，得到第一视频信息和第一音频信息；

第一匹配单元703，所述第一匹配单元703用于将所述执行单元702分离的所述第一视频信息与预设的视频特征信息库进行特征匹配，得到第一特征帧以及所述第一特征帧的出现时刻T1，所述第一特征帧为所述第一视频信息中的一帧；

第二匹配单元704，所述第二匹配单元704用于将所述执行单元702分离的将所述第一音频信息与预设的音频特征信息库进行特征匹配，得到第一特征音频以及所述第一特征音频的出现时刻T2，所述第一特征音频为所述第一音频信息中的一段音频；

判断单元705，所述判断单元705用于在T1减去T2的绝对值大于预设值时，判定所述待测画面音画同步异常。

可选地，所述装置还包括第一创建单元706，所述第一创建单元706用于：

获取正常画面，所述正常画面为音画同步的画面；

从所述正常画面中选定目标特征帧以及所述目标特征帧对应的目标音频信息，所述目标特征帧为所述正常画面中的一帧，所述目标音频信息为所述正常画面中一段音频信息；

将所述目标特征帧加入所述视频特征信息库中；

将所述目标音频信息加入所述音频特征信息库中。

可选地，所述装置还包括第二创建单元707，所述第二创建单元707用于：

在所述第一游戏的开发过程中：

在所述第一游戏画面的视频信息中创建第一视频特征信息；

将所述第一视频特征信息加入所述视频特征信息库中；

将所述第一视频特征信息所对应的音频信息设定为第一音频特征信息；

将所述第一音频特征信息加入所述音频特征信息库中。

可选地，所述执行单元702，还用于：

对所述第一视频信息进行视频分离与解帧，得到由多个第一视频信息中的帧组成的第一视频帧集合；

所述将所述第一视频信息与预设的视频特征信息库进行特征匹配，得到第一特征帧以及所述第一特征帧的出现时刻T1，包括：

将所述第一视频帧集合中的视频帧与所述视频特征信息库中的视频特征信息一一比对；

当所述第一视频帧集合中的第一视频帧与所述视频特征新信息库中的第二视频特征信息的匹配度符合预设值时，判定所述第一视频帧具备所述第二视频特征信息的特征；

输出所述第一视频帧为所述第一特征帧；

将所述第一视频帧的帧号除以所述第一视频帧的帧率，得到所述第一特征帧的出现时刻T1。

可选地，所述第一匹配单元703，还用于：

将所述第一特征帧转化为灰度图，得到第一灰度帧；

将所述第二视频特征信息转化为灰度图，得到第二灰度帧；

将所述第一灰度帧转化为第一矩阵，其中，所述第一矩阵中的一个元素用于表达所述第一灰度帧中的一个像素；

将所述第二灰度帧转化为第二矩阵，其中，所述第二矩阵中的一个元素用于表达所述第二灰度帧中的一个像素；

将所述第一矩阵与所述第二矩阵输入平方差算法中；

所述判断单元705，还用于：

当所述平方差算法的计算结果符合预设值时，判定所述第一视频帧与所述第二视频特征信息的匹配度符合预设值。

可选地，所述第二匹配单元704，还用于：：

将所述第一音频信息转化为第一音频数据；

对所述第一音频数据进行去噪处理，得到第二音频数据；

将所述第二音频数据与所述音频特征信息库中的所有音频特征信息通过互相关算法进行逐一比对；

当所述第二音频数据与第二特征音频的匹配度符合预设值时，判定所述第二音频数据具备所述第二特征音频的特征，其中，所述第二特征音频为所述音频特征信息库中的所有音频特征信息中的一个音频特征信息；

输出所述第二音频数据为所述第一特征音频；

输出所述第二音频数据的出现时间作为所述T2。

可选地，所述装置为第一终端，所述第一终端为区块链中的区块节点设备。

进一步的，本发明实施例还提供一种计算机存储介质，包括指令，当该指令在计算机设备上运行时，使得该计算机设备执行上述方法。

有关本申请实施例提供的计算机存储介质中存储的程序的详细描述可参照上述实施例，在此不做赘述。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的核心思想或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种音画同步数据处理方法，其特征在于，包括：

获取待测画面，所述待测画面包括视频信息和音频信息；

对所述待测画面进行音画分离，得到第一视频信息和第一音频信息；

将所述第一视频信息与视频特征信息库进行特征匹配，得到第一特征帧以及所述第一特征帧的出现时刻T1，所述第一特征帧为所述第一视频信息中的一帧；

将所述第一音频信息与音频特征信息库进行特征匹配，得到第一特征音频以及所述第一特征音频的出现时刻T2，所述第一特征音频为所述第一音频信息中的一段音频；

当T1减去T2的绝对值大于预设值时，判定所述待测画面音画同步异常。

2.根据权利要求1所述的方法，其特征在于，所述获取待测画面之前，还包括：

获取正常画面，所述正常画面为音画同步的画面；

从所述正常画面中选定目标特征帧以及所述目标特征帧对应的目标音频信息，所述目标特征帧为所述正常画面中的一帧，所述目标音频信息为所述正常画面中一段音频信息；

将所述目标特征帧加入所述视频特征信息库中；

将所述目标音频信息加入所述音频特征信息库中。

3.根据权利要求1所述的方法，其特征在于，所述待测画面为第一游戏的第一游戏画面，则所述获取待测画面之前，还包括：

在所述第一游戏的开发过程中：

在所述第一游戏画面的视频信息中创建第一视频特征信息；

将所述第一视频特征信息加入所述视频特征信息库中；

将所述第一视频特征信息所对应的音频信息设定为第一音频特征信息；

将所述第一音频特征信息加入所述音频特征信息库中。

4.根据权利要求1所述的方法，其特征在于，所述对所述待测画面进行音画分离，得到第一视频信息和第一音频信息，包括：

对所述第一视频信息进行视频分离与解帧，得到由多个第一视频信息中的帧组成的第一视频帧集合；

所述将所述第一视频信息与视频特征信息库进行特征匹配，得到第一特征帧以及所述第一特征帧的出现时刻T1，包括：

将所述第一视频帧集合中的视频帧与所述视频特征信息库中的视频特征信息一一比对；

当所述第一视频帧集合中的第一视频帧与所述视频特征新信息库中的第二视频特征信息的匹配度符合预设值时，判定所述第一视频帧具备所述第二视频特征信息的特征；

输出所述第一视频帧为所述第一特征帧；

将所述第一视频帧的帧号除以所述第一视频帧的帧率，得到所述第一特征帧的出现时刻T1。

5.根据权利要求4所述的方法，其特征在于，所述将所述第一视频帧集合中的视频帧与所述视频特征新信息库中的视频特征信息一一比对，包括：

将所述第一特征帧转化为灰度图，得到第一灰度帧；

将所述第二视频特征信息转化为灰度图，得到第二灰度帧；

将所述第一灰度帧转化为第一矩阵，其中，所述第一矩阵中的一个元素用于表达所述第一灰度帧中的一个像素；

将所述第二灰度帧转化为第二矩阵，其中，所述第二矩阵中的一个元素用于表达所述第二灰度帧中的一个像素；

将所述第一矩阵与所述第二矩阵输入平方差算法中；

所述当所述第一视频帧集合中的第一视频帧与所述视频特征新信息库中的第二视频特征信息的匹配度符合预设值时，判定所述第一视频帧具备所述第二视频特征信息的特征，包括：

当所述平方差算法的计算结果符合预设值时，判定所述第一视频帧与所述第二视频特征信息的匹配度符合预设值。

6.根据权利要求1所述的方法，其特征在于，所述将所述第一音频信息与音频特征信息库进行特征匹配，得到第一特征音频以及所述第一特征音频的出现时刻T2，包括：

将所述第一音频信息转化为第一音频数据；

对所述第一音频数据进行去噪处理，得到第二音频数据；

将所述第二音频数据与所述音频特征信息库中的所有音频特征信息通过互相关算法进行逐一比对；

当所述第二音频数据与第二特征音频的匹配度符合预设值时，判定所述第二音频数据具备所述第二特征音频的特征，其中，所述第二特征音频为所述音频特征信息库中的所有音频特征信息中的一个音频特征信息；

输出所述第二音频数据为所述第一特征音频；

输出所述第二音频数据的出现时间作为所述T2。

7.根据权利要求1至6任一所述的方法，其特征在于，所述方法由第一终端执行，所述第一终端为区块链中的区块节点设备。

8.一种音画同步数据处理装置，其特征在于，包括：

获取单元，所述获取单元用于获取待测画面，所述待测画面包括视频信息和音频信息；

执行单元，所述执行单元用于对所述获取单元获取的所述待测画面进行音画分离，得到第一视频信息和第一音频信息；

第一匹配单元，所述第一匹配单元用于将所述执行单元分离的所述第一视频信息与视频特征信息库进行特征匹配，得到第一特征帧以及所述第一特征帧的出现时刻T1，所述第一特征帧为所述第一视频信息中的一帧；

第二匹配单元，所述第二匹配单元用于将所述执行单元分离的将所述第一音频信息与音频特征信息库进行特征匹配，得到第一特征音频以及所述第一特征音频的出现时刻T2，所述第一特征音频为所述第一音频信息中的一段音频；

判断单元，所述判断单元用于在T1减去T2的绝对值大于预设值时，判定所述待测画面音画同步异常。

9.一种计算机设备，其特征在于，所述计算机设备包括：交互装置、输入/输出(I/O)接口、处理器和存储器，所述存储器中存储有程序指令；

所述交互装置用于获取用户输入的操作指令；

所述处理器用于执行存储器中存储的程序指令，执行如权利要求1-7中任意一项所述的方法。

10.一种计算机可读存储介质，包括指令，其特征在于，当所述指令在计算机设备上运行时，使得所述计算机设备执行如权利要求1-7中任意一项所述的方法。