CN109842795A - 音视频同步性能测试方法、装置、电子设备、存储介质 - Google Patents
音视频同步性能测试方法、装置、电子设备、存储介质 Download PDFInfo
- Publication number
- CN109842795A CN109842795A CN201910145445.1A CN201910145445A CN109842795A CN 109842795 A CN109842795 A CN 109842795A CN 201910145445 A CN201910145445 A CN 201910145445A CN 109842795 A CN109842795 A CN 109842795A
- Authority
- CN
- China
- Prior art keywords
- audio
- video data
- video
- synchronization performance
- multimedia
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
本发明提供一种音视频同步性能测试方法、装置、电子设备、存储介质,音视频同步性能测试方法,包括:获取多媒体经流单元接收的来自源终端发送的具有时间标记的第一音视频数据;获取所述多媒体经流单元对所述第一音视频数据进行处理后的用于发送至一目标终端的第二音视频数据,所述第二音视频数据具有时间标记;经由视频编辑工具播放所述第一音视频数据及第二音视频数据,并根据所述第一音视频数据和所述第二音视频数据的时间标记及音视频数据特征匹配,检测经过所述多媒体经流单元处理前后的音视与视频同步性能的延时。本发明提供的方法及设备实现多媒体经流单元侧的音视频同步性能测试。
Description
技术领域
本发明涉及计算机应用领域,尤其涉及一种音视频同步性能测试方法、装置、电子设备、存储介质。
背景技术
多媒体技术得到迅速发展,多媒体系统的应用已渗透到人类生活的各个领域,如通信、工业、医学、教学等,给人们生活带来了极大的便利。
视频会议是一种让身处异地的人通过某种传输介质实现“实时、可视、交互”的多媒体通讯技术。现代的视频会议系统主要用于音视频开会。在视频会议中,采集音音视频数据后经过源终端处理发向多点控制单元(MCU),再经过处理转发到目标终端。然而,整个视频会议系统中,视频信号和音频信号是分别采集、分别编解码、分别传输的,由于采集差异、网络传输时延和音视频处理时延的不同,最终可能导致声音与图像出现严重偏差。因此在视频会议中,音视频的同步是个非常重要的指标,它直接影响着用户体验。正因如此,对视频会议系统音视频同步的测试也变的非常重要。
目前还没有发现对经过多媒体经流单元(例如多点控制单元)前后的音视频同步性能的测试。
发明内容
本发明为了克服上述现有技术存在的缺陷,提供一种音视频同步性能测试方法、装置、电子设备、存储介质,实现多媒体经流单元侧的音视频同步性能测试。
根据本发明的一个方面,提供一种音视频同步性能测试方法,包括:
获取多媒体经流单元接收的来自源终端发送的具有时间标记的第一音视频数据;
获取所述多媒体经流单元对所述第一音视频数据进行处理后的用于发送至一目标终端的第二音视频数据,所述第二音视频数据具有时间标记;
经由视频编辑工具播放所述第一音视频数据及第二音视频数据,并根据所述第一音视频数据和所述第二音视频数据的时间标记及音视频数据特征匹配,检测经过所述多媒体经流单元处理前后的音视与视频同步性能的延时。
可选地,还包括:
分别以独立线程将所述第一音视频数据及所述第二音视频数据写入两个第一格式的文件中。
可选地,还包括:接收一储存命令,以储存所述第一音视频数据及所述第二音视频数据,其中,所述储存指令包括所储存的时长及写入所述第一音视频数据及所述第二音视频数据的通道号。
可选地,所述经由视频编辑工具播放所述第一音视频数据及第二音视频数据,并根据所述第一音视频数据和所述第二音视频数据的时间标记及音视频数据特征匹配,检测经过所述多媒体经流单元处理前后的音视与视频同步性能的延时包括:
经由视频编辑工具播放所述第一音视频数据,随机截取一时刻的所述第一音视频数据的图像/音频特征,确定所述视频编辑工具播放截取该图像/音频特征的第一时刻;
经由视频编辑工具播放所述第二音视频数据,于所述第二音视频数据中确定匹配所述图像/音频特征的第二时刻;
至少根据所述第一时刻及所述第二时刻之差确定多媒体经流单元的音视频同步性能的延时差。
可选地,所述经由视频编辑工具播放所述第一音视频数据及第二音视频数据,并根据所述第一音视频数据和所述第二音视频数据的时间标记及音视频数据特征匹配,检测经过所述多媒体经流单元处理前后的音视与视频同步性能的延时包括:
经由视频编辑工具录制所述第一音视频数据获得时间轴与所述第一音视频数据对应的第三音视频数据;
经由视频编辑工具录制所述第二音视频数据获得时间轴与所述第二音视频数据对应的第四音视频数据,其中,所述第三音视频数据及所述第四音视频数据为第二格式。
可选地,所述经由视频编辑工具播放所述第一音视频数据及第二音视频数据,并根据所述第一音视频数据和所述第二音视频数据的时间标记及音视频数据特征匹配,检测经过所述多媒体经流单元处理前后的音视与视频同步性能的延时还包括:
经由视频编辑工具播放所述第一音视频数据,随机截取一时刻的所述第一音视频数据的图像,确定所述视频编辑工具播放截取该图像的第一时刻及该图像对应的所述第一音视频数据的第一时间标记;
经由视频编辑工具打开第三音视频数据,获取所述第三音视频数据的第一时刻的音频特征;
经由视频编辑工具播放所述第二音视频数据,于所述第二音视频数据中确定具有与所述第一时间标记相同的第二时间标记的图像被播放的准第二时刻;
经由视频编辑工具打开第四音视频数据,于所述第四音视频数据邻近准第二时刻确定与所述音频特征匹配的第二时刻;
至少根据所述第一时刻及所述第二时刻之差确定多媒体经流单元的音视频同步性能的延时差。
可选地,所述经由视频编辑工具播放所述第一音视频数据及第二音视频数据,并根据所述第一音视频数据和所述第二音视频数据的时间标记及音视频数据特征匹配,检测经过所述多媒体经流单元处理前后的音视与视频同步性能的延时包括:
确定多个多媒体经流单元的音视频同步性能的延时差;
根据多个多媒体经流单元的音视频同步性能的平均延时差作为所述多媒体经流单元侧的音视频同步性能。
根据本发明的又一方面,还提供一种音视频同步性能测试装置,包括:
接收模块,用于获取多媒体经流单元接收接收来自源终端发送的具有时间标记的第一音视频数据;
发送模块,用于获取多媒体经流单元对所述的第一音视频数据进行处理后的用于发送至一目标终端的第二音视频数据;
性能测试模块,用于经由视频编辑工具播放所述第一音视频数据及第二音视频数据,并根据所述第一音视频数据和所述第二音视频数据的时间标记及音视频数据特征匹配,检测经过所述多媒体经流单元处理前后的音视与视频同步性能的延时。
根据本发明的又一方面,还提供一种电子设备,所述电子设备包括:处理器;存储介质,其上存储有计算机程序,所述计算机程序被所述处理器运行时执行如上所述的步骤。
根据本发明的又一方面,还提供一种存储介质,所述存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行如上所述的步骤。
由此可见,本发明提供的方案,与现有技术相比,具有如下优势:
通过储存多媒体经流单元收发侧的码流中,然后播放里面的内容,通过显示的画面和声音进行音视频同步性能的评估。该方法/装置集成复杂度比较低,只需要在处理单元收发侧添加储存模块。且该方法/装置适用于各类媒体流经模块,因此该方法适用性比较广。而且该测试装置使用较为灵活简单,在通过控制命令保存音视频码流之后,只需要经由常用的播放工具播放。分析解码数据所显示的视频画面和播放的声音,就可以对音视频的同步性能进行评估,测试结果较为清晰直观。
附图说明
通过参照附图详细描述其示例实施方式,本发明的上述和其它特征及优点将变得更加明显。
图1示出了根据本发明实施例的音视频同步性能测试方法的流程图。
图2示出了根据本发明具体实施例的确定多媒体经流单元的音视频同步性能的延时差的流程图。
图3示出了根据本发明另一具体实施例的确定多媒体经流单元的音视频同步性能的延时差的流程图。
图4示出了根据本发明实施例的音视频同步性能测试装置的模块图。
图5示意性示出本公开示例性实施例中一种计算机可读存储介质示意图。
图6示意性示出本公开示例性实施例中一种电子设备示意图。
具体实施方式
现在将附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的实施方式;相反,提供这些实施方式使得本发明将全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的结构,因而将省略对它们的重复描述。
在上述问题的背景下,为了有效准确的测试视频会议中尤其是多媒体经流单元(因为终端侧的同步性能,可以通过点对点通信测试评估,而平台侧没有较直观的测试方式)音视频同步性能,本发明提出了一种音视频同步性能测试方法、装置、电子设备、存储介质,用于测试多点控制单元中平台侧的音视频同步性能。该方法测试结果准确,非常有助于后续优化多媒体经流单元(例如,多点控制单元)的内部结构,从而能够更好的提升视频会议的实际体验。
本发明提供一种音视频同步性能测试方法、装置、电子设备、存储介质,实现多媒体经流单元侧的音视频同步性能测试。
首先参见图1,图1示出了根据本发明实施例的音视频同步性能测试方法的流程图。图1共示出了4个步骤:
步骤S110:获取多媒体经流单元接收的来自源终端发送的具有时间标记的第一音视频数据。
具体而言,具有时间标记的视频源可以使用摄像头采集带秒表(例如精确到毫秒)的图像获得,使用带有时间标记的视频源的可以为了便于后续评估进出多点控制单元前后的音视频同步性能。在一些优选地实施例中,视频源中的音频数据为可以从频谱图上肉眼可区分(或可供计算机自动区分)前后的数据,使用有区分度的语音是为了方便后续对音视频同步性能进行评估。
具体而言,在步骤S110之前,源终端和目标终端加入视频会议。
步骤S120:获取所述多媒体经流单元对该具有时间标记的第一音视频数据进行处理后的用于发送至一目标终端的第二音视频数据。
具体而言,多媒体经流单元对第一音视频数据中的视频部分进行处理,包括解码、合成、编码等操作过程,对第一音视频数据中的音频部分进行处理,包括解码、混音、编码等操作过程,将处理完成后的音视频数据作为第二音视频数据发送给目的终端。可以理解,由于第一音视频数据具有时间标记(图向中带有表秒),处理后的第二音视频数据也具有时间标记。
具体而言,在步骤S120之后和步骤S140之前还可以包括步骤S130,步骤S130:所述多媒体经流单元接收一储存命令,以储存所述第一音视频数据及所述第二音视频数据。
具体而言,可以分别以独立线程将所述第一音视频数据及所述第二音视频数据写入两个第一格式的文件中。进一步地,所述储存指令包括所储存的时长及写入所述第一音视频数据及所述第二音视频数据的通道号。
在一些具体实施例中,以多点控制单元(作为多媒体经流单元)为例,于多点控制单元发送和接收侧在接收到存储命令时,同时将接收侧和发送侧指定端口的所述第一音视频数据及所述第二音视频数据获取并写入到两个ASF(Advanced Streaming Format高级串流格式)封装格式(作为第一格式)的文件中。具体而言,在将码流写入ASF文件时,需要在独立的线程进行写入操作,否则易影响原系统的性能与测试结果的准确性。进一步地,在多点控制单元中添加控制命令,该控制命令的功能为,在接收储存命令时,同时打开接收侧和发送侧的写ASF开关,并指定存储码流的时长和通道号,在存储完指定时长的码流之后,关闭开关。以上仅仅是示意性地描述本发明的一个实施例,本发明并非以此为限,例如所述的第一格式并非限定为ASF格式。
步骤S140:经由视频编辑工具播放所述第一音视频数据及第二音视频数据,并根据所述第一音视频数据和所述第二音视频数据的时间标记及音视频数据特征匹配,检测经过所述多媒体经流单元处理前后的音视与视频同步性能的延时。
具体而言,在一些实施例中,上述步骤S140的具体步骤可以参见图2,图2共示出3个步骤:
步骤S210:经由视频编辑工具播放所述第一音视频数据,随机截取一时刻的所述第一音视频数据的图像/音频特征,确定所述视频编辑工具播放截取该图像/音频特征的第一时刻;
步骤S220:经由视频编辑工具播放所述第二音视频数据,于所述第二音视频数据中确定匹配所述图像/音频特征的第二时刻;
步骤S230:至少根据所述第一时刻及所述第二时刻之差确定多媒体经流单元的音视频同步性能的延时差。
进一步地,前述步骤S210至步骤S230描述了以此随机截取获得的延时差,本发明可以通过多个延时差来量化所述多媒体经流单元侧的音视频同步性能。例如,可以通过如下步骤来实现:确定多个多媒体经流单元的音视频同步性能的延时差,每个延时差通过一次步骤S210至步骤S230的执行来实现;根据多个多媒体经流单元的音视频同步性能的平均延时差作为所述多媒体经流单元侧的音视频同步性能。
具体而言,在另一些实施例中,上述步骤S140的具体步骤可以参见图3,图3共示出7个步骤:
步骤S310:经由视频编辑工具录制所述第一音视频数据获得时间轴与所述第一音视频数据对应的第三音视频数据;
步骤S320:经由视频编辑工具录制所述第二音视频数据获得时间轴与所述第二音视频数据对应的第四音视频数据,
步骤S330:经由视频编辑工具播放所述第一音视频数据,随机截取一时刻的所述第一音视频数据的图像,确定所述视频编辑工具播放截取该图像的第一时刻及该图像对应的所述第一音视频数据的第一时间标记;
步骤S340:经由视频编辑工具打开第三音视频数据,获取所述第三音视频数据的第一时刻的音频特征;
步骤S350:经由视频编辑工具播放所述第二音视频数据,于所述第二音视频数据中确定具有与所述第一时间标记相同的第二时间标记的图像被播放的准第二时刻;
步骤S360:经由视频编辑工具打开第四音视频数据,于所述第四音视频数据邻近准第二时刻确定与所述音频特征匹配的第二时刻;
步骤S370:至少根据所述第一时刻及所述第二时刻之差确定多媒体经流单元的音视频同步性能的延时差。
下面以一个具体实施例来说明上述步骤,首先,在本地计算机上关闭其他的声音输入信号(为了去除其他声音的输入对后续录制的干扰),打开视频编辑工具,例如,音频编辑软件Adobe Audition(本发明并非以此为限),配置音频录制功能,使录制参数调至和第一音视频数据(第一格式)中音频参数相同,开启录制开关,此时播放第一音视频数据(第一格式)文件,通过Adobe Audition录制得到第三音视频数据(第二格式),裁剪掉录制后开始无音频信号输入的片段。此时,通过带有时间标记的第一音视频数据(第一格式)可以与第三音视频数据(第二格式)在时间轴上对应起来。并对第二音视频数据(第一格式)执行与第一音视频数据(第一格式)同样的操作,得到第四音视频数据(第二格式)。
然后,播放第一音视频数据(第一格式),随机截取一个画面,记录该画面上秒表显示的时间标记I1,并记录该图像在第一音视频数据(第一格式)文件中的第一时刻T1,使用音频编辑软件Adobe Audition打开第三音视频数据(第二格式)获得到第一时刻T1音频对应的波形与频谱W(作为音频特征)。播放第二音视频数据(第一格式),找到与第一时间标记I1对应的一帧视频,并记录该图像在第二音视频数据(第一格式)文件中的准第二时刻T2’,打开第四音视频数据(第二格式),从准第二时刻T2’附近找到与音频特征W最接近的波形和频谱,得到该波形和频谱对应的第二时刻T2。|T2-T1|即为经过多点控制单元前后音视频同步性能的延时差。若T2-T1小于0,则图像延迟于声音。若T2-T1大于0,则声音延迟于图像。若T2-T1近似于0,则是理想状态,声音和图像基本同步。以上各个步骤可由计算机自动完成。其中,第一视频数据和第二视频数据的时间标记可以是音视频数据的图像中嵌入的用于表示时间的秒表(例如可以在采集时就根据采集的时间嵌入在图像中);所述时刻表示各视频数据在播放时,播放工具所显示的播放时刻。
以上仅仅是示意性地描述本发明的实施例,本发明并非以此为限。
由此可见,本发明提供的方案,与现有技术相比,具有如下优势:
通过储存多媒体经流单元收发侧的码流中,然后播放里面的内容,通过显示的画面和声音进行音视频同步性能的评估。该方法集成复杂度比较低,只需要在处理单元收发侧添加储存模块。且该方法适用于各类媒体流经模块,因此该方法适用性比较广。而且该测试方法使用较为灵活简单,在通过控制命令保存音视频码流之后,只需要经由常用的播放工具播放。分析解码数据所显示的视频画面和播放的声音,就可以对音视频的同步性能进行评估,测试结果较为清晰直观。
下面结合图4描述本发明提供的音视频同步性能测试装置。音视频同步性能测试装置400包括接收模块401、发送模块402及性能测试模块404。
接收模块401用于获取多媒体经流单元接收接收来自源终端发送的具有时间标记的第一音视频数据;
发送模块402用于获取多媒体经流单元对所述的第一音视频数据进行处理后的用于发送至一目标终端的第二音视频数据;
性能测试模块404用于经由视频编辑工具播放所述第一音视频数据及第二音视频数据,并根据所述第一音视频数据和所述第二音视频数据的时间标记及音视频数据特征匹配,检测经过所述多媒体经流单元处理前后的音视与视频同步性能的延时。
由此可见,本发明提供的方案,与现有技术相比,具有如下优势:
通过储存多媒体经流单元收发侧的码流中,然后播放里面的内容,通过显示的画面和声音进行音视频同步性能的评估。该装置集成复杂度比较低,只需要在处理单元收发侧添加储存模块。且该装置适用于各类媒体流经模块,因此该方法适用性比较广。而且该测试装置使用较为灵活简单,在通过控制命令保存音视频码流之后,只需要经由常用的播放工具播放。分析解码数据所显示的视频画面和播放的声音,就可以对音视频的同步性能进行评估,测试结果较为清晰直观。
本发明可以通过软件、硬件、固件及其任意结合的方式实现音视频同步性能测试装置。图4仅仅是示意性的示出本发明提供的音视频同步性能测试装置,在不违背本发明构思的前提下,模块的拆分、合并、增加都在本发明的保护范围之内。
在本公开的示例性实施例中,还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被例如处理器执行时可以实现上述任意一个实施例中所述音视频同步性能测试方法的步骤。在一些可能的实施方式中,本发明的各个方面还可以实现为一种程序产品的形式,其包括程序代码,若所述程序产品在终端设备上运行时,所述程序代码用于使所述终端设备执行本说明书上述音视频同步性能测试方法部分中描述的根据本发明各种示例性实施方式的步骤。
参考图5所示,描述了根据本发明的实施方式的用于实现上述方法的程序产品800,其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在终端设备,例如个人电脑上运行。然而,本发明的程序产品不限于此,在本文件中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适若的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在租户计算设备上执行、部分地在租户设备上执行、作为一个独立的软件包执行、部分在租户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到租户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
在本公开的示例性实施例中,还提供一种电子设备,该电子设备可以包括处理器,以及用于存储所述处理器的可执行指令的存储器。其中,所述处理器配置为经由执行所述可执行指令来执行上述任意一个实施例中所述音视频同步性能测试方法的步骤。
所属技术领域的技术人员能够理解,本发明的各个方面可以实现为系统、方法或程序产品。因此,本发明的各个方面可以具体实现为以下形式,即:完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等),或硬件和软件方面结合的实施方式,这里可以统称为“电路”、“模块”或“系统”。
下面参照图6来描述根据本发明的这种实施方式的电子设备600。图6显示的电子设备600仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图6所示,电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于:至少一个处理单元610、至少一个存储单元620、连接不同系统组件(包括存储单元620和处理单元610)的总线630、显示单元640等。
其中,所述存储单元存储有程序代码,所述程序代码可以被所述处理单元610执行,使得所述处理单元610执行本说明书上述音视频同步性能测试方法部分中描述的根据本发明各种示例性实施方式的步骤。例如,所述处理单元610可以执行如图1中所示的步骤。
所述存储单元620可以包括易失性存储单元形式的可读介质,例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202,还可以进一步包括只读存储单元(ROM)6203。
所述存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204,这样的程序模块6205包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线630可以为表示几类总线结构中的一种或多种,包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信,还可与一个或者多个使得租户能与该电子设备600交互的设备通信,和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且,电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应若明白,尽管图中未示出,可以结合电子设备600使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、或者网络设备等)执行根据本公开实施方式的上述音视频同步性能测试方法。
由此可见,本发明提供的方案,与现有技术相比,具有如下优势:
通过储存多媒体经流单元收发侧的码流中,然后播放里面的内容,通过显示的画面和声音进行音视频同步性能的评估。该方法/装置集成复杂度比较低,只需要在处理单元收发侧添加储存模块。且该方法/装置适用于各类媒体流经模块,因此该方法适用性比较广。而且该测试装置使用较为灵活简单,在通过控制命令保存音视频码流之后,只需要经由常用的播放工具播放。分析解码数据所显示的视频画面和播放的声音,就可以对音视频的同步性能进行评估,测试结果较为清晰直观。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由所附的权利要求指出。
Claims (10)
1.一种音视频同步性能测试方法,其特征在于,包括:
获取多媒体经流单元接收的来自源终端发送的具有时间标记的第一音视频数据;
获取所述多媒体经流单元对所述第一音视频数据进行处理后的用于发送至一目标终端的第二音视频数据,所述第二音视频数据具有时间标记;
经由视频编辑工具播放所述第一音视频数据及第二音视频数据,并根据所述第一音视频数据和所述第二音视频数据的时间标记及音视频数据特征匹配,检测经过所述多媒体经流单元处理前后的音视与视频同步性能的延时。
2.如权利要求1所述的音视频同步性能测试方法,其特征在于,还包括:
分别以独立线程将所述第一音视频数据及所述第二音视频数据写入两个第一格式的文件中。
3.如权利要求2所述的音视频同步性能测试方法,其特征在于,还包括:
接收一储存命令,以储存所述第一音视频数据及所述第二音视频数据,其中,所述储存指令包括所储存的时长及写入所述第一音视频数据及所述第二音视频数据的通道号。
4.如权利要求1所述的音视频同步性能测试方法,其特征在于,所述经由视频编辑工具播放所述第一音视频数据及第二音视频数据,并根据所述第一音视频数据和所述第二音视频数据的时间标记及音视频数据特征匹配,检测经过所述多媒体经流单元处理前后的音视与视频同步性能的延时包括:
经由视频编辑工具播放所述第一音视频数据,随机截取一时刻的所述第一音视频数据的图像/音频特征,确定所述视频编辑工具播放截取该图像/音频特征的第一时刻;
经由视频编辑工具播放所述第二音视频数据,于所述第二音视频数据中确定匹配所述图像/音频特征的第二时刻;
至少根据所述第一时刻及所述第二时刻之差确定多媒体经流单元的音视频同步性能的延时差。
5.如权利要求1所述的音视频同步性能测试方法,其特征在于,所述经由视频编辑工具播放所述第一音视频数据及第二音视频数据,并根据所述第一音视频数据和所述第二音视频数据的时间标记及音视频数据特征匹配,检测经过所述多媒体经流单元处理前后的音视与视频同步性能的延时包括:
经由视频编辑工具录制所述第一音视频数据获得时间轴与所述第一音视频数据对应的第三音视频数据;
经由视频编辑工具录制所述第二音视频数据获得时间轴与所述第二音视频数据对应的第四音视频数据,其中,所述第三音视频数据及所述第四音视频数据为第二格式。
6.如权利要求5所述的音视频同步性能测试方法,其特征在于,所述经由视频编辑工具播放所述第一音视频数据及第二音视频数据,并根据所述第一音视频数据和所述第二音视频数据的时间标记及音视频数据特征匹配,检测经过所述多媒体经流单元处理前后的音视与视频同步性能的延时还包括:
经由视频编辑工具播放所述第一音视频数据,随机截取一时刻的所述第一音视频数据的图像,确定所述视频编辑工具播放截取该图像的第一时刻及该图像对应的所述第一音视频数据的第一时间标记;
经由视频编辑工具打开第三音视频数据,获取所述第三音视频数据的第一时刻的音频特征;
经由视频编辑工具播放所述第二音视频数据,于所述第二音视频数据中确定具有与所述第一时间标记相同的第二时间标记的图像被播放的准第二时刻;
经由视频编辑工具打开第四音视频数据,于所述第四音视频数据邻近准第二时刻确定与所述音频特征匹配的第二时刻;
至少根据所述第一时刻及所述第二时刻之差确定多媒体经流单元的音视频同步性能的延时差。
7.如权利要求4或6所述的音视频同步性能测试方法,其特征在于,所述经由视频编辑工具播放所述第一音视频数据及第二音视频数据,并根据所述第一音视频数据和所述第二音视频数据的时间标记及音视频数据特征匹配,检测经过所述多媒体经流单元处理前后的音视与视频同步性能的延时包括:
确定多个多媒体经流单元的音视频同步性能的延时差;
根据多个多媒体经流单元的音视频同步性能的平均延时差作为所述多媒体经流单元侧的音视频同步性能。
8.一种音视频同步性能测试装置,其特征在于,包括:
接收模块,用于获取多媒体经流单元接收接收来自源终端发送的具有时间标记的第一音视频数据;
发送模块,用于获取多媒体经流单元对所述的第一音视频数据进行处理后的用于发送至一目标终端的第二音视频数据;
性能测试模块,用于经由视频编辑工具播放所述第一音视频数据及第二音视频数据,并根据所述第一音视频数据和所述第二音视频数据的时间标记及音视频数据特征匹配,检测经过所述多媒体经流单元处理前后的音视与视频同步性能的延时。
9.一种电子设备,其特征在于,所述电子设备包括:
处理器;
存储介质,其上存储有计算机程序,所述计算机程序被所述处理器运行时执行如权利要求1至7任一项所述的步骤。
10.一种存储介质,其特征在于,所述存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行如权利要求1至7任一项所述的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910145445.1A CN109842795B (zh) | 2019-02-28 | 2019-02-28 | 音视频同步性能测试方法、装置、电子设备、存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910145445.1A CN109842795B (zh) | 2019-02-28 | 2019-02-28 | 音视频同步性能测试方法、装置、电子设备、存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109842795A true CN109842795A (zh) | 2019-06-04 |
CN109842795B CN109842795B (zh) | 2020-08-11 |
Family
ID=66885100
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910145445.1A Active CN109842795B (zh) | 2019-02-28 | 2019-02-28 | 音视频同步性能测试方法、装置、电子设备、存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109842795B (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110324566A (zh) * | 2019-07-05 | 2019-10-11 | 苏州科达科技股份有限公司 | 视频会议中声音延时的测试方法、测试装置和测试设备 |
CN110585702A (zh) * | 2019-09-17 | 2019-12-20 | 腾讯科技(深圳)有限公司 | 一种音画同步数据处理方法、装置、设备及介质 |
CN111031274A (zh) * | 2019-11-14 | 2020-04-17 | 杭州当虹科技股份有限公司 | 一种在不加入视频会话的前提下观看视频会议的方法 |
CN112447185A (zh) * | 2019-08-30 | 2021-03-05 | 广州虎牙科技有限公司 | 音频同步误差测试方法、装置、服务器及可读存储介质 |
CN113810680A (zh) * | 2021-09-16 | 2021-12-17 | 深圳市欢太科技有限公司 | 音频同步检测方法及装置、计算机可读介质和电子设备 |
CN113825022A (zh) * | 2021-09-03 | 2021-12-21 | 成都欧珀通信科技有限公司 | 一种播放控制状态检测方法、装置、存储介质及电子设备 |
CN114915892A (zh) * | 2022-05-10 | 2022-08-16 | 深圳市华冠智联科技有限公司 | 一种音频设备音频延迟测试方法、装置及终端设备 |
WO2023036275A1 (zh) * | 2021-09-09 | 2023-03-16 | 北京字跳网络技术有限公司 | 视频处理方法、装置、电子设备、介质及程序产品 |
WO2023240927A1 (zh) * | 2022-06-14 | 2023-12-21 | 天翼数字生活科技有限公司 | 一种终端能力测试系统、方法、设备和存储介质 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101742357A (zh) * | 2009-12-29 | 2010-06-16 | 北京牡丹电子集团有限责任公司 | 数字电视设备音视频同步误差的测量方法 |
CN103237191A (zh) * | 2013-04-16 | 2013-08-07 | 成都飞视美视频技术有限公司 | 在视频会议中同步推送音视频的方法 |
CN103945166A (zh) * | 2012-11-01 | 2014-07-23 | 波利康公司 | 用于在媒体中继会议中同步音频和视频流的方法和系统 |
CN105049917A (zh) * | 2015-07-06 | 2015-11-11 | 深圳Tcl数字技术有限公司 | 录制音视频同步时间戳的方法和装置 |
CN105100794A (zh) * | 2014-05-13 | 2015-11-25 | 深圳Tcl新技术有限公司 | 音视频同步测试方法及装置 |
US20160165227A1 (en) * | 2014-12-04 | 2016-06-09 | Arris Enterprises, Inc. | Detection of audio to video synchronization errors |
CN105898505A (zh) * | 2016-04-27 | 2016-08-24 | 北京小米移动软件有限公司 | 视频即时通讯中测试音视频同步的方法、装置及系统 |
US10158927B1 (en) * | 2012-09-05 | 2018-12-18 | Google Llc | Systems and methods for detecting audio-video synchronization using timestamps |
CN109194899A (zh) * | 2018-11-22 | 2019-01-11 | 维沃移动通信有限公司 | 一种音视频同步的方法和终端 |
CN109309831A (zh) * | 2018-12-13 | 2019-02-05 | 苏州科达科技股份有限公司 | 视频会议中视频延时的测试方法及装置 |
-
2019
- 2019-02-28 CN CN201910145445.1A patent/CN109842795B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101742357A (zh) * | 2009-12-29 | 2010-06-16 | 北京牡丹电子集团有限责任公司 | 数字电视设备音视频同步误差的测量方法 |
US10158927B1 (en) * | 2012-09-05 | 2018-12-18 | Google Llc | Systems and methods for detecting audio-video synchronization using timestamps |
CN103945166A (zh) * | 2012-11-01 | 2014-07-23 | 波利康公司 | 用于在媒体中继会议中同步音频和视频流的方法和系统 |
CN103237191A (zh) * | 2013-04-16 | 2013-08-07 | 成都飞视美视频技术有限公司 | 在视频会议中同步推送音视频的方法 |
CN105100794A (zh) * | 2014-05-13 | 2015-11-25 | 深圳Tcl新技术有限公司 | 音视频同步测试方法及装置 |
US20160165227A1 (en) * | 2014-12-04 | 2016-06-09 | Arris Enterprises, Inc. | Detection of audio to video synchronization errors |
CN105049917A (zh) * | 2015-07-06 | 2015-11-11 | 深圳Tcl数字技术有限公司 | 录制音视频同步时间戳的方法和装置 |
CN105898505A (zh) * | 2016-04-27 | 2016-08-24 | 北京小米移动软件有限公司 | 视频即时通讯中测试音视频同步的方法、装置及系统 |
CN109194899A (zh) * | 2018-11-22 | 2019-01-11 | 维沃移动通信有限公司 | 一种音视频同步的方法和终端 |
CN109309831A (zh) * | 2018-12-13 | 2019-02-05 | 苏州科达科技股份有限公司 | 视频会议中视频延时的测试方法及装置 |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110324566A (zh) * | 2019-07-05 | 2019-10-11 | 苏州科达科技股份有限公司 | 视频会议中声音延时的测试方法、测试装置和测试设备 |
CN110324566B (zh) * | 2019-07-05 | 2020-12-25 | 苏州科达科技股份有限公司 | 视频会议中声音延时的测试方法、测试装置和测试设备 |
CN112447185A (zh) * | 2019-08-30 | 2021-03-05 | 广州虎牙科技有限公司 | 音频同步误差测试方法、装置、服务器及可读存储介质 |
CN112447185B (zh) * | 2019-08-30 | 2024-02-09 | 广州虎牙科技有限公司 | 音频同步误差测试方法、装置、服务器及可读存储介质 |
CN110585702A (zh) * | 2019-09-17 | 2019-12-20 | 腾讯科技(深圳)有限公司 | 一种音画同步数据处理方法、装置、设备及介质 |
CN111031274A (zh) * | 2019-11-14 | 2020-04-17 | 杭州当虹科技股份有限公司 | 一种在不加入视频会话的前提下观看视频会议的方法 |
CN113825022A (zh) * | 2021-09-03 | 2021-12-21 | 成都欧珀通信科技有限公司 | 一种播放控制状态检测方法、装置、存储介质及电子设备 |
CN113825022B (zh) * | 2021-09-03 | 2023-08-18 | 成都欧珀通信科技有限公司 | 一种播放控制状态检测方法、装置、存储介质及电子设备 |
WO2023036275A1 (zh) * | 2021-09-09 | 2023-03-16 | 北京字跳网络技术有限公司 | 视频处理方法、装置、电子设备、介质及程序产品 |
CN113810680A (zh) * | 2021-09-16 | 2021-12-17 | 深圳市欢太科技有限公司 | 音频同步检测方法及装置、计算机可读介质和电子设备 |
CN114915892A (zh) * | 2022-05-10 | 2022-08-16 | 深圳市华冠智联科技有限公司 | 一种音频设备音频延迟测试方法、装置及终端设备 |
WO2023240927A1 (zh) * | 2022-06-14 | 2023-12-21 | 天翼数字生活科技有限公司 | 一种终端能力测试系统、方法、设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN109842795B (zh) | 2020-08-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109842795A (zh) | 音视频同步性能测试方法、装置、电子设备、存储介质 | |
US11151892B2 (en) | Internet teaching platform-based following teaching system | |
US20200286396A1 (en) | Following teaching system having voice evaluation function | |
US10373510B2 (en) | Apparatus, method, and system of insight-based cognitive assistant for enhancing user's expertise in learning, review, rehearsal, and memorization | |
JP6713034B2 (ja) | スマートテレビの音声インタラクティブフィードバック方法、システム及びコンピュータプログラム | |
US20190340944A1 (en) | Multimedia Interactive Teaching System and Method | |
CN104408983B (zh) | 基于录播设备的智能教学信息处理系统 | |
CN209980508U (zh) | 一种智慧黑板,及智慧教室的教学系统 | |
US20190228380A1 (en) | Systems and methods for logging and reviewing a meeting | |
JP2019003604A (ja) | ビデオベースの通信におけるコンテンツキュレーションのための方法、システム及びプログラム | |
CN108012173B (zh) | 一种内容识别方法、装置、设备和计算机存储介质 | |
RU2011135032A (ru) | Совместное использование видео | |
US20210104169A1 (en) | System and method for ai based skill learning | |
CN112399258A (zh) | 直播回放视频生成播放方法、装置、存储介质及电子设备 | |
CN109309831A (zh) | 视频会议中视频延时的测试方法及装置 | |
US9525896B2 (en) | Automatic summarizing of media content | |
CN102655585A (zh) | 视频会议系统及其时延测试方法、装置和系统 | |
US20160275810A1 (en) | Integrated interactively teaching platform system | |
CN108460120A (zh) | 数据保存方法、装置、终端设备及存储介质 | |
US20170092333A1 (en) | Method and apparatus to extract key video frames from online education | |
CN109669831A (zh) | 一种测试方法及电子设备 | |
CN105810035A (zh) | 情景互动式认知教学系统及其教学方法 | |
US20130209070A1 (en) | System and Method for Creating Composite Video Test Results for Synchronized Playback | |
CN108109088B (zh) | 一种停顿事件的处理方法和设备 | |
US11216653B2 (en) | Automated collection and correlation of reviewer response to time-based media |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |