CN107968942A - 一种直播平台音视频时间差测量方法与系统 - Google Patents
一种直播平台音视频时间差测量方法与系统 Download PDFInfo
- Publication number
- CN107968942A CN107968942A CN201711209866.3A CN201711209866A CN107968942A CN 107968942 A CN107968942 A CN 107968942A CN 201711209866 A CN201711209866 A CN 201711209866A CN 107968942 A CN107968942 A CN 107968942A
- Authority
- CN
- China
- Prior art keywords
- time
- timing
- sound signal
- alarm sound
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Signal Processing For Recording (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明提供了一种直播平台音视频时间差测量方法与系统，方法包括：计时报警装置根据预设的时间精度进行计时，并所述计时生成第一计时信息图像；在计时过程中生成第一报警声音信号；时间差获取装置监测播放器播放的直播音视频，当捕捉到声卡中有第一报警声音信号时，保存显卡中的当前图像；对当前图像进行图像识别处理得到第一计时时间；根据第一计时时间与实际报警时间获取直播音视频的时间差。通过本发明实施例提供的方法，可以更精准地测量直播平台的音视频时间差，降低了对测试人员的技术要求，并且本方法完全从用户的角度进行测试，测试结果更接近用户的真实感受。
Description
技术领域
本发明涉及网络通信技术领域，尤其涉及一种直播平台音视频时间差测量方法与系统。
背景技术
网络直播是可以同一时间透过网络系统在不同的交流平台观看影片，是一种新兴的网络社交方式，网络直播平台也成为了一种崭新的社交媒体。主要分为实时直播游戏、电影或电视剧等。
国内“网络直播”大致分两类，一是在网上提供电视信号的观看，例如各类体育比赛和文艺活动的直播，这类直播原理是将电视(模拟)信号通过采集，转换为数字信号输入电脑，实时上传网站供人观看，相当于“网络电视”；另一类则是真正意义上的“网络直播”：在现场架设独立的信号采集设备(音频+视频)导入导播端(导播设备或平台)，再通过网络上传至服务器，发布至网址供人观看。这类网络直播较前者的最大区别就在于直播的自主性：独立可控的音视频采集，完全不同于转播电视信号的单一(况且观看效果不如电视观看的流畅)收看。同时可以为政务公开会议、群众听证会、法庭庭审直播、公务员考试培训、产品发布会、企业年会、行业年会、展会直播等电视媒体难以直播的应用进行网络直播。
视频直播平台的架构主要包括开播装置、CDN节点与播放器；开播装置一般运行于手机或者PC上，它的作用是定时从声卡或麦克风采集声音数据同时从显卡或摄像头采集图像数据，通过视频编码技术将视频与音频数据混合封装成为便于进行网络传输的视频流，并上传至直播平台指定的CDN节点上(CDN节点为CDN服务供应商的某一台服务器)。CDN节点之间会实时同步开播装置上传的视频。视频播放器一般也运行于手机或者PC上，它用于从CDN节点拉取用户所选视频的视频流数据，并通过视频解码技术将视频流进行解析，分别将图像数据传送至设备的显卡、将声音数据传送至设备的声卡，这样用户便可以在该设备上观看直播视频了。
视频流是由无数图像帧与音频帧数据共同组成的数据流，视频编码就是将连续的图像帧与音频帧根据一定的编码规则结合在一起，过程中会在每一帧图像或一组图像帧的数据中打上时间戳，同时将与图像对应的音频数据也打上相同的时间戳，用于表示数据中视频数据与音频数据的对应关系；视频解码就是将视频流数据根据一定的规则将视频帧与音频帧进行区分，根据时间戳的对应关系同时将图像与音频发送至输出设备，如声卡、显卡中，进行播放。视频编码一般是在开播装置中实现，视频解码一般是在视频播放器中实现。
对于视频直播平台的用户来说，视频内容是最核心的体验，而音视频不同步现象是最影响用户的视频体验的因素之一，我们可以想象，如果我们在观看歌舞节目时，歌声与口型不对应、舞步的节拍与音乐的节奏格格不入是多么难以忍受的体验，故音视频不同步的测试是视频直播产品质量保障工作中的重要一环。
在采集图像和音频的过程、编码的过程、视频流传输的过程、解码的过程、图像渲染和音频播放的过程中都可能引入音视频之间的误差。采集图像和音频、图像渲染和音频播放的过程中引入音视频时间差基本是由硬件性能不足而引起，编码解码过程中引入的误差多是由于系统设计不合理或算法bug，传输过程中引入的误差是由于网络传输过程中的丢包引起。
时间戳时差分析法是常见的测试方法，具体为通过制造一个包含特定的时间戳信息视频信号、音频信号的音视频源(文件)，通过分析从播放器播放出的视频流中该音、视频帧的时间戳计算时间差。例如已知10s的视频文件中包含250帧图像和250帧音频，视频帧与音频帧一一对应，将该文件通过播放器播放，若当音频播放至200帧时，视频只播放至100帧，那么音视频时间差为100帧的时间，1秒包含了25帧图像及25帧音频，那么100帧是4s的时间，即音频比视频提前了4s的时间播放。
本申请的发明人发现，时间戳时差分析法对于直播平台来说至少存在两个缺点：
第一，直播平台的音视频直播流多是由开播装置定时进行采集显示器画面及声卡音频编码生成FLV等视频文件，开播装置采集和编码的过程时已经会引入音视频之间一定的时间差，该时间差是必定存在的，该时间差是无法体现在时间戳上的，使用上述方法是无法测试到的；
第二，需要依赖视频流文件的信息进行计算，播放时的视频与音频帧分析的过程是需要在播放器中进行执行的，这种分析只有播放器的开发者容易做到，进行黑盒测试的专职测试人员是很难进行测试的。
发明内容
本发明的目的是提出一种直播平台音视频时间差测量方法与系统，可以更精准地测量直播平台的音视频时间差，同时本方法基于黑盒测试的形式，降低了对测试人员的技术要求，测试结果更接近用户的真实感受。
为了达到上述的目的，本发明实施例一方面提供了一种直播平台音视频时间差测量方法，包括：
计时报警装置根据预设的时间精度进行计时，并根据所述计时生成第一计时信息图像；
计时报警装置在计时过程中生成第一报警声音信号并将所述第一报警声音信号生成时的计时时间作为所述第一报警声音信号的实际报警时间；其中，所述第一计时信息图像与所述第一报警声音信号分别用于被直播平台的开播装置的显卡和声卡获取而生成直播音视频；
时间差获取装置监测播放器播放的从所述直接平台获取的所述直播音视频，当检测到声卡中有所述第一报警声音信号时，获取显卡中的当前图像作为对应于所述第一报警声音信号的图像；
时间差获取装置对所述对应于所述第一报警声音信号的图像进行图像识别处理得到第一计时时间；
时间差获取装置根据所述第一计时时间与所述第一报警声音信号的实际报警时间获取所述直播音视频中的音频和视频之间的时间差。
优选地，所述计时报警装置在计时过程中生成第一报警声音信号并以所述第一报警声音信号生成时的计时时间作为所述第一报警声音信号的实际报警时间，具体为：
所述计时报警装置在计时达到预设的计时时间点时生成所述第一报警声音信号并以所述第一报警声音信号生成时的计时时间作为所述第一报警声音信号的实际报警时间。
优选地，所述计时报警装置与所述开播装置运行于相同的硬件平台。
优选地，所述时间差获取装置与所述播放器运行于相同的硬件平台。
优选地，所述时间差获取装置根据所述第一计时时间与所述第一报警声音信号的实际报警时间获取所述直播音视频中的音频和视频之间的时间差，包括：
所述时间差获取装置将所述第一计时时间与所述第一报警声音信号的实际报警时间进行差值运算，得到待修正的时间差；
所述时间差获取装置将所述待修正的时间差与预设的时延参数进行差值运算，得到修正后的时间差，并将所述修正后的时间差作为所述直播音视频中的音频和视频之间的时间差；
其中，所述时延参数为所述时间差获取装置在检测到声卡有第一报警声音信号到获取显卡中的当前图像的过程所消耗的时间。
优选地，所述方法还包括：
时间差获取装置根据所述时间精度进行计时，并根据所述计时生成第二计时信息图像；
时间差获取装置在计时过程中生成第二报警声音信号并以所述第二报警声音信号生成时的计时时间作为所述第二报警声音信号的实际报警时间；
时间差获取装置检测到声卡中有所述第二报警声音信号时，获取显卡中的当前图像作为对应于所述第二报警声音信号的图像；
时间差获取装置对所述显卡中对应于所述第二报警声音信号的图像进行图像识别处理得到第二计时时间；
时间差获取装置将所述第二计时时间与所述第二报警声音信号的实际报警时间进行差值运算，并将得到的差值作为所述时延参数。
优选地，所述时间差获取装置在计时过程中生成第二报警声音信号并以所述第二报警声音信号生成时的计时时间作为所述第二报警声音信号的实际报警时间，具体为：
所述时间差获取装置在计时达到预设的计时时间点时生成第二报警声音信号并以所述第二报警声音信号生成时的计时时间作为所述第二报警声音信号的实际报警时间。
本发明实施例第二方面提供了一种直播平台音视频时间差测量系统，包括计时报警装置与时间差获取装置；
所述计时报警装置包括：
第一计时图像生成模块，用于根据预设的时间精度进行计时，并根据所述计时生成第一计时信息图像；
第一报警声音生成模块，用于在计时过程中生成第一报警声音信号并将所述第一报警声音信号生成时的计时时间作为所述第一报警声音信号的实际报警时间；其中，所述第一计时信息图像与所述第一报警声音信号分别用于被直播平台的开播装置的显卡和声卡获取而生成直播音视频；
时间差获取装置包括：
第一图像保存模块，用于监测播放器播放的从所述直接平台获取的所述直播音视频，当检测到声卡中有所述第一报警声音信号时，获取显卡中的当前图像作为对应于所述第一报警声音信号的图像；
第一图像识别模块，用于对所述对应于所述第一报警声音信号的图像进行图像识别处理得到第一计时时间；
时间差获取模块，用于根据所述第一计时时间与所述第一报警声音信号的实际报警时间获取所述直播音视频中的音频和视频之间的时间差。
优选地，所述第一报警声音生成模块具体用于在计时达到预设的计时时间点时生成所述第一报警声音信号并以所述第一报警声音信号生成时的计时时间作为所述第一报警声音信号的实际报警时间。
优选地，所述计时报警装置与所述开播装置运行于相同的硬件平台。
优选地，所述时间差获取装置与所述播放器运行于相同的硬件平台。
优选地，所述时间差获取模块包括：
第一时间差获取单元，用于将所述第一计时时间与所述第一报警声音信号的实际报警时间进行差值运算，得到待修正的时间差；
第二时间差获取单元，用于将所述待修正的时间差与预设的时延参数进行差值运算，得到修正后的时间差，并将所述修正后的时间差作为所述直播音视频中的音频和视频之间的时间差；
其中，所述时延参数为所述时间差获取装置在检测到声卡有第一报警声音信号到获取显卡中的当前图像的过程所消耗的时间。
优选地，所述时间差获取装置还包括：
第二计时图像生成模块，用于根据所述时间精度进行计时，并根据所述计时生成第二计时信息图像；
第二报警声音生成模块，用于在计时过程中生成第二报警声音信号并以所述第二报警声音信号生成时的计时时间作为所述第二报警声音信号的实际报警时间；
第二图像保存模块，用于在检测到声卡中有所述第二报警声音信号时，获取显卡中的当前图像作为对应于所述第二报警声音信号的图像；
第二图像识别模块，用于对所述显卡中对应于所述第二报警声音信号的图像进行图像识别处理得到第二计时时间；
时延参数获取模块，用于将所述第二计时时间与所述第二报警声音信号的实际报警时间进行差值运算，并将得到的差值作为所述时延参数。
优选地，所述第二报警声音生成模块用于在计时达到预设的计时时间点时生成第二报警声音信号并以所述第二报警声音信号生成时的计时时间作为所述第二报警声音信号的实际报警时间。
相比于现有技术，本发明实施例的有益效果在于：本发明实施例提供了一种直播平台音视频时间差测量方法与系统，方法包括：计时报警装置根据预设的时间精度进行计时，并根据所述计时生成第一计时信息图像；计时报警装置在计时过程中生成第一报警声音信号并将所述第一报警声音信号生成时的计时时间作为所述第一报警声音信号的实际报警时间；其中，所述第一计时信息图像与所述第一报警声音信号分别用于被直播平台的开播装置的显卡和声卡获取而生成直播音视频；时间差获取装置监测播放器播放的从所述直接平台获取的所述直播音视频，当检测到声卡中有所述第一报警声音信号时，获取显卡中的当前图像作为对应于所述第一报警声音信号的图像；时间差获取装置对所述对应于所述第一报警声音信号的图像进行图像识别处理得到第一计时时间；时间差获取装置根据所述第一计时时间与所述第一报警声音信号的实际报警时间获取所述直播音视频中的音频和视频之间的时间差。通过本发明实施例提供的方法，不仅可以测量音视频传输过程产生时间差，还可以测量开播装置采集和编码的过程产生的时间差，从而更精准地测量直播平台的音视频时间差，同时本方法基于黑盒测试的形式，测试人员无需熟知播放器的编解码的方式，降低了对测试人员的技术要求，并且本方法完全从用户的角度进行测试，测试结果更接近用户的真实感受。
附图说明
图1是本发明实施例提供的直播平台音视频时间差测量方法的流程示意图；
图2是本发明实施例提供的直播平台音视频时间差测量系统的结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1，是本发明实施例提供的直播平台音视频时间差测量方法的流程示意图，该方法包括以下步骤：
S1，计时报警装置根据预设的时间精度进行计时，并根据所述计时生成第一计时信息图像；
S2，计时报警装置在计时过程中生成第一报警声音信号并将所述第一报警声音信号生成时的计时时间作为所述第一报警声音信号的实际报警时间；其中，所述第一计时信息图像与所述第一报警声音信号分别用于被直播平台的开播装置的显卡和声卡获取而生成直播音视频；
S3，时间差获取装置监测播放器播放的从所述直接平台获取的所述直播音视频，当检测到声卡中有所述第一报警声音信号时，获取显卡中的当前图像作为对应于所述第一报警声音信号的图像；
S4，时间差获取装置对所述对应于所述第一报警声音信号的图像进行图像识别处理得到第一计时时间；
S5，时间差获取装置根据所述第一计时时间与所述第一报警声音信号的实际报警时间获取所述直播音视频中的音频和视频之间的时间差。
在步骤S1中，所述第一计时信息图像是指显示有当前计时时间的图像，可以通过图像识别技术识别到里面显示的计时时间。所述第一计时信息图像上的计时时间是随当前时间变化的，图像上的计时时间精确到所述时间精度，例如，时间精度取1ms。所述第一计时信息图像可以采用数字形式来表现当前计时时间，也可以采用毫秒针/秒针的形式来变现当前计时时间，只要能够以可视化的形式体现当前计时时间的方式都属于本发明的保护范围内。
在步骤S2中，生成第一报警声音信号的触发条件可以是在达到预设的计时时间点时生成，也可以是采用其他触发条件去生成，例如接收到人为输入的控制命令。在本发明实施例中，步骤S2具体为计时报警装置在计时达到预设的计时时间点时生成所述第一报警声音信号并以所述第一报警声音信号生成时的计时时间作为所述第一报警声音信号的实际报警时间。其中，预设的计时时间点可以是一个，也可以是多个。
更优选地，所述计时时间点为多个且任意相邻的两个计时时间点之间的时间差相等。当计时时间点为N个时，步骤S4中识别得到的第一计时时间也为N个并且一一对应，步骤S5得到的时间差也为N个。由于一段音视频在不同的时间点出现的时间差不同，通过设置多个所述时间点且任意相邻的两个时间点之间的时间差相等，可以使得测量更加精准全面。
例如：计时报警装置根据计时信息生成显示有计时时间的图像序列，图像序列中显示的计时时间根据时计而递增，设置计时报警装置在10s、20s、30s时各发出一声报警，使用开播装置直播计时报警装置产生的图像与声音。播放器播放3声报警声时，时间差获取装置分别获取当时的图像，可以对当时的图像进行保存，假设通过图像识别技术识别当时的图像中的时间信息，比如结果为10s20ms、20s0ms、29s960ms。那么测量出该直播平台的音视频时间差为20ms、0ms、-40ms，即第10s时视频比音频快20ms、第20s时音视频无时间差、第30s时音频比视频快40ms。这里的10s、20s、30s为所述第一报警声音信号的实际报警时间。
需要说明的是，开播装置与播放器为直播平台的固有结构，两者之间的数据传输为常规技术手段，因而不再赘述。
本发明实施例所提供的一种直播平台音视频时间差测量方法，由计时报警装置和时间差获取装置来分别执行，计时报警装置布置在与开播装置相同的一侧，负责产生第一计时信息图像以及第一报警声音信号，所述第一计时信息图像与第一报警声音信号加载到开播装置的直播音视频中并传输到播放器；时间差获取装置布置在播放器的一侧，负责检测所述第一报警声音信号，并通过识别对应于所述第一报警声音信号的图像来得到第一计时时间，最后根据所述第一计时时间与所述第一报警声音信号的实际报警时间获取所述直播音视频中的音频和视频之间的时间差。通过本发明实施例提供的方法，不仅可以测量音视频传输过程产生时间差，还可以测量开播装置采集和编码的过程产生的时间差，从而更精准地测量直播平台的音视频时间差，同时本方法基于黑盒测试的形式，测试人员无需熟知播放器的编解码的方式，降低了对测试人员的技术要求，并且本方法完全从用户的角度进行测试，测试结果更接近用户的真实感受。
在一种可选的实施方式中，所述计时报警装置与所述开播装置运行与不同的硬件平台。例如，所述开播装置运行与电脑上，所述计时报警装置运行于手机上；所述计时报警装置通过手机上的显示屏显示所述第一计时图像信息，并通过手机上的扬声器所述第一报警声音信号；所述开播装置通过摄像头获取所述第一计时信息图像并传输到显卡，通过麦克风获取所述第一报警声音信号并传输到声卡，之后通过视频编码技术将图像数据与音频数据混合封装成为便于进行网络传输的视频流，之后传输给播放器进行播放。
在另一种可选的实施方式中，所述计时报警装置与所述开播装置运行于相同的硬件平台。例如，所述计时报警装置与所述开播装置运行与同一台电脑上。在这种方式中，所述计时报警装置通过该电脑的显示器显示所述第一计时信息图像，并在通过该电脑的扬声器发出所述第一报警声音信号；所述开播装置通过声卡或麦克风获取所述第一报警声音信号，以及通过显卡获取所述第一计时信息图像，通过视频编码技术将图像数据与音频数据混合封装成为便于进行网络传输的视频流，之后传输给播放器进行播放。采用这种方式，可以完全采用软件程序来实现，在原来开播装置所在的硬件平台上增加具有计时报警装置相应的功能程序，无需另外增加硬件设备，降低了测试成本，并且具有较高的便利性。
在一种可选的实施方式中，所述时间差获取装置与所述播放器运行于不同的硬件平台。例如，所述播放器运行于电脑上，所述时间差获取装置运行于手机上。在这种方式中，所述播放器通过电脑上的显示器播放所述直播音视频的图像数据，并通过电脑上的扬声器播放所述直播音视频的音频数据；所述时间差获取装置通过手机的摄像头获取所述第一计时图像信息，并通过手机的麦克风获取所述第一报警声音信息，之后对所述对应于所述第一报警声音信号的图像进行图像识别处理得到第一计时时间，并根据所述第一计时时间与所述第一报警声音信号的实际报警时间获取所述直播音视频中的音频和视频之间的时间差。
在另一种可选的实施方式中，所述时间差获取装置与所述播放器运行于相同的硬件平台。例如，所述时间差获取装置与所述播放器运行于同一台电脑上。在这种方式中，所述播放器通过所述电脑上的显示器播放所述直播音视频的图像数据，并通过电脑上的扬声器播放所述直播音视频的音频数据；所述时间差获取装置通过显卡获取所述第一计时图像信息，并通过电脑上的麦克风或者声卡获取所述第一报警声音信息，之后对所述对应于所述第一报警声音信号的图像进行图像识别处理得到第一计时时间，并根据所述第一计时时间与所述第一报警声音信号的实际报警时间获取所述直播音视频中的音频和视频之间的时间差。采用这种方式，可以完全采用软件程序来实现，在原来播放器所在的硬件平台上增加具有时间差获取装置相应的功能程序，无需另外增加硬件设备，降低了测试成本，并且具有较高的便利性。
上述假设时间获取装置中检测到声卡有第一报警声音信号后保存显卡中的当前图像的过程没有时间消耗，但真实情况中该过程会根据运行于不同的硬件平台而花费不同程度的时间。为了更精准地测量音视频的时间差，本发明实施例采用以下的实施方式：
所述时间差获取装置根据所述第一计时时间与所述第一报警声音信号的实际报警时间获取所述直播音视频中的音频和视频之间的时间差，包括：
所述时间差获取装置将所述第一计时时间与所述第一报警声音信号的实际报警时间进行差值运算，得到待修正的时间差；
所述时间差获取装置将所述待修正的时间差与预设的时延参数进行差值运算，得到修正后的时间差，并将所述修正后的时间差作为所述直播音视频中的音频和视频之间的时间差；
其中，所述时延参数为所述时间差获取装置在检测到声卡有第一报警声音信号到获取显卡中的当前图像的过程所消耗的时间。需要说明的是，该时延参数是预设值，不同硬件平台所具有的时延参数可能不相同。
为了获取该时延参数，本发明实施例还提供了更优选的实施方式，所述方法还包括：
时间差获取装置根据所述时间精度进行计时，并根据所述计时生成第二计时信息图像；
时间差获取装置在计时过程中生成第二报警声音信号并以所述第二报警声音信号生成时的计时时间作为所述第二报警声音信号的实际报警时间；
时间差获取装置检测到声卡中有所述第二报警声音信号时，获取显卡中的当前图像作为对应于所述第二报警声音信号的图像；
时间差获取装置对所述显卡中对应于所述第二报警声音信号的图像进行图像识别处理得到第二计时时间；
时间差获取装置将所述第二计时时间与所述第二报警声音信号的实际报警时间进行差值运算，并将得到的差值作为所述时延参数。
需要说明的是，虽然所述时延参数被定义为所述时间差获取装置在检测到声卡有第一报警声音信号到获取显卡中的当前图像的过程所消耗的时间，但实际上所述时间差获取装置在检测到任一声音信号到获取显卡中的当前图像的过程所消耗的时间都是相等的。在该方案中，时间差获取装置的角色既是声音产生者，也是声音接收者，通过这种方式可以获取时间差获取装置在捕捉到声卡有第二报警声音信号后保存显卡中的当前图像的过程所消耗的时间，这个时间等同于时间差获取装置在捕捉到声卡有第一报警声音信号后保存显卡中的当前图像的过程所消耗的时间，即所述时延参数。
与步骤S2类似地，生成第二报警声音信号的触发条件可以是在达到预设的计时时间点时生成，也可以是采用其他触发条件去生成，例如接收到人为输入的控制命令。在本发明实施例中，所述时间差获取装置在计时过程中生成第二报警声音信号并以所述第二报警声音信号生成时的计时时间作为所述第二报警声音信号的实际报警时间，具体为：所述时间差获取装置在计时达到预设的计时时间点时生成第二报警声音信号并以所述第二报警声音信号生成时的计时时间作为所述第二报警声音信号的实际报警时间。
请参阅图2，其是本发明实施例提供的一种直播平台音视频时间差测量系统的结构框图，包括计时报警装置1与时间差获取装置2；
所述计时报警装置1包括：
第一计时图像生成模块11，用于根据预设的时间精度进行计时，并根据所述计时生成第一计时信息图像；
第一报警声音生成模块12，用于在计时过程中生成第一报警声音信号并将所述第一报警声音信号生成时的计时时间作为所述第一报警声音信号的实际报警时间；其中，所述第一计时信息图像与所述第一报警声音信号分别用于被直播平台的开播装置的显卡和声卡获取而生成直播音视频；
时间差获取装置2包括：
第一图像保存模块21，用于监测播放器播放的从所述直接平台获取的所述直播音视频，当检测到声卡中有所述第一报警声音信号时，获取显卡中的当前图像作为对应于所述第一报警声音信号的图像；
第一图像识别模块22，用于对所述对应于所述第一报警声音信号的图像进行图像识别处理得到第一计时时间；
时间差获取模块23，用于根据所述第一计时时间与所述第一报警声音信号的实际报警时间获取所述直播音视频中的音频和视频之间的时间差。
需要说明的是，开播装置、CDN节点与播放器为直播平台的固有结构，两者之间的数据传输为常规技术手段，因而不再赘述。
在一种可选的实施方式中，所述第一报警声音生成模块12具体用于在计时达到预设的计时时间点时生成所述第一报警声音信号并以所述第一报警声音信号生成时的计时时间作为所述第一报警声音信号的实际报警时间。
在一种可选的实施方式中，所述计时报警装置1与所述开播装置运行于相同的硬件平台。
在一种可选的实施方式中，所述时间差获取装置2与所述播放器运行于相同的硬件平台。
在一种可选的实施方式中，所述时间差获取模块23包括：
第一时间差获取单元，用于将所述第一计时时间与所述第一报警声音信号的实际报警时间进行差值运算，得到待修正的时间差；
第二时间差获取单元，用于将所述待修正的时间差与预设的时延参数进行差值运算，得到修正后的时间差，并将所述修正后的时间差作为所述直播音视频中的音频和视频之间的时间差；
其中，所述时延参数为所述时间差获取装置在检测到声卡有第一报警声音信号到获取显卡中的当前图像的过程所消耗的时间。
在一种可选的实施方式中，所述时间差获取装置还包括：
第二计时图像生成模块，用于根据所述时间精度进行计时，并根据所述计时生成第二计时信息图像；
第二报警声音生成模块，用于在计时过程中生成第二报警声音信号并以所述第二报警声音信号生成时的计时时间作为所述第二报警声音信号的实际报警时间；
第二图像保存模块，用于在检测到声卡中有所述第二报警声音信号时，获取显卡中的当前图像作为对应于所述第二报警声音信号的图像；
第二图像识别模块，用于对所述显卡中对应于所述第二报警声音信号的图像进行图像识别处理得到第二计时时间；
时延参数获取模块，用于将所述第二计时时间与所述第二报警声音信号的实际报警时间进行差值运算，并将得到的差值作为所述时延参数。
在一种可选的实施方式中，所述第二报警声音生成模块用于在计时达到预设的计时时间点时生成第二报警声音信号并以所述第二报警声音信号生成时的计时时间作为所述第二报警声音信号的实际报警时间。
需要说明的是，本发明实施例提供的一种直播平台音视频时间差测量系统用于执行上述一种直播平台音视频时间差测量方法的所有方法流程，两者的工作原理和有益效果一一对应，因而不再赘述。
相比于现有技术，本发明实施例的有益效果在于：本发明实施例提供了一种直播平台音视频时间差测量方法与系统，方法包括：计时报警装置根据预设的时间精度进行计时，并根据所述计时生成第一计时信息图像；计时报警装置在计时过程中生成第一报警声音信号并将所述第一报警声音信号生成时的计时时间作为所述第一报警声音信号的实际报警时间；其中，所述第一计时信息图像与所述第一报警声音信号分别用于被直播平台的开播装置的显卡和声卡获取而生成直播音视频；时间差获取装置监测播放器播放的从所述直接平台获取的所述直播音视频，当检测到声卡中有所述第一报警声音信号时，获取显卡中的当前图像作为对应于所述第一报警声音信号的图像；时间差获取装置对所述对应于所述第一报警声音信号的图像进行图像识别处理得到第一计时时间；时间差获取装置根据所述第一计时时间与所述第一报警声音信号的实际报警时间获取所述直播音视频中的音频和视频之间的时间差。通过本发明实施例提供的方法，不仅可以测量音视频传输过程产生时间差，还可以测量开播装置采集和编码的过程产生的时间差，从而更精准地测量直播平台的音视频时间差，同时本方法基于黑盒测试的形式，测试人员无需熟知播放器的编解码的方式，降低了对测试人员的技术要求，并且本方法完全从用户的角度进行测试，测试结果更接近用户的真实感受。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。
Claims (14)
1.一种直播平台音视频时间差测量方法，其特征在于，包括：
计时报警装置根据预设的时间精度进行计时，并根据所述计时生成第一计时信息图像；
计时报警装置在计时过程中生成第一报警声音信号并将所述第一报警声音信号生成时的计时时间作为所述第一报警声音信号的实际报警时间；其中，所述第一计时信息图像与所述第一报警声音信号分别用于被直播平台的开播装置的显卡和声卡获取而生成直播音视频；
时间差获取装置监测播放器播放的从所述直接平台获取的所述直播音视频，当检测到声卡中有所述第一报警声音信号时，获取显卡中的当前图像作为对应于所述第一报警声音信号的图像；
时间差获取装置对所述对应于所述第一报警声音信号的图像进行图像识别处理得到第一计时时间；
时间差获取装置根据所述第一计时时间与所述第一报警声音信号的实际报警时间获取所述直播音视频中的音频和视频之间的时间差。
2.如权利要求1所述的直播平台音视频时间差测量方法，其特征在于，所述计时报警装置在计时过程中生成第一报警声音信号并以所述第一报警声音信号生成时的计时时间作为所述第一报警声音信号的实际报警时间，具体为：
所述计时报警装置在计时达到预设的计时时间点时生成所述第一报警声音信号并以所述第一报警声音信号生成时的计时时间作为所述第一报警声音信号的实际报警时间。
3.如权利要求1所述的直播平台音视频时间差测量方法，其特征在于，所述计时报警装置与所述开播装置运行于相同的硬件平台。
4.如权利要求1所述的直播平台音视频时间差测量方法，其特征在于，所述时间差获取装置与所述播放器运行于相同的硬件平台。
5.如权利要求1所述的直播平台音视频时间差测量方法，其特征在于，所述时间差获取装置根据所述第一计时时间与所述第一报警声音信号的实际报警时间获取所述直播音视频中的音频和视频之间的时间差，包括：
所述时间差获取装置将所述第一计时时间与所述第一报警声音信号的实际报警时间进行差值运算，得到待修正的时间差；
所述时间差获取装置将所述待修正的时间差与预设的时延参数进行差值运算，得到修正后的时间差，并将所述修正后的时间差作为所述直播音视频中的音频和视频之间的时间差；
其中，所述时延参数为所述时间差获取装置在检测到声卡有第一报警声音信号到获取显卡中的当前图像的过程所消耗的时间。
6.如权利要求5所述的直播平台音视频时间差测量方法，其特征在于，所述方法还包括：
时间差获取装置根据所述时间精度进行计时，并根据所述计时生成第二计时信息图像；
时间差获取装置在计时过程中生成第二报警声音信号并以所述第二报警声音信号生成时的计时时间作为所述第二报警声音信号的实际报警时间；
时间差获取装置检测到声卡中有所述第二报警声音信号时，获取显卡中的当前图像作为对应于所述第二报警声音信号的图像；
时间差获取装置对所述显卡中对应于所述第二报警声音信号的图像进行图像识别处理得到第二计时时间；
时间差获取装置将所述第二计时时间与所述第二报警声音信号的实际报警时间进行差值运算，并将得到的差值作为所述时延参数。
7.如权利要求6所述的直播平台音视频时间差测量方法，其特征在于，所述时间差获取装置在计时过程中生成第二报警声音信号并以所述第二报警声音信号生成时的计时时间作为所述第二报警声音信号的实际报警时间，具体为：
所述时间差获取装置在计时达到预设的计时时间点时生成第二报警声音信号并以所述第二报警声音信号生成时的计时时间作为所述第二报警声音信号的实际报警时间。
8.一种直播平台音视频时间差测量系统，其特征在于，包括计时报警装置与时间差获取装置；
所述计时报警装置包括：
第一计时图像生成模块，用于根据预设的时间精度进行计时，并根据所述计时生成第一计时信息图像；
第一报警声音生成模块，用于在计时过程中生成第一报警声音信号并将所述第一报警声音信号生成时的计时时间作为所述第一报警声音信号的实际报警时间；其中，所述第一计时信息图像与所述第一报警声音信号分别用于被直播平台的开播装置的显卡和声卡获取而生成直播音视频；
时间差获取装置包括：
第一图像保存模块，用于监测播放器播放的从所述直接平台获取的所述直播音视频，当检测到声卡中有所述第一报警声音信号时，获取显卡中的当前图像作为对应于所述第一报警声音信号的图像；
第一图像识别模块，用于对所述对应于所述第一报警声音信号的图像进行图像识别处理得到第一计时时间；
时间差获取模块，用于根据所述第一计时时间与所述第一报警声音信号的实际报警时间获取所述直播音视频中的音频和视频之间的时间差。
9.如权利要求8所述的直播平台音视频时间差测量系统，其特征在于，所述第一报警声音生成模块具体用于在计时达到预设的计时时间点时生成所述第一报警声音信号并以所述第一报警声音信号生成时的计时时间作为所述第一报警声音信号的实际报警时间。
10.如权利要求8所述的直播平台音视频时间差测量系统，其特征在于，所述计时报警装置与所述开播装置运行于相同的硬件平台。
11.如权利要求8所述的直播平台音视频时间差测量系统，其特征在于，所述时间差获取装置与所述播放器运行于相同的硬件平台。
12.如权利要求8所述的直播平台音视频时间差测量系统，其特征在于，所述时间差获取模块包括：
第一时间差获取单元，用于将所述第一计时时间与所述第一报警声音信号的实际报警时间进行差值运算，得到待修正的时间差；
第二时间差获取单元，用于将所述待修正的时间差与预设的时延参数进行差值运算，得到修正后的时间差，并将所述修正后的时间差作为所述直播音视频中的音频和视频之间的时间差；
其中，所述时延参数为所述时间差获取装置在检测到声卡有第一报警声音信号到获取显卡中的当前图像的过程所消耗的时间。
13.如权利要求12所述的直播平台音视频时间差测量系统，其特征在于，所述时间差获取装置还包括：
第二计时图像生成模块，用于根据所述时间精度进行计时，并根据所述计时生成第二计时信息图像；
第二报警声音生成模块，用于在计时过程中生成第二报警声音信号并以所述第二报警声音信号生成时的计时时间作为所述第二报警声音信号的实际报警时间；
第二图像保存模块，用于在检测到声卡中有所述第二报警声音信号时，获取显卡中的当前图像作为对应于所述第二报警声音信号的图像；
第二图像识别模块，用于对所述显卡中对应于所述第二报警声音信号的图像进行图像识别处理得到第二计时时间；
时延参数获取模块，用于将所述第二计时时间与所述第二报警声音信号的实际报警时间进行差值运算，并将得到的差值作为所述时延参数。
14.如权利要求13所述的直播平台音视频时间差测量系统，其特征在于，所述第二报警声音生成模块用于在计时达到预设的计时时间点时生成第二报警声音信号并以所述第二报警声音信号生成时的计时时间作为所述第二报警声音信号的实际报警时间。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711209866.3A CN107968942B (zh) | 2017-11-24 | 2017-11-24 | 一种直播平台音视频时间差测量方法与系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711209866.3A CN107968942B (zh) | 2017-11-24 | 2017-11-24 | 一种直播平台音视频时间差测量方法与系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107968942A true CN107968942A (zh) | 2018-04-27 |
| CN107968942B CN107968942B (zh) | 2021-06-04 |
Family
ID=61997876
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711209866.3A Active CN107968942B (zh) | 2017-11-24 | 2017-11-24 | 一种直播平台音视频时间差测量方法与系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107968942B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111654736A (zh) * | 2020-06-10 | 2020-09-11 | 北京百度网讯科技有限公司 | 音视频同步误差的确定方法、装置、电子设备和存储介质 |
| CN114666636A (zh) * | 2022-03-01 | 2022-06-24 | 阿里巴巴（中国）有限公司 | 音画同步检测方法及计算机可读存储介质 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6407769B1 (en) * | 1998-02-12 | 2002-06-18 | John Robert Emmett | Measurement of timing delay between associated signals or bitstreams |
| CN101022560A (zh) * | 2007-03-09 | 2007-08-22 | 北京牡丹视源电子有限责任公司 | 数字电视视音频同步性测试信号及其测量方法 |
| CN101170704A (zh) * | 2007-11-22 | 2008-04-30 | 中兴通讯股份有限公司 | 唇音同步的测试方法与装置 |
| CN101253549A (zh) * | 2005-08-26 | 2008-08-27 | 皇家飞利浦电子股份有限公司 | 将声音和人工转录文本进行同步的系统和方法 |
| US20090058986A1 (en) * | 2007-08-31 | 2009-03-05 | Ted Beers | Measuring latency in a video conference system |
| CN103117072A (zh) * | 2013-01-23 | 2013-05-22 | 广东欧珀移动通信有限公司 | 一种音视频同步测试装置及方法 |
| CN103648010A (zh) * | 2013-11-28 | 2014-03-19 | 陕西千山航空电子有限责任公司 | 一种飞行数据及多路音视频数据同步回放方法 |
| US8754947B2 (en) * | 2008-05-07 | 2014-06-17 | Evertz Microsystems Ltd. | Systems and methods for comparing media signals |
| CN103959761A (zh) * | 2012-01-06 | 2014-07-30 | 旭化成株式会社 | 摄像装置以及信息处理装置 |
| CN106205655A (zh) * | 2012-07-02 | 2016-12-07 | 富士通株式会社 | 视频解码方法 |
| CN106330373A (zh) * | 2015-07-03 | 2017-01-11 | 中国移动通信集团公司 | 一种干扰器中的同步方法及装置、干扰器 |
-
2017
- 2017-11-24 CN CN201711209866.3A patent/CN107968942B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6407769B1 (en) * | 1998-02-12 | 2002-06-18 | John Robert Emmett | Measurement of timing delay between associated signals or bitstreams |
| CN101253549A (zh) * | 2005-08-26 | 2008-08-27 | 皇家飞利浦电子股份有限公司 | 将声音和人工转录文本进行同步的系统和方法 |
| CN101022560A (zh) * | 2007-03-09 | 2007-08-22 | 北京牡丹视源电子有限责任公司 | 数字电视视音频同步性测试信号及其测量方法 |
| US20090058986A1 (en) * | 2007-08-31 | 2009-03-05 | Ted Beers | Measuring latency in a video conference system |
| CN101170704A (zh) * | 2007-11-22 | 2008-04-30 | 中兴通讯股份有限公司 | 唇音同步的测试方法与装置 |
| US8754947B2 (en) * | 2008-05-07 | 2014-06-17 | Evertz Microsystems Ltd. | Systems and methods for comparing media signals |
| CN103959761A (zh) * | 2012-01-06 | 2014-07-30 | 旭化成株式会社 | 摄像装置以及信息处理装置 |
| CN106205655A (zh) * | 2012-07-02 | 2016-12-07 | 富士通株式会社 | 视频解码方法 |
| CN103117072A (zh) * | 2013-01-23 | 2013-05-22 | 广东欧珀移动通信有限公司 | 一种音视频同步测试装置及方法 |
| CN103648010A (zh) * | 2013-11-28 | 2014-03-19 | 陕西千山航空电子有限责任公司 | 一种飞行数据及多路音视频数据同步回放方法 |
| CN106330373A (zh) * | 2015-07-03 | 2017-01-11 | 中国移动通信集团公司 | 一种干扰器中的同步方法及装置、干扰器 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111654736A (zh) * | 2020-06-10 | 2020-09-11 | 北京百度网讯科技有限公司 | 音视频同步误差的确定方法、装置、电子设备和存储介质 |
| CN114666636A (zh) * | 2022-03-01 | 2022-06-24 | 阿里巴巴（中国）有限公司 | 音画同步检测方法及计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107968942B (zh) | 2021-06-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ghadiyaram et al. | Study of the effects of stalling events on the quality of experience of mobile streaming videos | |
| Zhang et al. | Subjective and objective quality assessment of panoramic videos in virtual reality environments | |
| CN113923441B (zh) | 视频质量的评估方法、装置及电子设备 | |
| CN110585702B (zh) | 一种音画同步数据处理方法、装置、设备及介质 | |
| CN101616331B (zh) | 一种对视频帧率及音视频同步性能进行测试的方法 | |
| JP2015523755A5 (zh) | ||
| JP2010507324A (ja) | ビデオ画質の決定方法 | |
| CN111093069A (zh) | 一种全景视频流的质量评估方法及装置 | |
| CN111383656B (zh) | 声波纹直播方法、装置、服务器、客户端设备及存储介质 | |
| CN108513149B (zh) | 一种直播延迟测试方法及其装置 | |
| CN105979255B (zh) | 一种音频采集工装、方法和云端服务器 | |
| TWI650164B (zh) | 資訊處理設備，用於控制其之方法及程式 | |
| CN110503982B (zh) | 一种语音质量检测的方法以及相关装置 | |
| WO2016134564A1 (zh) | 一种用户感知评估方法及装置 | |
| CN103873919B (zh) | 一种信息处理方法及电子设备 | |
| CN104023229A (zh) | 非接触式影像系统性能检测方法及系统 | |
| CN108933938A (zh) | 一种视频质量检验方法、装置及电子设备 | |
| CN107968942A (zh) | 一种直播平台音视频时间差测量方法与系统 | |
| CN109005402A (zh) | 一种视频的评估方法及装置 | |
| Zeng et al. | Influences of inter-stream synchronization errors among haptic media, sound, and video on quality of experience in networked ensemble | |
| US11451689B2 (en) | System and method for matching audio content to virtual reality visual content | |
| CN113572898B (zh) | 语音通话中的无声异常检测方法及对应的装置 | |
| CN110381336A (zh) | 基于5.1声道的视频片段情感判定方法、装置和计算机设备 | |
| CN107135407B (zh) | 一种钢琴视频教学中的同步方法及系统 | |
| CN116233411A (zh) | 音视频同步测试的方法、装置、设备及计算机存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |