CN110446103A - 一种音像测试方法、装置及存储介质 - Google Patents

一种音像测试方法、装置及存储介质 Download PDF

Info

Publication number
CN110446103A
CN110446103A CN201810420341.2A CN201810420341A CN110446103A CN 110446103 A CN110446103 A CN 110446103A CN 201810420341 A CN201810420341 A CN 201810420341A CN 110446103 A CN110446103 A CN 110446103A
Authority
CN
China
Prior art keywords
data
audio
synchronizing information
image
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810420341.2A
Other languages
English (en)
Other versions
CN110446103B (zh
Inventor
陈兴
黄晶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201810420341.2A priority Critical patent/CN110446103B/zh
Publication of CN110446103A publication Critical patent/CN110446103A/zh
Application granted granted Critical
Publication of CN110446103B publication Critical patent/CN110446103B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明实施例公开了音像测试方法、装置及存储介质,应用于信息处理技术领域。音像测试装置获取数据接收端从数据传输端接收的视频数据,并进行分离得到具有第一同步信息的图像数据和具有第二同步信息的音频数据,然后分别从分离得到的图像数据和音频数据中获取到第一同步信息和第二同步信息,最后结合数据传输端发送的视频数据同步源的同步对齐信息,确定得到视频数据中图像数据与音频数的同步差。这样,通过设定数据传输端发送的视频数据同步源对应的同步对齐信息,并结合数据接收端接收的视频数据中第一同步信息和第二同步信息之间的特征,对数据接收端接收的视频数据中图像数据与音频数据之间的同步进行量化,使得音像测试的过程得到简化。

Description

一种音像测试方法、装置及存储介质
技术领域
本发明涉及信息处理技术领域,特别涉及一种音像测试方法、装置及存储介质。
背景技术
现在很多应用比如直播应用等都涉及到视频数据的传输,在视频数据传输的过程中,需要保证视频数据中音频数据与图像数据的同步,这就需要在这些应用开发的过程中,对这些应用进行音像测试。
现有的一种音像测试方法,主要是通过测试人员在数据传输端采集用户说话的视频数据并传输,且人工观察数据接收端接收的视频数据中,图像数据表示的用户的嘴型变化与音频数据表示的用户的声音变化是否同步。这种方法无法对音像测试的结果进行量化,准确性不高。
发明内容
本发明实施例提供一种音像测试方法、装置及存储介质,实现了根据视频数据同步源中音频数据源和图像数据源之间基于第一同步信息和第二同步信息的同步对齐方式,确定数据接收端接收的视频数据中音频数据和图像数据的同步差。
本发明实施例第一方面提供一种音像测试方法,包括:
获取数据接收端从数据传输端接收的视频数据;所述视频数据包括具有第一同步信息的图像数据和具有第二同步信息的音频数据,所述第一同步信息为基于图像内容的特征信息;
分离所述视频数据,得到具有第一同步信息的图像数据和具有第二同步信息的音频数据;
从所述具有第一同步信息的图像数据中获取至少一个时刻的图像数据的第一同步信息,从所述具有第二同步信息的音频数据中获取所述至少一个时刻的音频信号的第二同步信息;
根据所述数据传输端发送的视频数据同步源中图像数据源和音频数据源之间的基于所述第一同步信息和所述第二同步信息的同步对齐信息,以及所述至少一个时刻的图像数据的第一同步信息和所述至少一个时刻的音频信号的第二同步信息,确定所述视频数据中的图像数据与音频数据的同步差。
本发明实施例第二方面提供一种音像测试装置,包括:
数据获取单元,用于获取数据接收端从数据传输端接收的视频数据;所述视频数据包括具有第一同步信息的图像数据和具有第二同步信息的音频数据,所述第一同步信息为基于图像内容的特征信息;
分离单元,用于分离所述视频数据,得到具有第一同步信息的图像数据和具有第二同步信息的音频数据;
信息获取单元,用于从所述具有第一同步信息的图像数据中获取至少一个时刻的图像数据的第一同步信息,从所述具有第二同步信息的音频数据中获取所述至少一个时刻的音频信号的第二同步信息;
同步确定单元,用于根据所述数据传输端发送的视频数据同步源中图像数据源和音频数据源之间的基于所述第一同步信息和所述第二同步信息的同步对齐信息,以及所述至少一个时刻的图像数据的第一同步信息和所述至少一个时刻的音频信号的第二同步信息,确定所述视频数据中的图像数据与音频数据的同步差。
本发明实施例第三方面提供一种存储介质,所述存储介质储存多条指令,所述指令适于由处理器加载并执行如本发明实施例第一方面所述的音像测试方法。
本发明实施例第四方面提供一种终端设备,包括处理器和存储介质,所述处理器,用于实现各个指令;
所述存储介质用于储存多条指令,所述指令用于由处理器加载并执行如本发明实施例第一方面所述的音像测试方法。
可见,在本实施例的方法中,音像测试装置可以获取数据接收端从数据传输端接收的视频数据,并进行分离得到具有第一同步信息的图像数据和具有第二同步信息的音频数据,然后分别从分离得到的图像数据和音频数据中获取到第一同步信息和第二同步信息,最后结合数据传输端发送的视频数据同步源的同步对齐信息,确定得到视频数据中图像数据与音频数的同步差,以对数据接收端的视频传输应用进行分析。这样,可以通过设定数据传输端发送的视频数据同步源中第一同步信息和第二同步信息的同步对齐信息,并结合数据接收端接收的视频数据中第一同步信息和第二同步信息之间的特征,对数据接收端接收的视频数据中图像数据与音频数据之间的同步进行量化,且不需要其它的硬件要求,使得音像测试的过程得到简化。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1a是本发明实施例提供的音像测试方法所应用于的一种系统的结构示意图;
图1b是本发明实施例提供的音像测试方法所应用于的另一种系统的结构示意图;
图2是本发明一个实施例提供的一种音像测试的方法流程图;
图3是本发明应用实施例提供的一种音像测试方法的示意图;
图4是本发明应用实施例中音像测试装置显示的测试界面的示意图;
图5是本发明实施例提供的一种音像测试装置的结构示意图;
图6是本发明实施例提供的一种终端设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排它的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明实施例提供一种音像测试方法,主要是对基于视频数据传输的应用进行的测试,主要可以应用于如图1a或图1b所示的系统,在图1a所示的系统中包括数据传输端和数据接收端,其中,数据传输端和数据接收端都基于相同的视频传输应用,比如直播应用等,当数据传输端发送视频数据同步源,且数据接收端接收到视频数据后,数据接收端可以直接作为音像测试装置,针对接收的视频数据进行如下的音像测试。
在图1b所示的系统中包括数据传输端,数据接收端和音像测试装置,其中,数据传输端和数据接收端都基于相同的视频传输应用,当数据传输端发送视频数据同步源,且数据接收端接收到视频数据后,由数据接收端之外的音像测试装置针对数据接收端接收的视频数据进行如下的音像测试。
本发明实施例中的音像测试方法包括:
获取数据接收端从数据传输端接收的视频数据,该视频数据包括具有第一同步信息的图像数据和具有第二同步信息的音频数据,其中,第一同步信息为基于图像内容的信息;分离所述视频数据得到具有第一同步信息的图像数据和具有第二同步信息的音频数据;从具有第一同步信息的图像数据中获取至少一个时刻的图像数据的第一同步信息,从具有第二同步信息的音频数据中获取所述至少一个时刻的音频信号的第二同步信息;根据数据传输端发送的视频数据同步源中图像数据和音频数据之间的基于上述第一同步信息和第二同步信息的同步对齐信息,及所述至少一个时刻的图像数据的第一同步信息及至少一个时刻的音频数据的第二同步信息,确定所述视频数据中的音频数据和图像数据的同步差,以对上述数据接收端的视频传输应用进行分析。
这样,可以通过设定数据传输端发送的视频数据同步源中第一同步信息和第二同步信息的同步对齐信息,并结合数据接收端接收的视频数据中第一同步信息和第二同步信息之间的特征,对数据接收端接收的视频数据中图像数据与音频数据之间的同步进行量化,且不需要其它的硬件要求,使得音像测试的过程得到简化。
本发明一个实施例提供一种音像测试方法,主要是音像测试装置所执行的方法,比如上述图1a系统中的数据接收端,或图1b系统中的音像测试装置所执行的方法,流程图如图2所示,包括:
步骤101,获取数据接收端从数据传输端接收的视频数据,该视频数据中包括具有第一同步信息的图像数据和具有第二同步信息的音频数据,且第一同步信息为基于图像内容的信息。
可以理解,本实施例的音像测试主要针对数据接收端接收到的视频数据进行测试,这就需要先在数据传输端发送视频数据同步源,这里的视频数据同步源包括图像数据源和音频数据源,在该视频数据同步源中每一帧图像数据源对应有一定的音频数据源,图像数据源中包括第一同步信息,音频数据源中包括第二同步信息,且第一同步信息与第二同步信息之间按照一定的同步对齐信息进行同步。这样,
在本实施例中,上述第一同步信息主要是基于图像内容的特征信息,比如图像中的部分图像所指示的信息等;而第二同步信息不一定是基于音频信号的实际内容的特征,可以是音频信号的频率特征等信息。
在一种具体应用中,视频数据同步源中的图像数据源包括多帧图像,每帧图像中都包括画面时间,这多帧图像的画面时间可以是按照一定的线性比例递增的,比如某一帧图像的画面时间为00时00分,其下一帧图像的画面时间为00时10分,其再下一帧图像的画面时间为00时20分,以此类推;视频数据同步源中的音频数据源包括多个时刻的音频信号,且每个时刻的音频信号的音频频率也可以是按照同样的线性比例递增;且在视频数据同步源中,同一时刻的图像和音频信号相比,该时刻的图像的画面时间(即图像所包括的内容)与该时刻的音频信号的频率可以具有一定的函数关系,即第一函数关系,比如相同或具有一定的倍数关系等。
这种情况下,第一同步信息为画面时间,而具有第一同步信息的图像数据可以包括:画面时间按照某一线性比例递增的多帧图像;第二同步信息为音频频率,而具有第二同步信息的音频数据包括:音频频率按照该线性比例递增的多个时刻的音频信号;同步对齐信息为:视频数据同步源中某一时刻的图像数据源中的画面时间与音频数据源中该时刻的音频信号的音频频率具有第一函数关系。
其中,某一帧图像的画面时间属于该帧图像中的一部分图像,比如一个电子表正面的图像,其画面时间即为该电子表所显示的时间,不同于该帧图像的生成时间;该帧图像的生成时间可以为该帧图像在实际拍摄时,当时环境的时间,比如在下午五时拍摄一图像,则该图像的生成时间可以为下午五时。
比如,某一时刻的图像的画面时间为00:00.00,该时刻的音频信号的频率为0Hz;另一时刻的图像的画面时间为00:10.00,该时刻音频信号的频率10kHz;另一时刻图像的画面时间为00:03.05,该时刻音频信号的频率3.05KHz等。
在另一种具体应用中,视频数据同步源中的图像数据源包括多帧图像,这多帧图像为按照一定周期变化的纯色图像,比如,某一周期内的每帧图像都是黑色图像,在其下一周期的每帧图像都是白色图像,其再下一周期的每帧图像都是黑色图像,以此类推;视频数据同步源中的音频数据源包括多个时刻的音频信号,这多个时刻的音频信号按照相同周期变化,比如,在某一周期的每个时刻的音频信号为1,在其下一周期的每个时刻的音频信号为0,其再下一周期的每个时刻的音频信号又为1,以此类推。其中,多帧图像可以包括两种纯色图像,比如黑色图像和白色图像,也可以是三种以上的纯色图像,在这里不进行限制,这样多帧图像是按照一定周期交替变更这些纯色图像。
这种情况下,第一同步信息为图像内容的变化周期,而具有第一同步信息的图像数据可以包括:多帧图像,多帧图像为按照某一周期变化的纯色图像;第二同步信息为音频信号的变化周期,而具有第二同步信息的音频数据包括:多个时刻的音频信号,且多个时刻的音频信号按照相同周期变化;同步对齐信息为:视频数据同步源中图像数据源中图像内容的第一变化时间,与音频数据源中音频信号的第二变化时间具有第二函数关系,比如相同,或具有一定的倍数关系等。
需要说明的是,视频数据同步源中的图像数据源中第一同步信息与音频数据源中第二同步信息之间的同步对齐信息还有其它方式的信息,在此不一一举例说明。
步骤102,分离视频数据,得到具有第一同步信息的图像数据和具有第二同步信息的音频数据。
其中,图像数据包括多帧图像的信息,比如图像的生成时间,像素等信息;音频数据中包括各个时刻的音频信号的信息,比如音频信号的幅度等信息。
步骤103,从具有第一同步信息的图像数据中获取至少一个时刻的图像数据的第一同步信息,从具有第二同步信息的音频数据中获取至少一个时刻的音频信号的第二同步信息。
需要说明的是,本步骤中获取哪些具体信息,主要取决于上述视频数据同步源中图像数据源的第一同步信息与音频数据源的第二同步信息的同步对齐信息,具体可以包括但不限于如下两种情况:
(1)如果同步对齐信息为:某一时刻的图像数据源中的画面时间(即图像中包括的部分内容)与该时刻的音频信号的音频频率具有第一函数关系,则在本步骤中,音像测试装置需要从数据接收端接收的视频数据的图像数据中获取某一时刻的图像数据的第一画面时间,及从音频数据中获取该时刻的音频信号的第一音频频率。
(2)如果同步对齐信息为:视频数据同步源中图像数据源中图像内容的第一变化时间,与音频数据源中音频信号的第二变化时间具有第二函数关系,则在本步骤中,音像测试装置需要从数据接收端接收的视频数据的图像数据中获取图像内容变化的第一变化时间,及从音频数据中获取音频信号变化的第二变化时间。
在这种情况下,由于视频数据同步源中音频数据源和图像数据源是按照一定周期变化的,则数据接收端接收的视频数据中音频数据和图像数据也会按照一定周期变化,则视频数据的音频数据中音频信号的变化时刻,及图像数据中图像内容的变化时刻不止一个,因此,本实施例中,音像测试装置获取的第一变化时间可以包括图像内容变化的多个第一时间点,而第二变化时间包括音频信号变化的多个第二时间点。
例如,视频数据中的音频数据包括:时刻t1的音频信号s1,时刻t2的音频信号s1,时刻t3的音频信号为s2,……,时刻tn的音频信号sn-1,且音频信号s1,s2,……,sn-1都不同;视频数据中的图像数据包括:时刻t1的一帧图像p1,时刻t2的一帧图像p1,时刻t3的一帧图像p2,……,时刻tn的一帧图像pn-1,且图像p1,p2,……,pn-1都不同。这样,音频信号变化的多个第一时间点包括:时刻t3,时刻t4,……,时刻tn;图像变化的多个第二时间点就包括时刻t3,时刻t4,……,时刻tn。
步骤104,根据数据传输端发送的视频数据同步源中图像数据源和音频数据源之间的基于第一同步信息和第二同步信息的同步对齐信息,以及至少一个时刻的图像数据的第一同步信息和至少一个时刻的音频信号的第二同步信息,确定视频数据中的图像数据与音频数据的同步差,以便根据同步差对数据接收端的视频传输应用进行分析。
如果同步对齐信息为:视频数据同步源中某一时刻的图像数据源中的画面时间与音频数据源中某一时刻的音频信号的音频频率相同(即第一函数关系),则上述步骤103获取了第一画面时间和第一音频频率。则在确定同步差时,音像测试装置可以将第一画面时间和第一音频频率的差值作为同步差。
如果同步对齐信息为:视频数据同步源中图像数据源中图像内容的第一变化时间,与音频数据源中音频信号的第二变化时间相同,则上述步骤103获取了第一变化时间和第二变化时间。则在确定同步差时,音像测试装置可以将第一变化时间和第二变化时间的差值作为同步差。在这种情况下,如果第一变化时间包括多个第一时间点,第二变化时间包括多个第二时间点,则在确定同步差时,将多个第一时间点分别与对应第二时间点的差值的平均值作为同步差。其中,第一时间点对应的第二时间点是指:如果某个第一时间点发生第n次图像内容变化,则第n次音频信号变化的时间点即为该第一时间点对应的第二时间点。
例如,音频信号变化的多个第一时间点包括:时刻t2,时刻t4,时刻t6,……,时刻t2n;图像内容变化的多个第二时间点就包括时刻t3,时刻t5,时刻t7,……,时刻t2n+1,则本步骤中计算的同步差可以包括:t3与t2的差值l1,t5与t4的差值l2,……,t2n与t2n+1的差值ln;最后可以对这些差值进行平均得到最终的同步差。
需要说明的是,视频数据同步源在数据传输端发送后,会经过网络传输和编解码的过程,由于图像占用的带宽比音频占用的带宽大且要求高,因此,在数据接收端接收视频数据时,可能不一定会按照视频数据同步源中各帧图像的时间顺序接收这些图像,而可以按照视频数据同步源中各个音频信号的时间顺序接收这些音频信号,这就造成了数据接收端接收到的视频数据中图像数据的第一同步信息与音频数据的第二同步信息的不对齐,而通过不对齐的这个差异,即可量化数据接收端接收的图像数据与音频数据之间同步的差异,即同步差。
可见,在本实施例的方法中,音像测试装置可以获取数据接收端从数据传输端接收的视频数据,并进行分离得到具有第一同步信息的图像数据和具有第二同步信息的音频数据,然后分别从分离得到的图像数据和音频数据中获取到第一同步信息和第二同步信息,最后结合数据传输端发送的视频数据同步源的同步对齐信息,确定得到视频数据中图像数据与音频数的同步差,以对数据接收端的视频传输应用进行分析。这样,可以通过设定数据传输端发送的视频数据同步源中第一同步信息和第二同步信息的同步对齐信息,并结合数据接收端接收的视频数据中第一同步信息和第二同步信息之间的特征,对数据接收端接收的视频数据中图像数据与音频数据之间的同步进行量化,且不需要其它的硬件要求,使得音像测试的过程得到简化。
在一个具体的实施例中,音像测试装置还可以提供用户界面,则上述步骤101到步骤104可以通过在该用户界面进行操作来发起,具体地,音像测试装置在执行上述步骤101之前,可以显示音像测试的测试界面,并在测试界面包括:接收端接收的视频数据的输入接口,这样,用户可以通过该输入接口输入一段视频数据;则音像测试装置在执行上述步骤101时,会从测试界面的输入接口获取数据接收端接收的视频数据。
且音像测试装置还会将上述步骤103中获取的第一同步信息和第二同步信息在该测试界面显示,且还会将上述步骤104确定的同步差在该测试界面显示。这样就将音像测试的结果,及音像测试过程中的中间参数值直观地显示在测试界面。
以下以一个具体的应用实例来说明本发明实施例的音像测试方法,本实施例的方法可以应用于如图1b所示的系统中,且本实施例中,视频数据同步源中图像数据源与音频数据源的同步对齐信息为:同一时刻的图像数据的画面时间与音频信号的音频频率相同。具体地,参考图3所示,本实施例的音像测试方法包括如下步骤:
步骤201,生成视频数据同步源,具体地,可以先生成一个秒表视频(无音频数据),这样每帧图像都包括画面时间,即为表秒的具体时间;然后再生成一个与秒表视频等长的扫频波形(wav)文件,用于表示一段音频;再将秒表视频中各帧图像数据的画面时间,与扫频wav文件中各个时刻的音频信号的音频频率对应,即可实现秒表视频与上述生成的一段音频的同步,例如,将包含画面时间00:00.00的一帧图像与0Hz的音频信号对应,将包含画面时间00:10.00的一帧图像与10kHz的音频信号对应,将包含画面时间00:03.05的一帧图像与3.05KHz的音频信号对应等。
步骤202,数据传输端发送上述生成的视频数据同步源,在数据接收端录制接收的视频数据。
步骤203,用户通过操作音像测试装置,使得音像测试装置显示如图4所示的测试界面,在该测试界面包括:“打开文件”按钮,“开始测试”按钮,及“退出测试”按钮,其中,“打开文件”按钮即为视频数据的输入接口。
当用户点击“打开文件”按钮,可以输入某一段视频数据,具体为上述步骤202获取的视频数据,这样在测试界面上可以显示该视频数据的路径,比如“E:/script/video/test7.mp4”。当用户点击“开始测试”按钮,则音像测试装置会按照上述步骤102到104的方法计算出视频数据中图像数据与音频数据的同步差。
具体在这个过程中,音像测试装置会先分离获取的视频数据得到具有第一同步信息的图像数据和具有第二同步信息的音频数据,一方面截取图像数据中某一时刻t(如第2s)的图像数据,可以通过字体识别方法确定该图像数据所包含的第一画面时间(如5.85);另一方面截取音频数据中某一时刻t(如第2s)的音频信号,并通过傅里叶变换得到该音频信号的第一音频频率(如5.40kHz),然后将第一画面时间与第一音频频率的差值(即5.85与5.40的差值)作为同步差。且音像测试装置会将计算同步差过程中的参数值(比如第一画面时间,第一频率及某一时刻t等)都显示在测试界面上,给用户直观地体现。
其中,在测试界面还可以显示通过傅里叶变换得到某一时刻t的音频信号的曲线变化图,即该时刻t的音频信号的幅度(Amplitude,Amp)与频率对应变化图,其中,Amp最高点对应的频率即为第一频率。
本发明实施例还提供一种音像测试装置,其结构示意图如图5所示,具体可以包括:
数据获取单元10,用于获取数据接收端从数据传输端接收的视频数据;所述视频数据包括具有第一同步信息的图像数据和具有第二同步信息的音频数据,所述第一同步信息为基于图像内容的特征信息。
分离单元11,用于分离所述数据获取单元10获取的视频数据,得到具有第一同步信息的图像数据和具有第二同步信息的音频数据。
特征获取单元12,用于从所述分离单元11得到的具有第一同步信息的图像数据中获取至少一个时刻的图像数据的第一同步信息,从所述具有第二同步信息的音频数据中获取所述至少一个时刻的音频信号的第二同步信息;
同步确定单元13,用于根据所述数据传输端发送的视频数据同步源中图像数据源和音频数据源之间的基于所述第一同步信息和所述第二同步信息的同步对齐信息,以及所述信息获取单元12获取的至少一个时刻的图像数据的第一同步信息和所述至少一个时刻的音频信号的第二同步信息,确定所述视频数据中的图像数据与音频数据的同步差。
一种情况下,所述视频数据同步源中的图像数据源包括:多帧图像,每帧图像中都包括画面时间,且所述多帧图像的画面时间可以按照某一线性比例递增;所述视频数据同步源中的音频数据源包括:多个时刻的音频信号,所述多个时刻的音频信号的频率也可以按照所述某一线性比例递增。
因此,所述第一同步信息为画面时间,所述具有第一同步信息的图像数据包括:画面时间按照某一线性比例递增的多帧图像;所述第二同步信息为音频频率,所述具有第二同步信息的音频数据包括:音频频率按照所述某一线性比例递增的多个时刻的音频信号。
则视频数据同步源中的图像数据源和音频数据源之间的基于所述第一同步信息和所述第二同步信息的同步对齐信息为:所述视频数据同步源中某一时刻的图像数据源中的画面时间与所述音频数据源中所述某一时刻的音频信号的音频频率具有第一函数关系。其中,当第一函数关系为同一时刻的画面时间与音频频率相同时,上述信息获取单元12会从所述图像数据中获取某一时刻的图像数据的第一画面时间,从音频数据中获取所述某一时刻的音频信号的第一音频频率,因此,所述同步确定单元13,具体用于将所述第一画面时间与所述第一音频频率的差值作为所述同步差。
另一种情况下,所述视频数据同步源中的图像数据源包括多帧图像,所述多帧图像为按照某一周期变化的纯色图像;所述视频数据同步源中的音频数据源包括:多个时刻的音频信号,且多个时刻的音频信号按照所述某一周期变化。
因此,具有第一同步信息的图像数据包括多帧图像,所述多帧图像为按照某一周期变化的纯色图像;所述具有第二同步信息的音频数据包括:多个时刻的音频信号,且多个时刻的音频信号按照所述某一周期变化。
则所述视频数据同步源中的图像数据源和音频数据源之间的基于所述第一同步信息和所述第二同步信息的同步对齐信息为:所述视频数据同步源中图像数据源中图像内容的第一变化时间,与所述音频数据源中音频信号的第二变化时间具有第二函数关系。当第二函数关系为第一变化时间与第二变化时间相同时,且信息获取单元12从所述图像数据中获取图像内容变化的第一变化时间,从所述音频数据中获取音频信号变化的第二变化时间,因此,所述同步确定单元13,具体用于将所述第一变化时间与第二变化时间的差值作为所述同步差。
其中,如果所述第一变化时间包括图像内容变化的多个第一时间点,所述第二变化时间包括音频信号变化的多个第二时间点;则同步确定单元13会将所述多个第一时间点分别与对应第二时间点的差值作为所述同步差。
进一步地,音像测试装置还可以包括:界面显示单元14,用于显示音像测试的测试界面,所述测试界面包括:所述视频数据的输入接口;则上述数据获取单元10,具体用于从所述界面显示单元14显示的测试界面的输入接口获取数据接收端接收的视频数据;且所述界面显示单元14,还用于在所述测试界面显示所述同步差,及在所述测试界面显示所述第一特征信息和第二特征信息。
可见,在本实施例的音像测试装置中,数据获取单元10可以获取数据接收端从数据传输端接收的视频数据,分离单元11进行分离得到具有第一同步信息的图像数据和具有第二同步信息的音频数据,然后信息获取单元12分别从分离得到的图像数据和音频数据中获取到第一同步信息和第二同步信息,最后同步确定单元13结合数据传输端发送的视频数据同步源的同步对齐信息,确定得到视频数据中图像数据与音频数的同步差,以对数据接收端的视频传输应用进行分析。这样,可以通过设定数据传输端发送的视频数据同步源中第一同步信息和第二同步信息的同步对齐信息,并结合数据接收端接收的视频数据中第一同步信息和第二同步信息之间的特征,对数据接收端接收的视频数据中图像数据与音频数据之间的同步进行量化,且不需要其它的硬件要求,使得音像测试的过程得到简化。
本发明实施例还提供一种终端设备,其结构示意图如图6所示,该终端设备可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器(centralprocessing units,CPU)20(例如,一个或一个以上处理器)和存储器21,一个或一个以上存储应用程序221或数据222的存储介质22(例如一个或一个以上海量存储设备)。其中,存储器21和存储介质22可以是短暂存储或持久存储。存储在存储介质22的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对终端设备中的一系列指令操作。更进一步地,中央处理器20可以设置为与存储介质22通信,在终端设备上执行存储介质22中的一系列指令操作。
具体地,在存储介质22中储存的应用程序221包括音像测试的应用程序,且该程序可以包括上述音像测试装置中的数据获取单元10,分离单元11,信息获取单元12,同步确定单元13和界面显示单元14,在此不进行赘述。更进一步地,中央处理器20可以设置为与存储介质22通信,在终端设备上执行存储介质22中储存的音像测试的应用程序对应的一系列操作。
终端设备还可以包括一个或一个以上电源23,一个或一个以上有线或无线网络接口24,一个或一个以上输入输出接口25,和/或,一个或一个以上操作系统223,例如WindowsServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM等等。
上述方法实施例中所述的由音像测试装置所执行的步骤可以基于该图6所示的终端设备的结构。
本发明实施例还提供一种存储介质,所述存储介质储存多条指令,所述指令适于由处理器加载并执行如上述音像测试装置所执行的音像测试方法。
本发明实施例还提供一种终端设备,包括处理器和存储介质,所述处理器,用于实现各个指令;
所述存储介质用于储存多条指令,所述指令用于由处理器加载并执行如上述音像测试装置所执行的音像测试方法。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:只读存储器(ROM)、随机存取存储器RAM)、磁盘或光盘等。
以上对本发明实施例所提供的音像测试方法、装置及存储介质进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (15)

1.一种音像测试方法,其特征在于,包括:
获取数据接收端从数据传输端接收的视频数据;所述视频数据包括具有第一同步信息的图像数据和具有第二同步信息的音频数据,所述第一同步信息为基于图像内容的特征信息;
分离所述视频数据,得到具有第一同步信息的图像数据和具有第二同步信息的音频数据;
从所述具有第一同步信息的图像数据中获取至少一个时刻的图像数据的第一同步信息,从所述具有第二同步信息的音频数据中获取所述至少一个时刻的音频信号的第二同步信息;
根据所述数据传输端发送的视频数据同步源中图像数据源和音频数据源之间的基于所述第一同步信息和所述第二同步信息的同步对齐信息,以及所述至少一个时刻的图像数据的第一同步信息和所述至少一个时刻的音频信号的第二同步信息,确定所述视频数据中的图像数据与音频数据的同步差。
2.如权利要求1所述的方法,其特征在于,所述获取数据接收端从数据传输端接收的视频数据之前,所述方法还包括:显示音像测试的测试界面,所述测试界面包括:所述视频数据的输入接口;
所述获取数据接收端从数据传输端接收的视频数据,具体包括:从所述测试界面的输入接口获取数据接收端接收的视频数据;
则所述确定所述视频数据中音频数据和图像数据的同步差之后,所述方法还包括:在所述测试界面显示所述同步差。
3.如权利要求2所述的方法,其特征在于,所述方法还包括:
在所述测试界面显示所述第一同步信息和第二同步信息。
4.如权利要求1至3任一项所述的方法,其特征在于,
所述第一同步信息为画面时间,所述第二同步信息为音频频率;
所述视频数据同步源中的图像数据源和音频数据源之间的基于所述第一同步信息和所述第二同步信息的同步对齐信息为:所述视频数据同步源中某一时刻的图像数据源中的画面时间与所述音频数据源中所述某一时刻的音频信号的音频频率具有第一函数关系。
5.如权利要求4所述的方法,其特征在于,所述具有第一同步信息的图像数据包括:画面时间按照某一线性比例递增的多帧图像,且具有第二同步信息的音频数据包括:音频频率按照所述某一线性比例递增的多个时刻的音频信号。
6.如权利要求4所述的方法,其特征在于,
所述从所述具有第一同步信息的图像数据中获取至少一个时刻的图像数据的第一同步信息,从所述具有第二同步信息的音频数据中获取所述至少一个时刻的音频信号的第二同步信息,具体包括:从所述图像数据中获取某一时刻的图像数据的第一画面时间,从所述音频数据中获取所述某一时刻的音频信号的第一音频频率;
所述第一函数关系为:所述视频数据同步源中某一时刻的图像数据源中的画面时间与所述音频数据源中所述某一时刻的音频信号的音频频率相同;
则所述确定所述视频数据中音频数据和图像数据的同步差,具体包括:将所述第一画面时间与所述第一音频频率的差值作为所述同步差。
7.如权利要求1至3任一项所述的方法,其特征在于,所述具有第一同步信息的图像数据包括:多帧图像,所述多帧图像为按照某一周期变化的纯色图像;
所述具有第二同步信息的音频数据包括:多个时刻的音频信号,且多个时刻的音频信号按照所述某一周期变化;
所述视频数据同步源中的图像数据源和音频数据源之间的基于所述第一同步信息和所述第二同步信息的同步对齐信息为:所述视频数据同步源中图像数据源中图像内容的第一变化时间,与所述音频数据源中音频信号的第二变化时间具有第二函数关系。
8.如权利要求7所述的方法,其特征在于,
所述从所述具有第一同步信息的图像数据中获取至少一个时刻的图像数据的第一同步信息,从所述具有第二同步信息的音频数据中获取所述至少一个时刻的音频信号的第二同步信息,具体包括:从所述图像数据中获取图像内容变化的第一变化时间,从所述音频数据中获取音频信号变化的第二变化时间;
所述第二函数关系为:所述视频数据同步源中图像数据源中图像内容的第一变化时间,与所述音频数据源中音频信号的第二变化时间相同;
则所述确定所述视频数据中音频数据和图像数据的同步差,具体包括:将所述第一变化时间与第二变化时间的差值作为所述同步差。
9.如权利要求8所述的方法,其特征在于,所述第一变化时间包括图像内容变化的多个第一时间点,所述第二变化时间包括音频信号变化的多个第二时间点;
则将所述第一变化时间与第二变化时间的差值作为所述同步差,具体包括:将所述多个第一时间点分别与对应第二时间点的差值的平均值作为所述同步差。
10.一种音像测试装置,其特征在于,包括:
数据获取单元,用于获取数据接收端从数据传输端接收的视频数据;所述视频数据包括具有第一同步信息的图像数据和具有第二同步信息的音频数据,所述第一同步信息为基于图像内容的特征信息;
分离单元,用于分离所述视频数据,得到具有第一同步信息的图像数据和具有第二同步信息的音频数据;
信息获取单元,用于从所述具有第一同步信息的图像数据中获取至少一个时刻的图像数据的第一同步信息,从所述具有第二同步信息的音频数据中获取所述至少一个时刻的音频信号的第二同步信息;
同步确定单元,用于根据所述数据传输端发送的视频数据同步源中图像数据源和音频数据源之间的基于所述第一同步信息和所述第二同步信息的同步对齐信息,以及所述至少一个时刻的图像数据的第一同步信息和所述至少一个时刻的音频信号的第二同步信息,确定所述视频数据中的图像数据与音频数据的同步差。
11.如权利要求10所述的装置,其特征在于,
所述第一同步信息为画面时间,所述具有第一同步信息的图像数据包括:画面时间按照某一线性比例递增的多帧图像;所述第二同步信息为音频频率,所述具有第二同步信息的音频数据包括:音频频率按照所述某一线性比例递增的多个时刻的音频信号;
所述视频数据同步源中的图像数据源和音频数据源之间的基于所述第一同步信息和所述第二同步信息的同步对齐信息为:所述视频数据同步源中某一时刻的图像数据源中的画面时间与所述音频数据源中所述某一时刻的音频信号的音频频率相同;
所述信息获取单元,具体用于从所述图像数据中获取某一时刻的图像数据的第一画面时间,从所述音频数据中获取所述某一时刻的音频信号的第一音频频率;
所述同步确定单元,具体用于将所述第一画面时间与所述第一音频频率的差值作为所述同步差。
12.如权利要求10所述的装置,其特征在于,所述具有第一同步信息的图像数据包括多帧图像,所述多帧图像为按照某一周期变化的纯色图像;
所述具有第二同步信息的音频数据包括:多个时刻的音频信号,且多个时刻的音频信号按照所述某一周期变化;
所述视频数据同步源中的图像数据源和音频数据源之间的基于所述第一同步信息和所述第二同步信息的同步对齐信息为:所述视频数据同步源中图像数据源中图像内容的第一变化时间,与所述音频数据源中音频信号的第二变化时间具有第二函数关系。
13.如权利要求12所述的装置,其特征在于,所述第二函数关系为:所述视频数据同步源中图像数据源中图像内容的第一变化时间,与所述音频数据源中音频信号的第二变化时间相同;
所述信息获取单元,具体用于从所述图像数据中获取图像内容变化的第一变化时间,从所述音频数据中获取音频信号变化的第二变化时间;
所述同步确定单元,具体用于将所述第一变化时间与第二变化时间的差值作为所述同步差。
14.一种存储介质,其特征在于,所述存储介质储存多条指令,所述指令适于由处理器加载并执行如权利要求1至9任一项所述的音像测试方法。
15.一种终端设备,其特征在于,包括处理器和存储介质,所述处理器,用于实现各个指令;
所述存储介质用于储存多条指令,所述指令用于由处理器加载并执行如权利要求1至9任一项所述的音像测试方法。
CN201810420341.2A 2018-05-04 2018-05-04 一种音像测试方法、装置及存储介质 Active CN110446103B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810420341.2A CN110446103B (zh) 2018-05-04 2018-05-04 一种音像测试方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810420341.2A CN110446103B (zh) 2018-05-04 2018-05-04 一种音像测试方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN110446103A true CN110446103A (zh) 2019-11-12
CN110446103B CN110446103B (zh) 2021-08-31

Family

ID=68427920

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810420341.2A Active CN110446103B (zh) 2018-05-04 2018-05-04 一种音像测试方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN110446103B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112969038A (zh) * 2021-01-29 2021-06-15 北京字节跳动网络技术有限公司 数据传输方法、装置、电子设备及计算机可读存储介质
CN114666636A (zh) * 2022-03-01 2022-06-24 阿里巴巴(中国)有限公司 音画同步检测方法及计算机可读存储介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050254440A1 (en) * 2004-05-05 2005-11-17 Sorrell John D Private multimedia network
CN101742357A (zh) * 2009-12-29 2010-06-16 北京牡丹电子集团有限责任公司 数字电视设备音视频同步误差的测量方法
CN101742548A (zh) * 2009-12-22 2010-06-16 武汉虹信通信技术有限责任公司 基于h.324m协议的3g视频电话的音视频同步测试装置及方法
CN103313089A (zh) * 2012-03-16 2013-09-18 三洋科技中心(深圳)有限公司 音唇同步检测装置及方法
US20130321645A1 (en) * 2012-06-04 2013-12-05 Ultra Stereo Labs, Inc. Light and sound monitor
CN103873857A (zh) * 2014-03-13 2014-06-18 深圳市九洲电器有限公司 音视频输出接口的测试设备及测试方法
CN104023229A (zh) * 2014-06-23 2014-09-03 公安部第三研究所 非接触式影像系统性能检测方法及系统
CN104754271A (zh) * 2015-04-23 2015-07-01 国家体育总局体育科学研究所 一种无线音频同步系统及方法
CN104838663A (zh) * 2012-12-07 2015-08-12 三星电子株式会社 无线保真网络中用于连续播送多媒体内容的方法和系统
CN105100794A (zh) * 2014-05-13 2015-11-25 深圳Tcl新技术有限公司 音视频同步测试方法及装置
CN106060534A (zh) * 2016-06-03 2016-10-26 公安部第三研究所 一种音视频同步测试的系统及方法
CN106358039A (zh) * 2016-09-07 2017-01-25 深圳Tcl数字技术有限公司 音画同步测试方法及装置
CN107592550A (zh) * 2017-09-25 2018-01-16 陕西国广数码科技有限公司 影院直播同步传输方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050254440A1 (en) * 2004-05-05 2005-11-17 Sorrell John D Private multimedia network
CN101742548A (zh) * 2009-12-22 2010-06-16 武汉虹信通信技术有限责任公司 基于h.324m协议的3g视频电话的音视频同步测试装置及方法
CN101742357A (zh) * 2009-12-29 2010-06-16 北京牡丹电子集团有限责任公司 数字电视设备音视频同步误差的测量方法
CN103313089A (zh) * 2012-03-16 2013-09-18 三洋科技中心(深圳)有限公司 音唇同步检测装置及方法
US20130321645A1 (en) * 2012-06-04 2013-12-05 Ultra Stereo Labs, Inc. Light and sound monitor
CN104838663A (zh) * 2012-12-07 2015-08-12 三星电子株式会社 无线保真网络中用于连续播送多媒体内容的方法和系统
CN103873857A (zh) * 2014-03-13 2014-06-18 深圳市九洲电器有限公司 音视频输出接口的测试设备及测试方法
CN105100794A (zh) * 2014-05-13 2015-11-25 深圳Tcl新技术有限公司 音视频同步测试方法及装置
CN104023229A (zh) * 2014-06-23 2014-09-03 公安部第三研究所 非接触式影像系统性能检测方法及系统
CN104754271A (zh) * 2015-04-23 2015-07-01 国家体育总局体育科学研究所 一种无线音频同步系统及方法
CN106060534A (zh) * 2016-06-03 2016-10-26 公安部第三研究所 一种音视频同步测试的系统及方法
CN106358039A (zh) * 2016-09-07 2017-01-25 深圳Tcl数字技术有限公司 音画同步测试方法及装置
CN107592550A (zh) * 2017-09-25 2018-01-16 陕西国广数码科技有限公司 影院直播同步传输方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ANDREY C.YOUNKIN: "《Determining the Amount of Audio-Video Synchronization Errors Perceptible to the Average End-User》》", 《IEEE TRANSACTIONS ON BROADCASTING》 *
沈璐: "《HDMI接口在音视频接收系统中的设计与开发》", 《中国优秀硕士学位论文全文数据库》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112969038A (zh) * 2021-01-29 2021-06-15 北京字节跳动网络技术有限公司 数据传输方法、装置、电子设备及计算机可读存储介质
CN114666636A (zh) * 2022-03-01 2022-06-24 阿里巴巴(中国)有限公司 音画同步检测方法及计算机可读存储介质

Also Published As

Publication number Publication date
CN110446103B (zh) 2021-08-31

Similar Documents

Publication Publication Date Title
CN104284233B (zh) 视频和遥测数据的数据搜索、解析和同步
CN106658199A (zh) 一种视频内容的展示方法及装置
US9392322B2 (en) Method of visually synchronizing differing camera feeds with common subject
KR101482094B1 (ko) 영상 관련 정보 제공 방법 및 시스템
CN110446103A (zh) 一种音像测试方法、装置及存储介质
CN110611746B (zh) 一种多摄像头同步方法及分布式系统
US20180318711A1 (en) Methods and Systems for Determining a Reaction Time for a Response and Synchronizing User Interface(s) with Content being Rendered
EP4300431A1 (en) Action processing method and apparatus for virtual object, and storage medium
CN104284234B (zh) 多个终端间共享同步图像的方法及系统
CN109714623A (zh) 图像展示方法、装置、电子设备及计算机可读存储介质
CN109672837A (zh) 航拍设备实时视频录制方法、移动终端和计算机存储介质
CN112637670A (zh) 视频生成方法及装置
CN101887739B (zh) 媒体播放同步的方法及装置
CN114339302B (zh) 导播方法、装置、设备以及计算机存储介质
CN110428798B (zh) 人声与伴奏同步方法、蓝牙设备、终端及存储介质
CN105380679B (zh) 超声成像设备的控制方法及系统
CN110324609B (zh) 输出信号同步性检测方法、装置、电子设备及存储介质
CN115220682A (zh) 一种音频驱动虚拟人像的方法、装置及电子设备
CN108989906A (zh) 一种直播视频处理方法及装置
CN107135407B (zh) 一种钢琴视频教学中的同步方法及系统
CN109889860A (zh) 一种直播视频文件拆条方法、装置及系统
CN114466145B (zh) 视频处理方法、装置、设备和存储介质
CN103297674B (zh) 信号处理装置、系统和方法,电子器件
CN102014252B (zh) 将影像视讯转换为具有影像说明图像的显示系统及方法
CN116962747A (zh) 基于网络直播的实时合唱同步方法、装置及网络直播系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant