CN106358039B - 音画同步测试方法及装置 - Google Patents

音画同步测试方法及装置 Download PDF

Info

Publication number
CN106358039B
CN106358039B CN201610808577.4A CN201610808577A CN106358039B CN 106358039 B CN106358039 B CN 106358039B CN 201610808577 A CN201610808577 A CN 201610808577A CN 106358039 B CN106358039 B CN 106358039B
Authority
CN
China
Prior art keywords
video
frame number
sound
frame
checkpoint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610808577.4A
Other languages
English (en)
Other versions
CN106358039A (zh
Inventor
刘桂芳
平安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen TCL New Technology Co Ltd
Original Assignee
Shenzhen TCL New Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen TCL New Technology Co Ltd filed Critical Shenzhen TCL New Technology Co Ltd
Priority to CN201610808577.4A priority Critical patent/CN106358039B/zh
Priority to PCT/CN2016/112984 priority patent/WO2018045682A1/zh
Publication of CN106358039A publication Critical patent/CN106358039A/zh
Application granted granted Critical
Publication of CN106358039B publication Critical patent/CN106358039B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/004Diagnosis, testing or measuring for television systems or their details for digital television systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/24Systems for the transmission of television signals using pulse code modulation
    • H04N7/52Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44204Monitoring of content usage, e.g. the number of times a movie has been viewed, copied or the amount which has been watched

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开一种音画同步测试方法,包括:在视频的每一帧中依序添加帧编号;通过音频解码器读取所述视频的音频数据时,将音频信号从无到有时对应的播放时刻确定为检查点,并从添加帧编号后的视频中获取各个检查点各自对应的第一帧编号;在终端播放添加帧编号后的视频时,当第N次检测到音频信号从无到有时,获取当前视频画面对应的第二帧编号,并根据播放时刻按升序排列的第N个检查点对应的第一帧编号、当前获取到的第二帧编号、预设的第一阈值,判断当前的音画是否同步;其中,N的取值依次为1、2、3…。本发明还公开一种音画同步测试装置。本发明实现了对用户实际观看的视频进行客观、准确、简捷的音画同步测试。

Description

音画同步测试方法及装置
技术领域
本发明涉及音视频测试技术领域,尤其涉及一种音画同步测试方法及装置。
背景技术
由于电视机等多媒体设备处理视频信号所花费的时间多于处理音频信号的时间,特别是在视频画面需要进行画质运动补偿时,所要花费的时间会更多。在研发过程中,需要测试视频的音画是否同步,也即,将音频信号存入缓存,测试计量出音画在播放上的差异。
目前常见的测试音画同步的方式,是由测试人员观看电视,并对比视频画面中人物的唇动和听到的声音是否同步。由于测试人员的个体差异,会有200ms左右的误差,而很多发烧友却不能忍受这200ms的误差而引发投诉,因而,需要对视频的音画是否同步进行客观的测试。
然而,已有的对音画进行客观同步测试的方式,只能是黑白场的标准测试信号,而不能对用户实际观看的视频进行测试,且对标准测试信号的测试不能准确地代表用户实际观看的视频的音画是否同步,其检测流程也不够简捷。
发明内容
本发明提供一种音画同步测试方法及装置,旨在解决现有音画同步测试方式不够客观、准确、简捷的技术问题。
为实现上述目的,本发明提供一种音画同步测试方法,所述音画同步测试方法包括:
在视频的每一帧中依序添加帧编号;
通过音频解码器读取所述视频的音频数据时,将音频信号从无到有时对应的播放时刻确定为检查点,并从添加帧编号后的视频中获取各个检查点各自对应的第一帧编号;
在终端播放添加帧编号后的视频时,当第N次检测到音频信号从无到有时,获取当前视频画面对应的第二帧编号,并根据播放时刻按升序排列的第N个检查点对应的第一帧编号、当前获取到的第二帧编号、预设的第一阈值,判断当前的音画是否同步;其中,N的取值依次为1、2、3…。
优选地,所述根据播放时刻按升序排列的第N个检查点对应的第一帧编号、当前获取到的第二帧编号、预设的第一阈值,判断当前的音画是否同步的步骤包括:
若当前对应的第N个检查点的第一帧编号和当前获取到的第二帧编号的绝对差值,大于或等于所述第一阈值,则确定当前的音画不同步,否则,确定当前的音画同步。
优选地,所述通过音频解码器读取所述视频的音频数据时,将音频信号从无到有时对应的播放时刻确定为检查点,并从添加帧编号后的视频中获取各个检查点各自对应的第一帧编号的步骤包括:
通过音频解码器读取所述视频的音频数据时,实时侦测音频信号的强度;
当侦测到音频信号的强度从零变为超过预设的第二阈值时,将当前音频信号对应的播放时刻确定为检查点;
从添加帧编号后的视频中解析当前检查点对应的视频帧以获取帧编号,并将获得的帧编号作为当前检查点对应的第一帧编号。
优选地,所述音画同步测试方法还包括:
在视频的每一帧中依序添加帧编号时,控制实现帧编号在终端播放视频时显示在相应视频画面的指定位置。
优选地,所述在终端播放添加帧编号后的视频时,当第N次检测到音频信号从无到有时,获取当前视频画面对应的第二帧编号的步骤包括:
在终端播放添加帧编号后的视频时,实时侦测音频信号的强度;
当侦测到音频信号的强度从零变为超过预设的第三阈值时,通过预置的摄像头捕获当前的视频画面;
对捕获到的视频画面进行图像处理,以获取所述视频画面上的帧编号,并将获取到的帧编号作为当前视频画面对应的第二帧编号。
为实现上述目的,本发明还提供一种音画同步测试装置,所述音画同步测试装置包括:
视频处理模块,用于在视频的每一帧中依序添加帧编号;
检查点确定模块,用于通过音频解码器读取所述视频的音频数据时,将音频信号从无到有时对应的播放时刻确定为检查点,并从添加帧编号后的视频中获取各个检查点各自对应的第一帧编号;
同步测试模块,用于在终端播放添加帧编号后的视频时,当第N次检测到音频信号从无到有时,获取当前视频画面对应的第二帧编号,并根据播放时刻按升序排列的第N个检查点对应的第一帧编号、当前获取到的第二帧编号、预设的第一阈值,判断当前的音画是否同步;其中,N的取值依次为1、2、3…。
优选地,所述同步测试模块包括判断单元,所述判断单元用于:
若当前对应的第N个检查点的第一帧编号和当前获取到的第二帧编号的绝对差值,大于或等于所述第一阈值,则确定当前的音画不同步,否则,确定当前的音画同步。
优选地,所述检查点确定模块包括:
侦测单元,用于通过音频解码器读取所述视频的音频数据时,实时侦测音频信号的强度;
确定单元,用于当侦测到音频信号的强度从零变为超过预设的第二阈值时,将当前音频信号对应的播放时刻确定为检查点;
获取单元,用于从添加帧编号后的视频中解析当前检查点对应的视频帧以获取帧编号,并将获得的帧编号作为当前检查点对应的第一帧编号。
优选地,所述视频处理模块具体用于:
在视频的每一帧中依序添加帧编号时,控制实现帧编号在终端播放视频时显示在相应视频画面的指定位置。
优选地,所述同步测试模块包括检测单元,所述检测单元包括:
侦测子单元,用于在终端播放添加帧编号后的视频时,实时侦测音频信号的强度;
捕获子单元,用于当侦测到音频信号的强度从零变为超过预设的第三阈值时,通过预置的摄像头捕获当前的视频画面;
获取子单元,用于对捕获到的视频画面进行图像处理,以获取所述视频画面上的帧编号,并将获取到的帧编号作为当前视频画面对应的第二帧编号。
本发明提出的音画同步测试方法及装置,在视频的每一帧中依序添加帧编号,然后通过音频解码器读取视频的音频数据,以确定出音频信号从无到有时的检查点,并从添加帧编码后的视频中获取各个检查点各自对应的第一帧编号;在终端上播放添加帧编号后的视频时,当第N次检测到音频信号从无到有时,获取当前视频画面对应的第二帧编号,并根据播放时刻按升序排列的第N个检查点对应的第一帧编号、当前获取到的第二帧编号、预设的第一阈值,判断当前的音画是否同步。测试时所用的视频可以是用户实际观看的任意视频,且在同一声音停顿处重新有声音时,通过比较此时本该播放的帧编号与当前实际播放的帧编号的差异,从而实现对用户实际观看的视频进行客观、准确、简捷的音画同步测试。
附图说明
图1为本发明音画同步测试方法第一实施例的流程示意图;
图2为图1中步骤S20的细化流程示意图;
图3为本发明音画同步测试方法第三实施例中获取当前视频画面对应的第二帧编号的细化流程示意图;
图4为本发明音画同步测试装置第一实施例的功能模块示意图;
图5为图4中检查点确定模块的细化功能模块示意图;
图6为本发明音画同步测试装置第三实施例中同步测试模块的细化功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明提供一种音画同步测试方法,如图1所示,示出了本发明音画同步测试方法第一实施例的流程示意图,所述音画同步测试方法包括:
S10、在视频的每一帧中依序添加帧编号;
在进行视频的音画同步测试时,首先需要选取一段视频,该段视频是用户实际观看的任意视频,可以是一个完整的长视频,也可以是从一个完整的长视频中截取的一小段视频。采用现有的视频处理技术,可在选取的视频的每一帧中依序添加帧编号。例如,假设待测试的是一个10分钟的视频,其帧率为50fps,则该视频的总帧数为50×10×60=30000,在添加帧编号时,可将编号1-30000根据视频帧的先后顺序依次添加到该视频的每一帧中,即该视频的第一帧的编号为1,第二帧的编号为2,第800帧的编号为800,以此类推。添加的帧编号可存储在每一帧对应的视频帧数据中。
S20、通过音频解码器读取所述视频的音频数据时,将音频信号从无到有时对应的播放时刻确定为检查点,并从添加帧编号后的视频中获取各个检查点各自对应的第一帧编号;
进一步地,参照图2,上述步骤S20包括:
S21、通过音频解码器读取所述视频的音频数据时,实时侦测音频信号的强度;
S22、当侦测到音频信号的强度从零变为超过预设的第二阈值时,将当前音频信号对应的播放时刻确定为检查点;
S23、从添加帧编号后的视频中解析当前检查点对应的视频帧以获取帧编号,并将获得的帧编号作为当前检查点对应的第一帧编号。
所述视频包括图像数据(即视频帧数据)和音频数据,这些数据存储在同一个数据包里,当需要读取图像时,解析该数据包中的图像数据即可,当需要读取音频数据时,解析该数据包中的音频数据即可。通过音频解码器读取该段视频(也可指添加帧编号后的视频)的音频数据时,可获取到该音频数据的每一播放时刻(与该段视频的播放时刻一致)对应的音频信号。实时侦测该读取过程中音频信号的强度,并在检测到音频信号从无到有,即音频信号的强度从零变为到一个较高的值,且该值大于预设的第二阈值时,将此时音频信号对应的播放时刻确定为检查点,并从添加帧编号后的视频中解析当前检查点对应的视频帧,以获取该视频帧中的帧编号,获得的帧编号即为当前检查点(即当前播放时刻)对应的第一帧编号。
其中,第一帧编号为各个检查点在视频中对应的视频帧的帧编号;所述第二阈值是预先设置的一个音频信号强度值,用于表示强度值超过第二阈值的音频信号属于有声音的音频信号。
S30、在终端播放添加帧编号后的视频时,当第N次检测到音频信号从无到有时,获取当前视频画面对应的第二帧编号,并根据播放时刻按升序排列的第N个检查点对应的第一帧编号、当前获取到的第二帧编号、预设的第一阈值,判断当前的音画是否同步。
所述终端可以为电视机,也可以为手机等能够播放视频且需要对视频的图像显示和音频播放进行处理的硬件设备。所述第二帧编号是用来区分于第一帧编号的一类帧编号,表示在通过终端播放视频时获取到的帧编号。N的取值依次为1、2、3…。
以电视机为例,则测试时的视频为电视机实际接收的直播数字信号经处理后得到的TS(Transport Stream,传输流或节目流)视频文件。在进行音画同步测试时,可通过串口线与电视机连接以获取所需数据,并在电视机上播放添加帧编号后的视频。在播放过程中,可获取到实时的音频信号和视频帧数据,当检测到音频信号从无到有,即音频信号的强度从零变为超过预设的第三阈值时,一方面获取当前视频画面所属视频帧的第二帧编号,另一方面根据该次检测到音频信号从无到有的次序,即第N次,获取之前确定出的检查点中、播放时刻按升序排列的第N个检查点(即音画同步播放中第N次声音停顿处重新有声音的播放时刻)对应的第一帧编号,然后根据当前获取到的第一帧编号、第二帧编号、预设的第一阈值,判断当前的音画是否同步。其中,所述第三阈值也是预先设置的一个音频信号强度值,其取值可以与所述第二阈值相同,也可以不同。
例如,假设当前获取到的第一帧编号为950、第二帧编号为986,预设的第一阈值为时间差值且取值为500ms,则第一帧编号与第二帧编号的绝对差值为|950-986|=36,计算得到当前视频画面在当前播放场景下与在音画同步播放场景下相差的时间差值为(36/50)×1000=720ms,由于计算得到的时间差值大于第一阈值500ms,则可判断出当前的音画不同步。进一步地,还可根据计算得到的时间差值对播放的视频进行音画同步校正。
本发明提出的音画同步测试方法,在视频的每一帧中依序添加帧编号,然后通过音频解码器读取视频的音频数据,以确定出音频信号从无到有时的检查点,并从添加帧编码后的视频中获取各个检查点各自对应的第一帧编号;在终端上播放添加帧编号后的视频时,当第N次检测到音频信号从无到有时,获取当前视频画面对应的第二帧编号,并根据播放时刻按升序排列的第N个检查点对应的第一帧编号、当前获取到的第二帧编号、预设的第一阈值,判断当前的音画是否同步。测试时所用的视频可以是用户实际观看的任意视频,且在同一声音停顿处重新有声音时,通过比较此时本该播放的帧编号与当前实际播放的帧编号的差异,从而实现对用户实际观看的视频进行客观、准确、简捷的音画同步测试。
进一步地,基于上述音画同步测试方法第一实施例提出本发明音画同步测试方法第二实施例,在本实施例中,所述根据播放时刻按升序排列的第N个检查点对应的第一帧编号、当前获取到的第二帧编号、预设的第一阈值,判断当前的音画是否同步的步骤包括:
若当前对应的第N个检查点的第一帧编号和当前获取到的第二帧编号的绝对差值,大于或等于所述第一阈值,则确定当前的音画不同步,否则,确定当前的音画同步。
本实施例中,所述第一阈值是为帧编号的绝对差值设置的一个阈值。假设当前获取到的第一帧编号为950、第二帧编号为986,第一阈值为30,则帧编号的绝对差值为|950-986|=36,大于预设的第一阈值30,因而可确定当前的音画不同步。进一步地,还可根据帧编号的绝对差值对播放的视频进行音画同步校正。
本发明提出的音画同步测试方法,通过计算第一帧编号与第二帧编号的绝对差值,并比较计算得到的绝对差值与预设的第一阈值的大小关系,从而判断当前的音画是否同步,判断过程简单、快速,且判断结果准确。
进一步地,基于上述音画同步测试方法第二实施例提出本发明音画同步测试方法第三实施例,在本实施例中,所述音画同步测试方法还包括:
在视频的每一帧中依序添加帧编号时,控制实现帧编号在终端播放视频时显示在相应视频画面的指定位置。
例如,在终端上播放该视频时,在该视频的第一帧对应的视频画面的指定位置(如右下角)处能够显示帧编号1,在该视频的第二帧对应的视频画面的相同位置处能够显示帧编号2,以此类推。
进一步地,参照图3,所述在终端播放添加帧编号后的视频时,当第N次检测到音频信号从无到有时,获取当前视频画面对应的第二帧编号的步骤包括:
S31、在终端播放添加帧编号后的视频时,实时侦测音频信号的强度;
可通过与终端进行串口连接,从而从终端的音频处理装置(如扬声器)获取到视频播放时实时的音频信号的强度,也可通过麦克风等装置捕获视频播放时的声音,从而获取到实时的音频信号的强度。
S32、当侦测到音频信号的强度从零变为超过预设的第三阈值时,通过预置的摄像头捕获当前的视频画面;
在终端上播放添加帧编号后的视频时,使用预置的摄像头对准该视频的视频画面,且当侦测到音频信号从无到有,即音频信号的强度从零变为超过预设的第三阈值时,控制摄像头捕获当前的视频画面。
S33、对捕获到的视频画面进行图像处理,以获取所述视频画面上的帧编号,并将获取到的帧编号作为当前视频画面对应的第二帧编号。
通过摄像头得到当前的视频画面后,利用图像处理技术提取出该视频画面上的帧编号,提取出的帧编号即为当前视频画面对应的第二帧编号。
本发明提出的音画同步测试方法,控制帧编号在终端播放视频时显示在相应视频画面的指定位置,使得测试者能够直观查看到各个测试点(即音频信号从无到有时)对应视频画面的帧编号,且能够通过预置的摄像头捕获得到该帧编号,从而获得测试需要的第二帧编号。
本发明还提供一种音画同步测试装置,如图4所示,示出了本发明音画同步测试装置第一实施例的功能模块示意图,所述音画同步测试装置包括:
视频处理模块100,用于在视频的每一帧中依序添加帧编号;
在进行视频的音画同步测试时,首先需要选取一段视频,该段视频是用户实际观看的任意视频,可以是一个完整的长视频,也可以是从一个完整的长视频中截取的一小段视频。采用现有的视频处理技术,可在选取的视频的每一帧中依序添加帧编号。例如,假设待测试的是一个10分钟的视频,其帧率为50fps,则该视频的总帧数为50×10×60=30000,在添加帧编号时,视频处理模块100可将编号1-30000根据视频帧的先后顺序依次添加到该视频的每一帧中,即该视频的第一帧的编号为1,第二帧的编号为2,第800帧的编号为800,以此类推。添加的帧编号可存储在每一帧对应的视频帧数据中。
检查点确定模块200,用于通过音频解码器读取所述视频的音频数据时,将音频信号从无到有时对应的播放时刻确定为检查点,并从添加帧编号后的视频中获取各个检查点各自对应的第一帧编号;
进一步地,参照图5,所述检查点确定模块200包括:
侦测单元201,用于通过音频解码器读取所述视频的音频数据时,实时侦测音频信号的强度;
确定单元202,用于当侦测到音频信号的强度从零变为超过预设的第二阈值时,将当前音频信号对应的播放时刻确定为检查点;
获取单元203,用于从添加帧编号后的视频中解析当前检查点对应的视频帧以获取帧编号,并将获得的帧编号作为当前检查点对应的第一帧编号。
所述视频包括图像数据(即视频帧数据)和音频数据,这些数据存储在同一个数据包里,当需要读取图像时,解析该数据包中的图像数据即可,当需要读取音频数据时,解析该数据包中的音频数据即可。通过音频解码器读取该段视频(也可指添加帧编号后的视频)的音频数据时,可获取到该音频数据的每一播放时刻(与该段视频的播放时刻一致)对应的音频信号。侦测单元201实时侦测该读取过程中音频信号的强度,确定单元202在检测到音频信号从无到有,即音频信号的强度从零变为到一个较高的值,且该值大于预设的第二阈值时,将此时音频信号对应的播放时刻确定为检查点,且获取单元203从添加帧编号后的视频中解析当前检查点对应的视频帧,以获取该视频帧中的帧编号,获得的帧编号即为当前检查点(即当前播放时刻),对应的第一帧编号。
其中,第一帧编号为各个检查点在视频中对应的视频帧的帧编号;所述第二阈值是预先设置的一个音频信号强度值,用于表示强度值超过第二阈值的音频信号属于有声音的音频信号。
同步测试模块300,用于在终端播放添加帧编号后的视频时,当第N次检测到音频信号从无到有时,获取当前视频画面对应的第二帧编号,并根据播放时刻按升序排列的第N个检查点对应的第一帧编号、当前获取到的第二帧编号、预设的第一阈值,判断当前的音画是否同步。
所述终端可以为电视机,也可以为手机等能够播放视频且需要对视频的图像显示和音频播放进行处理的硬件设备。所述第二帧编号是用来区分于第一帧编号的一类帧编号,表示在通过终端播放视频时获取到的帧编号。N的取值依次为1、2、3…。
以电视机为例,则测试时的视频为电视机实际接收的直播数字信号经处理后得到的TS视频文件。在进行音画同步测试时,在电视机上播放添加帧编号后的视频,同时,同步测试模块300可通过串口线与电视机连接以获取所需数据。在播放过程中,同步测试模块300可获取到实时的音频信号和视频帧数据,当检测到音频信号从无到有,即音频信号的强度从零变为超过预设的第三阈值时,一方面获取当前视频画面所属视频帧的第二帧编号,另一方面根据该次检测到音频信号从无到有的次序,即第N次,获取之前确定出的检查点中、播放时刻按升序排列的第N个检查点(即音画同步播放中第N次声音停顿处重新有声音的播放时刻)对应的第一帧编号,然后根据当前获取到的第一帧编号、第二帧编号、预设的第一阈值,判断当前的音画是否同步。其中,所述第三阈值也是预先设置的一个音频信号强度值,其取值可以与所述第二阈值相同,也可以不同。
例如,假设当前获取到的第一帧编号为950、第二帧编号为986,预设的第一阈值为时间差值且取值为500ms,则第一帧编号与第二帧编号的绝对差值为|950-986|=36,计算得到当前视频画面在当前播放场景下与在音画同步播放场景下相差的时间差值为(36/50)×1000=720ms,由于计算得到的时间差值大于第一阈值500ms,则同步测试模块300可判断出当前的音画不同步。进一步地,还可根据计算得到的时间差值对播放的视频进行音画同步校正。
本发明提出的音画同步测试装置,在视频的每一帧中依序添加帧编号,然后通过音频解码器读取视频的音频数据,以确定出音频信号从无到有时的检查点,并从添加帧编码后的视频中获取各个检查点各自对应的第一帧编号;在终端上播放添加帧编号后的视频时,当第N次检测到音频信号从无到有时,获取当前视频画面对应的第二帧编号,并根据播放时刻按升序排列的第N个检查点对应的第一帧编号、当前获取到的第二帧编号、预设的第一阈值,判断当前的音画是否同步。测试时所用的视频可以是用户实际观看的任意视频,且在同一声音停顿处重新有声音时,通过比较此时本该播放的帧编号与当前实际播放的帧编号的差异,从而实现对用户实际观看的视频进行客观、准确、简捷的音画同步测试。
进一步地,基于上述音画同步测试装置第一实施例提出本发明音画同步测试装置第二实施例,在本实施例中,所述同步测试模块300包括判断单元301,所述判断单元301用于:
若当前对应的第N个检查点的第一帧编号和当前获取到的第二帧编号的绝对差值,大于或等于所述第一阈值,则确定当前的音画不同步,否则,确定当前的音画同步。
本实施例中,所述第一阈值是为帧编号的绝对差值设置的一个阈值。假设当前获取到的第一帧编号为950、第二帧编号为986,第一阈值为30,则帧编号的绝对差值为|950-986|=36,大于预设的第一阈值30,因而判断单元301可判断出当前的音画不同步。进一步地,还可根据帧编号的绝对差值对播放的视频进行音画同步校正。
本发明提出的音画同步测试装置,通过计算第一帧编号与第二帧编号的绝对差值,并比较计算得到的绝对差值与预设的第一阈值的大小关系,从而判断当前的音画是否同步,判断过程简单、快速,且判断结果准确。
进一步地,基于上述音画同步测试装置第二实施例提出本发明音画同步测试装置第三实施例,在本实施例中,所述视频处理模块100具体用于:
在视频的每一帧中依序添加帧编号时,控制实现帧编号在终端播放视频时显示在相应视频画面的指定位置。
例如,在终端上播放该视频时,在该视频的第一帧对应的视频画面的指定位置(如右下角)处能够显示帧编号1,在该视频的第二帧对应的视频画面的相同位置处能够显示帧编号2,以此类推。
进一步地,参照图6,所述同步测试模块300还包括检测单元302,所述检测单元302包括:
侦测子单元,用于在终端播放添加帧编号后的视频时,实时侦测音频信号的强度;
可通过与终端进行串口连接,从而从终端的音频处理装置(如扬声器)获取到视频播放时实时的音频信号的强度,也可通过麦克风等装置捕获视频播放时的声音,从而使侦测子单元获取到实时的音频信号的强度。
捕获子单元,用于当侦测到音频信号的强度从零变为超过预设的第三阈值时,通过预置的摄像头捕获当前的视频画面;
在终端上播放添加帧编号后的视频时,使用预置的摄像头对准该视频的视频画面,且当侦测到音频信号从无到有,即音频信号的强度从零变为超过预设的第三阈值时,捕获子单元控制摄像头捕获当前的视频画面。
获取子单元,用于对捕获到的视频画面进行图像处理,以获取所述视频画面上的帧编号,并将获取到的帧编号作为当前视频画面对应的第二帧编号。
通过摄像头得到当前的视频画面后,获取子单元利用图像处理技术提取出该视频画面上的帧编号,提取出的帧编号即为当前视频画面对应的第二帧编号。
本发明提出的音画同步测试装置,控制帧编号在终端播放视频时显示在相应视频画面的指定位置,使得测试者能够直观查看到各个测试点(即音频信号从无到有时)对应视频画面的帧编号,且能够通过预置的摄像头捕获得到该帧编号,从而获得测试需要的第二帧编号。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种音画同步测试方法,其特征在于,所述音画同步测试方法包括:
在视频的每一帧中依序添加帧编号;
通过音频解码器读取所述视频的音频数据时,将音频信号从无到有时对应的播放时刻确定为检查点,并从添加帧编号后的视频中获取各个检查点各自对应的第一帧编号;
在终端播放添加帧编号后的视频时,当第N次检测到音频信号从无到有时,获取当前视频画面对应的第二帧编号,并根据播放时刻按升序排列的第N个检查点对应的第一帧编号、当前获取到的第二帧编号、预设的第一阈值,判断当前的音画是否同步;其中,N的取值依次为1、2、3…;
其中,所述通过音频解码器读取所述视频的音频数据时,将音频信号从无到有时对应的播放时刻确定为检查点,并从添加帧编号后的视频中获取各个检查点各自对应的第一帧编号的步骤包括:
通过音频解码器读取所述视频的音频数据时,实时侦测音频信号的强度;
当侦测到音频信号的强度从零变为超过预设的第二阈值时,将当前音频信号对应的播放时刻确定为检查点;
从添加帧编号后的视频中解析当前检查点对应的视频帧以获取帧编号,并将获得的帧编号作为当前检查点对应的第一帧编号。
2.如权利要求1所述的音画同步测试方法,其特征在于,所述根据播放时刻按升序排列的第N个检查点对应的第一帧编号、当前获取到的第二帧编号、预设的第一阈值,判断当前的音画是否同步的步骤包括:
若当前对应的第N个检查点的第一帧编号和当前获取到的第二帧编号的绝对差值,大于或等于所述第一阈值,则确定当前的音画不同步,否则,确定当前的音画同步。
3.如权利要求1或2所述的音画同步测试方法,其特征在于,所述音画同步测试方法还包括:
在视频的每一帧中依序添加帧编号时,控制实现帧编号在终端播放视频时显示在相应视频画面的指定位置。
4.如权利要求3所述的音画同步测试方法,其特征在于,所述在终端播放添加帧编号后的视频时,当第N次检测到音频信号从无到有时,获取当前视频画面对应的第二帧编号的步骤包括:
在终端播放添加帧编号后的视频时,实时侦测音频信号的强度;
当侦测到音频信号的强度从零变为超过预设的第三阈值时,通过预置的摄像头捕获当前的视频画面;
对捕获到的视频画面进行图像处理,以获取所述视频画面上的帧编号,并将获取到的帧编号作为当前视频画面对应的第二帧编号。
5.一种音画同步测试装置,其特征在于,所述音画同步测试装置包括:
视频处理模块,用于在视频的每一帧中依序添加帧编号;
检查点确定模块,用于通过音频解码器读取所述视频的音频数据时,将音频信号从无到有时对应的播放时刻确定为检查点,并从添加帧编号后的视频中获取各个检查点各自对应的第一帧编号;
同步测试模块,用于在终端播放添加帧编号后的视频时,当第N次检测到音频信号从无到有时,获取当前视频画面对应的第二帧编号,并根据播放时刻按升序排列的第N个检查点对应的第一帧编号、当前获取到的第二帧编号、预设的第一阈值,判断当前的音画是否同步;其中,N的取值依次为1、2、3…;
其中,所述检查点确定模块包括:
侦测单元,用于通过音频解码器读取所述视频的音频数据时,实时侦测音频信号的强度;
确定单元,用于当侦测到音频信号的强度从零变为超过预设的第二阈值时,将当前音频信号对应的播放时刻确定为检查点;
获取单元,用于从添加帧编号后的视频中解析当前检查点对应的视频帧以获取帧编号,并将获得的帧编号作为当前检查点对应的第一帧编号。
6.如权利要求5所述的音画同步测试装置,其特征在于,所述同步测试模块包括判断单元,所述判断单元用于:
若当前对应的第N个检查点的第一帧编号和当前获取到的第二帧编号的绝对差值,大于或等于所述第一阈值,则确定当前的音画不同步,否则,确定当前的音画同步。
7.如权利要求5或6所述的音画同步测试装置,其特征在于,所述视频处理模块具体用于:
在视频的每一帧中依序添加帧编号时,控制实现帧编号在终端播放视频时显示在相应视频画面的指定位置。
8.如权利要求7所述的音画同步测试装置,其特征在于,所述同步测试模块包括检测单元,所述检测单元包括:
侦测子单元,用于在终端播放添加帧编号后的视频时,实时侦测音频信号的强度;
捕获子单元,用于当侦测到音频信号的强度从零变为超过预设的第三阈值时,通过预置的摄像头捕获当前的视频画面;
获取子单元,用于对捕获到的视频画面进行图像处理,以获取所述视频画面上的帧编号,并将获取到的帧编号作为当前视频画面对应的第二帧编号。
CN201610808577.4A 2016-09-07 2016-09-07 音画同步测试方法及装置 Active CN106358039B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201610808577.4A CN106358039B (zh) 2016-09-07 2016-09-07 音画同步测试方法及装置
PCT/CN2016/112984 WO2018045682A1 (zh) 2016-09-07 2016-12-29 音画同步测试方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610808577.4A CN106358039B (zh) 2016-09-07 2016-09-07 音画同步测试方法及装置

Publications (2)

Publication Number Publication Date
CN106358039A CN106358039A (zh) 2017-01-25
CN106358039B true CN106358039B (zh) 2019-02-01

Family

ID=57859367

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610808577.4A Active CN106358039B (zh) 2016-09-07 2016-09-07 音画同步测试方法及装置

Country Status (2)

Country Link
CN (1) CN106358039B (zh)
WO (1) WO2018045682A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106375820B (zh) * 2016-08-30 2018-07-06 京东方科技集团股份有限公司 对音频和视频信号进行同步的方法和装置
CN107613357B (zh) * 2017-09-13 2020-05-19 广州酷狗计算机科技有限公司 声画同步优化方法、装置及可读存储介质
CN110446103B (zh) * 2018-05-04 2021-08-31 腾讯科技(深圳)有限公司 一种音像测试方法、装置及存储介质
CN112929654B (zh) * 2021-03-16 2022-03-29 腾讯音乐娱乐科技(深圳)有限公司 检测音画同步的方法、装置、设备及存储介质
CN113207009B (zh) * 2021-05-11 2022-11-29 中国工商银行股份有限公司 音视频交互系统音画失步的测试方法、装置及系统
CN114007064B (zh) * 2021-11-01 2023-03-21 腾讯科技(深圳)有限公司 特效同步评估方法、装置、设备及存储介质
CN114666636B (zh) * 2022-03-01 2024-06-14 阿里巴巴(中国)有限公司 音画同步检测方法及计算机可读存储介质
CN116128453B (zh) * 2023-02-18 2024-05-03 广州市点易资讯科技有限公司 一种线上课程巡检方法、系统、设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1645944A (zh) * 2004-12-13 2005-07-27 武汉大学 一种测试音视频编解码系统音视频失步的方法
CN1836443A (zh) * 2003-07-01 2006-09-20 Lg电子株式会社 用于测试数字电视接收机的声像吻合的装置和方法
JP2007312192A (ja) * 2006-05-19 2007-11-29 Oki Electric Ind Co Ltd リップシンク評価装置、及びリップシンク調整装置
CN103051921A (zh) * 2013-01-05 2013-04-17 北京中科大洋科技发展股份有限公司 一种精确检测视音频处理系统视频、音频同步误差的方法
CN105898505A (zh) * 2016-04-27 2016-08-24 北京小米移动软件有限公司 视频即时通讯中测试音视频同步的方法、装置及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2437123B (en) * 2006-04-10 2011-01-26 Vqual Ltd Method and apparatus for measuring audio/video sync delay
CN101150729A (zh) * 2006-09-22 2008-03-26 康佳集团股份有限公司 音视频同步播放方法
CN101742357B (zh) * 2009-12-29 2012-10-24 北京牡丹电子集团有限责任公司 数字电视设备音视频同步误差的测量方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1836443A (zh) * 2003-07-01 2006-09-20 Lg电子株式会社 用于测试数字电视接收机的声像吻合的装置和方法
CN1645944A (zh) * 2004-12-13 2005-07-27 武汉大学 一种测试音视频编解码系统音视频失步的方法
JP2007312192A (ja) * 2006-05-19 2007-11-29 Oki Electric Ind Co Ltd リップシンク評価装置、及びリップシンク調整装置
CN103051921A (zh) * 2013-01-05 2013-04-17 北京中科大洋科技发展股份有限公司 一种精确检测视音频处理系统视频、音频同步误差的方法
CN105898505A (zh) * 2016-04-27 2016-08-24 北京小米移动软件有限公司 视频即时通讯中测试音视频同步的方法、装置及系统

Also Published As

Publication number Publication date
CN106358039A (zh) 2017-01-25
WO2018045682A1 (zh) 2018-03-15

Similar Documents

Publication Publication Date Title
CN106358039B (zh) 音画同步测试方法及装置
EP1639816B1 (en) Method and system for testing lip-synchronization of a digital television receiver
CN106961568B (zh) 一种画面切换方法、装置和系统
CN101796812B (zh) 唇形同步系统和方法
US9294710B2 (en) Image comparison device using personal video recorder and method using the same
US20080260350A1 (en) Audio Video Synchronization Stimulus and Measurement
US20070182865A1 (en) Method and communication apparatus for reproducing a moving picture, and use in a videoconference system
CN104661021A (zh) 一种视频流的质量评估方法和装置
US20080255840A1 (en) Video Nametags
KR102025157B1 (ko) 복수의 촬영 영상 전송을 위한 시스템 및 그 제어방법
CN112218099A (zh) 全景视频生成、播放方法及装置、全景视频生成系统
KR20200027638A (ko) 복수의 동영상 처리를 위한 장치 및 방법
CN107968942B (zh) 一种直播平台音视频时间差测量方法与系统
KR102024437B1 (ko) 복수의 촬영 영상 전송을 위한 시스템 및 그 제어방법
KR102026454B1 (ko) 복수의 촬영 영상 전송을 위한 시스템 및 그 제어방법
CN115052178B (zh) 音视频编码、解码、编解码系统,编码、解码方法及介质
US20140009588A1 (en) Video display apparatus and video display method
CN107172419A (zh) 音视频同步测试方法及系统
CN112601048A (zh) 在线考试监控方法、电子装置及存储介质
KR101616457B1 (ko) 동영상 지연시간 검증 장치 및 시스템
KR101721224B1 (ko) 실시간 영상 및 음성 왜곡 검출 방법 및 장치
JP2004242130A (ja) 映像・音声伝送時間差測定用の信号発生装置およびその方法、並びに信号解析装置およびその方法
Papp et al. Real-time AV synchronization delay measurement for multimedia devices
KR100647954B1 (ko) 화질 개선부가 구비된 이동 단말기 및 이동 단말기표시장치 화질 개선 방법
US11956417B2 (en) Method of measuring video latency

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant