CN103313089A - 音唇同步检测装置及方法 - Google Patents

Abstract

本发明公开了一种音唇同步检测装置及方法，用于检测音视频播放器的音唇同步误差，该装置包括：音视频信号发生器，用于生成视频信号和音频信号，并将视频信号和音频信号以相同的频率周期性地输出至音视频播放器，以使音视频播放器对应地播放视频测试信号和音频测试信号；光电传感器，用于接收视频测试信号，并将视频测试信号从光信号转换成电信号；以及检测器，用于从音视频播放器接收音频测试信号以及从光电传感器接收视频测试信号，通过比较音频测试信号与视频测试信号的电压随时间变化的曲线来确定音视频播放器的音唇同步误差。优点是检测响应快，测试精度高，直接从数据上体现是否存在音唇同步误差以及可以获得音唇同步误差的具体数值。

Description

音唇同步检测装置及方法

技术领域

本发明涉及音视频信号检测装置及方法，尤其涉及一种音唇同步检测装置及方法。

背景技术

在音视频播放器(例如电视接收机)中，图像信号(或视频信号)和声音信号(或音频信号)的编解码方式不同，传输和处理通道也不同，图像和声音信号在经过接收机处理后，最终呈献给视听者时并非完全同步，会有所偏差。当这个偏差在较小的范围内时，由于人体眼睛和耳朵的特性，常人基本上感觉不到，这也基本上不影响人的视听体验。但随着图像信号的高解像度化，图像信号的编解码和处理变得越来越复杂，造成了图像信号相对声音信号出现了较大的延迟，而且随着120Hz/240Hz和4K等更高帧频、更高解像度技术的出现和应用，图像信号相对声音信号的延迟有越来越大的发展趋势，以至于人的感官能够明显感觉这个延迟(也称之为音唇同步误差)。而由于这个延迟导致的图像和声音信号的不同步，严重影响着人们的视听体验。传统上，大家都只是通过观看图像中说话人的口型，字幕和喇叭传出来的声音来主观对比评价音视频播放器(例如电视机)的音唇同步误差。不仅检测方法过于主观，而且无法给出有关音唇同步误差的精确测量值。

发明内容

本发明要解决的技术问题在于针对现有技术中无法客观地检测音视频播放器中音唇同步误差的缺陷，提供一种音唇同步误差大小的检测装置及方法。

本发明解决其技术问题所采用的技术方案是：提供一种音唇同步检测装置，用于检测音视频播放器的音唇同步误差，包括：

音视频信号发生器，用于生成视频信号和音频信号，并将所述视频信号和音频信号以相同的频率周期性地输出至音视频播放器，以使所述音视频播放器对应地播放视频测试信号和音频测试信号；

光电传感器，用于接收所述视频测试信号，并将所述视频测试信号从光信号转换成电信号；以及

检测器，用于从所述音视频播放器接收所述音频测试信号以及从所述光电传感器接收所述视频测试信号，通过比较所述音频测试信号与所述视频测试信号的电压随时间变化的曲线来确定所述音视频播放器的音唇同步误差。

在依据本发明实施例的音唇同步检测装置中，所述音视频信号发生器包括：

生成所述视频信号的视频信号发生器以及控制所述视频信号输出的视频开关；

生成音频信号的音频信号发生器以及控制所述音频信号输出的音频开关；以及

通过同时输出触发信号至所述视频开关和音频开关以分别控制所述视频开关和音频开关开启或关断的触发信号发生器，所述触发信号为方波信号；从而使得所述音视频信号发生器同步输出所述视频信号和所述音频信号。

在依据本发明实施例的音唇同步检测装置中，所述视频信号发生器包括生成全白图像信号的第一视频信号发生器和生成全黑图像信号的第二视频信号发生器；所述视频开关切换所述全白图像信号与所述全黑图像信号的输出。

在依据本发明实施例的音唇同步检测装置中，所述检测器为示波器。

本发明还提供了一种音唇同步检测方法，用于检测音视频播放器的音唇同步误差，包括步骤：

S100、采用音视频信号发生器生成视频信号和音频信号，并将所述视频信号和音频信号以相同的频率周期性地输出至音视频播放器，以使所述音视频播放器对应地播放视频测试信号和音频测试信号；

S200、采用光电传感器接收所述视频测试信号，并将所述视频测试信号从光信号转换成电信号；以及

S300、采用检测器从所述音视频播放器接收所述音频测试信号以及从所述光电传感器接收所述视频测试信号，通过比较所述音频测试信号与所述视频测试信号的电压随时间变化的曲线来确定所述音视频播放器的音唇同步误差。

在依据本发明实施例的音唇同步检测方法中，所述音视频信号发生器包括：

生成所述视频信号的视频信号发生器以及控制所述视频信号输出的视频开关；

生成音频信号的音频信号发生器以及控制所述音频信号输出的音频开关；以及

通过同时输出触发信号至所述视频开关和音频开关以分别控制所述视频开关和音频开关开启或关断的触发信号发生器，所述触发信号为方波信号；从而使得所述音视频信号发生器同步输出所述视频信号和所述音频信号。

在依据本发明实施例的音唇同步检测方法中，所述视频信号发生器包括生成全白图像信号的第一视频信号发生器和生成全黑图像信号的第二视频信号发生器；所述视频开关切换所述全白图像信号与所述全黑图像信号的输出。

在依据本发明实施例的音唇同步检测方法中，所述检测器为示波器。

在依据本发明实施例的音唇同步检测方法中，步骤S300进一步包括步骤：

S310、判断所述视频测试信号的电压随时间变化的曲线上的电压突变点是否变成在时间坐标轴上展开的电压延迟区；如果是，则所述音视频播放器存在音唇同步误差；如果否，则不存在音唇同步误差。

10、根据权利要求9所述的音唇同步检测方法，其特征在于，如果所述音视频播放器存在音唇同步误差，步骤S300进一步包括步骤：

S320、将所述音频测试信号的电压随时间变化的曲线上的电压突变点对应的时间点确定为测量参考基准点；

S330、将所述电压延迟区的时间中点确定为延迟始发点；以及

S340、将所述测量参考基准点与所述延迟始发点之间的时间间隔确定为音唇同步误差的值。

本发明产生的有益效果是：在依据本发明实施例的音唇同步测试装置及方法中，将视频测试信号转换成可监测的电信号，从而通过比较视频测试信号与音频测试信号的电压随时间变化的曲线，来确定音视频播放器的音唇同步误差。该方法响应快，测试精度高，直接从数据上体现是否存在音唇同步误差以及可以获得音唇同步误差的具体数值。而且，在本发明实施例的音唇同步测试装置中，采用的都是已有部件，结构简单，因此成本低且易于实施。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明实施例的音唇同步检测装置的逻辑框图；

图2是图1中音视频信号发生器的逻辑框图；

图3是图1中音视频信号发生器的逻辑框图；

图4是本发明实施例的音唇同步检测方法的流程图；

图5是本发明优选实施例中的同步的音频信号和视频信号的波形图；

图6是本发明优选实施例中的音视频播放器播放的音频测试信号和视频测试信号的电压波形图；

图7是本发明的优选实施例中确定音唇同步误差数值的流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

图1示出了依据本发明实施例的音唇同步检测装置100，该音唇同步检测装置100用于检测音视频播放器200的音唇同步误差。此处所说的音视频播放器200包括电视机(诸如液晶电视机、等离子电视机等)、投影机、家庭影院等能够同时进行视频和音频播放的设备。另外，本文中所说的连接包括电连接和通信连接，以及包括直接连接和通过任意方式的耦合连接。具体如图1所示，音唇同步检测装置100包括音视频信号发生器110、光电传感器120以及检测器130。其中，音视频播放器200的音频输入端和视频输入端与音视频信号发生器110连接。音视频播放器200的视频输出端与光电传感器120的接收端连接，光电传感器120的输出端与检测器130连接。另外，音视频播放器200的音频输出端直接与检测器130连接。

音视频信号发生器110可分别生成视频信号和音频信号，并通过音视频播放器200的视频输入端和音频输入端输出至音视频播放器200进行播放。音视频播放器200对应地播放视频测试信号和音频测试信号，即播放的视频测试信号对应输入的视频信号，播放的音频测试信号对应输入的音频信号。

在本发明的实施例中，音视频信号发生器110将生成的视频信号和音频信号以相同的频率周期性地输出至音视频播放器200，即在一个输出周期中，一些时间段内同时输出某种音频信号和视频信号；剩余时间段内则同时输出其它明显可区分的音频信号和视频信号。从而使得音视频播放器200在一些时间段同时播放某种音频信号和视频信号，而剩余时间段内则同时播放其它明显可区分的视频信号和音频信号。为了实现周期性地输出音频信号和视频信号，可例如设置音频开关114和视频开关112来控制音频信号和视频信号的输出；也可直接输出周期性的音频信号和视频信号。

在本发明的优选实施例中，如图2所示，音视频信号发生器110包括：生成视频信号的视频信号发生器111以及控制视频信号输出的视频开关112；生成音频信号的音频信号发生器113以及控制音频信号输出的音频开关114；以及触发信号发生器115。其中触发信号发生器115同时输出触发信号至视频开关112和音频开关114，用以分别控制视频开关112和音频开关114的开启或关断，触发信号例如为方波电信号；从而使得音视频信号发生器110同步输出视频信号和音频信号。例如，当触发信号为高电平时，音频开关114和视频开关112同时开启，分别同时输出音频信号和视频信号；当触发信号为低电平时，音频开关114和视频开关112同时关断，既不输出音频信号也不输出视频信号。由此可以看出，通过设置触发信号发生器115控制视频开关112和音频开关114的开启或关断以控制视频信号和音频信号的输出，可以实现同步输出视频信号和音频信号。

在上述优选实施例的变化中，如图3所示，视频信号发生器包括生成全白图像信号的第一视频信号发生器116和生成全黑图像信号的第二视频信号发生器117；视频开关112选用切换开关，切换全白图像信号与全黑图像信号的输出。此时，输出全白图像信号时认为是有视频信号输出，而输出全黑图像信号时认为是没有视频信号输出。

光电传感器120将光信号转换成电信号，光信号中的光强值对应转换后的电信号中的电压值。光电传感器120置于音视频播放器200的显示屏的最前端，接收其所播放的视频测试信号，并将视频测试信号从光信号转换成电信号，即将视频测试信号的光强随时间变化的曲线转换成电压随时间变化的曲线。另外，因为音频测试信号本身即为电信号，不需要再做处理，直接输出至检测器130即可。通常而言，光电传感器120对于亮度显著变化的响应速度为微秒级，而人体能够感知的音唇同步误差为毫秒级，因此虽然视频检测信号是通过光电传感器120之后再输入至检测器130，但通过光电传感器120过程中产生的误差可以忽略不计。

检测器130为可检测电信号的电压随时间变化的任意检测设备，可例如采用示波器作为检测器130。视频检测信号和音频检测信号输入检测器130(例如示波器)后，即可在示波器上显示两者的电压随时间变化的曲线，通过比较音频测试信号与视频测试信号的电压随时间变化的曲线来确定音视频播放器200的音唇同步误差。

下面将按步骤描述采用上述的音唇同步检测装置100，检测音视频播放器200的音唇同步误差的音唇同步检测方法，图4示出了音唇同步检测方法的流程图。

S100、采用音视频信号发生器110生成视频信号和音频信号，并将视频信号和音频信号以相同的频率周期性地输出至音视频播放器200，以使音视频播放器200对应地播放视频测试信号和音频测试信号。以上述的优选实施例为例，触发信号发生器115输出为方波信号的触发信号，通过控制视频开关112和音频开关114的开启或关断，从而实现以相同的频率周期性地同步输出视频信号和音频信号。输出的视频信号的等效电平信号的波形图以及输出的音频信号的波形图如图5所示。图5中示出的波形图的横坐标为时间坐标轴，纵坐标为电压坐标轴。其中，视频信号的等效电平信号的波形图310上具有电压突变点A1，音频信号的波形图320上具有电压突变点A2，因为视频信号和音频信号同步输出，因此电压突变点A1和A2对应的时间点重合。

S200、采用光电传感器120接收视频测试信号，并将视频测试信号从光信号转换成电信号。

S300、采用检测器130从音视频播放器200接收音频测试信号以及从光电传感器120接收视频测试信号，通过比较音频测试信号与视频测试信号的电压随时间变化的曲线来确定音视频播放器200的音唇同步误差。具体而言，图6示出了音视频播放器200播放的视频测试信号和音频测试信号的波形图410和420，此时，视频测试信号和音频测试信号均为电信号，图6中的横坐标为时间坐标轴，纵坐标为电压坐标轴。从图6可以看出，音频测试信号的波形图420仍然具有电压突变点A2，但是视频测试信号的波形图410的电压突变点变成了在时间坐标轴上展开的电压延迟区，由此可以判断该音视频播放器200存在音唇同步误差。为了确定该音唇同步误差的具体数值，而不是简单地确定存在音唇同步误差，步骤300进一步包括以下步骤，其中图7示出了确定音唇同步误差数值的流程图。

S310、判断视频测试信号的电压随时间变化的曲线410上的电压突变点是否变成在时间坐标轴上展开的电压延迟区；如果是，则音视频播放器200存在音唇同步误差(如图6所示)；如果否，则不存在音唇同步误差。

S320、如果存在音唇同步误差，则将音频测试信号的电压随时间变化的曲线420上的电压突变点A2对应的时间点确定为测量参考基准点。

S330、将电压延迟区的时间中点B1确定为延迟始发点；以及

S340、将测量参考基准点A2与延迟始发点B1之间的时间间隔T确定为音唇同步误差的数值。

从以上可以看出，在依据本发明实施例的音唇同步测试装置及方法中，将视频测试信号转换成可监测的电信号，从而通过比较视频测试信号与音频测试信号的电压随时间变化的曲线，来确定音视频播放器的音唇同步误差。该方法响应快，测试精度高，直接从数据上体现是否存在音唇同步误差以及可以获得音唇同步误差的具体数值。另外，本发明的实施例中可同步输出音频信号和视频信号至音视频播放器，进一步提高了测试精度。而且，在本发明实施例的音唇同步测试装置中，采用的都是已有部件，结构简单，因此成本低且易于实施。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种音唇同步检测装置，用于检测音视频播放器的音唇同步误差，其特征在于，包括：

音视频信号发生器，用于生成视频信号和音频信号，并将所述视频信号和音频信号以相同的频率周期性地输出至音视频播放器，以使所述音视频播放器对应地播放视频测试信号和音频测试信号；

光电传感器，用于接收所述视频测试信号，并将所述视频测试信号从光信号转换成电信号；以及

检测器，用于从所述音视频播放器接收所述音频测试信号以及从所述光电传感器接收所述视频测试信号，通过比较所述音频测试信号与所述视频测试信号的电压随时间变化的曲线来确定所述音视频播放器的音唇同步误差。

2.根据权利要求1所述的音唇同步检测装置，其特征在于，所述音视频信号发生器包括：

生成所述视频信号的视频信号发生器以及控制所述视频信号输出的视频开关；

生成音频信号的音频信号发生器以及控制所述音频信号输出的音频开关；以及

通过同时输出触发信号至所述视频开关和音频开关以分别控制所述视频开关和音频开关开启或关断的触发信号发生器，所述触发信号为方波信号；从而使得所述音视频信号发生器同步输出所述视频信号和所述音频信号。

3.根据权利要求2所述的音唇同步检测装置，其特征在于，所述视频信号发生器包括生成全白图像信号的第一视频信号发生器和生成全黑图像信号的第二视频信号发生器；所述视频开关切换所述全白图像信号与所述全黑图像信号的输出。

4.根据权利要求1所述的音唇同步检测装置，其特征在于，所述检测器为示波器。

5.一种音唇同步检测方法，用于检测音视频播放器的音唇同步误差，其特征在于，包括步骤：

S100、采用音视频信号发生器生成视频信号和音频信号，并将所述视频信号和音频信号以相同的频率周期性地输出至音视频播放器，以使所述音视频播放器对应地播放视频测试信号和音频测试信号；

S200、采用光电传感器接收所述视频测试信号，并将所述视频测试信号从光信号转换成电信号；以及

S300、采用检测器从所述音视频播放器接收所述音频测试信号以及从所述光电传感器接收所述视频测试信号，通过比较所述音频测试信号与所述视频测试信号的电压随时间变化的曲线来确定所述音视频播放器的音唇同步误差。

6.根据权利要求5所述的音唇同步检测方法，其特征在于，所述音视频信号发生器包括：

生成所述视频信号的视频信号发生器以及控制所述视频信号输出的视频开关；

生成音频信号的音频信号发生器以及控制所述音频信号输出的音频开关；以及

通过同时输出触发信号至所述视频开关和音频开关以分别控制所述视频开关和音频开关开启或关断的触发信号发生器，所述触发信号为方波信号；从而使得所述音视频信号发生器同步输出所述视频信号和所述音频信号。

7.根据权利要求6所述的音唇同步检测方法，其特征在于，所述视频信号发生器包括生成全白图像信号的第一视频信号发生器和生成全黑图像信号的第二视频信号发生器；所述视频开关切换所述全白图像信号与所述全黑图像信号的输出。

8.根据权利要求5所述的音唇同步检测方法，所述检测器为示波器。

9.根据权利要求5-8任一项所述的音唇同步检测方法，其特征在于，步骤S300进一步包括步骤：

S310、判断所述视频测试信号的电压随时间变化的曲线上的电压突变点是否变成在时间坐标轴上展开的电压延迟区；如果是，则所述音视频播放器存在音唇同步误差；如果否，则不存在音唇同步误差。

10.根据权利要求9所述的音唇同步检测方法，其特征在于，如果所述音视频播放器存在音唇同步误差，步骤S300进一步包括步骤：

S320、将所述音频测试信号的电压随时间变化的曲线上的电压突变点对应的时间点确定为测量参考基准点；

S330、将所述电压延迟区的时间中点确定为延迟始发点；以及

S340、将所述测量参考基准点与所述延迟始发点之间的时间间隔确定为音唇同步误差的值。

Images