CN106470339A - 终端设备、及音频视频同步检测方法 - Google Patents

Abstract

本发明提供的本发明实施方式中的终端设备，终端设备包括：影像模块。影像模块用于产生包含多个周期的影像片段，所述影像片段的每个周期包含第一影像内容和第二影像内容，所述第一影像内容的时间长度和第二影像内容的时间长度根据一预设规则变化。本发明还提供一种音频视频同步检测方法，本发明构造的视频片段能提高计算音频与影像之间的时间误差的自动化程度，提高计算时间误差的准确率。

Description

终端设备、及音频视频同步检测方法

技术领域

本发明涉及音频视频领域，尤其涉及终端设备、及音频视频同步检测的方法。

背景技术

现有的音频视频同步检测的方法主要是里哟视频设备播出黑色影像画面后，突然出现一白色影像，在白色影像出现的同时，播放一特定频率的声音，白色影像与声音重复出项，然后利用示波器测量白色影像和声音出现的时间差。这种测试方法存在如图1所示的问题：当影像和声音经播放设备播放并进入测试设备后，在出现声音之前和出现声音之后均有影像出现，将会检测到两个时间误差，如图1所示的ΔT1、ΔT2两个误差，其中，ΔT1＝Video1-Audio，ΔT2＝Video2-Audio，导致需经过检视才能判断两个误差数据中那个才是真正的误差数据，不利于自动化的误差测试。

发明内容

有鉴于此，有必要提供终端设备，能自动检测音频视频同步检测，提高误差检测的自动化程度，提高检测误差的精确度。

此外，还需提供视频音频同步检测方法，能自动检测音频视频同步检测，提高误差检测的自动化程度，提高检测误差的精确度。

本发明实施方式中的终端设备，与播放视频音频的视频设备相连，终端设备包括影像模块，影像模块用于产生包含多个周期的影像片段，所述影像片段的每个周期包含第一影像内容和第二影像内容，所述第一影像内容的时间长度和第二影像内容的时间长度根据一预设规则变化。

优选地，终端设备还包括：音频模块、整合模块。音频模块用于产生包含多个周期的音频片段，所述音频片段的每个周期包含第一音频内容和第二音频内容，所述第一音频内容的时间长度和第二音频内容的时间长度根据所述预设规则变化，整合模块用于将所述影像片段和所述音频片段整合编码成第一视频片段，并将所述第一视频片段传输至所述视频设备，以供所述视频设备解码所述第一视频片段得到第二视频片段。

优选地，终端设备包括：撷取模块、判断模块。撷取模块用于接收所述视频设备发送的第二视频片段，并从所述第二视频片段中撷取一预设时间长度的第三视频片段，其中，所述第三视频片段包括第三影像片段和第三音频片段。判断模块用于判断所述第三影像片段开始时间和所述第三音频片段开始时间，并根据所述第三影像片段开始时间和所述第三音频片段开始时间计算时间误差。

优选地，所述第三影像片段由一个或多个所述第一影像内容的片段以及一个或多个第二影像内容的片段组成。

优选地，当所述第三影像片段的开始时间处于所述第一影像内容和所述第二影像内容的边界且所述第三影像片段开始的内容为所述第二影像内容时，所述判断模块根据公式Tv＝P*(n-1)-T1计算所述第三影像片段的开始时间，其中，Tv表示第三影像片段的开始时间，P为所述第一视频片段的周期,n为根据第一次出现的所述第一影像内容片段的时间长度以及所述预设规则确定的周期数，T1为第一次出现的所述第二内容片段的时间长度。

优选地，当所述第三影像片段的开始时间处于所述第一影像内容和所述第二影像内容的边界且所述第三影像片段开始的内容为所述第一影像内容时，所述判断模块根据公式Tv＝P*(n-1)计算所述第三影像片段的开始时间，其中，Tv表示所述第三影像片段的开始时间，P为所述第一视频片段的周期,n为根据第一次出现的所述第一影像内容片段的时间长度以及所述预设规则确定的周期数。

优选地，当所述第三影像片段的开始时间处于所述第一影像内容的片段内时，判断模块根据公式Tv＝P*n-T2-T3计算所述第三影像片段的开始时间，其中，Tv表示所述第三影像片段的开始时间，P为所述第一视频片段的周期,n为根据第一出现的所述第二影像内容片段的时间长度以及所述预设规则确定的周期数，T2为第一次出现的所述第一内容片段的时间长度，T3为第一次出现的所述第二内容片段的时间长度。

优选地，当所述第三影像片段的开始时间处于第二影像内容的片段内时，判断模块根据公式Tv＝P*(n-1)-T4计算影像撷取的开始时间，其中，Tv表示所述第三影像片段的开始时间，P为所述第一视频片段的周期,n为根据第一次出现的所述第二影像内容片段的时间长度以及所述预设规则确定的周期数，T4为第一次出现的所述第二内容片段的时间长度。

优选地，所述预设规则为所述第一影像内容的时间长度随着周期数的增加而线性递减，所述第二影像内容的时间长度随着周期数的增加而线性递增。

发明实施方式所提供的音频视频同步检测方法，所述检测方法应用于终端设备，方法包括：产生包含多个周期的影像片段，所述影像片段的每个周期包含第一影像内容和第二影像内容，所述第一影像内容的时间长度和第二影像内容的时间长度根据一预设规则变化。

优选地，所述方法还包括：产生包含多个周期的音频片段，所述音频片段的每个周期包含第一音频内容和第二音频内容，所述第一音频内容的时间长度和第二音频内容的时间长度根据所述预设规则变化，将所述影像片段和所述音频片段整合编码成第一视频片段，并将所述第一视频片段传输至所述视频设备，以供所述视频设备解码所述第一视频片段得到第二视频片段。

优选地，接收所述视频设备发送的第二视频片段，并从所述第二视频片段中撷取一预设时间长度的第三视频片段，其中，所述第三视频片段包括第三影像片段和第三音频片段，判断所述第三影像片段开始时间和所述第三音频片段开始时间，并根据所述第三影像片段开始时间和所述第三音频片段开始时间计算时间误差。

优选地，还包括所述第三影像片段由一个或多个所述第一影像内容的片段以及一个或多个第二影像内容的片段组成。

优选地，还包括当所述第三影像片段的开始时间处于所述第一影像内容和所述第二影像内容的边界且所述第三影像片段开始的内容为所述第二影像内容时，根据公式Tv＝P*(n-1)-T1计算所述第三影像片段的开始时间，其中，Tv表示第三影像片段的开始时间，P为所述第一视频片段的周期,n为根据第一次出现的所述第一影像内容片段的时间长度以及所述预设规则确定的周期数，T1为第一次出现的所述第二内容片段的时间长度。

优选地，还包括当所述第三影像片段的开始时间处于所述第一影像内容和所述第二影像内容的边界且所述第三影像片段开始的内容为所述第一影像内容时，根据公式Tv＝P*(n-1)计算所述第三影像片段的开始时间，其中，Tv表示所述第三影像片段的开始时间，P为所述第一视频片段的周期,n为根据第一次出现的所述第一影像内容片段的时间长度以及所述预设规则确定的周期数。

优选地，还包括当所述第三影像片段的开始时间处于所述第一影像内容的片段内时，根据公式Tv＝P*n-T2-T3计算所述第三影像片段的开始时间，其中，Tv表示所述第三影像片段的开始时间，P为所述第一视频片段的周期,n为根据第一出现的所述第二影像内容片段的时间长度以及所述预设规则确定的周期数，T2为第一次出现的所述第一内容片段的时间长度，T3为第一次出现的所述第二内容片段的时间长度。

优选地，当所述第三影像片段的开始时间处于第二影像内容的片段内时，根据公式Tv＝P*(n-1)-T4计算影像撷取的开始时间，其中，Tv表示所述第三影像片段的开始时间，P为所述第一视频片段的周期,n为根据第一次出现的所述第二影像内容片段的时间长度以及所述预设规则确定的周期数，T4为第一次出现的所述第二内容片段的时间长度。

优选地，所述预设规则为所述第一影像内容的时间长度随着周期数的增加而线性递减，所述第二影像内容的时间长度随着周期数的增加而线性递增。

本发明实施方式中的终端设备及音频视频同步检测方法，对测试影片的结构进行线性变化，经过视频设备的播放后进入终端设备，此时，终端设备能根据测试影片的结构精确计算音频与影像之间的时间误差，无需人工干预，终端设备自动确定误差值，提高计算音频与影像之间的时间误差的自动化程度。

附图说明

图1为现有音频视频误差检测的示意图。

图2为本发明终端设备10的应用环境图。

图3为本发明终端设备10一实施方式的功能模块图。

图4为本发明终端设备10另一实施方式的功能模块图。

图5为本发明终端设备10的一较佳功能模块图。

图6为本发明终端设备10产生的第一视频片段的示意图。

图7为本发明终端设备10撷取第一周期检测信号的示意图。

图8为本发明终端设备10撷取第二周期检测信号的示意图。

图9为本发明终端设备10撷取第三周期检测信号的示意图。

图10为本发明终端设备10撷取第四周期检测信号的示意图。

图11为本发明终端设备10撷取第五周期检测信号的示意图。

图12为本发明终端设备10进行音频视频同步检测方法的流程图。

主要元件符号说明

终端设备 10

处理器 100

存储器 102

视频设备 40

信号产生单元 20

影像模块 200

音频模块 202

整合模块 204

信号分析单元 30

撷取模块 300

判断模块 302

具体实施方式

参阅图2，所示为本发明终端设备10一实施方式的应用环境图。在本实施方式中，终端设备与视频设备40相连，视频设备40是能播放音频视频的设备，如机顶盒、智能电视。

参阅图3，所示为图2所示的终端设备10的功能模块图，终端设备10包括影像模块200,影像模块200用于产生包含多个周期的影像片段，所述影像片段的每个周期包含第一影像内容和第二影像内容，所述第一影像内容的时间长度和第二影像内容的时间长度根据一预设规则变化。第一影像内容为白色影像和第二影像内容为黑色影像，或者其他的影像内容的组合。

参阅图4，所示为图2所示的终端设备10的另一功能模块图。在本实施方式中，终端设备10包括信号产生单元20、信号分析单元30，其中信号产生单元20包括影像模块200、音频模块202、整合模块204。信号分析单元30包括撷取模块300、判断模块302。下面就各个功能模块做具体的说明。

影像模块200产生包含多个周期长度的连续影像，连续影像的具体结构如图6所示，图6所示的结构中有连续9个周期的影像片段，该周期可能是相同的，也可能不是相同的，其中每一个周期内的影像由两段内容可进行区分的片段组成，例如黑色影像和白色影像，但不限于黑色、白色的组合，以黑色影像和白色影像为例，随着周期数目的变化，影像内容也发生变换，例如，在图6中所示的：在连续9个周期中的白色影像片段的时间长度连续递增，在连续9个周期中的黑色影像片段的时间长的连续递减。具体地，一个周期中白色影像时间长度(W)＝(Frame递增数*n+初始值)/每秒Frame数，黑色影像时间长度(B)＝一个周期时间(P)-白色影像时间长度(W)。

音频模块202产生多个周期的连续音频，连续音频的具体结构图6所示，请参阅图6所示有连续9个周期的音频片段，其中每一个周期内的音频由两段可区分的音频片段组成，第一音频内容和第二音频内容，可分别为有声部分和无声部分，有声部分为特定频率的声音，也可第一音频内容为第一特定频率的音频，第二音频内容为第二特定频率的音频。在音频片段中第1周期中的有声片段的时长与影像片段第1周期中的白色影像部分的时长相同，在音频片段中第2周期中的有声片段的时长与影像片段第2周期中的白色影像部分的时长相同……在音频片段中第9周期中的有声片段的时长与影像片段第9周期中的白色影像部分的时长相同。相应的，在连续9个周期中的无声片段连续递减,有声时间长度＝白色影像时间长度(Wn),无声时间长度＝黑色影像时间长度(Bn)。

下面具体以制作9秒的测试影片来做说明，周期长度相同，设定每个周期为1秒，9秒的测试影片需要9个周期，设定每秒播放30帧的影片，并设定白色影像片段递规则为每增加一个周期相应的增加3帧白色影像，相应的，每增加一个周期黑色影片减少3帧，设定第1周期中的白色影像为3帧，黑色影像为27帧，则9个周期的影像片段中的白色影像时间长度依次为：0.1秒、0.2秒、0.3秒、0.4秒、0.5秒、0.6秒、0.7秒、0.8秒、0.9秒；9个周期的影像片段中黑色影像时间长度依次为：0.9秒、0.8秒、0.7秒、0.6秒、0.5秒、0.4秒、0.3秒、0.2秒、0.1秒。相应的，9个周期的音频片段中有声的间长度依次为：0.1秒、0.2秒、0.3秒、0.4秒、0.5秒、0.6秒、0.7秒、0.8秒、0.9秒；9个周期的音频片段中无声的时间长度依次为：0.9秒、0.8秒、0.7秒、0.6秒、0.5秒、0.4秒、0.3秒、0.2秒、0.1秒。

当影像模块200、音频模块202产生出相应的影像片段和音频片段后，整合模块204将影像片段和音频片段整合编码成一段完整的测试片段。

将测试片段传输给视频设备后，视频设备进行解码播放并将解码后的视频片段传输给信号分析单元30。影像开始撷取时间(Tv)与声音开始撷取时间(Ta)的差值为影音同步误差。信号分析单元30接收视频片段后进行影像音频同步检测过程。

信号分析单元30的撷取模块300从播放片段中任意撷取一个周期的影片片段，任意撷取的一个周期长度和之前进行测试片段是设置的周期长度是一致的。例如，当前面的测试片段的周期为1秒时，从播放片段中任意撷取1秒的影片片段。判断模块302判断所撷取的一个周期长度内的黑色影像和白色影像的分布情况。根据生成的测试片段的结构可知，任意的选取一个周期的影像片段可能为以下五种情况中的一种：参阅图7所示的第一种情况，一个撷取的周期内影像片段由黑色片段+白色片段+黑色片段，相应的音频片段由无声片段+有声片段+无声片段；参阅图8示的第二种情况，一个撷取的周期内影像片段由黑色片段+白色片段+黑色片段+白色片段，相应的音频片段由无声片段+有声片段+无声片段；参阅图9示的第三种情况，一个撷取的周期内影像片段由白色片段+黑色片段+白色片段，相应的音频片段由无声片段+有声片段+无声片段；参阅图10示的第四种情况，一个撷取的周期内影像片段由白色片段+黑色片段+白色片段，相应的音频片段由由声片段+无声片段+有声片段；参阅图11示的第五种情况，一个撷取的周期内影像片段由黑色片段+白色片段，相应的音频片段由有声片段+无声片段+有声片段。

因为终端设备已知测试影片的结构，所以根据五种不同的情况可以计算出开始撷取影像的时间，由于音频片段是与影片片段具有对应关系，故撷取的一个周期的影片片段中的音频片段也可能出现五种情况，虽然示意图中没有全部表示，但是由于撷取的任意性，是有可能出现与影像类似的五种情况。同样的，因为终端设备已知测试影片的结构，所以根据五种不同的情况可以计算出开始撷取音频的时间，由于计算开始撷取影像的时间与计算开始撷取音频的时间方法相同，下面就计算开始撷取影像的时间做详细说明，对开始撷取音频的时间不作赘述。

当判断模块302判断出撷取的一种周期的影片中影像片段为图7所示的第一种情况,撷取开始点在黑色片段内，一个撷取的周期内影像片段由黑色片段+白色片段+黑色片段组成时，根据左侧黑色影片的帧数可以计算出左侧黑色部分的时间长度B，根据白色影片的帧数、以及白色影片帧数递增的关系式可以确定该白色影片处于整个播放影片的第n个周期，从而确定撷取的白色影片的时间长度Wn,判断计算影像撷取时间的公式为Tv＝P*n-Wn-B，Tv为开始撷取影片的时间，P为周期，根据该公式计算出对应的影像撷取开始时间Tv。

当判断模块302判断出撷取的一种周期的影片中影像片段为图8所示的第二种情况，撷取开始点在黑色片段内，一个撷取的周期内影像片段由黑色片段+白色片段+黑色片段+白色片段组成时，根据左侧黑色影片的帧数可以计算出左侧黑色部分的时间长度B，根据白色影片的帧数、以及白色影片帧数递增的关系式可以确定该白色影片处于整个播放影片的第n个周期及撷取的白色影片的时间长度Wn,判断计算影像撷取时间的公式为Tv＝P*n-Wn-B，根据该公式计算出对应的影像撷取开始时间Tv。

当判断模块302判断出撷取的一种周期的影片中影像片段为图9所示的第三种情况，撷取开始点在黑白交界点，一个撷取的周期内影像片段由白色片段+黑色片段+白色片段组成时，根据黑色影片的帧数、以及黑色影片帧数递减的关系式可以确定该黑色影片处于整个播放影片的第n个周期，从而确定撷取的白色影片的时间长度W,判断计算影像撷取时间的公式为Tv＝P*(n-1)-W，根据该公式计算出对应的影像撷取开始时间Tv,另外，判断模块302判断出撷取的一种周期的中音频片段开始的时间Ta,并根据ΔT＝Tv-Ta计算时间误差。

当判断模块302判断出撷取的一种周期的影片中影像片段为图10所示的第四种情况，撷取开始点在白色片段内，一个撷取的周期内影像片段由白色片段+黑色片段+白色片段组成时，根据黑色影片的帧数、以及黑色影片帧数递减的关系式可以确定该黑色影片处于整个播放影片的第n个周期，根据第一次出现白色影片的帧数确定第一次出现白色影片的时间长度W,判断计算影像撷取时间的公式为Tv＝P*(n-1)-W，根据该公式计算出对应的影像撷取开始时间Tv。

当判断模块302判断出撷取的一种周期的影片中影像片段为图11所示的第五种情况，撷取开始点在白黑交界点，一个撷取的周期内影像片段由白色片段+黑色片段+白色片段组成时，根据白色影片的帧数、以及白色影片帧数递增的关系式可以确定该白色影片处于整个播放影片的第n个周期，判断计算影像撷取时间的公式为Tv＝P*(n-1)，根据该公式计算出对应的影像撷取开始时间Tv。

类似的，判断模块302判断出撷取的一种周期的中音频片段的结构成分，并根据结构成分对应的计算公式计算音频开始的时间Ta,并根据ΔT＝Tv-Ta计算时间误差。

需要说明的是，音频片段开始撷取的时间计算时，当第一音频内容和第二音频内容分别为有声部分和无声部分且有声部分为特定频率的声音时,可以根据有声部分确定出有声部分是处于整个播放影片的第几个周期，无声部分的时间长度可以利用现有设备进行确定，从而对应于五种情况计算音频开始时间Ta。当第一音频内容为第一特定频率的音频且第二音频内容为第二特定频率的音频时，根据每个音频内容的声音次数和对应的频率可以计算出不同音频内容的时间长度，根据音频内容的时间长度以及预设规则可以确定音频内容处于整个播放影片的第几个周期，从而对应于五种情况计算音频开始时间Ta。

下面就之前举例的9秒测试影片来说明信号分析单元30如何计算时间误差。

当判断模块302判断出撷取的一种周期的影片中影像片段为图7所示的第一种情况,撷取开始点在黑色片段内，一个撷取的周期内影像片段由黑色片段+白色片段+黑色片段组成时，假设根据左侧黑色影片的帧数可以计算出左侧黑色部分的时间长度0.2秒，根据白色影片的帧数计算出白色影片的长度为0.3秒，根据前面设置的白色影片帧数递增的关系式可以确定该白色影片处于整个播放影片的第3个周期，根据计算影像撷取时间的公式为Tv＝P*n-Wn-B，计算对应的影像撷取开始时间Tv＝1*3-0.3-0.2＝2.5秒,类似的，假设判断模块302判断出撷取的一个周期中的音频片段开始的时间Ta为2.4秒,根据ΔT＝Tv-Ta＝2.5-2.4＝0.1秒，计算出时间误差为0.1秒。

当判断模块302判断出撷取的一种周期的影片中影像片段为图8所示的第二种情况，撷取开始点在黑色片段内，一个撷取的周期内影像片段由黑色片段+白色片段+黑色片段+白色片段组成时，假设根据左侧黑色影片的帧数可以计算出左侧黑色部分的时间长度为0.03秒，根据白色影片的帧数计算白色影片的时间长度为0.3秒，根据白色影片帧数递增的关系式可以确定该白色影片处于整个播放影片的第3个周期，判断计算影像撷取时间的公式为Tv＝P*n-Wn-B，根据该公式计算出对应的影像撷取开始时间Tv＝1*3-0.3-0.03＝2.67秒,类似的，判断模块302判断出撷取的一个周期的中音频片段开始的时间Ta为2.57秒,并根据ΔT＝Tv-Ta＝2.67-2.57＝0.1秒，计算出时间误差为0.1秒。

当判断模块302判断出撷取的一种周期的影片中影像片段为图9所示的第三种情况，撷取开始点在黑白交界点，一个撷取的周期内影像片段由白色片段+黑色片段+白色片段组成时，根据白色影片的帧数计算白色片段时间长度为0.3秒、黑色片段长度为0.6秒，可知黑色片段在整个播放影片的第4个周期，白色片段在整个播放影片的第3个周期，判断计算影像撷取时间的为Tv＝P*(n-1)-W＝1*3-0.3＝2.7秒，类似的，判断模块302判断出撷取的一种周期的中音频片段开始的时间Ta为2.6,并根据ΔT＝Tv-Ta＝2.7-2.6＝0.1秒，计算时间误差为0.1秒。

当判断模块302判断出撷取的一种周期的影片中影像片段为图10所示的第二种情况，撷取开始点在白色片段内，一个撷取的周期内影像片段由白色片段+黑色片段+白色片段组成时，根据左侧白色影片的帧数计算出左侧白色影片的时间长度WF为0.2秒，根据黑色影片帧数目确定黑色片段的时间长度为0.6秒，根据黑色影片帧数递减的关系式可以确定该黑色影片处于整个播放影片的第4个周期，判断出计算影像撷取时间的Tv＝P*(n-1)-W＝1*(4-1)-0.2＝2.8秒，类似的，假设判断模块302判断出撷取的一种周期的中音频片段开始的时间Ta＝2,7秒,根据ΔT＝Tv-Ta＝2.7-2.6＝0.1秒，计算出时间误差为0.1秒。

当判断模块302判断出撷取的一种周期的影片中影像片段为图11所示的第五种情况，撷取开始点在白黑交界点，一个撷取的周期内影像片段由黑色片段+白色片段组成时，根据白色影片的帧数计算出黑色时间长度为0.6秒，白色时间长度为0.4秒，可知白色片段处于整个播放影片的第4周期，判断出计算影像撷取时间的为Tv＝P*(n-1)＝1*(4-1)＝3秒，类似的，假设判断模块302判断出撷取的一种周期的中音频片段开始的时间Ta为2.9秒,并根据ΔT＝Tv-Ta＝3-2.9＝0.1秒，计算出时间误差为0.1秒。

参阅图5，图5所示为图2所示的终端设备10的功能模块图。在本实施方式中，终端设备10包括信号产生单元20、信号分析单元30，其中信号产生单元20包括影像模块200、音频模块202、整合模块204，信号分析单元30包括撷取模块300、判断模块302，还包括处理器100和存储器102，存储器102包括有软件代码，用于实现信号产生单元20、信号分析单元30的各个模块的功能。处理器100用于执行软件代码以实现上述模块的功能，各个功能模块的功能与图4中的一致，这里不再赘述。

参阅图12，图12为本发明终端设备10进行音频视频同步检测方法的流程图。该音频视频同步检测方法由应用于图2所示实施环境中终端设备10实施。有以下步骤：

在步骤S10中，信号产生单元20产生第一视频片段，该第一视频片段具体产生步骤包括：影像模块200产生包含多个周期的连续影像，连续影像的具体结构图6所示，图6所示有连续9个周期的影像片段，其中每一个周期内的影像由两段可区分的片段组成，例如黑色影像和白色影像，但不限于黑色、白色的组合，以黑色影像和白色影像为例，在连续9个周期中的白色影像片段连续递增，相应的，在连续9个周期中的黑色影像片段连续递减。音频模块202产生包含多个周期的连续音频，连续音频的具体结构图6所示，请参阅图6所示有连续9个周期的音频片段，其中每一个周期内的音频由两段可区分的音频片段组成，即分为有声部分和无声部分，有声部分为特定频率的声音。在音频片段中第1周期中的有声片段的时长与影像片段第1周期中的白色影像部分的时长相同，在音频片段中第2周期中的有声片段的时长与影像片段第2周期中的白色影像部分的时长相同……在音频片段中第9周期中的有声片段的时长与影像片段第9周期中的白色影像部分的时长相同。相应的，在连续9个周期中的无声片段连续递减；当影像模块200、音频模块202产生出相应的影像片段和音频片段后，整合模块204将影像片段和音频片段整合编码成一段完整的测试片段。

在步骤S12中，将测试片段传输给视频设备。

在步骤S14中，视频设备进行解码播放并将解码后的视频片段传输给信号分析单元30。

在步骤S16中，信号分析单元30接收视频后进行影像音频同步检测过程,信号分析单元30的撷取模块300从播放片段中任意撷取一个周期的影片片段，任意撷取的一个周期长度和之前进行测试片段是设置的周期长度是一致的。例如，当前面的测试片段的周期为1秒时，从播放片段中任意撷取1秒的影片片段。判断模块302判断所撷取的一个周期长度内的黑色影像和白色影像的分布情况。根据生成的测试片段的结构可知，任意的选取一个周期的影像片段可能为以下五种情况中的一种：参阅图7所示的第一种情况，一个撷取的周期内影像片段由黑色片段+白色片段+黑色片段，相应的音频片段由无声片段+有声片段+无声片段；参阅图8示的第二种情况，一个撷取的周期内影像片段由黑色片段+白色片段+黑色片段+白色片段，相应的音频片段由无声片段+有声片段+无声片段；参阅图9示的第三种情况，一个撷取的周期内影像片段由白色片段+黑色片段+白色片段，相应的音频片段由无声片段+有声片段+无声片段；参阅图10示的第四种情况，一个撷取的周期内影像片段由白色片段+黑色片段+白色片段，相应的音频片段由由声片段+无声片段+有声片段；参阅图11示的第五种情况，一个撷取的周期内影像片段由黑色片段+白色片段，相应的音频片段由有声片段+无声片段+有声片段。

在步骤S18中，判断模块302判断撷取的周期的黑色影片和白色影片的分布情况，当判断模块302判断出撷取的一种周期的影片中影像片段为图7所示的第一种情况,撷取开始点在黑色片段内，一个撷取的周期内影像片段由黑色片段+白色片段+黑色片段组成时，根据左侧黑色影片的帧数可以计算出左侧黑色部分的时间长度B，根据白色影片的帧数、以及白色影片帧数递增的关系式可以确定该白色影片处于整个播放影片的第n个周期，从而确定撷取的白色影片的时间长度W,判断计算影像撷取时间的公式为Tv＝P*n-Wn-B，根据该公式计算出对应的影像撷取开始时间Tv,另外，判断模块302判断出撷取的一种周期的中音频片段开始的时间Ta,并根据ΔT＝Tv-Ta计算时间误差。

当判断模块302判断出撷取的一种周期的影片中影像片段为图8所示的第二种情况，撷取开始点在黑色片段内，一个撷取的周期内影像片段由黑色片段+白色片段+黑色片段+白色片段组成时，根据左侧黑色影片的帧数可以计算出左侧黑色部分的时间长度B，根据白色影片的帧数、以及白色影片帧数递增的关系式可以确定该白色影片处于整个播放影片的第n个周期，从而确定撷取的白色影片的时间长度W,判断计算影像撷取时间的公式为Tv＝P*n-Wn-B，根据该公式计算出对应的影像撷取开始时间Tv,另外，判断模块302判断出撷取的一种周期的中音频片段开始的时间Ta,并根据ΔT＝Tv-Ta计算时间误差。

当判断模块302判断出撷取的一种周期的影片中影像片段为图9所示的第二种情况，撷取开始点在黑白交界点，一个撷取的周期内影像片段由白色片段+黑色片段+白色片段组成时，根据白色影片的帧数、以及白色影片帧数递增的关系式可以确定该白色影片处于整个播放影片的第n个周期，从而确定撷取的白色影片的时间长度W,判断计算影像撷取时间的公式为Tv＝P*(n-1)-W，根据该公式计算出对应的影像撷取开始时间Tv,另外，判断模块302判断出撷取的一种周期的中音频片段开始的时间Ta,并根据ΔT＝Tv-Ta计算时间误差。

当判断模块302判断出撷取的一种周期的影片中影像片段为图10所示的第二种情况，撷取开始点在白色片段内，一个撷取的周期内影像片段由白色片段+黑色片段+白色片段组成时，根据白色影片的帧数、以及白色影片帧数递增的关系式可以确定该白色影片处于整个播放影片的第n个周期，从而确定撷取的白色影片的时间长度W,判断计算影像撷取时间的公式为Tv＝P*(n-1)-W，根据该公式计算出对应的影像撷取开始时间Tv,另外，判断模块302判断出撷取的一种周期的中音频片段开始的时间Ta,并根据ΔT＝Tv-Ta计算时间误差。

当判断模块302判断出撷取的一种周期的影片中影像片段为图11所示的第二种情况，撷取开始点在白黑交界点，一个撷取的周期内影像片段由白色片段+黑色片段+白色片段组成时，根据白色影片的帧数、以及白色影片帧数递增的关系式可以确定该白色影片处于整个播放影片的第n个周期，判断计算影像撷取时间的公式为Tv＝P*(n-1)，根据该公式计算出对应的影像撷取开始时间Tv,另外，判断模块302判断出撷取的一种周期的中音频片段开始的时间Ta,并根据ΔT＝Tv-Ta计算时间误差。

本发明实施方式中的终端设备10及音频视频同步检测方法，设定预设规则对测试影片的内容进行特定变化，经过视频设备的播放后进入终端设备10，此时，终端设备10能根据测试影片的结构精确计算音频与影像之间的时间误差，无需人工干预，终端设备10自动确定误差值，提高计算音频与影像之间的时间误差的自动化程度。

Claims (18)

1.一种终端设备，与视频设备相连，其特征在于，所述终端设备包括：

影像模块，用于产生包含多个周期的影像片段，所述影像片段的每个周期包含第一影像内容和第二影像内容，所述第一影像内容的时间长度和第二影像内容的时间长度根据一预设规则变化。

2.如权利要求1所述的终端设备，其特征在于，还包括：

音频模块，用于产生包含多个周期的音频片段，所述音频片段的每个周期包含第一音频内容和第二音频内容，所述第一音频内容的时间长度和第二音频内容的时间长度根据所述预设规则变化；

整合模块，用于将所述影像片段和所述音频片段整合编码成第一视频片段，并将所述第一视频片段传输至所述视频设备，以供所述视频设备解码所述第一视频片段得到第二视频片段。

3.如权利要求2所述的终端设备，其特征在于，还包括：

撷取模块，用于接收所述视频设备发送的第二视频片段，并从所述第二视频片段中撷取一预设时间长度的第三视频片段，其中，所述第三视频片段包括第三影像片段和第三音频片段；

判断模块，用于判断所述第三影像片段开始时间和所述第三音频片段开始时间，并根据所述第三影像片段开始时间和所述第三音频片段开始时间计算时间误差。

4.如权利要求3所述的终端设备，其特征在于，所述第三影像片段由一个或多个所述第一影像内容的片段以及一个或多个第二影像内容的片段组成。

5.如权利要求4所述的终端设备，其特征在于，当所述第三影像片段的开始时间处于所述第一影像内容和所述第二影像内容的边界且所述第三影像片段开始的内容为所述第二影像内容时，所述判断模块根据公式Tv＝P*(n-1)-T1计算所述第三影像片段的开始时间，其中，Tv表示第三影像片段的开始时间，P为所述第一视频片段的周期,n为根据第一次出现的所述第一影像内容片段的时间长度以及所述预设规则确定的周期数，T1为第一次出现的所述第二内容片段的时间长度。

6.如权利要求4所述的终端设备，其特征在于，当所述第三影像片段的开始时间处于所述第一影像内容和所述第二影像内容的边界且所述第三影像片段开始的内容为所述第一影像内容时，所述判断模块根据公式Tv＝P*(n-1)计算所述第三影像片段的开始时间，其中，Tv表示所述第三影像片段的开始时间，P为所述第一视频片段的周期,n为根据第一次出现的所述第一影像内容片段的时间长度以及所述预设规则确定的周期数。

7.如权利要求4所述的终端设备，其特征在于，当所述第三影像片段的开始时间处于所述第一影像内容的片段内时，判断模块根据公式Tv＝P*n-T2-T3计算所述第三影像片段的开始时间，其中，Tv表示所述第三影像片段的开始时间，P为所述第一视频片段的周期,n为根据第一出现的所述第二影像内容片段的时间长度以及所述预设规则确定的周期数，T2为第一次出现的所述第一内容片段的时间长度，T3为第一次出现的所述第二内容片段的时间长度。

8.如权利要求4所述的终端设备，其特征在于，当所述第三影像片段的开始时间处于第二影像内容的片段内时，判断模块根据公式Tv＝P*(n-1)-T4计算影像撷取的开始时间，其中，Tv表示所述第三影像片段的开始时间，P为所述第一视频片段的周期,n为根据第一次出现的所述第二影像内容片段的时间长度以及所述预设规则确定的周期数，T4为第一次出现的所述第二内容片段的时间长度。

9.如权利要求1所述的终端设备，其特征在于，所述预设规则为所述第一影像内容的时间长度随着周期数的增加而线性递减，所述第二影像内容的时间长度随着周期数的增加而线性递增。

10.一种音频视频同步检测方法，所述检测方法应用于终端设备，其特征在于，所述方法包括：

产生包含多个周期的影像片段，所述影像片段的每个周期包含第一影像内容和第二影像内容，所述第一影像内容的时间长度和第二影像内容的时间长度根据一预设规则变化。

11.如权利要求10所述的方法，其特征在于，还包括：

产生包含多个周期的音频片段，所述音频片段的每个周期包含第一音频内容和第二音频内容，所述第一音频内容的时间长度和第二音频内容的时间长度根据所述预设规则变化；

将所述影像片段和所述音频片段整合编码成第一视频片段，并将所述第一视频片段传输至所述视频设备，以供所述视频设备解码所述第一视频片段得到第二视频片段。

12.如权利要求11所述的方法，其特征在于，还包括：

接收所述视频设备发送的第二视频片段，并从所述第二视频片段中撷取一预设时间长度的第三视频片段，其中，所述第三视频片段包括第三影像片段和第三音频片段；

判断所述第三影像片段开始时间和所述第三音频片段开始时间，并根据所述第三影像片段开始时间和所述第三音频片段开始时间计算时间误差。

13.如权利要求12所述的方法，其特征在于，所述第三影像片段由一个或多个所述第一影像内容的片段以及一个或多个第二影像内容的片段组成。

14.如权利要求13所述的方法，其特征在于，还包括：

当所述第三影像片段的开始时间处于所述第一影像内容和所述第二影像内容的边界且所述第三影像片段开始的内容为所述第二影像内容时，根据公式Tv＝P*(n-1)-T1计算所述第三影像片段的开始时间，其中，Tv表示第三影像片段的开始时间，P为所述第一视频片段的周期,n为根据第一次出现的所述第一影像内容片段的时间长度以及所述预设规则确定的周期数，T1为第一次出现的所述第二内容片段的时间长度。

15.如权利要求13所述的方法，其特征在于，还包括：

当所述第三影像片段的开始时间处于所述第一影像内容和所述第二影像内容的边界且所述第三影像片段开始的内容为所述第一影像内容时，根据公式Tv＝P*(n-1)计算所述第三影像片段的开始时间，其中，Tv表示所述第三影像片段的开始时间，P为所述第一视频片段的周期,n为根据第一次出现的所述第一影像内容片段的时间长度以及所述预设规则确定的周期数。

16.如权利要求13所述的方法，其特征在于，还包括：

当所述第三影像片段的开始时间处于所述第一影像内容的片段内时，根据公式Tv＝P*n-T2-T3计算所述第三影像片段的开始时间，其中，Tv表示所述第三影像片段的开始时间，P为所述第一视频片段的周期,n为根据第一出现的所述第二影像内容片段的时间长度以及所述预设规则确定的周期数，T2为第一次出现的所述第一内容片段的时间长度，T3为第一次出现的所述第二内容片段的时间长度。

17.如权利要求13所述的方法，其特征在于，还包括：

当所述第三影像片段的开始时间处于第二影像内容的片段内时，根据公式Tv＝P*(n-1)-T4计算影像撷取的开始时间，其中，Tv表示所述第三影像片段的开始时间，P为所述第一视频片段的周期,n为根据第一次出现的所述第二影像内容片段的时间长度以及所述预设规则确定的周期数，T4为第一次出现的所述第二内容片段的时间长度。

18.如权利要求10所述的终端设备，其特征在于，所述预设规则为所述第一影像内容的时间长度随着周期数的增加而线性递减，所述第二影像内容的时间长度随着周期数的增加而线性递增。