CN113766215B - 一种机载客舱旅客广播同步测试方法及系统 - Google Patents

Abstract

本发明公开了一种机载客舱旅客广播同步测试方法及系统，先对视频源的音频和图像进行预处理得到测试视频源；再将测试视频源加载到服务器中经以太网将音视频数据分发到机载客舱各个播放终端进行播放；在机载客舱各个播放终端进行播放的同时采集播放终端的图像信息和音频信息；基于不同播放终端的图像信息和音频信息进行音视频同步分析，基于不同播放终端的图像信息进行视频同步分析，基于不同播放终端的音频信息进行音频同步分析，通过对视频源的音频和图像进行预处理标记，经过图像特征提取和分析识别与声音同步处理等操作，计算和分析出想要的结果；不仅提高测试准确度，还节约大量人力，提高测试效率。

Description

一种机载客舱旅客广播同步测试方法及系统

技术领域

本发明涉及机载广播技术领域，具体涉及一种机载客舱旅客广播同步测试方法及系统。

背景技术

在机载客舱系统中，机载娱乐系统应保持与旅客广播的同步性，旅客广播音频从输入到输出的时间间隔应小于35ms。旅客音频广播、视频广播等源文件存放在机载娱乐系统服务器中，通过流媒体系统将音频转发给客舱核心系统播放，同时将音视频数据经过网络分发到机载娱乐系统的播放终端。在复杂的网络环境下,如何保证机载娱乐系统终端播放的音频、视频与客舱核心系统扬声器播放的音频同步,已经成为客舱系统中的一个重要问题。流媒体数据在采集,压缩,网络传输,解码和播放过程中都可能造成音视频的异步,网络传输时发生的拥塞丢包和时延更是影响了接收端中音视频的播放质量,出现音唇不同步的现象。在民机客舱系统中，客舱音视频播放终端包含头顶显示器、椅背显示器、座椅乘客以太网控制单元、客舱扬声器等，系统网络为菊花链路，与传统的星型网络架构有较大的差异，并且机载系统传输协议有严格的要求，因此机载客舱系统音视频同步实现难度更高，如何高效、准确的验证机载客舱系统音视频同步指标，是亟待解决的问题；

现有机载客舱系统音视频同步检测主要是依赖人工测试，检查过程需要调动大量工作人员，且各播放终端均安排人员进行测试，由于个体差异，人工测试存在很大的误差，参与测试的人员越多，误差就越大。

发明内容

本发明所要解决的技术问题是现有机载客舱系统音视频同步检测主要是依赖人工检测，存在很大的误差，且测试效率低；为了高效、准确的验证机载客舱系统音视频同步指标本发明目的在于提供一种机载客舱旅客广播同步测试方法及系统。

本发明通过下述技术方案实现：

本方案提供一种机载客舱旅客广播同步测试方法，包括步骤：

S1、对视频源的音频和图像进行预处理得到测试视频源；

S2、将测试视频源加载到服务器中经以太网将音视频数据分发到机载客舱各个播放终端进行播放；

S3、在机载客舱各个播放终端进行播放的同时采集播放终端的图像信息和音频信息；

S4、基于不同播放终端的图像信息和音频信息进行音视频同步分析，基于不同播放终端的图像信息进行视频同步分析，基于不同播放终端的音频信息进行音频同步分析。

本方案工作原理：在民机客舱系统中，客舱音视频播放终端包含头顶显示器、椅背显示器、座椅乘客以太网控制单元、客舱扬声器等，系统网络为菊花链路，与传统的星型网络架构有较大的差异，并且机载系统传输协议有严格的要求，因此机载客舱系统音视频同步实现难度更高，现有机载客舱系统音视频同步检测主要是依赖人工测试，检查过程需要调动大量工作人员，且各个播放终端均安排人员进行测试，由于个体差异，人工测试存在很大的误差，参与测试的人员越多，误差就越大。

本方案通过对视频源的音频和图像进行预处理标记上传到机载服务器，音视频数据经过局域网分发到各个头顶显示器和椅背显示器，音频数据同时转发到客舱系统的扬声器播放，通过严格同步采集功能，将头顶显示器、椅背显示器以及客舱扬声器的图像/声音同步采集到测试系统内部，经过图像特征提取和分析识别与声音同步处理等操作，计算和分析出想要的结果。不仅提高测试准确度，还节约大量人力，提高测试效率。

进一步优化方案为，步骤S1包括以下子步骤：

S11、对视频源的每一帧图像进行标记，并对应制作特定频率的音频；

S13、将经过S11处理后的视频和音频进行合成得到测试视频源；

S14、用示波器对测试视频源的音频进行逐帧检测，确定其与制作时音频频率幅值和周期变化一致。

进一步优化方案为，步骤S11包括：

在视频源的每一帧图像上叠加特定的二维码进行标记，得到图像帧序号Ni，其中i＝1,2,3……45；

声音的频率以1khz起始，每帧图像添加200hz。

二维码的编码值从1开始至45，与1khz-9.8khz频率的声音文件一一对应；

进一步优化方案为，采用高速工业相机以同步触发方式采集视频信息，同时同步触发音频采集卡采集音频信号。

测试视频源的音频突变标志发生在帧边界上，由于音视频采集通道是由严格的外触发信号进行同步的，如图像采用500hzTTL上升沿触发信号进行采集，音频则以TTL首次的上升沿开始采集，使用提前设置好的100K采样速率对音频信号进行采集；这种严格的触发采集系统，类似于零刻度的标尺一样，使得音频和视频的采集起始时间严格对齐，对于后续数据分析与计算尤为重要。

进一步优化方案为，高速工业相机的采集频率至少500帧/秒。

进一步优化方案为，基于不同播放终端的视频信息和音频信息进行音视频同步分析方法为：

T1、从触发时刻起，对音频信号每隔时间t进行一次频率分析得到音频信号的多个频率突变边界，其中t为高速工业相机采集频率的最小间隔；

T2、以频率突变边界为标记点；分析出标记点对应的图像帧序号n1，和图像帧变化边界的图像帧序号n2；

T3、根据式delay1＝(n1-n2)*t计算音视频延迟时间delay1；

T4、基于不同的频率突变边界重复步骤T2-T3，计算出多组音视频延迟时间delay1后求均值作为音视频同步分析结果。为增加冗余，进行多组的音视频边界分析计算。

Delay1这个计算结果可能为音频提前于视频，也可能视频提前于音频，分别以该数据的正负作为标记来体现。

进一步优化方案为，基于不同播放终端的音频信息进行音频同步分析方法为：

H1、形成两个播放终端以触发时刻为起始的同步采集模型，对两个播放终端的音频信号每隔时间t进行一次频率分析得到多个频率突变边界组，其中t为高速工业相机采集频率的最小间隔；

H2、频率突变边界组包括：播放终端A音频信息的频率突变边界A1和播放终端B音频信息的频率突变边界B1；查看频率突变边界A1对应的视频图像序号m1，查看频率突变边界B1对应的视频图像序号m2；

H3、根据式delay2＝(m1-m2)*t计算出音视频延迟时间delay2；

H4、基于多个频率突变边界组重复步骤T2-T3，计算出多组音视频延迟时间delay2后求平均值作为音频同步分析结果。

delay2结果可使用正负来表示播放终端A的音频信息提前于播放终端B的音频信息，还是播放终端B的音频信息提前于播放终端A的音频信息。

进一步优化方案为，基于不同播放终端的视频信息进行视频同步分析方法为：

G1、以起始触发时作为时间零刻度，t作为时间最小刻度开始计算得到多个视频帧应变化边界，其中t为高速工业相机采集频率的最小间隔；

G2、以视频帧应变化边界为测量判断点，找到两个播放终端与测量判断点对应的视频帧变化边界K1和K2；

G3、根据式delay3＝(K1-K2)*t计算出视频延迟时间delay3；

G4、基于多个视频帧应变化边界重复步骤T2-T3，计算多组视频延迟时间delay3后求平均值作为视频同步分析结果。

进一步优化方案为，t至少为2ms。

由于媒体服务器下发音视频数据到各个显示终端上，各个显示终端本身性质(硬件及嵌入式操作系统)的不同，还有到达各个终端的网络延迟不同，导致最终视频画面和播放的声音，不同设备之间也不尽相同。

本方案的测试方法的对象为两组显示终端，采用两台高速工业相机(500帧/秒)进行同步触发方式的拍摄。控制计算机加载测试视频到媒体服务器，媒体服务器经过以太网环路，下发视频数据到2个播放终端，开始播放测试视频，然后进行G1-G4测试工作；测试设备软件等待随时进行同步外触发，按照用户设定的测试时长，下发同步触发指令到信号适配器单元，里面的同步触发模块在接收到控制指令后，开始同步输出4路PWM同步信号(默认500HZ)，触发高速相机在500帧/秒的速率下工作，同时音频采集单元接收到外触发信号上升沿后，以固定采样速率100K对3.5mm的音频输出接口进行同步电压信号采集。这样就形成了以严格触发信号为起始的同步采集模型。

基于上述机载客舱旅客广播同步测试方法，本方案提供一种机载客舱旅客广播同步测试系统，包括：预处理模块、测试加载模块、采集模块和分析模块；

所述预处理模块用于对视频源的音频和图像进行预处理得到测试视频源；

所述测试加载模块用于将测试视频源加载到服务器中经以太网将音视频数据分发到机载客舱各个播放终端进行播放；

所述采集模块用于在机载客舱各个播放终端进行播放的同时采集播放终端的图像信息和音频信息；

所述分析模块用于基于不同播放终端的视频信息和音频信息进行音视频同步分析，分析模块用于基于不同播放终端的视频信息进行视频同步分析，分析模块还用于基于不同播放终端的音频信息进行音频同步分析。

本发明与现有技术相比，具有如下的优点和有益效果：

本方案通过对视频源的音频和图像进行预处理标记上传到机载服务器，音视频数据经过局域网分发到各个头顶显示器和椅背显示器，音频数据同时转发到客舱系统的扬声器播放，通过严格同步采集功能，将头顶显示器、椅背显示器以及客舱扬声器的图像/声音同步采集到测试系统内部，经过图像特征提取和分析识别与声音同步处理等操作，计算和分析出想要的结果。不仅提高测试准确度，还节约大量人力，提高测试效率。

附图说明

为了更清楚地说明本发明示例性实施方式的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。在附图中：

图1为测试视频源制作原理示意图；

图2为音视频同步测试分析原理示意图；

图3为音频同步测试分析原理示意图；

图4为视频同步测试分析原理示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。

实施例1

本实施例提供一种机载客舱旅客广播同步测试方法，包括步骤：

S1、对视频源的音频和图像进行预处理得到测试视频源；

S2、将测试视频源加载到服务器中经以太网将音视频数据分发到机载客舱各个播放终端进行播放；

S3、在机载客舱各个播放终端进行播放的同时采集播放终端的图像信息和音频信息；

S4、基于不同播放终端的图像信息和音频信息进行音视频同步分析，基于不同播放终端的图像信息进行视频同步分析，基于不同播放终端的音频信息进行音频同步分析。

步骤S1包括以下子步骤：

S11、对视频源的每一帧图像进行标记，并对应制作特定频率的音频；

S13、将经过S11处理后的视频和音频进行合成得到测试视频源；

S14、用示波器对测试视频源的音频进行逐帧检测，确定其与制作时音频频率幅值和周期变化一致。

步骤S11包括：

在视频源的每一帧图像上叠加特定的二维码进行标记，得到图像帧序号Ni，其中i＝1,2,3……45；

声音的频率以1khz起始，每帧图像添加200hz。

采用高速工业相机以同步触发方式采集视频信息，同时同步触发音频采集卡采集音频信号。

高速工业相机的采集频率至少500帧/秒。(如图1所示，本实施例中，标准参考视频以30帧/秒播放，过在视频源的每一帧图像上叠加特定的二维码图片，并制作特定频率的音频，声音的频率以1khz起始，每帧添加200hz，二维码的编码值从1开始至45，与1khz-9.8khz频率的声音文件一一对应，并将视频和音频合成最终的测试视频。)

实施例2

本实施例基于上述实施例，其区别在于，基于不同播放终端的视频信息和音频信息进行音视频同步分析方法为：

参考音视频的音频突变标志发生在帧边界上，由于音视频采集通道是由严格的外触发信号进行同步的，如图像采用500hzTTL上升沿触发信号进行采集，音频则以TTL首次的上升沿开始采集，使用提前设置好的100K采样速率对音频信号进行采集。这种严格的触发采集系统，类似于零刻度的标尺一样，使得音频和视频的采集起始时间严格对齐，对于后续数据分析与计算尤为重要。

T1、从触发时刻起，对音频信号每隔时间t进行一次频率分析得到音频信号的多个频率突变边界，其中t为高速工业相机采集频率的最小间隔；

T2、以频率突变边界为标记点；分析出标记点对应的图像帧序号n1，和图像帧变化边界的图像帧序号n2；

T3、根据式delay1＝(n1-n2)*t计算音视频延迟时间delay1；

T4、基于不同的频率突变边界重复步骤T2-T3，计算出多组音视频延迟时间delay1后求均值作为音视频同步分析结果。

如图2所示，从起始开始，对音频信号每2ms(500帧图像频率最小间隔)进行一次频率分析计算时，随时间推移，分析出音频帧变化边界(频率突变)，以此边界为标记，计算出此时对应的图像序号n1，然后再计算出图像帧变化的序号n2，最后即可得出音视频延迟时间delay,计算公式为Delay1＝(n1-n2)*2；Delay1这个计算结果可能为音频提前于视频，也可能视频提前于音频，分别以该数据的正负作为标记来体现。

同时，为增加冗余，可进行多组的音视频边界分析算法，方法同上。计算出多组Delay1参数，然后求得均值，作为该段音视频延迟参数的最终输出结果。

实施例3

本实施例基于上述实施例，其区别在于，基于不同播放终端的音频信息进行音频同步分析方法为：

H1、形成两个播放终端以触发时刻为起始的同步采集模型，对两个播放终端的音频信号每隔时间t进行一次频率分析得到多个频率突变边界组，其中t为高速工业相机采集频率的最小间隔；

H2、频率突变边界组包括：播放终端A音频信息的频率突变边界A1和播放终端B音频信息的频率突变边界B1；查看频率突变边界A1对应的视频图像序号m1，查看频率突变边界B1对应的视频图像序号m2；

H3、根据式delay2＝(m1-m2)*t计算出音视频延迟时间delay2；

H4、基于多个频率突变边界组重复步骤T2-T3，计算出多组音视频延迟时间delay2后求平均值作为音频同步分析结果。

如图3所示，两路音频通道进行同步分析测试，在测试时长结束时候，进行音视频数据的解析，分析出播放终端A采集通道的音频帧变化边界，查看它此时对应的视频图像序号m1，同样的原理，分析播放终端B采集通道的音频帧变化边界，查看它对应的视频图像序号m2。那么两组音频延迟参数的计算方式，就是两路图像序号的差值m1-m2；

计算公式Delay2＝(n1-n2)*2ms。该结果可使用正负来表示播放终端A提前于播放终端B，还是播放终端B提前于播放终端A。

为得到准确结果，可捕捉多次音频变化边界，通过多次计算延迟件Delay2，最后多次求平均值，以得到最终的两播放终端声音延迟时间结果参数。

实施例4

本实施例基于上述实施例，其区别在于，基于不同播放终端的视频信息进行视频同步分析方法为：

G1、以起始触发时作为时间零刻度，t作为时间最小刻度开始计算得到多个视频帧应变化边界，其中t为高速工业相机采集频率的最小间隔；

G2、以视频帧应变化边界为测量判断点，找到两个播放终端与测量判断点对应的视频帧变化边界K1和K2；

G3、根据式delay3＝(K1-K2)*t计算出视频延迟时间delay3；

G4、基于多个视频帧应变化边界重复步骤T2-T3，计算多组视频延迟时间delay3后求平均值作为视频同步分析结果。

t至少为2ms。

本测试方法的对象为两组显示终端，采用两台高速相机(500帧/秒)进行同步触发方式的拍摄。控制计算机加载测试视频到媒体服务器，媒体服务器经过以太网环路，下发视频数据到2个播放终端，开始播放测试视频。

测试设备软件等待随时进行同步外触发，按照用户设定的测试时长，下发同步触发指令到信号适配器单元，里面的同步触发模块在接收到控制指令后，开始同步输出4路PWM同步信号(默认500HZ)，触发高速工业相机在500帧/秒的速率下工作，同时音频采集单元接收到外触发信号上升沿后，以固定采样速率100K对3.5mm的音频输出接口进行同步电压信号采集。这样就形成了以严格触发信号为起始的同步采集模型，如图4所示。两台高速工业相机500帧/秒同时进行拍摄，被拍的两台显示终端以30帧/秒进行测试视频的播放，以起始触发作为时间零刻度，2ms作为时间最小刻度开始计算，帧变化边界应该位于第16-17帧。其中一个图像采集设备记录帧变化边界发生在第17-18帧之间，而另一个图像采集设备记录帧变化边界发生在第19-20帧之间，那么第一个播放终端的视频播放推迟于第二个播放终端视频播放4ms((19-17)*2ms)。以此方法可进行多次测量，例如在测量判断点1、2、3多次测量，求平均值，即可得到视频播放的整体延迟时间。

该测试方法的关键在于，后期图像处理的方式，准确识别出帧变化边界，并与时域进行相关联，即可得到准确可靠的测试结果。

实施例5

基于上述机载客舱旅客广播同步测试方法，本实施例提供一种机载客舱旅客广播同步测试系统，包括：预处理模块、测试加载模块、采集模块和分析模块；

所述预处理模块用于对视频源的音频和图像进行预处理得到测试视频源；

所述测试加载模块用于将测试视频源加载到服务器中经以太网将音视频数据分发到机载客舱各个播放终端进行播放；

所述采集模块用于在机载客舱各个播放终端进行播放的同时采集播放终端的图像信息和音频信息；

所述分析模块用于基于不同播放终端的视频信息和音频信息进行音视频同步分析，分析模块用于基于不同播放终端的视频信息进行视频同步分析，分析模块还用于基于不同播放终端的音频信息进行音频同步分析。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种机载客舱旅客广播同步测试方法，其特征在于，包括步骤：

S1、对视频源的音频和图像进行预处理得到测试视频源；

步骤S1包括以下子步骤：

S11、对视频源的每一帧图像进行标记，并对应制作特定频率的音频；

步骤S11包括：

在视频源的每一帧图像上叠加特定的二维码进行标记，得到图像帧序号Ni，其中i=1,2,3……45；

声音的频率以1khz起始，每帧图像添加200hz

S13、将经过S11处理后的视频和音频进行合成得到测试视频源；

S14、用示波器对测试视频源的音频进行逐帧检测，确定其与制作时音频频率幅值和周期变化一致；

采用高速工业相机以同步触发方式采集视频信息，同时同步触发音频采集卡采集音频信号；高速工业相机的采集频率至少500帧/秒；

S2、将测试视频源加载到服务器中经以太网将音视频数据分发到机载客舱各个播放终端进行播放；

S3、在机载客舱各个播放终端进行播放的同时采集播放终端的图像信息和音频信息；

S4、基于不同播放终端的图像信息和音频信息进行音视频同步分析，基于不同播放终端的图像信息进行视频同步分析，基于不同播放终端的音频信息进行音频同步分析；

基于不同播放终端的视频信息和音频信息进行音视频同步分析方法为：

T1、从触发时刻起，对音频信号每隔时间t进行一次频率分析得到音频信号的多个频率突变边界，其中t为高速工业相机采集频率的最小间隔；

T2、以频率突变边界为标记点；分析出标记点对应的图像帧序号n1，和图像帧变化边界的图像帧序号n2；

T3、根据式delay1=(n1-n2)*t计算音视频延迟时间delay1；

T4、基于不同的频率突变边界重复步骤T2-T3，计算出多组音视频延迟时间delay1后求均值作为音视频同步分析结果；

基于不同播放终端的音频信息进行音频同步分析方法为：

H1、形成两个播放终端以触发时刻为起始的同步采集模型，对两个播放终端的音频信号每隔时间t进行一次频率分析得到多个频率突变边界组，其中t为高速工业相机采集频率的最小间隔；

H2、频率突变边界组包括：播放终端A音频信息的频率突变边界A1和播放终端B音频信息的频率突变边界B1；查看频率突变边界A1对应的视频图像序号m1，查看频率突变边界B1对应的视频图像序号m2；

H3、根据式delay2=(m1-m2)*t计算出音视频延迟时间delay2；

H4、基于多个频率突变边界组重复步骤H2-H3，计算出多组音视频延迟时间delay2后求平均值作为音频同步分析结果；

基于不同播放终端的视频信息进行视频同步分析方法为：

G1、以起始触发时作为时间零刻度，t作为时间最小刻度开始计算得到多个视频帧应变化边界，其中t为高速工业相机采集频率的最小间隔；

G2、以视频帧应变化边界为测量判断点，找到两个播放终端与测量判断点对应的视频帧变化边界K1和K2；

G3、根据式delay3=(K1-K2)*t计算出视频延迟时间delay3；

G4、基于多个视频帧应变化边界重复步骤G2-G3，计算多组视频延迟时间delay3后求平均值作为视频同步分析结果。

2.根据权利要求1所述的一种机载客舱旅客广播同步测试方法，其特征在于，t至少为2ms。

3.一种机载客舱旅客广播同步测试系统，应用于权利要求1或2所述的任意一种机载客舱旅客广播同步测试方法，其特征在于，包括：预处理模块、测试加载模块、采集模块和分析模块；

所述预处理模块用于对视频源的音频和图像进行预处理得到测试视频源；

所述测试加载模块用于将测试视频源加载到服务器中经以太网将音视频数据分发到机载客舱各个播放终端进行播放；

所述采集模块用于在机载客舱各个播放终端进行播放的同时采集播放终端的图像信息和音频信息；

所述分析模块用于基于不同播放终端的视频信息和音频信息进行音视频同步分析，分析模块用于基于不同播放终端的视频信息进行视频同步分析，分析模块还用于基于不同播放终端的音频信息进行音频同步分析。