CN112423010B - 一种广播电视直转播监测系统及监测方法 - Google Patents

Abstract

本申请提供了一种广播电视直转播监测系统及监测方法。所述监测系统包括中心平台和至少一个探针服务器，探针服务器可以从转播节目的音频中截取转播尾部音频片段，并从转播尾部音频片段中提取音频指纹，得到尾部音频特征序列，进而，将尾部音频特征序列与预设的结束音频特征库中各基准音频特征序列进行比对，如果预设的结束音频特征库中存在与尾部音频特征序列相匹配的基准音频特征序列，则确定转播节目播放结束。如此，通过探针服务器实时监测转播节目的直播流信息，可以准确判断转播节目是否播放结束，如此，当转播节目播放结束，就可以及时结束对转播节目的监测，进而，可以提高对转播节目的检测准确度。

Description

一种广播电视直转播监测系统及监测方法

技术领域

本申请涉及计算机软件技术领域，特别涉及一种广播电视直转播监测系统及监测方法。

背景技术

广播电视是通过无线电波或导线传播声音、图像、视频的新闻传播工具。广播电视的产生是人类社会发展，科技进步的结果，它使人类信息传播的广度和深度得到了空前的扩展。随着广播电视的飞速发展，越来越多的电视台除了播放自己台的节目之外，还会转播其它电视台的节目。例如，地方电视台会转播中央电视台的新闻联播，或转播中央电视台的文艺晚会。

在电视台转播节目的过程中，为了实时了解到转播的状态，需要对转播节目进行监测。当转播节目播放结束时，需要适时地停止对转播节目的监测。现有技术中，通常需要提前设置定时任务，来及时结束对转播节目的监测。假设源节目的播放时间一般是30分钟，一般会设置30分钟的定时任务，一旦转播节目的播放时长达到30分钟，就可以结束对转播节目的监测。但是，这种方法灵活性较低，如果源节目临时改变播放时长，就会影响对转播节目的监测结果。

发明内容

本申请提供了一种广播电视直转播监测系统及监测方法，可用于解决在现有技术中通过设置定时任务来判断是否停止对转播节目的监测，灵活性较低，如果源节目临时改变播放时长，就会影响对转播节目的监测结果的技术问题。

第一方面，本申请实施例提供一种广播电视直转播监测系统，所述监测系统包括中心平台和至少一个探针服务器，所述探针服务器与所述中心平台连接；

所述探针服务器被配置为执行以下步骤：

接收转播节目的直播流信息，所述直播流信息包括转播节目音频；

从所述转播节目音频中截取转播尾部音频片段，所述转播尾部音频片段是指在所述转播节目音频中位于截取时刻之前预设时间范围内的音频片段；

从所述转播尾部音频片段中提取音频指纹，得到尾部音频特征序列；

将所述尾部音频特征序列与预设的结束音频特征库中各基准音频特征序列进行比对，如果所述预设的结束音频特征库中存在与所述尾部音频特征序列相匹配的基准音频特征序列，则确定所述转播节目播放结束。

结合第一方面，在第一方面的一种可实现方式中，所述预设的结束音频特征库中各基准音频特征序列通过以下方式确定：

获取每个源节目在历史时间段内的多个源节目音频；

从所述源节目音频中截取源结束音频片段，所述源结束音频片段在所述源节目音频中位于终止时刻之前预设时间范围内的音频片段；

从所述源结束音频片段中提取音频指纹，得到源音频特征序列；

比对任意两个源音频特征序列，如果两个源音频特征序列相匹配，则保留其中任意一个源音频特征序列，删除另一个源音频特征序列；如果两个源音频特征序列不匹配，则保留两个源音频特征序列；

将所有保留的源音频特征序列确定为基准音频特征序列。

结合第一方面，在第一方面的一种可实现方式中，任意两个源音频特征序列具体通过以下方式进行比对：

根据第一源音频特征序列中每个音频帧的音频指纹和每个音频帧的帧时间，以及第二源音频特征序列中每个音频帧的音频指纹和每个音频帧的帧时间，确定所述第一源音频特征序列与所述第二源音频特征序列之间的对齐偏移量；所述第一源音频特征序列为任意一个源音频特征序列，所述第二音频特征序列为除所述第一源音频特征序列以外的任意一个源音频特征序列；

根据所述第一源音频特征序列与所述第二源音频特征序列之间的对齐偏移量，获取所述第一源音频特征序列中至少两个音频帧与所述第二源音频特征序列中至少两个音频帧对应音频帧的指纹距离；

如果所述指纹距离小于或者等于第一预设阈值，则确定所述第一源音频特征序列与所述第二源音频特征序列相匹配；

如果所述指纹距离大于第一预设阈值，则确定所述第一源音频特征序列与所述第二源音频特征序列不匹配。

结合第一方面，在第一方面的一种可实现方式中，所述预设的结束音频特征库通过以下方式建立：

将源节目的标识与基准音频特征序列对应后，建立所述预设的结束音频特征库。

结合第一方面，在第一方面的一种可实现方式中，所述探针服务器具体被配置为执行以下步骤：

获取所述转播尾部音频片段中每个音频帧的频谱幅值；

根据所述每个音频帧的频谱幅值，确定每个音频帧在音调频率子带上的平均谱能量；

根据每个音频帧在音调频率子带上的平均谱能量，确定每个音频帧的平均谱能量峰值所属的目标音调频率子带；

根据所述每个音频帧的所属的目标音调频率子带，生成每个音频帧的平均谱能量峰值位置点图像；

利用分类器对所述平均谱能量峰值位置点图像中的平均谱能量峰值位置点进行量化，并根据量化结果获取每个音频帧的音频指纹；

根据所述每个音频帧的音频指纹，得到所述尾部音频特征序列。

结合第一方面，在第一方面的一种可实现方式中，所述探针服务器具体被配置为执行以下步骤：

针对任一基准音频特征序列，根据所述尾部音频特征序列中每个音频帧的音频指纹和每个音频帧的帧时间，以及所述基准音频特征序列中每个音频帧的音频指纹和每个音频帧的帧时间，确定所述尾部音频特征序列与所述基准音频特征序列之间的对齐偏移量；

根据所述对齐偏移量，获取所述尾部音频特征序列中至少两个音频帧与所述基准音频特征序列中至少两个音频帧对应音频帧的指纹距离；

如果所述指纹距离小于或者等于第一预设阈值，则确定所述预设的结束音频特征库中存在与所述尾部音频特征序列相匹配的基准音频特征序列。

结合第一方面，在第一方面的一种可实现方式中，所述直播流信息还包括转播节目的标识；

所述探针服务器还被配置为执行以下步骤：

从所述预设的结束音频特征库中确定与所述转播节目的标识一致的源节目的标识；

确定所述源节目的标识对应的各基准音频特征序列。

结合第一方面，在第一方面的一种可实现方式中，所述探针服务器还被配置为执行以下步骤：

如果所述预设的结束音频特征库中不存在与所述尾部音频特征序列相匹配的基准音频特征序列，则重新从所述转播节目音频中截取转播尾部音频片段，直至确定所述转播节目播放结束。

结合第一方面，在第一方面的一种可实现方式中，所述中心平台被配置为执行以下步骤：

接收所述探针服务器上报的转播节目播放结束的消息；

向管理人员发送停止播放指令，所述停止播放指令用于指示管理人员停止对转播节目的监测。

第二方面，本申请实施例提供一种广播电视直转播监测方法，所述监测方法包括：

接收转播节目的直播流信息，所述直播流信息包括转播节目音频；

从所述转播节目音频中截取转播尾部音频片段，所述转播尾部音频片段是指在所述转播节目音频中位于截取时刻之前的预设时间范围内的音频片段；

从所述转播尾部音频片段中提取音频指纹，得到尾部音频特征序列；

将所述尾部音频特征序列与预设的结束音频特征库中各基准音频特征序列进行比对，如果所述预设的结束音频特征库中存在与所述尾部音频特征序列相匹配的基准音频特征序列，则确定所述转播节目播放结束。

结合第二方面，在第二方面的一种可实现方式中，所述预设的结束音频特征库中各基准音频特征序列通过以下方式确定：

获取每个源节目在历史时间段内的多个源节目音频；

从所述源节目音频中截取源结束音频片段，所述源结束音频片段在所述源节目音频中位于终止时刻之前预设时间范围内的音频片段；

从所述源结束音频片段中提取音频指纹，得到源音频特征序列；

比对任意两个源音频特征序列，如果两个源音频特征序列相匹配，则保留其中任意一个源音频特征序列，删除另一个源音频特征序列；如果两个源音频特征序列不匹配，则保留两个源音频特征序列；

将所有保留的源音频特征序列确定为基准音频特征序列。

结合第二方面，在第二方面的一种可实现方式中，任意两个源音频特征序列具体通过以下方式进行比对：

根据第一源音频特征序列中每个音频帧的音频指纹和每个音频帧的帧时间，以及第二源音频特征序列中每个音频帧的音频指纹和每个音频帧的帧时间，确定所述第一源音频特征序列与所述第二源音频特征序列之间的对齐偏移量；所述第一源音频特征序列为任意一个源音频特征序列，所述第二音频特征序列为除所述第一源音频特征序列以外的任意一个源音频特征序列；

根据所述第一源音频特征序列与所述第二源音频特征序列之间的对齐偏移量，获取所述第一源音频特征序列中至少两个音频帧与所述第二源音频特征序列中至少两个音频帧对应音频帧的指纹距离；

如果所述指纹距离小于或者等于第一预设阈值，则确定所述第一源音频特征序列与所述第二源音频特征序列相匹配；

如果所述指纹距离大于第一预设阈值，则确定所述第一源音频特征序列与所述第二源音频特征序列不匹配。

结合第二方面，在第二方面的一种可实现方式中，所述预设的结束音频特征库通过以下方式建立：

将源节目的标识与基准音频特征序列对应后，建立所述预设的结束音频特征库。

结合第二方面，在第二方面的一种可实现方式中，从所述源结束音频片段中提取音频指纹，包括：

获取所述转播尾部音频片段中每个音频帧的频谱幅值；

根据所述每个音频帧的频谱幅值，确定每个音频帧在音调频率子带上的平均谱能量；

根据每个音频帧在音调频率子带上的平均谱能量，确定每个音频帧的平均谱能量峰值所属的目标音调频率子带；

根据所述每个音频帧的所属的目标音调频率子带，生成每个音频帧的平均谱能量峰值位置点图像；

利用分类器对所述平均谱能量峰值位置点图像中的平均谱能量峰值位置点进行量化，并根据量化结果获取每个音频帧的音频指纹；

根据所述每个音频帧的音频指纹，得到所述尾部音频特征序列。

结合第二方面，在第二方面的一种可实现方式中，将所述尾部音频特征序列与预设的结束音频特征库中各基准音频特征序列进行比对，包括：

针对任一基准音频特征序列，根据所述尾部音频特征序列中每个音频帧的音频指纹和每个音频帧的帧时间，以及所述基准音频特征序列中每个音频帧的音频指纹和每个音频帧的帧时间，确定所述尾部音频特征序列与所述基准音频特征序列之间的对齐偏移量；

根据所述对齐偏移量，获取所述尾部音频特征序列中至少两个音频帧与所述基准音频特征序列中至少两个音频帧对应音频帧的指纹距离；

如果所述指纹距离小于或者等于第一预设阈值，则确定所述预设的结束音频特征库中存在与所述尾部音频特征序列相匹配的基准音频特征序列。

结合第二方面，在第二方面的一种可实现方式中，所述直播流信息还包括转播节目的标识；

在将所述尾部音频特征序列与预设的结束音频特征库中各基准音频特征序列进行比对，所述方法还包括：

从所述预设的结束音频特征库中确定与所述转播节目的标识一致的源节目的标识；

确定所述源节目的标识对应的各基准音频特征序列。

结合第二方面，在第二方面的一种可实现方式中，所述方法还包括：

如果所述预设的结束音频特征库中不存在与所述尾部音频特征序列相匹配的基准音频特征序列，则重新从所述转播节目音频中截取转播尾部音频片段，直至确定所述转播节目播放结束。

本申请实施例中，探针服务器可以从转播节目的音频中截取转播尾部音频片段，并从转播尾部音频片段中提取音频指纹，得到尾部音频特征序列，进而，将尾部音频特征序列与预设的结束音频特征库中各基准音频特征序列进行比对，如果预设的结束音频特征库中存在与尾部音频特征序列相匹配的基准音频特征序列，则确定转播节目播放结束。如此，无需提前设置定时任务来判断是否结束对转播节目的监测，通过探针服务器实时监测转播节目的直播流信息，可以准确判断转播节目是否播放结束，如此，当转播节目播放结束，就可以及时结束对转播节目的监测，进而，可以提高对转播节目的检测准确度。

附图说明

图1为本申请实施例适用的一种系统的结构示意图；

图2a为本申请实施例提供的一种探针服务器监测直转播任务的示意图；

图2b为本申请实施例提供的另一种探针服务器监测直转播任务的示意图；

图3为本申请实施例提供的一种探针服务器对直转播任务进行监测的流程示意图；

图4为本申请实施例提供的一种尾部音频特征序列的提取方法所对应的流程示意图；

图5为本申请实施例提供的一种基准音频特征序列的确定方法所对应的流程示意图；

图6为本申请实施例提供的一种两个源音频特征序列的比对方法所对应的流程示意图；

图7为相似指纹帧对按帧时间差统计直方图；

图8为将第一源音频特征序列中至少两个音频帧与第二源音频特征序列中至少两个音频帧进行匹配的示意图；

图9为将第一源音频特征序列与第二源音频特征序列进行匹配的示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

下面首先结合图1对本申请实施例适用的可能的系统架构进行介绍。

请参考图1，其示例性示出了本申请实施例适用的一种系统的结构示意图。该系统100可以包括中心平台101和至少一个探针服务器，例如图1中示出的探针服务器1021和探针服务器1022。

探针服务器与中心平台101连接，例如，图1中示出的探针服务器1021可以与中心平台101连接，探针服务器1022可以与中心平台101连接。具体的连接方式可以是有线网络连接，也可以是无线网络连接，不做具体限定。

本申请实施例中，探针服务器(探针服务器1021或探针服务器1022)可以用于监测直转播任务、录像取证，并可将监测结果通过网络实时回传中心平台。

具体地，探针服务器可以是一对一地监测直转播任务，即，一个探针服务器只监测一个直转播任务。一个示例中，如图2a所示，为本申请实施例提供的一种探针服务器监测直转播任务的示意图，电视台A和电视台B分别对电视台C直播的节目进行转播，探针服务器1021可以用于监测电视台A的直播流信息a，探针服务器1022可以用于监测电视台B的直播流信息b。

另一个示例中，如图2b所示，为本申请实施例提供的另一种探针服务器监测直转播任务的示意图，电视台A和电视台B分别对电视台C直播的节目进行转播，探针服务器1021可以用于同时监测电视台A的直播流信息a和电视台B的直播流信息b。

在其它可能的示例中，探针服务器还可以同时监测不同节目的直播流信息，比如，电视台A对电视台C直播的节目进行转播，电视台B对电视台C直播的节目进行转播，探针服务器可以用于同时监测电视台A的直播流信息a和电视台B的直播流信息b，具体不做限定。

中心平台101可以对探针服务器进行管理，以及对直转播任务进行调度，并对监测结果做可视化呈现。

参考图3，其示例性示出了本申请实施例提供的一种探针服务器对直转播任务进行监测的流程示意图，其中，探针服务器可以被配置为执行以下步骤301至步骤305：

步骤301，接收转播节目的直播流信息。

步骤302，从转播节目音频中截取转播尾部音频片段。

步骤303，从转播尾部音频片段中提取音频指纹，得到尾部音频特征序列。

步骤304，将尾部音频特征序列与预设的结束音频特征库中各基准音频特征序列进行比对，如果预设的结束音频特征库中存在与尾部音频特征序列相匹配的基准音频特征序列，则确定转播节目播放结束。

本申请实施例中，探针服务器可以从转播节目的音频中截取转播尾部音频片段，并从转播尾部音频片段中提取音频指纹，得到尾部音频特征序列，进而，将尾部音频特征序列与预设的结束音频特征库中各基准音频特征序列进行比对，如果预设的结束音频特征库中存在与尾部音频特征序列相匹配的基准音频特征序列，则确定转播节目播放结束。如此，无需提前设置定时任务来判断是否结束对转播节目的监测，通过探针服务器实时监测转播节目的直播流信息，可以准确判断转播节目是否播放结束，如此，当转播节目播放结束，就可以及时结束对转播节目的监测，进而，可以提高对转播节目的检测准确度。

步骤301中，直播流信息可以包括转播节目的标识和转播节目音频。其中，转播节目的标识可以是节目名称、节目ID或节目编码等，具体不做限定。

广播电视节目一般是音视频节目，其中，音频通常为脉冲编码调制(Pulse CodeModulation，PCM))格式；视频通常为YUV格式。本申请实施例中主要使用到的是转播节目的音频。

步骤302中，转播尾部音频片段是指在所述转播节目音频中位于截取时刻之前预设时间范围内的音频片段。截取时刻是指对转播节目音频进行截取动作时所处的时刻，一般情况下，探针服务器是实时接收转播节目的直播流信息的，因此，截取时刻也可以看做是转播节目当前所播放的时刻。

举个例子，截取时刻为00:45:00，预设时间范围为10分钟，那么，所截取到的转播尾部音频片段指的是从00:35:00至00:45:00时间范围内的音频片段。

步骤303中，可以结合图4，其示例性示出了本申请实施例提供的一种尾部音频特征序列的提取方法所对应的流程示意图，具体包括如下步骤：

步骤401，获取转播尾部音频片段中每个音频帧的频谱幅值。

对音频数据进行时域-频域转换，可以获取转播尾部音频片段中每个音频帧的频谱幅值。

需要说明的是，可以先对PCM格式的音频数据进行分帧处理。接下来，可以对音频帧进行汉明加窗处理。然后，可以对音频帧进行快速傅立叶变换(Fast FourierTransform，FFT)，将音频数据从时域变为频域，得到音频频谱。接下来，为防止频谱噪声影响，还可以将相邻5帧音频帧的频谱进行平滑处理。

步骤402，根据每个音频帧的频谱幅值，确定每个音频帧在音调频率子带上的平均谱能量。

具体地，可以将转播尾部音频片段中每个音频帧的频谱幅值映射到30个音调频率子带上，并计算每个音频帧在各个音调频率子带上的平均谱能量。计算平均谱能量的目的是均值滤波，对频谱去噪。

步骤403，根据每个音频帧在音调频率子带上的平均谱能量，确定每个音频帧的平均谱能量峰值所属的目标音调频率子带。

以30个音调频率子带为例，可以根据每个音频帧在30个音调频率子带中每个音调频率子带上的平均谱能量，确定每个音频帧的平均谱能量峰值在30个音调频率子带中所属的目标音调频率子带。

需要说明的是，对30个音调频率子带中每个音调频率子带内包含的多个离散的点所对应的多个能量值取平均值，获得该音调频率子带对应的平均谱能量之后，30个音调频率子带中每个音调频率子带内均存在一个平均谱能量值位置点。30个音调频率子带对应的30个平均谱能量值位置点中的极大值点即为平均谱能量峰值位置点。或者，将30个音调频率子带对应的30个平均谱能量值位置点连起来即为一段波形，则该波形的波峰即为平均谱能量峰值位置点。

步骤404，根据每个音频帧的所属的目标音调频率子带，生成每个音频帧的平均谱能量峰值位置点图像。

步骤405，利用分类器对所述平均谱能量峰值位置点图像中的平均谱能量峰值位置点进行量化，并根据量化结果获取每个音频帧的音频指纹。

需要说明的是，上述步骤401至步骤405的目的是为例提取出音频指纹，本领域技术人员应知，提取音频指纹的方法有多种，上述方法仅为一种示例性描述，在本申请实施例中，采用其它方法提取出音频指纹亦可。

步骤406，根据每个音频帧的音频指纹，得到尾部音频特征序列。

需要说明的是，尾部音频特征序列可以看做是包含了帧时间和帧音频指纹的一段特征序列。

步骤304中，如果预设的结束音频特征库中不存在与尾部音频特征序列相匹配的基准音频特征序列，则重新从转播节目音频中截取转播尾部音频片段，直至确定转播节目播放结束。

其中，预设的结束音频特征库中可以包括多个基准音频特征序列。基准音频特征序列可以是基于源节目音频得到的音频特征序列。

需要说明的是，在执行步骤304之前，探针服务器还可以被配置为执行以下步骤：

从预设的结束音频特征库中确定与转播节目的标识一致的源节目的标识；进而，确定源节目的标识对应的各基准音频特征序列。

具体来说，可以参考图5，其示例性示出了本申请实施例提供的一种基准音频特征序列的确定方法所对应的流程示意图，具体包括如下步骤：

步骤501，获取每个源节目在历史时间段内的多个源节目音频。

步骤502，从源节目音频中截取源结束音频片段。

其中，源结束音频片段在源节目音频中位于终止时刻之前预设时间范围内的音频片段。终止时刻是指对源节目音频播放结束的的时刻。

举个例子，终止时刻为00:45:35，预设时间范围为10分钟，那么，所截取到的源结束音频片段指的是从00:35:35至00:45:35时间范围内的音频片段。

步骤503，从源结束音频片段中提取音频指纹，得到源音频特征序列。

需要说明的是，步骤503中提取音频指纹的方法可以参考上文图4所描述的内容，或者也可以采用其它方法提取音频指纹，具体不做限定。

步骤504，比对任意两个源音频特征序列，如果两个源音频特征序列相匹配，则执行步骤505；否则，执行步骤506。

步骤505，保留其中任意一个源音频特征序列，删除另一个源音频特征序列。

步骤506，保留两个源音频特征序列。

在步骤504至步骤506中，判断两个源音频特征序列是否相匹配的方法有多种，一个示例中，与图3中步骤304的方法类似，为了更加清楚地描述两个源音频特征序列的比对过程，下面结合图6进行具体描述。

如图6所示，为本申请实施例提供的一种两个源音频特征序列的比对方法所对应的流程示意图，具体包括如下步骤：

步骤601，根据第一源音频特征序列中每个音频帧的音频指纹和每个音频帧的帧时间，以及第二源音频特征序列中每个音频帧的音频指纹和每个音频帧的帧时间，确定第一源音频特征序列与第二源音频特征序列之间的对齐偏移量。

其中，第一源音频特征序列为任意一个源音频特征序列，第二音频特征序列为除所述第一源音频特征序列以外的任意一个源音频特征序列。

具体实施过程中，对齐偏移量可以采用以下方法确定：

确定第一源音频特征序列与第二源音频特征序列中具有相似指纹的音频帧对，其中，具有相似指纹的音频帧对中的两个音频帧的指纹距离小于第二预设阈值；计算具有相似指纹的音频帧对中第一音频帧与第二音频帧的帧时间差，其中，第一音频帧属于第一源音频特征序列，第二音频帧属于第二源音频特征序列；获取具有同一帧时间差的音频帧对；在具有目标帧时间差的音频帧对的数量最多且该数量大于第三预设阈值的情况下，确定目标帧时间差为所述对齐偏移量。

可确定第一源音频特征序列与第二源音频特征序列中具有相似指纹的音频帧对。其中，具有相似指纹的音频帧对中的两个音频帧的指纹距离小于第二预设阈值。指纹距离是指两个音频帧各自具有的32bit特征值中的不同比特数，即是指两个音频帧各自具有的音频指纹之间的不同比特数，或称“误码”比特数。且在进行比较时，要将两个音频帧各自具有的32bit特征值中对应位置处的比特值进行比较。例如，假设一个音频帧的音频指纹为00000000000000001111111111111111；另一个音频帧的音频指纹为01010101010101010101010101010101。计算这两个音频帧的指纹距离时，要将对应位置处的比特值进行比较。这样，这两个音频帧的指纹距离即为16bit。相似指纹是指两个音频帧的指纹距离小于第二预设阈值，该第二预设阈值可以为10bit。

接下来。可以计算具有相似指纹的音频帧对中第一音频帧与第二音频帧的帧时间差。例如，假设第一源音频特征序列中的第1音频帧的音频指纹与第二源音频特征序列中的第3音频帧的音频指纹是相似指纹，则第一源音频特征序列中的第1音频帧与第二源音频特征序列中的第2音频帧的帧时间差为1；假设第一源音频特征序列中的第3音频帧的音频指纹与第二源音频特征序列中的第1音频帧的音频指纹是相似指纹，则第一源音频特征序列中的第3音频帧与第二源音频特征序列中的第1音频帧的帧时间差为-2。

然后，可以获取具有同一帧时间差的音频帧对。例如，帧时间差为-3的具有相似指纹的音频帧对存在1对；帧时间差为-2的具有相似指纹的音频帧对存在2对；帧时间差为-1的具有相似指纹的音频帧对存在5对；帧时间差为0的具有相似指纹的音频帧对存在3对；帧时间差为1的具有相似指纹的音频帧对存在11对；帧时间差为2的具有相似指纹的音频帧对存在3对；帧时间差为3的具有相似指纹的音频帧对存在2。如图7所示，为相似指纹帧对按帧时间差统计直方图。

在具有目标帧时间差的音频帧对的数量最多且该数量大于第三预设阈值的情况下，可以确定目标帧时间差为对齐偏移量。该第三预设阈值可以为10对。以图7示出的相似指纹帧对为例，具有目标帧时间差1的音频帧对的数量最多且该数量11大于第三预设阈值10，因此，可以确定目标帧时间差1为对齐偏移量。

步骤602，根据第一源音频特征序列与所述第二源音频特征序列之间的对齐偏移量，获取第一源音频特征序列中至少两个音频帧与第二源音频特征序列中至少两个音频帧对应音频帧的指纹距离。

如图8所示，为将第一源音频特征序列中至少两个音频帧与第二源音频特征序列中至少两个音频帧进行匹配的示意图。在图8中，由于对齐偏移量为1，因此，可以计算第一源音频特征序列第2个音频帧与第二源音频特征序列中第3个音频帧的指纹距离，即可以计算第一源音频特征序列中第1音频帧与第二源音频特征序列中第1’音频帧的指纹距离；可以计算第一源音频特征序列中第3个音频帧与第二源音频特征序列中第4个音频帧的指纹距离，即可以计算第一源音频特征序列中第2音频帧与第二源音频特征序列中第2’音频帧的指纹距离；可以计算第一源音频特征序列中第4个音频帧与第二源音频特征序列中第5个音频帧的指纹距离，即可以计算第一源音频特征序列中第3音频帧与第二源音频特征序列中第3’音频帧的指纹距离，以此类推，具体不再一一描述。然后，可以获取计算出的多个指纹距离的平均值。

需要说明的是，在获取第一源音频特征序列中至少两个音频帧与第二源音频特征序列中至少两个音频帧对应音频帧的指纹距离的平均值时，可以仅获取32对音频帧对中每个音频帧对所包含的两个音频帧的指纹距离，即可以获得32个指纹距离。进而可以计算这32个指纹距离的平均值。无需计算第一源音频特征序列和第二源音频特征序列对应的所有音频帧对的指纹距离的平均值。

步骤603，判断指纹距离是否小于或者等于第一预设阈值，如果指纹距离小于或者等于第一预设阈值，则执行步骤604；否则，执行步骤605。

步骤604，确定第一源音频特征序列与第二源音频特征序列相匹配。

步骤605，确定第一源音频特征序列与第二源音频特征序列不匹配。

另一个示例中，可以将第一源音频特征序列与第二源音频特征序列进行对比，以此轮巡对比，来确定第一源音频特征序列与第二源音频特征序列是否匹配。

具体地，取第一源音频特征序列中预设时间范围(例如0～5秒)的特征序列作为目标比对序列，以步进1秒(即1～6秒，2～7秒，以此类推)的特征序列进行轮巡，如果第二源音频特征序列中存在与目标比对序列的相似序列，且相似序列的数量大于第四预设阈值，则认为第一源音频特征序列与第二源音频特征序列相匹配。如图9所示，为将第一源音频特征序列与第二源音频特征序列进行匹配的示意图。

需要说明的是，除了上述示例的两种示例对两个源音频特征序列进行比对，本领域技术人员也可以采用其它方法对两个源音频特征序列进行比对，具体不做限定。

步骤507，将所有保留的源音频特征序列确定为基准音频特征序列。

进一步地，在确定基准音频特征序列之后，可以将源节目的标识与基准音频特征序列对应后，建立预设的结束音频特征库。

本申请实施例中，判断预设的结束音频特征库中是否存在与尾部音频特征序列相匹配的基准音频特征序的方法有多种，一个示例中，针对任一基准音频特征序列，根据所述尾部音频特征序列中每个音频帧的音频指纹和每个音频帧的帧时间，以及所述基准音频特征序列中每个音频帧的音频指纹和每个音频帧的帧时间，确定所述尾部音频特征序列与所述基准音频特征序列之间的对齐偏移量；然后，根据对齐偏移量，获取所述尾部音频特征序列中至少两个音频帧与所述基准音频特征序列中至少两个音频帧对应音频帧的指纹距离；进而，判断指纹距离是否小于或者等于预设阈值，如果指纹距离小于或者等于第一预设阈值，则确定预设的结束音频特征库中存在与尾部音频特征序列相匹配的基准音频特征序列；如果指纹距离大于预设阈值，则获取下一个基准音频特征序列进行判断，直至所有基准音频特征序列对应的指纹距离都大于第一预设阈值，则确定预设的结束音频特征库中不存在与尾部音频特征序列相匹配的基准音频特征序列。

需要说明的是，上述过程中，对预设的结束音频特征库中是否存在与尾部音频特征序列相匹配的基准音频特征序列的判断方法可以参考图6所描述的内容，具体不再一一描述。

在其它可能的示例中，也可以将尾部音频特征序列与基准音频特征序列进行对比，以此轮巡对比，来确定尾部音频特征序列与基准音频特征序列是否匹配。

具体地，取尾部音频特征序列中预设时间范围(例如0～5秒)的特征序列作为目标比对序列，以步进1秒(即1～6秒，2～7秒，以此类推)的特征序列进行轮巡，如果基准音频特征序列中存在与目标比对序列的相似序列，且相似序列的数量大于第四预设阈值，则认为尾部音频特征序列与基准音频特征序列相匹配。

需要说明的是，除了上述两个示例外，本领域技术人员也可以采用其它方法对两个源音频特征序列进行比对，具体不做限定。

本申请实施例中，中心平台101可以被配置为执行以下步骤：

接收探针服务器上报的转播节目播放结束的消息；以及，向管理人员发送停止播放指令，停止播放指令用于指示管理人员停止对转播节目的监测。

下述为本申请方法实施例，对于本申请方法实施例中未披露的细节，请参照本申请系统实施例。

本申请实施例提供一种广播电视直转播监测方法，所述监测方法包括：

接收转播节目的直播流信息，所述直播流信息包括转播节目音频；

从所述转播节目音频中截取转播尾部音频片段，所述转播尾部音频片段是指在所述转播节目音频中位于截取时刻之前的预设时间范围内的音频片段；

从所述转播尾部音频片段中提取音频指纹，得到尾部音频特征序列；

将所述尾部音频特征序列与预设的结束音频特征库中各基准音频特征序列进行比对，如果所述预设的结束音频特征库中存在与所述尾部音频特征序列相匹配的基准音频特征序列，则确定所述转播节目播放结束。

结合第二方面，在第二方面的一种可实现方式中，所述预设的结束音频特征库中各基准音频特征序列通过以下方式确定：

获取每个源节目在历史时间段内的多个源节目音频；

从所述源节目音频中截取源结束音频片段，所述源结束音频片段在所述源节目音频中位于终止时刻之前预设时间范围内的音频片段；

从所述源结束音频片段中提取音频指纹，得到源音频特征序列；

比对任意两个源音频特征序列，如果两个源音频特征序列相匹配，则保留其中任意一个源音频特征序列，删除另一个源音频特征序列；如果两个源音频特征序列不匹配，则保留两个源音频特征序列；

将所有保留的源音频特征序列确定为基准音频特征序列。

可选地，任意两个源音频特征序列具体通过以下方式进行比对：

根据第一源音频特征序列中每个音频帧的音频指纹和每个音频帧的帧时间，以及第二源音频特征序列中每个音频帧的音频指纹和每个音频帧的帧时间，确定所述第一源音频特征序列与所述第二源音频特征序列之间的对齐偏移量；所述第一源音频特征序列为任意一个源音频特征序列，所述第二音频特征序列为除所述第一源音频特征序列以外的任意一个源音频特征序列；

根据所述第一源音频特征序列与所述第二源音频特征序列之间的对齐偏移量，获取所述第一源音频特征序列中至少两个音频帧与所述第二源音频特征序列中至少两个音频帧对应音频帧的指纹距离；

如果所述指纹距离小于或者等于第一预设阈值，则确定所述第一源音频特征序列与所述第二源音频特征序列相匹配；

如果所述指纹距离大于第一预设阈值，则确定所述第一源音频特征序列与所述第二源音频特征序列不匹配。

可选地，所述预设的结束音频特征库通过以下方式建立：

将源节目的标识与基准音频特征序列对应后，建立所述预设的结束音频特征库。

可选地，从所述源结束音频片段中提取音频指纹，包括：

获取所述转播尾部音频片段中每个音频帧的频谱幅值；

根据所述每个音频帧的频谱幅值，确定每个音频帧在音调频率子带上的平均谱能量；

根据每个音频帧在音调频率子带上的平均谱能量，确定每个音频帧的平均谱能量峰值所属的目标音调频率子带；

根据所述每个音频帧的所属的目标音调频率子带，生成每个音频帧的平均谱能量峰值位置点图像；

利用分类器对所述平均谱能量峰值位置点图像中的平均谱能量峰值位置点进行量化，并根据量化结果获取每个音频帧的音频指纹；

根据所述每个音频帧的音频指纹，得到所述尾部音频特征序列。

可选地，将所述尾部音频特征序列与预设的结束音频特征库中各基准音频特征序列进行比对，包括：

针对任一基准音频特征序列，根据所述尾部音频特征序列中每个音频帧的音频指纹和每个音频帧的帧时间，以及所述基准音频特征序列中每个音频帧的音频指纹和每个音频帧的帧时间，确定所述尾部音频特征序列与所述基准音频特征序列之间的对齐偏移量；

根据所述对齐偏移量，获取所述尾部音频特征序列中至少两个音频帧与所述基准音频特征序列中至少两个音频帧对应音频帧的指纹距离；

如果所述指纹距离小于或者等于第一预设阈值，则确定所述预设的结束音频特征库中存在与所述尾部音频特征序列相匹配的基准音频特征序列。

可选地，所述直播流信息还包括转播节目的标识；

在将所述尾部音频特征序列与预设的结束音频特征库中各基准音频特征序列进行比对，所述方法还包括：

从所述预设的结束音频特征库中确定与所述转播节目的标识一致的源节目的标识；

确定所述源节目的标识对应的各基准音频特征序列。

可选地，所述方法还包括：

如果所述预设的结束音频特征库中不存在与所述尾部音频特征序列相匹配的基准音频特征序列，则重新从所述转播节目音频中截取转播尾部音频片段，直至确定所述转播节目播放结束。

本说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于服务构建装置和服务加载装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。

以上所述的本申请实施方式并不构成对本申请保护范围的限定。

Claims (9)

1.一种广播电视直转播监测系统，其特征在于，所述监测系统包括中心平台和至少一个探针服务器，所述探针服务器与所述中心平台连接；

所述探针服务器被配置为执行以下步骤：

接收转播节目的直播流信息，所述直播流信息包括转播节目音频；

从所述转播节目音频中截取转播尾部音频片段，所述转播尾部音频片段是指在所述转播节目音频中位于截取时刻之前预设时间范围内的音频片段；

从所述转播尾部音频片段中提取音频指纹，得到尾部音频特征序列；

将所述尾部音频特征序列与预设的结束音频特征库中各基准音频特征序列进行比对，如果所述预设的结束音频特征库中存在与所述尾部音频特征序列相匹配的基准音频特征序列，则确定所述转播节目播放结束；

其中，所述预设的结束音频特征库中各基准音频特征序列通过以下方式确定：

获取每个源节目在历史时间段内的多个源节目音频；

从所述源节目音频中截取源结束音频片段，所述源结束音频片段在所述源节目音频中位于终止时刻之前预设时间范围内的音频片段；

从所述源结束音频片段中提取音频指纹，得到源音频特征序列；

比对任意两个源音频特征序列，如果两个源音频特征序列相匹配，则保留其中任意一个源音频特征序列，删除另一个源音频特征序列；如果两个源音频特征序列不匹配，则保留两个源音频特征序列；

将所有保留的源音频特征序列确定为基准音频特征序列。

2.根据权利要求1所述的监测系统，其特征在于，任意两个源音频特征序列具体通过以下方式进行比对：

根据第一源音频特征序列中每个音频帧的音频指纹和每个音频帧的帧时间，以及第二源音频特征序列中每个音频帧的音频指纹和每个音频帧的帧时间，确定所述第一源音频特征序列与所述第二源音频特征序列之间的对齐偏移量；所述第一源音频特征序列为任意一个源音频特征序列，所述第二音频特征序列为除所述第一源音频特征序列以外的任意一个源音频特征序列；

根据所述第一源音频特征序列与所述第二源音频特征序列之间的对齐偏移量，获取所述第一源音频特征序列中至少两个音频帧与所述第二源音频特征序列中至少两个音频帧对应音频帧的指纹距离；

如果所述指纹距离小于或者等于第一预设阈值，则确定所述第一源音频特征序列与所述第二源音频特征序列相匹配；

如果所述指纹距离大于第一预设阈值，则确定所述第一源音频特征序列与所述第二源音频特征序列不匹配。

3.根据权利要求1所述的监测系统，其特征在于，所述预设的结束音频特征库通过以下方式建立：

将源节目的标识与基准音频特征序列对应后，建立所述预设的结束音频特征库。

4.根据权利要求1所述的监测系统，其特征在于，所述探针服务器具体被配置为执行以下步骤：

获取所述转播尾部音频片段中每个音频帧的频谱幅值；

根据所述每个音频帧的频谱幅值，确定每个音频帧在音调频率子带上的平均谱能量；

根据每个音频帧在音调频率子带上的平均谱能量，确定每个音频帧的平均谱能量峰值所属的目标音调频率子带；

根据所述每个音频帧的所属的目标音调频率子带，生成每个音频帧的平均谱能量峰值位置点图像；

利用分类器对所述平均谱能量峰值位置点图像中的平均谱能量峰值位置点进行量化，并根据量化结果获取每个音频帧的音频指纹；

根据所述每个音频帧的音频指纹，得到所述尾部音频特征序列。

5.根据权利要求1所述的监测系统，其特征在于，所述探针服务器具体被配置为执行以下步骤：

针对任一基准音频特征序列，根据所述尾部音频特征序列中每个音频帧的音频指纹和每个音频帧的帧时间，以及所述基准音频特征序列中每个音频帧的音频指纹和每个音频帧的帧时间，确定所述尾部音频特征序列与所述基准音频特征序列之间的对齐偏移量；

根据所述对齐偏移量，获取所述尾部音频特征序列中至少两个音频帧与所述基准音频特征序列中至少两个音频帧对应音频帧的指纹距离；

如果所述指纹距离小于或者等于第一预设阈值，则确定所述预设的结束音频特征库中存在与所述尾部音频特征序列相匹配的基准音频特征序列。

6.根据权利要求5所述的监测系统，其特征在于，所述直播流信息还包括转播节目的标识；

所述探针服务器还被配置为执行以下步骤：

从所述预设的结束音频特征库中确定与所述转播节目的标识一致的源节目的标识；

确定所述源节目的标识对应的各基准音频特征序列。

7.根据权利要求1所述的监测系统，其特征在于，所述探针服务器还被配置为执行以下步骤：

如果所述预设的结束音频特征库中不存在与所述尾部音频特征序列相匹配的基准音频特征序列，则重新从所述转播节目音频中截取转播尾部音频片段，直至确定所述转播节目播放结束。

8.根据权利要求1所述的监测系统，其特征在于，所述中心平台被配置为执行以下步骤：

接收所述探针服务器上报的转播节目播放结束的消息；

向管理人员发送停止播放指令，所述停止播放指令用于指示管理人员停止对转播节目的监测。

9.一种广播电视直转播监测方法，其特征在于，所述监测方法包括：

接收转播节目的直播流信息，所述直播流信息包括转播节目音频；

从所述转播节目音频中截取转播尾部音频片段，所述转播尾部音频片段是指在所述转播节目音频中位于截取时刻之前的预设时间范围内的音频片段；

从所述转播尾部音频片段中提取音频指纹，得到尾部音频特征序列；

将所述尾部音频特征序列与预设的结束音频特征库中各基准音频特征序列进行比对，如果所述预设的结束音频特征库中存在与所述尾部音频特征序列相匹配的基准音频特征序列，则确定所述转播节目播放结束；

其中，所述预设的结束音频特征库中各基准音频特征序列通过以下方式确定：

获取每个源节目在历史时间段内的多个源节目音频；

从所述源节目音频中截取源结束音频片段，所述源结束音频片段在所述源节目音频中位于终止时刻之前预设时间范围内的音频片段；

从所述源结束音频片段中提取音频指纹，得到源音频特征序列；

比对任意两个源音频特征序列，如果两个源音频特征序列相匹配，则保留其中任意一个源音频特征序列，删除另一个源音频特征序列；如果两个源音频特征序列不匹配，则保留两个源音频特征序列；

将所有保留的源音频特征序列确定为基准音频特征序列。

Images