CN110677725A - 一种基于互联网电视业务的音视频异态检测方法及系统 - Google Patents

Abstract

本发明提出了一种基于互联网电视业务的音视频异态检测方法，所述方法步骤如下：S1、采集互联网电视业务的历史视频流数据；S2、对历史视频流数据进行解码、清洗和转换，并进行异态现象分类；S3、提取分类后的异态现象数据的特征，得到异态特征库；S4、获取实时视频流数据，并对实时视频流数据进行特征提取；S5、利用异态特征库判断实时视频流数据的异态现象，并产生异态告警。所述系统包括视频流采集模块、视频分析模块、异态特征分析模块和异态现象检测模块。本发明系统和方法计算量较小，计算准确度较高，可以建立全面且准确的异态信息库，为互联网电视业务提供全面且准确的异态检测。

Description

一种基于互联网电视业务的音视频异态检测方法及系统

技术领域

本发明涉及一种检测互联网电视业务中音视频数据异态现象的方法及其系统，属于音视频异态检测技术领域。

背景技术

随着网络技术的发展，互联网电视业务逐渐成为音视频传播的主流业务，受到多种因素的影响，互联网电视业务的音视频会出现一些异态现象，常见的互联网电视业务音视频异态现象包括：视频的黑场、单色场、静帧、彩场、彩条、马赛克等，以及音频的静音、左(右)声道音量过高(低)等。这些异态现象都是用户可见可听的，直接影响用户的观影感知。

针对这些异态现象，现有的解决方案主要由：1、利用互联网电视业务相关协议(包括UDP/RTSP/RTMP/HTTP等协议)特征，再通过抓包分析或者模拟协议主动发起测试流来进行互联网电视业务质量分析和异态检测；2、通过图像对比的方式，把视频流进行解码之后与异态图像直接进行对比，进而实现异态检测。上述检测方法存在以下技术缺陷和不足：1、根据协议特征的方法主要用于分析互联网电视业务的QoS指标，即网络延迟、丢包率、吞吐率、TCP重传率、MDI-LR、MDI-DF、PAT/PMT表格错误、CC错误等，QoS指标可以反映整体的业务网络质量状况，但是无法判断具体的故障现象；2、部分异态现象是视频内容源造成的异态，通过协议特征分析IP流数据无法发现这类问题，但是用户观影感知已受影响；3、基于图像对比的方法进行异态分析计算量非常大，对硬件设备的配置和软件的计算能力都要求较高。

发明内容

为了解决现有技术中音视频异态检测存在的问题，本发明提出了一种基于互联网电视业务的音视频异态检测方法及系统，通过分析视频帧和音频帧的特征信息，建立异态特征库，提取实时视频流数据的特征与异态特征库进行对比，判断实时视频流的异态现象。

为解决上述技术问题，本发明采用了如下技术手段：

一种基于互联网电视业务的音视频异态检测方法，具体包括以下步骤：

S1、根据设置的取样参数采集互联网电视业务的历史视频流数据；

S2、对历史视频流数据进行解码、清洗和转换，并对转换后的数据进行异态现象分类；

S3、依次提取每个异态现象类别中的数据的特征，得到异态特征库；

S4、获取互联网电视业务的实时视频流数据，并对实时视频流数据进行特征提取；

S5、基于监督式学习方法，利用异态特征库判断实时视频流数据的异态现象，并产生异态告警。

进一步的，所述步骤S1的具体操作如下：

S11、自定义的设置视频流数据取样的取样参数，所述取样参数包括视频源地址、取样频率和数据上报地址；

S12、根据取样参数利用程序进行视频流拉流、数据抓包和视频指标分析，采集历史视频流数据。

进一步的，所述步骤S2的具体操作如下：

S21、获取历史视频流数据中的视频数据和音频数据，解析视频数据的I帧、P帧和B帧数据，解析音频数据的波形、左右声道数据相位；

S22、对视频解码数据和音频解码数据进行重新审查和校验；

S23、将视频解码数据和音频解码数据转换为结构化数据；

S24、根据历史视频流数据异态信息对结构化的视频解码数据和音频解码数据进行异态现象分类。

进一步的，所述异态现象包括视频异态现象和音频异态现象，所述视频异态现象包括静帧现象、黑场现象、单色场现象、彩场现象和马赛克现象，所述音频异态现象包括静音现象、左声道音量过高现象、左声道音量过低现象、右声道音量过高现象和右声道音量过低现象。

进一步的，步骤S3的具体操作如下：

S31、选取视频异态现象下的视频解码数据，利用颜色直方图分析法计算每个视频帧数据的颜色直方图；

S32、根据视频帧数据的颜色直方图和视频解码数据的时间戳设置视频异态现象对应的分类阈值；

S33、选取音频异态现象下的音频解码数据，基于短时傅里叶变换函数计算每个音频帧的波形幅值，公式如下：

其中，X_k表示第k帧音频信号的波形幅值，ω(n)表示加窗截断后的信号，x_k(n)表示第k帧音频信号，N为音频信号帧长度，n＝1,2,…,N，j为虚数单位，设音频解码数据共有M个帧，k＝1,2,…,M；

S34、根据音频帧的波形幅值设置音频异态现象对应的分类阈值；

S35、根据S32和S34得到的分类阈值生成异态特征库。

进一步的，所述对实时视频流数据进行特征提取，具体指提取实时视频流数据中每个视频帧的颜色直方图和每个音频帧的波形幅值。

进一步的，所述步骤S5的具体操作如下：

基于监督式学习，根据异态特征库构建异态现象训练模型，给异态现象训练模型输入实时视频流数据的特征，异态现象训练模型输出该实时视频流数据对应的异态现象，当规定时间内异态现象累计次数超过门限值，产生异态告警，所述异态告警包括该实时视频流数据的视频源地址、数据上报地址、异态现象、异态现象出现的时间戳、异态现象累计次数。

一种基于互联网电视业务的音视频异态检测系统，主要包括视频流采集模块、视频分析模块、异态特征分析模块和异态现象检测模块。

所述视频流采集模块，用于根据取样参数采集历史视频流数据和实时视频流数据。

所述视频分析模块，用于对历史视频流数据和实时视频流数据进行解码、清洗和转换，并存储转换后的数据。

所述异态特征分析模块，用于给转换后的数据进行分类，进行数据特征提取，生成异态特征库。

所述异态现象检测模块，用于将实时视频流数据的特征与异态特征库对比，检测实时视频流数据中的异态现象，并输出异态告警。

进一步的，所述取样参数包括视频源地址、取样频率和数据上报地址。

进一步的，所述异态告警包括该实时视频流数据的视频源地址、数据上报地址、异态现象、异态现象出现的时间戳、异态现象累计次数。

采用以上技术手段后可以获得以下优势：

本发明提出了一种基于互联网电视业务的音视频异态检测方法及系统，首先采集历史视频流数据，根据历史视频存在的异态现象为历史视频流数据进行异态现象分类，提取历史视频流数据的特征，对特征和异态现象进行映射得到异态特征库，然后实时采集互联网电视业务中的视频流数据，分析并提取实时视频流数据的特征，基于监督式学习方法和异态特征库检测实时视频流数据的异态现象。本发明方法和系统是基于视频帧和音频帧为最小分析单位进行异态分析的，可以覆盖整个视频流内容的所有帧节的检测，与现有的协议特征分析方法相比检测信息量更全面，而且基于视频帧图像和音频帧音效的分析与用户观影中的所见所听感知一致，可以获得感官层面的异态故障现象，检测准确度更高。此外，本发明方法和系统只需要提取视频帧和音频帧的特征值再与特征库进行比对计算，与现有的图像对比分析方法相比，计算量较小，分析效率较高，对硬件设备的配置和软件的计算能力要求相对较低。本发明方法和系统通过异态特征库结合监督方式的机器学习，可以建立全面且准确的异态信息库，为互联网电视业务提供全面且准确的异态检测。

附图说明

图1为本发明一种基于互联网电视业务的音视频异态检测方法的步骤流程图。

图2为本发明一种基于互联网电视业务的音视频异态检测系统的结构示意图。

图中，1是视频流采集模块，2是视频分析模块，3是异态特征分析模块，4是异态现象检测模块。

具体实施方式

下面结合附图对本发明的技术方案作进一步说明：

本发明提出了一种基于互联网电视业务的音视频异态检测方法，如图1所示，具体包括以下步骤：

S1、根据设置的取样参数采集互联网电视业务的历史视频流数据，具体操作如下：

S11、根据实际检测需求，自定义的设置视频流数据取样的取样参数，取样参数主要包括视频源地址、取样频率和数据上报地址，取样频率的取值范围为1次/分钟～12次/分钟。

S12、根据取样参数利用程序进行视频流拉流、数据抓包和视频指标分析操作，采集历史视频流数据，历史视频流数据指在取样时间之前互联网电视业务传输的数据，历史视频流数据是本发明方法的检测样本，用于辅助后续的异态检测。采集到的视频流数据可以先存储在本地，之后统一上报，上报的时间间隔为5分钟～15分钟。

S2、对历史视频流数据进行解码、清洗和转换，并对转换后的数据进行异态现象分类，具体操作如下：

S21、视频是连续的图像序列，由连续的帧构成，一帧即为一幅图像，由于连续的帧之间相似性极高，为了便于储存和传输，互联网电视业务会对原始的视频进行编码压缩，以去除空间、时间维度的冗余，而在进行视频播放和视频数据分析时，需要对编码压缩的视频进行解码。获取历史视频流数据中的视频数据和音频数据，解析视频数据的I帧、P帧和B帧数据，解析音频数据的波形、左右声道数据相位。

S22、利用数据清洗方法对视频解码数据和音频解码数据进行重新审查和校验，避免解码错误或数据传输错误等问题，确保后续的异态检测工作的准确性。

S23、将视频解码数据和音频解码数据转换为结构化数据，具体的，提取解码数据的数据名称，构建数据表格或关系型数据库，将与数据名称对应的数值录入数据表格或关系型数据库中，以视频解码数据为例，以视频编码数据的取样时间、视频帧、视频帧长度、视频帧对应的时间戳、视频分辨率等作为关键字段，每次完成视频流数据解码后就将解码后的数据按照关键字段录入。

S24、由于历史视频流数据是在取样时间之前的数据，所以历史视频流数据的异态信息是已知的，比如，已知取样时间之前某一时刻互联网电视业务传输的某个视频存在异常的黑屏现象。根据历史视频流数据异态信息对结构化的视频解码数据和音频解码数据进行异态现象分类，异态现象可以进一步分为视频异态现象和音频异态现象，视频异态现象包括静帧现象、黑场现象、单色场现象、彩场现象和马赛克现象等，音频异态现象包括静音现象、左声道音量过高现象、左声道音量过低现象、右声道音量过高现象和右声道音量过低现象等。通过对历史视频流数据的异态现象分类可以获得海量的、已分类的异态现象数据，为后续的异态检测奠定了数据基础。

S3、依次提取每个异态现象类别中的数据的特征，得到异态特征库，具体操作如下：

S31、按照异态现象分类选取视频异态现象下的视频解码数据，利用颜色直方图分析法计算每个视频帧数据的颜色直方图，颜色直方图可以提现图像中颜色的组成分布情况。

S32、根据视频帧数据的颜色直方图和视频解码数据的时间戳设置视频异态现象对应的分类阈值。静帧现象的分类阈值为连续的视频帧的颜色直方图完全相同，且连续时长超过设定的时间范围，本发明实施例中设置连续时长超过5秒判断为静帧。黑场现象的分类阈值为连续的视频帧的颜色直方图中只出现了黑色且连续时长超过设定的时间范围，本发明实施例中设置连续时长超过5秒判断为黑场。单色场现象的分类阈值为连续的视频帧的颜色直方图中只出现了黑色以外的其他任一颜色，且连续时长超过设定的时间范围，本发明实施例中设置连续时长超过5秒判断为单色场。彩场现象的分类阈值为连续的视频帧的颜色直方图中出现黑色、蓝色、红色、紫色、绿色、青色、黄色和白色八种颜色，八种颜色的分布均匀，任意两个颜色的比值接近或等于1:1，且连续时长超过设定的时间范围，本发明实施例中设置连续时长超过5秒判断为彩场。判断马赛克现象之前需要将视频帧切割成多个大小相同的方块，分别计算每个方块的颜色直方图，马赛克现象的分类阈值指视频帧切割后的方块中出现单色场现象，且出现单色场现象的方块占总方块数的30％及以上。

S33、按照异态现象分类选取音频异态现象下的音频解码数据，基于短时傅里叶变换函数计算每个音频帧的波形幅值，公式如下：

其中，X_k表示第k帧音频信号的波形幅值，ω(n)表示加窗截断后的信号，x_k(n)表示第k帧音频信号，N为音频信号帧长度，n＝1,2,…,N，j为虚数单位，设音频解码数据共有M个帧，k＝1,2,…,M。

S34、分析每个音频异态现象中所有音频帧的波形幅值，取一定时间内的波形幅值的平均值作为该音频异态现象对应的分类阈值，本发明中取30s内的波形幅值的平均值作为该音频异态现象对应的分类阈值。

具体的，静音现象对应的分类阈值为X_k＝0；左/右声道音量过高现象对应的分类阈值为单声道X_k≥90db、持续时间超过10秒，另一声道同一时间30db≤X_k≤70db；左/右声道音量过低现象对应的分类阈值为单声道X_k≤15db、持续时间超过10秒，另一声道同一时间30db≤X_k≤70db。

S35、根据S32和S34得到的分类阈值生成异态特征库，异态特征库中包括所有异态现象以及异态现象对应的分类阈值。

S4、根据取样参数利用程序进行视频流拉流、数据抓包和视频指标分析操作，获取互联网电视业务的实时视频流数据，并对实时视频流数据进行特征提取，即提取实时视频流数据中每个视频帧的颜色直方图和每个音频帧的波形幅值。

S5、基于监督式学习，根据异态特征库构建异态现象训练模型，给异态现象训练模型输入实时视频流数据的视频帧颜色直方图和音频帧波形幅值，异态现象训练模型输出该实时视频流数据对应的异态现象，当规定时间内异态现象累计次数超过门限值，产生异态告警，异态告警主要包括该实时视频流数据的视频源地址、数据上报地址、异态现象、异态现象出现的时间戳、异态现象累计次数等内容。规定时间的取值范围为0.5h～2h，门限值的取值范围为3～5，本发明实施例中，规定时间取1h，门限值取值为3，比如，1个小时内检测到某个视频流数据先后出现了2次静音现象和1次黑屏现象，因为累积出现了3次异态现象，所以生成异态告警，将出现异态现象的视频流数据的视频源地址、数据上报地址、异态现象(静音现象、黑屏现象)、异态现象累计次数(3次)、2次静音现象和1次黑屏现象分别出现的时间戳等内容报告给相关人员或显示在相关屏幕上。

本发明还提出了一种基于互联网电视业务的音视频异态检测系统，如图2所示，主要包括视频流采集模块1、视频分析模块2、异态特征分析模块3和异态现象检测模块4。

视频流采集模块一般选用具有视频流拉流、数据抓包和视频指标分析功能的软件程序，其主要用于根据取样参数采集历史视频流数据和实时视频流数据，取样参数包括视频源地址、取样频率和数据上报地址。

视频分析模块通过有线或无线网络获取视频流采集模块采集的历史视频流数据和实时视频流数据，对历史视频流数据和实时视频流数据进行解码、清洗和转换，并存储转换后的数据。

异态特征分析模块作用如下：1、根据实际异态信息为转换后的历史视频流数据进行异态分类；2、为转换后的历史视频流数据和实时视频流数据进行数据特征提取，提取视频帧的颜色直方图和音频帧的波形振幅；3、根据历史视频流数据的异态分类和特征生成异态特征库。

异态现象检测模块可以与异态特征分析模块进行交互式数据传输，将实时视频流数据的特征与异态特征库对比，检测实时视频流数据中的异态现象，并输出异态告警。异态告警包括该实时视频流数据的视频源地址、数据上报地址、异态现象、异态现象出现的时间戳、异态现象累计次数等内容。

本发明方法和系统是基于视频帧和音频帧为最小分析单位进行异态分析的，可以覆盖整个视频流内容的所有帧节的检测，与现有的协议特征分析方法相比检测信息量更全面，而且基于视频帧图像和音频帧音效的分析与用户观影中的所见所听感知一致，可以获得感官层面的异态故障现象，检测准确度更高。此外，本发明方法和系统只需要提取视频帧和音频帧的特征值再与特征库进行比对计算，与现有的图像对比分析方法相比，计算量较小，分析效率较高，对硬件设备的配置和软件的计算能力要求相对较低。本发明方法和系统通过异态特征库结合监督方式的机器学习，可以建立全面且准确的异态信息库，为互联网电视业务提供全面且准确的异态检测。

上面结合附图对本发明的实施方式作了详细地说明，但是本发明并不局限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (10)

1.一种基于互联网电视业务的音视频异态检测方法，其特征在于，包括以下步骤：

S1、根据设置的取样参数采集互联网电视业务的历史视频流数据；

S2、对历史视频流数据进行解码、清洗和转换，并对转换后的数据进行异态现象分类；

S3、依次提取每个异态现象类别中的数据的特征，得到异态特征库；

S4、获取互联网电视业务的实时视频流数据，并对实时视频流数据进行特征提取；

S5、基于监督式学习方法，利用异态特征库判断实时视频流数据的异态现象，并产生异态告警。

2.根据权利要求1所述的一种基于互联网电视业务的音视频异态检测方法，其特征在于，所述步骤S1的具体操作如下：

S11、自定义的设置视频流数据取样的取样参数，所述取样参数包括视频源地址、取样频率和数据上报地址；

S12、根据取样参数利用程序进行视频流拉流、数据抓包和视频指标分析，采集历史视频流数据。

3.根据权利要求1所述的一种基于互联网电视业务的音视频异态检测方法，其特征在于，所述步骤S2的具体操作如下：

S21、获取历史视频流数据中的视频数据和音频数据，解析视频数据的I帧、P帧和B帧数据，解析音频数据的波形、左右声道数据相位；

S22、对视频解码数据和音频解码数据进行重新审查和校验；

S23、将视频解码数据和音频解码数据转换为结构化数据；

S24、根据历史视频流数据异态信息对结构化的视频解码数据和音频解码数据进行异态现象分类。

4.根据权利要求3所述的一种基于互联网电视业务的音视频异态检测方法，其特征在于，所述异态现象包括视频异态现象和音频异态现象，所述视频异态现象包括静帧现象、黑场现象、单色场现象、彩场现象和马赛克现象，所述音频异态现象包括静音现象、左声道音量过高现象、左声道音量过低现象、右声道音量过高现象和右声道音量过低现象。

5.根据权利要求4所述的一种基于互联网电视业务的音视频异态检测方法，其特征在于，步骤S3的具体操作如下：

S31、选取视频异态现象下的视频解码数据，利用颜色直方图分析法计算每个视频帧数据的颜色直方图；

S32、根据视频帧数据的颜色直方图和视频解码数据的时间戳设置视频异态现象对应的分类阈值；

S33、选取音频异态现象下的音频解码数据，基于短时傅里叶变换函数计算每个音频帧的波形幅值，公式如下：

其中，X_k表示第k帧音频信号的波形幅值，ω(n)表示加窗截断后的信号，x_k(n)表示第k帧音频信号，N为音频信号帧长度，n＝1,2,…,N，j为虚数单位，设音频解码数据共有M个帧，k＝1,2,…,M；

S34、根据音频帧的波形幅值设置音频异态现象对应的分类阈值；

S35、根据S32和S34得到的分类阈值生成异态特征库。

6.根据权利要求1所述的一种基于互联网电视业务的音视频异态检测方法，其特征在于，所述对实时视频流数据进行特征提取，具体指提取实时视频流数据中每个视频帧的颜色直方图和每个音频帧的波形幅值。

7.根据权利要求1所述的一种基于互联网电视业务的音视频异态检测方法，其特征在于，所述步骤S5的具体操作如下：

基于监督式学习，根据异态特征库构建异态现象训练模型，给异态现象训练模型输入实时视频流数据的特征，异态现象训练模型输出该实时视频流数据对应的异态现象，当规定时间内异态现象累计次数超过门限值，产生异态告警，所述异态告警包括该实时视频流数据的视频源地址、数据上报地址、异态现象、异态现象出现的时间戳、异态现象累计次数。

8.一种基于互联网电视业务的音视频异态检测系统，其特征在于，包括视频流采集模块、视频分析模块、异态特征分析模块和异态现象检测模块；其中，

所述视频流采集模块，用于根据取样参数采集历史视频流数据和实时视频流数据；

所述视频分析模块，用于对历史视频流数据和实时视频流数据进行解码、清洗和转换，并存储转换后的数据；

所述异态特征分析模块，用于给转换后的数据进行分类，进行数据特征提取，生成异态特征库；

所述异态现象检测模块，用于将实时视频流数据的特征与异态特征库对比，检测实时视频流数据中的异态现象，并输出异态告警。

9.根据权利要求8所述的一种基于互联网电视业务的音视频异态检测系统，其特征在于，所述取样参数包括视频源地址、取样频率和数据上报地址。

10.根据权利要求8所述的一种基于互联网电视业务的音视频异态检测系统，其特征在于，所述异态告警包括该实时视频流数据的视频源地址、数据上报地址、异态现象、异态现象出现的时间戳、异态现象累计次数。

Images