CN114120197A - 2si模式传输的超高清视频异态信号检测方法 - Google Patents

Abstract

本发明公开了2SI模式传输的超高清视频异态信号检测方法，通过对输入的超高清视频进行一系列处理，得到各个子图像序列中的多种图像特征，对这些图像特征进行分析判断，判断出是否出现异态故障以及异态故障的种类。超高清视频转换成图像序列后，每帧图像按照2SI模式进行下采样，分为4幅子图像。提取子图像特征；分析比较子图像特征。该方法提高了检测的准确率，降低了检测的难度，便于相关工作人员及时发现异态故障并进行处理。

Description

2SI模式传输的超高清视频异态信号检测方法

技术领域

本发明涉及一种检测采用2SI模式传输的超高清视频中异态信号的方法，属于计算机视觉领域。

背景技术

超高清视频因其高清晰度、高帧率、高动态范围等因素，受到人们越来越多的青睐，但由此带来的高码率使其在某些情况下需要采用四路传输。目前通常采用的四路传输方式是2SI模式。2SI模式英文全称是2-SampleInterleave，将超高清图像每行每间隔2个像素下采样分成4个子图像，这4个子图像分别通过不同的通道传输，接收端接收以后再合并成原来的超高清图像。

2SI四路传输模式解决了单路传输对通道硬件性能要求高的问题，但同时又带来了新的问题。由于4路传输，如果某一路出现故障，出现如：黑场、彩条、雪花、静帧或其他不相关图像时，合成后的超高清画面会出现整体偏暗或者整体叠影，这些异态现象难以用常规的检测方法识别，从而影响超高清电视节目制作和播出的质量。

发明内容

本发明的主要目的是提供一种检测采用2SI模式传输的超高清视频中异态信号的方法，主要检测4路2SI信号传输时，某一路出现如：黑场、彩条、雪花、静帧或其他不相关图像时，合成后的超高清视频信号出现的异态现象。

本发明的具体创新点在于：采用了将合成后的超高清视频画面再重新按2SI模式进行下采样，分成4幅图像，然后再通过特征分析方法比较这4幅图像的差异，从而判断是否出现某路有故障，以及是哪种故障。

本发明的技术方案具体来说，主要包括如下技术内容：

1、2SI模式下采样：超高清视频转换成图像序列后，每帧图像按照2SI模式进行下采样，分为4幅子图像。

2、提取子图像特征：分别提取子图像的光流场运动矢量、灰度均值、灰度方差、交流AC能量、灰度直方图、色调直方图、直方图峰值个数、边缘信息等特征。

3、分析比较子图像特征：如果某子图像与其他三幅子图像都存在光流场的运动矢量，则可判断该子图像出现了异态故障；如果该子图像的灰度均值和方差均为0，直接判断为黑场故障；如果该子图像的交流AC能量超过某一阈值，则可判断为雪花故障；如果该子图像的灰度直方图有8个峰值、色调直方图有6个峰值，且经边缘化处理后得到7条贯穿画面的直线，则可判断为标准彩条故障；如果该子图像的ORB特征向量与其他三幅子图像的ORB特征向量匹配对数小于设置的阈值，则可判断为其他不相关图像，反之则可判断为静帧故障。

本发明的流程图如图1所示，实施流程如下：

步骤1、将超高清视频转换成图像序列，如果是压缩后的超高清视频需要利用FFmpeg命令行等方式解压后，再转换成图像序列。接着，分别对每帧图像的Y分量、U分量和V分量如图3所示按照2SI模式进行下采样，再按照YUV格式将下采样后的三个分量进行组合，从而得到4幅子图像。

步骤2、为了判断是否出现异态故障，利用光流法计算子图像之间的运动矢量。

光流场是一个二维矢量场，反映了图像上每一像素点灰度的变化趋势，可看成是带有灰度的像素点在图像平面上运动而产生的瞬时速度场。它包含的信息即是各像素点的瞬时运动速度矢量信息。基于光流场的运动矢量能够相当准确地说明图像上各个像素点的灰度变化情况。

设I(x,y,t)是图像点(x,y)在时刻t的亮度，u(x,y)和v(x,y)是该点光流的x方向和y方向上的分量，假定点在t+δt时运动到(x+δx,y+δy)时，亮度保持不变，即

I(x+uδt,y+vδt,t+δt)＝I(x,y,t) (1)

亮度随x、y、t光滑变化，将上式的左边用泰勒级数一阶展开：

其中，e是关于δx、δy、δt的二阶和二阶以上的项。上式两边的I(x,y,t)相互抵消，两边除以δt，并取极限δt→0，得到

亮度对空间的梯度I_x和I_y的物理意义是亮度在水平、竖直方向的变化率，两者组成了光流场的运动矢量。

因为子图像是由下采样得到的，所以子图像之间会存在着一定的灰度变化。在计算得到运动矢量后，可以设置一个阈值，若该像素点运动矢量的长度小于这一阈值时，则判断该像素点的灰度变化在容许的范围内，将该运动矢量筛选过滤掉。这样一来，当某两个子图像之间存在无法过滤的运动矢量，则可判断该路信号一定出现了故障，但此时还不能确定发生了哪一种故障。

步骤3、为了判断是否出现黑场故障，提取子图像的灰度均值、灰度方差特征。

针对黑场信号而言，其灰度像素值在整幅画面中全部为0。因此，用这一特性，根据下式计算子图像的灰度均值μ和灰度方差σ²。

其中，p_ij表示图像中第i行第j列的灰度值，M、N分别为图像的行数与列数。若某个子图像的灰度均值μ和灰度方差σ²均为0，则可直接判断该路信号出现了黑场故障。

步骤4、为了判断是否出现雪花故障，对子图像进行8×8块的二维离散余弦变换，计算其交流AC能量。

在图像处理中，二维离散余弦变换，即二维DCT变换，是将图像由空间域转换到频率域上，将包含着图像中平坦区域信息的低频分量集中在左上角，将包含着图像中纹理细节信息的高频分量集中在右下角，具有去相关的性质，其变换公式为：

其中，F(u,v)是变换系数，变量u和v分别表示图像在频率域中的水平空间频率和垂直空间频率，

是二维DCT变换的核函数。在实际操作中，往往使用8×8的二维DCT变换块，以降低计算难度和提高计算速度。

经过8×8的二维DCT变换后，每一个8×8的变换块都由64个系数构成，其中左上角的F(0,0)代表着该图像块的DC系数，其平方是直流DC能量，剩下的63个系数则是该图像块的AC系数，其平方的和是交流AC能量。交流AC能量反映了图像空间活动性程度，交流AC能量越大，图像的纹理细节越多。

针对雪花信号而言，其图像纹理细节十分丰富，并且灰度分布十分杂乱无章。在提取的图像特征中，其交流AC能量非常大。因此，可以设置交流AC能量的阈值，来判断该路信号出现了雪花故障。

步骤5、为了判断是否出现彩条故障，提取子图像的灰度直方图、色调直方图、直方图峰值个数、边缘信息等特征。

对子图像统计整幅图像中每一个灰度像素值出现的次数，得到灰度直方图，来提取图像的灰度分布特征。同理，为了获取图像中色调的分布特征，统计整幅图像中每一个色调值出现的次数，得到色调直方图。为了更好地衡量图像中灰度分布的特征，在灰度和色调直方图的基础上，对灰度和色调直方图的峰值进行统计，若某一个灰度或色调值出现的次数超过设置的阈值，则判断这个灰度或色调值是直方图中的一个峰值。

利用Sobel算子对子图像提取边缘特征，并利用霍夫变换提取直线特征。Sobel算子分别在x水平方向上和y垂直方向上求导并加权，从而得到图像的边缘特征，其在x方向和y方向上的算子表达式分别为：

与此同时，在边缘特征的基础上进行霍夫变换来检测直线特征。霍夫变化是将图像坐标空间中的像素点(x,y)转换到霍夫极坐标空间当中，通过式7计算在霍夫极坐标空间中的角度θ和距离r，一条直线上的所有像素点对应着许多个极坐标点(r,θ)。霍夫变换将极坐标空间划分为一个个网格，当网格中极坐标点的数量超过设置的阈值时，便认为这些点构成了一条直线。

r＝x cosθ+y sinθ (7)

针对标准彩条信号而言，其灰度均值、灰度方差和交流AC能量与普通正常画面相比都没有很大的区别，但标准彩条信号的色调分布和边缘信息拥有十分显著的特征。标准彩条信号由白、黄、青、绿、品、红、蓝、黑这8个颜色色条依次构成，在色调直方图上表现为有6个十分尖锐的峰值，在灰度直方图上表现为有8个十分尖锐的峰值，在边缘特征上表现为有7条从上至下贯穿画面的直线。若子图像同时满足以上三个条件，则能判断该路信号出现了标准彩条故障。

在某些情况中，如SMPTE彩条信号不是标准的彩条信号，但现有的彩条信号的画面上半部分仍然都是由几个基本颜色的色条依次构成，在下半部分才会各有变化。因此，在上述对整幅图像提取直方图特征和边缘直线特征的基础上，可以补充性地提取图像上半部分的直方图特征和边缘直线特征，并灵活地调整设置的灰度、色调直方图的峰值个数和边缘直线条数这些条件。

步骤6、为了判断是否出现静帧或其他不相关图像故障，提取子图像的ORB特征向量。

若以上特征均无法判断故障的种类，则已经排除了黑场、雪花和彩条故障，接下来进行ORB特征向量的比对。ORB特征检测算法，先利用FAST算法从图像中查找关键点，即拿一个点跟它周围的点比较，如果它和其中大部分的点都不一样就可以认为它是一个关键点。之后，采用BRIEF算法来计算关键点的特征向量，即在关键点的周围以一定模式选取多个点对，把这些点对的比较结果组合起来作为特征向量。最后，对每个关键点的特征向量进行比对，从而准确识别图像中的对象。

当子图像之间毫不相关，那么两者的特征向量也一定是完全不同的；当子图像之间存在延时静帧等故障，比如只是间隔了几帧，那么两张子图像的特征向量中会有相当一部分基本相同。当两幅图像之间ORB特征向量匹配的对数小于设置的阈值时，则可判断该路信号出现了不相关的图像，反之则可判断该路信号出现了静帧故障。

本发明具有如下优点：

本发明的具体创新点在于将超高清视频图像按2SI模式进行下采样，分成四个子图像再进行特征提取与比较，该方法简单实用。在具体判断是哪种故障现象时，根据每类故障导致的图像问题特点，提取图像中的相应特征，并分别对故障图像进行黑场、雪花、彩条、静帧或其他不相关内容信息的分析与判断。经过多组测试序列实验，本发明可以获取的异态信号检测正确率可达95％。

附图说明

图1为本发明具体流程图。

图2为异态信号检测方法的基本流程图。

图3为2SI模式进行下采样示意图。

具体实施方式

本发明的异态信号检测方法基本流程如图2所示，具体包括以下步骤：

1)将超高清视频转换成图像序列，如果是压缩后的超高清视频需要利用ffmpeg命令行等方式解压后，再转换成图像序列。接着，分别对每帧图像的Y分量、U分量和V分量如图3所示按照2SI模式进行下采样，再按照YUV格式将下采样后的三个分量进行组合，从而得到4幅子图像。

2)利用光流法计算子图像之间的运动矢量，若该像素点运动矢量的长度小于设置的阈值时，则判断该像素点的灰度变化在容许的范围内，不把该运动矢量包括在内。这样一来，当某两个子图像之间确实存在任一运动矢量，则可判断该路信号一定出现了故障，但此时还不能确定发生了哪一种故障。

3)对子图像P计算灰度均值μ和灰度方差σ²，若某个子图像的灰度均值μ和灰度方差σ²均为0，则可直接判断该路信号出现了黑场故障。

4)对子图像进行8×8块的二维DCT变换，并对每一个8×8的变换块计算除DC系数之外的63个系数的平方的和，得到交流AC能量。当交流AC能量超过设置的阈值时，则可判断该路信号出现了雪花故障。

5)对子图像进行灰度直方图和色调直方图的统计，并在两个直方图的基础上，计算其峰值的个数。若某一个灰度或色调值出现的次数超过设置的阈值，则判断该灰度或色调值是直方图的一个峰值。

利用Sobel算子分别在x水平方向上和y垂直方向上求导并加权，从而得到图像的边缘特征。与此同时，在边缘特征的基础上进行霍夫变换来检测直线特征。

若色调直方图上有6个峰值，在灰度直方图上有8个峰值，并且画面中有7条从上至下贯穿画面的直线，则能判断该路信号出现了标准彩条故障。

在实际使用中，可以根据具体的彩条信号，补充提取子图像上半部分的灰度、色调直方图峰值个数和边缘直线条数，灵活调整设置的比对条件，从而判断是否出现彩条信号故障。

6)调用ORB特征检测算法，从图像中查找关键点，计算每个关键点相应的特征向量，再进行特征向量的比对。当两幅图像之间ORB特征向量匹配的对数小于设置的阈值时，则可判断该路信号出现了不相关的图像，反之则可判断该路信号出现了静帧故障。

本方法采用了将合成后的超高清视频画面再重新按2SI模式进行下采样，分成4幅图像，然后再通过特征分析方法比较这4幅图像的差异，从而判断是否出现某路有故障，以及是哪种故障。

本发明的流程图如图1所示，实施流程如下：

步骤1、将超高清视频转换成图像序列，如果是压缩后的超高清视频需要利用ffmpeg命令行等方式解压后，再转换成图像序列。接着，分别对每帧图像的Y分量、U分量和V分量如图3所示按照2SI模式进行下采样，再按照YUV格式将下采样后的三个分量进行组合，从而得到4幅子图像。

步骤2、为了判断是否出现异态故障，利用光流法计算子图像之间的运动矢量。

光流场是一个二维矢量场，反映了图像上每一像素点灰度的变化趋势，可看成是带有灰度的像素点在图像平面上运动而产生的瞬时速度场。它包含的信息即是各像素点的瞬时运动速度矢量信息。基于光流场的运动矢量能够相当准确地说明图像上各个像素点的灰度变化情况。

设I(x,y,t)是图像点(x,y)在时刻t的亮度，u(x,y)和v(x,y)是该点光流的x和y分量，假定点在t+δt时运动到(x+δx,y+δy)时，亮度保持不变，即

I(x+uδt,y+vδt,t+δt)＝I(x,y,t) (1)

假设亮度随x、y、t光滑变化，将上式的左边用泰勒级数一阶展开：

其中，e是关于δx、δy、δt的二阶和二阶以上的项。上式两边的I(x,y,t)相互抵消，两边除以δt，并取极限δt→0，得到

亮度对空间的梯度I_x和I_y的物理意义是亮度在水平、竖直方向的变化率，两者组成了光流场的运动矢量。

因为子图像是由下采样得到的，所以子图像之间会存在着一定的灰度变化。在计算得到运动矢量后，可以设置一个阈值，若该像素点运动矢量的长度小于这一阈值时，则判断该像素点的灰度变化在容许的范围内，将该运动矢量筛选过滤掉。这样一来，当某两个子图像之间存在无法过滤的运动矢量，则可判断该路信号一定出现了故障，但此时还不能确定发生了哪一种故障。

步骤3、为了判断是否出现黑场故障，提取子图像的灰度均值、灰度方差特征并分析比较。

针对黑场信号而言，其灰度像素值在整幅画面中全部为0。因此，用这一特性，根据下式计算子图像的灰度均值μ和灰度方差σ²。

其中，p_ij表示图像中第i行第j列的灰度值，M、N分别为图像的行数与列数。若某个子图像的灰度均值μ和灰度方差σ²均为0，则可直接判断该路信号出现了黑场故障。

步骤4、为了判断是否出现雪花故障，对子图像进行8×8块的二维离散余弦变换，计算其交流AC能量。

在图像处理中，二维离散余弦变换，即二维DCT变换，是将图像由空间域转换到频率域上，将包含着图像中平坦区域信息的低频分量集中在左上角，将包含着图像中纹理细节信息的高频分量集中在右下角，具有去相关的性质，其变换公式为：

其中，F(u,v)是变换系数，变量u和v分别表示图像在频率域中的水平空间频率和垂直空间频率，

是二维DCT变换的核函数。在实际操作中，往往使用8×8的二维DCT变换块，以降低计算难度和提高计算速度。

经过8×8的二维DCT变换后，每一个8×8的变换块都由64个系数构成，其中左上角的F(0,0)代表着该图像块的DC系数，其平方是直流DC能量，剩下的63个系数则是该图像块的AC系数，其平方的和是交流AC能量。交流AC能量反映了图像空间活动性程度，交流AC能量越大，图像的纹理细节越多。

针对雪花信号而言，其图像纹理细节十分丰富，并且灰度分布十分杂乱无章。在提取的图像特征中，其交流AC能量非常大。因此，可以设置交流AC能量的阈值，来判断该路信号出现了雪花故障。

步骤5、为了判断是否出现彩条故障，提取子图像的灰度直方图、色调直方图、直方图峰值个数、边缘信息等特征。

对子图像统计整幅图像中每一个灰度像素值出现的次数，得到灰度直方图，来提取图像的灰度分布特征。同理，为了获取图像中色调的分布特征，统计整幅图像中每一个色调值出现的次数，得到色调直方图。为了更好地衡量图像中灰度分布的特征，在灰度和色调直方图的基础上，对灰度和色调直方图的峰值进行统计，若某一个灰度或色调值出现的次数超过设置的阈值，则判断这个灰度或色调值是直方图中的一个峰值。

利用Sobel算子对子图像提取边缘特征，并利用霍夫变换提取直线特征。Sobel算子分别在x水平方向上和y垂直方向上求导并加权，从而得到图像的边缘特征，其在x方向和y方向上的算子表达式分别为：

与此同时，在边缘特征的基础上进行霍夫变换来检测直线特征。霍夫变化是将图像坐标空间中的像素点(x,y)转换到霍夫极坐标空间当中，通过式7计算在霍夫极坐标空间中的角度θ和距离r，一条直线上的所有像素点对应着许多个极坐标点(r,θ)。霍夫变换将极坐标空间划分为一个个网格，当网格中极坐标点的数量超过设置的阈值时，便认为这些点构成了一条直线。

r＝x cosθ+y sinθ (7)

针对标准彩条信号而言，其灰度均值、灰度方差和交流AC能量与普通正常画面相比都没有很大的区别，但标准彩条信号的色调分布和边缘信息拥有十分显著的特征。标准彩条信号由白、黄、青、绿、品、红、蓝、黑这8个颜色色条依次构成，在色调直方图上表现为有6个十分尖锐的峰值，在灰度直方图上表现为有8个十分尖锐的峰值，在边缘特征上表现为有7条从上至下贯穿画面的直线。若子图像同时满足以上三个条件，则能判断该路信号出现了标准彩条故障。

在某些情况中，使用的彩条信号不是绝对标准的彩条信号，但现有的彩条信号的画面上半部分仍然都是由几个基本颜色的色条依次构成，在下半部分才会各有变化。因此，在上述对整幅图像提取直方图特征和边缘直线特征的基础上，可以补充性地提取图像上半部分的直方图特征和边缘直线特征，并灵活地调整设置的灰度、色调直方图的峰值个数和边缘直线条数这些条件。

步骤6、为了判断是否出现静帧或其他不相关图像故障，提取子图像的ORB特征向量。

若以上特征均无法判断故障的种类，则已经排除了黑场、雪花和彩条故障，接下来进行ORB特征向量的比对。ORB特征检测算法，先利用FAST算法从图像中查找关键点，即拿一个点跟它周围的点比较，如果它和其中大部分的点都不一样就可以认为它是一个关键点。之后，采用BRIEF算法来计算关键点的特征向量，即在关键点的周围以一定模式选取多个点对，把这些点对的比较结果组合起来作为特征向量。最后，对每个关键点的特征向量进行比对，从而准确识别图像中的对象。

当子图像之间毫不相关，那么两者的特征向量也一定是完全不同的；当子图像之间存在延时静帧等故障，比如只是间隔了几帧，那么两张子图像的特征向量中会有一部分基本相同。当两幅图像之间ORB特征向量匹配的对数小于设置的阈值时，则可判断该路信号出现了不相关的图像，反之则可判断该路信号出现了静帧故障。

如图2所示，本发明的具体实施过程如下：

1)将超高清视频转换成图像序列，如果是压缩后的超高清视频需要利用ffmpeg命令行等方式解压后，再转换成图像序列。接着，分别对每帧图像的Y分量、U分量和V分量如图3所示按照2SI模式进行下采样，再按照YUV格式将下采样后的三个分量进行组合，从而得到4幅子图像。

2)利用光流法计算子图像之间的运动矢量，若该像素点运动矢量的长度小于设置的阈值时，则判断该像素点的灰度变化在容许的范围内，不把该运动矢量包括在内。这样一来，当某两个子图像之间确实存在任一运动矢量，则可判断该路信号一定出现了故障，但此时还不能确定发生了哪一种故障。

3)对子图像P计算灰度均值μ和灰度方差σ²，若某个子图像的灰度均值μ和灰度方差σ²均为0，则可直接判断该路信号出现了黑场故障。

4)对子图像进行8×8块的二维DCT变换，并对每一个8×8的变换块计算除DC系数之外的63个系数的平方的和，得到交流AC能量。当交流AC能量超过设置的阈值时，则可判断该路信号出现了雪花故障。

5)对子图像进行灰度直方图和色调直方图的统计，并在两个直方图的基础上，计算其峰值的个数。若某一个灰度或色调值出现的次数超过设置的阈值，则判断该灰度或色调值是直方图的一个峰值。

利用Sobel算子分别在x水平方向上和y垂直方向上求导并加权，从而得到图像的边缘特征。与此同时，在边缘特征的基础上进行霍夫变换来检测直线特征。

若色调直方图上有6个峰值，在灰度直方图上有8个峰值，并且画面中有7条从上至下贯穿画面的直线，则能判断该路信号出现了标准彩条故障。

在实际使用中，可以根据具体的彩条信号，补充提取子图像上半部分的灰度、色调直方图峰值个数和边缘直线条数，灵活调整设置的比对条件，从而判断是否出现彩条信号故障。

6)调用ORB特征检测算法，从图像中查找关键点，计算每个关键点相应的特征向量，再进行特征向量的比对。当两幅图像之间ORB特征向量匹配的对数小于设置的阈值时，则可判断该路信号出现了不相关的图像，反之则可判断该路信号出现了静帧故障。

将输入的超高清视频根据2SI模式下采样，分为4幅子图像序列。具体包括以下步骤：

1)将超高清视频转换为图像序列，如果是压缩后的非YUV格式的超高清视频文件，则先利用ffmpeg命令行等方式对其解压缩，再将解压后YUV格式的超高清视频进行逐帧的分解，转换成图像序列。

2)分别对每帧图像的Y分量、U分量和V分量如图3所示按照2SI模式进行下采样。

3)按照YUV格式将下采样后的Y、U、V三个分量进行组合，从而得到4幅子图像。

为了判断是否出现雪花故障，对子图像进行8×8块的二维离散余弦变换，计算其交流AC能量。具体包括以下步骤：

1)将子图像分成若干个8×8的图像块，以方便之后8×8块的二维DCT变换。

2)二维DCT变换的计算公式如下：

其中，F(u,v)是变换系数，变量u和v分别表示图像在频率域中的水平空间频率和垂直空间频率，

是二维DCT变换的核函数。利用这一公式，对每一个8×8的图像块都进行二维DCT变换，得到若干个8×8的变换块。

3)每一个8×8的变换块包含64个系数，计算所有8×8的变换块中除左上角DC系数之外的63个系数的平方的和，得到子图像的交流AC能量。

4)将计算得到的交流AC能量与设置的阈值比较，若子图像的交流AC能量超过设置的阈值，则可判断该路信号出现了雪花故障。

为了判断是否出现彩条故障，提取子图像的灰度直方图、色调直方图、直方图峰值个数、边缘信息等特征。具体包括以下步骤：

1)对子图像进行灰度直方图和色调直方图的统计，并在两个直方图的基础上，计算其峰值的个数。若某一个灰度或色调值出现的次数超过设置的阈值，则判断该灰度或色调值是直方图的一个峰值。

2)根据下式所示的Sobel算子分别在x水平方向上和y垂直方向上求导并加权，从而得到图像的边缘特征：

与此同时，在边缘特征的基础上进行霍夫变换来检测直线特征，计算公式如下所示：

r＝x cosθ+y sinθ (10)

3)将提取得到的直方图峰值个数和边缘直线条数与设置的条件做比对。若色调直方图上有6个峰值，在灰度直方图上有8个峰值，并且画面中有7条从上至下贯穿画面的直线，则能判断该路信号出现了标准彩条故障。在实际使用中，可以根据具体的彩条信号，补充提取子图像上半部分的灰度、色调直方图峰值个数和边缘直线条数，灵活调整设置的比对条件，从而判断是否出现彩条信号故障。

Claims (4)

1.2SI模式传输的超高清视频异态信号检测方法，其特征在于：该方法包括如下步骤，

步骤1、将超高清视频转换成图像序列，对每帧图像的Y分量、U分量和V分量，按照2SI模式进行下采样，再按照YUV格式将下采样后的三个分量进行组合，得到4幅子图像；

步骤2、利用光流法计算子图像之间的运动矢量判断是否出现异态故障；

光流场是一个二维矢量场，反映图像上每一像素点灰度的变化趋势，看成是带有灰度的像素点在图像平面上运动而产生的瞬时速度场；

设I(x,y,t)是图像点(x,y)在时刻t的亮度，u(x,y)和v(x,y)是该图像点光流的x和y分量，图像点在t+δt时运动到(x+δx,y+δy)时，亮度保持不变，即

I(x+uδt,y+vδt,t+δt)＝I(x,y,t) (1)

亮度随x、y、t光滑变化，将式(1)的左边用泰勒级数一阶展开：

其中，e是关于δx、δy、δt的二阶和二阶以上的项；上式两边的I(x,y,t)相互抵消，两边除以δt，并取极限δt→0，得到

亮度对空间的梯度I_x和I_y的物理意义是亮度在水平、竖直方向的变化率，两者组成光流场的运动矢量；

步骤3、提取子图像的灰度均值、灰度方差特征并分析比较以判断是否出现黑场故障；

黑场信号灰度像素值在整幅画面中全部为0；根据下式计算子图像的灰度均值μ和灰度方差σ²；

其中，p_ij表示图像中第i行第j列的灰度值，M、N分别为图像的行数与列数；若某个子图像的灰度均值μ和灰度方差σ²均为0，则直接判断信号出现了黑场故障；

步骤4、对子图像进行8×8块的二维离散余弦变换，计算其交流AC能量以判断是否出现雪花故障；

在图像处理中，二维离散余弦变换，即二维DCT变换，是将图像由空间域转换到频率域上，将包含着图像中平坦区域信息的低频分量集中在左上角，将包含着图像中纹理细节信息的高频分量集中在右下角，变换公式为：

其中，F(u,v)是变换系数，变量u和v分别表示图像在频率域中的水平空间频率和垂直空间频率，

是二维DCT变换的核函数；使用8×8的二维DCT变换块；

经过8×8的二维DCT变换后，每一个8×8的变换块都由64个系数构成，其中左上角的F(0,0)代表着图像块的DC系数，其平方是直流DC能量，剩下的63个系数则是该图像块的AC系数，平方的和是交流AC能量；交流AC能量反映了图像空间活动性程度，交流AC能量越大，图像的纹理细节越多；设置交流AC能量的阈值，来判断信号出现雪花故障；

步骤5、提取子图像的灰度直方图、色调直方图、直方图峰值个数、边缘信息特征以判断是否出现彩条故障；

在灰度和色调直方图的基础上，对灰度和色调直方图的峰值进行统计，若某一个灰度或色调值出现的次数超过设置的阈值，则判断这个灰度或色调值是直方图中的一个峰值；

利用Sobel算子对子图像提取边缘特征，并利用霍夫变换提取直线特征；Sobel算子分别在x水平方向上和y垂直方向上求导并加权，从而得到图像的边缘特征，其在x方向和y方向上的算子表达式分别为：

在边缘特征的基础上进行霍夫变换来检测直线特征；霍夫变化是将图像坐标空间中的像素点(x,y)转换到霍夫极坐标空间当中，通过式(7)计算在霍夫极坐标空间中的角度θ和距离r，一条直线上的所有像素点对应着许多个极坐标点(r,θ)；霍夫变换将极坐标空间划分为一个个网格，当网格中极坐标点的数量超过设置的阈值时，便认为这些点构成了一条直线；

r＝x cosθ+y sinθ (7)

标准彩条信号由白、黄、青、绿、品、红、蓝、黑这8个颜色色条依次构成，若在色调直方图上表现为有6个十分尖锐的峰值，在灰度直方图上表现为有8个十分尖锐的峰值，在边缘特征上表现为有7条从上至下贯穿画面的直线，则能判断该路信号出现了标准彩条故障；

步骤6、提取子图像的ORB特征向量以判断是否出现静帧或其他不相关图像故障；

利用FAST算法从图像中查找关键点，即拿一个点跟它周围的点比较，如果它和其中大部分的点都不一样就认为它是一个关键点；之后，采用BRIEF算法来计算关键点的特征向量，即在关键点的周围以一定模式选取多个点对，把这些点对的比较结果组合起来作为特征向量；最后，对每个关键点的特征向量进行比对，从而准确识别图像中的对象；

当子图像之间毫不相关，那么两者的特征向量也一定是完全不同的；当子图像之间存在延时静帧故障，那么两张子图像的特征向量中会有一部分基本相同；当两幅图像之间ORB特征向量匹配的对数小于设置的阈值时，则判断信号出现了不相关的图像，反之则判断信号出现了静帧故障。

2.根据权利要求1所述的2SI模式传输的超高清视频异态信号检测方法，其特征在于：将输入的超高清视频根据2SI模式下采样，分为4幅子图像序列；具体包括以下步骤：

1)将超高清视频转换为图像序列，如果是压缩后的非YUV格式的超高清视频文件，则先利用ffmpeg命令行等方式对其解压缩，再将解压后YUV格式的超高清视频进行逐帧的分解，转换成图像序列；

2)分别对每帧图像的Y分量、U分量和V分量如图3所示按照2SI模式进行下采样；

3)按照YUV格式将下采样后的Y、U、V三个分量进行组合，从而得到4幅子图像。

3.根据权利要求1所述的2SI模式传输的超高清视频异态信号检测方法，其特征在于：为了判断是否出现雪花故障，对子图像进行8×8块的二维离散余弦变换，计算其交流AC能量；具体包括以下步骤：

1)将子图像分成若干个8×8的图像块，以方便之后8×8块的二维DCT变换；

2)二维DCT变换的计算公式如下：

其中，F(u,v)是变换系数，变量u和v分别表示图像在频率域中的水平空间频率和垂直空间频率，

是二维DCT变换的核函数；利用这一公式，对每一个8×8的图像块都进行二维DCT变换，得到若干个8×8的变换块；

3)每一个8×8的变换块包含64个系数，计算所有8×8的变换块中除左上角DC系数之外的63个系数的平方的和，得到子图像的交流AC能量；

4)将计算得到的交流AC能量与设置的阈值比较，若子图像的交流AC能量超过设置的阈值，则可判断该路信号出现了雪花故障。

4.根据权利要求1所述的2SI模式传输的超高清视频异态信号检测方法，其特征在于：为了判断是否出现彩条故障，提取子图像的灰度直方图、色调直方图、直方图峰值个数、边缘信息特征；具体包括以下步骤：

1)对子图像进行灰度直方图和色调直方图的统计，并在两个直方图的基础上，计算其峰值的个数；若某一个灰度或色调值出现的次数超过设置的阈值，则判断该灰度或色调值是直方图的一个峰值；

2)根据下式所示的Sobel算子分别在x水平方向上和y垂直方向上求导并加权，从而得到图像的边缘特征：

与此同时，在边缘特征的基础上进行霍夫变换来检测直线特征，计算公式如下所示：

r＝x cosθ+y sinθ (10)

3)将提取得到的直方图峰值个数和边缘直线条数与设置的条件做比对；若色调直方图上有6个峰值，在灰度直方图上有8个峰值，并且画面中有7条从上至下贯穿画面的直线，则能判断信号出现标准彩条故障；根据具体的彩条信号，补充提取子图像上半部分的灰度、色调直方图峰值个数和边缘直线条数，调整设置的比对条件，从而判断是否出现彩条信号故障。

Images