CN104469345B - 一种基于图像处理的视频故障诊断方法 - Google Patents

Abstract

本发明公开了一种基于图像处理的视频故障诊断方法，其中提供了一种视频模糊的判断方法，不但提高了计算速度，同时能够提高检测成功率；本发明还能够对视频模糊、偏色、冻结、丢失、噪声、条纹、抖动、遮挡等故障的进行实时判定,其中判定图像模糊的方法是在图像的某一范围内的局部极大值点处寻找模糊带的宽度，并对所有符合要求的模糊带进行均值化处理；相比之前的方法，本文提出的方法能更好的描述图像中的模糊程度。

Description

一种基于图像处理的视频故障诊断方法

技术领域

本发明涉及图像处理技术，尤其涉及一种基于图像处理的视频故障诊断方法。

背景技术

目前我国各行业各种规模大小的视频监控系统已非常普遍，视频监控领域在最近几年更是加速发展；但随着监控摄像机数量的不断增加，监控的时间不断延长，采用传统监控方式不仅消耗大量人力资源，而且很难做到24小时在线实时监控；因此自动地对视频进行智能化故障诊断成为安防系统的必然要求。视频故障一般包括视频模糊、视频偏色、视频冻结、视频丢失、视频噪声、视频条纹、视频抖动和视频遮挡；其中，现有的视频模糊的判断方法主要采用空域和频域两种方式，频域方法是通过傅里叶变换将图像映射到频域，之后根据频域的能量来判断整幅图像的模糊情况；基于空域的判断方法主要是在图像某一些边缘点的邻域内判断模糊带的宽度，进而判断模糊度。该方法的计算量较大，实时性差。

发明内容

有鉴于此，本发明提供了一种基于图像处理的视频故障诊断方法，其中提供了一种视频模糊的判断方法，不但提高了计算速度，同时能够提高检测成功率；本发明还能够对视频模糊、偏色、冻结、丢失、噪声、条纹、抖动、遮挡等故障的进行实时判定。

为了解决上述技术问题，本发明是这样实现的：

本发明的一种基于图像处理的视频故障诊断方法，包括如下步骤：

步骤一、获取当前帧图像并进行预处理；

步骤二、分别判断当前帧图像是否出现如下故障类型：视频模糊、视频偏色、视频冻结、视频丢失、视频噪声、视频条纹、视频抖动和视频遮挡；其中，对于视频模糊故障的判断方法如下：

S11.先对图像进行尺寸的归一化与灰度化；然后获得前一帧图像与当前帧图像的帧差图像；最后获得所述帧差图像的边缘检测图像；

获得边缘检测图像中局部极大值点，具体方法如下：

以当前像素点g_c为中心，如果当前像素点g_c的灰度值大于其周围的24个像素点的灰度值大小，则该点为局部极大值点；遍历边缘检测图像中所有像素点，统计局部极大值点的数量；

S12.如果局部极大值点的数量小于整幅图像像素点总数的0.5‰，则认为图像不模糊；否则，执行步骤S13；

S13.针对每一个局部极大值点，令(x,y)表示其在图像坐标系中坐标，令其沿x方向和y方向的边缘检测分别表示为f_x和f_y；其中，图像坐标系的定义为：以图像左上角顶点为原点O，图像上边缘所在直线为x轴，指向右；图像左侧边缘所在直线为y轴，指向下；

S14.根据公式和在图像中分别找到搜索半径r＝1,2,3,...,9对应的18个像素点，作为当前局部极大值点(x,y)的模糊宽度的搜索像素点范围；

其中， $\cos a=\frac{f_x}{\sqrt{{f_x}^2+{f_y}^2}},\sin a=\frac{f_y}{\sqrt{{f_x}^2+{f_y}^2}};$

S15.在模糊宽度的搜索像素点范围内，将当前局部极值点与其x坐标左侧的像素点依次进行比较，当找到第一个像素值大于该当前局部极值点的像素点时，则该像素点的位置为左搜索半径；如果找不到大于该当前局部极值点的像素点，则模糊宽度的搜索范围的左边界为左搜索半径；

在模糊宽度的搜索像素点范围内，将当前局部极值点与其x坐标右侧的像素点依次进行比较，当找到第一个像素值小于该当前局部极值点的像素点时，则该像素点为右搜索半径；如果找不到小于该当前局部极值点的像素点，则模糊宽度的搜索范围的右边界为右搜索半径；则该局部极值点的模糊带宽度为左搜索半径与右搜索半径确定的宽度；

S16.将所有局部极大值点的模糊带宽度求和，记为BrWidth，得到模糊度：

如果模糊度大于50，则判定当前帧视频存在模糊；否则，当前帧图像不存在模糊；

步骤三、故障综合判断与记录；

针对当前帧图像出现的每一种故障，判断当前帧图像及其前两帧图像是否出现相同的故障，如果是，则判定当前帧图像出现该故障；如果否，则判定当前帧图像未出现该故障；记录该故障出现的时间。

较佳的，所述步骤一中图像灰度化的方法如下：

将当前帧图像按照RGB三原色拆分为三个图像通道；

则位置(i,j)处的像素点灰度值表示为：f(i,j)＝f_r(i,j)*0.3+f_g(i,j)*0.59+f_b(i,j)*0.11

其中，f_r(i,j)、f_g(i,j)和f_b(i,j)分别表示三通道图像中位置(i,j)处像素点红、绿、蓝三个颜色通道分量值；

所述步骤一中获得帧差图像的方法是将连续两帧图像之间对应像素点的灰度值求差值的绝对值；

所述步骤一中的边缘检测的方法如下：

针对位置(i,j)处的像素点，其沿x方向的边缘检测值为：

f_x＝f(i-1，j+1)+2f(i，j+1)+f(i+1，j+1)；

-f(i-1，j-1)-2f(i，j-1)-f(i+1，j-1)

其中f(a,b)表示位置(a,b)处的像素点灰度值；

针对位置(i,j)处的像素点，其沿y方向的边缘检测值为：

f_y＝f(i+1,j-1)+2f(i+1,j)+f(i+1,j+1)；

-f(i-1,j-1)-2f(i-1,j)-f(i-1,j+1)

则位置(i,j)处像素点的边缘检测值为：

f_sobel＝|f_x|+|f_y|。

较佳的，所述步骤二中视频偏色的判断方法如下：

S21.统计当前帧图像中像素点灰度值在25至240范围内的像素点，并分别计算这些像素点在RGB三通道上的均值RAvg、GAvg和BAvg；

S22.采用余弦函数分别计算三通道颜色的比重： 和选择出比重最大的颜色，作为当前帧图像的近色；

S23.分别计算偏色角和偏色度：

S24.如果偏色度大于50，则当前帧视频存在偏色，偏向的颜色为步骤S22确定的近色；如果偏色度小于或等于50，则当前帧图像不存在偏色。

较佳的，所述步骤二中视频噪声的判断方法如下：

S31.获得当前帧图像和上一帧图像对应的边缘检测图的二值化图像，然后采用八连通区域方法去除当前帧图像和上一帧图像的边缘检测二值图像中的零散小区域；

S32.针对每个像素点，如果该像素点邻域内的8个像素点在去除零散小区域的上一帧图像和去除零散小区域的当前帧图像中均不为零，则该像素点为噪声点；

S33.计算噪声点的噪声值：

f_n＝|4f(i,j)+f(i-2,j-2)-2f(i-2,j)+f(i-2,j+2)；

-2f(i,j-2)-2f(i,j+2)+f(i+2,j-2)-2f(i+2,j)+f(i+2,j-2)|

其中f_n表示的是当前噪声点的噪声值；f(a,b)表示位置为(a,b)处的噪声点的像素灰度值；

S34.根据步骤S32的方法统计整幅图像的噪声点数量；并根据噪声点的数量和对应的噪声值计算噪声点的平均噪声值Avg；

S35.如果整幅图像的噪声点数小于100，则无噪声；

如果噪声点数量大于或等于100，再判断噪声度：如果噪声度大于50，则当前帧视频存在噪声，否则不存在噪声；其中，噪声度的定义如下：

较佳的，所述步骤一中的二值化方法如下：

计算所述边缘检测图像中像素边缘检测值的均值sobel_avg1和方差sobel_sdv：

对边缘检测图像边缘检测值的均值进行修正：

Sobel_avg＝Sobel_avg1×0.95+Sobel_sdv×0.05

确定二值化阈值Th： $\mathrm{Th}=\left\{\begin{array}{cc}90;& {\mathrm{Sobel}}_{\mathrm{avg}}\&GreaterEqual;90\\ {\mathrm{Sobel}}_{\mathrm{avg}};& {\mathrm{Sobel}}_{\mathrm{avg}}<90\end{array}\right.;$

如果边缘检测图像中的像素值大于二值化阈值Th，则该像素值为255，否则该像素值为0。

较佳的，所述步骤二中视频丢失的判断方法如下：

S41.在当前的帧差图像中统计像素值大于3的像素点数量，记为DiffCnt；

S42.在边缘检测图中统计像素值大于15的像素点数量，记为SobelCnt；

S43.如果数量DiffCnt占整幅图像总像素点个数的1‰以下，并且数量SobelCnt占整幅图像总像素点个数的3.3‰以下，则判定当前帧视频丢失；否则，当前视频不丢失。

较佳的，所述步骤二中视频冻结的判断方法如下：

统计帧差图像中像素值大于3的像素点数量，如果该像素点数量占整幅图像总像素点数的1‰以下，则判定为视频冻结。

较佳的，所述步骤二中视频条纹的判断方法如下：

S61.用八连通区域方法去除帧差图像中的零散小区域，得到帧差图像C；

S62.用HOUGH检测直线方法检测帧差图像C中的直线的数量，记为LineNum；

S63.在帧差图像C中寻找一组平行线，使其在帧差图像C中存在的概率最大；

S64.计算所述存在概率最大的平行直线组中所有线段的长度，记为LineLength；根据存在概率最大的平行直线组中的线段长度与直线数量确定条纹度：

S65.如果条纹度大于50，则认为当前帧图像存在条纹，否则不存在条纹。

较佳的，所述步骤二中视频抖动的判断方法如下：

S71.判断当前帧图像是否被判定为噪声故障，如果是，则不进行抖动故障的判定；如果否，继续执行步骤2；

S72.统计当前帧图像对应的边缘检测二值图像中非零像素数，记为mCnt，前一帧图像对应的边缘检测二值图像的非零像素数，记为nCnt，比较mCnt和nCnt的大小，将较大的数记为MaxBCnt，较小的数记为MinBCnt；

S73.判断帧差图像对应的边缘检测图像中各像素的边缘检测值，如果边缘检测值的绝对值小于12，则匹配点数累积1次，遍历所有的像素，得到匹配点总数；

S74.判断MinBCnt的值是否达到匹配点总数的四分之一，如果没有达到，则判定当前帧视频抖动；如果达到了，则判定当前视频未发生抖动故障。

较佳的，所述步骤二中视频遮挡的判断方法如下：

S81.从当前帧图像上边缘开始，截取掉当前帧图像的十分之一，得到的图像定义为图像JT；

S82.利用积分图像和快速Hessian矩阵计算图像JT的关键点，并统计其数量；

S83.判断关键点数量是否大于1200：如果大于，则采用等间隔距离选取的方法选择出1200个关键点，其他关键点剔除，然后执行S84；

如果不大于，执行S84；

S84.将图像JT均匀分成四个区域；

S85.确定各个关键点在当前帧图像中的区域位置；

S86.如果关键点总数KeyPt小于50或者任意两个区域关键点之和小于20,判定当前帧图像存在遮挡；否则，判定当前帧图像不存在遮挡。

本发明具有如下有益效果：

(1)本发明中判定图像模糊的方法是在图像的某一范围内的局部极大值点处寻找模糊带的宽度，并对所有符合要求的模糊带进行均值化处理；相比之前的方法，本文提出的方法能更好的描述图像中的模糊程度。

(2)本发明还能够对视频模糊、偏色、冻结、丢失、噪声、条纹、抖动、遮挡等故障的进行实时判定。

附图说明

图1为本发明的方法流程图。

图2为本发明的故障诊断结果图。

图3为本发明的故障查询结果图。

具体实施方式

下面结合附图并举实施例，对本发明进行详细描述。

本发明的一种基于图像处理的视频故障诊断方法，包括：

步骤一、获取当前帧视频并进行预处理；

步骤二、根据当前帧与上一帧视频判断该帧视频故障类型；

步骤三、故障综合判断与记录。

其中，步骤一，获取当前帧视频并进行预处理，具体包括：

S11、图像大小归一化与灰度化；

首先，图像大小归一化是将每一帧读入的视频转化为大小为m×n的图像，本实施例中，m×n＝352*288(固定大小)大小；然后，分离RGB颜色通道，将一帧图像按照RGB三原色拆分为三个图像通道；最后，图像灰度化是将一帧彩色图像转化为灰度图像，灰度图像是在RGB三通道图像基础上转化而来，转化公式为：

f_gray(i,j)＝f_r(i,j)*0.3+f_g(i,j)*0.59+f_b(i,j)*0.11

其中f_gray(i,j)表示当前像素的灰度值，f_r(i,j)、f_g(i,j)、f_b(i,j)分别表示当前像素在三通道图像中对应位置红、绿、蓝三个颜色通道分量值。

S12、获得帧差图像；

帧差图像是连续两帧图像之间对应像素点的差值的绝对值，计算公式如下；

f_diff(i,j)＝|f_cur(i,j)-f_pre(i,j)|

其中f_diff(i,j)表示帧差图像某一位置对应的像素值；f_cur(i,j)表示当前帧图像在该位置的灰度值；f_pre(i,j)表示上一帧图像在该位置的灰度值。

S13、获得边缘检测图像与边缘二值图像。

边缘检测分为沿图像像素坐标系的x方向和y方向的边缘图以及总的边缘图。其中x方向边缘检测是边缘检测算子与灰度图像的卷积结果，对于每一像素点的计算公式为：

f_x＝f(i-1，j+1)+2f(i，j+1)+f(i+1，j+1)；

-f(i-1，j-1)-2f(i，j-1)-f(i+1，j-1)

其中，其中f(a,b)表示位置(a,b)处的像素点灰度值；f(i,j)表示当前位置像素值，f(i-1,j-1)表示当前像素点左上位置的像素值；

y方向边缘检测算子与灰度图像的卷积结果，每个像素点的计算公式：

f_y＝f(i+1,j-1)+2f(i+1,j)+f(i+1,j+1)；

-f(i-1,j-1)-2f(i-1,j)-f(i-1,j+1)

边缘检测图是将x方向与y方向的边缘检测算子结果进行结合的结果，对于每个像素点的计算结果如下：

f_sobel＝|f_x|+|f_y|；

边缘二值图是将边缘检测图像转化为二值图像(像素值只包含0和255)，如果边缘检测图中的像素值大于阈值则该像素是255，否则该像素为0。本方法采用自适应阈值的方法对边缘检测图进行二值化。阈值(Th)的确定过程如下：

计算边缘检测图中像素的均值和方差，计算公式如下：

${\mathrm{Sobel}}_{\mathrm{avg}1}=\frac{{\mathrm{\&Sigma;}}_{i=1}^m{\mathrm{\&Sigma;}}_{j=1}^n{f}_{\mathrm{sobel}}}{m\&times;n}$

${\mathrm{Sobel}}_{\mathrm{sdv}}=\sqrt{\frac{{\mathrm{\&Sigma;}}_{i=1}^m{\mathrm{\&Sigma;}}_{j=1}^n{(f_{\mathrm{sobel}}-{\mathrm{Sobel}}_{\mathrm{avg}1})}^2}{m\&times;n}}$

对边缘检测图像的均值进行修正：

Sobel_avg＝Sobel_avg1×0.95+Sobel_sdv×0.05

确定二值化阈值：

$\mathrm{Th}=\left\{\begin{array}{cc}90;& {\mathrm{Sobel}}_{\mathrm{avg}}\&GreaterEqual;90\\ {\mathrm{Sobel}}_{\mathrm{avg}};& {\mathrm{Sobel}}_{\mathrm{avg}}<90\end{array}\right.$

步骤二、根据当前帧与上一帧视频判断该帧视频故障类型，其中，视频故障类型包括视频模糊、偏色、冻结、丢失、噪声、条纹、抖动、遮挡：

S21、视频模糊的判断方法为：首先在边缘检测图像中寻找局部极大值点；其次沿着梯度方向在最大搜索半径内计算每个极大值点的模糊带宽度；之后计算所有模糊带的宽度总和与每一个极大值点的平均模糊度带宽；最后根据平均模糊带宽度判断视频是否模糊。

视频模糊会在边界处会形成模糊带，本方法就是根据这一个特点，计算一帧图像中模糊带的宽度进而确定视频是否存在模糊；判断视频模糊的具体步骤如下：

1.求边缘检测图像中像素局部极大值点，确定极大值点的方法如下：

以当前像素g_c为中心，如果g_c＞g_i,其中g_i表示以g_c为中心的24个像素点；i＝1...24；则该点为极大值点，统计图像中极大值点的数量记为LMaxPt。

2.如果局部极大值点的数量小于整幅图像的0.5‰，也就是满足式：LMaxPt＜m×n/2000，则认为图像不模糊；返回模糊度为0；

3.否则计算图像的模糊度，计算方法为：对每个局部极大值计算模糊带宽度，假设某一局部极大值位置的(x，y)，沿x方向和y方向的边缘检测分别为f_x，f_y，；

4.当前局部极大值点为(x，y)；根据如下公式：

在图像中分别找到对应搜索半径r＝1,2,3,...,9的像素点，作为当前局部极大值点(x,y)的模糊宽度的搜索像素点范围；

其中， $\cos a=\frac{f_x}{\sqrt{{f_x}^2+{f_y}^2}},\sin a=\frac{f_y}{\sqrt{{f_x}^2+{f_y}^2}};$

5.因模糊带的特点是在左方向像素呈现递减趋势，在右方向是呈现像素逐渐增大趋势，因此本例首先寻找递减趋势的左边界；按照搜索范围公式向左选择像素点(x1，y1)；如果f(x1，y1)＜f(x，y)；则增大搜索半径，继续沿像素减小方向搜索，并重复执行上一步；如果f(x1，y1)＞f(x，y)；则停止搜索，此时找到像素减小的边界，或者达到最大搜索半径MaxR；记录此时的左搜索半径LeftR；

6.同理找到向右搜索半径RightR；

7.定义该局部值点的模糊带宽度为左右搜索半径的宽度，表示如下：Width＝LeftR+RightR；

8.将所有局部极大值点的模糊带宽度求和BrWidth；如果模糊度大于50，则当前帧视频存在模糊。模糊度定义如下：

图2显示为模糊度为45，因此判断当前视频不存在模糊。

S22、偏色的检测方法为：统计当前帧图像中RGB分量均值；计算图像的偏色度和偏色角，视频偏色由偏色度和偏色角综合进行评价。

视频存在偏色的主要特点是某一颜色的均值远大于其他颜色的均值；判断视频偏色(S22)的具体步骤如下：

1.为克服噪声像素点的干扰；统计像素点灰度值在25-240范围内的像素点在RGB三通道上的均值RAvg、GAvg、BAvg

2.利用余弦函数逐一计算各颜色的比重；若某一颜色分量的余弦值较小，则说明该颜色分量在图像中占据比重较大；计算公式如下：

$\min (\cos \frac{\mathrm{RAvg}}{\sqrt{{\mathrm{RAvg}}^2+{\mathrm{GAvg}}^2+{\mathrm{BAvg}}^2}},\cos \frac{\mathrm{GAvg}}{\sqrt{{\mathrm{RAvg}}^2+{\mathrm{GAvg}}^2+{\mathrm{BAvg}}^2}},$ $\cos \frac{\mathrm{BAvg}}{\sqrt{{\mathrm{RAvg}}^2+{\mathrm{GAvg}}^2+{\mathrm{BAvg}}^2}});$

如图2中计算结果为近色为黄色；

3.偏色只是确定了图像整体偏向什么颜色；而偏色程度则是根据偏色角来定义；偏色度和偏色角的计算公式如下：

$\mathrm{Angle}=a\cos \frac{\sqrt{3}(\mathrm{RAvg}+\mathrm{GAvg}+\mathrm{BAvg})}{3\sqrt{{\mathrm{RAvg}}^2+{\mathrm{GAvg}}^2+{\mathrm{BAvg}}^2}};$

如图2中偏色度为99；

4.如果偏色度大于50，则当前帧视频存在偏色，偏向的颜色为之前确定的近色。图2显示的为视频偏色，偏向的黄色。

S23、冻结的判断方法为：首先统计帧差图像中有用像素点的数量，其次根据该数量判断视频是否进入冻结状态。

视频冻结是视频内容不再变化，也就意味着当前帧与上一帧图像变化较小；根据该特点，判断视频冻结的具体步骤如下：

1.逐一判断帧差图像中每个像素是否大于3，如果大于3，则统计的数量DiffCnt加一，DiffCnt的数量代表这连续两帧图像变化情况，DiffCnt越大说明两帧之间的图像差异越大，视频内容有变化；

2.经过大量实验确定，如果帧差图像中像素大于3的数量占整幅图像的1‰以下，也就是满足条件DiffCnt<m*n/1000，则当前帧视频进入冻结状态。

S24、视频丢失的检测方法为：计算帧差图像与边缘检测图像中有用像素点的数量，判断这两个量在图像中占据比重，根据占据比重确定当前帧视频是否进入丢失状态。

视频丢失可以通过帧差图像与边缘检测图像中包含有用信息的像素点来衡量；在本实施例中，判断视频丢失的具体步骤如下：

1.在帧差图像中统计像素大于3的数量DiffCnt；

2.在边缘检测图中统计像素大于15的数量，并记为SobelCnt

3.如果帧差图中像素大于3的数量和边缘图中像素大于15的数量分别占整幅图像的1‰和3.3‰以下；即满足如下条件：

DiffCnt<m*n/1000同时SobelCnt<m*n/300，则当前帧视频丢失。

S25、噪声的检测方法为：首先采用八连通方式去除当前帧和上一帧图像中的零散小区域；之后遍历当前帧图像，得到噪声点的数量以及每个点的平均噪声程度；最后根据噪声点的数量及平均噪声度确定当前帧视频是否有噪声。

噪声点在图像中是一些相对孤立的像素点，与其周围像素点在像素上存在较大差异，通过噪声点数量以及噪声程度可以判断视频中是否有噪声。在本实施例中，判断视频噪声的具体步骤如下：

1.为克服零散像素点对噪声点判断的影响；本方法首先采用八连通区域的方法去除当前帧和上一帧边缘检测二值图像中的零散小区域；

2.确定一点(g_c)是否为噪声点，如果该点邻域内的8个像素点在连续两帧视频中都不为零，则该点是噪声点；其判断公式如下：g_prei&&g_curi≠0；i＝...8；该点是非噪声点，否则是噪声点；其中：g_prei表示前一帧以g_c为中心的周围八个像素点灰度值，g_curi表示当前一帧以g_c为中心的八个像素点的灰度值；

3.对于是噪声的点，计算该点的噪声值；确定方法为：用如下噪声模板在帧差图中进行卷积，

$\left[\begin{array}{ccccc}1& 0& -2& 0& 1\\ 0& 0& 0& 0& 0\\ -2& 0& 4& 0& -2\\ 0& 0& 0& 0& 0\\ 1& 0& -2& 0& 1\end{array}\right]$

其中卷积的计算公式可表示为：

f_n＝|4f(i,j)+f(i-2,j-2)-2f(i-2,j)+f(i-2,j+2)

-2f(i,j-2)-2f(i,j+2)+f(i+2,j-2)-2f(i+2,j)+f(i+2,j-2)|

其中f_n表示的是当前像素点的噪声值；

4.步骤2和3是对单点噪声的判断及对应噪声值的计算；对于整幅图像，采用逐点扫描的方式确定当前帧视频的噪声数量，并根据噪声的数量和对应的噪声值计算噪声点的平均噪声值Avg；

5.如果整幅图像的噪声点数小于100，则无噪声；否则根据噪声度来判断，如果噪声度大于50，则当前帧视频存在噪声。其中噪声度是根据平均噪声点来定义的，其定义如下：

图2计算的噪声度为6，因此判断当前帧不存在噪声。

S26、条纹的检测方法为：首先在去除零散小区域的帧差图像中，采用Hough变换检测图像中可能存在的直线数量；其次寻找一组平行直线使其在帧差图像中存在的概率最大；最后根据该组直线的数量与长度判别当前帧视频中是否存在条纹。

视频中条纹本质是由一组平行的直线组成的，因此检测视频中是否有条纹可以通过平行直线的长度来衡量。在本实施例中，判断视频条纹的具体步骤如下：

1.用八连通区域去除帧差图像中的零散小区域，

2.用HOUGH检测直线方法检测帧差图中的直线的数量，记为LineNum；

3.寻找一组平行线组使其在帧差图像中存在的概率最大，

4.计算该平行直线组所有线段的长度，记为LineLength；根据直线长度与直线数量确定条纹度：

如果条纹度大于50，则认为当前帧存在条纹。

S27、抖动的检测方法为：首先确定最小边缘二值点数，该数是当前帧边缘二值图像与上一帧边缘二值图像中非零像素较小的数；其次计算匹配点数，匹配点是连续两帧图像的X和Y方向的边缘差分图中像素值较大的点；根据最小边缘二值点和匹配点数判断当前帧视频是否存在抖动。

1.统计当前帧边缘二值图像非零像素数为mCnt，前一帧边缘二值图像的非零像素数为nCnt，

2.比较mCnt和nCnt的大小，将叫大的数记为MaxBCnt，较小的数记为MinBCnt；

3.计算匹配点数量，其方法是计算沿x方向和y方向的边缘帧差值图，如果帧差图像对应像素的绝对值小于12，则匹配点数MatchCnt加一；

4.如果在之前的噪声判断中已经得到当前帧视频存在噪声，则不再判断视频抖动；否则判断边缘二值图像中最小的数是否达到匹配点的四分之一，如果没有达到，即满足：(MinBCnt-MatchCnt)/MinBCnt>75％，则当前帧视频抖动。

S28、遮挡的检测方法：首先将当前帧视频均匀的划分为四个区域；其次计算每个区域关键点的数量；最后根据任意两个连续的区域的关键点数量判断当前帧视频是否被遮挡。

如果视频某一区域被遮挡，则该区域的特征点数量明显减少，根据这一特点，本方面采用判断区域关键特征点的数量的方法来判断视频是否被遮挡。在本实施例中，判断视频遮挡的具体步骤如下：

1.首先舍去了图像最上部分的十分之一，也就是只用图像高度的90％；其目的是为防止畸变对视频的干扰；

2.利用积分图像和快速Hessian矩阵计算当前帧视频的关键点，并统计其数量KeyPt；

3.如果关键点数量KeyPt大于1200，则采用等间隔距离选取的方法选择1200个关键点；否则，不作任何处理；

4.将当前帧视频均匀的分成四部分，分别记为左上(Q1)、右上(Q2)、左下(Q3)、右下(Q4)

5.确定各个关键点在当前视频中的区域位置；

6.如果关键点总数KeyPt小于50或者任意两个区域关键点之和小于20,当前帧视频被遮挡。图2显示的为Q1和Q2区域关键点数量较少，判断为遮挡。

步骤三、故障综合判断与记录，具体包括：两方面内容，一方面是融合前两帧的故障状态对当前帧的状态进行判断；另一方面是将当前帧的故障类型及故障时间写到指定数据库，方便后续查询，其效果如图3。步骤二是对单帧视频故障的判断，为提高对故障类型判断的准确性，引入本步骤的故障类型综合判断，该步主要是将前两帧的故障信息与当前帧故障信息进行融合；我们认为只有连续三帧视频出现相同的故障，才判断最后一帧视频存在故障。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于图像处理的视频故障诊断方法，其特征在于，包括如下步骤：

步骤一、获取当前帧图像并进行预处理；

步骤二、分别判断当前帧图像是否出现如下故障类型：视频模糊、视频偏色、视频冻结、视频丢失、视频噪声、视频条纹、视频抖动和视频遮挡；其中，对于视频模糊故障的判断方法如下：

S11.先对图像进行尺寸的归一化与灰度化；然后获得前一帧图像与当前帧图像的帧差图像；最后获得所述帧差图像的边缘检测图像；

获得边缘检测图像中局部极大值点，具体方法如下：

以当前像素点g_c为中心，如果当前像素点g_c的灰度值大于其周围的24个像素点的灰度值大小，则该点为局部极大值点；遍历边缘检测图像中所有像素点，统计局部极大值点的数量；

S12.如果局部极大值点的数量小于整幅图像像素点总数的0.5‰，则认为图像不模糊；否则，执行步骤S13；

S13.针对每一个局部极大值点，令(x,y)表示其在图像坐标系中坐标，令其沿x方向和y方向的边缘检测分别表示为f_x和f_y；其中，图像坐标系的定义为：以图像左上角顶点为原点O，图像上边缘所在直线为x轴，指向右；图像左侧边缘所在直线为y轴，指向下；

S14.根据公式和在图像中分别找到搜索半径r＝1,2,3,...,9对应的18个像素点，作为当前局部极大值点(x,y)的模糊宽度的搜索像素点范围；

其中， $\cos a=\frac{f_x}{\sqrt{{f_x}^2+{f_y}^2}},$ $\sin a=\frac{f_y}{\sqrt{{f_x}^2+{f_y}^2}};$

S15.在模糊宽度的搜索像素点范围内，将当前局部极值点与其x坐标左侧的像素点依次进行比较，当找到第一个像素值大于该当前局部极值点的像素点时，则该像素点的位置为左搜索半径；如果找不到大于该当前局部极值点的像素点，则模糊宽度的搜索范围的左边界为左搜索半径；

在模糊宽度的搜索像素点范围内，将当前局部极值点与其x坐标右侧的像素点依次进行比较，当找到第一个像素值小于该当前局部极值点的像素点时，则该像素点为右搜索半径；如果找不到小于该当前局部极值点的像素点，则模糊宽度的搜索范围的右边界为右搜索半径；则该局部极值点的模糊带宽度为左搜索半径与右搜索半径确定的宽度；

S16.将所有局部极大值点的模糊带宽度求和，记为BrWidth，得到模糊度：

LMaxPt为统计图像中极大值点的数量；

如果模糊度大于50，则判定当前帧视频存在模糊；否则，当前帧图像不存在模糊；

步骤三、故障综合判断与记录；

针对当前帧图像出现的每一种故障，判断当前帧图像及其前两帧图像是否出现相同的故障，如果是，则判定当前帧图像出现该故障；如果否，则判定当前帧图像未出现该故障；记录该故障出现的时间。

2.如权利要求1所述的一种基于图像处理的视频故障诊断方法，其特征在于，所述步骤一中图像灰度化的方法如下：

将当前帧图像按照RGB三原色拆分为三个图像通道；

则位置(i,j)处的像素点灰度值表示为：f(i,j)＝f_r(i,j)*0.3+f_g(i,j)*0.59+f_b(i,j)*0.11

其中，f_r(i,j)、f_g(i,j)和f_b(i,j)分别表示三通道图像中位置(i,j)处像素点红、绿、蓝三个颜色通道分量值；

所述步骤一中获得帧差图像的方法是将连续两帧图像之间对应像素点的灰度值求差值的绝对值；

所述步骤一中的边缘检测的方法如下：

针对位置(i,j)处的像素点，其沿x方向的边缘检测值为：

$\begin{array}{c}{f}_x=f(i-1,j+1)+2f(i,j+1)+f(i+1,j+1)\\ -f\left(i-1,j-1\right)-2f\left(i,j-1\right)-f\left(i+1,j-1\right)\end{array};$

其中f(a,b)表示位置(a,b)处的像素点灰度值；

针对位置(i,j)处的像素点，其沿y方向的边缘检测值为：

$\begin{array}{c}{f}_y=f(i+1,j-1)+2f(i+1,j)+f(i+1,j+1)\\ -f\left(i-1,j-1\right)-2f\left(i-1,j\right)-f\left(i-1,j+1\right)\end{array};$

则位置(i,j)处像素点的边缘检测值为：

f_sobel＝|f_x|+|f_y|。

3.如权利要求1或2所述的一种基于图像处理的视频故障诊断方法，其特征在于，所述步骤二中视频偏色的判断方法如下：

S21.统计当前帧图像中像素点灰度值在25至240范围内的像素点，并分别计算这些像素点在RGB三通道上的均值RAvg、GAvg和BAvg；

S22.采用余弦函数分别计算三通道颜色的比重： 和选择出比重最大的颜色，作为当前帧图像的近色；

S23.分别计算偏色角和偏色度：

偏色角 $angle=acos\frac{\sqrt{3}(RAvg+GAvg+BAvg)}{3\sqrt{{\mathrm{RAvg}}^2+{\mathrm{GAvg}}^2+{\mathrm{BAvg}}^2}};$

S24.如果偏色度大于50，则当前帧视频存在偏色，偏向的颜色为步骤S22确定的近色；如果偏色度小于或等于50，则当前帧图像不存在偏色。

4.如权利要求1或2所述的一种基于图像处理的视频故障诊断方法，其特征在于，所述步骤二中视频噪声的判断方法如下：

S31.获得当前帧图像和上一帧图像对应的边缘检测图的二值化图像，然后采用八连通区域方法去除当前帧图像和上一帧图像的边缘检测二值图像中的零散小区域；

S32.针对每个像素点，如果该像素点邻域内的8个像素点在去除零散小区域的上一帧图像和去除零散小区域的当前帧图像中均不为零，则该像素点为噪声点；

S33.计算噪声点的噪声值：

$\begin{array}{c}{f}_n=|4f(i,j)+f(i-2,j-2)-2f(i-2,j)+f(i-2,j+2)\\ -2f\left(i,j-2\right)-2f(i,j+2)+f\left(i+2,j-2\right)-2f(i+2,j)+f(i+2,j-2)|\end{array};$

其中f_n表示的是当前噪声点的噪声值；f(a,b)表示位置为(a,b)处的噪声点的像素灰度值；

S34.根据步骤S32的方法统计整幅图像的噪声点数量；并根据噪声点的数量和对应的噪声值计算噪声点的平均噪声值Avg；

S35.如果整幅图像的噪声点数小于100，则无噪声；

如果噪声点数量大于或等于100，再判断噪声度：如果噪声度大于50，则当前帧视频存在噪声，否则不存在噪声；其中，噪声度的定义如下：

5.如权利要求4所述的一种基于图像处理的视频故障诊断方法，其特征在于，所述步骤一中的二值化方法如下：

计算所述边缘检测图像中像素边缘检测值的均值sobel_avg1和方差sobel_sdv：

对边缘检测图像边缘检测值的均值进行修正：

Sobel_avg＝Sobel_avg1×0.95+Sobel_sdv×0.05

确定二值化阈值Th： $Th=\left\{\begin{array}{cc}90;& {\mathrm{Sobel}}_{avg}\&GreaterEqual;90\\ {\mathrm{Sobel}}_{avg};& {\mathrm{Sobel}}_{avg}<90\end{array}\right.;$

如果边缘检测图像中的像素值大于二值化阈值Th，则该像素值为255，否则该像素值为0。

6.如权利要求1或2所述的一种基于图像处理的视频故障诊断方法，其特征在于，所述步骤二中视频丢失的判断方法如下：

S41.在当前的帧差图像中统计像素值大于3的像素点数量，记为DiffCnt；

S42.在边缘检测图中统计像素值大于15的像素点数量，记为SobelCnt；

S43.如果数量DiffCnt占整幅图像总像素点个数的1‰以下，并且数量SobelCnt占整幅图像总像素点个数的3.3‰以下，则判定当前帧视频丢失；否则，当前视频不丢失。

7.如权利要求1或2所述的一种基于图像处理的视频故障诊断方法，其特征在于，所述步骤二中视频冻结的判断方法如下：

统计帧差图像中像素值大于3的像素点数量，如果该像素点数量占整幅图像总像素点数的1‰以下，则判定为视频冻结。

8.如权利要求1或2所述的一种基于图像处理的视频故障诊断方法，其特征在于，所述步骤二中视频条纹的判断方法如下：

S61.用八连通区域方法去除帧差图像中的零散小区域，得到帧差图像C；

S62.用HOUGH检测直线方法检测帧差图像C中的直线的数量，记为LineNum；

S63.在帧差图像C中寻找一组平行线，使其在帧差图像C中存在的概率最大；

S64.计算所述存在概率最大的平行直线组中所有线段的长度，记为LineLength；根据存在概率最大的平行直线组中的线段长度与直线数量确定条纹度：

S65.如果条纹度大于50，则认为当前帧图像存在条纹，否则不存在条纹。

9.如权利要求1或2所述的一种基于图像处理的视频故障诊断方法，其特征在于，所述步骤二中视频抖动的判断方法如下：

S71.判断当前帧图像是否被判定为噪声故障，如果是，则不进行抖动故障的判定；如果否，继续执行步骤2；

S72.统计当前帧图像对应的边缘检测二值图像中非零像素数，记为mCnt，前一帧图像对应的边缘检测二值图像的非零像素数，记为nCnt，比较mCnt和nCnt的大小，将较大的数记为MaxBCnt，较小的数记为MinBCnt；

S73.判断帧差图像对应的边缘检测图像中各像素的边缘检测值，如果边缘检测值的绝对值小于12，则匹配点数累积1次，遍历所有的像素，得到匹配点总数；

S74.判断MinBCnt的值是否达到匹配点总数的四分之一，如果没有达到，则判定当前帧视频抖动；如果达到了，则判定当前视频未发生抖动故障。

10.如权利要求1或2所述的一种基于图像处理的视频故障诊断方法，其特征在于，所述步骤二中视频遮挡的判断方法如下：

S81.从当前帧图像上边缘开始，截取掉当前帧图像的十分之一，得到的图像定义为图像JT；

S82.利用积分图像和快速Hessian矩阵计算图像JT的关键点，并统计其数量；

S83.判断关键点数量是否大于1200：如果大于，则采用等间隔距离选取的方法选择出1200个关键点，其他关键点剔除，然后执行S84；

如果不大于，执行S84；

S84.将图像JT均匀分成四个区域；

S85.确定各个关键点在当前帧图像中的区域位置；

S86.如果关键点总数KeyPt小于50或者任意两个区域关键点之和小于20,判定当前帧图像存在遮挡；否则，判定当前帧图像不存在遮挡。