CN114648462A - 一种基于图像质量的监控运行监测方法 - Google Patents
一种基于图像质量的监控运行监测方法 Download PDFInfo
- Publication number
- CN114648462A CN114648462A CN202210316542.4A CN202210316542A CN114648462A CN 114648462 A CN114648462 A CN 114648462A CN 202210316542 A CN202210316542 A CN 202210316542A CN 114648462 A CN114648462 A CN 114648462A
- Authority
- CN
- China
- Prior art keywords
- image
- monitoring
- gradient
- histogram
- formula
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 113
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000013441 quality evaluation Methods 0.000 claims abstract description 16
- 230000008859 change Effects 0.000 claims abstract description 13
- 238000013210 evaluation model Methods 0.000 claims abstract description 10
- 235000011034 Rubus glaucus Nutrition 0.000 claims description 31
- 235000009122 Rubus idaeus Nutrition 0.000 claims description 31
- 240000007651 Rubus glaucus Species 0.000 claims description 28
- 238000010606 normalization Methods 0.000 claims description 28
- 238000010586 diagram Methods 0.000 claims description 23
- 238000000605 extraction Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 13
- 238000012937 correction Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 11
- 238000011156 evaluation Methods 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 10
- 238000012806 monitoring device Methods 0.000 claims description 10
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 238000012706 support-vector machine Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims description 2
- 230000000712 assembly Effects 0.000 claims 1
- 238000000429 assembly Methods 0.000 claims 1
- 238000001514 detection method Methods 0.000 abstract description 4
- 244000235659 Rubus idaeus Species 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000000889 atomisation Methods 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本发明公开了一种基于图像质量的监控运行监测方法，包括如下步骤：采集监控图像；通过构建好的图像质量分数评价模型对采集的监控图像进行质量评价，获取到质量评价图像质量分数；根据图像质量分数，对采集的监控图像进行运行状态评价；实时动态展示监控图像运行状态的变化情况；根据监控图像运行状态，对监控运行情况进行监测。本发明实现了实时在线检测，能够客观、迅速、高效、数字化评价监控图像/视频质量，方便有关人员进行检查和维修，提高监控异常发现的效率，节省大量人力资源成本。
Description
技术领域
本发明属于图像处理领域，具体涉及一种基于图像质量的监控运行监测方法。
背景技术
随着监控系统技术的快速发展以及应用成本的快速降低，同时为了满足更多安全的需求，越来越多监控系统应用在人们生活的各个方面。随着监控系统的推广，一些潜在的问题也显现出来，其中以监控视频图像质量参差不齐尤为明显。在监控系统中，经常会出现失焦模糊、块效应等明显严重影响图像质量的问题，如果不能及时处理就会影响监控的效果。而当今监控系统都非常庞大，动辄成百上千个监控视频。在这种情况下，雇佣大量人力主观地对大量监控视频的图像质量做不间断的评估是一种不现实的方法。因此，如何能够即时的客观的评价监控视频图像的质量，使每一个子网的视频质量达到监控目的的需求，成为了监控视频研究领域的一个新的方向。
另一方面，监控图像的评价标准与监控系统的监管对于监控系统的应用扩展也有着极大的影响。传统监控图像的评价采用主观评价的方式，耗时耗力，在实践中存在诸多不便。与此同时，监控系统的监管偏重工程建设的管理，而忽视系统交付使用后的长效监管。监控设备在运行使用一段时间后图像是否仍清晰可用得不到有效保障。
发明内容
发明目的：为了克服现有技术中存在的不足，提供一种基于图像质量的监控运行监测方法，实现了实时在线检测，能够客观、迅速、高效、数字化评价监控图像/视频质量，方便有关人员进行检查和维修，提高监控异常发现的效率，节省大量人力资源成本。
技术方案：为实现上述目的，本发明提供一种基于图像质量的监控运行监测方法，包括如下步骤：
S1：采集监控图像；
S2：通过构建好的图像质量分数评价模型对采集的监控图像进行质量评价，获取到质量评价图像质量分数；
S3：根据图像质量分数，对采集的监控图像进行运行状态评价；
S4：实时动态展示监控图像运行状态的变化情况；
S5：根据监控图像运行状态，对监控运行情况进行监测。
进一步地，所述步骤S1中通过PC端主机、树莓派主板和USB摄像头实现监控图像的实时采集和传输，具体包括如下：
A1：在SD卡上烧录MATLAB镜像：USB摄像头连接在树莓派主板上，通过PC主机端的MATLAB来对树莓派主板进行操作，以此控制摄像头实时采集视频图像；先将SD卡插入主机卡槽，并打开MATLAB的硬件资源包，选择MATLAB Simulink树莓派硬件支持包下载安装，将MATLAB镜像烧录到SD卡中，选择MATLAB与树莓派主板的连接方式为WIFI连接，输入热点ID及密码，按步骤即可完成无线连接的MATLAB镜像烧录；
A2：连接MATLAB、树莓派主板与USB摄像头：将USB摄像头接入树莓派主板的USB2.0接口，将烧录好的SD卡插入树莓派主板的卡槽并开机，打开WIFI热点使树莓派主板和主机连接到同一网络下，在MATLAB命令行输入re＝raspi查看树莓派主板的属性；
A3：通过MATLAB控制树莓派主板从USB摄像头实时采集图像：打开MATLAB的Simulink模块，创建一个Simulink文件，在资源库中找到Simulink对树莓派的支持包，添加需要的组件(摄像头、SDL显示器等)搭建模型，将组件接线，即可开始运行实时采集视频图像。
进一步地，所述步骤S2中图像质量分数评价模型的构建方法为：
B1：提取5个图像质量相关特征，分别为方向梯度直方图特征、局部梯度强度直方图特征、局部亮度直方图特征、局部梯度强度标准差直方图特征和局部亮度标准差直方图特征；
B2：基于所提取特征分别计算参考图像和失真图像的5个特征图，计算参考图像和失真图像之间的特征图差异得到差异特征图；
B3：采用差异特征图均值表示参考图像和失真图像之间不同的特性差异，融合每幅失真图像5个特征图所对应的差异值得到差异向量；
B4：通过SVR学习差异向量和图像质量分值之间的映射关系得到图像质量分数评价模型。
进一步地，所述步骤B1中5个图像质量相关特征的提取方法为：
方向梯度直方图特征提取步骤如下：
C1：采用公式(1)对图像进行伽马校正；
公式中R(i,j)、G(i,j)和B(i,j)分别对应图像在(i,j)处RGB颜色通道值，I(i,j)为矫正后(i,j)处像素点的灰度值，
C2：采用公式(2)和公式(3)分别计算图像在(i,j)处的水平方向梯度和垂直方向梯度强度；
公式中Gx(i,j)和Gy(i,j)分别对应(i,j)处水平方向梯度和垂直方向梯度，
Gx(i,j)＝I(i+1,j)-I(i-1,j) (2)
Gy(i,j)＝I(i,j+1)-I(i,j-1) (3)
C3：利用步骤C2中所得到的水平方向梯度和垂直方向梯度计算图像在(i,j)处的梯度强度值G(i,j)和θ梯度方向，具体计算方法如公式(4)和公式(5)所示，由于梯度方向会根据Gx(i,j)和θ的正负对角度进行象限的归分，所以θ的范围是[0,360°]；
C4：将图像分成互不重叠大小相同的连通区域并定义为cell，将图像划分为大小相同的cell，采用加权法计算每个cell的梯度方向直方图，每个cell的梯度方向平均划分为9个直方图通道，权值为梯度方向对应的梯度强度，得到方向梯度直方图；
C5：对每个cell的直方图采用公式(6)进行归一化处理，其中hist为单一cell对应的直方图向量中第i个值，HIST为归一化后cell对应的直方图向量中第i个值；定义2*2个cell的区域为一个block，连接每个block中4个cell的直方图得到成长度为36的特征向量，定义block归一化后的方向梯度直方图为H1；
局部梯度强度直方图特征提取过程如下：
D1：采用公式(1)对图像进行伽马校正；
D2：采用公式(2)和公式(3)分别计算图像中每个像素点在水平和竖直方向上的梯度强度，并通过公式(4)得到图像的梯度强度特征图；
D3：采用公式(7)对图像的局部梯度强度特征图进行归一化处理；
公式中G(i,j)表示(i,j)处的梯度强度，Gmin和Gmax表示参考图像和失真图像的局部梯度强度特征图的最大值和最小值,Gn(i,j)表示归一化后(i,j)处的值；
D4：将图像划分为大小相同的cell，将每个cell的梯度强度平均划分成10个直方图通道并计算每个cell的梯度强度直方图H2；
局部亮度直方图特征的提取过程如下：
E1：对参考图像和失真图像的亮度进行归一化处理；
归一化处理公式如(8)所示，其中In(i,j)表示(i,j)处的像素值,Imin和Imax表示参考图像和失真图像亮度的最大值和最小值，gray(i,j)表示归一化后(i,j)处的值；
E2：将图像划分为大小相同的cell，将每个cell的亮度平均划分成10个直方图通道，得到局部亮度直方图H3；
局部梯度强度标准差的计算过程如下：
F1：采用公式(1)对图像进行伽马校正；
F2：采用公式(2)和公式(3)分别计算图像中每个像素点在水平和竖直方向上的梯度强度，并通过公式(4)得到图像的梯度强度特征图，采用公式(8)实现局部梯度强度特征图的归一化；
F3：将图像划分为大小相同的cell,对每一个cell求标准差，得到局部梯度强度标准差特征图；
F4：将局部梯度强度标准差特征图划分为大小相同的block，每个block大小设置为6*6个cell，将每个block的梯度强度标准差平均划分成10个直方图通道，统计得到局部梯度强度标准差直方图H4。
局部亮度标准差反映局部范围内亮度的波动程度，能够有效衡量对比度失真对图像质量的影响。局部亮度标准差直方图特征的提取过程如下：
G1：采用公式(8)对图像进行归一化处理；
G2：将图像划分为大小相同的cell，对每一个cell求标准差，得到局部亮度标准差特征图；
G3：将局部亮度标准差特征图划分为大小相同的block，设置block大小为6*6个cell，将每个block的亮度标准差平均划分成10个直方图通道，得到局部亮度标准差直方图H5。
进一步地，所述步骤S3中运行状态评价包括图像质量分数情况和监控设备质量情况，其中，监控设备质量情况通过图像失真类型判别获得。
进一步地，所述步骤S3中图像失真类型具体的判别方法为：
选用BRISQUE自然图像特征这个图像特征算法，先计算图像的块MSCN特征矩阵，计算块MSCN分布，用对称高斯曲线拟合得到两个参数，作为两个特征值，再计算图像块MSCN四个方向上内积的矩阵，用非对称高斯曲线拟合分布，得到四个参数，共获得16个特征，最后将图像缩小一倍，重复前两个过程，得到共36个特征值，即为BRISQUE图像特征；拍摄不同场景、不同时间的5张高质量监控图像，使用失真仿真算法，对于每张高质量监控图像，生成5种失真类型，10个失真等级的失真监控图像，共500张，作为失真监控图像数据库，人眼标定数据集图像的失真类型标签，计算各图像的BRISQUE特征，对每一个特征，使用SVM，训练图像特征映射到该失真类型是否存在的分类器，对研究的五个失真类型重复本过程，获得五个失真类型存在与否的分类器，通过分类器来判别图像失真类型。
进一步地，所述步骤S4中图像运行状态的变化情况包括图像质量分数变化情况和监控设备质量情况，其中，图像质量分数变化情况的展示方式为：
将若干质量分数从数据库中读取，以折线图的形式展示在界面上，横坐标为时间，纵坐标为图像质量分数；
监控设备质量情况的展示方式为：对于质量分数高于阈值的图像，判定为无问题，则监控设备显示为优良；对于质量分数低于阈值的图像，判定为有问题，并且显示出具体的图像失真类型。
本发明研究了适用于视频监控系统应用的图像质量客观评价方法，并设计实现一种可使用于视频监控系统的图像质量评估系统来提高评价效率，为工程建设的检测验收以及系统运行的长效监管提供有效的技术保障。
本发明以图像质量评价方法为基础，实现了将监控摄像头采集的图像通过质量评价方法进行图像质量预测，并将质量分数以动态坐标的形式展示在软件前端界面上的功能。本发明首次提出一种面向雾化图像的全参考图像质量评价方法，能够准确分析雾化影响下监控图像的质量，进而反映监控设备的运行状态，具有快速、识别准确率高的优势。本发明通过树莓派主板运行图像质量评价算法以实时监控摄像头采集图像的质量，通过PC端前端界面展示监控图像及其质量分析结果，最终实现监控设备运行状态的实时监控。
有益效果：本发明与现有技术相比，具备如下优点：
1、相较于传统人工经验鉴定及监控系统行为识别，本发明可实时、迅速、无损地评判监控图像/视频的品质，方便有关人员进行检查和维修，提高监控异常发现的效率，节省大量人力资源成本。
2、本发明为监控图像/视频质量控制提供新的质量检测方法，对市场监控图像/视频的质量监管提供依据，具有广阔的应用前景。
附图说明
图1为本发明中监控视频图像处理流程图；
图2为本实施例中使用仪器(树莓派主板、USB摄像头)的示意图；
图3为本实施例中采集的监控图像图；
图4为本实施例中图像质量评价算法流程图；
图5为本实施例中监控图像质量评估系统的界面展示图；
图6为本实施例中监控图像质量评估系统的结果展示图。
具体实施方式
下面结合附图和具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
本发明提供一种基于图像质量的监控运行监测系统，参照图2，本实施例中该监测系统使用到的仪器包括：Raspberry Pi 4代B型，8GB，配有两个USB 2.0接口，两个USB 3.0接口；HIKVISION USB摄像机；Kingston内存卡；树莓派主板。
本实施例中监测系统的连接情况是：将USB摄像头接入Raspberry Pi 4代B型的USB 2.0接口，将烧录好MATLAB镜像的SD卡插入树莓派主板的卡槽中，为树莓派主板充电开机，开启无线网络，使USB摄像头、树莓派与电脑端MATLAB连接。
基于上述监测系统，本实施例中提供一种基于图像质量的监控运行监测方法，如图1所示，其包括如下步骤：
S1：采集监控图像：
将连接好的USB摄像头与已开机的树莓派放置在固定地点，通过电脑端MATLAB的SIMULINK模块进行仿真模拟，将更新的视频图像逐帧实时传回SIMULINK的显示屏幕上；
本实施例中采集的监控图像如图3所示。
S2：通过构建好的图像质量分数评价模型对采集的监控图像进行质量评价，获取到质量评价图像质量分数；
S3：根据图像质量分数，对采集的监控图像进行运行状态评价；
S4：实时动态展示监控图像运行状态的变化情况；
S5：根据监控图像运行状态，对监控运行情况进行监测。
参照图4，本实施例中步骤S2中图像质量分数评价模型的构建方法为：
B1：提取5个图像质量相关特征，分别为方向梯度直方图特征、局部梯度强度直方图特征、局部亮度直方图特征、局部梯度强度标准差直方图特征和局部亮度标准差直方图特征；
B2：基于所提取特征分别计算参考图像和失真图像的5个特征图，计算参考图像和失真图像之间的特征图差异得到差异特征图；
B3：采用差异特征图均值表示参考图像和失真图像之间不同的特性差异，融合每幅失真图像5个特征图所对应的差异值得到差异向量；
B4：通过SVR学习差异向量和图像质量分值之间的映射关系得到图像质量分数评价模型。
本实施例步骤B1中5个图像质量相关特征的提取方法为：
方向梯度直方图特征提取步骤如下：
C1：采用公式(1)对图像进行伽马校正；
公式中R(i,j)、G(i,j)和B(i,j)分别对应图像在(i,j)处RGB颜色通道值，I(i,j)为矫正后(i,j)处像素点的灰度值，
C2：采用公式(2)和公式(3)分别计算图像在(i,j)处的水平方向梯度和垂直方向梯度强度；
公式中Gx(i,j)和Gy(i,j)分别对应(i,j)处水平方向梯度和垂直方向梯度，
Gx(i,j)＝I(i+1,j)-I(i-1,j) (2)
Gy(i,j)＝I(i,j+1)-I(i,j-1) (3)
C3：利用步骤C2中所得到的水平方向梯度和垂直方向梯度计算图像在(i,j)处的梯度强度值G(i,j)和θ梯度方向，具体计算方法如公式(4)和公式(5)所示，由于梯度方向会根据Gx(i,j)和θ的正负对角度进行象限的归分，所以θ的范围是[0,360°]；
C4：将图像分成互不重叠大小相同的连通区域并定义为cell，将图像划分为大小相同的cell，采用加权法计算每个cell的梯度方向直方图，每个cell的梯度方向平均划分为9个直方图通道，权值为梯度方向对应的梯度强度，得到方向梯度直方图；
C5：对每个cell的直方图采用公式(6)进行归一化处理，其中hist为单一cell对应的直方图向量中第i个值，HIST为归一化后cell对应的直方图向量中第i个值；定义2*2个cell的区域为一个block，连接每个block中4个cell的直方图得到成长度为36的特征向量，定义block归一化后的方向梯度直方图为H1；
局部梯度强度直方图特征提取过程如下：
D1：采用公式(1)对图像进行伽马校正；
D2：采用公式(2)和公式(3)分别计算图像中每个像素点在水平和竖直方向上的梯度强度，并通过公式(4)得到图像的梯度强度特征图；
D3：采用公式(7)对图像的局部梯度强度特征图进行归一化处理；
公式中G(i,j)表示(i,j)处的梯度强度，Gmin和Gmax表示参考图像和失真图像的局部梯度强度特征图的最大值和最小值,Gn(i,j)表示归一化后(i,j)处的值；
D4：将图像划分为大小相同的cell，将每个cell的梯度强度平均划分成10个直方图通道并计算每个cell的梯度强度直方图H2；
局部亮度直方图特征的提取过程如下：
E1：对参考图像和失真图像的亮度进行归一化处理；
归一化处理公式如(8)所示，其中In(i,j)表示(i,j)处的像素值,Imin和Imax表示参考图像和失真图像亮度的最大值和最小值，gray(i,j)表示归一化后(i,j)处的值；
E2：将图像划分为大小相同的cell，将每个cell的亮度平均划分成10个直方图通道，得到局部亮度直方图H3；
局部梯度强度标准差的计算过程如下：
F1：采用公式(1)对图像进行伽马校正；
F2：采用公式(2)和公式(3)分别计算图像中每个像素点在水平和竖直方向上的梯度强度，并通过公式(4)得到图像的梯度强度特征图，采用公式(8)实现局部梯度强度特征图的归一化；
F3：将图像划分为大小相同的cell,对每一个cell求标准差，得到局部梯度强度标准差特征图；
F4：将局部梯度强度标准差特征图划分为大小相同的block，每个block大小设置为6*6个cell，将每个block的梯度强度标准差平均划分成10个直方图通道，统计得到局部梯度强度标准差直方图H4。
局部亮度标准差反映局部范围内亮度的波动程度，能够有效衡量对比度失真对图像质量的影响。局部亮度标准差直方图特征的提取过程如下：
G1：采用公式(8)对图像进行归一化处理；
G2：将图像划分为大小相同的cell，对每一个cell求标准差，得到局部亮度标准差特征图；
G3：将局部亮度标准差特征图划分为大小相同的block，设置block大小为6*6个cell，将每个block的亮度标准差平均划分成10个直方图通道，得到局部亮度标准差直方图H5。
本实施例步骤S3中运行状态评价包括图像质量分数情况和监控设备质量情况，其中，监控设备质量情况通过图像失真类型判别获得，图像失真类型具体的判别方法为：
选用BRISQUE自然图像特征这个图像特征算法，先计算图像的块MSCN特征矩阵，计算块MSCN分布，用对称高斯曲线拟合得到两个参数，作为两个特征值，再计算图像块MSCN四个方向上内积的矩阵，用非对称高斯曲线拟合分布，得到四个参数，共获得16个特征，最后将图像缩小一倍，重复前两个过程，得到共36个特征值，即为BRISQUE图像特征；拍摄不同场景、不同时间的5张高质量监控图像，使用失真仿真算法，对于每张高质量监控图像，生成5种失真类型，10个失真等级的失真监控图像，共500张，作为失真监控图像数据库，人眼标定数据集图像的失真类型标签，计算各图像的BRISQUE特征，对每一个特征，使用SVM，训练图像特征映射到该失真类型是否存在的分类器，对研究的五个失真类型重复本过程，获得五个失真类型存在与否的分类器，通过分类器来判别图像失真类型。
本实施例步骤S3中对采集的监控图像进行运行状态评价具体包括：
A：提取图像特征：由于自然图像像素点亮度分布基本符合高斯分布图，对图像进行分块，对于每一块内的像素点进行归一化及高斯加权等操作得到块MSCN值，原图像由此可得到块MSCN矩阵，可以用对称高斯分布进行拟合，得到两个参数作为特征值。此外由于相邻块之间存在相关性，计算四个方向上相邻块的内积矩阵的块MSCN矩阵，分别拟合非对称高斯分布，得到16个特征值。将图像缩小一倍之后再次计算上述特征值，共得到36个参数的特征值，作为图像特征。
B：生成失真程度标签：考虑摄像头故障可能导致的失真类型，由不同失真类型的失真程度来推测故障情况。通过代码实现失真仿真功能，模糊失真通过不同的滤波器卷积实现，过亮过暗、高低对比度、噪声失真都使用MATLAB的自带函数实现，块失真根据给定块个数、大小随机生成正方形遮挡。对于每一张原图像，随机给定失真类型、失真程度，混合失真的次数，生成100张失真图像。对于500张失真图像中的每一张，通过人眼判断是否存在上述各类失真类型，导出每张图像的人眼标定结果。对于500张图像随机划分测试集、训练集，对于每一个失真类型，将训练集每张图像的图像特征与改失真类型的平均失真程度进行拟合，使用SVR生成回归模型，在测试集上预测并计算SROCC值，调参直至SROCC达到0.9。
C：计算各图像的BRISQUE特征，对每一个特征，使用SVM，训练图像特征映射到该失真类型是否存在的分类器。对研究的五个失真类型重复本过程，获得五个失真类型存在与否的分类器。
本实施例步骤S4中图像运行状态的变化情况包括图像质量分数变化情况和监控设备质量情况，其中，图像质量分数变化情况的展示方式为：
将若干质量分数从数据库中读取，以折线图的形式展示在界面上，横坐标为时间，纵坐标为图像质量分数，最终呈现的监控图像质量评估展示如图5所示；
监控设备质量情况的展示方式为：对于质量分数高于阈值的图像，判定为无问题，则监控设备显示为优良；对于质量分数低于阈值的图像，判定为有问题，并且显示出具体的图像失真类型，判定出现的是马赛克、彩色失真、画面噪点大等哪种异常情况，并将判定结果输出，显示监控设备有问题，最终呈现的设备质量情况如图6所示。
为了验证本发明方法的性能，本实施例中将本发明方法(MFD)和其他方法在exBeDDE数据库上的性能进行比较，结果如表1所示，其中不同评价指标所对应最优和次优的性能值用加粗突出表示；
表1
将MFD和其他方法在经典数据库上的性能比较结果如表2所示：
表2
MFD和其他方法在经典数据库上性能的平均值和方差结果如表3所示：
表3
由表1～表3的对比数据可以看出，本发明方法(MFD)能够准确评价雾化图像的质量，适用于不用的失真类型，与人眼主观评价结果有较高的一致性。
Claims (7)
1.一种基于图像质量的监控运行监测方法，其特征在于，包括如下步骤：
S1：采集监控图像；
S2：通过构建好的图像质量分数评价模型对采集的监控图像进行质量评价，获取到质量评价图像质量分数；
S3：根据图像质量分数，对采集的监控图像进行运行状态评价；
S4：实时动态展示监控图像运行状态的变化情况；
S5：根据监控图像运行状态，对监控运行情况进行监测。
2.根据权利要求1所述的一种基于图像质量的监控运行监测方法，其特征在于，所述步骤S1中通过PC端主机、树莓派主板和USB摄像头实现监控图像的实时采集和传输，具体包括如下：
A1：在SD卡上烧录MATLAB镜像：USB摄像头连接在树莓派主板上，通过PC主机端的MATLAB来对树莓派主板进行操作，以此控制摄像头实时采集视频图像；先将SD卡插入主机卡槽，并打开MATLAB的硬件资源包，选择MATLAB Simulink树莓派硬件支持包下载安装，将MATLAB镜像烧录到SD卡中，选择MATLAB与树莓派主板的连接方式为WIFI连接，输入热点ID及密码，按步骤即可完成无线连接的MATLAB镜像烧录；
A2：连接MATLAB、树莓派主板与USB摄像头：将USB摄像头接入树莓派主板的USB2.0接口，将烧录好的SD卡插入树莓派主板的卡槽并开机，打开WIFI热点使树莓派主板和主机连接到同一网络下，在MATLAB命令行输入re＝raspi查看树莓派主板的属性；
A3：通过MATLAB控制树莓派主板从USB摄像头实时采集图像：打开MATLAB的Simulink模块，创建一个Simulink文件，在资源库中找到Simulink对树莓派的支持包，添加需要的组件搭建模型，将组件接线，即可开始运行实时采集视频图像。
3.根据权利要求1所述的一种基于图像质量的监控运行监测方法，其特征在于，所述步骤S2中图像质量分数评价模型的构建方法为：
B1：提取5个图像质量相关特征，分别为方向梯度直方图特征、局部梯度强度直方图特征、局部亮度直方图特征、局部梯度强度标准差直方图特征和局部亮度标准差直方图特征；
B2：基于所提取特征分别计算参考图像和失真图像的5个特征图，计算参考图像和失真图像之间的特征图差异得到差异特征图；
B3：采用差异特征图均值表示参考图像和失真图像之间不同的特性差异，融合每幅失真图像5个特征图所对应的差异值得到差异向量；
B4：通过SVR学习差异向量和图像质量分值之间的映射关系得到图像质量分数评价模型。
4.根据权利要求3所述的一种基于图像质量的监控运行监测方法，其特征在于，所述步骤B1中5个图像质量相关特征的提取方法为：
方向梯度直方图特征提取步骤如下：
C1：采用公式(1)对图像进行伽马校正；
公式中R(i,j)、G(i,j)和B(i,j)分别对应图像在(i,j)处RGB颜色通道值，I(i,j)为矫正后(i,j)处像素点的灰度值，
C2：采用公式(2)和公式(3)分别计算图像在(i,j)处的水平方向梯度和垂直方向梯度强度；
公式中Gx(i,j)和Gy(i,j)分别对应(i,j)处水平方向梯度和垂直方向梯度，
Gx(i,j)＝I(i+1,j)-I(i-1,j)(2)
Gy(i,j)＝I(i,j+1)-I(i,j-1)(3)
C3：利用步骤C2中所得到的水平方向梯度和垂直方向梯度计算图像在(i,j)处的梯度强度值G(i,j)和θ梯度方向，具体计算方法如公式(4)和公式(5)所示，由于梯度方向会根据Gx(i,j)和θ的正负对角度进行象限的归分，所以θ的范围是[0,360°]；
C4：将图像分成互不重叠大小相同的连通区域并定义为cell，将图像划分为大小相同的cell，采用加权法计算每个cell的梯度方向直方图，每个cell的梯度方向平均划分为9个直方图通道，权值为梯度方向对应的梯度强度，得到方向梯度直方图；
C5：对每个cell的直方图采用公式(6)进行归一化处理，其中hist为单一cell对应的直方图向量中第i个值，HIST为归一化后cell对应的直方图向量中第i个值；定义2*2个cell的区域为一个block，连接每个block中4个cell的直方图得到成长度为36的特征向量，定义block归一化后的方向梯度直方图为H1；
局部梯度强度直方图特征提取过程如下：
D1：采用公式(1)对图像进行伽马校正；
D2：采用公式(2)和公式(3)分别计算图像中每个像素点在水平和竖直方向上的梯度强度，并通过公式(4)得到图像的梯度强度特征图；
D3：采用公式(7)对图像的局部梯度强度特征图进行归一化处理；
公式中G(i,j)表示(i,j)处的梯度强度，Gmin和Gmax表示参考图像和失真图像的局部梯度强度特征图的最大值和最小值,Gn(i,j)表示归一化后(i,j)处的值；
D4：将图像划分为大小相同的cell，将每个cell的梯度强度平均划分成10个直方图通道并计算每个cell的梯度强度直方图H2；
局部亮度直方图特征的提取过程如下：
E1：对参考图像和失真图像的亮度进行归一化处理；
归一化处理公式如(8)所示，其中In(i,j)表示(i,j)处的像素值,Imin和Imax表示参考图像和失真图像亮度的最大值和最小值，gray(i,j)表示归一化后(i,j)处的值；
E2：将图像划分为大小相同的cell，将每个cell的亮度平均划分成10个直方图通道，得到局部亮度直方图H3；
局部梯度强度标准差的计算过程如下：
F1：采用公式(1)对图像进行伽马校正；
F2：采用公式(2)和公式(3)分别计算图像中每个像素点在水平和竖直方向上的梯度强度，并通过公式(4)得到图像的梯度强度特征图，采用公式(8)实现局部梯度强度特征图的归一化；
F3：将图像划分为大小相同的cell,对每一个cell求标准差，得到局部梯度强度标准差特征图；
F4：将局部梯度强度标准差特征图划分为大小相同的block，每个block大小设置为6*6个cell，将每个block的梯度强度标准差平均划分成10个直方图通道，统计得到局部梯度强度标准差直方图H4；
局部亮度标准差直方图特征的提取过程如下：
G1：采用公式(8)对图像进行归一化处理；
G2：将图像划分为大小相同的cell，对每一个cell求标准差，得到局部亮度标准差特征图；
G3：将局部亮度标准差特征图划分为大小相同的block，设置block大小为6*6个cell，将每个block的亮度标准差平均划分成10个直方图通道，得到局部亮度标准差直方图H5。
5.根据权利要求1所述的一种基于图像质量的监控运行监测方法，其特征在于，所述步骤S3中运行状态评价包括图像质量分数情况和监控设备质量情况，其中，监控设备质量情况通过图像失真类型判别获得。
6.根据权利要求5所述的一种基于图像质量的监控运行监测方法，其特征在于，所述步骤S3中图像失真类型具体的判别方法为：
选用BRISQUE自然图像特征这个图像特征算法，先计算图像的块MSCN特征矩阵，计算块MSCN分布，用对称高斯曲线拟合得到两个参数，作为两个特征值，再计算图像块MSCN四个方向上内积的矩阵，用非对称高斯曲线拟合分布，得到四个参数，共获得16个特征，最后将图像缩小一倍，重复前两个过程，得到共36个特征值，即为BRISQUE图像特征；拍摄不同场景、不同时间的5张高质量监控图像，使用失真仿真算法，对于每张高质量监控图像，生成5种失真类型，10个失真等级的失真监控图像，共500张，作为失真监控图像数据库，人眼标定数据集图像的失真类型标签，计算各图像的BRISQUE特征，对每一个特征，使用SVM，训练图像特征映射到该失真类型是否存在的分类器，对研究的五个失真类型重复本过程，获得五个失真类型存在与否的分类器，通过分类器来判别图像失真类型。
7.根据权利要求1所述的一种基于图像质量的监控运行监测方法，其特征在于，所述步骤S4中图像运行状态的变化情况包括图像质量分数变化情况和监控设备质量情况，其中，图像质量分数变化情况的展示方式为：
将若干质量分数从数据库中读取，以折线图的形式展示在界面上，横坐标为时间，纵坐标为图像质量分数；
监控设备质量情况的展示方式为：对于质量分数高于阈值的图像，判定为无问题，则监控设备显示为优良；对于质量分数低于阈值的图像，判定为有问题，并且显示出具体的图像失真类型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210316542.4A CN114648462A (zh) | 2022-03-29 | 2022-03-29 | 一种基于图像质量的监控运行监测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210316542.4A CN114648462A (zh) | 2022-03-29 | 2022-03-29 | 一种基于图像质量的监控运行监测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114648462A true CN114648462A (zh) | 2022-06-21 |
Family
ID=81995064
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210316542.4A Pending CN114648462A (zh) | 2022-03-29 | 2022-03-29 | 一种基于图像质量的监控运行监测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114648462A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117789112A (zh) * | 2023-11-20 | 2024-03-29 | 联通数字科技有限公司 | 一种基于监控截图的故障处理方法及相关设备 |
-
2022
- 2022-03-29 CN CN202210316542.4A patent/CN114648462A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117789112A (zh) * | 2023-11-20 | 2024-03-29 | 联通数字科技有限公司 | 一种基于监控截图的故障处理方法及相关设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108090902B (zh) | 一种基于多尺度生成对抗网络的无参考图像质量客观评价方法 | |
| CN106920232B (zh) | 基于显著性检测的梯度相似度图像质量评价方法及系统 | |
| CN104023230B (zh) | 一种基于梯度关联性的无参考图像质量评价方法 | |
| CN105791709A (zh) | 带有逆光补偿的自动曝光处理方法及装置 | |
| CN114066857A (zh) | 红外图像质量评价方法、装置、电子设备及可读存储介质 | |
| CN111709914B (zh) | 一种基于hvs特性的无参考图像质量评价方法 | |
| CN104902218A (zh) | 广域安防系统中视频监控子网性能监测系统及方法 | |
| CN101605273B (zh) | 一种色饱和度质量测评的方法和子系统 | |
| CN114648462A (zh) | 一种基于图像质量的监控运行监测方法 | |
| CN111641822B (zh) | 一种重定位立体图像质量评价方法 | |
| CN112419270A (zh) | 元学习下的无参考图像质量评价方法、装置及计算机设备 | |
| CN112070762A (zh) | 液晶面板的mura缺陷检测方法、装置、存储介质及终端 | |
| CN115601747A (zh) | 一种贴壁细胞汇合度的计算方法和系统 | |
| CN110567967B (zh) | 显示面板检测方法、系统、终端设备及计算机可读介质 | |
| CN113362270A (zh) | 显示屏画面显示异常监测方法及其装置 | |
| CN103164993A (zh) | 数字教学系统及其屏幕监控方法 | |
| CN107607205A (zh) | 线束颜色顺序检测系统和方法 | |
| CN111259844A (zh) | 标准化考场考生实时监控方法 | |
| Yang et al. | EHNQ: Subjective and objective quality evaluation of enhanced night-time images | |
| CN108257117B (zh) | 图像曝光度的评测方法及装置 | |
| CN110135274B (zh) | 一种基于人脸识别的人流量统计方法 | |
| CN111724054A (zh) | 一种评估方法、装置、终端设备及存储介质 | |
| CN104615985B (zh) | 一种人脸相似度的识别方法 | |
| CN109658405B (zh) | 一种农作物实景观测中图像数据质量控制方法及系统 | |
| CN115829234A (zh) | 基于课堂检测的自动化督导系统及其工作方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |