CN110312124A - 一种基于显著性多特征融合的移动巡检视频质量修正方法 - Google Patents

一种基于显著性多特征融合的移动巡检视频质量修正方法 Download PDF

Info

Publication number
CN110312124A
CN110312124A CN201910700754.0A CN201910700754A CN110312124A CN 110312124 A CN110312124 A CN 110312124A CN 201910700754 A CN201910700754 A CN 201910700754A CN 110312124 A CN110312124 A CN 110312124A
Authority
CN
China
Prior art keywords
video
block
mobile inspection
conspicuousness
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910700754.0A
Other languages
English (en)
Other versions
CN110312124B (zh
Inventor
程德强
许超
寇旗旗
陈亮亮
赵凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Mining and Technology CUMT
Original Assignee
China University of Mining and Technology CUMT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Mining and Technology CUMT filed Critical China University of Mining and Technology CUMT
Priority to CN201910700754.0A priority Critical patent/CN110312124B/zh
Publication of CN110312124A publication Critical patent/CN110312124A/zh
Application granted granted Critical
Publication of CN110312124B publication Critical patent/CN110312124B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H04N19/865—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness with detection of the former encoding block subdivision in decompressed video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于显著性多特征融合的移动巡检视频质量修正方法，属于视频质量修正技术领域，解决了现有技术无法对移动巡检视频进行有效的质量评价并修正的问题。该方法包括如下步骤：对移动巡检视频中任一包括待检测物体的静止图像进行分块，确定包含待检测物体识别特征的所有宏块，以及各宏块的显著性因子；使用每个宏块分别遍历移动巡检视频中其他图像，获得各帧图像中与该宏块最相似的图像块，进而获得各宏块的运动矢量，以及每一帧图像的显著性矩阵；根据获得的显著性矩阵，确定移动巡检视频的块效应特征值、模糊效应特征值和信息熵特征值；建立视频质量评价模型，判断视频质量是否合格，如果不合格，修正摄像头参数，直到合格为止。

Description

一种基于显著性多特征融合的移动巡检视频质量修正方法
技术领域
本发明涉及视频质量修正技术领域，尤其涉及一种基于显著性多特征融合的移动巡检视频质量修正方法。
背景技术
当前移动巡检系统，例如矿井系统，其运煤皮带机以及运输的煤流较多，工况复杂，致使人工很难真正检测皮带运输安全与否，一般通过移动巡检视频来自动检测煤流运输状况。但检测过程中，由于各种摄像环境的问题会导致视频图像不清晰，发生失真，影响检测效果。需要对移动巡检视频进行实时质量评价并修正。
对移动巡检视频进行实时质量评价实时质量评价并修正，一方面，可以通过检测移动巡检视频的反馈来修正摄像头参数，使之达到最好的摄像效果。另一方面，可以为后期超分辨率重建提供参考。
当前的视频质量评价方法主要依据模型给出的量化指标衡量视频图像质量，但都没有充分考虑人眼的视觉显著性，而这一点对于视频质量评价并修正有重要影响。前视频画面的视觉显著性只考虑静止图像的显著性，没有考虑到物体的运动特性对视觉显著性的影响。并且，在计算整段视频的特征时，一般采用一帧图像的特征值作为整段视频的特征值，却忽略了失真视频各帧特征值的波动性。上述原因造成了目前无法对移动巡检视频进行有效的质量评价并修正。
发明内容
鉴于上述的分析，本发明实施例旨在提供一种基于显著性多特征融合的移动巡检视频质量修正方法，用以解决现有技术无法对移动巡检视频进行有效的质量评价并修正的问题。
一方面，本发明实施例提供了一种基于显著性多特征融合的移动巡检视频质量修正方法，包括如下步骤：
对移动巡检视频中任一包括待检测物体的静止图像进行分块，确定分块结果中包含待检测物体识别特征的所有宏块，以及各宏块的显著性因子；
使用上述每个宏块分别遍历移动巡检视频中其他图像，获得各帧图像中与该宏块最相似的图像块，进而获得各宏块的运动矢量，结合其显著性特征因子，获得每一帧图像的显著性矩阵；
根据获得的显著性矩阵，确定移动巡检视频的块效应特征值、模糊效应特征值和信息熵特征值；
建立包含视频评价结果与视频块效应特征值、视频模糊效应特征值和信息熵特征值三者关系的视频质量评价模型，判断视频质量是否合格，如果不合格，修正摄像头参数，重新判断，直到合格为止。
上述技术方案的有益效果如下：现有技术在计算图像的特征值时，一般是直接、无区别地计算整个视频帧的所有像素点，上述技术方案是根据人眼视觉区域对图像进行分块(获得宏块)，计算出每一宏块的特征值，再利用分块显著性加权，求得整帧图像的特征值，方法更加精准、有针对性，结果更加准确。并且，现有技术在利用显著性时一般不会考虑到物体的运动特性，上述技术方案还考量了每个视频帧中每一个宏块的运动活性值(块效应特征值、模糊效应特征值和信息熵特征值)对显著性的影响，进而得出是否合格、需要修正的结论，更加贴合用户需求，用利于提升用户体验。
基于上述方法的进一步改进，所述各宏块的显著性因子通过下面公式确定
SSDSP(i,j)＝SF(x)·SC(x)·SD(x)
式中，SF(x)为频率先验，SC(x)为色彩先验，SD(x)为位置先验，x为宏块对应的像素点矩阵。
上述进一步改进方案的有益效果是：频率先验是模拟人眼视觉系统对显著物体的检测，进行了滤波，色彩先验是模拟人眼更容易被暖色调吸引的视觉特性，位置先验是模拟人体可能更关注图像的中心区域的视觉特性。通过频率先验、色彩先验、位置先验能够更加贴合人眼识别，使得识别准确率更高。
进一步，所述获得各帧图像中与该宏块最相似的图像块，进而获得各宏块的运动矢量，包括如下步骤：
获取该宏块中每个帧点的像素值；
根据下面公式中的匹配准则遍历移动巡检视频中的各帧图像，分别找出各帧图像中MAD值最小的图像块，作为与该宏块最相似的图像块
式中，fk(m,n)指所述宏块当前帧点(m,n)的像素值，fp(m+i,n+j)指移动巡检视频第p帧图像中距离帧点(m,n)相对位移为(i,j)的像素值，M、N分别为该宏块的长和宽；
根据各帧图像中与该宏块最相似的图像块的位置变化，得出各帧图像中该宏块每个帧点的相对位移(Δx'(m,n),Δy'(m,n))，进而得出各宏块的运动矢量(Δx(i,j),Δy(i,j))。
上述进一步改进方案的有益效果是：根据视频中的运动物体更容易吸引眼球的人眼识别特性，通过获取各宏块的运动矢量(Δx(i,j),Δy(i,j))进而建立每一帧图像的显著性矩阵，经大量试验证明，有助于进行准确的视频质量评价，并进行准确的质量修正。
进一步，所述获得每一帧图像的显著性矩阵，进一步包括如下步骤：
根据各宏块的运动矢量(Δx(i,j),Δy(i,j))，通过下面公式得出每个宏块的运动活性MA(i,j)
其中
式中，k是调节系数；
通过下面公式对每个宏块的运动活性MA(i,j)进行加权，获得加权后运动活性Sfinal(i,j)
Sfinal(i,j)＝SSDSP(i,j)·MA(i,j)i∈[1,Q],j∈[1,T]
式中，SSDSP为该宏块的显著性因子；
通过下面公式所述方式排列所有宏块的Sfinal(i,j)，得到待求每一帧图像的显著性矩阵Sfinal
式中，Q和T分别为对静止图像分块获得的宏块的总行数和总列数。
上述进一步改进方案的有益效果是：综合了静止图像与运动图像的识别特性，相比现有技术，能够获得效果更好的视觉显著模型(显著性矩阵Sfinal)，可以提升后续视频质量修正效果。
进一步，所述确定移动巡检视频的块效应特征值，进一步包括如下步骤：
对移动巡检视频中每一帧图像进行分块处理；所述分块处理方法与静止图像的分块方法相同；
对分块处理获得的每一图像块依次进行水平边缘检测和垂直边缘检测，根据边缘像素点个数应小于阈值一，识别出检测结果中的平滑块，进一步计算每一平滑块的水平块特征值、垂直块特征值；
根据上述获得的每一平滑块的水平块特征值和垂直块特征值，得出该视频单帧的块效应特征值B；
根据该视频所有单帧的块效应特征值B，计算出所述块效应特征值的标准差，作为待求整段移动巡检视频的块效应特征值Bvideo。
上述进一步改进方案的有益效果是：只统计了平滑块的块效应特征值，使得特征值结果更为精准，能够更加准确地衡量视频平滑程度质量，且减少了计算量。
进一步，通过下面公式，得出每一平滑块的水平块特征值
其中
dh(i,Kj)＝x(i,Kj)-x(i,Kj-1),j∈[1,N-1]
式中，为小于N/K的最大整数，M为平滑块垂直方向尺寸，N表示平滑块水平方向尺寸，Kj表示压缩尺寸，x()为像素值；
通过下面公式，得出每一平滑块的垂直块特征值
其中
dv(Ki,j)＝x(Ki,j)-x(Ki-1,j,),i∈[1,M-1]
式中，为小于M/K的最大整数，Ki表示压缩尺寸；
所述视频单帧的块效应特征值B为
式中，Si为第i个平滑块对应的显著性矩阵中的加权后运动活性，Ssum为所有平滑块的加权后运动活性之和。
上述进一步改进方案的有益效果是：上述公式是发明人经过大量试验总结出的规律性成果，利用特征值加权，能够有效提高块效应特征值计算的准确性。
进一步，所述确定移动巡检视频的视频模糊效应特征值，进一步包括如下步骤：
对移动巡检视频中每一帧图像进行分块处理；所述分块处理方法与静止图像的分块方法相同；
对分块处理获得的每一图像块分别进行边缘检测，根据边缘像素点个数应大于阈值二，识别出检测结果中属于边缘块的图像块，进一步计算每一边缘块的模糊度量值；
根据获得的每一边缘块的模糊度量值，结合显著性矩阵，获得该视频单帧的模糊效应特征值D；
根据该视频所有单帧的模糊效应特征值D，计算出所述模糊效应特征值的标准差，作为待求整段移动巡检视频的模糊效应特征值Dvideo。
上述进一步改进方案的有益效果是：只统计了边缘块的模糊度量值，使得模糊特征值计算结果更为精准，能够更加准确地衡量视频模糊程度质量，进而提高视频质量评价的准确性，且减少了计算量。
进一步，第Rb个边缘块的模糊度量值为
式中，k(ei)为边缘块的边缘像素ei的宽度，kJNB(ei)为边缘像素ei局部对比度系数，R为有理数，β为一常数；
所述视频单帧的模糊效应特征值为
式中，L为边缘块个数，S′i为第i个边缘块的加权后运动活性，S′avg为所有边缘块加权后运动活性的均值。
上述进一步改进方案的有益效果是：上述公式是发明人经过大量试验总结出的规律性成果，直接应用，能够有效减少设计成本，并提高模糊效应特征值计算的准确性，进而提高视频质量评价的准确性。
进一步，所述确定移动巡检视频的信息熵特征值，进一步包括如下步骤：
将移动巡检视频对前后帧图像作差，将获得的视频帧差图像转化为灰度矩阵；
将获得的灰度矩阵与显著性矩阵Sfinal进行点乘加权，获得具有显著性的视频帧差图像；
将所述具有显著性的视频帧差图像灰度分成k个等级，根据下面公式获得该视频单帧的信息熵特征值E
式中，pi为第i级灰度在具有显著性的视频帧差图像中出现的概率；
根据该视频所有单帧的信息熵特征值E，计算出所述信息熵特征值的标准差，作为待求整段移动巡检视频的信息熵特征值Evideo。
上述进一步改进方案的有益效果是：考虑到视频的时域失真，获取视频所有单帧的信息熵特征值，进而获得整段移动巡检视频的信息熵特征值Evideo，能够有效提升视频质量评价方法的准确性。
进一步，所述视频质量评价模型为
式中，α、β、γ1、γ2、γ3分别为事先训练获得的拟合参数，SS为预设阈值；
满足上述频质量评价模型中的不等式，判定视频质量合格；否则，判定视频质量不合格；
所述摄像头参数包括焦距、分辨率、光圈。
上述进一步改进方案的有益效果是：上述公式是发明人经过大量试验总结出的规律性成果，直接应用，能够缩短设计时间，减少成本。并且，所述视频质量评价模型考了个多方面的特征，能够较全面地评价当前视频的质量。
本发明中，上述各技术方案之间还可以相互组合，以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述，并且，部分优点可从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书以及附图中所特别指出的内容中来实现和获得。
附图说明
附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。
图1为本发明实施例1方法步骤示意图；
图2为本发明实施例2方法流程示意图。
具体实施方式
下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。
实施例1
本发明的一个具体实施例，公开了一种基于显著性多特征融合的移动巡检视频质量修正方法，如图1所示，包括如下步骤：
S1.对移动巡检视频中任一包括待检测物体的静止图像进行分块，确定分块结果中包含待检测物体识别特征的所有宏块，以及各宏块的显著性因子；
S2.使用上述每个宏块分别遍历移动巡检视频中其他图像，获得各帧图像中与该宏块最相似的图像块，进而获得各宏块的运动矢量，结合其显著性特征因子，获得每一帧图像的显著性矩阵；
S3.根据获得的显著性矩阵，确定移动巡检视频的块效应特征值、模糊效应特征值和信息熵特征值；
S4.建立包含视频评价结果与视频块效应特征值、视频模糊效应特征值和信息熵特征值三者关系的视频质量评价模型，判断视频质量是否合格，如果不合格，修正摄像头参数，重新判断，直到合格为止。
与现有技术相比，现有技术在计算图像的特征值时，一般是直接、无区别地计算整个视频帧的所有像素点，本实施例提供的方法是根据人眼视觉区域对图像进行分块(获得宏块)，计算出每一宏块的特征值，再利用分块显著性加权，求得整帧图像的特征值，方法更加精准、有针对性，结果更加准确。并且，现有技术在利用显著性时一般不会考虑到物体的运动特性，本实施例提供的方法还考量了每个视频帧中每一个宏块的运动活性值(块效应特征值、模糊效应特征值和信息熵特征值)对显著性的影响，进而得出是否合格、需要修正的结论，更加贴合用户需求，用利于提升用户体验。
实施例2
在实施例1的基础上进行优化，整体思路如图2所示，步骤S1中，各宏块的显著性因子可通过下面公式确定
SSDSP(i,j)＝SF(x)·SC(x)·SD(x) (1)
式中，SF(x)为频率先验，SC(x)为色彩先验，SD(x)为位置先验，x为宏块对应的像素点矩阵，(i，j)表示像素点。
具体地，SF(x)可通过如下步骤获得：
S111.对所述宏块进行Lab颜色空间转换，获得三色通道中的L通道、a通道和b通道。
S112.根据上述获得的三色通道，结合带通滤波，通过下面公式获得频率先验SF(x)
其中
g(x)＝f(G(u)) (3)
式中，u＝(u,v)∈R2为像素点的频域坐标，ω0为带通滤波器的中心频率，σF为控制滤波的带宽，f()为反傅里叶变换函数。
具体地，SC(x)可通过如下步骤获得：
S121.对a通道和b通道中各像素点的像素值分别进行归一化处理
式中，fa(x)和fb(x)分别为a通道和b通道的像素值，min a和min b分别为fa(x)和fb(x)中的最小值，max a和max b分别表示fa(x)和fb(x)中的最大值。
通过上面归一化，将所有像素点值归一化到(fan,fbn)∈[0,1]×[0,1]范围内。其中，值为(1,1)的表示色调最暖、显著性最高的像素点，同样，值为(0,0)的表示色调最冷、显著性最低的像素点。
S122.根据上述获得的fan(x)和fbn(x)，通过下面公式得出色彩先验SC(x)
式中，σC为根据需求设置的一常数。
具体地，SD(x)可通过下面公式获得
式中，σD为根据需求设置的一常数，c为视频帧的中心点。
优选地，步骤S2中，所述获得各帧图像中与该宏块最相似的图像块，进而获得各宏块的运动矢量，进一步包括如下步骤：
S21.获取该宏块中每个帧点的像素值。
S22.根据下面公式中的匹配准则遍历移动巡检视频中的各帧图像，分别找出各帧图像中MAD值最小的图像块，作为与该宏块最相似的图像块
式中，fk(m,n)指该宏块当前帧点(m,n)的像素值，fp(m+i,n+j)指移动巡检视频第p帧图像中距离帧点(m,n)相对位移为(i,j)的像素值，M、N分别为该宏块的长和宽。
S23.根据各帧图像中与该宏块最相似的图像块的位置变化(视频帧先后关系)，得出各帧图像中该宏块每个帧点的相对位移(Δx'(m,n),Δy'(m,n))，进而得出各宏块的运动矢量(Δx(i,j),Δy(i,j))。可选地，可采用最佳逼近直线方法，得出各宏块的运动矢量(Δx(i,j),Δy(i,j))。
优选地，步骤S2中，所述获得每一帧图像的显著性矩阵，进一步包括如下步骤：
S24.根据各宏块的运动矢量(Δx(i,j),Δy(i,j))，通过下面公式得出每个宏块的运动活性MA(i,j)
其中
式中，k是调节系数。
S25.通过下面公式对每个宏块的运动活性MA(i,j)进行加权，获得加权后运动活性(也称显著值)Sfinal(i,j)
Sfinal(i,j)＝SSDSP(i,j)·MA(i,j)i∈[1,Q],j∈[1,T] (11)
式中，SSDSP为该宏块的显著性因子。
S26.通过下面公式所述方式排列所有宏块的Sfinal(i,j)，得到待求每一帧图像的显著性矩阵Sfinal
式中，Q和T分别为对静止图像分块获得的宏块的总行数和总列数。
优选地，步骤S3中，所述确定移动巡检视频的块效应特征值，进一步包括如下步骤：
S311.对移动巡检视频中每一帧图像进行分块处理；所述分块处理方法与静止图像的分块方法相同。
S312.对分块处理获得的每一图像块依次进行水平边缘检测和垂直边缘检测，根据边缘像素点个数应小于阈值一，识别出检测结果中的平滑块，进一步计算每一平滑块的水平块特征值、垂直块特征值。每一平滑块的水平块特征值为
其中
dh(i,Kj)＝x(i,Kj)-x(i,Kj-1),j∈[1,N-1] (14)
式中，为小于N/K的最大整数，M为平滑块垂直方向尺寸，N表示平滑块水平方向尺寸，Kj表示压缩尺寸，x()为像素值。
每一平滑块的垂直块特征值为
其中
dv(Ki,j)＝x(Ki,j)-x(Ki-1,j,),i∈[1,M-1] (16)
式中，为小于M/K的最大整数，Ki表示压缩尺寸。
S33.根据上述获得的每一平滑块的水平块特征值和垂直块特征值，得出该视频单帧的块效应特征值B
式中，Si为第i个平滑块对应的显著性矩阵中的加权后运动活性(显著值)，Ssum为所有平滑块的加权后运动活性之和。
S314.根据该视频所有单帧的块效应特征值B，计算出所述块效应特征值的标准差，作为待求整段移动巡检视频的块效应特征值Bvideo。
优选地，步骤S3中，所述确定移动巡检视频的视频模糊效应特征值，进一步包括如下步骤：
S321.对移动巡检视频中每一帧图像进行分块处理；所述分块处理方法与静止图像的分块方法相同。
S322.对分块处理获得的每一图像块分别进行边缘检测，根据边缘像素点个数应大于阈值二，识别出检测结果中属于边缘块的图像块，进一步计算每一边缘块的模糊度量值。第Rb个边缘块的模糊度量值为
式中，k(ei)为边缘块的边缘像素ei的宽度，kJNB(ei)为边缘像素ei局部对比度系数，R为有理数，β为一常数。
S323.根据获得的每一边缘块的模糊度量值，结合显著性矩阵，获得该视频单帧的模糊效应特征值D
式中，L为边缘块个数，S′i为第i个边缘块的加权后运动活性，S′avg为所有边缘块加权后运动活性的均值。
S324.根据该视频所有单帧的模糊效应特征值D，计算出所述模糊效应特征值的标准差，作为待求整段移动巡检视频的模糊效应特征值Dvideo。
优选地，步骤S3中，所述确定移动巡检视频的信息熵特征值，进一步包括如下步骤：
S331.将移动巡检视频对前后帧图像作差，将获得的视频帧差图像转化为灰度矩阵；
S332.将获得的灰度矩阵与显著性矩阵Sfinal进行点乘加权，获得具有显著性的视频帧差图像；
S333.将所述具有显著性的视频帧差图像灰度分成k个等级，根据下面公式获得该视频单帧的信息熵特征值E
式中，pi为第i级灰度在具有显著性的视频帧差图像中出现的概率。
S334.根据该视频所有单帧的信息熵特征值E，计算出所述信息熵特征值的标准差，作为待求整段移动巡检视频的信息熵特征值Evideo。
优选地，步骤S4中，所述视频质量评价模型为
式中，α、β、γ1、γ2、γ3分别为事先训练获得的拟合参数，SS为预设阈值，S为视频质量评价指标。
满足上述频质量评价模型中的不等式(21)，判定视频质量合格；否则，判定视频质量不合格。
优选地，所述摄像头参数包括焦距、分辨率、光圈。
与实施例1相比，本实施例提供的方法综合了视觉显著性、视频运动特性以及多种失真特征，能够更加准确地评价当前视频的质量，进而精准地修正摄像头参数，获得良好的视频拍摄效果。
本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读存储介质中。其中，所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种基于显著性多特征融合的移动巡检视频质量修正方法，其特征在于，包括如下步骤：
对移动巡检视频中任一包括待检测物体的静止图像进行分块，确定分块结果中包含待检测物体识别特征的所有宏块，以及各宏块的显著性因子；
使用上述每个宏块分别遍历移动巡检视频中其他图像，获得各帧图像中与该宏块最相似的图像块，进而获得各宏块的运动矢量，结合其显著性特征因子，获得每一帧图像的显著性矩阵；
根据获得的显著性矩阵，确定移动巡检视频的块效应特征值、模糊效应特征值和信息熵特征值；
建立包含视频评价结果与视频块效应特征值、视频模糊效应特征值和信息熵特征值三者关系的视频质量评价模型，判断视频质量是否合格，如果不合格，修正摄像头参数，重新判断，直到合格为止。
2.根据权利要求1所述的基于显著性多特征融合的移动巡检视频质量修正方法，其特征在于，所述各宏块的显著性因子通过下面公式确定
SSDSP(i,j)＝SF(x)·SC(x)·SD(x)
式中，SF(x)为频率先验，SC(x)为色彩先验，SD(x)为位置先验，x为宏块对应的像素点矩阵。
3.根据权利要求1或2所述的基于显著性多特征融合的移动巡检视频质量修正方法，其特征在于，所述获得各帧图像中与该宏块最相似的图像块，进而获得各宏块的运动矢量，包括如下步骤：
获取该宏块中每个帧点的像素值；
根据下面公式中的匹配准则遍历移动巡检视频中的各帧图像，分别找出各帧图像中MAD值最小的图像块，作为与该宏块最相似的图像块
式中，fk(m,n)指所述宏块当前帧点(m,n)的像素值，fp(m+i,n+j)指移动巡检视频第p帧图像中距离帧点(m,n)相对位移为(i,j)的像素值，M、N分别为该宏块的长和宽；
根据各帧图像中与该宏块最相似的图像块的位置变化，得出各帧图像中该宏块每个帧点的相对位移(Δx'(m,n),Δy'(m,n))，进而得出各宏块的运动矢量(Δx(i,j),Δy(i,j))。
4.根据权利要求3所述的基于显著性多特征融合的移动巡检视频质量修正方法，其特征在于，所述获得每一帧图像的显著性矩阵，进一步包括如下步骤：
根据各宏块的运动矢量(Δx(i,j),Δy(i,j))，通过下面公式得出每个宏块的运动活性MA(i,j)
其中
式中，k是调节系数；
通过下面公式对每个宏块的运动活性MA(i,j)进行加权，获得加权后运动活性Sfinal(i,j)
Sfinal(i,j)＝SSDSP(i,j)·MA(i,j)i∈[1,Q],j∈[1,T]
式中，SSDSP(i,j)为该宏块的显著性因子，Q和T分别为对静止图像分块获得的宏块的总行数和总列数；
通过下面公式所述方式排列所有宏块的Sfinal(i,j)，得到待求每一帧图像的显著性矩阵Sfinal
5.根据权利要求4所述的基于显著性多特征融合的移动巡检视频质量修正方法，其特征在于，所述确定移动巡检视频的块效应特征值，进一步包括如下步骤：
对移动巡检视频中每一帧图像进行分块处理；所述分块处理方法与静止图像的分块方法相同；
对分块处理获得的每一图像块依次进行水平边缘检测和垂直边缘检测，根据边缘像素点个数应小于阈值一，识别出检测结果中的平滑块，进一步计算每一平滑块的水平块特征值、垂直块特征值；
根据上述获得的每一平滑块的水平块特征值和垂直块特征值，得出该视频单帧的块效应特征值B；
根据该视频所有单帧的块效应特征值B，计算出所述块效应特征值的标准差，作为待求整段移动巡检视频的块效应特征值Bvideo。
6.根据权利要求5所述的基于显著性多特征融合的移动巡检视频质量修正方法，其特征在于，通过下面公式，得出每一平滑块的水平块特征值
其中
dh(i,Kj)＝x(i,Kj)-x(i,Kj-1),j∈[1,N-1]
式中，为小于N/K的最大整数，M为平滑块垂直方向尺寸，N表示平滑块水平方向尺寸，Kj表示压缩尺寸，x()为像素值；
通过下面公式，得出每一平滑块的垂直块特征值
其中
dv(Ki,j)＝x(Ki,j)-x(Ki-1,j,),i∈[1,M-1]
式中，为小于M/K的最大整数，Ki表示压缩尺寸；
所述视频单帧的块效应特征值B为
式中，Si为第i个平滑块对应的显著性矩阵中的加权后运动活性，Ssum为所有平滑块的加权后运动活性之和。
7.根据权利要求5或6所述的基于显著性多特征融合的移动巡检视频质量修正方法，其特征在于，所述确定移动巡检视频的视频模糊效应特征值，进一步包括如下步骤：
对移动巡检视频中每一帧图像进行分块处理；所述分块处理方法与静止图像的分块方法相同；
对分块处理获得的每一图像块分别进行边缘检测，根据边缘像素点个数应大于阈值二，识别出检测结果中属于边缘块的图像块，进一步计算每一边缘块的模糊度量值；
根据获得的每一边缘块的模糊度量值，结合显著性矩阵，获得该视频单帧的模糊效应特征值D；
根据该视频所有单帧的模糊效应特征值D，计算出所述模糊效应特征值的标准差，作为待求整段移动巡检视频的模糊效应特征值Dvideo。
8.根据权利要求7所述的基于显著性多特征融合的移动巡检视频质量修正方法，其特征在于，第Rb个边缘块的模糊度量值为
式中，k(ei)为边缘块的边缘像素ei的宽度，kJNB(ei)为边缘像素ei局部对比度系数，R为有理数，β为一常数；
所述视频单帧的模糊效应特征值为
式中，L为边缘块个数，S′i为第i个边缘块的加权后运动活性，S′avg为所有边缘块加权后运动活性的均值。
9.根据权利要求8所述的基于显著性多特征融合的移动巡检视频质量修正方法，其特征在于，所述确定移动巡检视频的信息熵特征值，进一步包括如下步骤：
将移动巡检视频对前后帧图像作差，将获得的视频帧差图像转化为灰度矩阵；
将获得的灰度矩阵与显著性矩阵Sfinal进行点乘加权，获得具有显著性的视频帧差图像；
将所述具有显著性的视频帧差图像灰度分成k个等级，根据下面公式获得该视频单帧的信息熵特征值E
式中，pi为第i级灰度在具有显著性的视频帧差图像中出现的概率；
根据该视频所有单帧的信息熵特征值E，计算出所述信息熵特征值的标准差，作为待求整段移动巡检视频的信息熵特征值Evideo。
10.根据权利要求9所述的基于显著性多特征融合的移动巡检视频质量修正方法，其特征在于，所述视频质量评价模型为
式中，α、β、γ1、γ2、γ3分别为事先训练获得的拟合参数，SS为预设阈值；
满足上述频质量评价模型中的不等式，判定视频质量合格；否则，判定视频质量不合格；
所述摄像头参数包括焦距、分辨率、光圈。
CN201910700754.0A 2019-07-31 2019-07-31 一种基于显著性多特征融合的移动巡检视频质量修正方法 Active CN110312124B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910700754.0A CN110312124B (zh) 2019-07-31 2019-07-31 一种基于显著性多特征融合的移动巡检视频质量修正方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910700754.0A CN110312124B (zh) 2019-07-31 2019-07-31 一种基于显著性多特征融合的移动巡检视频质量修正方法

Publications (2)

Publication Number Publication Date
CN110312124A true CN110312124A (zh) 2019-10-08
CN110312124B CN110312124B (zh) 2020-09-08

Family

ID=68082511

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910700754.0A Active CN110312124B (zh) 2019-07-31 2019-07-31 一种基于显著性多特征融合的移动巡检视频质量修正方法

Country Status (1)

Country Link
CN (1) CN110312124B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111311584A (zh) * 2020-02-24 2020-06-19 北京百度网讯科技有限公司 视频质量评估方法及装置、电子设备、可读介质
CN113055666A (zh) * 2019-12-26 2021-06-29 武汉Tcl集团工业研究院有限公司 一种视频质量评估方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040028134A1 (en) * 2002-08-06 2004-02-12 Raghavan Subramaniyan Method and apparatus for determining block match quality
CN103793925A (zh) * 2014-02-24 2014-05-14 北京工业大学 融合时空特征的视频图像视觉显著程度检测方法
CN106875396A (zh) * 2016-12-28 2017-06-20 深圳信息职业技术学院 基于运动特性的视频显著区的提取方法和装置
CN107784651A (zh) * 2017-10-31 2018-03-09 中国矿业大学 一种基于模糊检测加权的模糊图像质量评价方法
CN108460751A (zh) * 2017-02-22 2018-08-28 上海文广互动电视有限公司 基于视觉神经的4k超高清图像质量评价方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040028134A1 (en) * 2002-08-06 2004-02-12 Raghavan Subramaniyan Method and apparatus for determining block match quality
CN103793925A (zh) * 2014-02-24 2014-05-14 北京工业大学 融合时空特征的视频图像视觉显著程度检测方法
CN106875396A (zh) * 2016-12-28 2017-06-20 深圳信息职业技术学院 基于运动特性的视频显著区的提取方法和装置
CN108460751A (zh) * 2017-02-22 2018-08-28 上海文广互动电视有限公司 基于视觉神经的4k超高清图像质量评价方法
CN107784651A (zh) * 2017-10-31 2018-03-09 中国矿业大学 一种基于模糊检测加权的模糊图像质量评价方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113055666A (zh) * 2019-12-26 2021-06-29 武汉Tcl集团工业研究院有限公司 一种视频质量评估方法及装置
CN113055666B (zh) * 2019-12-26 2022-08-09 武汉Tcl集团工业研究院有限公司 一种视频质量评估方法及装置
CN111311584A (zh) * 2020-02-24 2020-06-19 北京百度网讯科技有限公司 视频质量评估方法及装置、电子设备、可读介质
CN111311584B (zh) * 2020-02-24 2023-06-23 北京百度网讯科技有限公司 视频质量评估方法及装置、电子设备、可读介质

Also Published As

Publication number Publication date
CN110312124B (zh) 2020-09-08

Similar Documents

Publication Publication Date Title
CN108520504B (zh) 一种基于生成对抗网络端到端的模糊图像盲复原方法
US7187811B2 (en) Method for image resolution enhancement
CN101930543B (zh) 一种自拍视频中眼睛图像的调正方法
CN104486618B (zh) 视频图像的噪声检测方法及装置
CN110879982B (zh) 一种人群计数系统及方法
CN104700405B (zh) 一种前景检测方法和系统
CN109978882A (zh) 一种基于多模态融合的医疗影像目标检测方法
CN104182983B (zh) 基于角点特征的高速公路监控视频清晰度的检测方法
CN110264426A (zh) 图像畸变校正方法和装置
CN101996406A (zh) 无参考结构清晰度图像质量评价方法
MX2012010602A (es) Aparato para el reconocimiento de la cara y metodo para el reconocimiento de la cara.
CN104715238A (zh) 一种基于多特征融合的行人检测方法
CN102609939A (zh) 一种tfds图像质量评价方法及系统
CN106940791B (zh) 一种基于低维方向梯度直方图的行人检测方法
CN108596087A (zh) 一种基于双网络结果的驾驶疲劳程度检测回归模型
CN110032970A (zh) 高准确率的活体检测方法、装置、计算机设备及存储介质
CN111507426A (zh) 基于视觉融合特征的无参考图像质量分级评价方法及装置
CN110312124A (zh) 一种基于显著性多特征融合的移动巡检视频质量修正方法
CN109784230A (zh) 一种人脸视频图像质量寻优方法、系统及设备
CN108537787A (zh) 一种人脸图像的质量判定方法
CN104574381A (zh) 一种基于局部二值模式的全参考图像质量评价方法
CN106127234A (zh) 基于特征字典的无参考图像质量评价方法
CN104598914A (zh) 一种肤色检测的方法及装置
CN107358155A (zh) 一种鬼脸动作检测方法和装置及活体识别方法和系统
CN114708532A (zh) 一种监控视频质量评估方法、系统及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant