CN110335252B - 基于背景特征点运动分析的图像质量检测方法 - Google Patents

基于背景特征点运动分析的图像质量检测方法 Download PDF

Info

Publication number
CN110335252B
CN110335252B CN201910481126.8A CN201910481126A CN110335252B CN 110335252 B CN110335252 B CN 110335252B CN 201910481126 A CN201910481126 A CN 201910481126A CN 110335252 B CN110335252 B CN 110335252B
Authority
CN
China
Prior art keywords
points
characteristic
feature
point
feature points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910481126.8A
Other languages
English (en)
Other versions
CN110335252A (zh
Inventor
刘贇
王凡
胡小鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian University of Technology
Original Assignee
Dalian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian University of Technology filed Critical Dalian University of Technology
Priority to CN201910481126.8A priority Critical patent/CN110335252B/zh
Publication of CN110335252A publication Critical patent/CN110335252A/zh
Application granted granted Critical
Publication of CN110335252B publication Critical patent/CN110335252B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及基于背景特征点运动分析的图像质量检测方法，属于图像处理技术领域。具体步骤包括特征点提取、特征点描述、特征点跟踪及跟踪特征提取、通构造多分类器，检测图像质量异常。本发明对特征点进行跟踪提取运动特征，构造SVM分类器，对图像质量异常进行识别和分类，实现图像质量检测功能。

Description

基于背景特征点运动分析的图像质量检测方法
技术领域
本发明涉及基于背景特征点运动分析的图像质量检测方法，属于图像处理技术领域。
背景技术
近些年来，随着大量图像质量检测方法的提出，图像质量检测技术得到了快速的发展，但是仍然存在着很多不足。在摄像机镜头模糊检测中，一些常用方法需要清晰的图片做对比，同时计算时间较长，很难满足实际应用系统的实时性要求；在摄像机镜头遮挡检测中，一些常用方法可能会对体积较大的前景目标发生误判；在摄像机镜头移位检测中，一些常用方法受场景限制，实时性差，更为重要的是无法适用于摄像头存在剧烈抖动的场景。
发明内容
本发明旨在克服现有技术中存在的不足，针对实际应用的视频监控中摄像机模糊、遮挡、移位等图像质量异常，提出一种基于背景特征点运动分析的图像质量检测方法。
首先提取图像中的特征点，并在每一个特征点的邻域提取Brief特征描述；为保证算法实时性，将Brief特征描述子进行简化，只在特征点邻域边缘上均匀选取26个点对来描述特征点；在特征点可靠跟踪的基础上，提取视频图像运动特征，构建SVM分类器，对图像质量异常进行识别和分类，实现图像质量检测功能。
本发明的技术方案：
基于背景特征点运动分析的图像质量检测方法，步骤如下：
步骤1，特征点提取；
步骤2，特征点描述；
步骤3，特征点跟踪及运动特征提取；
步骤4，构造多分类器，检测图像质量异常。
本发明原理：图像异常种类不同，特征点的运动特征不同：摄像机镜头模糊时，图像中特征点方向多变、稳定性差(特征点为非局部极大点)、轨迹短；摄像机镜头移位时，图像中特征点速度大、轨迹长、且移动方向基本一致；摄像机镜头被遮挡时，图像中特征点的所有运动特征大致呈现两种，这两种特征点的个数分别占总特征点个数的比例在每个运动特征中基本一致。
本发明的有益效果：本发明提出一种基于背景特征点运动分析的图像质量检测方法，首先提取图像中的特征点，并在每一个特征点的邻域提取Brief特征描述；为保证提高实时性，将Brief特征描述子进行简化，只在特征点邻域边缘上均匀选取少量的点(26个点)对来描述特征点；在特征点可靠跟踪的基础上，提取视频图像运动特征，构建SVM分类器，根据图像异常种类不同，特征点的运动特征不同的原理，实现快速的图像质量异常进行识别和分类功能。
附图说明
图1是Brief特征描述子点对选择示意图。
图2是本发明定义的Canny的8个边缘梯度方向。
具体实施方式
以下结合附图和技术方案，进一步说明本发明的具体实施方式。
基于背景特征点运动分析的图像质量检测方法，步骤如下：
第一步：图像特征点提取。
采用Good Feature To Track方法提取图像的特征点，计算每一帧读入的视频图像上的Shi-Tomasi角点。
(1.1)首先利用水平方向的差分算子与垂直方向的差分算子对图像的所有像素点进行滤波，滤波后的矩阵分别为Ix和Iy，同时计算出Ix 2、Iy 2、IxIy和IyIx，组成2×2的矩阵。
(1.2)对步骤(1.1)中的2×2矩阵进行高斯滤波，滤波后矩阵为A；计算矩阵A的特征值λ1和λ2，根据条件λ1≥λ2且λ2≥kλ2max，提取出图像的粗特征点；其中，k为常数，取值通常为0.04-0.06，λ2max是图像的所有像素点特征值λ1和λ2中小的特征值其自身的最大值。
在提取出粗特征点后，根据预先设定的距离阈值和速度阈值、所需提取的特征点数量及特征点之间相邻的最小距离，筛选出特征点中的局部极大特征点，即为最终特征点；筛选方法如下：
将粗特征点按特征值降序方式进行排序，从特征点质量最高的特征点(排序后的第一个)开始，将该特征点邻域内(最小距离之内)的其它特征点删除，对剩下的特征点再次进行降序排列并筛选；以此类推，对降序排序的序列中每个特征点分别进行筛选，最后返回所需提取的特征点数量对应的局部极大特征点，得到最终特征点；其中，特征点邻域为相邻特征点的最小距离，是按照像素距离设置的八邻域，OpenCV中已经定义。
第二步：图像特征点描述。
利用Brief特征描述子对第一步提取的局部极大特征点进行描述，用于判断记录第一帧图像与最后一帧图像相同位置特征点是否相互匹配。Brief是一种通过二进制数进行编码的特征描述子，与用区域灰度值方法图描述对特征点进行描述方法不同，Brief提高了匹配的速度。
本发明对Brief算子进行简化，只在特征点邻域边缘上均匀选取多个点对来描述特征点，提高运算速度(可以根据系统的实时性要求，增减或减少选取点对的数目，本实施例中取26对点对)。步骤如下：
(2.1)为减少噪声干扰，先对图像进行高斯滤波；然后以特征点为中心，选取特征点的邻域窗口；在邻域窗口的每条边界上的两个端点及中心点中均匀选取两个点作为一组，其中，两条边界的交点视为同一点，如图1所示，比较两个点像素的大小，按照公式(1)进行二进制赋值。
Figure BDA0002083676190000031
其中，p(x)和p(y)分别是随机点x＝(u1,v1)和y＝(u2,v2)的像素值；τ(p；x,y)为选取的点对中二者像素大小比较后的取值。
(2.2)在特征点邻域窗口的边缘上均匀选取多对点对(本实施例中为26对点对)，按照步骤(2.1)的方法重复进行二进制幅值，最后形成的二进制编码即为特征点的描述子；并计算特征点的描述子之间的汉明距离。
由于Brief特征描述子仅用二进制数(0和1)对特征点进行描述，所以在匹配时仅需要统计Brief描述子之间的汉明距离(Hamming)。实验数据证明，相匹配的特征点的Hamming距离则远小于12，而不能相互匹配的Brief描述子的Hamming距离在12左右。
第三步：特征点跟踪及运动特征提取。
图像异常种类不同，特征点的运动特征不同，为了能够检测出系统的图像质量异常，并对图像异常种类进行分类，采用LK光流法对第一步中提取的特征点进行跟踪，在对特征点跟踪的同时，提取特征点的以下运动特征：
(a)图像中提取的特征点总数N；
(b)当前跟踪的点仍然为局部极大点的个数N1，计算N1/N；
(c)根据设置的距离阈值参数dTh，将特征点移动距离进行分为大范围、小范围两类，如果特征点移动距离d＞dTh，则特征点为大范围运动，记录大范围运动的特征点个数N2；否则，特征点为小范围运动，小范围运动的特征点个数为N3＝N-N2；同时，计算N2/N和N3/N。
(d)在运动方向上，按照9个Canny方向，计算每个方向上特征点的个数Ci，统计特征点的运动方向分布；找出Ci的最大值Cmax，即沿着i方向运动特征点个数最多，记录Ki＝Ci/N。9个Canny方向分别为8个边缘梯度方向与1个非边缘方向，如图2所示，其中p(x,y)为图像中每个像素点坐标，箭头方向为8个边缘梯度方向。
(e)参照特征点移动距离判断方法，根据设置的速度阈值参数vTh，将特征点运动分为大速度运动与小速度运动，如果特征点移动距离v＞vTh，则特征点为大速度运动，记录大速度运动的特征点个数N4，否则，特征点为小速度运动，小速度运动的特征点个数为N5＝N-N4，并计算N4/N和N5/N；同时计算所有特征点的平均移动速度V0。
(f)根据LK光流法的状态标记，统计跟踪停止特征点的个数M，计算跟踪停止特征点的个数所占总特征点个数的比例M/N。
(g)计算所有跟踪停止特征点的平均轨迹长度ds。
(h)根据预先设定的距离阈值和速度阈值，记录跟踪停止特征点中大范围运动特征点个数及小范围运动特征点个数分别为N6和N7，并计算N6/N和N7/N。
(i)根据第二步中的特征点描述子之间的汉明距离，记录第一帧图像与最后一帧图像之间相匹配的特征点个数N8(相匹配的特征点可能为背景特征点)，及不能相匹配的特征点个数N9＝N-N8。
第四步：构造多分类器，检测图像质量异常。
在监督学习算法中多分类器有着非常广泛的应用，而且在解决图像分类问题时有着优异的效果。
通过实际应用系统提供的模拟摄像机正常、模糊、遮挡和移位四种情况下视频图像的样本数据，并根据第三步中不同图像质量情况下提取的所有特征点的运动特征，采用OpenCV中的已经封装好的方法构造SVM多分类器，定义不同的图像质量情况，再应用到系统中检测图像质量异常并将异常进行分类。
根据相应的测试结果表明，本发明提出的基于背景特征点跟踪的图像质量检测方法，能够实时检测图像质量异常并将异常进行分类。

Claims (3)

1.基于背景特征点运动分析的图像质量检测方法，其特征在于，步骤如下：
第一步：图像特征点提取
采用Good Feature To Track方法提取图像的特征点，计算每一帧读入的视频图像上的Shi-Tomasi角点；
(1.1)首先利用水平方向的差分算子与垂直方向的差分算子对图像的所有像素点进行滤波，滤波后的矩阵分别为Ix和Iy，同时计算出Ix 2、Iy 2、IxIy和IyIx，组成2×2的矩阵；
(1.2)对步骤(1.1)中的2×2矩阵进行高斯滤波，滤波后矩阵为A；计算矩阵A的特征值λ1和λ2，根据条件λ1≥λ2且λ2≥kλ2max，提取出图像的粗特征点；其中，k为常数，λ2max是图像的所有像素点特征值λ1和λ2中小的特征值其自身的最大值；
在提取出粗特征点后，根据预先设定的阈值、所需提取的特征点数量及特征点之间相邻的最小距离，筛选出特征点中的局部极大特征点，即为最终特征点；筛选方法如下：
将粗特征点按特征值降序方式进行排序，从特征点质量最高的特征点开始，将该特征点邻域内的其它特征点删除，对剩下的特征点再次进行降序排列并筛选；以此类推，对降序排序的序列中每个特征点分别进行筛选，最后返回所需提取的特征点数量对应的局部极大特征点，得到最终特征点；
第二步：图像特征点描述
利用简化的Brief特征描述子对第一步提取的局部极大特征点进行描述，用于判断记录第一帧图像与最后一帧图像相同位置特征点是否相互匹配；步骤如下：
(2.1)为减少噪声干扰，先对图像进行高斯滤波；然后以特征点为中心，选取特征点的邻域窗口；在邻域窗口的每条边界上的两个端点及中心点中均匀选取两个点作为一组，其中，两条边界的交点视为同一点，比较两个点像素的大小，按照公式(1)进行二进制赋值；
Figure FDA0002771712530000021
其中，p(x)和p(y)分别是随机点x＝(u1,v1)和y＝(u2,v2)的像素值；τ(p；x,y)为选取的点对中二者像素大小比较后的取值；
(2.2)在特征点邻域窗口的边缘上均匀选取多对点对，按照步骤(2.1)的方法重复进行二进制赋值，最后形成的二进制编码即为特征点的描述子；并计算特征点的描述子之间的汉明距离；
第三步：特征点跟踪及运动特征提取
采用LK光流法对第一步中提取的特征点进行跟踪，在对特征点跟踪的同时，提取特征点的以下运动特征：
(a)图像中提取的特征点总数N；
(b)当前跟踪的点仍然为局部极大特征点的个数N1，计算N1/N；
(c)根据设置的距离阈值参数dTh，将特征点移动距离进行分为大范围和小范围两类，如果特征点移动距离d＞dTh，则特征点为大范围运动，记录大范围运动的特征点个数N2；否则，特征点为小范围运动，小范围运动的特征点个数为N3＝N-N2；计算N2/N和N3/N；
(d)在运动方向上，按照9个Canny方向，计算每个方向上特征点的个数Ci，统计特征点的运动方向分布；找出Ci的最大值Cmax，即沿着i方向运动特征点个数最多，记录Ki＝Ci/N；9个Canny方向分别为8个边缘梯度方向与1个非边缘方向；
(e)参照特征点移动距离判断方法，根据设置的速度阈值参数vTh，将特征点运动分为大速度运动与小速度运动，如果特征点移动距离v＞vTh，则特征点为大速度运动，记录大速度运动的特征点个数N4，否则，特征点为小速度运动，小速度运动的特征点个数为N5＝N-N4，并计算N4/N和N5/N；计算所有特征点的平均移动速度V0；
(f)根据LK光流法的状态标记，统计跟踪停止特征点的个数M，计算跟踪停止特征点的个数所占总特征点个数的比例M/N；
(g)计算所有跟踪停止特征点的平均轨迹长度ds；
(h)根据预先设定的距离阈值和速度阈值，记录跟踪停止特征点中大范围运动特征点个数及小范围运动特征点个数分别为N6和N7，并计算N6/N和N7/N；
(i)根据第二步中的特征点描述子之间的汉明距离，记录第一帧图像与最后一帧图像之间相匹配的特征点个数N8，不能相匹配的特征点个数N9＝N-N8；
第四步：构造多分类器，检测图像质量异常
通过实际应用系统提供的模拟摄像机正常、模糊、遮挡和移位四种情况下视频图像的样本数据，并根据第三步中不同图像质量情况下提取的所有特征点的运动特征，采用OpenCV中的已经封装好的方法构造SVM多分类器，定义不同的图像质量情况，再应用到系统中检测图像质量异常并将异常进行分类。
2.根据权利要求1所述的基于背景特征点运动分析的图像质量检测方法，其特征在于，步骤(2.2)中，选取的点对的个数为26对。
3.根据权利要求1或2所述的基于背景特征点运动分析的图像质量检测方法，其特征在于，k取值为0.04-0.06。
CN201910481126.8A 2019-06-04 2019-06-04 基于背景特征点运动分析的图像质量检测方法 Active CN110335252B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910481126.8A CN110335252B (zh) 2019-06-04 2019-06-04 基于背景特征点运动分析的图像质量检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910481126.8A CN110335252B (zh) 2019-06-04 2019-06-04 基于背景特征点运动分析的图像质量检测方法

Publications (2)

Publication Number Publication Date
CN110335252A CN110335252A (zh) 2019-10-15
CN110335252B true CN110335252B (zh) 2021-01-19

Family

ID=68140729

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910481126.8A Active CN110335252B (zh) 2019-06-04 2019-06-04 基于背景特征点运动分析的图像质量检测方法

Country Status (1)

Country Link
CN (1) CN110335252B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008129374A2 (en) * 2007-04-24 2008-10-30 Nokia Corporation Motion and image quality monitor
CN105260749A (zh) * 2015-11-02 2016-01-20 中国电子科技集团公司第二十八研究所 基于方向梯度二值模式和软级联svm的实时目标检测方法
CN108109145A (zh) * 2018-01-02 2018-06-01 中兴通讯股份有限公司 图像质量检测方法、装置、存储介质和电子装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10405002B2 (en) * 2015-10-03 2019-09-03 Tektronix, Inc. Low complexity perceptual visual quality evaluation for JPEG2000 compressed streams
CN108288027B (zh) * 2017-12-28 2020-10-27 新智数字科技有限公司 一种图像质量的检测方法、装置及设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008129374A2 (en) * 2007-04-24 2008-10-30 Nokia Corporation Motion and image quality monitor
CN105260749A (zh) * 2015-11-02 2016-01-20 中国电子科技集团公司第二十八研究所 基于方向梯度二值模式和软级联svm的实时目标检测方法
CN108109145A (zh) * 2018-01-02 2018-06-01 中兴通讯股份有限公司 图像质量检测方法、装置、存储介质和电子装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Indoor visual localization of a wheelchair using Shi-Tomasi and KLT;Marcus L.等;《2017 IEEE 30th Canadian Conference on Electrical and Computer Engineering (CCECE)》;20170615;全文 *
基于多指标与支持向量回归的道路监控图像质量检测方法;郭兴隆;《公路交通技术》;20181231;第34卷(第6期);第123-127页 *

Also Published As

Publication number Publication date
CN110335252A (zh) 2019-10-15

Similar Documents

Publication Publication Date Title
Bautista et al. Convolutional neural network for vehicle detection in low resolution traffic videos
Kulchandani et al. Moving object detection: Review of recent research trends
JP5719297B2 (ja) 特徴量算出装置、特徴量算出方法及びプログラム
Zhou et al. Robust vehicle detection in aerial images using bag-of-words and orientation aware scanning
CN112686812B (zh) 银行卡倾斜矫正检测方法、装置、可读存储介质和终端
CN109636824B (zh) 一种基于图像识别技术的多目标计数方法
CN108647649B (zh) 一种视频中异常行为的检测方法
US20070058856A1 (en) Character recoginition in video data
CN111723693B (zh) 一种基于小样本学习的人群计数方法
Teutsch et al. Robust and fast detection of moving vehicles in aerial videos using sliding windows
CN111260738A (zh) 基于相关滤波和自适应特征融合的多尺度目标跟踪方法
Mohan et al. Video image processing for moving object detection and segmentation using background subtraction
Seo et al. Effective and efficient human action recognition using dynamic frame skipping and trajectory rejection
Yoon et al. Best combination of binarization methods for license plate character segmentation
Wang et al. Sface: An efficient network for face detection in large scale variations
CN111383244A (zh) 一种目标检测跟踪方法
Su et al. A new local-main-gradient-orientation HOG and contour differences based algorithm for object classification
Jemilda et al. Moving object detection and tracking using genetic algorithm enabled extreme learning machine
CN114973112A (zh) 一种基于对抗学习网络的尺度自适应密集人群计数方法
Atghaei et al. Abnormal event detection in urban surveillance videos using GAN and transfer learning
CN112686248B (zh) 证件增减类别检测方法、装置、可读存储介质和终端
CN110335252B (zh) 基于背景特征点运动分析的图像质量检测方法
Gawande et al. Scale invariant mask r-cnn for pedestrian detection
Zhang et al. Skin-color detection based on adaptive thresholds
Ramirez et al. Face detection using combinations of classifiers

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant