CN110334676B - 一种在局部复原的模糊图片上基于特征描述子比对的小目标检测方法 - Google Patents
一种在局部复原的模糊图片上基于特征描述子比对的小目标检测方法 Download PDFInfo
- Publication number
- CN110334676B CN110334676B CN201910625987.9A CN201910625987A CN110334676B CN 110334676 B CN110334676 B CN 110334676B CN 201910625987 A CN201910625987 A CN 201910625987A CN 110334676 B CN110334676 B CN 110334676B
- Authority
- CN
- China
- Prior art keywords
- front window
- picture
- image
- net
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 43
- 238000000034 method Methods 0.000 claims abstract description 40
- 230000009467 reduction Effects 0.000 claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 13
- 238000012549 training Methods 0.000 claims description 26
- 230000006870 function Effects 0.000 claims description 23
- 238000012360 testing method Methods 0.000 claims description 13
- 230000001629 suppression Effects 0.000 claims description 11
- 239000013598 vector Substances 0.000 claims description 11
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 8
- 230000000694 effects Effects 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 4
- 238000013135 deep learning Methods 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims description 3
- 238000010801 machine learning Methods 0.000 claims description 3
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 238000010008 shearing Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims 1
- 238000007689 inspection Methods 0.000 abstract description 8
- 238000004364 calculation method Methods 0.000 description 8
- 238000012544 monitoring process Methods 0.000 description 5
- PCTMTFRHKVHKIS-BMFZQQSSSA-N (1s,3r,4e,6e,8e,10e,12e,14e,16e,18s,19r,20r,21s,25r,27r,30r,31r,33s,35r,37s,38r)-3-[(2r,3s,4s,5s,6r)-4-amino-3,5-dihydroxy-6-methyloxan-2-yl]oxy-19,25,27,30,31,33,35,37-octahydroxy-18,20,21-trimethyl-23-oxo-22,39-dioxabicyclo[33.3.1]nonatriaconta-4,6,8,10 Chemical compound C1C=C2C[C@@H](OS(O)(=O)=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2.O[C@H]1[C@@H](N)[C@H](O)[C@@H](C)O[C@H]1O[C@H]1/C=C/C=C/C=C/C=C/C=C/C=C/C=C/[C@H](C)[C@@H](O)[C@@H](C)[C@H](C)OC(=O)C[C@H](O)C[C@H](O)CC[C@@H](O)[C@H](O)C[C@H](O)C[C@](O)(C[C@H](O)[C@H]2C(O)=O)O[C@H]2C1 PCTMTFRHKVHKIS-BMFZQQSSSA-N 0.000 description 4
- 238000013459 approach Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000011946 reduction process Methods 0.000 description 4
- 230000006978 adaptation Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 235000002566 Capsicum Nutrition 0.000 description 1
- 239000006002 Pepper Substances 0.000 description 1
- 235000016761 Piper aduncum Nutrition 0.000 description 1
- 235000017804 Piper guineense Nutrition 0.000 description 1
- 244000203593 Piper nigrum Species 0.000 description 1
- 235000008184 Piper nigrum Nutrition 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种在局部复原的模糊图片上基于特征描述子比对的小目标检测方法，属于目标检测技术领域，包括以下步骤：(1)准备车辆数据集，所述车辆数据集包含有经过四点车前窗对齐算法对齐过的模糊车辆图片；(2)使用降噪算法对车辆数据集中的图片进行降噪处理；(3)通过插值函数对图片进行局部超分辨率复原，目标区域为对齐后的前车窗；(4)对复原后的图片进行特征检测，提取特征描述子；(5)通过特征描述子比对判断是否存在小目标。本发明采用局部复原有效减少了计算量，且提高了小目标检测的准确率,为交通领域检测车年检标和安全带的有无提供了一种切实可行的方法。
Description
技术领域
本发明涉及一种在局部复原的模糊图片上基于特征描述子比对的小目标检测方法，属于目标检测技术领域。
背景技术
小目标检测技术在当今许多领域中得到了广泛的应用，如在交通领域中对车辆是否贴有年检标、是否系安全带的检测等等。但是，交通监控摄像头所处位置较高，采集到的图片清晰度有限，且受恶劣天气如大雾、沙尘等影响明显，所拍摄的图片较为模糊，传统的目标检测方法效果较差。因此，研究模糊图片上的小目标检测算法是十分必要的。
然而，模糊小目标检测在实际应用中面临着许多的困难。首先，小目标的分辨率低，形状简单，轮廓粗糙，因此和大目标相比，小目标的检测率低。其次，小目标常常隐藏在复杂的背景中，用传统的图像处理方法往往难以得到理想效果。第三，图像经常受噪声干扰，令检测的难度变大。
目前，针对模糊小目标检测的算法主要有：(1)利用视觉注意机制的小目标检测算法；(2)利用相邻像素进行噪声抑制的小目标检测算法；(3)改进的目标识别网络，如SSD和YOLO。但上述算法仅对图片进行了初步的处理，如噪声抑制等，未能有效提取图片信息。对于改进的深度学习下的目标识别网络，算法计算量大，运行所需的时间长且对于模糊小目标的识别率提高不明显。
本发明在对图片进行降噪的基础上，引入超分辨率复原。超分辨率技术(Super-Resolution)是指从观测到的低分辨率图像重建出相应的高分辨率图像，对于提高模糊图片上小目标的识别率有明显作用。但是超分辨率复原所需计算量较大，而车辆年检标和安全带的检测仅在车窗区域，因此有大量的无效计算。
发明内容
针对现有技术的不足，本发明提供一种在局部复原的模糊图片上基于特征描述子比对的小目标检测方法，局部复原有效减少了计算量，且提高了小目标检测的准确率,为交通领域检测车年检标和安全带的有无提供了一种切实可行的方法。
本发明采用以下技术方案：
一种在局部复原的模糊图片上基于特征描述子比对的小目标检测方法，包括以下步骤：
(1)准备车辆数据集，所述车辆数据集包含有经过四点车前窗对齐算法对齐过的模糊车辆图片；
(2)使用降噪算法对车辆数据集中的图片进行降噪处理；
(3)通过插值函数对图片进行局部超分辨率复原，目标区域为对齐后的前车窗；
(4)对复原后的图片进行特征检测，提取特征描述子；
(5)通过特征描述子比对判断是否存在安全带、车年检标等小目标。
本发明解决了模糊图片上小目标检测中存在的准确率低的问题，有效提升了小目标识别的泛化能力和准确率。
优选的，步骤(1)中，此处的车辆数据集为多张车脸图像，需要保证采集的车辆图像包含车脸且具有尺度、场景的变化，即各张车脸所对应的尺度、场景应该有所不同，不能全部一样，通过改进版的MTCNN算法进行车辆对齐，得到车前窗左下角、右下角，车头左下角、右下角四个点的坐标，即收集车脸四角在图像中的位置信息。
此处改进版的MTCNN算法具体为：
1)将车辆数据集划分为训练集和测试集，使用LabelImg工具标注训练数据集；进一步为：
将车辆数据集划分为训练集和测试集，可随机划分，划分比例优选为：训练集占90％，测试集占10％，下载并安装LabelImg工具，将类别文件中的值改为car，考虑到车脸的对称性，选取车前窗左下角、右下角，车头左下角、右下角为特征点，对训练集中的车辆图像标注(可采用LabelImg工具手动标注)车前窗左下角、右下角，车头左下角、右下角，共四个特征点，即收集车脸四角在图像中的位置信息。
2)MTCNN算法模型是现有的用于处理人脸对齐的模型，其工作原理，本发明修改MTCNN算法中的图像读取文件，更改特征点数量，将原本读取5个特征点更改为读取4个特征点；进一步为：
修改MTCNN算法模型中的图像读取label.xml标签文件的函数，通过函数读取特征点向量列表，即lable.xml，将读取到的的特征点向量列表的第7、8位删除(读取函数在修改后会自动在读取后将第7、8位删除)，即删除第五个点的坐标数据，更改特征点个数为4。
3)训练MTCNN算法模型，使用标注后的训练集中的图像进行算法模型的训练，得到训练后的MTCNN算法模型，训练过程可参考现有技术进行。
4)指定目标图片并使用resize()构建图像金字塔，进一步为指定目标图像，即指定测试集中的一张图像(或其他来源的包含车脸的图片)进行算法模型的应用验证；
对给定的车辆图像，使用resize()函数将其缩放到不同尺度形成图像金字塔，以适应不同大小的车脸。本发明的图像金字塔中，可以在代码中人为指定最大和最小尺寸，最小为20×20，最大为100×100，单位为像素，分辨率无要求。
5)将图像金字塔导入MTCNN算法模型，经过P-Net进行第一级处理；进一步为：
将图像金字塔导入MTCNN算法模型，首先经过P-Net，通过一个全卷积神经网络(FCN)进行初步特征提取，生成预测窗和边框回归向量(bounding box regressionvectors)，使用边框回归(Bounding-box regression)的方法来校正预测窗，并使用非极大值抑制(NMS)的方法来校正这些预测窗，合并重叠的预测窗。
6)P-Net的输出结果进入R-Net进行第二级处理；进一步为：
P-Net的输出结果经过resize()函数修改大小(即缩放，可修改为24×24×3，单位为像素)后输入R-Net，R-Net的基本构造比P-Net增加了一个全连接层，用以滤除大量效果较差的预测窗，最后对选定的预测窗进行边框回归(Bounding-box regression)和非极大值抑制(NMS)进一步优化预测结果。
7)R-Net的输出结果进入O-Net进行第三级处理，识别出车脸边框及特征点；进一步为：
R-Net的输出结果经过resize()函数修改大小(即缩放，可修改为48×48×3，单位为像素)后输入O-Net，O-Net的基本构造比R-Net增加了一个卷积层，通过更多的监督学习来识别车脸区域，并对四个特征点进行回归，输出四个特征点，同时对选定的预测窗进行边框回归(Bounding-box regression)和非极大值抑制进一步优化预测结果，输出最终预测窗和4个特征点，即得到车前窗左下角、右下角，车头左下角、右下角四个点的坐标。
MTCNN算法是基于深度卷积网络的算法，有别于传统的计算机视觉算法，MTCNN算法经过若干次卷积计算，池化计算后，通过全连接层输出结果，本发明中，经过修改的改进版MTCNN中，经过全连接层可以输出4个点的坐标。
优选的，步骤(2)中，根据步骤(1)中车前窗的四个点的坐标，对图片中所匹配的车前窗区域进行方位与数值判断，判断出目标区域方位，对车前窗区域进行对齐与矫正操作，保证每一张待测图片中的目标区域的位置基本保持恒定，对前车窗区域进行降噪处理。
优选的，步骤(2)中，由于前车窗区域为类四边形，通过车前窗四个点的横坐标与纵坐标的数值大小关系，判断出目标区域方位。
优选的，对前车窗区域进行对齐和矫正时优选采用仿射变换，能够在保证原图像平直性的情况下矫正图片倾角条件相对较差的图像，仿射变换包括平移、缩放、剪切、旋转、错切等及其一种或多种组合。
如：由于类四边形有四个点，左上角点命名为A，右上角点命名为B，左下角点命名为C，右下角点命名为D。对于任意高空监控摄像头正中图像，ABCD趋近于等腰梯形，其中AB趋近平行于CD且∠ACD约等于∠BDC所以，对于以下不同情况，具体为
1：当∠ACD>∠BDC时，此情况为汽车左倾(以看图人的视角来看，而非司机视角)，需对其进行水平方向错切处理；
2：同理当∠ACD<∠BDC时，此情况为汽车右倾，也需要进行水平方向错切，调整ABCD为等腰梯形。
其他仿射变换方式均为较为常规的方法，此处不再赘述。
优选的，降噪处理优选采用现有的空间滤波、变换域滤波或形态学噪声滤波器等，降噪处理现有技术已比较成熟，此处不再赘述。
优选的，步骤(3)中，限定超分辨率复原的区域为车前窗区域，对降噪处理后的车辆图片，通过插值函数对前车窗区域进行局部超分辨率复原，插值函数包括但不限于二次插值、双三次插值的传统机器学习算法及深度学习算法。
插值是在离散数据的基础上补插连续函数，使得这条连续曲线通过全部给定的离散数据点，插值是离散函数逼近的重要方法，由于图像为离散数据的矩阵，对图像采用图像插值方式复原是除卷积神经网络图像复原外适用性最广的办法，通常插值包括二次插值，三次插值，双三次插值等。
优选的，步骤(4)中，限定特征描述子提取的区域为车前窗，通过对原图像添加限制条件，可根据前车窗四点区域进行定位，限制检测区域为类四边形区域，及前挡风玻璃区域，使原图像特定区域作为待测区域，添加方式为根据坐标进行原图裁剪的方式。
进一步优选的，步骤(4)中，使用特征检测算法对车前窗区域进行特征检测，所述特征描述子包括但不限于SIF、SURF和LBP，可根据实际需要灵活选择，具体方法可参见现有技术。
进一步优选的，步骤(5)中，判断是否存在小目标的方式为：预先提取大量小目标的特征描述子，并将特征描述子提前写入内存中，并设定最小阈值，将待测图片中提取到的特征描述子，与预先提取并写入内存的特征描述子进行度量比较，度量比较方式包括但不限于曼哈顿距离比较和欧几里得距离比较，若其度量比较结果小于所设定阈值，则判定当前特征描述子所代表的特征存在，否则反之。
另外，本发明未详尽之处，均可采用现有技术进行。
本发明的有益效果为：
本发明在对图片进行降噪的基础上，引入超分辨率复原，有效提高了模糊小目标检测的准确率并且限制超分辨复原的区域，实现局部复原，有效减少计算量。通过特征描述子比对来判断车年检标和安全带的有无，计算速度快，准确率高。
本发明解决了模糊图片上小目标检测的问题，高了小目标检测的的精度,为交通领域检测车年检标和安全带的有无提供了一种切实可行的方法。
附图说明
图1为本发明的在局部复原的模糊图片上基于特征描述子比对的小目标检测方法的流程示意图；
图2为以某一车脸图像为例，采用LabelImg工具标注车前窗左下角、右下角，车头左下角、右下角，共四个特征点位置示意图一；
图3为以某一车脸图像为例，采用LabelImg工具标注车前窗左下角、右下角，车头左下角、右下角，共四个特征点位置示意图一；
图4为MTCNN工作原理示意图；
图5为高空监控摄像头拍摄的前车窗区域为正中图像场景示意图；
图6为位于侧面的监控摄像头拍摄的前车窗区域场景示意图；
图7为某一实施例中预设的三个文件夹；
图8为图7中文件夹中某一安全带图片；
图9为图7中文件夹中某一车年检标图片；
图10为图7中文件夹中某一安全标志图片；
图11为某一实施例中的私家车图片。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述，但不仅限于此，本发明未详尽说明的，均按本领域常规技术。
实施例1：
一种在局部复原的模糊图片上基于特征描述子比对的小目标检测方法，如图1所示，包括以下步骤：
(1)准备车辆数据集，所述车辆数据集包含有经过四点车前窗对齐算法对齐过的模糊车辆图片；
(2)使用降噪算法对车辆数据集中的图片进行降噪处理；
(3)通过插值函数对图片进行局部超分辨率复原，目标区域为对齐后的前车窗；
(4)对复原后的图片进行特征检测，提取特征描述子；
(5)通过特征描述子比对判断是否存在安全带、车年检标等小目标。
本发明解决了模糊图片上小目标检测中存在的准确率低的问题，有效提升了小目标识别的泛化能力和准确率。
实施例2：
一种在局部复原的模糊图片上基于特征描述子比对的小目标检测方法，方法如实施例1所示，所不同的是，步骤(1)中，此处的车辆数据集为多张车脸图像，需要保证采集的车辆图像包含车脸且具有尺度、场景的变化，即各张车脸所对应的尺度、场景应该有所不同，不能全部一样，通过改进版的MTCNN算法进行车辆对齐，得到车前窗左下角、右下角，车头左下角、右下角四个点的坐标，即收集车脸四角在图像中的位置信息。
此处改进版的MTCNN算法具体为：
1)将车辆数据集划分为训练集和测试集，使用LabelImg工具标注训练数据集；进一步为：
将车辆数据集划分为训练集和测试集，可随机划分，划分比例优选为：训练集占90％，测试集占10％，下载并安装LabelImg工具，将类别文件中的值改为car，考虑到车脸的对称性，选取车前窗左下角、右下角，车头左下角、右下角为特征点，对训练集中的车辆图像标注(可采用LabelImg工具手动标注)车前窗左下角、右下角，车头左下角、右下角，共四个特征点，即收集车脸四角在图像中的位置信息，如图2、图3所示。
2)MTCNN算法模型是现有的用于处理人脸对齐的模型，其工作原理如图4所示，本发明修改MTCNN算法中的图像读取文件，更改特征点数量，将原本读取5个特征点更改为读取4个特征点；进一步为：
修改MTCNN算法模型中的图像读取label.xml标签文件的函数，通过函数读取特征点向量列表，即lable.xml，将读取到的的特征点向量列表的第7、8位删除(读取函数在修改后会自动在读取后将第7、8位删除)，即删除第五个点的坐标数据，更改特征点个数为4。
3)训练MTCNN算法模型，使用标注后的训练集中的图像进行算法模型的训练，得到训练后的MTCNN算法模型，训练过程可参考现有技术进行。
4)指定目标图片并使用resize()构建图像金字塔，进一步为指定目标图像，即指定测试集中的一张图像(或其他来源的包含车脸的图片)进行算法模型的应用验证；
对给定的车辆图像，使用resize()函数将其缩放到不同尺度形成图像金字塔，以适应不同大小的车脸。本发明的图像金字塔中，可以在代码中人为指定最大和最小尺寸，最小为20×20，最大为100×100，单位为像素，分辨率无要求。
5)将图像金字塔导入MTCNN算法模型，经过P-Net进行第一级处理；进一步为：
将图像金字塔导入MTCNN算法模型，首先经过P-Net，通过一个全卷积神经网络(FCN)进行初步特征提取，生成预测窗和边框回归向量(bounding box regressionvectors)，使用边框回归(Bounding-box regression)的方法来校正预测窗，并使用非极大值抑制(NMS)的方法来校正这些预测窗，合并重叠的预测窗。
6)P-Net的输出结果进入R-Net进行第二级处理；进一步为：
P-Net的输出结果经过resize()函数修改大小(即缩放，可修改为24×24×3，单位为像素)后输入R-Net，R-Net的基本构造比P-Net增加了一个全连接层，用以滤除大量效果较差的预测窗，最后对选定的预测窗进行边框回归(Bounding-box regression)和非极大值抑制(NMS)进一步优化预测结果。
7)R-Net的输出结果进入O-Net进行第三级处理，识别出车脸边框及特征点；进一步为：
R-Net的输出结果经过resize()函数修改大小(即缩放，可修改为48×48×3，单位为像素)后输入O-Net，O-Net的基本构造比R-Net增加了一个卷积层，通过更多的监督学习来识别车脸区域，并对四个特征点进行回归，输出四个特征点，同时对选定的预测窗进行边框回归(Bounding-box regression)和非极大值抑制进一步优化预测结果，输出最终预测窗和4个特征点，即得到车前窗左下角、右下角，车头左下角、右下角四个点的坐标。
MTCNN算法是基于深度卷积网络的算法，有别于传统的计算机视觉算法，MTCNN算法经过若干次卷积计算，池化计算后，通过全连接层输出结果，本发明中，经过修改的改进版MTCNN中，经过全连接层可以输出4个点的坐标。
实施例3：
一种在局部复原的模糊图片上基于特征描述子比对的小目标检测方法，方法如实施例2所示，所不同的是，步骤(2)中，根据步骤(1)中车前窗的四个点的坐标，对图片中所匹配的车前窗区域进行方位与数值判断，判断出目标区域方位，对车前窗区域进行对齐与矫正操作，保证每一张待测图片中的目标区域的位置基本保持恒定，对前车窗区域进行降噪处理。
优选的，步骤(2)中，由于前车窗区域为类四边形，通过车前窗四个点的横坐标与纵坐标的数值大小关系，判断出目标区域方位。
优选的，对前车窗区域进行对齐和矫正时优选采用仿射变换，能够在保证原图像平直性的情况下矫正图片倾角条件相对较差的图像，仿射变换包括平移、缩放、剪切、旋转、错切等及其一种或多种组合。
如：由于类四边形有四个点，左上角点命名为A，右上角点命名为B，左下角点命名为C，右下角点命名为D。对于任意高空监控摄像头正中图像，如图5所示，ABCD趋近于等腰梯形，其中AB趋近平行于CD且∠ACD约等于∠BDC所以，对于以下不同情况，具体为
1：当∠ACD>∠BDC时，如图6所示，此情况为汽车左倾(以看图人的视角来看，而非司机视角)，需对其进行水平方向错切处理；
2：同理当∠ACD<∠BDC时，此情况为汽车右倾，也需要进行水平方向错切，调整ABCD为等腰梯形。
其他仿射变换方式均为较为常规的方法，此处不再赘述。
优选的，降噪处理优选采用现有的空间滤波、变换域滤波或形态学噪声滤波器，降噪处理现有技术已比较成熟，此处不再赘述。
优选的，步骤(3)中，限定超分辨率复原的区域为车前窗区域，对降噪处理后的车辆图片，通过插值函数对前车窗区域进行局部超分辨率复原，插值函数包括但不限于二次插值、双三次插值的传统机器学习算法及深度学习算法。
插值是在离散数据的基础上补插连续函数，使得这条连续曲线通过全部给定的离散数据点，插值是离散函数逼近的重要方法，由于图像为离散数据的矩阵，对图像采用图像插值方式复原是除卷积神经网络图像复原外适用性最广的办法，通常插值包括二次插值，三次插值，双三次插值等。
优选的，步骤(4)中，限定特征描述子提取的区域为车前窗，通过对原图像添加限制条件，可根据前车窗四点区域进行定位，限制检测区域为类四边形区域，及前挡风玻璃区域，使原图像特定区域作为待测区域，添加方式为根据坐标进行原图裁剪的方式。
进一步优选的，步骤(4)中，使用特征检测算法对车前窗区域进行特征检测，所述特征描述子包括但不限于SIF、SURF和LBP，可根据实际需要灵活选择，具体方法可参见现有技术。
进一步优选的，步骤(5)中，判断是否存在小目标的方式为：预先提取大量小目标的特征描述子，并将特征描述子提前写入内存中，并设定最小阈值，将待测图片中提取到的特征描述子，与预先提取并写入内存的特征描述子进行度量比较，度量比较方式包括但不限于曼哈顿距离比较和欧几里得距离比较，若其度量比较结果小于所设定阈值，则判定当前特征描述子所代表的特征存在，否则反之。
实施例4：
一种在局部复原的模糊图片上基于特征描述子比对的小目标检测方法，包括：
1)预设三个文件夹，分别是安全标志，安全带，车年检标，如图7所示，三个文件夹分别由安全带、车年检标、安全标志的图片组成，如图8、9、10，每一个文件夹有10张图片，并对每一个图片使用SURF算法提取特征描述子；
(2)准备车辆数据集，数据集为多辆经过改进版MTCNN对齐后的车辆图像，图11为其中一张私家车图片；
(3)使用中值滤波器降噪算法处理图片的椒盐噪声，使用低通滤波器降噪算法处理图片的高斯噪声；
(4)采用改进版的MTCNN对齐后的图片，会自动输出车前窗的四个角坐标，根据坐标确定车前窗为目标区域，通过双三次插值对图片的目标区域进行局部超分辨率复原。
(5)对复原后的目标区域使用SURF算法提取特征描述子；
(6)与安全带文件夹下10张图片进行特征描述子比对，对于预设的文件夹中的每一张图片，如果有四个或以上的特征点匹配，则该图片符合要求，每有一张图片符合要求，安全带得分加1，得分大于5则判定为存在，其中，图11的图片得分1，判定不存在；
与车年检标文件夹下的10张图对比，有9个图片符合，得分为9，判定存在；
与安全标志文件夹下的10张图对比，有10个图片符合，得分为10，判定存在。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (5)
1.一种在局部复原的模糊图片上基于特征描述子比对的小目标检测方法，其特征在于，包括以下步骤：
（1）准备车辆数据集，所述车辆数据集包含有经过四点车前窗对齐算法对齐过的模糊车辆图片；
（2）使用降噪算法对车辆数据集中的图片进行降噪处理；
（3）通过插值函数对图片进行局部超分辨率复原，目标区域为对齐后的前车窗；
（4）对复原后的图片进行特征检测，提取特征描述子；
（5）通过特征描述子比对判断是否存在小目标；
步骤（1）中，车辆数据集所采集的模糊车辆图像具有尺度、场景的变化，通过改进版的MTCNN算法进行车辆对齐，得到车前窗左下角、右下角，车头左下角、右下角四个点的坐标，即收集车脸四角在图像中的位置信息；
改进版的MTCNN算法具体为：
1）将车辆数据集划分为训练集和测试集，使用LabelImg工具标注训练数据集；进一步为：
将车辆数据集划分为训练集和测试集，可随机划分，划分比例为：训练集占90%，测试集占10%，下载并安装LabelImg工具，将类别文件中的值改为car，考虑到车脸的对称性，选取车前窗左下角、右下角，车头左下角、右下角为特征点，对训练集中的车辆图像标注车前窗左下角、右下角，车头左下角、右下角，共四个特征点，即收集车脸四角在图像中的位置信息；
2）修改MTCNN算法中的图像读取文件，更改特征点数量，将原本读取5个特征点更改为读取4个特征点；进一步为：
修改MTCNN算法模型中的图像读取label.xml标签文件的函数，通过函数读取特征点向量列表，即lable.xml，将读取到的的特征点向量列表的第7、8位删除，即删除第五个点的坐标数据，更改特征点个数为4；
3）训练MTCNN算法模型，使用标注后的训练集中的图像进行算法模型的训练，得到训练后的MTCNN算法模型；
4）指定目标图片并使用resize()构建图像金字塔，进一步为指定目标图像，即指定测试集中的一张图像进行算法模型的应用验证；
对给定的车辆图像，使用resize()函数将其缩放到不同尺度形成图像金字塔，以适应不同大小的车脸；图像金字塔中，最小尺寸为20×20，最大尺寸为100×100，单位为像素，分辨率无要求；
5）将图像金字塔导入MTCNN算法模型，经过P-Net进行第一级处理；进一步为：
将图像金字塔导入MTCNN算法模型，首先经过P-Net，通过一个全卷积神经网络进行初步特征提取，生成预测窗和边框回归向量，使用边框回归的方法来校正预测窗，并使用非极大值抑制的方法来校正这些预测窗，合并重叠的预测窗；
6）P-Net的输出结果进入R-Net进行第二级处理；进一步为：
P-Net的输出结果经过resize()函数修改大小后输入R-Net，R-Net的基本构造比P-Net增加了一个全连接层，用以滤除大量效果较差的预测窗，最后对选定的预测窗进行边框回归和非极大值抑制进一步优化预测结果；
7）R-Net的输出结果进入O-Net进行第三级处理，识别出车脸边框及特征点；进一步为：
R-Net的输出结果经过resize()函数修改大小后输入O-Net，O-Net的基本构造比R-Net增加了一个卷积层，通过更多的监督学习来识别车脸区域，并对四个特征点进行回归，输出四个特征点，同时对选定的预测窗进行边框回归和非极大值抑制进一步优化预测结果，输出最终预测窗和4个特征点，即得到车前窗左下角、右下角，车头左下角、右下角四个点的坐标；
步骤（2）中，根据步骤（1）中车前窗的四个点的坐标，对图片中所匹配的车前窗区域进行方位与数值判断，对车前窗区域进行对齐与矫正操作，保证每一张待测图片中的目标区域的位置保持恒定，对前车窗区域进行降噪处理；
降噪处理采用现有的空间滤波、变换域滤波或形态学噪声滤波器；
步骤（3）中，限定超分辨率复原的区域为车前窗区域，对降噪处理后的车辆图片，通过插值函数对前车窗区域进行局部超分辨率复原，插值函数包括但不限于二次插值、双三次插值的传统机器学习算法及深度学习算法；
步骤（5）中，判断是否存在小目标的方式为：预先提取大量小目标的特征描述子，并将特征描述子提前写入内存中，并设定最小阈值，将待测图片中提取到的特征描述子，与预先提取并写入内存的特征描述子进行度量比较，度量比较方式包括但不限于曼哈顿距离比较和欧几里得距离比较，若其度量比较结果小于所设定阈值，则判定当前特征描述子所代表的特征存在，否则反之。
2.根据权利要求1所述的在局部复原的模糊图片上基于特征描述子比对的小目标检测方法，其特征在于，步骤（2）中，由于前车窗区域为类四边形，通过车前窗四个点的横坐标与纵坐标的数值大小关系，判断出目标区域方位。
3.根据权利要求2所述的在局部复原的模糊图片上基于特征描述子比对的小目标检测方法，其特征在于，对前车窗区域进行对齐和矫正时采用仿射变换，能够在保证原图像平直性的情况下矫正图片倾角条件差的图像，仿射变换包括平移、缩放、剪切、旋转、错切及其一种或多种组合。
4.根据权利要求3所述的在局部复原的模糊图片上基于特征描述子比对的小目标检测方法，其特征在于，步骤（4）中，限定特征描述子提取的区域为车前窗，通过对原图像添加限制条件，使原图像特定区域作为待测区域，添加方式为根据坐标进行原图裁剪的方式。
5.根据权利要求4所述的在局部复原的模糊图片上基于特征描述子比对的小目标检测方法，其特征在于，步骤（4）中，使用特征检测算法对车前窗区域进行特征检测，所述特征描述子包括但不限于SIF、SURF和LBP。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910625987.9A CN110334676B (zh) | 2019-07-11 | 2019-07-11 | 一种在局部复原的模糊图片上基于特征描述子比对的小目标检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910625987.9A CN110334676B (zh) | 2019-07-11 | 2019-07-11 | 一种在局部复原的模糊图片上基于特征描述子比对的小目标检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110334676A CN110334676A (zh) | 2019-10-15 |
| CN110334676B true CN110334676B (zh) | 2023-06-30 |
Family
ID=68146558
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910625987.9A Active CN110334676B (zh) | 2019-07-11 | 2019-07-11 | 一种在局部复原的模糊图片上基于特征描述子比对的小目标检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110334676B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103530366A (zh) * | 2013-10-12 | 2014-01-22 | 湖北微模式科技发展有限公司 | 一种基于自定义特征的车辆搜索方法与系统 |
| CN106469309A (zh) * | 2015-08-14 | 2017-03-01 | 杭州海康威视数字技术股份有限公司 | 车辆监控的方法和装置、处理器、图像采集设备 |
| CN107481188A (zh) * | 2017-06-23 | 2017-12-15 | 珠海经济特区远宏科技有限公司 | 一种图像超分辨率重构方法 |
| CN109255822A (zh) * | 2018-07-13 | 2019-01-22 | 中国人民解放军战略支援部队航天工程大学 | 一种多尺度编码和多重约束的超时间分辨率压缩感知重建方法 |
| CN109407080A (zh) * | 2018-11-27 | 2019-03-01 | 东风商用车有限公司 | 一种基于双目摄像头的车辆测距系统及其测距方法 |
| CN109815953A (zh) * | 2019-01-30 | 2019-05-28 | 电子科技大学 | 一种基于车辆年检标的车辆识别匹配系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11074495B2 (en) * | 2013-02-28 | 2021-07-27 | Z Advanced Computing, Inc. (Zac) | System and method for extremely efficient image and pattern recognition and artificial intelligence platform |
-
2019
- 2019-07-11 CN CN201910625987.9A patent/CN110334676B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103530366A (zh) * | 2013-10-12 | 2014-01-22 | 湖北微模式科技发展有限公司 | 一种基于自定义特征的车辆搜索方法与系统 |
| CN106469309A (zh) * | 2015-08-14 | 2017-03-01 | 杭州海康威视数字技术股份有限公司 | 车辆监控的方法和装置、处理器、图像采集设备 |
| CN107481188A (zh) * | 2017-06-23 | 2017-12-15 | 珠海经济特区远宏科技有限公司 | 一种图像超分辨率重构方法 |
| CN109255822A (zh) * | 2018-07-13 | 2019-01-22 | 中国人民解放军战略支援部队航天工程大学 | 一种多尺度编码和多重约束的超时间分辨率压缩感知重建方法 |
| CN109407080A (zh) * | 2018-11-27 | 2019-03-01 | 东风商用车有限公司 | 一种基于双目摄像头的车辆测距系统及其测距方法 |
| CN109815953A (zh) * | 2019-01-30 | 2019-05-28 | 电子科技大学 | 一种基于车辆年检标的车辆识别匹配系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110334676A (zh) | 2019-10-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Uittenbogaard et al. | Privacy protection in street-view panoramas using depth and multi-view imagery | |
| WO2022007431A1 (zh) | 一种Micro QR二维码的定位方法 | |
| CN111784576B (zh) | 一种基于改进orb特征算法的图像拼接方法 | |
| US20150302240A1 (en) | Method and device for locating feature points on human face and storage medium | |
| CN105678213B (zh) | 基于视频特征统计的双模式蒙面人事件自动检测方法 | |
| CN106934806B (zh) | 一种基于结构清晰度的无参考图失焦模糊区域分割方法 | |
| JP2004178592A (ja) | 画像の幾何学的に変換されたコピーを検出する方法及びシステム | |
| CN111914698A (zh) | 图像中人体的分割方法、分割系统、电子设备及存储介质 | |
| CN106485182A (zh) | 一种基于仿射变换的模糊qr码复原方法 | |
| CN111754538B (zh) | Usb表面缺陷检测的阈值分割方法 | |
| CN114049499A (zh) | 用于连续轮廓的目标对象检测方法、设备及存储介质 | |
| CN110321969B (zh) | 一种基于mtcnn的车脸对齐方法 | |
| CN106778766B (zh) | 一种基于定位点的旋转数字识别方法及系统 | |
| CN115713556A (zh) | 二维码定位方法、装置及计算机可读存储介质 | |
| Zhou et al. | Hybridization of appearance and symmetry for vehicle-logo localization | |
| CN102254306B (zh) | 一种基于图像简化分层模型的实时图像去雾方法 | |
| CN112288726B (zh) | 一种井下带式输送机带面异物检测方法 | |
| CN109359652A (zh) | 一种从数码照片中快速自动提取矩形扫描件的方法 | |
| Rahaman et al. | Lane detection for autonomous vehicle management: PHT approach | |
| CN110334676B (zh) | 一种在局部复原的模糊图片上基于特征描述子比对的小目标检测方法 | |
| CN110532826B (zh) | 一种基于人工智能语义分割的条码识别装置与方法 | |
| Bala et al. | Image simulation for automatic license plate recognition | |
| Fang et al. | 1-D barcode localization in complex background | |
| CN111738930A (zh) | 人脸图像的合成方法、装置、电子设备及存储介质 | |
| CN115035281B (zh) | 一种快速的红外全景图像拼接方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |