CN110070122B - 一种基于图像增强的卷积神经网络模糊图像分类方法 - Google Patents

一种基于图像增强的卷积神经网络模糊图像分类方法 Download PDF

Info

Publication number
CN110070122B
CN110070122B CN201910299155.2A CN201910299155A CN110070122B CN 110070122 B CN110070122 B CN 110070122B CN 201910299155 A CN201910299155 A CN 201910299155A CN 110070122 B CN110070122 B CN 110070122B
Authority
CN
China
Prior art keywords
image
network
target
classification
fuzzy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910299155.2A
Other languages
English (en)
Other versions
CN110070122A (zh
Inventor
宫华
许可
雷鸣
刘芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyang Ligong University
Original Assignee
Shenyang Ligong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyang Ligong University filed Critical Shenyang Ligong University
Priority to CN201910299155.2A priority Critical patent/CN110070122B/zh
Publication of CN110070122A publication Critical patent/CN110070122A/zh
Application granted granted Critical
Publication of CN110070122B publication Critical patent/CN110070122B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像分类技术领域，提供一种基于图像增强的卷积神经网络模糊图像分类方法，首先计算待分类模糊图像各灰度等级的累计函数，并建立全局直方图的映射关系，得到全局直方图均衡化后的图像并计算其暗通道、大气光成分、透射率以对其进行暗通道去雾处理；接着构建级联网络，将图像增强后的模糊图像输入定位网络，在特征提取网络提取特征图，在候选框提议网络生成候选框，在ROI池化层提取特征，通过全连接层的分类和回归，得到目标及其坐标信息并据此剪切目标；最后将目标输入分类网络进行特征提取，并在softmax分类器中进行分类，得到待分类模糊图像中目标的类别。本发明能够提高模糊图像分类的准确性、降低误识别率与漏识别率。

Description

一种基于图像增强的卷积神经网络模糊图像分类方法
技术领域
本发明涉及图像分类识别技术领域，特别是涉及一种基于图像增强的卷积神经网络模糊图像分类方法。
背景技术
图像分类识别的主要功能是对输入的图片信息，定位人们感兴趣的目标，并对定位的目标进行具体的分类。目前图像分类识别技术已广泛应用于智能交通管理领域，可以显著提高智能交通管理系统中的交通监管以及车辆管控的性能。
目前，传统图像分类方法主要包括基于统计模式的图像识别、基于像素点特征的图像识别、基于特征描述算子的图像识别、基于BP神经网络的图像识别及基于模糊综合评判的图像识别等方法。
上述传统图像分类方法在识别速度以及高层语义信息识别方面具有较大的缺陷，从而现有技术中更多地使用基于卷积神经网络的图像识别方法对图像进行分类检测，该方法在某些情况下能够达到非常卓越的效果，但是当输入的图像是模糊图像即背景复杂、清晰度差、待识别目标特征不明显的图像时，容易产生误识别与漏识别的问题。从而现有技术中对基于卷积神经网络的图像识别方法进行了大量的改进，如：加深卷积神经网络层数、改变卷积神经网络激活函数、结合多层特征图等方法，这些方法增加了提取特征的多元性，但是在待识别目标的特征不明显、且背景复杂模糊的情况下，仍然出现提取到的特征不能很好的区分目标属性以及将复杂背景误识别为目标的现象。
在复杂图像中，目标背景对识别结果产生的负面影响较大，将待分类的目标与背景分离，能够极大程度的提高目标的分类准确率。因此，构建包含图像定位网络和分类网络的级联网络对于提高识别精准率与鲁棒性具有显著效果。其中级联定位网络能够精确定位复杂图像中目标的坐标信息，根据坐标信息将待分类目标与背景分割；同时分类网络能够充分提取目标特征并对去除背景后的目标进行精确分类。
同时，对比度对视觉效果的影响非常关键，一般来说对比度越大，图像就越清晰，色彩也会越鲜明；高对比度对于图像的清晰度、细节表现程度、灰度层次表现程度都有很大帮助；全局直方图均衡化通过改变输入图像直方图各灰度级的概率分布，提高图像的对比度，达到让图像更清晰的目的；另外，对于在有雾的天气或能见度低的情形下拍摄的图像，目标模糊，画质不清晰，暗通道去雾方法通过计算输入图像的暗通道、全球大气光成分以及折射率，可以去除掉图像中的暗通道部分即有雾部分，达到去雾的效果，从而使图像更清晰。
目前，现有的图像分类方法中有使用全局直方图均衡化或暗通道去雾方法对图像进行处理，从而达到清晰图像的目的；同时也有使用上述图像增强方法，结合传统的图像分类方法进行识别。然而这些图像分类方法中，都没有将图像增强方法与基于卷积神经网络的级联网络相结合并应用到图像分类中，对模糊图片分类的准确性低，单一的卷积神经网络对复杂图像提取特征时复杂背景对目标分类结果产生的负面影响比较大，目标成像时特殊成像环境引起的图像模糊对提取的特征造成的影响比较大，级联网络目标分类方法对不清晰图片、特征不够明显的目标会产生误识别与漏识别。
发明内容
针对现有技术存在的问题，本发明提供一种基于图像增强的卷积神经网络模糊图像分类方法，能够减少对复杂图像提取特征时复杂背景对目标分类结果产生的负面影响，提高对模糊图像分类的准确性、降低误识别率与漏识别率。
本发明的技术方案为：
一种基于图像增强的卷积神经网络模糊图像分类方法，其特征在于，包括下述步骤：
步骤1：基于全局直方图均衡化方法，计算待分类模糊图像H的每个灰度等级的像素数占总像素数的比例为p(r)＝nr/N；其中，N为待分类模糊图像H的总像素数，nr为待分类模糊图像H的灰度等级r的像素数，r∈{0,1,2,...,L-1}，L为待分类模糊图像H的灰度等级总数，L＝256；
步骤2：计算待分类模糊图像H的累计函数为
Figure BDA0002027643390000021
步骤3：建立待分类模糊图像H的全局直方图的映射关系，并计算全局直方图均衡化后的灰度分布，得到全局直方图均衡化后的图像J；
步骤4：基于暗通道去雾方法，计算全局直方图均衡化后的图像J中每个像素R、G、B三个通道分量中的最小值，存入一幅和图像J大小相同的灰度图中，再对该灰度图进行最小值滤波，得到图像J的暗通道为
Figure BDA0002027643390000022
其中，Jc为图像J的通道c，Ω(x)为以像素x为中心的窗口；
步骤5：在暗通道Jdark(x)中对所有像素按照像素值大小由大到小排序，并取排序后的像素中前0.1％的像素，在图像J中寻找与选取出的前0.1％的像素对应的像素的最高亮度值作为大气光成分A；
步骤6：计算透射率为
Figure BDA0002027643390000031
其中，ω为去雾因子；
步骤7：在像素级别上计算暗通道去雾后的图像为
Figure BDA0002027643390000032
Jdehaze(x)即为图像增强后的模糊图像；其中，x为像素点的像素值；
步骤8：构建模糊图像分类级联网络，所述模糊图像分类级联网络包括图像定位网络和图像分类网络；所述图像定位网络包括特征提取网络、候选框提议网络、目标识别网络，所述特征提取网络包括层数为16、卷积核大小为3*3的卷积层和层数为5的最大池化层，所述候选框提议网络包括作为候选区域回归分支的大小为3*3的卷积核、作为候选区域分类分支的两个1*1大小的卷积核，所述目标识别网络包括ROI池化层、与所述ROI池化层结合的分别作为目标回归分支和目标分类分支的两个全连接层；所述图像分类网络包括特征提取部分、分类部分，所述图像分类网络的特征提取部分为层数为13层、卷积核大小为3*3的卷积层，所述分类部分为softmax分类器；
步骤9：将图像增强后的模糊图像Jdehaze(x)输入所述图像定位网络中，将模糊图像Jdehaze(x)的大小变为W×H；其中，max(W,H)≤1000且min(W,H)＝600，或max(W,H)＝1000且min(W,H)≤600；
步骤10：将所述模糊图像Jdehaze(x)输入所述特征提取网络中，逐层提取模糊图像Jdehaze(x)的特征图，最后输出的特征图大小为w×h；其中，w＝W/f，h＝H/f，f为下采样率；
步骤11：将所述特征图输入所述候选框提议网络中，以特征图中每一个像素点作为锚点，每个锚点对应到模糊图像Jdehaze(x)中生成m个不同尺度的候选框，从而共在模糊图像Jdehaze(x)中生成w×h×m个候选框，并采用非极大抑制方法对候选框进行筛选，得到m1个候选框；
步骤12：将m1个候选框和特征图同时输入所述目标识别网络的ROI池化层，提取每个候选框在特征图上对应的特征区域的特征；
步骤13：将提取到的特征输入所述目标识别网络的全连接层，进行分类和回归，得到模糊图像Jdehaze(x)中需要定位的目标以及所述目标的坐标信息(x1,y1,x2,y2)；其中，(x1,y1)为目标左上角的坐标、(x2,y2)为目标右下角的坐标；
步骤14：在模糊图像Jdehaze(x)中根据坐标信息将所述目标剪切出来；
步骤15：将所述目标输入所述图像分类网络的特征提取部分进行特征提取，生成目标的特征向量；
步骤16：将所述特征向量输入所述图像分类网络的softmax分类器进行分类，最后得到待分类模糊图像H中目标的类别。
其中，ω＝0.95，m＝9，m1＝300。
本发明的有益效果为：
(1)本发明将图像增强和卷积神经网络结合应用到模糊图像的分类中，构建包含图像定位网络和图像分类网络的模糊图像级联分类网络，在图像定位网络中对图像增强后的模糊图像进行特征提取、候选框提议与目标识别，在图像分类网络中对目标进行特征提取与分类，提高了对模糊图像分类的准确性，减少了单一卷积神经网络对复杂图像提取特征时复杂背景对目标分类结果产生的负面影响。
(2)本发明同时引入全局直方图均衡化和暗通道去雾方法，针对目标成像时特殊成像环境引起的图像模糊的情况，能够有效地去雾，并提高图像的对比度，降低了级联网络目标分类方法对不清晰、背景复杂、特征不够明显的图像进行分类时的误识别率与漏识别率，提高了级联网络图像分类的置信度及准确性。
附图说明
图1为本发明基于图像增强的卷积神经网络模糊图像分类方法的流程图；
图2为单独级联目标检测方法对轿车模糊图像中目标的识别情况示意图；
图3为本发明具体实施方式中基于图像增强的卷积神经网络模糊图像分类方法对轿车模糊图像中目标的识别情况示意图；
图4为单独级联目标检测方法对小货车模糊图像中目标的识别情况示意图；
图5为本发明具体实施方式中基于图像增强的卷积神经网络模糊图像分类方法对小货车模糊图像中目标的识别情况示意图。
具体实施方式
下面将结合附图和具体实施方式，对本发明作进一步描述。
如图1所示，为本发明基于图像增强的卷积神经网络模糊图像分类方法的流程图。本发明基于图像增强的卷积神经网络模糊图像分类方法，其特征在于，包括下述步骤：
步骤1：基于全局直方图均衡化方法，计算待分类模糊图像H的每个灰度等级的像素数占总像素数的比例为p(r)＝nr/N；其中，N为待分类模糊图像H的总像素数，nr为待分类模糊图像H的灰度等级r的像素数，r∈{0,1,2,...,L-1}，L为待分类模糊图像H的灰度等级总数，L＝256；
步骤2：计算待分类模糊图像H的累计函数为
Figure BDA0002027643390000051
步骤3：建立待分类模糊图像H的全局直方图的映射关系，并计算全局直方图均衡化后的灰度分布，得到全局直方图均衡化后的图像J；
步骤4：基于暗通道去雾方法，计算全局直方图均衡化后的图像J中每个像素R、G、B三个通道分量中的最小值，存入一幅和图像J大小相同的灰度图中，再对该灰度图进行最小值滤波，得到图像J的暗通道为
Figure BDA0002027643390000052
其中，Jc为图像J的通道c，Ω(x)为以像素x为中心的窗口；
步骤5：在暗通道Jdark(x)中对所有像素按照像素值大小由大到小排序，并取排序后的像素中前0.1％的像素，在图像J中寻找与选取出的前0.1％的像素对应的像素的最高亮度值作为大气光成分A；
步骤6：计算透射率为
Figure BDA0002027643390000053
其中，ω为去雾因子；本实施例中，，ω＝0.95；
步骤7：在像素级别上计算暗通道去雾后的图像为
Figure BDA0002027643390000054
Jdehaze(x)即为图像增强后的模糊图像；其中，x为像素点的像素值；
步骤8：构建模糊图像分类级联网络，所述模糊图像分类级联网络包括图像定位网络和图像分类网络；所述图像定位网络包括特征提取网络、候选框提议网络、目标识别网络，所述特征提取网络包括层数为16、卷积核大小为3*3的卷积层和层数为5的最大池化层，所述候选框提议网络包括作为候选区域回归分支的大小为3*3的卷积核、作为候选区域分类分支的两个1*1大小的卷积核，所述目标识别网络包括ROI池化层、与所述ROI池化层结合的分别作为目标回归分支和目标分类分支的两个全连接层；所述图像分类网络包括特征提取部分、分类部分，所述图像分类网络的特征提取部分为层数为13层、卷积核大小为3*3的卷积层，所述分类部分为softmax分类器；
步骤9：将图像增强后的模糊图像Jdehaze(x)输入所述图像定位网络中，将模糊图像Jdehaze(x)的大小变为W×H；其中，max(W,H)≤1000且min(W,H)＝600，或max(W,H)＝1000且min(W,H)≤600；
步骤10：将所述模糊图像Jdehaze(x)输入所述特征提取网络中，逐层提取模糊图像Jdehaze(x)的特征图，最后输出的特征图大小为w×h；其中，w＝W/f，h＝H/f，f为下采样率；本实施例中，f＝16；
步骤11：将所述特征图输入所述候选框提议网络中，以特征图中每一个像素点作为锚点，每个锚点对应到模糊图像Jdehaze(x)中生成m个不同尺度的候选框，从而共在模糊图像Jdehaze(x)中生成w×h×m个候选框，并采用非极大抑制方法对候选框进行筛选，得到m1个候选框；本实施例中，m＝9，m1＝300；
步骤12：将m1个候选框和特征图同时输入所述目标识别网络的ROI池化层，提取每个候选框在特征图上对应的特征区域的特征；
步骤13：将提取到的特征输入所述目标识别网络的全连接层，进行分类和回归，得到模糊图像Jdehaze(x)中需要定位的目标以及所述目标的坐标信息(x1,y1,x2,y2)；其中，(x1,y1)为目标左上角的坐标、(x2,y2)为目标右下角的坐标；
步骤14：在模糊图像Jdehaze(x)中根据坐标信息将所述目标剪切出来；
步骤15：将所述目标输入所述图像分类网络的特征提取部分进行特征提取，生成目标的特征向量；
步骤16：将所述特征向量输入所述图像分类网络的softmax分类器进行分类，最后得到待分类模糊图像H中目标的类别。
本实施例中，模糊图像为复杂环境下的车辆图像，选取各种复杂环境如雾天、雨天、雪天等情形下的车辆图像共500张作为测试样本，其中的车辆总数为1247辆，有客车351辆、小客124辆、小货72辆、轿车402辆、越野223辆、卡车75辆。
本实施例中，基于Caffe-Linux，分别利用单独的级联目标检测方法(CS-CNN)、使用全局直方图均衡化处理图像后再输入级联目标检测方法(CS-CNN-H)、使用暗通道去雾处理图像后再输入级联目标检测方法(CS-CNN-D)和使用全局直方图均衡化处理图像和暗通道去雾处理图像后再输入级联目标检测方法(CS-CNN-HD)的本发明对测试样本中的车辆图像进行分类。对于级联网络，首先根据不同的图像增强方法使用模糊图像分类级联网络中的图像定位网络(FIL-Net)进行目标的定位(FIL-Net定位方法、FIL-Net-H定位方法、FIL-Net-D定位方法、FIL-Net-HD定位方法)，然后使用精确率和召回率来评估误识别数和漏识别数，再对定位后的目标使用卷积神经网络进行分类处理，并使用准确率评估各方法的精度，得到四种方法的定位结果及其在不同车型上的目标属性识别效果分别如下表1和表2所示。
表1
Figure BDA0002027643390000071
由表1可以看出，FIL-Net-H和FIL-Net-D定位方法的精确率和召回率均明显高于单独的FIL-Net定位方法，而本发明使用的同时引入全局直方图均衡化和暗通道去雾方法的FIL-Net-HD定位方法，进一步提高了FIL-Net-H和FIL-Net-D定位方法的精确率和召回率，有效地减少了属性识别中定位的误识别数和漏识别数。
表2
Figure BDA0002027643390000072
由表2可以看出，在不同车型上的目标属性识别效果中，效果最明显的为越野车，CS-CNN-HD的目标属性识别效果相比于CS-CNN-H和CS-CNN-D提高了6.15％和4.61％，相对于CS-CNN提高了33.85％。在总体情况下CS-CNN-HD的目标属性识别效果相比于CS-CNN-H和CS-CNN-D提高了6.15％和4.35％，相对于CS-CNN效果提高了28.71％。可见，采用单一的图像增强方法如直方图均衡化或暗通道去雾方法，识别精度均有较大的提升，而同时采用两种方法在单一种类的识别准确率和总体识别准确率上都明显的高于单独的CS-CNN方法和单一的图像增强方法，从而本发明的方法在目标属性识别中具有较高的检测精度。
如图2和图3所示，分别为单独级联目标检测方法、本发明基于图像增强的卷积神经网络模糊图像分类方法对其中一幅轿车模糊图像中目标的识别情况示意图；如图4和图5所示，分别为单独级联目标检测方法、本发明基于图像增强的卷积神经网络模糊图像分类方法对其中一幅小货车模糊图像中目标的识别情况示意图。可以看出，本发明的方法对车辆图像的误识别现象和漏识别现象相对于单一的CS-CNN方法均有明显的减少。本发明的方法降低了定位时的误识别现象和漏识别现象，有效地提高了检测的置信度和识别准确率。
显然，上述实施例仅仅是本发明的一部分实施例，而不是全部的实施例。上述实施例仅用于解释本发明，并不构成对本发明保护范围的限定。基于上述实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，也即凡在本申请的精神和原理之内所作的所有修改、等同替换和改进等，均落在本发明要求的保护范围内。

Claims (1)

1.一种基于图像增强的卷积神经网络模糊图像分类方法，其特征在于，包括下述步骤：
步骤1：基于全局直方图均衡化方法，计算待分类模糊图像H的每个灰度等级的像素数占总像素数的比例为p(r)＝nr/N；其中，N为待分类模糊图像H的总像素数，nr为待分类模糊图像H的灰度等级r的像素数，r∈{0,1,2,…,L-1}，L为待分类模糊图像H的灰度等级总数，L＝256；
步骤2：计算待分类模糊图像H的累计函数为
Figure FDA0003508422390000011
步骤3：建立待分类模糊图像H的全局直方图的映射关系，并计算全局直方图均衡化后的灰度分布，得到全局直方图均衡化后的图像J；
步骤4：基于暗通道去雾方法，计算全局直方图均衡化后的图像J中每个像素R、G、B三个通道分量中的最小值，存入一幅和图像J大小相同的灰度图中，再对该灰度图进行最小值滤波，得到图像J的暗通道为
Figure FDA0003508422390000012
其中，Jc为图像J的通道c，Ω(x)为以像素x为中心的窗口；
步骤5：在暗通道Jdark(x)中对所有像素按照像素值大小由大到小排序，并取排序后的像素中前0.1％的像素，在图像J中寻找与选取出的前0.1％的像素对应的像素的最高亮度值作为大气光成分A；
步骤6：计算透射率为
Figure FDA0003508422390000013
其中，ω为去雾因子；
步骤7：在像素级别上计算暗通道去雾后的图像为
Figure FDA0003508422390000014
Jdehaze(x)即为图像增强后的模糊图像；其中，x为像素点的像素值；
步骤8：构建模糊图像分类级联网络，所述模糊图像分类级联网络包括图像定位网络和图像分类网络；所述图像定位网络包括特征提取网络、候选框提议网络、目标识别网络，所述特征提取网络包括层数为16、卷积核大小为3*3的卷积层和层数为5的最大池化层，所述候选框提议网络包括作为候选区域回归分支的大小为3*3的卷积核、作为候选区域分类分支的两个1*1大小的卷积核，所述目标识别网络包括ROI池化层、与所述ROI池化层结合的分别作为目标回归分支和目标分类分支的两个全连接层；所述图像分类网络包括特征提取部分、分类部分，所述图像分类网络的特征提取部分为层数为13层、卷积核大小为3*3的卷积层，所述分类部分为softmax分类器；
步骤9：将图像增强后的模糊图像Jdehaze(x)输入所述图像定位网络中，将模糊图像Jdehaze(x)的大小变为W×H；其中，max(W,H)<1000且min(W,H)＝600，或max(W,H)＝1000且min(W,H)<600；
步骤10：将所述模糊图像Jdehaze(x)输入所述特征提取网络中，逐层提取模糊图像Jdehaze(x)的特征图，最后输出的特征图大小为w×h；其中，w＝W/f，h＝H/f，f为下采样率；
步骤11：将所述特征图输入所述候选框提议网络中，以特征图中每一个像素点作为锚点，每个锚点对应到模糊图像Jdehaze(x)中生成m个不同尺度的候选框，从而共在模糊图像Jdehaze(x)中生成w×h×m个候选框，并采用非极大抑制方法对候选框进行筛选，得到m1个候选框；
步骤12：将m1个候选框和特征图同时输入所述目标识别网络的ROI池化层，提取每个候选框在特征图上对应的特征区域的特征；
步骤13：将提取到的特征输入所述目标识别网络的全连接层，进行分类和回归，得到模糊图像Jdehaze(x)中需要定位的目标以及所述目标的坐标信息(x1,y1,x2,y2)；其中，(x1,y1)为目标左上角的坐标、(x2,y2)为目标右下角的坐标；
步骤14：在模糊图像Jdehaze(x)中根据坐标信息将所述目标剪切出来；
步骤15：将所述目标输入所述图像分类网络的特征提取部分进行特征提取，生成目标的特征向量；
步骤16：将所述特征向量输入所述图像分类网络的softmax分类器进行分类，最后得到待分类模糊图像H中目标的类别；
ω＝0.95，m＝9，m1＝300。
CN201910299155.2A 2019-04-15 2019-04-15 一种基于图像增强的卷积神经网络模糊图像分类方法 Active CN110070122B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910299155.2A CN110070122B (zh) 2019-04-15 2019-04-15 一种基于图像增强的卷积神经网络模糊图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910299155.2A CN110070122B (zh) 2019-04-15 2019-04-15 一种基于图像增强的卷积神经网络模糊图像分类方法

Publications (2)

Publication Number Publication Date
CN110070122A CN110070122A (zh) 2019-07-30
CN110070122B true CN110070122B (zh) 2022-05-06

Family

ID=67367606

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910299155.2A Active CN110070122B (zh) 2019-04-15 2019-04-15 一种基于图像增强的卷积神经网络模糊图像分类方法

Country Status (1)

Country Link
CN (1) CN110070122B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111160486B (zh) * 2019-12-31 2023-05-02 三峡大学 基于支持向量机和小波分解的模糊图像分类方法
CN115311288B (zh) * 2022-10-12 2023-03-24 江苏魔视智能科技有限公司 一种汽车贴膜破损检测方法
CN116071657B (zh) * 2023-03-07 2023-07-25 青岛旭华建设集团有限公司 一种建筑施工视频监控大数据的智能预警系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103700078A (zh) * 2013-12-31 2014-04-02 中国科学院深圳先进技术研究院 少量背景含雾图像的去雾方法
CN107590489A (zh) * 2017-09-28 2018-01-16 国家新闻出版广电总局广播科学研究院 基于级联卷积神经网络的目标检测方法
CN108460743A (zh) * 2018-03-19 2018-08-28 西安因诺航空科技有限公司 一种基于暗通道的无人机航拍图像去雾算法
CN108647648A (zh) * 2018-05-14 2018-10-12 电子科技大学 一种基于卷积神经网络的可见光条件下的舰船识别系统及方法
CN109583483A (zh) * 2018-11-13 2019-04-05 中国科学院计算技术研究所 一种基于卷积神经网络的目标检测方法和系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106874921B (zh) * 2015-12-11 2020-12-04 清华大学 图像分类方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103700078A (zh) * 2013-12-31 2014-04-02 中国科学院深圳先进技术研究院 少量背景含雾图像的去雾方法
CN107590489A (zh) * 2017-09-28 2018-01-16 国家新闻出版广电总局广播科学研究院 基于级联卷积神经网络的目标检测方法
CN108460743A (zh) * 2018-03-19 2018-08-28 西安因诺航空科技有限公司 一种基于暗通道的无人机航拍图像去雾算法
CN108647648A (zh) * 2018-05-14 2018-10-12 电子科技大学 一种基于卷积神经网络的可见光条件下的舰船识别系统及方法
CN109583483A (zh) * 2018-11-13 2019-04-05 中国科学院计算技术研究所 一种基于卷积神经网络的目标检测方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于暗通道去雾和深度学习的行人检测方法;田青 等;《激光与光电子学进展》;20180530;第1-9页 *

Also Published As

Publication number Publication date
CN110070122A (zh) 2019-07-30

Similar Documents

Publication Publication Date Title
Hassaballah et al. Vehicle detection and tracking in adverse weather using a deep learning framework
CN109447018B (zh) 一种基于改进Faster R-CNN的道路环境视觉感知方法
CN110070122B (zh) 一种基于图像增强的卷积神经网络模糊图像分类方法
CN108389175B (zh) 融合变差函数和颜色衰减先验的图像去雾方法
CN109684922B (zh) 一种基于卷积神经网络的多模型对成品菜的识别方法
CN109785262A (zh) 基于暗通道先验和自适应直方图均衡化的图像去雾方法
CN110807384A (zh) 低能见度下的小目标检测方法和系统
CN110060221B (zh) 一种基于无人机航拍图像的桥梁车辆检测方法
CN108830131B (zh) 基于深度学习的交通目标检测与测距方法
CN110956092B (zh) 一种基于深度学习的智能金相检测评级方法及系统
CN109242032B (zh) 一种基于深度学习的目标检测方法
CN110490155B (zh) 一种禁飞空域无人机检测方法
CN113723377A (zh) 一种基于ld-ssd网络的交通标志检测方法
CN105701783A (zh) 一种基于环境光模型的单幅图像去雾方法及装置
CN106407951A (zh) 一种基于单目视觉的夜间前方车辆检测方法
CN112200746A (zh) 一种雾天交通场景图像的去雾方法和设备
Ogunrinde et al. A review of the impacts of defogging on deep learning-based object detectors in self-driving cars
CN111915634A (zh) 一种基于融合策略的目标物体边缘检测方法与系统
CN110837769B (zh) 一种图像处理与深度学习的嵌入式远红外行人检测方法
Ghahremannezhad et al. Automatic road detection in traffic videos
CN111738237B (zh) 一种基于异构卷积的多核迭代rpn的目标检测方法
CN116310598B (zh) 一种用于恶劣天气下的障碍物检测方法及装置
CN113011408A (zh) 多帧图片序列的字符识别、车辆识别码识别方法及系统
CN112052768A (zh) 基于无人机的城市违章停车检测方法、装置及存储介质
CN116883868A (zh) 基于自适应图像去雾的无人机智能巡航检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant