CN108875794A - 一种基于迁移学习的图像能见度检测方法 - Google Patents

一种基于迁移学习的图像能见度检测方法 Download PDF

Info

Publication number
CN108875794A
CN108875794A CN201810515767.6A CN201810515767A CN108875794A CN 108875794 A CN108875794 A CN 108875794A CN 201810515767 A CN201810515767 A CN 201810515767A CN 108875794 A CN108875794 A CN 108875794A
Authority
CN
China
Prior art keywords
subregion
image
visibility
training
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810515767.6A
Other languages
English (en)
Other versions
CN108875794B (zh
Inventor
李骞
唐绍恩
马强
马烁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN201810515767.6A priority Critical patent/CN108875794B/zh
Publication of CN108875794A publication Critical patent/CN108875794A/zh
Application granted granted Critical
Publication of CN108875794B publication Critical patent/CN108875794B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2193—Validation; Performance evaluation; Active pattern learning techniques based on specific statistical tests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于迁移学习的图像能见度检测方法，包括：能见度检测模型训练：对训练集图像区域划分，通过预训练的VGG‑16深度神经网络编码，提取各子区域图像特征，利用各子区域图像特征和能见度标注值训练支持向量回归机，得到能见度的回归模型。能见度检测模型测试：对测试图像区域划分，通过预训练的VGG‑16深度神经网络编码，提取各子区域图像特征，利用子区域图像特征和回归模型计算子区域能见度估计值，融合各子区域能见度估计值，得到整幅图像能见度检测值。

Description

一种基于迁移学习的图像能见度检测方法
技术领域
本发明属于大气探测中地面气象观测技术领域，尤其涉及一种基于迁移学习的图像能见度检测方法。
背景技术
能见度是指在当时天气下，正常人能从背景中识别出目标物的最大距离，是反映大气透明程度的一个重要指标。目前能见度测量方法主要包括目测法、器测法和基于图像视频的测量方法等。目测法观测值受观测人员主观经验、视力情况和目标物选取影响较大。器测法主要利用透射式能见度仪或散射式能见度仪进行测量，然而检测仪器均以采样空间数据代表大气全程范围的能见度，检测精度易受采样空间的大气质量影响，且普遍比较昂贵，难以满足能见度检测的实际应用需求。
基于图像视频的能见度检测方法主要分为模型驱动和数据驱动两类。模型驱动法结合能见度定义，通过分析光传播过程中大气衰减对图像成像的影响，建立光在大气中传播的物理模型，估计模型中参数，以此反推能见度。模型驱动法的估计精度与物理模型定义、参数设置紧密相关，然而大气中影响光传播的悬浮粒子种类较多，且粒子分布不均匀，因此光传播物理模型通常难以准确定义。数据驱动法主要根据低能见度天气对图像造成的模糊和退化效果，从图像或视频中提取有效的视觉特征，并通过累积的历史数据训练特征与能见度的关系模型，以计算能见度。现有数据驱动法提取一种或多种明确的图像特征进行能见度估计，然而明确的图像特征不能完全表征图像所有的潜在信息，导致图像信息利用不充分，无法进一步提高检测精度。
发明内容
发明目的：本发明所要解决的技术问题是针对现有基于图像的能见度检测方法对图
像信息利用不充分，模型鲁棒性差，提出了一种基于迁移学习的能见度检测模型，
实现利用摄像机对能见度的实时检测，包括以下步骤：
步骤1，训练能见度检测模型：输入训练集图像，对训练集中每幅图像进行子区域图像划分；通过预训练的VGG-16深度神经网络编码，提取各子区域图像对应的N(一般取值为1000)维特征向量；利用各子区域图像特征向量和能见度标注值训练支持向量回归机，得到能见度检测模型；
步骤2，能见度检测模型测试：输入测试图像，对测试图像进行子区域图像划分；通过预训练的VGG-16深度神经网络编码，提取各子区域图像对应的N维特征向量；将各子区域图像特征向量代入步骤1训练的能见度检测模型，经回归预测得到各子区域能见度估计值；融合各子区域能见度估计值，输出整幅图像能见度检测值。
步骤1包括以下步骤：
步骤1-1，对训练集中每幅图像进行子区域图像划分：将训练集中每幅图像划分为RegionNum个子区域，每个子区域分辨率为224×224， 其中，ImageWidth表示训练集图像的宽度，ImageHeight表示训练集图像的高度，表示向上取整；子区域Region(i,j)的左上角像素横坐标和纵坐标分别为：
i、j分别表示子区域Region(i,j)在图像子区域集合中的行数和列数，表示向下取整；子区域Region(i,j)的右上角像素横坐标和纵坐标分别为 子区域Region(i,j)的左下角像素横坐标和纵坐标分别为子区域Region(i,j)的右下角像素横坐标和纵坐标分别为
步骤1-2，深度神经网络编码：依次将各子区域图像输入预训练的VGG-16深度神经网络，提取第三个全连接层输出的N维特征向量，作为该子区域图像特征向量vi。
步骤1-3，训练支持向量回归机：利用子区域图像特征向量和对应能见度真值训练支持向量回归机，得到图像特征和能见度的回归模型，即能见度检测模型。
步骤1-3包括以下步骤：
步骤1-3-1：构建样本集：将一幅子区域图像经步骤1-3提取的特征向量vi作为样本特征对应区域的能见度标注值yi作为样本目标值，构成一组样本设定训练集样本图像数量为ImageNum，则子区域图像数量为ImageNum×RegionNum，即共有ImageNum×RegionNum组训练样本，将训练样本集记为表示训练样本集中第i组训练样本；n为训练样本数量，数值上等于子区域图像总数，即n＝ImageNum×RegionNum；
步骤1-3-2：建立回归模型：利用样本集数据训练支持向量回归机，得到能见度回归模型，即能见度检测模型；
步骤1-3-3：参数寻优：通过网络搜索和交叉验证，寻找回归模型的最佳参数；
步骤1-3-2包括以下步骤：
步骤1-3-2-1：建立如下优化目标和约束条件：
其中，s.t.表示约束条件，ω为超平面权重系数列向量，ωT表示其转置，ε为回归函数误差限值，C为惩罚因子，ξi和分别为松弛变量上界和松弛变量下界，是将训练样本映射到高维线性空间的非线性函数，b是超平面的常系数；
步骤1-3-2-2：对偶变换求解：引入Lagrange函数，对步骤1-3-2-1建立的优化目标和约束条件作对偶变换求解，变换后等价形式为：
其中，αi和为Lagrange乘子，为核函数，γ为核函数参数，j取值范围为1～n；
步骤1-3-2-3：确定含参非线性方程：求解步骤1-3-2-2的等价形式，得到Lagrange乘子最优解向量为其中αi和表示第i组训练样本对应的一组对偶Lagrange乘子，则有：
其中，SV表示支持向量，即满足|yi-f(xi)|＝ε的NSV为支持向量的数量，表示待测图像的子区域特征向量，故非线性方程f(x)为：
步骤1-3-3包括以下步骤：
步骤1-3-3-1：网络搜索：设定参数ε的取值区间为[εmin,εmax]、C的取值区间为[Cmin,Cmax]、核函数参数γ的取值区间为[γmin,γmax]，设定参数ε的步长为εstep、C的步长为Cstep、核函数参数γ的步长为γstep，顺序算出对应各参数的组合(εmin+uε×εstep,Cmin+uc×Cstep,γmin+uγ×γstep)，其中uε、uC和uγ为正整数，且εmin+uε×εstep≤εmax,Cmin+uC×Cstep≤Cmax,γmin+uγ×γstep≤γmax，对每一种组合进行交叉验证，逐一比较各种组合的均方误差并择优，从而确定该区间内最优参数组合[ε*,C*,γ*]，ε*为参数ε的最优选择，C*为参数C的最优选择，γ*为核函数参数γ的最优选择；
步骤1-3-3-2：确定最终回归模型：将步骤1-3-3-1得到的最优参数组合[ε*,C*,γ*]代入步骤1-3-2-3，确定最终回归模型即得到了能见度检测模型。
步骤1-3-3-1中所述对每一种组合进行交叉验证，具体包括：
对于一组给定的参数组合：
[εmin+uε×εstep,Cmin+uC×Cstep,γmin+uγ×γstep]，
其中uε、uC和uγ为正整数，将训练样本集S进行随机等分为v份，将其中的v-1份作为训练样本，余下的1份作为测试图像，共得到v组交叉验证所用的训练样本及相应的测试图像，将训练样本作为支持向量回归机的输入，建立回归模型，并用对应的测试图像校验拟合效果，依次轮换进行，得到v个表征拟合效果的均方误差MSE，选取最小的均方误差作为本参数组合的均方误差MSEi，MSE表达式如下所示：
其中，t是每组测试图像的样本个数，yi *是模型输出能见度值。
步骤2包括以下步骤：
步骤2-1，测试图像区域划分：按照步骤1-1所述方法，将测试图像划分子区域；
步骤2-2，深度神经网络编码：依次将各子区域图像输入预训练的VGG-16深度神经网络，提取第三个全连接层输出的N维特征向量，作为该子区域图像特征向量fc(r,c)；
步骤2-3，回归预测：将各子区域特征向量输入训练得到的回归模型f(x)*，计算子区域能见度序列；
步骤2-4，子区域能见度融合：将各子区域能见度估计值取平均，作为整幅图像能见度检测值vt。
步骤2-3包括以下步骤：
步骤2-3-1，单一子区域能见度估计：将子区域图像特征向量fc(r,c)输入步骤1-3-3-2获取的回归模型令计算得到子区域能见度估计值f(r,c) *；
步骤2-3-2，子区域能见度序列估计：将各子区域图像依次执行步骤2-3-1，获得子区域能见度序列。
步骤2-4中通过如下公式计算整幅图像能见度检测值vt：
其中，RegionNum为子区域数量，
为充分利用图像潜在信息，将深度卷积神经网络引入能见度检测中。由大规模数据集训练的卷积神经网络，可以提取到相对于明确图像特征更具表征能力的抽象特征。然而，在能见度检测方面难以构建样本分布均衡且样本标注值精确的大规模数据集。这主要是因为：一方面恶劣天气出现频次较低，导致低能见度样本数量较少；另一方面，能见度标注易受观测员主观因素影响，标注精度难以保证,且标注工作量较大。因此，本发明将迁移学习引入能见度检测。迁移学习是运用已有知识对不同但相关领域问题进行求解的一种新兴机器学习方法，迁移已有的知识解决目标领域中仅有少量有标签样本数据的学习问题。考虑到不同能见度天气对图像造成的模糊和退化效果差异显著，本发明将图像识别领域的深度神经网络VGG-16迁移到能见度检测当中，该网络提取的1000维抽象图像特征可以较好地表征图像潜在信息，以构建图像特征和能见度的回归模型。
在模型训练阶段，对训练集图像区域划分；通过预训练的VGG-16深度神经网络编码，提取各子区域图像对应的1000维特征向量；利用各子区域图像特征向量和能见度标注值训练支持向量回归机，得到能见度的回归模型；
在模型检测阶段，对测试图像区域划分；通过预训练的VGG-16深度神经网络编码，提取各子区域图像对应的1000维特征向量；将各子区域图像特征向量代入步骤1训练的回归模型，经回归预测得到各子区域能见度估计值；融合各子区域能见度估计值，输出整幅图像能见度检测值。
有益效果：基于迁移学习，利用预训练的深度神经网络提取子区域图像特征，构建图像特征和能见度的回归模型，并融合不同子区域能见度估计结果，有效提高了能见度检测的精度，同时降低了模型训练样本数量要求。
具体而言本发明与已有方法相比有以下优点：1.图像信息利用率高，与已有方法提取明确的人工特征相比，本发明利用深度神经网络提取1000维抽象特征，充分利用图像潜在信息；2鲁棒性高，融合一幅图像不同区域能见度估计值，降低因环境遮挡、镜面反射等因素导致的局部估计误差。
附图说明
下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述或其他方面的优点将会变得更加清楚。
图1为本发明流程图。
图2为深度神经网络编码图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
如图1所示，本发明包括以下步骤：
步骤1，能见度检测模型训练：输入训练集图像，对训练集图像区域划分；通过预训练的VGG-16深度神经网络编码，提取各子区域图像对应的1000维特征向量；利用各子区域图像特征向量和能见度标注值训练支持向量回归机，得到能见度的回归模型；
步骤2，能见度检测模型测试：输入测试图像，对测试图像区域划分；通过预训练的VGG-16深度神经网络编码，提取各子区域图像对应的1000维特征向量；将各子区域图像特征向量代入步骤1训练的回归模型，经回归预测得到各子区域能见度估计值；融合各子区域能见度估计值，输出整幅图像能见度检测值；
本发明步骤1包括以下步骤：
步骤1-1，图像区域划分：将每一幅训练集图像划分为RegionNum个子区域，每个子区域分辨率为224×224，其中，ImageWidth表示训练集图像的宽度，ImageHeight表示训练集图像的高度，表示向上取整；子区域Region(i,j)的左上角像素横纵坐标分别为
i、j分别表示子区域Region(i,j)在图像子区域集合中的行数和列数，表示向下取整；子区域Region(i,j)的右上角像素横纵坐标分别为子区域Region(i,j)的左下角像素横纵坐标分别为子区域Region(i,j)的右下角像素横纵坐标分别为
步骤1-2，深度神经网络编码：依次将各子区域图像输入预训练的VGG-16深度神经网络，提取第三个全连接层输出的1000维特征向量，作为该子区域图像特征向量vi，其中VGG-16深度神经网络的结构如图2所示，其输入为224×224的RGB图像，网络共有13个卷积层、5个下采样层、3个全连接层和1个分类层，其中所有的卷积滤波器大小均为3×3，使用最大池化进行下采样，网络中3个全连接层对应的神经元节点个数分别为4096、4096和1000，网络参数见引用文献：Simonyan K,Zisserman A.Very Deep Convolutional Networksfor Large-Scale Image Recognition[J].Computer Science,2014。
步骤1-3，支持向量回归机训练：利用子区域图像特征向量和对应能见度真值训练支持向量回归机，得到图像特征和能见度的回归模型；
本发明步骤1-3包括以下步骤：
步骤1-3-1：样本集构建：将一幅子区域图像经步骤1-3提取的特征向量vi作为样本特征对应区域的能见度标注值yi作为样本目标值，构成一组样本设定训练集样本图像数量为ImageNum，则子区域图像数量为ImageNum×RegionNum即共有ImageNum×RegionNum组训练样本，将训练样本集记为n为样本数量，数值上等于子区域图像总数，即n＝ImageNum×RegionNum；
步骤1-3-2：回归模型建立：利用样本集数据训练支持向量回归机，得到能见度回归模型；
步骤1-3-3：参数寻优：通过网络搜索和交叉验证，寻找回归模型的最佳参数；
本发明步骤1-3-2包括以下步骤：
步骤1-3-2-1：建立优化目标和约束条件：为求解回归模型，根据支持向量回归机原理，建立如下优化目标和约束条件：
其中，s.t.表示约束条件，ω为超平面权重系数列向量，ωT表示其转置，ε为回归函数误差限值，C为惩罚因子，其值越大表示对训练误差大于ε的样本惩罚越大，ξi和分别为松弛变量上界和松弛变量下界，是将训练样本映射到高维线性空间的非线性函数，是样本特征向量，yi为样本的能见度标注值，b是超平面的常系数；步骤1-3-2-2：对偶变换求解：步骤1-3-2-1建立的优化目标不可微，直接求解不可行，可通过引入Lagrange函数，作对偶变换求解，变换后等价形式为：
其中，αi和为Lagrange乘子，为核函数，γ为核函数参数，j取值范围为1～n；
步骤1-3-2-3：含参非线性方程确定：求解步骤1-3-2-2的等价形式，得到Lagrange乘子最优解向量为其中αi和表示第i组训练样本对应的一组对偶Lagrange乘子最优解，则有：
其中，SV表示支持向量，即满足|yi-f(xi)|＝ε的NSV为支持向量的数量，表示待测图像的子区域特征向量，故非线性方程为：
本发明步骤1-3-3包括以下步骤：
支持向量回归机的参数选取对检测精度影响较大，不同问题必须确定不同的相关参数才能建立对应的回归模型，需要确定的参数有回归函数误差限值ε，惩罚因子C和核函数参数γ，本发明采用网络搜索和交叉验证确定三个参数值：
步骤1-3-3-1：网络搜索：设定参数的取值区间[εmin,εmax]、[Cmin,Cmax]和[γmin,γmax]，设定相应步长εstep、Cstep和γstep，由计算机顺序算出对应各参数的组合(εmin+uε×εstep,Cmin+uC×Cstep,γmin+uγ×γstep)，其中uε、uC和uγ为正整数，且εmin+uε×εstep≤εmax,Cmin+uC×Cstep≤Cmax,γmin+uγ×γstep≤γmax，对每一种组合进行交叉验证，逐一比较各种组合的均方误差并择优，从而确定该区间内最优参数组合[ε*,C*,γ*]，本发明设定参数区间ε∈[0,500]、C∈[2-4,24]、γ∈[10-3,10-1]，相应步长εstep＝50、Cstep＝2和γstep＝1.1×10-2；
步骤1-3-3-2：最终回归模型确定：将步骤1-3-3-1得到的最优参数组合[ε*,C*,γ*]代入步骤1-3-2-3，确定最终回归模型
步骤1-3-3-1中所述对每一种组合进行交叉验证，具体包括：对于一组给定的参数组合[εmin+uε×εstep,Cmin+uC×Cstep,γmin+uγ×γstep]，
其中m、n和q为正整数，将训练样本集S进行随机等分为v份，将其中的v-1份作为训练样本，余下的1份作为测试图像，共得到v组交叉验证所用的训练样本及相应的测试图像，将训练样本作为支持向量回归机的输入，建立回归模型，并用对应的测试图像校验拟合效果，依次轮换进行，得到v个表征拟合效果的均方误差MSE，选取最小的均方误差作为本参数组合的均方误差MSEi，MSE表达式如下所示：
其中，t是每组测试图像的样本个数，本发明将v设置为5，yi *是模型输出能见度值，yi是样本点能见度真值；
本发明步骤2包括以下步骤：
步骤2-1，测试图像区域划分：按照步骤1-1所述方法，将测试图像划分子区域；
步骤2-2，深度神经网络编码：依次将各子区域图像输入预训练的VGG-16深度神经网络，提取第三个全连接层输出的1000维特征向量，作为该子区域图像特征向量fc(r,c)；
步骤2-3，回归预测：将各子区域特征向量输入训练得到的回归模型f(x)*，计算子区域能见度序列；
步骤2-4，子区域能见度融合：将各子区域能见度估计值取平均，作为整幅图像能见度检测值vt。
本发明步骤2-3包括以下步骤：
步骤2-3-1，单一子区域能见度估计：将子区域图像特征向量fc(r,c)输入步骤1-3-3-2获取的回归模型令计算该子区域能见度估计值f(r,c) *；
步骤2-3-2，子区域能见度序列估计：将各子区域图像依次执行步骤2-3-1，获得子区域能见度序列。
本发明步骤2-4包括以下步骤：
将子区域能见度序列取平均，作为该幅测试图像能见度检测值vt,公式如下：
其中，RegionNum为子区域数量，
实施例
本实施例中，采集一副彩色图像，其分辨率为640×480，按照具体实施方式的步骤1-1划分为9个子区域；然后，将各子区域图像输入预训练的VGG-16网络编码，提取图像特征；接下来，将各子区域图像特征输入本发明训练的回归模型输出子区域能见度估计值[7983.833,9702.297,7989.147,8382.581,8536.543,8524.993,7958.641,8999.577,7966.788]；最后，将各子区域能见度估计值取平均，得到能见度检测结果8449.711。
本发明提供了一种基于迁移学习的图像能见度检测方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (9)

1.一种基于迁移学习的图像能见度检测方法，其特征在于，包括以下步骤：
步骤1，训练能见度检测模型：输入训练集图像，对训练集中每幅图像进行子区域图像划分；通过预训练的VGG-16深度神经网络编码，提取各子区域图像对应的N维特征向量；利用各子区域图像特征向量和能见度标注值训练支持向量回归机，得到能见度检测模型；
步骤2，能见度检测模型测试：输入测试图像，对测试图像进行子区域图像划分；通过预训练的VGG-16深度神经网络编码，提取各子区域图像对应的N维特征向量；将各子区域图像特征向量代入步骤1训练的能见度检测模型，经回归预测得到各子区域能见度估计值；融合各子区域能见度估计值，输出整幅图像能见度检测值。
2.根据权利要求1所述的方法，其特征在于，步骤1包括以下步骤：
步骤1-1，对训练集中每幅图像进行子区域图像划分：将训练集中每幅图像划分为RegionNum个子区域，每个子区域分辨率为224×224， 其中，ImageWidth表示训练集图像的宽度，ImageHeight表示训练集图像的高度，表示向上取整；子区域Region(i,j)的左上角像素横坐标和纵坐标分别为：
i、j分别表示子区域Region(i,j)在图像子区域集合中的行数和列数，表示向下取整；子区域Region(i,j)的右上角像素横坐标和纵坐标分别为 子区域Region(i,j)的左下角像素横坐标和纵坐标分别为子区域Region(i,j)的右下角像素横坐标和纵坐标分别为
步骤1-2，深度神经网络编码：依次将各子区域图像输入预训练的VGG-16深度神经网络，提取第三个全连接层输出的N维特征向量，作为该子区域图像特征向量vi；
步骤1-3，训练支持向量回归机：利用子区域图像特征向量和对应能见度真值训练支持向量回归机，得到图像特征和能见度的回归模型，即能见度检测模型。
3.根据权利要求2所述的方法，其特征在于，步骤1-3包括以下步骤：
步骤1-3-1：构建样本集：将一幅子区域图像经步骤1-3提取的特征向量vi作为样本特征对应区域的能见度标注值yi作为样本目标值，构成一组样本设定训练集样本图像数量为ImageNum，则子区域图像数量为ImageNum×RegionNum，即共有ImageNum×RegionNum组训练样本，将训练样本集记为 表示训练样本集中第i组训练样本；n为训练样本数量，数值上等于子区域图像总数，即n＝ImageNum×RegionNum；
步骤1-3-2：建立回归模型：利用样本集数据训练支持向量回归机，得到能见度回归模型，即能见度检测模型；
步骤1-3-3：参数寻优：通过网络搜索和交叉验证，寻找回归模型的最佳参数。
4.根据权利要求3所述的方法，其特征在于，步骤1-3-2包括以下步骤：
步骤1-3-2-1：建立如下优化目标和约束条件：
其中，s.t.表示约束条件，ω为超平面权重系数列向量，ωT表示其转置，ε为回归函数误差限值，C为惩罚因子，ξi和分别为松弛变量上界和松弛变量下界，是将训练样本映射到高维线性空间的非线性函数，b是超平面的常系数；
步骤1-3-2-2：对偶变换求解：引入Lagrange函数，对步骤1-3-2-1建立的优化目标和约束条件作对偶变换求解，变换后等价形式为：
其中，αi和为Lagrange乘子，为核函数，γ为核函数参数，j取值范围为1～n；
步骤1-3-2-3：确定含参非线性方程：求解步骤1-3-2-2的等价形式，得到Lagrange乘子最优解向量其中αi和表示第i组训练样本对应的一组对偶Lagrange乘子，则有：
其中，SV表示支持向量，即满足|yi-f(xi)|＝ε的NSV为支持向量的数量，表示待测图像的子区域特征向量，故非线性方程为：
5.根据权利要求4所述的方法，其特征在于，步骤1-3-3包括以下步骤：
步骤1-3-3-1：网络搜索：设定参数ε的取值区间为[εmin,εmax]、C的取值区间为[Cmin,Cmax]、核函数参数γ的取值区间为[γmin,γmax]，设定参数ε的步长为εstep、C的步长为Cstep、核函数参数γ的步长为γstep，顺序算出对应各参数的组合(εmin+uε×εstep,Cmin+uC×Cstep,γmin+uγ×γstep)，其中uε、uC和uγ为正整数，且εmin+uε×εstep≤εmax,Cmin+uC×Cstep≤Cmax,γmin+uγ×γstep≤γmax，对每一种组合进行交叉验证，逐一比较各种组合的均方误差并择优，从而确定该区间内最优参数组合[ε*,C*,γ*]，ε*为参数ε的最优选择，C*为参数C的最优选择，γ*为核函数参数γ的最优选择；
步骤1-3-3-2：确定最终回归模型：将步骤1-3-3-1得到的最优参数组合[ε*,C*,γ*]代入步骤1-3-2-3，确定最终回归模型即得到了能见度检测模型。
6.根据权利要求5所述的方法，其特征在于，步骤1-3-3-1中所述对每一种组合进行交叉验证，具体包括：
对于一组给定的参数组合：
[εmin+uε×εstep,Cmin+uC×Cstep,γmin+uγ×γstep]，
其中uε、uC和uγ为正整数，将训练样本集S进行随机等分为v份，将其中的v-1份作为训练样本，余下的1份作为测试图像，共得到v组交叉验证所用的训练样本及相应的测试图像，将训练样本作为支持向量回归机的输入，建立回归模型，并用对应的测试图像校验拟合效果，依次轮换进行，得到v个表征拟合效果的均方误差MSE，选取最小的均方误差作为本参数组合的均方误差MSEi，MSE表达式如下所示：
其中，t是每组测试图像的样本个数，yi *是模型输出能见度值。
7.根据权利要求6所述的方法，其特征在于，步骤2包括以下步骤：
步骤2-1，测试图像区域划分：将测试图像划分子区域；
步骤2-2，深度神经网络编码：依次将各子区域图像输入预训练的VGG-16深度神经网络，提取第三个全连接层输出的N维特征向量，作为该子区域图像特征向量fc(r,c)；
步骤2-3，回归预测：将各子区域特征向量输入训练得到的回归模型f(x)*，计算子区域能见度序列；
步骤2-4，子区域能见度融合：将各子区域能见度估计值取平均，作为整幅图像能见度检测值vt。
8.根据权利要求7所述的方法，其特征在于，步骤2-3包括以下步骤：
步骤2-3-1，单一子区域能见度估计：将子区域图像特征向量fc(r,c)输入步骤1-3-3-2获取的回归模型令计算得到子区域能见度估计值f(r,c) *；
步骤2-3-2，子区域能见度序列估计：将各子区域图像依次执行步骤2-3-1，获得子区域能见度序列。
9.根据权利要求8所述的方法，其特征在于，步骤2-4中通过如下公式计算整幅图像能见度检测值vt：
其中，RegionNum为子区域数量，
CN201810515767.6A 2018-05-25 2018-05-25 一种基于迁移学习的图像能见度检测方法 Active CN108875794B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810515767.6A CN108875794B (zh) 2018-05-25 2018-05-25 一种基于迁移学习的图像能见度检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810515767.6A CN108875794B (zh) 2018-05-25 2018-05-25 一种基于迁移学习的图像能见度检测方法

Publications (2)

Publication Number Publication Date
CN108875794A true CN108875794A (zh) 2018-11-23
CN108875794B CN108875794B (zh) 2020-12-04

Family

ID=64333312

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810515767.6A Active CN108875794B (zh) 2018-05-25 2018-05-25 一种基于迁移学习的图像能见度检测方法

Country Status (1)

Country Link
CN (1) CN108875794B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109741322A (zh) * 2019-01-08 2019-05-10 南京蓝绿物联科技有限公司 一种基于机器学习的能见度测量方法
CN109948642A (zh) * 2019-01-18 2019-06-28 中山大学 基于图像输入的多智能体跨模态深度确定性策略梯度训练方法
CN110008899A (zh) * 2019-04-02 2019-07-12 北京市遥感信息研究所 一种可见光遥感图像候选目标提取与分类方法
CN110008900A (zh) * 2019-04-02 2019-07-12 北京市遥感信息研究所 一种由区域到目标的可见光遥感图像候选目标提取方法
CN110458750A (zh) * 2019-05-31 2019-11-15 北京理工大学 一种基于对偶学习的无监督图像风格迁移方法
CN110879992A (zh) * 2019-11-27 2020-03-13 内蒙古工业大学 基于迁移学习的草原地表覆盖物分类方法和系统
CN111191629A (zh) * 2020-01-07 2020-05-22 中国人民解放军国防科技大学 一种基于多目标的图像能见度检测方法
CN112014393A (zh) * 2020-08-26 2020-12-01 大连信维科技有限公司 一种基于目标视觉效果的介质能见度识别方法
CN112017243A (zh) * 2020-08-26 2020-12-01 大连信维科技有限公司 一种介质能见度识别方法
CN115107832A (zh) * 2022-08-09 2022-09-27 中车唐山机车车辆有限公司 列车前照灯控制方法、车载终端、控制系统及存储介质
CN117218375A (zh) * 2023-11-08 2023-12-12 山东科技大学 基于先验知识与数据驱动的环境能见度预测方法及设备

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102509102A (zh) * 2011-09-28 2012-06-20 郝红卫 基于图像学习的能见度测量方法
CN102661866A (zh) * 2012-05-11 2012-09-12 天津工业大学 基于时域能量和支持向量机的发动机故障识别方法
CN105825511A (zh) * 2016-03-18 2016-08-03 南京邮电大学 一种基于深度学习的图片背景清晰度检测方法
CN105931220A (zh) * 2016-04-13 2016-09-07 南京邮电大学 基于暗通道先验与最小图像熵的交通雾霾能见度检测方法
CN106096557A (zh) * 2016-06-15 2016-11-09 浙江大学 一种基于模糊训练样本的半监督学习人脸表情识别方法
CN106156895A (zh) * 2016-07-29 2016-11-23 国网山东省电力公司经济技术研究院 一种基于模糊c均值聚类和分步网格搜索支持向量回归的电动汽车充电负荷预测方法
CN106599804A (zh) * 2016-11-30 2017-04-26 哈尔滨工业大学 基于多特征模型的视网膜中央凹检测方法
CN106650037A (zh) * 2016-11-30 2017-05-10 国网江苏省电力公司盐城供电公司 一种基于支持向量机回归的避雷器状态诊断方法
CN106780448A (zh) * 2016-12-05 2017-05-31 清华大学 一种基于迁移学习与特征融合的超声甲状腺结节良恶性分类方法
CN107274383A (zh) * 2017-05-17 2017-10-20 南京邮电大学 一种基于深度学习的雾霾能见度检测方法
CN107506729A (zh) * 2017-08-24 2017-12-22 中国科学技术大学 一种基于深度学习的能见度检测方法
CN107909095A (zh) * 2017-11-07 2018-04-13 江苏大学 一种基于深度学习的图像识别方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102509102A (zh) * 2011-09-28 2012-06-20 郝红卫 基于图像学习的能见度测量方法
CN102661866A (zh) * 2012-05-11 2012-09-12 天津工业大学 基于时域能量和支持向量机的发动机故障识别方法
CN105825511A (zh) * 2016-03-18 2016-08-03 南京邮电大学 一种基于深度学习的图片背景清晰度检测方法
CN105931220A (zh) * 2016-04-13 2016-09-07 南京邮电大学 基于暗通道先验与最小图像熵的交通雾霾能见度检测方法
CN106096557A (zh) * 2016-06-15 2016-11-09 浙江大学 一种基于模糊训练样本的半监督学习人脸表情识别方法
CN106156895A (zh) * 2016-07-29 2016-11-23 国网山东省电力公司经济技术研究院 一种基于模糊c均值聚类和分步网格搜索支持向量回归的电动汽车充电负荷预测方法
CN106599804A (zh) * 2016-11-30 2017-04-26 哈尔滨工业大学 基于多特征模型的视网膜中央凹检测方法
CN106650037A (zh) * 2016-11-30 2017-05-10 国网江苏省电力公司盐城供电公司 一种基于支持向量机回归的避雷器状态诊断方法
CN106780448A (zh) * 2016-12-05 2017-05-31 清华大学 一种基于迁移学习与特征融合的超声甲状腺结节良恶性分类方法
CN107274383A (zh) * 2017-05-17 2017-10-20 南京邮电大学 一种基于深度学习的雾霾能见度检测方法
CN107506729A (zh) * 2017-08-24 2017-12-22 中国科学技术大学 一种基于深度学习的能见度检测方法
CN107909095A (zh) * 2017-11-07 2018-04-13 江苏大学 一种基于深度学习的图像识别方法

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109741322A (zh) * 2019-01-08 2019-05-10 南京蓝绿物联科技有限公司 一种基于机器学习的能见度测量方法
CN109948642A (zh) * 2019-01-18 2019-06-28 中山大学 基于图像输入的多智能体跨模态深度确定性策略梯度训练方法
CN110008899B (zh) * 2019-04-02 2021-02-26 北京市遥感信息研究所 一种可见光遥感图像候选目标提取与分类方法
CN110008899A (zh) * 2019-04-02 2019-07-12 北京市遥感信息研究所 一种可见光遥感图像候选目标提取与分类方法
CN110008900A (zh) * 2019-04-02 2019-07-12 北京市遥感信息研究所 一种由区域到目标的可见光遥感图像候选目标提取方法
CN110008900B (zh) * 2019-04-02 2023-12-12 北京市遥感信息研究所 一种由区域到目标的可见光遥感图像候选目标提取方法
CN110458750A (zh) * 2019-05-31 2019-11-15 北京理工大学 一种基于对偶学习的无监督图像风格迁移方法
CN110879992A (zh) * 2019-11-27 2020-03-13 内蒙古工业大学 基于迁移学习的草原地表覆盖物分类方法和系统
CN111191629A (zh) * 2020-01-07 2020-05-22 中国人民解放军国防科技大学 一种基于多目标的图像能见度检测方法
CN111191629B (zh) * 2020-01-07 2023-12-15 中国人民解放军国防科技大学 一种基于多目标的图像能见度检测方法
CN112014393A (zh) * 2020-08-26 2020-12-01 大连信维科技有限公司 一种基于目标视觉效果的介质能见度识别方法
CN112017243A (zh) * 2020-08-26 2020-12-01 大连信维科技有限公司 一种介质能见度识别方法
CN112014393B (zh) * 2020-08-26 2023-12-19 大连信维科技有限公司 一种基于目标视觉效果的介质能见度识别方法
CN112017243B (zh) * 2020-08-26 2024-05-03 大连信维科技有限公司 一种介质能见度识别方法
CN115107832A (zh) * 2022-08-09 2022-09-27 中车唐山机车车辆有限公司 列车前照灯控制方法、车载终端、控制系统及存储介质
CN117218375A (zh) * 2023-11-08 2023-12-12 山东科技大学 基于先验知识与数据驱动的环境能见度预测方法及设备
CN117218375B (zh) * 2023-11-08 2024-02-09 山东科技大学 基于先验知识与数据驱动的环境能见度预测方法及设备

Also Published As

Publication number Publication date
CN108875794B (zh) 2020-12-04

Similar Documents

Publication Publication Date Title
CN108875794A (zh) 一种基于迁移学习的图像能见度检测方法
CN109214470A (zh) 一种基于编码网络微调的图像能见度检测方法
CN110287932B (zh) 基于深度学习图像语义分割的道路阻断信息提取方法
CN111191629B (zh) 一种基于多目标的图像能见度检测方法
CN107644415A (zh) 一种文本图像质量评估方法及设备
CN110321891A (zh) 一种联合深度神经网络与聚类算法的大输液药液异物目标检测方法
CN110378232A (zh) 改进的ssd双网络的考场考生位置快速检测方法
CN108492298A (zh) 基于生成对抗网络的多光谱图像变化检测方法
CN106709958A (zh) 一种基于灰度梯度和颜色直方图的图像质量评价方法
CN105678734B (zh) 一种图像匹配系统的异源测试图像标定方法
CN103076334B (zh) 一种定量检测数字印刷线条与文本的方法
CN109784552A (zh) 一种基于Re-ESF算法的空间变系数PM2.5浓度估算模型的构建方法
CN113435282B (zh) 基于深度学习的无人机影像麦穗识别方法
CN110852243B (zh) 一种基于改进YOLOv3的道路交叉口检测方法及装置
CN107392929A (zh) 一种基于人眼视觉模型的智能化目标检测及尺寸测量方法
CN104616294A (zh) 一种基于视觉显著性的色调映射图像质量评价方法
CN116863274A (zh) 一种基于半监督学习的钢板表面缺陷检测方法及系统
CN109241867A (zh) 采用人工智能算法识别数字岩心图像的方法及装置
CN111141653A (zh) 一种基于神经网络的隧道渗漏速率预测方法
CN106960433B (zh) 一种基于图像熵以及边缘的全参考声纳图像质量评测方法
CN112489026B (zh) 基于多分支并行卷积神经网络的沥青路面病害检测方法
CN114639064A (zh) 一种水位识别方法及装置
CN102254185A (zh) 基于对比度敏感函数的背景杂波量化方法
CN109272484A (zh) 一种基于视频图像的降雨检测方法
CN104568639B (zh) 一种水果糖度的确定方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant