CN109214470B - 一种基于编码网络微调的图像能见度检测方法 - Google Patents

一种基于编码网络微调的图像能见度检测方法 Download PDF

Info

Publication number
CN109214470B
CN109214470B CN201811249423.1A CN201811249423A CN109214470B CN 109214470 B CN109214470 B CN 109214470B CN 201811249423 A CN201811249423 A CN 201811249423A CN 109214470 B CN109214470 B CN 109214470B
Authority
CN
China
Prior art keywords
image
visibility
sub
region
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811249423.1A
Other languages
English (en)
Other versions
CN109214470A (zh
Inventor
李骞
唐绍恩
马强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN201811249423.1A priority Critical patent/CN109214470B/zh
Publication of CN109214470A publication Critical patent/CN109214470A/zh
Application granted granted Critical
Publication of CN109214470B publication Critical patent/CN109214470B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于编码网络微调的图像能见度检测方法，包括：训练能见度检测模型：对训练集图像划分区域，并通过修改后的网络编码，提取各子区域图像特征向量，利用各子区域图像特征向量和能见度标注值训练支持向量回归机，并估计子区域能见度值，通过微调后的网络对各子区域图像重新编码，利用新的各子区域图像特征向量和能见度标注值重新训练支持向量回归机，得到新的能见度与特征向量的回归模型。测试能见度检测模型：对测试图像划分区域，利用微调后的深度神经网络进行编码，提取各子区域图像特征向量，利用子区域图像特征和重新训练的回归模型计算子区域能见度估计值，按权重融合各子区域能见度估计值，得到整幅图像能见度检测值。

Description

一种基于编码网络微调的图像能见度检测方法
技术领域
本发明属于大气探测中地面气象观测技术领域，尤其涉及一种基于编码网络微调的图像能见度检测方法。
背景技术
能见度是指在当时天气下，正常人能从背景中识别出目标物的最大距离，是反映大气透明程度的一个重要指标。目前能见度测量方法主要包括目测法、器测法和基于图像视频的测量方法等。目测法观测值受观测人员主观经验、视力情况和目标物选取影响较大。器测法主要利用透射式能见度仪或散射式能见度仪进行测量，然而检测仪器均以采样空间数据代表大气全程范围的能见度，检测精度易受采样空间的大气质量影响，且普遍比较昂贵，难以满足能见度检测的实际应用需求。
基于图像视频的能见度检测方法主要分为模型驱动和数据驱动两类。模型驱动法结合能见度定义，通过分析光传播过程中大气衰减对图像成像的影响，建立光在大气中传播的物理模型，估计模型中参数，以此反推能见度。模型驱动法的估计精度与物理模型定义、参数设置紧密相关，然而大气中影响光传播的悬浮粒子种类较多，且粒子分布不均匀，因此光传播物理模型通常难以准确定义。数据驱动法主要根据低能见度天气对图像造成的模糊和退化效果，从图像或视频中提取有效的视觉特征，并通过累积的历史数据训练特征与能见度的关系模型，以计算能见度。现有数据驱动法提取一种或多种明确的图像特征进行能见度估计，然而明确的图像特征不能完全表征图像所有的潜在信息，导致图像信息利用不充分，无法进一步提高检测精度。
发明内容
发明目的：本发明所要解决的技术问题是针对现有基于图像的能见度检测方法对图像信息利用不充分，鲁棒性差，提出了一种基于编码网络微调的能见度检测模型，实现利用摄像机对能见度的检测，包括以下步骤：
步骤1，训练能见度检测模型：输入训练集图像，对训练集中每幅图像进行子区域图像划分；利用全局池化层替换预训练网络DIQaM-NR(无参考图像质量评估领域的深度神经网络)末端的池化层，利用替换修改后的网络对各子区域图像编码，提取各子区域图像对应的N(此处取值为512)维特征向量；利用各子区域图像特征向量和能见度标注值训练支持向量回归机，并估计子区域能见度值；根据支持向量误差分析计算各子区域融合权重，并按权重融合子区域能见度估计值，得到整幅图像能见度估计值；结合估计结果对深度神经网络进行微调；通过微调后的网络对各子区域图像重新编码，利用新的各子区域图像特征向量和能见度标注值重新训练支持向量回归机，得到新的能见度与特征向量的回归模型；
步骤2，测试能见度检测模型：输入测试图像，对测试图像进行子区域图像划分；利用微调后的深度神经网络进行编码，提取各子区域图像对应的N维特征向量；将各子区域图像特征向量代入步骤1最后训练的新回归模型，得到各子区域能见度估计值；计算各子区域融合权重，按权重融合各子区域能见度估计值，输出整幅图像能见度检测值。
步骤1包括以下步骤：
步骤1-1，输入训练集图像，对训练集中每幅图像进行子区域图像划分：将训练集中每幅图像划分为RegionNum个子区域，每个子区域分辨率为224×224，
Figure GDA0002541666680000021
其中，ImageWidth表示训练集图像的宽度，ImageHeight表示训练集图像的高度，
Figure GDA0002541666680000022
表示向上取整；子区域Region(i,j)的左上角像素横坐标
Figure GDA0002541666680000023
和纵坐标
Figure GDA0002541666680000024
分别为：
Figure GDA0002541666680000025
Figure GDA0002541666680000026
i、j分别表示子区域Region(i,j)在图像子区域集合中的行数和列数，
Figure GDA0002541666680000027
表示向下取整；子区域Region(i,j)的右上角像素横坐标
Figure GDA0002541666680000028
和纵坐标
Figure GDA0002541666680000029
分别为
Figure GDA00025416666800000210
Figure GDA00025416666800000211
子区域Region(i,j)的左下角像素横坐标
Figure GDA00025416666800000212
和纵坐标
Figure GDA00025416666800000213
分别为
Figure GDA00025416666800000214
子区域Region(i,j)的右下角像素横坐标
Figure GDA00025416666800000215
和纵坐标
Figure GDA00025416666800000216
分别为
Figure GDA00025416666800000217
步骤1-2，深度神经网络编码：利用全局池化层替换DIQaM-NR网络最后的最大池化层，将替换后的网络称为FE-V网络，其中全局池化层将采样区域视为整幅特征图，采样方式为取均值，依次将训练集各子区域图像输入FE-V网络，提取全局池化层输出的N维特征向量，得到训练集图像子区域特征向量集合
Figure GDA0002541666680000031
其中，
Figure GDA0002541666680000032
表示第i幅图像的第j个子区域特征向量，RegionNum表示划分的子区域数量，ImageNum表示训练集图像数量，i取值范围为1～ImageNum，j取值范围为1～RegionNum；
步骤1-3，训练支持向量回归机：利用子区域图像特征向量和对应能见度标注值训练支持向量回归机，并将各子区域图像特征向量输入训练后的支持向量回归机，得到各子区域能见度估计值；
步骤1-4，权重融合：根据支持向量误差分析计算各子区域融合权重，并按权重融合子区域能见度估计值，得到整幅图像能见度估计值；
步骤1-5，深度神经网络微调：根据训练集图像对应的能见度估计值对深度神经网络的高层卷积模块进行微调，利用微调后的网络对各子区域图像重新编码；
步骤1-6，重新训练支持向量回归机：利用新的各子区域图像特征向量和能见度标注值重新训练支持向量回归机，得到新的能见度与特征向量的回归模型。
步骤1-3包括以下步骤：
步骤1-3-1：构建样本集：将一幅子区域图像经步骤1-2提取的特征向量
Figure GDA0002541666680000033
作为样本特征
Figure GDA0002541666680000034
对应区域的能见度标注值yi作为样本目标值，构成一组样本
Figure GDA0002541666680000035
设定训练集样本图像数量为ImageNum，则子区域图像数量为ImageNum×RegionNum，即共有ImageNum×RegionNum组训练样本，将训练样本集记为
Figure GDA0002541666680000036
表示训练样本集中第i组训练样本；n为训练样本数量，数值上等于子区域图像总数，即n＝ImageNum×RegionNum；
步骤1-3-2：建立回归模型：利用样本集数据训练支持向量回归机，得到能见度回归模型，即能见度检测模型；
步骤1-3-3：参数寻优：通过网络搜索和交叉验证，寻找回归模型的最佳参数，得到回归模型
Figure GDA0002541666680000037
步骤1-3-4：训练集图像子区域能见度值估计：将训练集图像子区域特征向量集合FT中元素依次输入回归模型
Figure GDA0002541666680000041
得到训练集图像子区域能见度估计值集合
Figure GDA0002541666680000042
Figure GDA0002541666680000043
其中，
Figure GDA0002541666680000044
表示第i幅图像的第j个子区域能见度估计值。
步骤1-3-2包括以下步骤：
步骤1-3-2-1：建立如下优化目标和约束条件：
Figure GDA0002541666680000045
其中，s.t.表示约束条件，ω为超平面权重系数列向量，ωT表示其转置，ε为回归函数误差限值，C为惩罚因子，ξi和
Figure GDA0002541666680000046
分别为松弛变量上界和松弛变量下界，
Figure GDA0002541666680000047
是将训练样本映射到高维线性空间的非线性函数，b是超平面的常系数；
步骤1-3-2-2，对偶变换求解：引入Lagrange函数，对步骤1-3-2-1建立的优化目标和约束条件作对偶变换求解，变换后等价形式为：
Figure GDA0002541666680000048
其中，αi和
Figure GDA0002541666680000049
为Lagrange乘子，
Figure GDA00025416666800000410
为核函数，γ为核函数参数，j取值范围为1～n；
步骤1-3-2-3：确定含参非线性方程：求解步骤1-3-2-2的等价形式，得到Lagrange乘子最优解向量为
Figure GDA00025416666800000411
其中αi和
Figure GDA00025416666800000412
表示第i组训练样本对应的一组对偶Lagrange乘子，则有：
Figure GDA00025416666800000413
Figure GDA0002541666680000051
其中，SV表示支持向量，即满足|yi-f(xi)|＝ε的
Figure GDA0002541666680000052
NSV为支持向量的数量，
Figure GDA0002541666680000053
表示待测图像的子区域特征向量，故非线性方程f(x)为：
Figure GDA0002541666680000054
步骤1-3-3包括以下步骤：
步骤1-3-3-1：网络搜索：设定参数ε的取值区间为[εmin,εmax]、C的取值区间为[Cmin,Cmax]、核函数参数γ的取值区间为[γmin,γmax]，设定参数ε的步长为εstep、C的步长为Cstep、核函数参数γ的步长为γstep，顺序算出对应各参数的组合(εmin+uε×εstep,Cmin+uC×Cstep,γmin+uγ×γstep)，其中uε、uC和uγ为正整数，且εmin+uε×εstep≤εmax,Cmin+uC×Cstep≤Cmax,γmin+uγ×γstep≤γmax，对每一种组合进行交叉验证，逐一比较各种组合的均方误差并择优，从而确定该区间内最优参数组合[ε*,C*,γ*]，ε*为参数ε的最优选择，C*为参数C的最优选择，γ*为核函数参数γ的最优选择；
步骤1-3-3-2：确定最终回归模型：将步骤1-3-3-1得到的最优参数组合[ε*,C*,γ*]代入步骤1-3-2-3，确定最终回归模型
Figure GDA0002541666680000055
即得到了能见度检测模型。
步骤1-3-3-1中所述对每一种组合进行交叉验证，具体包括：
对于一组给定的参数组合：
[εmin+uε×εstep,Cmin+uC×Cstep,γmin+uγ×γstep]，
其中uε、uC和uγ为正整数，将训练样本集S进行随机等分为v份，将其中的v-1份作为训练样本，余下的1份作为测试图像，共得到v组交叉验证所用的训练样本及相应的测试图像，将训练样本作为支持向量回归机的输入，建立回归模型，并用对应的测试图像校验拟合效果，依次轮换进行，得到v个表征拟合效果的均方误差MSE，选取最小的均方误差作为本参数组合的均方误差MSEi，MSE表达式如下所示：
Figure GDA0002541666680000061
其中，t是每组测试图像的样本个数，
Figure GDA0002541666680000062
yi *是模型输出能见度值。
步骤1-4包括以下步骤：
步骤1-4-1，预测方差计算：将训练集中第i幅图像的第j个子区域的预测分布方差和预测拟合方差之和作为对应的预测方差
Figure GDA0002541666680000063
表达式如下所示：
Figure GDA0002541666680000064
其中，
Figure GDA0002541666680000065
表示第i幅图像的第j个子区域的预测分布方差，
Figure GDA0002541666680000066
表示该区域的预测拟合方差；
步骤1-4-2，融合权重表示：将训练集中第i幅图像的第j个子区域的融合权重
Figure GDA0002541666680000067
表示为归一化的预测方差倒数，即：
Figure GDA0002541666680000068
其中，
Figure GDA0002541666680000069
表示训练集中第i幅图像的第j个子区域的预测方差，RegionNum表示划分的子区域数量，p为子区域序号，取值为[1,2,…,RegionNum]；
步骤1-4-3，子区域能见度估计值融合：将训练集中第i幅图像的各子区域能见度估计值按对应权重融合，得到整幅图像能见度估计值，融合公式如下：
Figure GDA00025416666800000610
其中，
Figure GDA00025416666800000611
表示第i幅图像的第j个子区域的能见度估计值，
Figure GDA00025416666800000612
为该子区域融合权重，RegionNum表示划分的子区域数量；
步骤1-4-4：训练集图像能见度估计：依次按权重融合训练集中每幅图像的子区域能见度估计值，得到训练集图像的能见度估计值集合VF＝[vf1,…,vfImageNum]。
步骤1-4-1包括以下步骤：
步骤1-4-1-1：预测分布方差计算：第i幅图像的第j个子区域的预测分布方差
Figure GDA00025416666800000613
由数据联合分布的不确定性产生，通过训练集数据和待测数据的协方差矩阵计算得到，计算公式如下：
Figure GDA0002541666680000071
其中，
Figure GDA0002541666680000072
表示训练集所有图像的第j个子区域特征向量与其能见度标注值构成的集合，
Figure GDA0002541666680000073
表示第i幅图像的第j个子区域的特征向量与能见度估计值构成的样本点，K(l,l)为l点的自协方差，K(Z,l)为集合Z与l点的协方差矩阵，
Figure GDA0002541666680000074
为K(Z,l)的转置，
Figure GDA0002541666680000075
为集合Z的协方差矩阵逆矩阵；
步骤1-4-1-2：预测拟合方差计算：第i幅图像的第j个子区域的预测拟合方差
Figure GDA0002541666680000076
是由训练集数据中固有噪声导致的拟合误差，可由训练该子区域支持向量回归机得到的惩罚因子Cj和误差限值εj计算，即：
Figure GDA0002541666680000077
其中，惩罚因子Cj和误差限值εj可由步骤1-3得到。
步骤1-5包括以下步骤：
步骤1-5-1，深度神经网络微调：将DIQaM-NR网络的参数值作为所有子区域FE-V网络参数的初始值，冻结底层卷积模块和池化层参数，继承DIQaM-NR网络的底层特征提取能力，采用反向传播和梯度下降算法对网络高层卷积模块进行训练，按照预设的学习率和迭代次数从后向前更新各子区域对应FE-V网络的高层卷积模块参数，得到各子区域对应微调后的FE-V网络；
步骤1-5-2，利用微调后的FE-V网络重新编码：依次将训练集各子区域图像输入对应微调后的FE-V网络，提取全局池化层输出的N维特征向量，得到新的子区域特征向量集合
Figure GDA0002541666680000078
其中，
Figure GDA0002541666680000079
表示第i幅图像的第j个子区域的新特征向量。
步骤2包括以下步骤：
步骤2-1，测试图像区域划分：将测试图像按照步骤1-1所述方式进行子区域划分；
步骤2-2，深度神经网络编码：依次将各子区域图像输入对应微调后的FE-V网络，提取全局池化层输出的N维特征向量，作为该子区域图像特征向量fdj；
步骤2-3，回归预测：依次将各子区域特征向量输入步骤1-6训练得到的回归模型，得到子区域能见度估计值序列；
步骤2-4，权重融合：根据步骤1-4所述的方式按权重融合子区域能见度估计值，得到整幅图像能见度检测值。
为充分利用图像潜在信息，将深度卷积神经网络引入能见度检测中。由大规模数据集训练的卷积神经网络，可以提取到相对于明确图像特征更具表征能力的抽象特征。然而，在能见度检测方面难以构建样本分布均衡且样本标注值精确的大规模数据集。这主要是因为：一方面恶劣天气出现频次较低，导致低能见度样本数量较少；另一方面，能见度标注易受观测员主观因素影响，标注精度难以保证,且标注工作量较大。因此，本发明将迁移学习引入能见度检测。迁移学习是运用已有知识对不同但相关领域问题进行求解的一种新兴机器学习方法，迁移已有的知识解决目标领域中仅有少量有标签样本数据的学习问题。无参考图像质量评估领域的深度神经网络可以提取图像的不同层次抽象特征，这些特征能捕捉图像模糊和人类视觉的关系，可有效反映图像的模糊和退化程度，考虑到基于数据驱动的能见度检测原理也是根据低能见度天气对图像造成的模糊和退化效果，训练图像特征与能见度的关系模型，在特征提取层面与基于深度神经网络的无参考图像质量评估相似，本发明将无参考图像质量评估领域的深度神经网络DIQaM-NR迁移到能见度检测当中。同时，为克服不同领域样本差异，构建更适用于能见度检测的特征提取网络，本发明对DIQaM-NR网络进行修改，并利用能见度数据集对其部分模块进行微调。
在模型训练阶段，对训练集图像划分区域；利用全局池化层替换预训练网络DIQaM-NR末端的池化层，利用修改后的网络对各子区域图像编码，提取各子区域图像对应的512维特征向量；利用各子区域图像特征向量和能见度标注值训练支持向量回归机，并估计子区域能见度值；根据支持向量误差分析计算各子区域融合权重，并按权重融合子区域能见度估计值，得到整幅图像能见度估计值；结合估计结果对深度神经网络进行微调；通过微调后的网络对各子区域图像重新编码，利用新的各子区域图像特征向量和能见度标注值重新训练支持向量回归机，得到新的能见度与特征向量的回归模型；
在模型检测阶段，对测试图像划分区域；利用微调后的深度神经网络进行编码，提取各子区域图像对应的512维特征向量；将各子区域图像特征向量代入步骤1最后训练的新回归模型，得到各子区域能见度估计值；计算各子区域融合权重，按权重融合各子区域能见度估计值，输出整幅图像能见度检测值。
有益效果：基于迁移学习，利用预训练的深度神经网络提取子区域图像特征，构建图像特征和能见度的回归模型，融合不同子区域能见度估计结果，并结合检测结果对深度神经网络进行微调，有效提高了能见度检测的精度，同时降低了模型训练样本数量要求。
具体而言本发明与已有方法相比有以下优点：1.图像信息利用率高，本发明利用深度神经网络提取512维抽象特征，并结合检测结果对网络进行微调，与已有方法提取明确的人工特征相比，能够充分利用图像潜在信息，提取不同层次的图像特征；2鲁棒性高，按权重融合一幅图像不同区域能见度估计值，降低因环境遮挡、镜面反射等因素导致的局部估计误差。
附图说明
下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述或其他方面的优点将会变得更加清楚。
图1为本发明流程图。
图2为深度神经网络编码图。
图3为单一子区域微调示意图。
图4为示例图像检测结果。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
如图1所示，本发明包括以下步骤：
步骤1，训练能见度检测模型：输入训练集图像，对训练集中每幅图像进行子区域图像划分；利用全局池化层替换预训练网络DIQaM-NR(无参考图像质量评估领域的深度神经网络)末端的池化层，利用修改后的网络对各子区域图像编码，提取各子区域图像对应的512维特征向量；利用各子区域图像特征向量和能见度标注值训练支持向量回归机，并估计子区域能见度值；根据支持向量误差分析计算各子区域融合权重，并按权重融合子区域能见度估计值，得到整幅图像能见度估计值；结合估计结果对深度神经网络进行微调；通过微调后的网络对各子区域图像重新编码，利用新的各子区域图像特征向量和能见度标注值重新训练支持向量回归机，得到新的能见度与特征向量的回归模型；
步骤2，测试能见度检测模型：输入测试图像，对测试图像进行子区域图像划分；利用微调后的深度神经网络进行编码，提取各子区域图像对应的N维特征向量；将各子区域图像特征向量代入步骤1最后训练的新回归模型，得到各子区域能见度估计值；计算各子区域融合权重，按权重融合各子区域能见度估计值，输出整幅图像能见度检测值。
本发明步骤1包括以下步骤：
步骤1-1，图像区域划分：将每一幅训练集图像划分为RegionNum个子区域，每个子区域分辨率为224×224，
Figure GDA0002541666680000101
其中，ImageWidth表示训练集图像的宽度，ImageHeight表示训练集图像的高度，
Figure GDA0002541666680000102
表示向上取整；子区域Region(i,j)的左上角像素横纵坐标分别为
Figure GDA0002541666680000103
Figure GDA0002541666680000104
i、j分别表示子区域Region(i,j)在图像子区域集合中的行数和列数，
Figure GDA0002541666680000105
表示向下取整；子区域Region(i，j)的右上角像素横纵坐标分别为
Figure GDA0002541666680000106
子区域Region(i,j)的左下角像素横纵坐标分别为
Figure GDA0002541666680000107
子区域Region(i,j)的右下角像素横纵坐标分别为
Figure GDA0002541666680000108
步骤1-2，深度神经网络编码：利用全局池化层替换DIQaM-NR网络最后的最大池化层，全局池化层将采样区域视为整幅特征图，采样方式为取均值，将替换后的网络称为FE-V网络，其结构如图2所示，网络共有10个卷积层、4个最大池化层和1个全局池化层，最大池化窗口为2×2，卷积滤波器大小均为3×3，激活函数为线性整流函数RELU，填充方式为零填充，输入为224×224的RGB图像，输出为512维特征向量，网络参数初始值见引用文献：BosseS,Maniry D,Müller K R,et al.Deep neural networks for no-reference and full-reference image quality assessment[J].arXiv preprint arXiv:1612.01697,2016，依次将训练集各子区域图像输入FE-V网络，提取全局池化层输出的512维特征向量，得到训练集图像子区域特征向量集合
Figure GDA0002541666680000111
其中，
Figure GDA0002541666680000112
表示第i幅图像的第j个子区域特征向量，RegionNum表示划分的子区域数量，ImageNum表示训练集图像数量；
步骤1-3，支持向量回归机训练：利用子区域图像特征向量和对应能见度标注值训练支持向量回归机，并将各子区域图像特征向量输入训练后的支持向量回归机，得到各子区域能见度估计值；
步骤1-4，权重融合：根据支持向量误差分析计算各子区域融合权重，并按权重融合子区域能见度估计值，得到整幅图像能见度估计值；
步骤1-5，深度神经网络微调：根据训练集图像对应的能见度估计值对深度神经网络的高层卷积模块进行微调，利用微调后的网络对各子区域图像重新编码；
步骤1-6，重新训练支持向量回归机：利用新的各子区域图像特征向量和能见度标注值重新训练支持向量回归机，得到新的能见度与特征向量的回归模型。
本发明步骤1-3包括以下步骤：
步骤1-3-1，样本集构建：将一幅子区域图像经步骤1-3提取的特征向量vi作为样本特征
Figure GDA0002541666680000113
对应区域的能见度标注值yi作为样本目标值，构成一组样本
Figure GDA0002541666680000114
设定训练集样本图像数量为ImageNum，则子区域图像数量为ImageNum×RegionNum即共有ImageNum×RegionNum组训练样本，将训练样本集记为
Figure GDA0002541666680000115
n为样本数量，数值上等于子区域图像总数，即n＝ImageNum×RegionNum；
步骤1-3-2，回归模型建立：利用样本集数据训练支持向量回归机，得到能见度回归模型；
步骤1-3-3，参数寻优：通过网络搜索和交叉验证，寻找回归模型的最佳参数；
步骤1-3-4：训练集图像子区域能见度值估计：将训练集图像子区域特征向量集合FT中元素依次输入回归模型
Figure GDA0002541666680000116
得到训练集图像子区域能见度估计值集合
Figure GDA0002541666680000117
Figure GDA0002541666680000118
其中，
Figure GDA0002541666680000119
表示第i幅图像的第j个子区域能见度估计值，RegionNum表示划分的子区域数量，ImageNum表示训练集图像数量。
本发明步骤1-3-2包括以下步骤：
步骤1-3-2-1，建立优化目标和约束条件：为求解回归模型，根据支持向量回归机原理，建立如下优化目标和约束条件：
Figure GDA0002541666680000121
其中，s.t.表示约束条件，ω为超平面权重系数列向量，ωT表示其转置，ε为回归函数误差限值，C为惩罚因子，其值越大表示对训练误差大于ε的样本惩罚越大，ξi和
Figure GDA0002541666680000122
分别为松弛变量上界和松弛变量下界，
Figure GDA0002541666680000123
是将训练样本映射到高维线性空间的非线性函数，
Figure GDA0002541666680000124
是样本特征向量，yi为样本的能见度标注值，b是超平面的常系数；
步骤1-3-2-2，对偶变换求解：步骤1-3-2-1建立的优化目标不可微，直接求解不可行，可通过引入Lagrange函数，作对偶变换求解，变换后等价形式为：
Figure GDA0002541666680000125
其中，αi和
Figure GDA0002541666680000126
为Lagrange乘子，
Figure GDA0002541666680000127
为核函数，γ为核函数参数，j取值范围为1～n；
步骤1-3-2-3，含参非线性方程确定：求解步骤1-3-2-2的等价形式，得到Lagrange乘子最优解向量为
Figure GDA0002541666680000128
其中αi和
Figure GDA0002541666680000129
表示第i组训练样本对应的一组对偶Lagrange乘子最优解，则有：
Figure GDA00025416666800001210
Figure GDA0002541666680000131
其中，SV表示支持向量，即满足|yi-f(xi)|＝ε的
Figure GDA0002541666680000132
NsV为支持向量的数量，
Figure GDA0002541666680000133
表示待测图像的子区域特征向量，故非线性方程为：
Figure GDA0002541666680000134
本发明步骤1-3-3包括以下步骤：
支持向量回归机的参数选取对检测精度影响较大，不同问题必须确定不同的相关参数才能建立对应的回归模型，需要确定的参数有回归函数误差限值ε，惩罚因子C和核函数参数γ，本发明采用网络搜索和交叉验证确定三个参数值：
步骤1-3-3-1，网络搜索：设定参数的取值区间[εmin,εmax]、[Cmin,Cmax]和[γmin,γmax]，设定相应步长εstep、Cstep和γstep，由计算机顺序算出对应各参数的组合(εmin+uε×εstep,Cmin+uC×Cstep,γmin+uγ×γstep)，其中uε、uC和uγ为正整数，且εmin+uε×εstep≤εmax,Cmin+uC×Cstep≤Cmax,γmin+uγ×γstep≤γmax，对每一种组合进行交叉验证，逐一比较各种组合的均方误差并择优，从而确定该区间内最优参数组合[ε*,C*,γ*]，本发明设定参数区间ε∈[0,500]、C∈[2-4,24]、γ∈[10-3,10-1]，相应步长εstep＝50、Cstep＝2和γstep＝1.1×10-2；
步骤1-3-3-2，最终回归模型确定：将步骤1-3-3-1得到的最优参数组合[ε*,C*,γ*]代入步骤1-3-2-3，确定最终回归模型
Figure GDA0002541666680000135
步骤1-3-3-1中所述对每一种组合进行交叉验证，具体包括：对于一组给定的参数组合[εmin+uε×εstep,Cmin+uC×Cstep,γmin+uγ×γstep]，
其中m、n和q为正整数，将训练样本集S进行随机等分为v份，将其中的v-1份作为训练样本，余下的1份作为测试图像，共得到v组交叉验证所用的训练样本及相应的测试图像，将训练样本作为支持向量回归机的输入，建立回归模型，并用对应的测试图像校验拟合效果，依次轮换进行，得到v个表征拟合效果的均方误差MSE，选取最小的均方误差作为本参数组合的均方误差MSEi，MSE表达式如下所示：
Figure GDA0002541666680000141
其中，t是每组测试图像的样本个数，
Figure GDA0002541666680000142
本发明将v设置为5，yi *是模型输出能见度值，yi是样本点能见度标注值。
本发明步骤1-4包括以下步骤：
步骤1-4-1，预测方差计算：将训练集中第i幅图像的第j个子区域的预测分布方差和预测拟合方差之和作为对应的预测方差
Figure GDA0002541666680000143
表达式如下所示：
Figure GDA0002541666680000144
其中，
Figure GDA0002541666680000145
表示第i幅图像的第j个子区域的预测分布方差，
Figure GDA0002541666680000146
表示该区域的预测拟合方差；
步骤1-4-2，融合权重表示：将训练集中第i幅图像的第j个子区域的融合权重
Figure GDA0002541666680000147
表示为归一化的预测方差倒数，即：
Figure GDA0002541666680000148
其中，
Figure GDA0002541666680000149
表示该区域的预测方差，RegionNum表示划分的子区域数量，p为子区域序号，取值为[1,2,…,RegionNum]；
步骤1-4-3，子区域能见度估计值融合：将训练集中第i幅图像的各子区域能见度估计值按对应权重融合，得到整幅图像能见度估计值，融合公式如下：
Figure GDA00025416666800001410
其中，
Figure GDA00025416666800001411
表示第i幅图像的第j个子区域的能见度估计值，
Figure GDA00025416666800001412
为该子区域融合权重，RegionNum表示划分的子区域数量；
步骤1-4-4：训练集图像能见度估计：依次按权重融合训练集中每幅图像的子区域能见度估计值，得到训练集图像的能见度估计值集合VF＝[vf1,…,vfImageNum]。
本发明步骤1-4-1包括以下步骤：
步骤1-4-1-1：预测分布方差计算：第i幅图像的第j个子区域的预测分布方差
Figure GDA0002541666680000151
由数据联合分布的不确定性产生，通过训练集数据和待测数据的协方差矩阵计算得到，计算公式如下：
Figure GDA0002541666680000152
其中，
Figure GDA0002541666680000153
表示训练集所有图像的第j个子区域特征向量与其能见度标注值构成的集合，
Figure GDA0002541666680000154
表示第i幅图像的第j个子区域的特征向量与能见度估计值构成的样本点，K(l,l)为l点的自协方差，K(Z,l)为集合Z与l点的协方差矩阵，
Figure GDA0002541666680000155
为K(Z,l)的转置，
Figure GDA0002541666680000156
为集合Z的协方差矩阵逆矩阵；
步骤1-4-1-2：预测拟合方差计算：第i幅图像的第j个子区域的预测拟合方差
Figure GDA0002541666680000157
是由训练集数据中固有噪声导致的拟合误差，可由训练该子区域支持向量回归机得到的惩罚因子Cj和误差限值εj计算，即：
Figure GDA0002541666680000158
其中，惩罚因子Cj和误差限值εj可由步骤1-3得到。
本发明步骤1-5包括以下步骤：
步骤1-5-1，深度神经网络微调：将DIQaM-NR网络的参数值作为所有子区域FE-V网络参数的初始值，冻结底层卷积模块和池化层参数，继承DIQaM-NR网络的底层特征提取能力，采用反向传播和梯度下降算法对网络高层卷积模块进行训练，设置学习率为0.0001、迭代次数为100，从后向前更新各子区域对应FE-V网络的高层卷积模块参数，得到各子区域对应微调后的FE-V网络，单一子区域微调方式如图3所示；
步骤1-5-2，利用微调后网络重新编码：依次将训练集各子区域图像输入对应微调后的FE-V网络，提取全局池化层输出的N维特征向量，得到新的子区域特征向量集合
Figure GDA0002541666680000159
其中，
Figure GDA00025416666800001510
表示第i幅图像的第j个子区域的新特征向量。
本发明步骤2包括以下步骤：
步骤2-1，测试图像区域划分：按照步骤1-1所述方法，将测试图像划分子区域；
步骤2-2，深度神经网络编码：依次将各子区域图像输入对应微调后的FE-V网络网络，提取全局池化层输出的512维特征向量，作为该子区域图像特征向量fdj；
步骤2-3，回归预测：依次将各子区域特征向量输入步骤1-6训练得到的回归模型，计算子区域能见度估计值序列；
步骤2-4，权重融合：根据步骤1-4所述的方式按权重融合子区域能见度估计值，得到整幅图像能见度检测值。
实施例
本实施例中，采集12幅彩色样本图像，其分辨率均为640×480，按照具体实施方式的步骤1-1将每幅图像划分为9个子区域；然后，将各子区域图像输入微调后的DIQaM-NR网络进行编码，提取图像特征；接下来，将各子区域图像特征输入本发明训练的回归模型，输出每幅图像各子区域能见度估计值；最后，按权重融合同一幅图像的9个子区域能见度估计值，得到每幅图像的能见度检测值，样本图像、能见度标注值和对应检测值如图4所示。
本发明提供了一种基于编码网络微调的图像能见度检测方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (3)

1.一种基于编码网络微调的图像能见度检测方法，其特征在于，包括以下步骤：
步骤1，训练能见度检测模型：输入训练集图像，对训练集中每幅图像进行子区域图像划分；利用全局池化层替换预训练网络DIQaM-NR末端的池化层，利用替换修改后的网络对各子区域图像编码，提取各子区域图像对应的N维特征向量；利用各子区域图像特征向量和能见度标注值训练支持向量回归机，并估计子区域能见度值；根据支持向量误差分析计算各子区域融合权重，并按权重融合子区域能见度估计值，得到整幅图像能见度估计值；结合估计结果对深度神经网络进行微调；通过微调后的网络对各子区域图像重新编码，利用新的各子区域图像特征向量和能见度标注值重新训练支持向量回归机，得到新的能见度与特征向量的回归模型；
步骤2，测试能见度检测模型：输入测试图像，对测试图像进行子区域图像划分；利用微调后的深度神经网络进行编码，提取各子区域图像对应的N维特征向量；将各子区域图像特征向量代入步骤1最后训练的新回归模型，得到各子区域能见度估计值；计算各子区域融合权重，按权重融合各子区域能见度估计值，输出整幅图像能见度检测值；
步骤1包括以下步骤：
步骤1-1，输入训练集图像，对训练集中每幅图像进行子区域图像划分：将训练集中每幅图像划分为RegionNum个子区域，每个子区域分辨率为224×224，
Figure FDA0002541666670000011
其中，ImageWidth表示训练集图像的宽度，ImageHeight表示训练集图像的高度，
Figure FDA0002541666670000012
表示向上取整；子区域Region(i,j)的左上角像素横坐标
Figure FDA0002541666670000013
和纵坐标
Figure FDA0002541666670000014
分别为：
Figure FDA0002541666670000015
Figure FDA0002541666670000016
i、j分别表示子区域Region(i,j)在图像子区域集合中的行数和列数，
Figure FDA0002541666670000017
表示向下取整；子区域Region(i,j)的右上角像素横坐标
Figure FDA0002541666670000018
和纵坐标
Figure FDA0002541666670000019
分别为
Figure FDA00025416666700000110
Figure FDA00025416666700000111
子区域Region(i,j)的左下角像素横坐标
Figure FDA00025416666700000112
和纵坐标
Figure FDA00025416666700000113
分别为
Figure FDA00025416666700000114
子区域Region(i,j)的右下角像素横坐标
Figure FDA00025416666700000115
和纵坐标
Figure FDA00025416666700000116
分别为
Figure FDA00025416666700000117
步骤1-2，深度神经网络编码：利用全局池化层替换DIQaM-NR网络最后的最大池化层，将替换后的网络称为FE-V网络，其中全局池化层将采样区域视为整幅特征图，采样方式为取均值，依次将训练集各子区域图像输入FE-V网络，提取全局池化层输出的N维特征向量，得到训练集图像子区域特征向量集合FT：
Figure FDA0002541666670000021
其中，
Figure FDA0002541666670000022
表示第i幅图像的第j个子区域特征向量，RegionNum表示划分的子区域数量，ImageNum表示训练集图像数量，i取值范围为1～ImageNum，j取值范围为1～RegionNum；
步骤1-3，训练支持向量回归机：利用子区域图像特征向量和对应能见度标注值训练支持向量回归机，并将各子区域图像特征向量输入训练后的支持向量回归机，得到各子区域能见度估计值；
步骤1-4，权重融合：根据支持向量误差分析计算各子区域融合权重，并按权重融合子区域能见度估计值，得到整幅图像能见度估计值；
步骤1-5，深度神经网络微调：根据训练集图像对应的能见度估计值对深度神经网络的高层卷积模块进行微调，利用微调后的网络对各子区域图像重新编码；
步骤1-6，重新训练支持向量回归机：利用新的各子区域图像特征向量和能见度标注值重新训练支持向量回归机，得到新的能见度与特征向量的回归模型；
步骤1-3包括以下步骤：
步骤1-3-1：构建样本集：将一幅子区域图像经步骤1-2提取的特征向量
Figure FDA0002541666670000023
作为样本特征
Figure FDA0002541666670000024
对应区域的能见度标注值yi作为样本目标值，构成一组样本
Figure FDA0002541666670000025
设定训练集样本图像数量为ImageNum，则子区域图像数量为ImageNum×RegionNum，即共有ImageNum×RegionNum组训练样本，将训练样本集记为
Figure FDA0002541666670000026
Figure FDA0002541666670000027
表示训练样本集中第i组训练样本；n为训练样本数量，数值上等于子区域图像总数，即n＝ImageNum×RegionNum；
步骤1-3-2：建立回归模型：利用样本集数据训练支持向量回归机，得到能见度回归模型，即能见度检测模型；
步骤1-3-3：参数寻优：通过网络搜索和交叉验证，寻找回归模型的最佳参数，得到回归模型
Figure FDA0002541666670000028
步骤1-3-4：训练集图像子区域能见度值估计：将训练集图像子区域特征向量集合FT中元素依次输入回归模型
Figure FDA0002541666670000031
得到训练集图像子区域能见度估计值集合
Figure FDA0002541666670000032
其中，
Figure FDA0002541666670000033
表示第i幅图像的第j个子区域能见度估计值；
步骤1-3-2包括以下步骤：
步骤1-3-2-1：建立如下优化目标和约束条件：
Figure FDA0002541666670000034
其中，s.t.表示约束条件，ω为超平面权重系数列向量，ωT表示其转置，ε为回归函数误差限值，C为惩罚因子，ξi和
Figure FDA0002541666670000035
分别为松弛变量上界和松弛变量下界，
Figure FDA0002541666670000036
是将训练样本映射到高维线性空间的非线性函数，b是超平面的常系数；
步骤1-3-2-2，对偶变换求解：引入Lagrange函数，对步骤1-3-2-1建立的优化目标和约束条件作对偶变换求解，变换后等价形式为：
Figure FDA0002541666670000037
其中，αi和
Figure FDA0002541666670000038
为Lagrange乘子，
Figure FDA0002541666670000039
为核函数，γ为核函数参数，j取值范围为1～n；
步骤1-3-2-3，确定含参非线性方程：求解步骤1-3-2-2的等价形式，得到Lagrange乘子最优解向量
Figure FDA00025416666700000310
其中αi和
Figure FDA00025416666700000311
表示第i组训练样本对应的一组对偶Lagrange乘子，则有：
Figure FDA00025416666700000312
Figure FDA0002541666670000041
其中，SV表示支持向量，即满足|yi-f(xi)|＝ε的
Figure FDA0002541666670000042
NSV为支持向量的数量，
Figure FDA0002541666670000043
表示待测图像的子区域特征向量，故非线性方程
Figure FDA0002541666670000044
为：
Figure FDA0002541666670000045
步骤1-3-3包括以下步骤：
步骤1-3-3-1，网络搜索：设定参数ε的取值区间为[εmin,εmax]、C的取值区间为[Cmin,Cmax]、核函数参数γ的取值区间为[γmin,γmax]，设定参数ε的步长为εstep、C的步长为Cstep、核函数参数γ的步长为γstep，顺序算出对应各参数的组合(εmin+uε×εstep,Cmin+uc×Cstep,γmin+uγ×γstep)，其中uε、uC和uγ为正整数，且εmin+uε×εstep≤εmax,Cmin+uC×Cstep≤Cmax,γmin+uγ×γstep≤γmax，对每一种组合进行交叉验证，逐一比较各种组合的均方误差并择优，从而确定该区间内最优参数组合[ε*,C*,γ*]，ε*为参数ε的最优选择，C*为参数C的最优选择，γ*为核函数参数γ的最优选择；
步骤1-3-3-2，确定最终回归模型：将步骤1-3-3-1得到的最优参数组合[ε*,C*,γ*]代入步骤1-3-2-3，确定最终回归模型
Figure FDA0002541666670000046
即得到了能见度检测模型；
步骤1-3-3-1中所述对每一种组合进行交叉验证，具体包括：
对于一组给定的参数组合：
[εmin+uε×εstep,Cmin+uC×Cstep,γmin+uγ×γstep]，
其中uε、uC和uγ为正整数，将训练样本集S进行随机等分为v份，将其中的v-1份作为训练样本，余下的1份作为测试图像，共得到v组交叉验证所用的训练样本及相应的测试图像，将训练样本作为支持向量回归机的输入，建立回归模型，并用对应的测试图像校验拟合效果，依次轮换进行，得到v个表征拟合效果的均方误差MSE，选取最小的均方误差作为本参数组合的均方误差MSEi，MSE表达式如下所示：
Figure FDA0002541666670000047
其中，t是每组测试图像的样本个数，
Figure FDA0002541666670000051
yi *是模型输出能见度值；
步骤1-4包括以下步骤：
步骤1-4-1，预测方差计算：将训练集中第i幅图像的第j个子区域的预测分布方差和预测拟合方差之和作为对应的预测方差
Figure FDA0002541666670000052
表达式如下所示：
Figure FDA0002541666670000053
其中，
Figure FDA0002541666670000054
表示第i幅图像的第j个子区域的预测分布方差，
Figure FDA0002541666670000055
表示该区域的预测拟合方差；
步骤1-4-2，融合权重表示：将训练集中第i幅图像的第j个子区域的融合权重
Figure FDA0002541666670000056
表示为归一化的预测方差倒数，即：
Figure FDA0002541666670000057
其中，
Figure FDA0002541666670000058
表示训练集中第i幅图像的第j个子区域的预测方差，RegionNum表示划分的子区域数量，p为子区域序号，取值为[1,2,…,RegionNum]；
步骤1-4-3，子区域能见度估计值融合：将训练集中第i幅图像的各子区域能见度估计值按对应权重融合，得到整幅图像能见度估计值vfi，融合公式如下：
Figure FDA0002541666670000059
其中，
Figure FDA00025416666700000510
表示第i幅图像的第j个子区域的能见度估计值，
Figure FDA00025416666700000511
为该子区域融合权重，RegionNum表示划分的子区域数量；
步骤1-4-4：训练集图像能见度估计：依次按权重融合训练集中每幅图像的子区域能见度估计值，得到训练集图像的能见度估计值集合VF＝[vf1,…,vfImageNum]；
步骤1-4-1包括以下步骤：
步骤1-4-1-1：预测分布方差计算：第i幅图像的第j个子区域的预测分布方差
Figure FDA00025416666700000512
由数据联合分布的不确定性产生，计算公式如下：
Figure FDA00025416666700000513
其中，
Figure FDA00025416666700000514
表示训练集所有图像的第j个子区域特征向量与其能见度标注值构成的集合，
Figure FDA0002541666670000061
表示第i幅图像的第j个子区域的特征向量与能见度估计值构成的样本点，K(l,l)为l点的自协方差，K(Z,l)为集合Z与l点的协方差矩阵，
Figure FDA0002541666670000062
为K(Z,l)的转置，
Figure FDA0002541666670000063
为集合Z的协方差矩阵逆矩阵；
步骤1-4-1-2：预测拟合方差计算：第i幅图像的第j个子区域的预测拟合方差
Figure FDA0002541666670000064
是由训练集数据中固有噪声导致的拟合误差，由训练该子区域支持向量回归机得到的惩罚因子Cj和误差限值εj计算，即：
Figure FDA0002541666670000065
其中，惩罚因子Cj和误差限值εj由步骤1-3得到。
2.根据权利要求1所述的方法，其特征在于，步骤1-5包括以下步骤：
步骤1-5-1，深度神经网络微调：将DIQaM-NR网络的参数值作为所有子区域FE-V网络参数的初始值，冻结底层卷积模块和池化层参数，继承DIQaM-NR网络的底层特征提取能力，采用反向传播和梯度下降算法对网络高层卷积模块进行训练，按照预设的学习率和迭代次数从后向前更新各子区域对应FE-V网络的高层卷积模块参数，得到各子区域对应微调后的FE-V网络；
步骤1-5-2，利用微调后的FE-V网络重新编码：依次将训练集各子区域图像输入对应微调后的FE-V网络，提取全局池化层输出的N维特征向量，得到新的子区域特征向量集合FT*：
Figure FDA0002541666670000066
其中，
Figure FDA0002541666670000067
表示第i幅图像的第j个子区域的新特征向量。
3.根据权利要求2所述的方法，其特征在于，步骤2包括以下步骤：
步骤2-1，测试图像区域划分：将测试图像按照步骤1-1所述方式进行子区域划分；
步骤2-2，深度神经网络编码：依次将各子区域图像输入对应微调后的FE-V网络，提取全局池化层输出的N维特征向量，作为该子区域图像特征向量fdj；
步骤2-3，回归预测：依次将各子区域特征向量输入步骤1-6训练得到的回归模型，计算子区域能见度估计值序列；
步骤2-4，权重融合：根据步骤1-4所述的方式按权重融合子区域能见度估计值，得到整幅图像能见度检测值。
CN201811249423.1A 2018-10-25 2018-10-25 一种基于编码网络微调的图像能见度检测方法 Active CN109214470B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811249423.1A CN109214470B (zh) 2018-10-25 2018-10-25 一种基于编码网络微调的图像能见度检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811249423.1A CN109214470B (zh) 2018-10-25 2018-10-25 一种基于编码网络微调的图像能见度检测方法

Publications (2)

Publication Number Publication Date
CN109214470A CN109214470A (zh) 2019-01-15
CN109214470B true CN109214470B (zh) 2020-11-03

Family

ID=64996344

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811249423.1A Active CN109214470B (zh) 2018-10-25 2018-10-25 一种基于编码网络微调的图像能见度检测方法

Country Status (1)

Country Link
CN (1) CN109214470B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022232068A1 (en) * 2021-04-27 2022-11-03 ARETé ASSOCIATES Systems and methods for estimating visibility in a scene

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110866593B (zh) * 2019-11-05 2022-09-23 西南交通大学 一种基于人工智能的高速公路恶劣天气识别方法
CN110889398B (zh) * 2019-12-19 2022-01-14 南通大学 一种基于相似度网络的多模态图像能见度检测方法
CN111191629B (zh) * 2020-01-07 2023-12-15 中国人民解放军国防科技大学 一种基于多目标的图像能见度检测方法
CN112070103B (zh) * 2020-04-26 2021-04-30 河海大学 通过微波链路网格化自适应可变尺度反演大气能见度的方法
CN111914995A (zh) * 2020-06-18 2020-11-10 北京百度网讯科技有限公司 正则化线性回归生成方法、装置、电子设备及存储介质
CN111767461B (zh) * 2020-06-24 2024-02-06 北京奇艺世纪科技有限公司 数据处理方法及装置
CN114202542B (zh) * 2022-02-18 2022-04-19 象辑科技(武汉)股份有限公司 一种能见度反演方法、装置、计算机设备及存储介质
CN117237859B (zh) * 2023-11-14 2024-02-13 南京信息工程大学 基于低光照增强的夜间高速公路雾天能见度检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103942433A (zh) * 2014-04-21 2014-07-23 南京市测绘勘察研究院有限公司 一种基于历史资料分析的建筑物沉降预测方法
CN107578406A (zh) * 2017-09-06 2018-01-12 天津大学 基于网格与韦泊统计特性的无参考立体图像质量评价方法
CN108399420A (zh) * 2018-01-30 2018-08-14 北京理工雷科电子信息技术有限公司 一种基于深度卷积网络的可见光舰船虚警剔除方法
CN108596138A (zh) * 2018-05-03 2018-09-28 南京大学 一种基于迁移层次网络的人脸识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1395664A4 (en) * 2001-05-15 2004-11-03 Psychogenics Inc SYSTEMS AND METHODS FOR INFORMATICS OF BEHAVIOR MONITORING

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103942433A (zh) * 2014-04-21 2014-07-23 南京市测绘勘察研究院有限公司 一种基于历史资料分析的建筑物沉降预测方法
CN107578406A (zh) * 2017-09-06 2018-01-12 天津大学 基于网格与韦泊统计特性的无参考立体图像质量评价方法
CN108399420A (zh) * 2018-01-30 2018-08-14 北京理工雷科电子信息技术有限公司 一种基于深度卷积网络的可见光舰船虚警剔除方法
CN108596138A (zh) * 2018-05-03 2018-09-28 南京大学 一种基于迁移层次网络的人脸识别方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Deep Neural Networks for No-Reference and Full-Reference Image Quality Assessment;Sebastian Bosse 等;《arXiv》;20171207;1-14 *
Learning Based Visibility Measuring with Images;Xu-Cheng Yin 等;《ICONIP 2011》;20111113;711-718 *
On the Use of Deep Learning for Blind Image Quality Assessment;Simone Bianco 等;《arXiv》;20170404;1-8 *
一种基于多元回归的能见度检测方法;唐绍恩 等;《智能算法与人工智能》;20180310;70-73、79 *
面向人脸年龄估计的深度融合神经网络;孙宁 等;《中国图象图形学报》;20180131;第23卷(第1期);133-143 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022232068A1 (en) * 2021-04-27 2022-11-03 ARETé ASSOCIATES Systems and methods for estimating visibility in a scene

Also Published As

Publication number Publication date
CN109214470A (zh) 2019-01-15

Similar Documents

Publication Publication Date Title
CN109214470B (zh) 一种基于编码网络微调的图像能见度检测方法
CN108875794B (zh) 一种基于迁移学习的图像能见度检测方法
CN110929607B (zh) 一种城市建筑物施工进度的遥感识别方法和系统
CN109740588B (zh) 基于弱监督和深度响应重分配的x光图片违禁品定位方法
CN111191629B (zh) 一种基于多目标的图像能见度检测方法
CN109284786B (zh) 基于分布和结构匹配生成对抗网络的sar图像地物分类方法
CN107330357A (zh) 基于深度神经网络的视觉slam闭环检测方法
CN109685743A (zh) 基于噪声学习神经网络模型的图像混合噪声消除方法
CN113159048A (zh) 一种基于深度学习的弱监督语义分割方法
CN113435282B (zh) 基于深度学习的无人机影像麦穗识别方法
CN110766058A (zh) 一种基于优化rpn网络的战场目标检测方法
CN114863348B (zh) 基于自监督的视频目标分割方法
CN108492298A (zh) 基于生成对抗网络的多光谱图像变化检测方法
CN110598636B (zh) 一种基于特征迁移的舰船目标识别方法
CN109543585A (zh) 基于卷积神经网络的水下光学目标检测与识别方法
CN106709515A (zh) 一种适用于下视景象匹配选区准则干预方法
CN115512247A (zh) 基于图像多参数提取的区域建筑损伤等级评定方法
CN106960433B (zh) 一种基于图像熵以及边缘的全参考声纳图像质量评测方法
CN116188943A (zh) 太阳射电频谱爆发信息检测方法及装置
CN115035164A (zh) 一种运动目标识别方法及装置
CN107705330B (zh) 基于道路摄像头的能见度智能估测方法
CN106874881A (zh) 一种多模板时空关联的局部反联合稀疏表示目标跟踪方法
CN115830514A (zh) 一种适用于带弯曲河道的全河段表面流速计算方法及系统
CN115035364A (zh) 一种基于深度神经网络的指针仪表读数方法
Dancea et al. Adaptive fuzzy c-means through support vector regression for segmentation of calcite deposits on concrete dam walls

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant