CN111191629B - 一种基于多目标的图像能见度检测方法 - Google Patents

一种基于多目标的图像能见度检测方法 Download PDF

Info

Publication number
CN111191629B
CN111191629B CN202010013331.4A CN202010013331A CN111191629B CN 111191629 B CN111191629 B CN 111191629B CN 202010013331 A CN202010013331 A CN 202010013331A CN 111191629 B CN111191629 B CN 111191629B
Authority
CN
China
Prior art keywords
image
visibility
point
interest
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010013331.4A
Other languages
English (en)
Other versions
CN111191629A (zh
Inventor
李骞
唐榕
唐绍恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202010013331.4A priority Critical patent/CN111191629B/zh
Publication of CN111191629A publication Critical patent/CN111191629A/zh
Application granted granted Critical
Publication of CN111191629B publication Critical patent/CN111191629B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于多目标的图像能见度检测方法，包括：步骤1，确定目标物；步骤2，训练检测模型；步骤3，将待测试的图像输入检测模型，输出图像的能见度检测值。本发明方法从一个视角的多个目标物出发，在目标物可见的基础上提取各区域子图像的SIFT特征向量，构建各个目标物区域子图像SIFT特征向量与能见度标注值之间的SVR模型。并融合各子区域的能见度估计值，有效提高了能见度检测的正确率。

Description

一种基于多目标的图像能见度检测方法
技术领域
本发明属于大气探测中地面气象观测技术领域，尤其涉及一种基于多目标的图像能见度检测方法。
背景技术
能见度在一般概念上，是指人肉眼没有任何帮助的条件下，物体能够被识别的最大距离。能见度作为一个重要的气象观测因素，其精确测量对与其测量要求高的相关领域事故的提前预防具有重大意义。目前世界上常用的能见度测量方法主要分为目视测量法和仪器测量法，它们在不同的领域都有各自的侧重应用。目测测量法主要是指依靠人眼的视觉系统来大略直观地确定出能见度的范围大小，得出的观测值主要取决于观察者目标照度的确定和目标物对比于背景的亮度阈值，这就导致了测量结果往往具有很多主观因素，因此难以保证测量结果的准确性。而仪器测量法主要是通过透射能见度仪或散射能见度仪来测量能见度。这两类测量方法虽然在测量精度上具有较为精确的优点，但是都是通过检测小范围内的能见度来推测大范围的大气能见度，而且仪器造价普遍比较昂贵、操作复杂，因此无法满足实际应用中大范围能见度检测需求。
由于目测测量和用仪器测量能见度都具有一定的局限性，而且随着计算机和摄像机的日益普及以及各种强大图像处理算法的成熟，利用图像处理来检测能见度的方法得到了迅速发展。基于图像处理的能见度检测方法主要是使用摄像机代替人眼来模拟人工观测的过程中人的视觉系统对远近目标物的认定判断过程，从所拍摄的图像中提取有效的视觉特征信息，将视觉特征信息和能见度以一种关系关联起来，并计算和分析图像场景的实际能见度值。根据建立联系所使用原理的不同，基于图像处理的能见度检测通常分为基于模型驱动的能见度检测和基于机器学习的能见度检测两类。基于模型驱动的能见度检测方法原理是根据大气对图像成像的衰减建立光传播物理模型，通过图像特征估计模型参数，以此反推能见度。该方法的估计精度与物理模型定义、参数设置紧密相关。然而大气中影响光传播的悬浮粒子种类较多，且粒子分布不均匀，因此光传播物理模型通常难以准确定义。基于机器学习的能见度检测方法主要是根据低能见度天气对图像造成的模糊和退化效果，从图像中提取有效的视觉特征，并通过累积的历史数据训练特征与能见度的关系模型，以此计算能见度。这种方法不仅不需要建立大气中光传播的物理模型，也不需要预先设定目标物以及摄像机标定等复杂的操作，能够运用到各种能见度下的天气情况，因此具有广阔的应用前景。
发明内容
发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供一种基于多目标的图像能见度检测方法，包括以下步骤：
步骤1，确定目标物：从采集的样本图像中选择能见度高的一幅图像作为基准图像，并在图像中确定目标物，将其区域子图像作为感兴趣区域。对确定的每一个目标物，提取其感兴趣区域的SIFT关键点作为基准点，对基准点集合中每一个基准点提取该点的位置、主方向和SIFT特征向量，将基准点的SIFT特征向量作为该点的特征向量。
步骤2，训练检测模型：对训练样本集图像中每个确定的目标物及对应的感兴趣区域，根据基准点位置、尺度分别提取其感兴趣区域内基准点集合上的SIFT特征向量，并根据所提取特征向量与基准特征向量的相似度判断目标物可见性，剔除掉不可见的目标物。对可见目标物区域子图像采用支持向量回归方法训练检测模型，建立各感兴趣区域的特征向量集与图像真实能见度之间的映射关系。
步骤3，将待测试的图像输入检测模型，输出图像的能见度检测值：对测试样本集图像中每个确定的目标物及对应的感兴趣区域，根据基准点位置、尺度分别提取其感兴趣区域内基准点集合上的SIFT特征向量，并根据所提取特征向量与基准特征向量的相似度判断目标物可见性。对可见的目标物，将其所在区域子图像提取的特征向量输入到已训练好的回归模型中，估算各子区域的能见度值，融合各子区域能见度估计值，输出整幅图像能见度检测值。
步骤1包括以下步骤：
步骤1-1，采集图像：摄像机采集监控视频集，并转换成相应图像帧，对每幅图像标注能见度值并作为样本集；
步骤1-2，选择基准图像：从采集的样本图像中人为选择能见度高、目标物清晰的一幅图像作为基准图像；
步骤1-3，选取感兴趣区域：从基准图像中人为选取细节特征明显而且具有远近不同的L(一般取值为6)个目标物，将其所在区域子图像作为对应的感兴趣区域；
步骤1-4，提取图像特征：对每个目标物所在的感兴趣区域图像，依次构建尺度空间、计算局部极值点、并筛选出关键点，以关键点为中心，计算所述关键点的主方向及128维特征向量；
步骤1-5，确定目标物基准：将步骤1-4得到的每个感兴趣区域图像的关键点作为所述感兴趣区域子图像的基准点集合，并将基准点集合中每一个基准点归一化后的特征向量、主方向及位置作为所述基准点的基准特征。
步骤1-4包括以下步骤：
步骤1-4-1，构建尺度空间：构建图像的高斯金字塔以及高斯差分金字塔，一幅图像的高斯尺度空间由其和高斯核函数卷积得到：L(x，y，σ)＝G(x，y，σ)*I(x，y)，其中L(x，y，σ)代表图像的高斯尺度空间；高斯核函数I(x，y)为图像中位置(x，y)像素点的灰度值；σ是尺度空间因子；高斯金字塔是不断向下采样图像的高斯尺度空间描述形式，将高斯金字塔中每组相邻的两个高斯尺度图像相减则得到图像的高斯差分金字塔；
步骤1-4-2，检测极值点：将每个像素点与其图像域和尺度域的所有相邻点进行比较，如果一像素点的灰度值大于或者小于所有相邻点的灰度值时，该像素点就是极值点；
步骤1-4-3，筛选关键点：对极值点进行插值和筛选，将筛选后的极值点作为所述区域子图像关键点；
步骤1-4-4，求取特征主方向：计算以关键点(x，y)为中心、以3×1.5σ为半径的圆形区域内图像所有像素点梯度的幅值m(x，y)和幅角θ(x，y)：
其中L(x，y-1)、L(x，y+1)、L(x-1，y)、L(x+1，y)分别为高斯平滑图像L中像素点(x，y)上、下、左、右相邻点的灰度值，然后对各关键点周围范围内像素点梯度幅角和幅值进行直方图统计，直方图的横轴是梯度幅角，梯度幅角范围是0°到360°，直方图每45°一个柱，共8个柱，纵轴为梯度幅角对应幅值的累加值，直方图中最高峰所对应的方向作为关键点的主方向；
步骤1-4-5，生成特征向量：首先将以图像中心为原点的二维坐标轴的x轴旋转为关键点的主方向，计算以关键点为中心16×16正方形区域内图像所有像素点梯度的幅值和幅角，将区域内的像素点分成16块，每块是该区域内像素点8个方向的直方图统计，一共形成128维向量，作为所述关键点特征向量；
步骤1-4-6，特征向量归一化：将计算得到的每个关键点特征向量进行归一化，公式如下：
其中，i＝1，2，3，...，128，Li表示归一化后特征向量的第i个分量；hi为原特征向量分量；i表示向量维数。
步骤1-4-3包括以下步骤：
步骤1-4-3-1，定位极值点插值：利用三维子像元插值，设尺度空间函数为D(x，y，σ)，将步骤1-4-2得到的离散空间极值点定义为采样点，以一个采样点为原点的D(x，y，σ)二次泰勒展开式为：
其中X＝(x，y，σ)T，X是距离所述采样点的偏移量，T表示向量转置；D(X)表示高斯函数的差分，且D(x，y，σ)＝|G(x，y，kσ)-G(x，y，σ)|*I(x，y)＝L(x，y，kσ)-L(x，y，σ)，k是高斯金字塔中同组相邻两层图像之间尺度比例因子；D，分别表示在所述采样点的值、一阶求导、二阶求导。使D(X)对X求导：
令为零得到距离所述采样点的偏移量/>为：
如果在任一维度上偏移量大于0.5，说明极值点精确位置更接近于其他采样点，改变采样点位置，定位到新点后再进行相同操作，如果迭代x1(一般取值为5)次位置仍不收敛或者超出图像边界范围，则判定所述采样点不是极值点；否则将偏移量/>加到其采样点的位置，得到真正极值点的插值估计；
步骤1-4-3-2，筛选低对比度极值点：将步骤1-4-3-1得到的偏移量代入D(x，y，σ)二次泰勒展开式中得到：
化简得到：
如果则剔除所述极值点；
步骤1-4-3-3，筛选强边缘响应极值点：通过2*2的Hessian矩阵H计算D(x，y，σ)函数在一极值点的主曲率：
其中Dxx、Dyy和Dxy分别表示DOG图像极值点像素在x轴方向上的二阶导数、y轴方向上的二阶导数、二阶混合偏导数，导数通过求临近点差分得到；令α＝λmax为最大特征值，β＝λmin为最小特征值，则：
Tr(H)＝Dxx+Dyy＝α+β
Det(H)＝DxxDyy-(Dyy)2＝α*β
其中，Tr(H)表示矩阵H的迹，Det(H)表示矩阵H的行列式；如果Det(H)＜0，则舍去所述极值点，否则设为最大特征值与最小特征值的比值，则α＝γβ，有：
如果满足：
则保留该极值点，否则舍去该极值点，其中γt为一阈值，设为10。
步骤2包括以下步骤：
步骤2-1，构建训练样本集：将步骤1-1得到的样本集等分为M(一般取值为5)份，随机选取其中M-1份作为训练样本集，剩下的一份作为测试样本集；
步骤2-2，提取特征向量：依据步骤1-3基准图像所确定的目标物和对应的感兴趣区域，按照步骤1-4的方法提取训练样本集图像各感兴趣区域内基准点集合对应位置上的SIFT特征向量；
步骤2-3，判断目标物可见性：将训练样本集图像各感兴趣区域提取的关键点集合与对应子区域基准点集合作相似度计算，如果相似度高于阈值，则所述子区域内的目标物是可见的，否则为不可见；
步骤2-4，训练支持向量回归机：对训练样本集中每幅图像，利用各感兴趣区域所提取的SIFT特征向量和图像能见度标注值分别训练支持向量回归机，建立映射SIFT特征与能见度的线性回归模型。
步骤2-3包括以下步骤：
步骤2-3-1，确定可见性条件：从训练样本集图像中，人为挑选出能见度标注值相差较大的几幅图像，采用关键点特征向量的欧氏距离作为两个感兴趣区域具有相同位置关键点的相似性判定度量；统计不同能见度条件下的图像各感兴趣区域关键点集合与基准图像对应目标物区域基准点集合的相似度，得到各感兴趣区域内目标物不可见时相似度阈值，以此作为子区域目标物可见性判断的条件；
步骤2-3-2，判断目标物可见性：计算训练样本集图像各感兴趣区域关键点集合与基准图像对应目标物区域基准点集合的相似度，如果满足可见性条件，则判定目标物可见；否则为不可见；剔除掉训练样本集中不可见目标物所在的感兴趣区域。
步骤2-4包括以下步骤：
步骤2-4-1，定义变量：将训练样本集中第i幅图像的第i个感兴趣区域的一个关键点的SIFT特征向量映射到高维特征空间/>作为自变量，第i幅图像的能见度标注值yi作为因变量，构成一组变量/>每个感兴趣区域有m*kj组变量用于SVR模型训练；其中变量m为训练样本集大小，kj表示基准图像第j个感兴趣区域基准点集合大小；
步骤2-4-2，建立SVR模型：利用训练样本集数据训练支持向量回归机，得到各感兴趣区域SIFT特征向量与能见度的线性回归模型
其中ω＝(ω1；ω2；...；ω128)为权重系数列向量，决定了超平面的方向；b为位移项，决定了超平面与原点之间的距离；
步骤2-4-3，选择核函数：采用高斯径向基核函数κ(xi，xj)用于SVR模型训练，其中τ为核函数参数并且τ＞0；xi，xj分别表示要映射到高维特征空间的第i个训练集样本和第j个训练集样本；
步骤2-4-4，寻优模型参数：采用交叉验证的方法寻求模型最优核函数参数τ。
步骤2-4-2包括以下步骤：
步骤2-4-2-1，建立优化目标和约束条件：为求解回归模型，根据支持向量回归机原理，建立如下优化目标和约束条件：
其中，s.t.表示约束条件；ξ为回归函数误差限值；C为惩罚因子，其值越大表示对训练误差大于ξ的样本惩罚越大；ξi和分别为松弛变量下界和松弛变量上界；Φ()是训练样本映射到高维特征空间的非线性函数；
步骤2-4-2-2，对偶变换求解：步骤2-4-3-1建立的优化目标是一个凸二次规划问题，采用拉格朗日乘子法对其对偶问题求解，对每条约束添加拉格朗日乘子μi≥0， ai≥0，/>则所述问题的拉格朗日函数/>写为：
再令对ω，b，ξ和/>的偏导为零得到：
将上述式子代入到步骤2-4-2-1的优化目标函数中，即得到SVR的对偶问题：
上述过程中需满足KKT(Karush-Kuhn-Tucker)条件，即要求：
其中为核函数，τ为核函数参数；j的取值范围为1～m；
步骤2-4-2-3，确定含参非线性方程：求解步骤2-4-2-2中SVR的对偶问题，得到最优解为其中ai和/>表示第i组训练样本对应的一组对偶拉格朗日乘子，则有：
其中ω*，b*分别表示权重系数列向量ω和位移项b的最优取值；SV表示支持向量，即满足|yi-f(xi)|＝ξ的xi；NSV为支持向量个数，则非线性方程为：
步骤2-4-4包括以下步骤：
支持向量回归机需要确定的参数包括回归函数误差限值ξ，惩罚因子C和核函数参数τ，采用网络搜索和交叉验证确定所述三个参数值：
步骤2-4-4-1，网络搜索：设定参数的取值区间[ξmin，ξmax]、[Cmin，Cmax]和[τmin，τmax]，其中ξmin，ξmax，Cmin，Cmax，τmin，τmax分别表示回归函数误差限值ξ，惩罚因子C和核函数参数τ设定取值的上限和下限。设定相应步长ξstep、Cstep和τstep，它们分别表示回归函数误差限值ξ，惩罚因子C和核函数参数τ的逐步增量。顺序算出各对应参数的组合(ξmin+p×ξstep，Cmin+q×Cstep，τmin+s×τstep)，其中p、q和s为正整数，且ξmin+p×ξstep≤ξmax，Cmin+q×Cstep≤Cmax，τmin+s×τstep≤τmax，对每一种组合执行步骤2-4-4-2交叉验证；
步骤2-4-4-2，交叉验证求参：对于一组给定的参数组合[ξi，Ci，τi]，ξi，Ci，τi分别表示回归函数误差限值ξ，惩罚因子C和核函数参数τ的一个具体取值。将训练样本集S进行随机等分为v份，将其中的v-1份作为训练样本，余下的1份作为验证样本，共得到v组交叉验证所用的训练样本及相应的验证样本，将训练样本作为支持向量回归机的输入，建立回归模型，并用对应的验证样本校验拟合效果，依次轮换进行，得到v个表征拟合效果的均方误差MSE，MSE表达式如下所示：
其中，t是每组验证样本的个数， 是模型能见度估计值；选取最小的均方差作为本参数组合[ξi，Ci，τi]的均方误差MSE；逐一比较步骤2-4-4-1中各种组合的均方误差并择优，从而确定区间内最优参数组合[ξ*，C*，τ*]；
步骤2-4-4-3，确定最终回归模型：将最优参数组合[ξ*，C*，τ*]带入到步骤2-4-2-3，确定最终回归模型
步骤3包括以下步骤：
步骤3-1，提取特征向量：依据步骤1-3基准图像所确定的目标物和对应的感兴趣区域，按照步骤1-4提取测试样本集中待测试的图像各感兴趣区域内基准点集合对应位置上SIFT特征向量；
步骤3-2，判断目标物可见性：计算测试样本集中待测试的图像各感兴趣区域关键点集合与基准图像对应目标物区域基准点集合的相似度，如果满足可见性条件，则判定目标物可见；否则为不可见；剔除掉测试样本集中不可见目标物所在的感兴趣区域；
步骤3-3，SVR模型预测：依次将测试样本集中待测试的图像各感兴趣域内每个关键点提取的特征向量分别代入到步骤2-4训练好相对应的回归模型/>中，从而计算得到各感兴趣区域的能见度预测值；
步骤3-4，子区域能见度融合：将各感兴趣区域能见度预测值按权重的方式融合，作为整幅图像能见度最终检测值；
步骤3-4包括以下步骤：
步骤3-4-1，确定融合权重：在步骤3-3后，以图像能见度标注值为参考，将预测误差小于20％的视为正确预测的值，而落在20％误差范围外的预测视为预测错误的值，分别统计出各感兴趣区域的预测正确率Pj；
步骤3-4-2，融合能见度预测值：将各感兴趣区域的预测正确率Pj作为其预测值融合的权重，最后加权求和得到整幅图像能见度最终检测值Vi，公式如下：
其中，Qj表示图像第j个感兴趣区域能见度预测值；变量r为基准图像感兴趣区域总数；变量n表示测试样本集大小，i＝1，2，...，n。
本发明提出的一种基于多目标的图像能见度检测方法属于基于机器学习的能见度检测方法，该方法通过提取图像的SIFT特征向量，建立图像特征和能见度的回归模型来预测能见度。主要可以分为三个步骤：1、目标物确定：选择一幅能见度高的图像作为基准图像，并在图像中确定目标物，将其区域子图像作为感兴趣区域，提取各感兴趣区域的SIFT关键点和特征向量；2、模型训练：对训练集图像划分感兴趣区域，并提取各区域子图像对应的128维SIFT特征向量，判断目标物可见性，训练各子区域特征向量与能见度标注值之间的回归模型；3、模型检测：对待检测图像划分感兴趣区域，并提取各区域子图像对应的128维SIFT特征向量，判断目标物可见性，将各子区域提取的特征向量分别代入到训练好的回归模型中，得到各子区域能见度估计值。融合各子区域能见度估计值，输出整幅图像能见度检测值。
有益效果：本发明方法从一个视角的多个目标物出发，在目标物可见的基础上提取各区域子图像的SIFT特征向量，构建各个目标物区域子图像SIFT特征向量与能见度标注值之间的SVR模型。并融合各子区域的能见度估计值，有效提高了能见度检测的正确率。
具体而言本发明与已有方法相比有以下优点：1、根据SIFT特征选择最优监督学习方法，通过训练建立图像SIFT特征与能见度之间的回归模型，可以实现能见度的自动检测。2、鲁棒性强，融合一幅图像不同子区域能见度估计值，降低因环境遮挡、镜面反射等因素导致的局部估计误差。
参考文献：
David G.Lowe.Distinctive Image Features from Scale-InvariantKeypoints[J].International Journal of Computer Vision，2004，60(2).
附图说明
下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和/或其他方面的优点将会变得更加清楚。
图1为本发明流程图。
图2为感兴趣区域图。
图3为确定关键点图。
图4为寻找主方向图。
图5为旋转主方向图。
图6为生成特征向量图。
具体实施方式
如图1所示，本发明包括以下步骤：
步骤1，确定目标物：从采集的样本图像中选择能见度高的一幅图像作为基准图像，并在图像中确定目标物，将其区域子图像作为感兴趣区域。对确定的每一个目标物，提取其感兴趣区域的SIFT关键点作为基准点，对基准点集合中每一个基准点提取该点的位置、主方向和SIFT特征向量，将基准点的SIFT特征向量作为该点的特征向量。
步骤2，训练检测模型：对训练样本集图像中每个确定的目标物及对应的感兴趣区域，根据基准点位置、尺度分别提取其感兴趣区域内基准点集合上的SIFT特征向量，并根据所提取特征向量与基准特征向量的相似度判断目标物可见性，剔除掉不可见的目标物。对可见目标物区域子图像采用支持向量回归方法训练检测模型，建立各感兴趣区域的特征向量集与图像真实能见度之间的映射关系。
步骤3，测试检测模型：对测试样本集图像中每个确定的目标物及对应的感兴趣区域，根据基准点位置、尺度分别提取其感兴趣区域内基准点集合上的SIFT特征向量，并根据所提取特征向量与基准特征向量的相似度判断目标物可见性。对可见的目标物，将其所在区域子图像提取的特征向量输入到已训练好的回归模型中，估算各子区域的能见度值，融合各子区域能见度估计值，输出整幅图像能见度检测值。
本发明步骤1包括以下步骤：
步骤1-1，采集图像：摄像机采集监控视频集，并转换成相应图像帧，对每幅图像标注能见度值并作为样本集；
步骤1-2，选择基准图像：从采集的样本图像中人为选择能见度高、目标物清晰的一幅图像作为基准图像；
步骤1-3，选取感兴趣区域：从基准图像中人为选取细节特征明显而且具有远近不同的6个目标物，将其所在区域子图像作为对应的感兴趣区域，如图2所示；
步骤1-4，提取图像特征：对每个目标物所在的感兴趣区域图像，依次构建尺度空间、计算局部极值点、并筛选出关键点，以关键点为中心，计算该关键点的主方向及128维特征向量；
步骤1-5，确定目标物基准：将步骤1-4每个感兴趣区域图像提取的各关键点作为该区域子图像的基准点集合，并将基准点集合中每一个基准点归一化后的特征向量、主方向及位置作为该基准点的基准特征。
本发明步骤1-4包括以下步骤：
步骤1-4-1，构建尺度空间：构建图像的高斯金字塔以及高斯差分金字塔，一幅图像的高斯尺度空间可由其和高斯核函数卷积得到：L(x，y，σ)＝G(x，y，σ)*I(x，y)，其中L(x，y，σ)代表图像的高斯尺度空间；高斯核函数I(x，y)为图像中位置(x，y)像素点的灰度值；σ是尺度空间因子；高斯金字塔是不断向下采样图像的高斯尺度空间描述形式，将高斯金字塔中每组相邻的两个高斯尺度图像相减便得到图像的高斯差分金字塔；
步骤1-4-2，检测极值点：将每个像素点与其图像域和尺度域的所有相邻点进行比较，如果一像素点的灰度值大于或者小于所有相邻点的灰度值时，该像素点就是极值点；
步骤1-4-3，筛选关键点：对极值点进行插值和筛选，将筛选后的极值点作为所述区域子图像关键点。如图3所示；
步骤1-4-4，求取特征主方向：计算以关键点(x，y)为中心、以3×1.5σ为半径的圆形区域内图像所有像素点梯度的幅值m(x，y)和幅角e(x，y)：
其中L(x，y-1)、L(x，y+1)、L(x-1，y)、L(x+1，y)分别为高斯平滑图像L中像素点(x，y)上、下、左、右相邻点的灰度值。然后对各关键点周围范围内像素点梯度幅角和幅值进行直方图统计，直方图的横轴是梯度幅角，梯度幅角范围是0°到360°，直方图每45°一个柱，共8个柱，纵轴为梯度幅角对应幅值的累加值，直方图中最高峰所对应的方向作为关键点的主方向。如图4所示；
步骤1-4-5，生成特征向量：首先将以图像中心为原点的二维坐标轴的x轴旋转为关键点的主方向，如图5所示。计算以关键点为中心16×16正方形区域内图像所有像素点梯度的幅值和幅角，将区域内的像素点分成16块，每块是该区域内像素点8个方向的直方图统计，一共形成128维向量，作为所述关键点特征向量。如图6所示；
步骤1-4-6，特征向量归一化：将计算得到的每个关键点特征向量进行归一化，公式如下：
其中，i＝1，2，3，...，128，Li表示归一化后特征向量的第i个分量；hi为原特征向量分量；i表示向量维数。
本发明步骤1-4-3包括以下步骤：
步骤1-4-3-1，定位极值点插值：利用三维子像元插值，设尺度空间函数为D(x，y，σ)，将步骤1-4-2得到的离散空间极值点定义为采样点，以一个采样点为原点的D(x，y，σ)二次泰勒展开式为：
其中X＝(x，y，σ)T，X是距离所述采样点的偏移量，T表示向量转置；D(X)表示高斯函数的差分，且D(x，y，σ)＝|G(x，y，kσ)-G(x，y，σ)|*I(x，y)＝L(x，y，kσ)-L(x，y，σ)，k是高斯金字塔中同组相邻两层图像之间尺度比例因子；D，分别表示在所述采样点的值、-阶求导、二阶求导。使D(X)对X求导：
令为零得到距离所述采样点的偏移量/>为：
/>
如果在任一维度上偏移量大于0.5，说明极值点精确位置更接近于其他采样点，改变采样点位置，定位到新点后再进行相同操作。若迭代x1次位置仍不收敛或者超出图像边界范围，则判定所述采样点不是极值点；否则将偏移量/>加到其采样点的位置，得到真正极值点的插值估计；
步骤1-4-3-2，筛选低对比度极值点：将步骤1-4-3-1得到的偏移量代入D(x，y，σ)二次泰勒展开式中得到：
化简得到：
若则剔除所述极值点；
步骤1-4-3-3，筛选强边缘响应极值点：通过2*2的Hessian矩阵H计算D(x，y，σ)函数在一极值点的主曲率：
其中Dxx、Dyy和Dxy分别表示DOG图像极值点像素在x轴方向上的二阶导数、y轴方向上的二阶导数、二阶混合偏导数，导数通过求临近点差分得到；令α＝λmax为最大特征值，β＝λmin为最小特征值，则：
Tr(H)＝Dxx+Dyy＝α+p
Det(H)＝DxxDyy-(Dyy)2＝α*β
其中，Tr(H)表示矩阵H的迹，Det(H)表示矩阵H的行列式；如果Det(H)＜0，则舍去所述极值点，否则设为最大特征值与最小特征值的比值，则α＝γβ，有：
如果满足：
则保留该极值点，否则舍去该极值点，其中γt为一阈值。
本发明步骤2包括以下步骤：
步骤2-1，构建训练样本集：将步骤1-1得到的样本集等分为M份，随机选取其中M-1份作为训练样本集，剩下的一份作为测试样本集；
步骤2-2，提取特征向量：依据步骤1-3基准图像所确定的目标物和对应的感兴趣区域，按照步骤1-4的方法提取训练样本集图像各感兴趣区域内基准点集合对应位置上的SIFT特征向量；
步骤2-3，判断目标物可见性：将训练样本集图像各感兴趣区域提取的关键点集合与对应子区域基准点集合作相似度计算，若相似度高于阈值，则所述子区域内的目标物是可见的，否则为不可见；
步骤2-4，训练支持向量回归机：对训练样本集中每幅图像，利用各感兴趣区域所提取的SIFT特征向量和图像能见度标注值分别训练支持向量回归机，建立映射SIFT特征与能见度的线性回归模型。
本发明步骤2-3包括以下步骤：
步骤2-3-1，确定可见性条件：从训练样本集图像中，人为挑选出能见度标注值相差较大的几幅图像，采用关键点特征向量的欧氏距离作为两个感兴趣区域具有相同位置关键点的相似性判定度量。统计不同能见度条件下的图像各感兴趣区域关键点集合与基准图像对应目标物区域基准点集合的相似度，得到各感兴趣区域内目标物不可见时相似度阈值，以此作为子区域目标物可见性判断的条件；
步骤2-3-2，判断目标物可见性：计算训练样本集图像各感兴趣区域关键点集合与基准图像对应目标物区域基准点集合的相似度，如果满足可见性条件，则判定目标物可见；否则为不可见；剔除掉训练样本集中不可见目标物所在的感兴趣区域。
本发明步骤2-4包括以下步骤：
步骤2-4-1，定义变量：将训练样本集中第i幅图像的第j个感兴趣区域的一个关键点的SIFT特征向量映射到高维特征空间/>作为自变量，第i幅图像的能见度标注值yi作为因变量，构成一组变量/>每个感兴趣区域有m*kj组变量用于SVR模型训练；其中变量m为训练样本集大小；kj表示基准图像第j个感兴趣区域基准点集合大小；
步骤2-4-2，建立SVR模型：利用训练样本集数据训练支持向量回归机，得到各感兴趣区域SIFT特征向量与能见度的线性回归模型
其中ω＝(ω1；ω2；...；ω128)为权重系数列向量，决定了超平面的方向；b为位移项，决定了超平面与原点之间的距离；
步骤2-4-3，选择核函数：采用高斯径向基核函数κ(xi，xj)用于SVR模型训练，其中τ为核函数参数并且τ＞0；xi，xj分别表示要映射到高维特征空间的第i个训练集样本和第j个训练集样本；
步骤2-4-4，寻优模型参数：采用交叉验证的方法寻求模型最优核函数参数τ；
本发明步骤2-4-2包括以下步骤：
步骤2-4-2-1，建立优化目标和约束条件：为求解回归模型，根据支持向量回归机原理，建立如下优化目标和约束条件：
其中，s.t.表示约束条件；ξ为回归函数误差限值；C为惩罚因子，其值越大表示对训练误差大于ξ的样本惩罚越大；ξi和分别为松弛变量下界和松弛变量上界；Φ()是训练样本映射到高维特征空间的非线性函数；/>
步骤2-4-2-2，对偶变换求解：步骤2-4-3-1建立的优化目标是一个凸二次规划问题，采用拉格朗日乘子法对其对偶问题求解，对每条约束添加拉格朗日乘子μi≥0，0，ai≥0，/>则所述问题的拉格朗日函数/>写为：
再令对ω，b，ξ和/>的偏导为零可得：
将上述式子代入到步骤2-4-2-1的优化目标函数中，即得到SVR的对偶问题：
上述过程中需满足KKT(Karush-Kuhn-Tucker)条件，即要求：
其中为核函数，τ为核函数参数；j的取值范围为1～m；
步骤2-4-2-3，确定含参非线性方程：求解步骤2-4-2-2SVR的对偶问题，得到最优解为其中ai和/>表示第i组训练样本对应的一组对偶拉格朗日乘子，则有
/>
其中ω*，b*分别表示权重系数列向量ω和位移项b的最优取值；SV表示支持向量，即满足|yi-f(xi)|＝ξ的xi；NSV为支持向量个数。则非线性方程为：
本发明步骤2-4-4包括以下步骤：
支持向量回归机需要确定的参数包括回归函数误差限值ξ，惩罚因子C和核函数参数τ，采用网络搜索和交叉验证确定所述三个参数值：
步骤2-4-4-1，网络搜索：设定参数的取值区间[ξmin，ξmax]、[Cmin，Cmax]和[τmin，τmax]，其中ξmin，ξmax，Cmin，Cmax，τmin，τmax分别表示回归函数误差限值ξ，惩罚因子C和核函数参数τ设定取值的上限和下限。设定相应步长ξstep、Cstep和τstep，它们分别表示回归函数误差限值ξ，惩罚因子C和核函数参数τ的逐步增量。顺序算出各对应参数的组合(ξmin+p×ξstep，Cmin+q×Cstep，τmin+s×τstep)，其中p、q和s为正整数，且ξmin+p×ξstep≤ξmax，Cmin+q×Cstep≤Cmax，τmin+s×τstep≤τmax，对每一种组合执行步骤2-4-4-2交叉验证；
步骤2-4-4-2，交叉验证求参：对于一组给定的参数组合[ξi，Ci，τi]，ξi，Ci，τi分别表示回归函数误差限值ξ，惩罚因子C和核函数参数τ的一个具体取值。将训练样本集S进行随机等分为v份，将其中的v-1份作为训练样本，余下的1份作为验证样本，共得到v组交叉验证所用的训练样本及相应的验证样本，将训练样本作为支持向量回归机的输入，建立回归模型，并用对应的验证样本校验拟合效果，依次轮换进行，得到v个表征拟合效果的均方误差MSE，MSE表达式如下所示：
其中，t是每组验证样本的个数， 是模型能见度估计值；选取最小的均方差作为本参数组合[ξi，Ci，τi]的均方误差MSE；逐一比较步骤2-4-4-1中各种组合的均方误差并择优，从而确定区间内最优参数组合[ξ*，C*，τ*]；
步骤2-4-4-3，确定最终回归模型：将最优参数组合[ξ*，C*，τ*]带入到步骤2-4-2-3，确定最终回归模型
本发明步骤3包括以下步骤：
步骤3-1，提取特征向量：依据步骤1-3基准图像所确定的目标物和对应的感兴趣区域，按照步骤1-4提取测试样本集中待测试的图像各感兴趣区域内基准点集合对应位置上SIFT特征向量；
步骤3-2，判断目标物可见性：计算测试样本集中待测试的图像各感兴趣区域关键点集合与基准图像对应目标物区域基准点集合的相似度，如果满足可见性条件，则判定目标物可见；否则为不可见；剔除掉测试样本集中不可见目标物所在的感兴趣区域；
步骤3-3，SVR模型预测：依次将测试样本集中待测试的图像各感兴趣域内每个关键点提取的特征向量分别代入到步骤2-4训练好相对应的回归模型/>中，从而计算得到各感兴趣区域的能见度预测值；
步骤3-4，子区域能见度融合：将各感兴趣区域能见度预测值按权重的方式融合，作为整幅图像能见度最终检测值；
本发明步骤3-4包括以下步骤：
步骤3-4-1，确定融合权重：在步骤3-3后，以图像能见度标注值为参考，将预测误差小于20％的视为正确预测的值，而落在20％误差范围外的预测视为预测错误的值，分别统计出各感兴趣区域的预测正确率Pj；
步骤3-4-2，融合能见度预测值：将各感兴趣区域的预测正确率Pj作为其预测值融合的权重，最后加权求和得到整幅图像能见度最终检测值Vi，公式如下：
其中，Qj表示该图像第j个感兴趣区域能见度预测值；变量r为基准图像感兴趣区域总数；变量n表示测试样本集大小，i＝1，2，...，n。
本发明提供了一种基于多目标的图像能见度检测方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (1)

1.一种基于多目标的图像能见度检测方法，其特征在于，包括如下步骤：
步骤1，确定目标物；
步骤2，训练检测模型；
步骤3，将待测试的图像输入检测模型，输出图像的能见度检测值；
步骤1包括以下步骤：
步骤1-1，采集图像：摄像机采集监控视频集，并转换成相应图像帧，对每幅图像标注能见度值并作为样本集；
步骤1-2，选择基准图像：从采集的样本图像中选择能见度高、目标物清晰的一幅图像作为基准图像；
步骤1-3，选取感兴趣区域：从基准图像中选取细节特征明显而且具有远近不同的L个目标物，将其所在区域子图像作为对应的感兴趣区域；
步骤1-4，提取图像特征：对每个目标物所在的感兴趣区域图像，依次构建尺度空间、计算局部极值点、并筛选出关键点，以关键点为中心，计算所述关键点的主方向及128维特征向量；
步骤1-5，确定目标物基准：将步骤1-4得到的每个感兴趣区域图像的关键点作为所述感兴趣区域子图像的基准点集合，并将基准点集合中每一个基准点归一化后的特征向量、主方向及位置作为所述基准点的基准特征；
步骤1-4包括以下步骤：
步骤1-4-1，构建尺度空间：构建图像的高斯金字塔以及高斯差分金字塔，一幅图像的高斯尺度空间由其和高斯核函数卷积得到：L(x,y,σ)＝G(x,y,σ)*I(x,y)，其中L(x,y,σ)代表图像的高斯尺度空间；高斯核函数I(x,y)为图像中位置(x,y)像素点的灰度值；σ是尺度空间因子；高斯金字塔是不断向下采样图像的高斯尺度空间描述形式，将高斯金字塔中每组相邻的两个高斯尺度图像相减则得到图像的高斯差分金字塔；
步骤1-4-2，检测极值点：将每个像素点与其图像域和尺度域的所有相邻点进行比较，如果一像素点的灰度值大于或者小于所有相邻点的灰度值时，该像素点就是极值点；
步骤1-4-3，筛选关键点：对极值点进行插值和筛选，将筛选后的极值点作为所述区域子图像关键点；
步骤1-4-4，求取特征主方向：计算以关键点(x,y)为中心、以3×1.5σ为半径的圆形区域内图像所有像素点梯度的幅值m(x,y)和幅角θ(x,y)：
其中L(x,y-1)、L(x,y+1)、L(x-1,y)、L(x+1,y)分别为高斯平滑图像L中像素点(x,y)上、下、左、右相邻点的灰度值，然后对各关键点周围范围内像素点梯度幅角和幅值进行直方图统计，直方图的横轴是梯度幅角，梯度幅角范围是0°到360°，直方图每45°一个柱，共8个柱，纵轴为梯度幅角对应幅值的累加值，直方图中最高峰所对应的方向作为关键点的主方向；
步骤1-4-5，生成特征向量：首先将以图像中心为原点的二维坐标轴的x轴旋转为关键点的主方向，计算以关键点为中心16×16正方形区域内图像所有像素点梯度的幅值和幅角，将区域内的像素点分成16块，每块是该区域内像素点8个方向的直方图统计，一共形成128维向量，作为所述关键点特征向量；
步骤1-4-6，特征向量归一化：将计算得到的每个关键点特征向量进行归一化，公式如下：
其中，i＝1,2,3,…,128，Li表示归一化后特征向量的第i个分量；hi为原特征向量分量；i表示向量维数；
步骤1-4-3包括以下步骤：
步骤1-4-3-1，定位极值点插值：利用三维子像元插值，设尺度空间函数为D(x,y,σ)，将步骤1-4-2得到的离散空间极值点定义为采样点，以一个采样点为原点的D(x,y,σ)二次泰勒展开式为：
其中X＝(x,y,σ)T，X是距离所述采样点的偏移量，T表示向量转置；D(X)表示高斯函数的差分，且D(x,y,σ)＝|G(x,y,kσ)-G(x,y,σ)|*I(x,y)＝L(x,y,kσ)-L(x,y,σ)，k是高斯金字塔中同组相邻两层图像之间尺度比例因子；D，分别表示在所述采样点的值、一阶求导、二阶求导；使D(X)对X求导：
令为零得到距离所述采样点的偏移量/>为：
如果在任一维度上偏移量大于0.5，说明极值点精确位置更接近于其他采样点，改变采样点位置，定位到新点后再进行相同操作，如果迭代x1次位置仍不收敛或者超出图像边界范围，则判定所述采样点不是极值点；否则将偏移量/>加到其采样点的位置，得到真正极值点的插值估计；
步骤1-4-3-2，筛选低对比度极值点：将步骤1-4-3-1得到的偏移量代入D(x,y,σ)二次泰勒展开式中得到：
化简得到：
如果则剔除所述极值点；
步骤1-4-3-3，筛选强边缘响应极值点：通过2*2的Hessian矩阵H计算D(x,y,σ)函数在一极值点的主曲率：
其中Dxx、Dyy和Dxy分别表示DOG图像极值点像素在x轴方向上的二阶导数、y轴方向上的二阶导数、二阶混合偏导数，导数通过求临近点差分得到；令α＝λmax为最大特征值，β＝λmin为最小特征值，则：
Tr(H)＝Dxx+Dyy＝α+β
Det(H)＝DxxDyy-(Dyy)2＝α*β
其中，Tr(H)表示矩阵H的迹，Det(H)表示矩阵H的行列式；如果Det(H)<0，则舍去所述极值点，否则设为最大特征值与最小特征值的比值，则α＝γβ，有：
如果满足：
则保留该极值点，否则舍去该极值点，其中γt为一阈值；
步骤2包括以下步骤：
步骤2-1，构建训练样本集：将步骤1-1得到的样本集等分为M份，随机选取其中M-1份作为训练样本集，剩下的一份作为测试样本集；
步骤2-2，提取特征向量：依据步骤1-3基准图像所确定的目标物和对应的感兴趣区域，按照步骤1-4的方法提取训练样本集图像各感兴趣区域内基准点集合对应位置上的SIFT特征向量；
步骤2-3，判断目标物可见性：将训练样本集图像各感兴趣区域提取的关键点集合与对应子区域基准点集合作相似度计算，如果相似度高于阈值，则所述子区域内的目标物是可见的，否则为不可见；
步骤2-4，训练支持向量回归机：对训练样本集中每幅图像，利用各感兴趣区域所提取的SIFT特征向量和图像能见度标注值分别训练支持向量回归机，建立映射SIFT特征与能见度的线性回归模型；
步骤2-3包括以下步骤：
步骤2-3-1，确定可见性条件：从训练样本集图像中，挑选出能见度标注值相差较大的几幅图像，采用关键点特征向量的欧氏距离作为两个感兴趣区域具有相同位置关键点的相似性判定度量；统计不同能见度条件下的图像各感兴趣区域关键点集合与基准图像对应目标物区域基准点集合的相似度，得到各感兴趣区域内目标物不可见时相似度阈值，以此作为子区域目标物可见性判断的条件；
步骤2-3-2，判断目标物可见性：计算训练样本集图像各感兴趣区域关键点集合与基准图像对应目标物区域基准点集合的相似度，如果满足可见性条件，则判定目标物可见；否则为不可见；剔除掉训练样本集中不可见目标物所在的感兴趣区域；
步骤2-4包括以下步骤：
步骤2-4-1，定义变量：将训练样本集中第i幅图像的第j个感兴趣区域的一个关键点的SIFT特征向量映射到高维特征空间/>作为自变量，第i幅图像的能见度标注值yi作为因变量，构成一组变量/>每个感兴趣区域有m*kj组变量用于SVR模型训练；其中变量m为训练样本集大小，kj表示基准图像第j个感兴趣区域基准点集合大小；
步骤2-4-2，建立SVR模型：利用训练样本集数据训练支持向量回归机，得到各感兴趣区域SIFT特征向量与能见度的线性回归模型
其中ω＝(ω1；ω2；…；ω128)为权重系数列向量，决定了超平面的方向；b为位移项，决定了超平面与原点之间的距离；
步骤2-4-3，选择核函数：采用高斯径向基核函数κ(xi,xj)用于SVR模型训练，其中τ为核函数参数并且τ>0；xi，xj分别表示要映射到高维特征空间的第i个训练集样本和第j个训练集样本；
步骤2-4-4，寻优模型参数：采用交叉验证的方法寻求模型最优核函数参数τ；
步骤2-4-2包括以下步骤：
步骤2-4-2-1，建立优化目标和约束条件：为求解回归模型，根据支持向量回归机原理，建立如下优化目标和约束条件：
其中，s.t.表示约束条件；ξ为回归函数误差限值；C为惩罚因子，其值越大表示对训练误差大于ξ的样本惩罚越大；ξi和分别为松弛变量下界和松弛变量上界；Φ()是训练样本映射到高维特征空间的非线性函数；
步骤2-4-2-2，对偶变换求解：步骤2-4-2-1建立的优化目标是一个凸二次规划问题，采用拉格朗日乘子法对其对偶问题求解，对每条约束添加拉格朗日乘子μi≥0， ɑi≥0，则所述问题的拉格朗日函数/>写为：
再令对ω,b,ξ和/>的偏导为零得到：
将上述式子代入到步骤2-4-2-1的优化目标函数中，即得到SVR的对偶问题：
上述过程中需满足KKT条件，即要求：
其中为核函数，τ为核函数参数；j的取值范围为1～m；
步骤2-4-2-3，确定含参非线性方程：求解步骤2-4-2-2中SVR的对偶问题，得到最优解为其中ɑi和/>表示第i组训练样本对应的一组对偶拉格朗日乘子，则有：
其中ω*，b*分别表示权重系数列向量ω和位移项b的最优取值；SV表示支持向量，即满足|yi-f(xi)|＝ξ的xi；NSV为支持向量个数，则非线性方程为：
步骤2-4-4包括以下步骤：
支持向量回归机需要确定的参数包括回归函数误差限值ξ，惩罚因子C和核函数参数τ，采用网络搜索和交叉验证确定所述三个参数值：
步骤2-4-4-1，网络搜索：设定参数的取值区间为[ξmin,ξmax]、[Cmin,Cmax]和[τmin,τmax]，其中ξmin，ξmax，Cmin，Cmax，τmin，τmax分别表示回归函数误差限值ξ，惩罚因子C和核函数参数τ设定取值的上限和下限；设定相应步长ξstep、Cstep和τstep，它们分别表示回归函数误差限值ξ，惩罚因子C和核函数参数τ的逐步增量；顺序算出各对应参数的组合(ξmin+p×ξstep,Cmin+q×Cstep,τmin+s×τstep)，其中p、q和s为正整数，且ξmin+p×ξstep≤ξmax,Cmin+q×Cstep≤Cmax,τmin+s×τstep≤τmax，对每一种组合执行步骤2-4-4-2交叉验证；
步骤2-4-4-2，交叉验证求参：对于一组给定的参数组合[ξi,Ci,τi]，ξi,Ci,τi分别表示回归函数误差限值ξ，惩罚因子C和核函数参数τ的一个具体取值；将训练样本集S进行随机等分为v份，将其中的v-1份作为训练样本，余下的1份作为验证样本，共得到v组交叉验证所用的训练样本及相应的验证样本；将训练样本作为支持向量回归机的输入，建立回归模型，并用对应的验证样本校验拟合效果，依次轮换进行，得到v个表征拟合效果的均方误差MSE，MSE表达式如下所示：
其中，t是每组验证样本的个数， 是模型能见度估计值；选取最小的均方差作为本参数组合[ξi,Ci,τi]的均方误差MSE；逐一比较步骤2-4-4-1中各种组合的均方误差并择优，从而确定区间内最优参数组合[ξ*,C*,τ*]；
步骤2-4-4-3，确定最终回归模型：将最优参数组合[ξ*,C*,τ*]带入到步骤2-4-2-3，确定最终回归模型
步骤3包括以下步骤：
步骤3-1，提取特征向量：依据步骤1-3基准图像所确定的目标物和对应的感兴趣区域，按照步骤1-4提取测试样本集中待测试的图像各感兴趣区域内基准点集合对应位置上SIFT特征向量；
步骤3-2，判断目标物可见性：计算测试样本集中待测试的图像各感兴趣区域关键点集合与基准图像对应目标物区域基准点集合的相似度，如果满足可见性条件，则判定目标物可见；否则为不可见；剔除掉测试样本集中不可见目标物所在的感兴趣区域；
步骤3-3，SVR模型预测：依次将测试样本集中待测试的图像各感兴趣域内每个关键点提取的特征向量分别代入到步骤2-4训练好相对应的回归模型/>中，从而计算得到各感兴趣区域的能见度预测值；
步骤3-4，子区域能见度融合：将各感兴趣区域能见度预测值按权重的方式融合，作为整幅图像能见度最终检测值；
步骤3-4包括以下步骤：
步骤3-4-1，确定融合权重：在步骤3-3后，以图像能见度标注值为参考，将预测误差小于20％的视为正确预测的值，而落在20％误差范围外的预测视为预测错误的值，分别统计出各感兴趣区域的预测正确率Pj；
步骤3-4-2，融合能见度预测值：将各感兴趣区域的预测正确率Pj作为其预测值融合的权重，最后加权求和得到整幅图像能见度最终检测值Vi，公式如下：
其中，Qj表示图像第j个感兴趣区域能见度预测值；变量r为基准图像感兴趣区域总数；变量n表示测试样本集大小，i＝1,2,…,n。
CN202010013331.4A 2020-01-07 2020-01-07 一种基于多目标的图像能见度检测方法 Active CN111191629B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010013331.4A CN111191629B (zh) 2020-01-07 2020-01-07 一种基于多目标的图像能见度检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010013331.4A CN111191629B (zh) 2020-01-07 2020-01-07 一种基于多目标的图像能见度检测方法

Publications (2)

Publication Number Publication Date
CN111191629A CN111191629A (zh) 2020-05-22
CN111191629B true CN111191629B (zh) 2023-12-15

Family

ID=70708394

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010013331.4A Active CN111191629B (zh) 2020-01-07 2020-01-07 一种基于多目标的图像能见度检测方法

Country Status (1)

Country Link
CN (1) CN111191629B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112014393B (zh) * 2020-08-26 2023-12-19 大连信维科技有限公司 一种基于目标视觉效果的介质能见度识别方法
CN112017243B (zh) * 2020-08-26 2024-05-03 大连信维科技有限公司 一种介质能见度识别方法
CN112330675B (zh) * 2020-12-15 2022-08-23 南昌工程学院 基于AOD-Net的交通道路图像大气能见度检测方法
CN113421249B (zh) * 2021-06-30 2024-02-06 上海申瑞继保电气有限公司 变电站设备可变尺度图像数值处理方法
CN113657530B (zh) * 2021-08-24 2024-04-05 凌云光技术股份有限公司 一种采用检测及分类模型对多目标大图像进行处理的方法及装置
CN114359211A (zh) * 2021-12-30 2022-04-15 上海商汤智能科技有限公司 能见度值检测方法、装置、设备及存储介质
CN114202542B (zh) * 2022-02-18 2022-04-19 象辑科技(武汉)股份有限公司 一种能见度反演方法、装置、计算机设备及存储介质
CN114720425B (zh) * 2022-04-24 2023-02-21 安徽气象信息有限公司 一种基于图像识别的能见度监测系统及方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7016045B2 (en) * 1999-03-12 2006-03-21 Regents Of The University Of Minnesota Video camera-based visibility measurement system
CN103077512A (zh) * 2012-10-18 2013-05-01 北京工业大学 基于主成分析的数字图像的特征提取与匹配方法及装置
EP2747026A1 (en) * 2012-12-20 2014-06-25 Valeo Schalter und Sensoren GmbH Method for determining the visibility of objects in a field of view of a driver of a vehicle, taking into account a contrast sensitivity function, driver assistance system, and motor vehicle
CN105930868A (zh) * 2016-04-20 2016-09-07 北京航空航天大学 一种基于层次化增强学习的低分辨率机场目标检测方法
JP2017009873A (ja) * 2015-06-24 2017-01-12 凸版印刷株式会社 ３ｄビューワ、および、視差画像の提供方法
WO2018035794A1 (zh) * 2016-08-22 2018-03-01 中国科学院深圳先进技术研究院 用于测量图像清晰度值的系统及其方法
CN108875794A (zh) * 2018-05-25 2018-11-23 中国人民解放军国防科技大学 一种基于迁移学习的图像能见度检测方法
CN109214470A (zh) * 2018-10-25 2019-01-15 中国人民解放军国防科技大学 一种基于编码网络微调的图像能见度检测方法
CN109858494A (zh) * 2018-12-28 2019-06-07 武汉科技大学 一种低对比度图像中显著性目标检测方法及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7016045B2 (en) * 1999-03-12 2006-03-21 Regents Of The University Of Minnesota Video camera-based visibility measurement system
CN103077512A (zh) * 2012-10-18 2013-05-01 北京工业大学 基于主成分析的数字图像的特征提取与匹配方法及装置
EP2747026A1 (en) * 2012-12-20 2014-06-25 Valeo Schalter und Sensoren GmbH Method for determining the visibility of objects in a field of view of a driver of a vehicle, taking into account a contrast sensitivity function, driver assistance system, and motor vehicle
JP2017009873A (ja) * 2015-06-24 2017-01-12 凸版印刷株式会社 ３ｄビューワ、および、視差画像の提供方法
CN105930868A (zh) * 2016-04-20 2016-09-07 北京航空航天大学 一种基于层次化增强学习的低分辨率机场目标检测方法
WO2018035794A1 (zh) * 2016-08-22 2018-03-01 中国科学院深圳先进技术研究院 用于测量图像清晰度值的系统及其方法
CN108875794A (zh) * 2018-05-25 2018-11-23 中国人民解放军国防科技大学 一种基于迁移学习的图像能见度检测方法
CN109214470A (zh) * 2018-10-25 2019-01-15 中国人民解放军国防科技大学 一种基于编码网络微调的图像能见度检测方法
CN109858494A (zh) * 2018-12-28 2019-06-07 武汉科技大学 一种低对比度图像中显著性目标检测方法及装置

Non-Patent Citations (9)

* Cited by examiner, † Cited by third party
Title
A new model for daytime visibility index estimation fused average sobel gradient and dark channel ratio;Wenshu Xiang et al.;Proceedings of 2013 3rd International Conference on Computer Science and Network Technology;第109-112页 *
A Visibility Detection Method Based on Transfer Learning;Tang Shaoen et al.;Computer Engineering;第45卷(第09期);第242-247页 *
He, Tian Tian.Learning based visibility measuring with images. University of Science & Technology Beijing (People's Republic of China).2011,全文. *
Qian Li et al..A Method of Visibility Detection Based on the Transfer Learning.Journal of Atmospheric and Oceanic Technology.2019,第36卷(第10期),第1945-1956页. *
XU-CHENG YIN et al.. Learning based visibility measuring with images.ICONIP 2011.2011,第711-718页. *
唐绍恩等.一种基于多元回归的能见度检测方法.信息技术与网络安全.2018,第37卷(第03期),第70-73+79页. *
孔明等.图像能量与对比度的霾检测算法.红外与激光工程.2018,第47卷(第08期),第364-369页. *
王万良等.基于空间金字塔和特征集成的智能机器人目标检测算法.计算机集成制造系统.2017,第23卷(第11期),第2382-2391页. *
许茜等.基于图像理解的能见度测量方法.模式识别与人工智能.2013,第26卷(第06期),第543-551页. *

Also Published As

Publication number Publication date
CN111191629A (zh) 2020-05-22

Similar Documents

Publication Publication Date Title
CN111191629B (zh) 一种基于多目标的图像能见度检测方法
US10452999B2 (en) Method and a device for generating a confidence measure for an estimation derived from images captured by a camera mounted on a vehicle
Boltes et al. Automatic extraction of pedestrian trajectories from video recordings
CN102803991B (zh) 物体检测设备
CN100426317C (zh) 多姿态人脸检测与追踪系统及方法
CN108875794B (zh) 一种基于迁移学习的图像能见度检测方法
Zhu et al. Detection of large-scale concrete columns for automated bridge inspection
CN110069972A (zh) 自动探测真实世界物体
CN109214470B (zh) 一种基于编码网络微调的图像能见度检测方法
Lei et al. Automated pavement distress detection and deterioration analysis using street view map
Stevens et al. Precise matching of 3-D target models to multisensor data
Yuan et al. Learning to count buildings in diverse aerial scenes
CN108492298A (zh) 基于生成对抗网络的多光谱图像变化检测方法
CN105488541A (zh) 增强现实系统中基于机器学习的自然特征点识别方法
CN112288758B (zh) 一种电力设备红外与可见光图像配准方法
CN104021558A (zh) 一种基于归一Zernike矩和灰度匹配的液晶仪表图案视觉检测方法
Bartl et al. Automatic camera calibration by landmarks on rigid objects
CN112990234A (zh) 基于改进孪生网络检测超分辨率小样本数据的方法
Kluge Performance evaluation of vision-based lane sensing: Some preliminary tools, metrics, and results
CN112991425B (zh) 一种水域水位提取方法、系统及存储介质
Khuc Computer vision based structural identification framework for bridge health mornitoring
CN109360289B (zh) 融合巡检机器人定位信息的电力表计检测方法
CN112215873A (zh) 用于对变电站内多目标跟踪定位的方法
CN105574874A (zh) 一种序列图像变化检测的伪变化目标去除方法
CN100426318C (zh) 基于aam的对象定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant