CN109033944B - 一种全天空极光图像分类与关键局部结构定位方法及系统 - Google Patents

一种全天空极光图像分类与关键局部结构定位方法及系统 Download PDF

Info

Publication number
CN109033944B
CN109033944B CN201810578380.5A CN201810578380A CN109033944B CN 109033944 B CN109033944 B CN 109033944B CN 201810578380 A CN201810578380 A CN 201810578380A CN 109033944 B CN109033944 B CN 109033944B
Authority
CN
China
Prior art keywords
image
aurora
category
pixel
sky
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810578380.5A
Other languages
English (en)
Other versions
CN109033944A (zh
Inventor
梁继民
牛闯
任胜寒
董明皓
陈雪利
胡海虹
陈多芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201810578380.5A priority Critical patent/CN109033944B/zh
Publication of CN109033944A publication Critical patent/CN109033944A/zh
Application granted granted Critical
Publication of CN109033944B publication Critical patent/CN109033944B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation

Abstract

本发明属于数据识别及数据表示技术领域，公开了一种全天空极光图像分类与关键局部结构定位方法及系统，训练阶段：在带有图像标签的全天空极光图像数据上，构建图像块尺度模型；使用图像块尺度模型将图像标签转化为区域边界框标签；在带有边界框标签的全天空极光图像数据库上，训练图像区域尺度模型；推理阶段：使用图像区域尺度模型对输入的全天空极光图像进行分类和关键局部结构的边界框级粗定位；使用图像块尺度模型进一步对全天空极光图像进行关键局部结构的像素级精确定位。本发明用带有图像级标签的全天空极光图像作为训练样本，获得了良好的图像级分类与像素级关键局部结构定位效果，可用于全天空极光图像中极光形态与空间位置演变过程的自动分析。

Description

一种全天空极光图像分类与关键局部结构定位方法及系统
技术领域
本发明属于数据识别及数据表示技术领域，尤其涉及一种全天空极光图像分类与关键局部结构定位方法及系统。
背景技术
极光是由来自地磁层或太阳的高能带电粒子流使高层大气分子或原子激发而产生，它反映了太阳活动与地球磁层的变化，是监测和探索近地空间物理过程的重要手段。在众多极光观测设备中，地面光学全天空成像仪能够捕捉极光的二维形态信息，同时具备良好的空间和时间分辨率，其拍摄的全天极光图像被广泛用于研究极光的物理演变过程。由于极光形态与特定的磁层状态和动态活动相关，并受太阳风参数影响，因此以全天空极光图像分类与关键局部结构定位技术为核心的极光自动分析系统不仅有助于研究极光在时间和空间的物理演变过程，而且能够实时预测太阳活动，从而避免由空间的强磁干扰造成的损失，如：磁层亚暴对通信系统、电力供应系统以及全球定位系统的损害。
全天空极光图像分类指辨别图像中极光的形态类型，关键局部结构定位指分割出决定极光形态的局部区域。然而，在全天空极光图像自动分析领域中，现有全天空极光图像分类和分割等自动分析技术不能同时实现极光图像分类与关键局部结构定位。在计算机视觉领域中，弱监督语义分割技术将图像分割成若干个互不相交的区域，并给每个区域赋予一个类别，分割模型的训练只需要弱标记信息，如图像级标签。因此，使用与极光图像分类方法同样的训练样本，弱监督语义分割技术能够同时完成全天空极光图像的分类与关键局部结构定位。然而，极光图像具有独特的性质，即极光结构的大尺度变化会导致形态类型的改变。但现有的绝大多数弱监督语义分割方法假设：如果两个物体具有相似的外观，则这两个物体属于同一类别，而不考虑尺度变化。因此，绝大多数弱监督语义分割方法无法直接用于全天空极光图像的自动分析。目前，可直接应用于全天空极光图像自动分析的弱监督语义分割方法是基于深度卷积神经网络实现的。现有技术一“Learning deep features fordiscriminative localization”(IEEE International Conference on Computer Visionand Pattern Recognition:2016, 39(3):2921-2929)提出了CAM方法，该方法将分类网络的输出类别通过权值映射到特征图上，得到类别特异的激活图，再将激活图上采样至原图尺寸，得到关键局部结构的位置。由于该分类网络只能定位到最显著的局部结构，所以无法准确的实现关键局部结构定位；另外，该方法只提取全局特征，不能捕捉细节差异，所以不能准确实现全天空极光图像的分类。现有技术二“Weakly supervised semanticsegmentation using superpixel pooling network”(AAAI Conference on ArtificialIntelligence:2017:4111-4117)提出了SP-CAM方法，该方法通过判断超像素的类别实现图像的分类与定位。由于该方法只提取了局部特征，而无法捕捉全局特征，使其分类与定位的准确率降低。
综上所述，现有技术存在的问题是：现有的全天空极光图像的分类和分割等技术不能同时实现极光图像的分类与关键局部结构定位；绝大多数弱监督语义分割方法无法直接用于全天空极光图像的自动分析；可直接应用到全天空极光图像的弱监督语义分割方法无法同时捕捉整体形态特征和局部细节差异，导致分类与关键局部结构定位准确率均偏低。
发明内容
针对现有技术存在的问题，本发明提供了一种全天空极光图像分类与关键局部结构定位方法及系统。
本发明是这样实现的，一种全天空极光图像分类与关键局部结构定位方法，训练阶段：在带有图像标签的全天空极光图像数据上，构建图像块尺度模型；使用图像块尺度模型将图像标签转化为区域边界框标签；在带有边界框标签的全天空极光图像数据库上，训练图像区域尺度模型；推理阶段：使用图像区域尺度模型对输入的全天空极光图像进行分类和关键局部结构的边界框级粗定位；使用图像块尺度模型进一步对全天空极光图像进行关键局部结构的像素级精确定位。
进一步，所述全天空极光图像分类与关键局部结构定位方法包括以下步骤：
步骤一、训练阶段：
(1)在带有图像标签的全天空极光图像数据库上，构建图像块尺度模型；构建语义码书；根据语义码书构建k近邻图像块概率密度估计器；
(2)使用图像块尺度模型将图像标签转化为区域边界框标签：对全天空极光图像进行过分割，得到全天空极光图像的超像素集合；对于超像素集合中的每个超像素，以超像素内的每个像素点为中心取16×16大小的图像块集合，在图像块集合中随机选10％的图像块来表征该超像素；使用图像块尺度模型估计上一步选出的每个图像块相对其标记图像类别的概率密度；通过计算超像素内图像块概率密度的平均值得到每个超像素的概率密度，根据超像素的概率密度构建属于其图像类别的特有超像素集合，和同时属于该类别和其他图像类别的共有超像素集合；利用主成分分析方法分别对特有超像素区域和共有超像素区域进行旋转，使它们的最大变化方向为水平方向；
分别对属于图像类别特有和共有超像素进行分级聚类，得到特有和共有两组多尺度图像区域集合；通过对多尺度图像区域集合中的每个图像区域取包含它的最小矩形边界框，将每幅图像的图像类标转换为一组属于该图像标记类别特有区域边界框和一组共有区域边界框；通过对任意类别t∈{1，2，…，T}的特有边界框区域标记为类别t，对共有边界框区域标记为0，0表示背景，将全天空极光图像数据库中T个图像类别标签转化为T+1个边界框区域类别标签；
(3)在带有边界框标签的全天空极光图像数据库上，训练图像区域尺度模型；
步骤二、推理阶段：
(1)使用图像区域尺度模型对输入的全天空极光图像进分类和关键局部结构的边界框级粗定位：基于无监督学习的候选区域提取方法，对输入的全天空极光图像提取候选区域；输入全天空极光图像和候选区域边界框，图像区域尺度模型对所有的候选区域进行分类，得到每个边界框区域的类别及其概率；通过整合所有候选区域类别，预测输入全天空极光图像的类别，并给出属于该预测类别的关键局部结构的边界框级位置；
(2)使用图像块尺度模型进一步对全天空极光图像进行关键局部结构的像素级精确定位：对全天空极光图像进行过分割，得到全天空极光图像的超像素集合；构建全天空极光图像的区域极光检测模型；使用区域极光检测模型检测超像素集合中的每个超像素是否包含极光，并将不包含极光的超像素从超像素集合中删除；对包含极光超像素集合中的每个超像素，以超像素内的每个像素点为中心取16×16大小的图像块集合，在图像块集合中随机选10％的图像块来表征该超像素；输入表征包含极光超像素的图像块集合和极光图像预测类别，用图像块尺度模型估计每个图像块的概率密度；
通过计算超像素内图像块概率密度的平均值得到每个超像素的概率密度；根据超像素的概率密度选择属于预测极光类别的特有超像素，作为像素级关键局部结构；融合边界框级和像素级关键局部结构位置信息，得到最终属于预测类别的像素级关键局部结构的精确位置。
进一步，所述步骤一中的在带有图像标签的全天空极光图像数据库上构建语义码书的具体步骤如下：
(1)分别对每类全天空极光图像数据集中的每幅图像进行滑窗取图像块，其中窗的大小为16×16，步长为10，得到T类图像块集合；
(2)使用局部描述子对T类图像块集合中的每个图像块提取特征，其中局部描述子为LBP，得到T类图像块特征集合；
(3)对于某一极光类别t∈{1，2，…，T}，使用聚类方法分别对属于类别 t和不属于类别t的图像块特征集合进行聚类，其中使用k-means聚类方法，两个图像块特征集合均聚100类，得到两组词袋，其中词袋中的每一个词为一个聚类中心；
(4)将上一步得到的某一极光类别的两组词袋转化为一组语义词袋，其中属于类别t的词袋表示为
Figure RE-GDA0001763998690000051
不属于类别t的词袋表示为
Figure RE-GDA0001763998690000052
Vt和 Vrt分别表示属于类别t和不属于类别t词袋中词的个数，均取值为100，具体步骤如下：
5)按照下列公式，计算两组词袋的类内距离矩阵，
Figure RE-GDA0001763998690000053
和
Figure RE-GDA0001763998690000054
类间距离矩阵，
Figure RE-GDA0001763998690000055
Figure RE-GDA0001763998690000056
Figure RE-GDA0001763998690000057
Figure RE-GDA0001763998690000058
其中，|a-b|表示表示向量a到向量b的欧式距离；
6)按照以下公式，计算相似度阈值α：
α＝max(min_L(Dtt),min_L(Drr))；
其中，max(a,b)表示a和b中的最大值，min_L(D)表示矩阵D中第L小的元素，L 取1；
7)根据类间距离矩阵，给两组词袋中的每个词赋予一个语义标签，得到相对应的两组语义标签集合，
Figure RE-GDA0001763998690000059
和
Figure RE-GDA00017639986900000510
其中，
Figure RE-GDA00017639986900000511
分别是词
Figure RE-GDA00017639986900000512
和
Figure RE-GDA00017639986900000513
的语义标签，
Figure RE-GDA00017639986900000514
Figure RE-GDA00017639986900000515
8)词袋Wt，Wrt及其对应的语义标签Ct，Crt共同构成类别极光类别t的语义词袋；
(5)对全天空极光图像数据库中每一个标记的类别，重复(1)～(4)，得到每个极光类别的语义词袋，所有极光类别的语义词袋构成语义码书。
进一步，所述步骤一中的根据语义码书构建k近邻图像块概率密度估计器的具体步骤如下：
第一步：输入图像块和图像块所在图像的极光类别，使用特征描述子提取图像块特征，其中图像块特征用表示，极光类别用t表示，特征描述子采用LBP；
第二步：计算图像块特征P与语义码书中类别t的语义词袋中的每个词的欧式距离，其中
Figure RE-GDA00017639986900000611
表示语义词袋中第i个词，di表示P与
Figure RE-GDA0001763998690000061
的欧式距离；
第三步：按照di按照从小到大将
Figure RE-GDA0001763998690000062
排序，取前k个词对应的语义标签，并按照下列公式计算输入图像块在语义标签集合{特种，共用，其他}上的概率密度：
Figure RE-GDA0001763998690000063
其中ps，pc，pr分别表示图像块属于特有，共有，和其他的概率，ns，nc，nr分别表示在取出的k个语义标签中属于特有，共有，和其他的个数。
进一步，所述步骤一的构建特有超像素集合和共有超像素集合的具体步骤如下：
第一步：已知某个超像素内图像块的集合的概率密度，按照下列公式计算该超像素的概率密度：
Figure RE-GDA0001763998690000064
Figure RE-GDA0001763998690000065
Figure RE-GDA0001763998690000066
其中
Figure RE-GDA0001763998690000067
分别表示超像素o属于特有，共有，和其他语义的概率，Ko表示超像素o包含图像块的个数，
Figure RE-GDA0001763998690000068
分别表示超像素o中第k个图像块属于特有，共有，和其他语义的概率；
第二步：对于图像中的每个超像素o，如果
Figure RE-GDA0001763998690000069
则将超像素o划分到特有超像素集合，如果
Figure RE-GDA00017639986900000610
则将超像素o划分到共有超像素集合中。
进一步，所述步骤一中的在带有边界框标签的全天空极光图像数据库上训练图像区域尺度模型的具体步骤如下：
第一步：图像区域尺度模型建立的Fast R-CNN模型为基础，输入为一幅图像及其边界框集合，计算每个边界框的类别；
第二步：按照下列公式计算图像区域模型的输出与边界框框类标的误差：
L(p,t)＝-log pt；
其中，边界框的类别用一个T+1维向量表示，T表示极光类别的数量，类别向量的第1位代表背景，背景为极光类别0，第2～T+1位依次代表极光类型 1～T，如果边界框标记为类别t，则类别向量的第t+1上的值
Figure RE-GDA0001763998690000071
其他位上的数值均为0，pt为属于类别t的预测概率；
第三步：基于随机梯度下降法优化模型参数，直到模型收敛。
进一步，所述步骤二中的通过整合所有候选区域类别，预测输入全天空极光图像的类别，并给出属于该预测类别的关键局部结构的边界框级位置，具体步骤如下：
第一步：按照下式计算每类极光的概率图，用{ht,-}，t∈[0,T]表示：
Figure RE-GDA0001763998690000072
1≤x≤W,1≤y≤H；
其中，bi表示第i个边界框区域，B表示边界框的数量，
Figure RE-GDA0001763998690000073
表示边界框bi属于类别t的概率，I(·)为指示函数，如果坐标(x,y)在边界框bi内，I((x,y)∈bi)＝1，否则， I((x,y)∈bi)＝0，n(x,y)表示B个边界框中包含像素(x,y)的个数，即
Figure RE-GDA0001763998690000074
W 和H分别表示极光图像的宽和高；
第二步：按照下式计算全天空极光图像的类别l：
Figure RE-GDA0001763998690000075
其中，area{ht＞0.8}表示类别t概率图中概率大于0.8像素的个数；
第三步：将预测类别l的概率图hl作为关键局部结构的边界框级定位结果。
进一步，所述步骤二中的构建全天空极光图像的区域极光检测模型，具体步骤如下：
第一步：按照下式计算全天空极光图像的极光检测阈值，用th表示：
th＝min(25+0.05S180,80)；
其中，S180表示全天空极光图像中像素值大于180的个数，图像像素值的范围为0～255，min(a,b)表示取a和b中的最小值；
第二步：输入超像素区域，计算超像素区域内像素值的平均值vm；
第三步：如果vm≥th，则该超像素区域包含极光，如果vm＜th，则该超像素区域不包含极光。
进一步，所述步骤二中的融合边界框级和像素级关键局部结构位置信息，得到最终属于预测类别的像素级关键局部结构的精确位置，具体步骤如下：
第一步：按照下式计算关键局部结构的融合概率密度图，用
Figure RE-GDA0001763998690000081
表示：
Figure RE-GDA0001763998690000082
其中，hl(x,y)为边界框级关键局部结构概率图在(x,y)处的概率，s(x,y)表示像素级关键局部结构概率图在(x,y)处的概率，W和H分别表示极光图像的宽和高；
第二步：根据下式计算属于预测类别l的关键局部结构精确位置，用
Figure RE-GDA0001763998690000083
表示：
Figure RE-GDA0001763998690000084
其中，1表示存在关键局部结构，0表示不存在关键局部结构。
本发明的另一目的在于提供一种应用所述全天空极光图像分类与关键局部结构定位方法的极光观测系统。
综上所述，本发明的优点及积极效果为：本发明提出的基于弱监督语义分割方法能够同时实现全天空极光图像的分类与关键局部结构定位，并且只需要带有图像级标签的全天空极光图像数据集作为训练样本。本发明提出的方法能够同时分析极光形态的时间和空间演化过程，能够提高现有全天空极光图像分析系统的自动分析能力。
由于本发明从多个不同大小的视野预测全天空极光图像的类型，既能捕捉到局部结构特征，也能捕捉到极光的整体形状，使得本发明具有更高的分类准确率。由于本发明由粗到细的关键局部结构定位过程，即区域尺度模型计算关键局部结构的粗略位置，是一个自底向上的视觉处理过程，能够捕捉到极光的整体结构信息；图像块尺度模型根据类别信息进一步计算关键局部结构的精确位置，是一个自顶向下的视觉处理过程，能够捕捉到类型特异的小尺度结构细节。因此，本发明具有更高的关键局部结构定位准确率。
附图说明
图1是本发明实施例提供的全天空极光图像分类与关键局部结构定位方法流程图。
图2是本发明实施例提供的训练和推理整体过程示意图。
图3是本发明实施例提供的语义码书构建过程示意图。
图4是本发明实施例提供的图像级标签转变为边界框级标签过程示意图和图像区域尺度模型示意图。
图5是本发明实施例提供的推断具体过程示意图。
图6是本发明实施例提供的在2000幅全天空极光图像组成的测试数据集上分类准确率与现有三种方法分类准确率的对比图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
现有的全天空极光图像的分割方法无法辨别全天空极光图像中极光的形态类型，绝大多数弱监督语义分割方法无法直接用于分析全天空极光图像；导致可直接应用到全天空极光图像上的弱监督语义分割方法不能准确的定位出极光的关键局部结构，本发明提出一种基于弱监督语义分割的全天空极光图像分类与关键局部结构定位方法，以提高全天空极光图像的分类准确性与关键局部结构定位准确性。本发明能够同时对全天空极光图像进行图像级分类与像素级关键局部结构定位，可用于全天空极光图像中极光形态和空间位置演变过程的自动分析。
下面结合附图对本发明的应用原理作详细的描述。
如图1所示，本发明实施例提供的全天空极光图像分类与关键局部结构定位方法包括以下步骤：
S101：在带有图像标签的全天空极光图像数据上，构建图像块尺度模型；
S102：使用图像块尺度模型将图像标签转化为区域边界框标签；
S103：在带有边界框标签的全天空极光图像数据库上，训练图像区域尺度模型；推理阶段：
S104：使用图像区域尺度模型对输入的全天空极光图像进行分类和关键局部结构的边界框级粗定位；
S105：使用图像块尺度模型进一步对全天空极光图像进行关键局部结构的像素级精确定位。
下面结合附图对本发明的应用原理作进一步的描述。
如图2所示，本发明实施例提供的全天空极光图像分类与关键局部结构定位方法包括以下步骤：
步骤一，训练阶段：
在带有图像标签的全天空极光图像数据库上，构建图像块尺度模型：
(1)如图3所示，按照以下步骤，构建语义码书：
1)分别对每类全天空极光图像数据集中的每幅图像进行滑窗取图像块，其中窗的大小为16×16，步长为10，得到T类图像块集合；
2)使用局部描述子对T类图像块集合中的每个图像块提取特征，其中局部描述子为LBP，得到T类图像块特征集合；
3)对于某一极光类别t∈{1，2，…，T}，使用聚类方法分别对属于类别t 和不属于类别t的图像块特征集合进行聚类，其中使用k-means聚类方法，两个图像块特征集合均聚100类，得到两组词袋，其中词袋中的每一个词为一个聚类中心；
4)将上一步得到的某一极光类别的两组词袋转化为一组语义词袋，其中属于类别t的词袋表示为
Figure RE-GDA0001763998690000101
不属于类别t的词袋表示为
Figure RE-GDA0001763998690000102
Vt和Vrt分别表示属于类别t和不属于类别t词袋中词的个数，均取值为100，具体步骤如下：
按照下列公式，计算两组词袋的类内距离矩阵，
Figure RE-GDA0001763998690000111
和
Figure RE-GDA0001763998690000112
类间距离矩阵，
Figure RE-GDA0001763998690000113
Figure RE-GDA0001763998690000114
Figure RE-GDA0001763998690000115
Figure RE-GDA0001763998690000116
其中，|a-b|表示表示向量a到向量b的欧式距离；
按照以下公式，计算相似度阈值α：
α＝max(min_L(Dtt),min_L(Drr))；
其中，max(a,b)表示a和b中的最大值，min_L(D)表示矩阵D中第L小的元素，L 取1；
根据类间距离矩阵，给两组词袋中的每个词赋予一个语义标签，得到相对应的两组语义标签集合，
Figure RE-GDA0001763998690000117
和
Figure RE-GDA0001763998690000118
其中，
Figure RE-GDA0001763998690000119
分别是词
Figure RE-GDA00017639986900001110
和
Figure RE-GDA00017639986900001111
的语义标签，
Figure RE-GDA00017639986900001112
Figure RE-GDA00017639986900001117
词袋Wt，Wrt及其对应的语义标签Ct，Crt共同构成类别极光类别t的语义词袋；
5)对全天空极光图像数据库中每一个标记的类别，重复第1～4步，得到每个极光类别的语义词袋，所有极光类别的语义词袋构成语义码书；
(2)根据语义码书构建k近邻图像块概率密度估计器：
1)输入图像块和图像块所在图像的极光类别，使用特征描述子提取图像块特征，其中图像块特征用表示，极光类别用t表示，特征描述子采用LBP；
2)计算图像块特征P与语义码书中类别t的语义词袋中的每个词的欧式距离，其中
Figure RE-GDA00017639986900001113
表示语义词袋中第i个词，di表示P与
Figure RE-GDA00017639986900001114
的欧式距离；
3)按照di按照从小到大将
Figure RE-GDA00017639986900001115
排序，取前k个词对应的语义标签，并按照下列公式计算输入图像块在语义标签集合{特种，共用，其他}上的概率密度：
Figure RE-GDA00017639986900001116
其中ps，pc，pr分别表示图像块属于特有，共有，和其他的概率，ns，nc，nr分别表示在取出的k个语义标签中属于特有，共有，和其他的个数；
如图4所示使用图像块尺度模型将图像标签转化为区域边界框标签：
(1)使用论文“Efficient Graph-Based Image Segmentation”(InternationalJournal ofComputerVision:2004，59(2):167–181)提出的基于图模型的图像分割方法对全天空极光图像进行过分割，得到全天空极光图像的超像素集合；
(2)对于超像素集合中的每个超像素，以超像素内的每个像素点为中心取 16×16大小的图像块集合，在图像块集合中随机选10％的图像块来表征该超像素；
(3)使用图像块尺度模型估计上一步选出的每个图像块相对其标记图像类别的概率密度；
(4)通过计算超像素内图像块概率密度的平均值得到每个超像素的概率密度，根据超像素的概率密度构建属于其图像类别的特有超像素集合，和同时属于该类别和其他图像类别的共有超像素集合，具体步骤如下：
1)已知某个超像素内图像块的集合的概率密度，按照下列公式计算该超像素的概率密度：
Figure RE-GDA0001763998690000121
Figure RE-GDA0001763998690000122
Figure RE-GDA0001763998690000123
其中
Figure RE-GDA0001763998690000124
分别表示超像素o属于特有，共有，和其他语义的概率，Ko表示超像素o包含图像块的个数，
Figure RE-GDA0001763998690000125
分别表示超像素o中第k个图像块属于特有，共有，和其他语义的概率；
2)对于图像中的每个超像素o，如果
Figure RE-GDA0001763998690000126
则将超像素o划分到特有超像素集合，如果
Figure RE-GDA0001763998690000127
则将超像素o划分到共有超像素集合中；
(5)利用主成分分析方法分别对特有超像素区域和共有超像素区域进行旋转，使它们的最大变化方向为水平方向；
(6)用论文“Selective search for object recognition”(InternationalJournal of ComputerVision:2013，104(2):154–171)提出的selective search方法分别对属于图像类别特有和共有超像素集合进行分级聚类，得到特有和共有两组多尺度图像区域集合；
(7)通过对多尺度图像区域集合中的每个图像区域取包含它的最小矩形边界框，将每幅图像的图像类标转换为一组属于该图像标记类别特有区域边界框和一组共有区域边界框；
(8)通过对任意类别t∈{1，2，…，T}的特有边界框区域标记为类别t，对共有边界框区域标记为0，0表示背景，将全天空极光图像数据库中T个图像类别标签转化为T+1个边界框区域类别标签；
按照以下步骤，在带有边界框标签的全天空极光图像数据库上，训练图像区域尺度模型：
(1)图像区域尺度模型建立以论文“Fast R-CNN”(IEEE InternationalConference on ComputerVision:2015，1440-1448)提出的Fast R-CNN模型为基础，输入为一幅图像及其边界框集合，计算每个边界框的类别；
(2)按照下列公式计算图像区域模型的输出与边界框框类标的误差：
L(p,t)＝-logpt；
其中，边界框的类别用一个T+1维向量表示，T表示极光类别的数量，类别向量的第1位代表背景，背景为极光类别0，第2～T+1位依次代表极光类型 1～T，如果边界框标记为类别t，则类别向量的第t+1上的值
Figure RE-GDA0001763998690000131
其他位上的数值均为0，pt为属于类别t的预测概率；
步骤二，推理阶段：
如图5所示使用图像区域尺度模型对输入的全天空极光图像进分类和关键局部结构的边界框级粗定位：
(1)使用selective search候选区域提取方法，对输入的全天空极光图像提取候选区域；
(2)输入全天空极光图像和候选区域边界框，图像区域尺度模型对所有的候选区域进行分类，得到每个边界框区域的类别及其概率；
(3)通过整合所有候选区域类别，预测输入全天空极光图像的类别，并给出属于该预测类别的关键局部结构的边界框级位置，具体步骤如下：
1)按照下式计算每类极光的概率图，用{ht,-}，t∈[0,T]表示：
Figure RE-GDA0001763998690000141
1≤x≤W,1≤y≤H；
其中，bi表示第i个边界框区域，B表示边界框的数量，
Figure RE-GDA0001763998690000142
表示边界框bi属于类别t的概率，I(·)为指示函数，如果坐标(x,y)在边界框bi内，I((x,y)∈bi)＝1，否则， I((x,y)∈bi)＝0，n(x,y)表示B个边界框中包含像素(x,y)的个数，即
Figure RE-GDA0001763998690000143
W 和H分别表示极光图像的宽和高；
2)按照下式计算全天空极光图像的类别l：
Figure RE-GDA0001763998690000144
其中，area{ht＞0.8}表示类别t概率图中概率大于0.8像素的个数；
3)将预测类别l的概率图hl作为关键局部结构的边界框级定位结果；
如图5所示使用图像块尺度模型进一步对全天空极光图像进行关键局部结构的像素级精确定位：
(1)使用基于图模型的图像分割方法对全天空极光图像进行过分割，得到全天空极光图像的超像素集合；
(2)构建全天空极光图像的区域极光检测模型，具体步骤如下：
1)按照下式计算全天空极光图像的极光检测阈值，用th表示：
th＝min(25+0.05S180,80)；
其中，S180表示全天空极光图像中像素值大于180的个数，图像像素值的范围为0～255，min(a,b)表示取a和b中的最小值；
2)输入超像素区域，计算超像素区域内像素值的平均值vm；
3)如果vm≥th，则该超像素区域包含极光，如果vm＜th，则该超像素区域不包含极光；
(3)使用区域极光检测模型检测超像素集合中的每个超像素是否包含极光，并将不包含极光的超像素从超像素集合中删除；
(4)对包含极光超像素集合中的每个超像素，以超像素内的每个像素点为中心取16×16大小的图像块集合，在图像块集合中随机选10％的图像块来表征该超像素；
(5)输入表征包含极光超像素的图像块集合和极光图像预测类别，用图像块尺度模型估计每个图像块的概率密度；
(6)通过计算超像素内图像块概率密度的平均值得到每个超像素的概率密度；
(7)根据超像素的概率密度选择属于预测极光类别的特有超像素，作为像素级关键局部结构；
(8)融合边界框级和像素级关键局部结构位置信息，得到最终属于预测类别的像素级关键局部结构的精确位置，具体步骤如下：
1)按照下式计算关键局部结构的融合概率密度图，用
Figure RE-GDA0001763998690000151
表示：
Figure RE-GDA0001763998690000152
1≤x≤W,1≤y≤H；
其中，hl(x,y)为边界框级关键局部结构概率图在(x,y)处的概率，s(x,y)表示像素级关键局部结构概率图在(x,y)处的概率，W和H分别表示极光图像的宽和高；
2)根据下式计算属于预测类别l的关键局部结构精确位置，用
Figure RE-GDA0001763998690000153
表示：
Figure RE-GDA0001763998690000154
其中，1表示存在关键局部结构，0表示不存在关键局部结构。
下面结合实验对本发明的应用效果做详细的描述。
1.实验条件：
本发明实验的硬件条件为：一台普通计算机，Intel i7 CPU，8G内存，一块英伟达GeForce GTX 750Ti显卡；软件平台：Ubuntu 14.04，Caffe深度学习框架，python 2.7语言；本发明所使用的全天空极光图像拍摄于中国北极黄河站，时间为2003年12月到2009年二月，波段为557.7nm。
2.训练数据与测试数据：
本发明所使用的训练数据集由极光专家标记的4000幅带有图像标签的全天空极光图像，这些图像拍摄于2003年12月至2004年1月。测试数据包括分类测试集和分割测试集，这些图像拍摄于2004年至2009年。其中，分类数据集由2000幅带有图像标签的全天空极光图像组成，用于测试本发明与现有技术的分类准确率。分割数据集由200幅带有像素级标记的全天空极光图像组成。其中，全天空极光图像被分为四类：弧状，帷幔状，射线状和极光热点。
3.实验内容：
按照上述的训练步骤，本发明使用训练数据集分别训练图像块尺度模型和图像区域尺度模型，以及现有技术提出的模型。
按照上述的推理步骤，分别在分类测试集和分割测试集上测试本发明的分类准确率和关键局部结构定位准确率；并在同样的测试数据集上测试现有技术的分类与关键局部结构定位准确率。
4.实验结果分析：
表1是本发明与现有技术在分类测试集上分类准确率对比结果。结果表明本发明的分类准确率高于现有技术的分类准确率，其中，比传统卷积神经网络方法的分类准确率高5.5％。因此，本发明更有实际应用价值。
表2是本发明与现有技术在分割测试集上关键局部结构定位准确率对比结果。结果表明本发明的关键局部结构定位准确率远远高于现有技术，约21.5％。因此，本发明极大的提高现有技术对全天空极光图像的自动分析能力，具有更广的应用前景。
图6是本发明在分割测试集上的分类与关键局部结构定位结果图。其中， A1-5、D1-5、R1-5、H1-5分别表示全天空极光图像分别被本发明预测为弧状、帷幔状、射线状、极光热点，每一类展示了5幅示例图。该结果表明本发明能够准确的预测复杂多变的全天天空极光图像的类别。在每类预测样本中，第1 至3列分别表示原图、预测关键局部结构的掩膜、极光专家标记的关键局部结构掩膜。该结果表明，本发明预测的关键局部结构结果与极光专家的标记基本一致。
表1
Figure RE-GDA0001763998690000171
表2
Figure RE-GDA0001763998690000172
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种全天空极光图像分类与关键局部结构定位方法，其特征在于，所述全天空极光图像分类与关键局部结构定位方法的训练阶段：在带有图像标签的全天空极光图像数据上，构建图像块尺度模型；使用图像块尺度模型将图像标签转化为区域边界框标签；在带有边界框标签的全天空极光图像数据库上，训练图像区域尺度模型；推理阶段：使用图像区域尺度模型对输入的全天空极光图像进行分类和关键局部结构的边界框级粗定位；使用图像块尺度模型进一步对全天空极光图像进行关键局部结构的像素级精确定位；
所述全天空极光图像分类与关键局部结构定位方法包括以下步骤：
步骤一、训练阶段：
(1)在带有图像标签的全天空极光图像数据库上，构建图像块尺度模型；构建语义码书；根据语义码书构建k近邻图像块概率密度估计器；
(2)使用图像块尺度模型将图像标签转化为区域边界框标签：对全天空极光图像进行过分割，得到全天空极光图像的超像素集合；对于超像素集合中的每个超像素，以超像素内的每个像素点为中心取16×16大小的图像块集合，在图像块集合中随机选10％的图像块来表征该超像素；使用图像块尺度模型估计上一步选出的每个图像块相对其标记图像类别的概率密度；通过计算超像素内图像块概率密度的平均值得到每个超像素的概率密度，根据超像素的概率密度构建属于其图像类别的特有超像素集合，和同时属于该类别和其他图像类别的共有超像素集合；利用主成分分析方法分别对特有超像素区域和共有超像素区域进行旋转，使它们的最大变化方向为水平方向；
分别对属于图像类别特有和共有超像素进行分级聚类，得到特有和共有两组多尺度图像区域集合；通过对多尺度图像区域集合中的每个图像区域取包含它的最小矩形边界框，将每幅图像的图像类标转换为一组属于该图像标记类别特有区域边界框和一组共有区域边界框；通过对任意类别t∈{1，2，…，T}的特有边界框区域标记为类别t，对共有边界框区域标记为0，0表示背景，将全天空极光图像数据库中T个图像类别标签转化为T+1个边界框区域类别标签；
(3)在带有边界框标签的全天空极光图像数据库上，训练图像区域尺度模型；
步骤二、推理阶段：
(1)使用图像区域尺度模型对输入的全天空极光图像进分类和关键局部结构的边界框级粗定位：基于无监督学习的候选区域提取方法，对输入的全天空极光图像提取候选区域；输入全天空极光图像和候选区域边界框，图像区域尺度模型对所有的候选区域进行分类，得到每个边界框区域的类别及其概率；通过整合所有候选区域类别，预测输入全天空极光图像的类别，并给出属于该预测类别的关键局部结构的边界框级位置；
(2)使用图像块尺度模型进一步对全天空极光图像进行关键局部结构的像素级精确定位：对全天空极光图像进行过分割，得到全天空极光图像的超像素集合；构建全天空极光图像的区域极光检测模型；使用区域极光检测模型检测超像素集合中的每个超像素是否包含极光，并将不包含极光的超像素从超像素集合中删除；对包含极光超像素集合中的每个超像素，以超像素内的每个像素点为中心取16×16大小的图像块集合，在图像块集合中随机选10％的图像块来表征该超像素；输入表征包含极光超像素的图像块集合和极光图像预测类别，用图像块尺度模型估计每个图像块的概率密度；
通过计算超像素内图像块概率密度的平均值得到每个超像素的概率密度；根据超像素的概率密度选择属于预测极光类别的特有超像素，作为像素级关键局部结构；融合边界框级和像素级关键局部结构位置信息，得到最终属于预测类别的像素级关键局部结构的精确位置。
2.如权利要求1所述的全天空极光图像分类与关键局部结构定位方法，其特征在于，所述步骤一中的在带有图像标签的全天空极光图像数据库上构建语义码书的具体步骤如下：
(1)分别对每类全天空极光图像数据集中的每幅图像进行滑窗取图像块，其中窗的大小为16×16，步长为10，得到T类图像块集合；
(2)使用局部描述子对T类图像块集合中的每个图像块提取特征，其中局部描述子为LBP，得到T类图像块特征集合；
(3)对于某一极光类别t∈{1，2，…，T}，使用聚类方法分别对属于类别t和不属于类别t的图像块特征集合进行聚类，其中使用k-means聚类方法，两个图像块特征集合均聚100类，得到两组词袋，其中词袋中的每一个词为一个聚类中心；
(4)将上一步得到的某一极光类别的两组词袋转化为一组语义词袋，其中属于类别t的词袋表示为
Figure FDA0003212331700000031
不属于类别t的词袋表示为
Figure FDA0003212331700000032
Vt和Vrt分别表示属于类别t和不属于类别t词袋中词的个数，均取值为100，具体步骤如下：
1)按照下列公式，计算两组词袋的类内距离矩阵，
Figure FDA0003212331700000033
和
Figure FDA0003212331700000034
类间距离矩阵，
Figure FDA0003212331700000035
Figure FDA0003212331700000036
Figure FDA0003212331700000037
Figure FDA0003212331700000038
其中，|a-b|表示表示向量a到向量b的欧式距离；
2)按照以下公式，计算相似度阈值α：
α＝max(min_L(Dtt),min_L(Drr))；
其中，max(a,b)表示a和b中的最大值，min_L(D)表示矩阵D中第L小的元素，L取1；
3)根据类间距离矩阵，给两组词袋中的每个词赋予一个语义标签，得到相对应的两组语义标签集合，
Figure FDA0003212331700000039
和
Figure FDA00032123317000000310
其中，
Figure FDA00032123317000000311
分别是词
Figure FDA00032123317000000312
和
Figure FDA00032123317000000313
的语义标签，
Figure FDA00032123317000000314
4)词袋Wt，Wrt及其对应的语义标签Ct，Crt共同构成类别极光类别t的语义词袋；
(5)对全天空极光图像数据库中每一个标记的类别，重复(1)～(4)，得到每个极光类别的语义词袋，所有极光类别的语义词袋构成语义码书。
3.如权利要求1所述的全天空极光图像分类与关键局部结构定位方法，其特征在于，所述步骤一中的根据语义码书构建k近邻图像块概率密度估计器的具体步骤如下：
第一步：输入图像块和图像块所在图像的极光类别，使用特征描述子提取图像块特征，其中图像块特征用表示，极光类别用t表示，特征描述子采用LBP；
第二步：计算图像块特征P与语义码书中类别t的语义词袋中的每个词的欧式距离，其中
Figure FDA0003212331700000041
表示语义词袋中第i个词，di表示P与
Figure FDA0003212331700000042
的欧式距离；
第三步：按照di按照从小到大将
Figure FDA0003212331700000043
排序，取前k个词对应的语义标签，并按照下列公式计算输入图像块在语义标签集合{特有，共有，其他}上的概率密度：
Figure FDA0003212331700000044
其中ps，pc，pr分别表示图像块属于特有，共有，和其他的概率，ns，nc，nr分别表示在取出的k个语义标签中属于特有，共有，和其他的个数。
4.如权利要求1所述的全天空极光图像分类与关键局部结构定位方法，其特征在于，所述步骤一的构建特有超像素集合和共有超像素集合的具体步骤如下：
第一步：已知某个超像素内图像块的集合的概率密度，按照下列公式计算该超像素的概率密度：
Figure FDA0003212331700000045
Figure FDA0003212331700000046
Figure FDA0003212331700000047
其中
Figure FDA0003212331700000048
分别表示超像素o属于特有，共有，和其他语义的概率，Ko表示超像素o包含图像块的个数，
Figure FDA0003212331700000049
分别表示超像素o中第k个图像块属于特有，共有，和其他语义的概率；
第二步：对于图像中的每个超像素o，如果
Figure FDA0003212331700000051
则将超像素o划分到特有超像素集合，如果
Figure FDA0003212331700000052
则将超像素o划分到共有超像素集合中。
5.如权利要求1所述的全天空极光图像分类与关键局部结构定位方法，其特征在于，所述步骤一中的在带有边界框标签的全天空极光图像数据库上训练图像区域尺度模型的具体步骤如下：
第一步：图像区域尺度模型建立的Fast R-CNN模型为基础，输入为一幅图像及其边界框集合，计算每个边界框的类别；
第二步：按照下列公式计算图像区域模型的输出与边界框框类标的误差：
L(p,t)＝-logpt；
其中，边界框的类别用一个T+1维向量表示，T表示极光类别的数量，类别向量的第1位代表背景，背景为极光类别0，第2～T+1位依次代表极光类型1～T，如果边界框标记为类别t，则类别向量的第t+1上的值
Figure FDA0003212331700000053
其他位上的数值均为0，pt为属于类别t的预测概率；
第三步：基于随机梯度下降法优化模型参数，直到模型收敛。
6.如权利要求1所述的全天空极光图像分类与关键局部结构定位方法，其特征在于，所述步骤二中的通过整合所有候选区域类别，预测输入全天空极光图像的类别，并给出属于该预测类别的关键局部结构的边界框级位置，具体步骤如下：
第一步：按照下式计算每类极光的概率图，用{ht,-}，t∈[0,T]表示：
Figure FDA0003212331700000054
其中，bi表示第i个边界框区域，B表示边界框的数量，
Figure FDA0003212331700000055
表示边界框bi属于类别t的概率，I(·)为指示函数，如果坐标(x,y)在边界框bi内，I((x,y)∈bi)＝1，否则，I((x,y)∈bi)＝0，n(x,y)表示B个边界框中包含像素(x,y)的个数，即
Figure FDA0003212331700000056
W和H分别表示极光图像的宽和高；
第二步：按照下式计算全天空极光图像的类别l：
Figure FDA0003212331700000061
其中，area{ht＞0.8}表示类别t概率图中概率大于0.8像素的个数；
第三步：将预测类别l的概率图hl作为关键局部结构的边界框级定位结果。
7.如权利要求1所述的全天空极光图像分类与关键局部结构定位方法，其特征在于，所述步骤二中的构建全天空极光图像的区域极光检测模型，具体步骤如下：
第一步：按照下式计算全天空极光图像的极光检测阈值，用th表示：
th＝min(25+0.05S180,80)；
其中，S180表示全天空极光图像中像素值大于180的个数，图像像素值的范围为0～255，min(a,b)表示取a和b中的最小值；
第二步：输入超像素区域，计算超像素区域内像素值的平均值vm；
第三步：如果vm≥th，则该超像素区域包含极光，如果vm＜th，则该超像素区域不包含极光。
8.如权利要求1所述的全天空极光图像分类与关键局部结构定位方法，其特征在于，所述步骤二中的融合边界框级和像素级关键局部结构位置信息，得到最终属于预测类别的像素级关键局部结构的精确位置，具体步骤如下：
第一步：按照下式计算关键局部结构的融合概率密度图，用
Figure FDA0003212331700000062
表示：
Figure FDA0003212331700000063
其中，hl(x,y)为边界框级关键局部结构概率图在(x,y)处的概率，s(x,y)表示像素级关键局部结构概率图在(x,y)处的概率，W和H分别表示极光图像的宽和高；
第二步：根据下式计算属于预测类别l的关键局部结构精确位置，用
Figure FDA0003212331700000064
表示：
Figure FDA0003212331700000065
其中，1表示存在关键局部结构，0表示不存在关键局部结构。
9.一种应用权利要求1～8任意一项所述全天空极光图像分类与关键局部结构定位方法的全天空极光图像自动分析系统。
CN201810578380.5A 2018-06-07 2018-06-07 一种全天空极光图像分类与关键局部结构定位方法及系统 Active CN109033944B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810578380.5A CN109033944B (zh) 2018-06-07 2018-06-07 一种全天空极光图像分类与关键局部结构定位方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810578380.5A CN109033944B (zh) 2018-06-07 2018-06-07 一种全天空极光图像分类与关键局部结构定位方法及系统

Publications (2)

Publication Number Publication Date
CN109033944A CN109033944A (zh) 2018-12-18
CN109033944B true CN109033944B (zh) 2021-09-24

Family

ID=64612225

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810578380.5A Active CN109033944B (zh) 2018-06-07 2018-06-07 一种全天空极光图像分类与关键局部结构定位方法及系统

Country Status (1)

Country Link
CN (1) CN109033944B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109872333B (zh) 2019-02-20 2021-07-06 腾讯科技（深圳）有限公司 医学影像分割方法、装置、计算机设备和存储介质
CN110008962B (zh) * 2019-04-11 2022-08-12 福州大学 基于注意力机制的弱监督语义分割方法
CN113111688B (zh) * 2020-01-13 2024-03-08 中国科学院国家空间科学中心 一种全天空喉区极光识别方法及系统
CN111639674B (zh) * 2020-04-29 2023-10-31 安徽师范大学 一种基于半监督学习图像聚类的数据处理方法和系统
CN112085739A (zh) * 2020-08-20 2020-12-15 深圳力维智联技术有限公司 基于弱监督的语义分割模型的训练方法、装置及设备
CN113536942B (zh) * 2021-06-21 2024-04-12 上海赫千电子科技有限公司 一种基于神经网络的道路交通标志识别方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016016033A1 (en) * 2014-07-31 2016-02-04 Thomson Licensing Method and apparatus for interactive video segmentation
US9396546B2 (en) * 2014-01-21 2016-07-19 Adobe Systems Incorporated Labeling objects in image scenes
CN106022353A (zh) * 2016-05-05 2016-10-12 浙江大学 一种基于超像素分割的图像语义标注方法
CN106846400A (zh) * 2015-12-04 2017-06-13 南京大学 一种结合窗口评分与超像素组合的物体位置预估方法
CN106997601A (zh) * 2017-03-27 2017-08-01 西安电子科技大学 基于粘性流体粒子运动模型的视频序列分类方法
CN107229936A (zh) * 2017-05-22 2017-10-03 西安电子科技大学 基于球状鲁棒序列局部二值化模式的序列分类方法
CN107833220A (zh) * 2017-11-28 2018-03-23 河海大学常州校区 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法
CN108090919A (zh) * 2018-01-02 2018-05-29 华南理工大学 一种基于超像素光流和自适应学习因子改进的核相关滤波跟踪方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9396546B2 (en) * 2014-01-21 2016-07-19 Adobe Systems Incorporated Labeling objects in image scenes
WO2016016033A1 (en) * 2014-07-31 2016-02-04 Thomson Licensing Method and apparatus for interactive video segmentation
CN106846400A (zh) * 2015-12-04 2017-06-13 南京大学 一种结合窗口评分与超像素组合的物体位置预估方法
CN106022353A (zh) * 2016-05-05 2016-10-12 浙江大学 一种基于超像素分割的图像语义标注方法
CN106997601A (zh) * 2017-03-27 2017-08-01 西安电子科技大学 基于粘性流体粒子运动模型的视频序列分类方法
CN107229936A (zh) * 2017-05-22 2017-10-03 西安电子科技大学 基于球状鲁棒序列局部二值化模式的序列分类方法
CN107833220A (zh) * 2017-11-28 2018-03-23 河海大学常州校区 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法
CN108090919A (zh) * 2018-01-02 2018-05-29 华南理工大学 一种基于超像素光流和自适应学习因子改进的核相关滤波跟踪方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Superpixel Guided Deep-Sparse-Representation Learning for Hyperspectral Image Classification;Jiayuan Fan 等;《IEEE Transactions on Circuits and Systems for Video Technology》;20170830;第28卷(第11期);第3163-3173页 *
Weakly supervised semantic segmentation for social images;Wei Zhang 等;《2015 IEEE Conference on Computer Vision and Pattern Recognition》;20151015;第2718-2726页 *
Weakly Supervised Semantic Segmentation Using Superpixel Pooling Network;Suha Kwak 等;《Thirty-First AAAI Conference on Artificial Intelligence》;20170212;第4111-4117页 *
图像的视觉显著性模型理论与方法研究;许林峰;《中国博士学位论文全文数据库信息科技辑》;20160315;第I138-105页 *

Also Published As

Publication number Publication date
CN109033944A (zh) 2018-12-18

Similar Documents

Publication Publication Date Title
CN109033944B (zh) 一种全天空极光图像分类与关键局部结构定位方法及系统
Yu et al. A new spatial-oriented object detection framework for remote sensing images
Chen et al. Vehicle detection in high-resolution aerial images via sparse representation and superpixels
Zhao et al. Cloud shape classification system based on multi-channel cnn and improved fdm
Long et al. Accurate object localization in remote sensing images based on convolutional neural networks
Tong et al. Learning transferable deep models for land-use classification with high-resolution remote sensing images
Chen et al. Vehicle detection in high-resolution aerial images based on fast sparse representation classification and multiorder feature
CN107133569B (zh) 基于泛化多标记学习的监控视频多粒度标注方法
Lin et al. RSCM: Region selection and concurrency model for multi-class weather recognition
CN111783576B (zh) 基于改进型YOLOv3网络和特征融合的行人重识别方法
Ma et al. Capsule-based networks for road marking extraction and classification from mobile LiDAR point clouds
Li et al. Adaptive deep convolutional neural networks for scene-specific object detection
Lei et al. Region-enhanced convolutional neural network for object detection in remote sensing images
Alidoost et al. A CNN-based approach for automatic building detection and recognition of roof types using a single aerial image
Zhang et al. Road recognition from remote sensing imagery using incremental learning
CN107633226B (zh) 一种人体动作跟踪特征处理方法
Tao et al. Scene context-driven vehicle detection in high-resolution aerial images
Han et al. Methods for small, weak object detection in optical high-resolution remote sensing images: A survey of advances and challenges
CN108021890B (zh) 一种基于plsa和bow的高分遥感影像港口检测方法
Zheng et al. Domain adaptation via a task-specific classifier framework for remote sensing cross-scene classification
CN108509950B (zh) 基于概率特征加权融合的铁路接触网支柱号牌检测识别法
Lian et al. Weakly supervised road segmentation in high-resolution remote sensing images using point annotations
Shu et al. Center-point-guided proposal generation for detection of small and dense buildings in aerial imagery
Zhou et al. Building segmentation from airborne VHR images using Mask R-CNN
Alsanad et al. Real-time fuel truck detection algorithm based on deep convolutional neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant