CN108629368A - 一种基于联合深度融合的多模态地基云分类方法 - Google Patents
一种基于联合深度融合的多模态地基云分类方法 Download PDFInfo
- Publication number
- CN108629368A CN108629368A CN201810262106.7A CN201810262106A CN108629368A CN 108629368 A CN108629368 A CN 108629368A CN 201810262106 A CN201810262106 A CN 201810262106A CN 108629368 A CN108629368 A CN 108629368A
- Authority
- CN
- China
- Prior art keywords
- input
- ground cloud
- modal
- neural network
- combined depth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例公开了一种基于联合深度融合的多模态地基云分类方法,该方法包括:对输入地基云样本进行预处理,得到联合深度融合神经网络输入;将该输入转移到联合深度融合神经网络训练模型中,训练得到联合深度融合神经网络;提取每个输入地基云样本的视觉特征与多模态特征,并将其融合,得到每个输入地基云样本的最终特征表示;训练支持向量机分类器,得到地基云分类模型;获取测试输入地基云样本的最终特征表示,输入至地基云分类模型中,得到分类结果。本发明具有融合异构特征能力,能够有效联合学习视觉信息与多模态信息,提取出更高辨别性的视觉特征与多模态特征,充分利用两者的互补信息,提高地基云分类的正确率。
Description
技术领域
本发明属于模式识别、人工智能技术领域,具体涉及一种基于联合深度融合的多模态地基云分类方法。
背景技术
当今,许多实际应用都需要精准的云观测技术,例如:光遥感应用、天气预报、降水量估计以及深空气候观察。然而,目前云观测任务一直由一些专业的观察员来完成,这不仅需要消耗大量的人力,而且易于出现观察失误。因此,人们做了许多努力来实现自动云观测。云类型自动分类是云观测的重要内容,但由于在不同的大气条件下,云外貌千变万化,因而这项工作具有极大的挑战,也一直处于欠发展的状态。
许多研究者采用不同的设备来获取必要的云分类数据,这些设备包括基于地面和基于卫星的设备。基于卫星的设备可以获取大范围的云信息,而基于地面的设备具有较小的观察范围,主要用于检测具体位置的云。因此,人们利用基于地面的设备进行连续的局部云观测。现今很多地基云天空成像仪被研制成功,例如全天空成像仪(WSI)、总天空成像仪(TSI)、红外天空成像仪(ICI)、全天成像仪(ASI)、全天红外云量测量系统(WSIRCMS)。
得益于这些设备的发明,人们可以使用大量的地基云图像来开发地基云图像自动分类算法。Buch将云的纹理特征、位置信息与亮度信息作为特征对地基云进行分类;Heinle选择了7种颜色特征、4种纹理特征和云覆盖率共计12种特征用于云分类;Liu从分割图像和边缘图像中提取一些云结构特征,这些特征包括云灰度平均值、云块、边缘亮度等;Singh和Glennen提出用自相关、互相关矩阵、边缘频率、Laws特征、原始长度等方法来提取云特征;Liu提出多个学习具有判别性纹理特征的算法,例如多次随机映射的嵌入方法、基于自适应符号的稀疏编码、显著局部二值模式和互信息学习特征等;Zhuo提出三步云分类算法,第一步是实施色谱转换,第二步是获取大致的云结构信息,最后一步是获得云类别;Xiao提出联合提取纹理、结构和颜色特征对地基云图进行分类。
最近,深度神经网络在许多计算机视觉任务上取得了显著的成就。深度神经网络最引人注目的特点是它们可以自动的从原始数据经过一些线性变换后获得高层次的特征,因而在很大程度上它们能够捕捉到有效的信息。因此一些研究者开始利用卷积神经网络对地基云图像进行分类。例如,Ye先从卷积层中提取深度视觉特征,之后,又采用了Fisher编码和云模式挖掘以及选择来进一步提高分类准确率;Shi在卷积层的特征图上利用最大池化或平均池化来获得浅层或深层的视觉信息,同时也评估了全连接层的性能。
但是,现存方法都仅仅利用视觉特征对地基云进行分类,而视觉特征受环境因素影响较大。同一种云,它们在形状、光照、遮挡物等方面差异较大,但是与它们相对应的多模态信息却相对稳定,因此受环境因素影响较小。同时,云的类别受多模态信息的影响,这些信息包括温度、湿度、气压、风速等。
发明内容
本发明的目的是要解决地基云分类困难的技术问题,为此,本发明提供一种基于联合深度融合的多模态地基云分类方法。
所述方法包括以下步骤:
步骤S1,对输入地基云样本进行预处理,得到联合深度融合神经网络输入,所述联合深度融合神经网络输入包括联合深度融合神经网络的视觉信息输入和联合深度融合神经网络的多模态信息输入;
步骤S2,将所述联合深度融合神经网络输入转移到联合深度融合神经网络训练模型中,训练得到联合深度融合神经网络;
步骤S3,提取每个输入地基云样本的视觉特征与多模态特征;
步骤S4,将所述视觉特征与多模态特征相融合,得到每个输入地基云样本的最终特征表示;
步骤S5,训练支持向量机分类器,得到地基云分类模型;
步骤S6,获取测试输入地基云样本的最终特征表示,并将其输入至所述的地基云分类模型中,得到测试输入地基云样本分类结果。
可选地,所述步骤S1包括以下步骤:
步骤S11,对所述输入地基云样本中的地基云图像进行预处理,得到所述联合深度融合神经网络的视觉信息输入;
步骤S12,将所述输入地基云样本中的地基云多模态信息进行预处理,得到联合深度融合神经网络的多模态信息输入。
可选地,所述步骤S11包括以下步骤:
步骤S111,将所述地基云图像进行归一化,得到归一化图像;
步骤S112,对所述归一化图像进行随机裁剪;
步骤S113,将经随机裁剪的图像中的每个RGB像素值减去相应的预设RGB像素均值,得到联合深度融合神经网络的视觉信息输入。
可选地,所述步骤S12包括以下步骤:
步骤S121,将所述地基云多模态信息的值映射到相同的范围,得到映射后的地基云多模态信息;
步骤S122,将所述映射后的地基云多模态信息减去相应的预设多模态信息均值,得到联合深度融合神经网络的多模态信息输入。
可选地,所述步骤S2包括以下步骤:
步骤S21,构建联合深度融合神经网络,所述联合深度融合神经网络整体结构包括视觉子网络、多模态子网络、联合融合层、全连接层和损失函数;
步骤S22,初始化视觉子网络、多模态子网络和全连接层的参数;
步骤S23,将所述联合深度融合神经网络的视觉信息输入与联合深度融合神经网络的多模态信息输入分别批量输入至联合深度融合神经网络训练模型的视觉子网络和多模态子网络进行联合训练,得到联合深度融合神经网络。
可选地,所述步骤S23中,输入至所述联合深度融合神经网络训练模型的视觉信息与多模态信息是一一对应的。
可选地,所述步骤S3包括以下步骤:
步骤S31,将所述联合深度融合神经网络的视觉信息输入与联合深度融合神经网络的多模态信息输入分别输入至训练好的联合深度融合神经网络的视觉子网络和多模态子网络中;
步骤S32,分别提取视觉子网络和多模态子网络的输出作为地基云的视觉特征和多模态特征。
可选地,所述步骤S4包括以下步骤:
步骤S41,对所述输入地基云样本的视觉特征和多模态特征分别进行归一化处理;
步骤S42,将归一化后的输入地基云样本的视觉特征和多模态特征进行融合;
步骤S43,将融合后的输入地基云样本的特征表示进行归一化处理,得到输入地基云样本的最终特征表示。
可选地,所述步骤S5具体为:
将每个输入地基云样本的最终特征表示与该样本所对应的标签分别输入到支持向量机分类器中,训练得到所述地基云样本分类模型。
本发明的有益效果为:本发明通过联合深度融合神经网络联合学习视觉信息特征和多模态信息特征,能够有效融合异构特征信息,达到有效提取具有更高判别性的地基云视觉特征和多模态特征的目的;通过融合视觉特征与多模态特征,能够充分利用视觉特征与多模态特征之间的互补信息,提高地基云图像分类的正确率。
需要说明的是,本发明得到了国家自然科学基金项目No.61501327、No.61711530240、天津市自然科学基金项目No.17JCZDJC30600、15JCQNJC01700、天津师范大学“青年科研拔尖人才培育计划”No.135202RC1703、模式识别国家重点实验室开放课题No.201700001、No.201800002、国家留学基金委No.201708120039、No.201708120040的资助。
附图说明
图1是根据本发明一实施例提出的一种基于联合深度融合的多模态地基云分类方法的流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了,下面结合具体实施方式并参照附图,对本发明进一步详细说明。应该理解,这些描述只是示例性的,而并非要限制本发明的范围。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本发明的概念。
图1是根据本发明一实施例提出的一种基于联合深度融合的多模态地基云分类方法的流程图,如图1所示,所述基于联合深度融合的多模态地基云分类方法包括:
步骤S1,对输入地基云样本进行预处理,得到联合深度融合神经网络输入,所述联合深度融合神经网络输入包括联合深度融合神经网络的视觉信息输入和联合深度融合神经网络的多模态信息输入;
其中,所述对输入地基云样本进行预处理包括以下步骤:
步骤S11,对所述输入地基云样本中的地基云图像进行预处理,得到所述联合深度融合神经网络的视觉信息输入;
其中,将所述输入地基云样本中的地基云图像进行预处理包含以下步骤:
步骤S111,将所述地基云图像进行归一化,得到归一化图像;
在本发明一实施例中,所述输入地基云样本中的地基云图像原始大小为1056×1056,其中,两个1056分别表示地基云图像的高度和宽度;归一化后的地基云图像大小为256×256,其中两个256分别表示归一化后的地基云图像的高度和宽度。
步骤S112,对所述归一化图像进行随机裁剪;
其中,所述随机剪裁指的是在不超过图像大小的范围内进行随机窗口裁剪。
在本发明一实施例中,图像的大小为256×256,在不超过图像大小的范围内进行随机窗口裁剪,窗口的上边界和左边界在图像内,且距离图像的上边界和下边界均不得超过32个像素,得到的地基云图像大小为224×224,其中,两个224分别表示经裁剪后地基云图像的高度和宽度。
步骤S113,将经随机裁剪的图像中的每个RGB像素值减去相应的预设RGB像素均值,得到联合深度融合神经网络的视觉信息输入。
在本发明一实施例中,所述预设RGB像素均值可利用训练集中所有地基云图像在RGB通道上计算得到。
步骤S12,将所述输入地基云样本中的地基云多模态信息进行预处理,得到联合深度融合神经网络的多模态信息输入。
其中,将所述输入地基云样本中的地基云多模态信息进行预处理包含以下步骤:
步骤S121,将所述地基云多模态信息的值映射到相同的范围,得到映射后的地基云多模态信息;
在本发明一实施例中,多模态信息包括温度、湿度、气压、瞬时风速、最大风速和平均风速。温度的值域范围在-20—45,湿度的范围在15—85,气压的范围在850—1100,风速的范围在0—5,将这些地基云多模态信息的值全部映射到0—255范围内。
步骤S122,将所述映射后的地基云多模态信息减去相应的预设多模态信息均值,得到联合深度融合神经网络的多模态信息输入。
在本发明一实施例中,所述预设多模态信息均值可利用训练集中所有地基云多模态信息,分别计算得到温度、湿度、压强、瞬时风速、最大风速、平均风速的均值。
步骤S2,将所述联合深度融合神经网络输入转移到联合深度融合神经网络训练模型中,训练得到联合深度融合神经网络;
进一步地,所述步骤S2包括以下步骤:
步骤S21,构建联合深度融合神经网络,所述联合深度融合神经网络整体结构包括一个视觉子网络、一个多模态子网络、一个联合融合层、一个全连接层和一个损失函数;
视觉子网络是一个残差网络,其第一个卷积层的卷积核大小为m1×m1,步长为s1,卷积核组数量为n1;第二至第五层是由数量不等的残差块组成,每个残差块由K层卷积层组成,每个残差块第k个卷积层的卷积核大小为mk×mk,步长为sk,卷积核组数量为nk;在第一个卷积层和最后一个卷积层的后面分别是最大池化层和平均池化层,其中,最大池化层的核大小为m×m,步长为s。
多模态子网络是由N层全连接层组成,第i层的神经元数量为li。多模态子网络之外的一个全连接层神经元数量为l。
在本发明一实施例中,视觉子网络中的第一个卷积层的卷积核大小为7×7,步长为2,卷积核组数量为64;第二至第五层分别由3、4、6、3个残差块组成,每个残差块由3层卷积层组成,每个残差块中的第一个和第三个卷积层的卷积核大小为1×1,第二个卷积层的卷积核大小为3×3,这三个卷积核的步长均为1;第二层卷积块第一至第三层卷积层卷积核组数量分别为64、64和256;之后每层卷积块第一至第三层卷积层卷积核组数量为前一层相应数量的2倍;最大池化层核大小为3×3,步长为2;多模态子网络是由6层全连接层组成,神经元数量依次为64,128,256,512,1024,2048;联合融合层表达式为:
f=(αf1+βf2)2,
其中,f1和f2分别是视觉子网络和多模态子网络的输出,α、β为f1和f2的权重,用来调节f1和f2的重要性。
在本发明一实施例中,f1和f2的维度均为2048;联合融合层后面一个全连接层神经元数量为7;α、β分别设为0.1和0.9。
在本发明一实施例中,损失函数作用在柔性最大算法上,柔性最大表达式为:
其中,T是云的种类,xj为最后一个全连接层在第j个位置的神经元的输出值。
损失函数是交叉熵函数,其表达式为:
其中,qj是真实标签的概率,当j是真实标签时,qj=1,否则qj=0。
步骤S22,初始化视觉子网络、多模态子网络和全连接层的参数;
在本发明一实施例中,卷积层和全连接层的参数包括权重和偏置,权重初始化服从标准正太分布,偏置全部初始化为零。
步骤S23,将步骤S113得到的联合深度融合神经网络的视觉信息输入与步骤S122得到的联合深度融合神经网络的多模态信息输入分别批量输入至联合深度融合神经网络训练模型的视觉子网络和多模态子网络进行联合训练,得到联合深度融合神经网络。
在本发明一实施例中,可将联合深度融合神经网络的视觉信息输入和联合深度融合神经网络的多模态信息输入批量输入至所述联合深度融合神经网络训练模型的视觉子网络和多模态子网络中进行联合训练,其中,输入的多模态信息可以表示为:
M=[m1,m2,...,mp,...,mP]T,
其中,mp表示第p个多模态信息,P表示多模态信息的个数。
在本发明一实施例中,使用6个多模态信息,即P为6,m1,m2,...,m6分别表示温度、湿度、气压、瞬时风速、最大风速和平均风速。
其中,视觉信息与多模态信息是一一对应的关系。
步骤S3,提取每个输入地基云样本的视觉特征与多模态特征;
进一步地,所述步骤S3包括以下步骤:
步骤S31,将步骤S1预处理后得到的视觉信息与多模态信息分别输入至训练好的联合深度融合神经网络的视觉子网络和多模态子网络中;
步骤S32,分别提取视觉子网络和多模态子网络的输出作为地基云的视觉特征和多模态特征。
在本发明一实施例中,可将视觉子网络中平均池化层的输出作为视觉特征,将多模态子网络中最后一层卷积层的输出作为多模态特征。
步骤S4,将所述视觉特征与多模态特征相融合,得到每个输入地基云样本的最终特征表示;
进一步地,所述步骤S4包括以下步骤:
步骤S41,将步骤S3提取得到的输入地基云样本的视觉特征和多模态特征分别进行归一化处理;
在本发明一实施例中,输入地基云样本的视觉特征和多模态特征均采用L2范数进行归一化。
步骤S42,将归一化后的输入地基云样本的视觉特征和多模态特征进行融合;
在本发明一实施例中,融合算法可以表示为:
F=g(f1,f2),
其中,F为融合后得到的每个输入地基云样本的特征表示,g为融合函数。
在本发明一实施例中,所述融合函数选为串联融合函数,即将提取的视觉特征f1与多模态特征f2进行串联,得到输入地基云样本的特征表示,即融合函数g表示为:
g(f1,f2)=[λ1f1,λ2f2],
其中,λ1,λ2表示平衡视觉特征f1与多模态特征f2重要性的参数。
在本发明一实施例中,λ1,λ2分别设为0.1和0.9。
步骤S43,将融合后的输入地基云样本的特征表示进行归一化处理,得到输入地基云样本的最终特征表示。
在本发明一实施例中,融合后的输入地基云样本的特征表示采用L2范数进行归一化。
步骤S5,训练支持向量机分类器,得到地基云分类模型;
所述步骤S5具体为:
将根据步骤S4得到的每个训练地基云样本的最终特征表示与该样本所对应的标签分别输入到支持向量机分类器中,训练得到所述地基云分类模型。
在本发明一实施例中,所述支持向量机分类器为径向基核函数。
步骤S6,获取测试输入地基云样本的最终特征表示,并将其输入至所述地基云分类模型中,得到测试输入地基云样本分类结果。
其中,所述测试输入地基云样本的最终特征表示可按照上述步骤得到。
在本发明一应用实例中,所使用的地基云图像数据库是在不同的季节不同的时间下在中国拍摄的,所用摄像机是鱼眼镜头,具有广泛的视角。多模态信息是用手持气象站获得的,包含温度、湿度、气压、风速等信息。地基云图像拍摄与多模态信息采集是同时进行的,因此,一幅图像对应多个多模态信息。通过从两个子网络分别提取地基云样本的视觉信息与多模态信息,再将它们融合,地基云样本的分类正确率为93.37%,由此可见本发明方法的有效性。
应当理解的是,本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理,而不构成对本发明的限制。因此,在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。此外,本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。
Claims (9)
1.一种基于联合深度融合的多模态地基云分类方法,其特征在于,所述方法包括以下步骤:
步骤S1,对输入地基云样本进行预处理,得到联合深度融合神经网络输入,所述联合深度融合神经网络输入包括联合深度融合神经网络的视觉信息输入和联合深度融合神经网络的多模态信息输入;
步骤S2,将所述联合深度融合神经网络输入转移到联合深度融合神经网络训练模型中,训练得到联合深度融合神经网络;
步骤S3,提取每个输入地基云样本的视觉特征与多模态特征;
步骤S4,将所述视觉特征与多模态特征相融合,得到每个输入地基云样本的最终特征表示;
步骤S5,训练支持向量机分类器,得到地基云分类模型;
步骤S6,获取测试输入地基云样本的最终特征表示,并将其输入至所述的地基云分类模型中,得到测试输入地基云样本分类结果。
2.根据权利要求1所述的方法,其特征在于,所述步骤S1包括以下步骤:
步骤S11,对所述输入地基云样本中的地基云图像进行预处理,得到所述联合深度融合神经网络的视觉信息输入;
步骤S12,将所述输入地基云样本中的地基云多模态信息进行预处理,得到联合深度融合神经网络的多模态信息输入。
3.根据权利要求2所述的方法,其特征在于,所述步骤S11包括以下步骤:
步骤S111,将所述地基云图像进行归一化,得到归一化图像;
步骤S112,对所述归一化图像进行随机裁剪;
步骤S113,将经随机裁剪的图像中的每个RGB像素值减去相应的预设RGB像素均值,得到联合深度融合神经网络的视觉信息输入。
4.根据权利要求2所述的方法,其特征在于,所述步骤S12包括以下步骤:
步骤S121,将所述地基云多模态信息的值映射到相同的范围,得到映射后的地基云多模态信息;
步骤S122,将所述映射后的地基云多模态信息减去相应的预设多模态信息均值,得到联合深度融合神经网络的多模态信息输入。
5.根据权利要求1所述的方法,其特征在于,所述步骤S2包括以下步骤:
步骤S21,构建联合深度融合神经网络,所述联合深度融合神经网络整体结构包括视觉子网络、多模态子网络、联合融合层、全连接层和损失函数;
步骤S22,初始化视觉子网络、多模态子网络和全连接层的参数;
步骤S23,将所述联合深度融合神经网络的视觉信息输入与联合深度融合神经网络的多模态信息输入分别批量输入至联合深度融合神经网络训练模型的视觉子网络和多模态子网络进行联合训练,得到联合深度融合神经网络。
6.根据权利要求5所述的方法,其特征在于,所述步骤S23中,输入至所述联合深度融合神经网络训练模型的视觉信息与多模态信息是一一对应的。
7.根据权利要求1所述的方法,其特征在于,所述步骤S3包括以下步骤:
步骤S31,将所述联合深度融合神经网络的视觉信息输入与联合深度融合神经网络的多模态信息输入分别输入至训练好的联合深度融合神经网络的视觉子网络和多模态子网络中;
步骤S32,分别提取视觉子网络和多模态子网络的输出作为地基云的视觉特征和多模态特征。
8.根据权利要求7所述的方法,其特征在于,所述步骤S4包括以下步骤:
步骤S41,对所述输入地基云样本的视觉特征和多模态特征分别进行归一化处理;
步骤S42,将归一化后的输入地基云样本的视觉特征和多模态特征进行融合;
步骤S43,将融合后的输入地基云样本的特征表示进行归一化处理,得到输入地基云样本的最终特征表示。
9.根据权利要求1所述的方法,其特征在于,所述步骤S5具体为:将每个输入地基云样本的最终特征表示与该样本所对应的标签分别输入到支持向量机分类器中,训练得到所述地基云样本分类模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810262106.7A CN108629368B (zh) | 2018-03-28 | 2018-03-28 | 一种基于联合深度融合的多模态地基云分类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810262106.7A CN108629368B (zh) | 2018-03-28 | 2018-03-28 | 一种基于联合深度融合的多模态地基云分类方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108629368A true CN108629368A (zh) | 2018-10-09 |
CN108629368B CN108629368B (zh) | 2021-05-07 |
Family
ID=63696550
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810262106.7A Active CN108629368B (zh) | 2018-03-28 | 2018-03-28 | 一种基于联合深度融合的多模态地基云分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108629368B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109508756A (zh) * | 2019-01-22 | 2019-03-22 | 天津师范大学 | 一种基于多线索多模态融合深度网络的地基云分类方法 |
CN110516723A (zh) * | 2019-08-15 | 2019-11-29 | 天津师范大学 | 一种基于深度张量融合的多模态地基云图识别方法 |
CN111191704A (zh) * | 2019-12-24 | 2020-05-22 | 天津师范大学 | 一种基于任务图卷积网络的地基云分类方法 |
CN111242227A (zh) * | 2020-01-16 | 2020-06-05 | 天津师范大学 | 一种基于异构深度特征的多模态地基云识别方法 |
CN111340061A (zh) * | 2020-01-18 | 2020-06-26 | 中国人民解放军国防科技大学 | 基于svm模型参数优化的多模态数据融合和分类方法 |
CN111800505A (zh) * | 2020-07-05 | 2020-10-20 | 胡时英 | 现场远程终端单元控制下的大数据采集与处理系统 |
CN114581861A (zh) * | 2022-03-02 | 2022-06-03 | 北京交通大学 | 一种基于深度学习卷积神经网络的轨道区域识别方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103699902A (zh) * | 2013-12-24 | 2014-04-02 | 南京信息工程大学 | 一种地基可见光云图的分类方法 |
CN104463252A (zh) * | 2014-12-18 | 2015-03-25 | 南京信息工程大学 | 一种基于自适应极限学习机的地基云分类方法 |
CN104866524A (zh) * | 2015-04-10 | 2015-08-26 | 大连交通大学 | 一种商品图像精细分类方法 |
CN105320965A (zh) * | 2015-10-23 | 2016-02-10 | 西北工业大学 | 基于深度卷积神经网络的空谱联合的高光谱图像分类方法 |
-
2018
- 2018-03-28 CN CN201810262106.7A patent/CN108629368B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103699902A (zh) * | 2013-12-24 | 2014-04-02 | 南京信息工程大学 | 一种地基可见光云图的分类方法 |
CN104463252A (zh) * | 2014-12-18 | 2015-03-25 | 南京信息工程大学 | 一种基于自适应极限学习机的地基云分类方法 |
CN104866524A (zh) * | 2015-04-10 | 2015-08-26 | 大连交通大学 | 一种商品图像精细分类方法 |
CN105320965A (zh) * | 2015-10-23 | 2016-02-10 | 西北工业大学 | 基于深度卷积神经网络的空谱联合的高光谱图像分类方法 |
Non-Patent Citations (1)
Title |
---|
SHUANG LIU ET AL.: "Deep multimodal fusion for ground-based cloud classification in weather station networks", 《EURASIP JOURNAL ON WIRELESS COMMUNICATIONS AND NETWORKING》 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109508756A (zh) * | 2019-01-22 | 2019-03-22 | 天津师范大学 | 一种基于多线索多模态融合深度网络的地基云分类方法 |
CN110516723A (zh) * | 2019-08-15 | 2019-11-29 | 天津师范大学 | 一种基于深度张量融合的多模态地基云图识别方法 |
CN111191704A (zh) * | 2019-12-24 | 2020-05-22 | 天津师范大学 | 一种基于任务图卷积网络的地基云分类方法 |
CN111191704B (zh) * | 2019-12-24 | 2023-05-02 | 天津师范大学 | 一种基于任务图卷积网络的地基云分类方法 |
CN111242227A (zh) * | 2020-01-16 | 2020-06-05 | 天津师范大学 | 一种基于异构深度特征的多模态地基云识别方法 |
CN111340061A (zh) * | 2020-01-18 | 2020-06-26 | 中国人民解放军国防科技大学 | 基于svm模型参数优化的多模态数据融合和分类方法 |
CN111800505A (zh) * | 2020-07-05 | 2020-10-20 | 胡时英 | 现场远程终端单元控制下的大数据采集与处理系统 |
CN114581861A (zh) * | 2022-03-02 | 2022-06-03 | 北京交通大学 | 一种基于深度学习卷积神经网络的轨道区域识别方法 |
Also Published As
Publication number | Publication date |
---|---|
CN108629368B (zh) | 2021-05-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108629368A (zh) | 一种基于联合深度融合的多模态地基云分类方法 | |
CN107358257B (zh) | 一种大数据场景下可增量学习的图像分类训练方法 | |
CN103810504B (zh) | 一种图像处理方法和装置 | |
CN104851099B (zh) | 一种基于表示学习的图像融合方法 | |
CN108665496A (zh) | 一种基于深度学习的端到端的语义即时定位与建图方法 | |
CN110516723B (zh) | 一种基于深度张量融合的多模态地基云图识别方法 | |
CN113408594B (zh) | 一种基于注意力网络尺度特征融合的遥感场景分类方法 | |
CN108229589B (zh) | 一种基于迁移学习的地基云图分类方法 | |
CN108399361A (zh) | 一种基于卷积神经网络cnn和语义分割的行人检测方法 | |
CN109508756B (zh) | 一种基于多线索多模态融合深度网络的地基云分类方法 | |
CN108537121B (zh) | 气象环境参数与图像信息融合的自适应遥感场景分类方法 | |
CN103218831A (zh) | 一种基于轮廓约束的视频运动目标分类识别方法 | |
CN116052016A (zh) | 基于深度学习的遥感图像云和云影的精细分割检测方法 | |
CN107122701A (zh) | 一种基于图像显著性和深度学习的交通道路标志识别方法 | |
CN109685713B (zh) | 化妆模拟控制方法、装置、计算机设备及存储介质 | |
CN107392131A (zh) | 一种基于人体骨骼节点距离的动作识别方法 | |
CN109241902A (zh) | 一种基于多尺度特征融合的山体滑坡检测方法 | |
CN113160062A (zh) | 一种红外图像目标检测方法、装置、设备及存储介质 | |
CN110334703B (zh) | 一种昼夜图像中的船舶检测和识别方法 | |
CN107463954A (zh) | 一种模糊异谱图像的模板匹配识别方法 | |
CN109712127A (zh) | 一种用于机巡视频流的输电线路故障检测方法 | |
CN108108720A (zh) | 一种基于深度多模态融合的地基云图像分类方法 | |
CN107341800A (zh) | 基于超像素显著性分析的sar图像变化检测方法 | |
CN109242928A (zh) | 一种轻量级具有融合层的近红外图像彩色化深度学习模型 | |
CN109117717A (zh) | 一种城市行人检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20230921 Address after: 230000 B-1015, wo Yuan Garden, 81 Ganquan Road, Shushan District, Hefei, Anhui. Patentee after: HEFEI MINGLONG ELECTRONIC TECHNOLOGY Co.,Ltd. Address before: 300387 Tianjin city Xiqing District West Binshui Road No. 393 Patentee before: TIANJIN NORMAL University |
|
TR01 | Transfer of patent right |