CN112560826B - 图像分类模型的训练方法、图像分类方法及装置 - Google Patents

图像分类模型的训练方法、图像分类方法及装置 Download PDF

Info

Publication number
CN112560826B
CN112560826B CN202110203539.7A CN202110203539A CN112560826B CN 112560826 B CN112560826 B CN 112560826B CN 202110203539 A CN202110203539 A CN 202110203539A CN 112560826 B CN112560826 B CN 112560826B
Authority
CN
China
Prior art keywords
image
classification
training
target image
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110203539.7A
Other languages
English (en)
Other versions
CN112560826A (zh
Inventor
王昊
周晓媛
王梦涵
刘思奥
宗继彪
魏纬
王宇翔
廖通逵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aerospace Hongtu Information Technology Co Ltd
Original Assignee
Aerospace Hongtu Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aerospace Hongtu Information Technology Co Ltd filed Critical Aerospace Hongtu Information Technology Co Ltd
Priority to CN202110203539.7A priority Critical patent/CN112560826B/zh
Publication of CN112560826A publication Critical patent/CN112560826A/zh
Application granted granted Critical
Publication of CN112560826B publication Critical patent/CN112560826B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种图像分类模型的训练方法、图像分类方法及装置，包括：获取预设区域在地类变化前和变化后的遥感影像；基于遥感影像的波段数和波段特征，对遥感影像进行波段增强，得到第一目标图像和第二目标图像；分别基于第一目标图像和第二目标图像，构建二分类训练集和多分类训练集；基于二分类训练集和多分类训练集，对迁移后的预训练模型进行训练，直至预训练模型的损失函数达到预设收敛条件，得到图像二分类模型和图像多分类模型，图像二分类模型用于图像变化检测，图像多分类模型用于图像地类分类。本发明能够丰富遥感影像的波段特征，提高模型精度和降低样本采集难度。

Description

图像分类模型的训练方法、图像分类方法及装置
技术领域
本申请涉及计算机技术领域，具体而言，涉及一种图像分类模型的训练方法、图像分类方法及装置。
背景技术
随着遥感技术的不断深入研究，以及更高分辨率和包含更多信息的遥感影像不断产出，对遥感影像的监督分类准确度提出提高要求。遥感影像监督分类是利用人们对遥感影像的样本类别已有的先验知识，建立和训练分类器，再利用训练好的分类器完成整幅遥感影像的类型划分，将每个像元归并为相对应的一个类别。
在相关技术中，传统的监督分类方法建立在Bayes准则的基础上，偏重于集群分布的统计特性，其分类原理是假定训练样本在光谱空间的分布服从高斯正态分布规律，基于此做出样本的概率密度等值线，通过计算标本(像元)属于各组(类)的概率，将标本归属于概率最大的一组。但是由于样本采集工作量大、效率低以及人为误差的干扰，使得分类模型的精度较差。
发明内容
本申请实施例的目的在于提供一种图像分类模型的训练方法、图像分类方法、装置、终端设备及存储介质，旨在解决遥感影像的分类模型精度差的问题。
第一方面，本申请实施例提供了一种图像分类模型的训练方法，包括：
获取预设区域在地类变化前和变化后的遥感影像；
基于遥感影像的波段数和波段特征，对遥感影像进行波段增强，得到第一目标图像和第二目标图像；
基于所述第一目标图像和第二目标图像，构建二分类训练集和多分类训练集；
基于二分类训练集和多分类训练集，对迁移后的预训练模型进行训练，直至预训练模型的损失函数达到预设收敛条件，得到图像二分类模型和图像多分类模型，图像二分类模型用于图像变化检测，图像多分类模型用于图像地类分类。
在本实施例中，通过获取地类变化前和变化后的遥感影像，基于遥感影像的波段数和波段特征，对遥感影像进行波段增强，得到第一目标图像和第二目标图像，以丰富遥感影像的波段特征，从而使模型能够提取到更多的图像特征，提高模型精度，并且降低样本采集难度；以及分别基于第一目标图像和第二目标图像构建的二分类训练集和多分类训练集，对迁移后的预训练模型进行训练，得到图像二分类模型和图像多分类模型，以利用具有丰富波段特征的目标图像进行模型训练，提高分类模型的精度，同时预训练模型通过图像数据库构建的数据集进行预先训练得到，能够有效降低模型训练的训练样本量，降低样本采集难度。
进一步地，基于遥感影像的波段数和波段特征，对遥感影像进行波段增强，得到第一目标图像和第二目标图像，包括：
基于遥感影像的波段数和波段特征，计算遥感影像的光谱角、欧式距离和比值距离；
对光谱角、欧式距离和比值距离进行归一化，得到归一化后的光谱角、欧式距离和比值距离；
将归一化后的光谱角、欧式距离和比值距离拉伸至预设区间，得到目标光谱角、目标欧式距离和目标比值距离；
基于遥感影像的波段特征以及目标光谱角、目标欧式距离和目标比值距离，构建第一目标图像；
基于所述变化前、后遥感影像的波段数和波段特征，对所述遥感影像进行主成分分析，提取特征最明显的若干个波段构建所述第二目标图像。在本实施例中，通过计算遥感影像的光谱角、欧式距离和比值距离，以丰富遥感影像的波段特征，一方面使模型训练时模型能够提取到更多的图像特征，提高模型精度，另一方面增加训练样本数量，降低样本采集难度。
进一步地，基于第一目标图像和第二目标图像，构建二分类训练集和多分类训练集，包括：
将所述第一目标图像的变化区域与非变化区域作为所述第一目标图像的第一数据标签；
将所述第一数据标签、所述第一目标图像作为所述二分类训练集；
设置变化前所述第二目标图像的地类为第二数据标签，以及变化后所述第二目标图像的地类为第三数据标签；
将所述第二数据标签、所述第三数据标签、变化前所述第二目标图像和变化后所述第二目标图像作为多分类训练集。
在本实施例中，基于同一图像库构建多个模型的训练集，以使多个模型共享训练样本；针对不同的训练集，对变化前后的目标图像设置不同数据标签，以完成多模型训练的样本标注，进而可以针对多个模型进行训练。
进一步地，基于二分类训练集和多分类训练集，对迁移后的预训练模型进行训练，直至预训练模型的损失函数达到预设收敛条件，得到图像二分类模型和图像多分类模型，包括：
基于二分类训练集，对迁移后的预训练模型进行训练，直至预训练模型的第一损失函数达到第一预设收敛条件，得到图像二分类模型，第一损失函数为加权交叉熵损失函数；
基于多分类训练集，对迁移后的预训练模型进行训练，直至预训练模型的第二损失函数达到第二预设收敛条件，得到图像多分类模型，第二损失函数为多类别交叉熵损失函数。
在本实施例中，针对二分类模型和多分类模型，分别采用不同的损失函数进行训练，以提高模型精度，避免采用相同损失函数对不同模型进行训练而导致模型过拟合或泛化。
进一步地，加权交叉熵损失函数为：
Figure 712617DEST_PATH_IMAGE001
；
Figure 578942DEST_PATH_IMAGE002
；
Figure DEST_PATH_IMAGE003
；
Figure 714388DEST_PATH_IMAGE004
；
其中P(Y=i|X)是预训练模型在数据标签i上的概率，i=1或0，|P|为正样本数量，|N |为负样本数量。
在本实施例中，由于在样本不均衡的情况下，二分类模型训练时损失函数会偏向样本多的一方，造成训练时损失函数很小，但是实际应用时对较少数量的图像类别的识别精度不高。因此本实施例通过给较少数量的图像类别进行加权，形成加权交叉熵，并作为二分类模型的损失函数，提高模型精度。
第二方面，本申请实施例提供了一种图像分类方法，包括：
获取目标区域在地类变化前和变化后的遥感影像；
对遥感影像进行波段增强，得到第一目标图像和第二目标图像；
利用图像二分类模型对第一目标图像进行变化检测，得到目标图像的变化区域；
利用图像多分类模型对第二目标图像进行分类检测，得到第二目标图像的地类数据，图像二分类模型和图像多分类模型基于上述第一方面的训练方法训练得到；
根据第一目标图像的变化区域和第二目标图像地类数据，确定变化区域的地类。
第三方面，本申请实施例提供了一种图像分类模型的训练装置，包括：
第一获取模块，用于获取预设区域在地类变化前和变化后的遥感影像；
第一增强模块，用于对遥感影像进行波段增强，得到第一目标图像和第二目标图像；
构建模块，用于基于第一目标图像，构建二分类训练集，基于第二目标图像，构建多分类训练集；
训练模块，用于基于二分类训练集和多分类训练集，对迁移后的预训练模型进行训练，直至预训练模型的损失函数达到预设收敛条件，得到图像二分类模型和图像多分类模型，图像二分类模型用于图像变化检测，图像多分类模型用于图像地类分类。
第四方面，本申请实施例提供了一种图像分类装置，包括：
第二获取模块，用于获取目标区域在地类变化前和变化后的遥感影像；
第二增强模块，用于对遥感影像进行波段增强，得到第一目标图像和第二目标图像；
变化检测模块，用于利用图像二分类模型对第一目标图像进行变化检测，得到第一目标图像的变化区域；
分类检测模块，用于利用图像多分类模型对第二目标图像进行分类检测，得到第二目标图像的地类数据，图像二分类模型和图像多分类模型基于上述第一方面的训练方法训练得到；
确定模块，用于根据第一目标图像的变化区域和第二目标图像的地类数据，确定变化区域的地类。
第五方面，本申请实施例提供了一种终端设备，包括存储器及处理器，存储器用于存储计算机程序，处理器运行计算机程序以使电子设备执行如第一方面的图像分类模型的训练方法或第二方面的图像分类方法。
第六方面，本申请实施例提供了一种计算机可读存储介质，其存储有计算机程序，计算机程序被处理器执行时实现如第一方面的图像分类模型的训练方法或第二方面的图像分类方法。
可以理解的是，上述第二方面至第四方面的有益效果可参见第一方面的相关描述，在此不再赘述。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的图像分类模型的训练方法的流程示意图；
图2为本申请实施例提供的图像分类方法的流程示意图；
图3为本申请实施例提供的图像分类模型的训练装置的结构示意图；
图4为本申请实施例提供的图像分类装置的结构示意图；
图5为本申请实施例提供的终端设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
如背景技术相关记载，传统的监督分类方法由于样本采集工作量大、效率低以及人为误差的干扰，使得分类模型的精度较差。而随着计算机运算能力的增强和人工智能深度学习技术的发展，神经元网络分类法逐渐兴起。但是传统的BP网络模型将一组样本的输入/输出问题作为一个非线性优化问题，虽然其比一般统计方法要好，但是却存在学习速度慢、不易收敛和效率不高等缺点。
针对上述现有技术中的问题，本申请提供了一种图像分类模型的训练方法，通过获取地类变化前和变化后的遥感影像，基于遥感影像的波段数和波段特征，对遥感影像进行波段增强，得到第一目标图像和第二目标图像，以丰富遥感影像的波段特征，从而使模型能够提取到更多的图像特征，提高模型精度，并且降低样本采集难度；以及分别基于第一目标图像和第二目标图像构建的二分类训练集和多分类训练集，对迁移后的预训练模型进行训练，得到图像二分类模型和图像多分类模型，以利用具有丰富波段特征的目标图像进行模型训练，提高分类模型的精度，同时预训练模型通过图像数据库构建的数据集进行预先训练得到，能够有效降低模型训练的训练样本量，降低样本采集难度。
参见图1，图1示出了本申请实施例提供的一种图像分类模型的训练方法的实现流程图。本申请实施例中下述的图像分类模型的训练方法可应用于终端设备，终端设备包括但不限于智能手机、平板电脑、桌上型计算机、超级计算机、个人数字助理、物理服务器和云服务器等计算机设备。本申请实施例的图像分类模型的训练方法，包括步骤S101至S104，详述如下：
步骤S101，获取预设区域在地形变化前和变化后的遥感影像。
在本实施例中，遥感影像是记录各种地物电磁波大小的图像，其能够表征预设区域内的地形信息，其可包括但不限于航空像片和卫星相片。可以理解的是，本实施例所述的地类指的是预设区域的土地类别，例如湖泊、沙地、水田、海洋、滩涂、戈壁、交通建设用地等。
由于地球板块运动、人类活动、自然灾害等原因，某一区域可能在一段时间内发生地形变化。例如，一片荒漠在经过人类种植后被植被覆盖，其变化前的地形为荒漠，变化后的地形为绿洲。
步骤S102，基于遥感影像的波段数和波段特征，对遥感影像进行波段增强，得到第一目标图像和第二目标图像。
在本实施例中，波段特征为遥感影像的图像特征，其包括但不限于RGB颜色特征、空间分辨率特征、光谱分辨率特征和辐射分辨率特征等。波段增加为丰富遥感影像的波段特征的技术手段，可选地，包括但不限于遥感影像的光谱角、欧式距离、比值距离等。
可以理解的是，还可以通过对遥感图像进行数据拓展，以增加样本数据量，可选方式包括但不限于旋转、水平翻转、垂直翻转、裁剪、色彩变换、增加随机噪音等。
作为本申请的一种可选方式，在图1实施例的基础上，步骤S102基于遥感影像的波段数和波段特征，对遥感影像进行波段增强，得到第一目标图像和第二目标图像，包括：基于遥感影像的波段数和波段特征，计算遥感影像的光谱角、欧式距离和比值距离；对光谱角、欧式距离和比值距离进行归一化，得到归一化后的光谱角、欧式距离和比值距离；将归一化后的光谱角、欧式距离和比值距离拉伸至预设区间，得到目标光谱角、目标欧式距离和目标比值距离；基于遥感影像的波段特征以及目标光谱角、目标欧式距离和目标比值距离，构建第一目标图像。
基于所述变化前、后遥感影像的波段数和波段特征，对所述遥感影像进行主成分分析，提取特征最明显的若干个波段构建第二目标图像。
在本实施例中，通过计算遥感影像的光谱角、欧式距离和比值距离，以丰富遥感影像的波段特征，一方面使模型训练时模型能够提取到更多的图像特征，提高模型精度，另一方面增加训练样本数量，降低样本采集难度。
示例性地，基于光谱角计算公式计算光谱角，计算公式为：
Figure DEST_PATH_IMAGE005
；其中α为光谱角，n b 为波段数，t i 为变化前影像的第i个波段，r i 为变化后影像的第i个波段。
基于欧式距离计算公式计算欧式距离，计算公式为：
Figure 58782DEST_PATH_IMAGE006
；其中d为欧式距离，n b 为波段数，t i 为变化前影像的第i个波段，r i 为变化后影像的第i个波段。
基于比值距离计算公式计算比值距离，计算公式为：
Figure 212552DEST_PATH_IMAGE007
；其中z为比值距离，n b 为波段数，t i 为变化前影像的第i个波段，r i 为变化后影像的第i个波段。
通过归一化，将光谱角、欧式距离和比值距离的取值，转换到0至1之间，再将归一化后的光谱角、欧式距离和比值距离拉伸至预设区间，预设区间可以是RGB图像所在的0至255区间。例如，光谱角经过归一化后取值为0.5，则拉伸到0至255区间时，光谱角取值为127.5。最后通过波段组合，形成第一目标图像。
基于所述变化前、后遥感影像的波段数和波段特征，对所述遥感影像进行主成分分析，提取特征最明显的三个波段，将各波段值拉伸至预设区间，预设区间可以是RGB图像所在的0至255区间，最后通过波段组合，形成第二目标图像。
步骤S103，基于第一目标图像，构建二分类训练集，基于第二目标图像构建多分类训练集。
在本实施例中，二分类训练集为用于训练图像二分类模型的训练集，该图像二分类模型用于图像变化检测；多分类训练集为用于训练图像多分类模型的训练集，该图像多分类模型用于图像地类分类。可以理解的是，根据分类类别的差异，对目标图像进行标注，最后形成不同标注类型的目标图像，以构建为对应的训练集。
作为本申请的一种可选方式，在图1实施例的基础上，步骤S103基于第一目标图像和第二目标图像，构建二分类训练集和多分类训练集，包括：设置第一目标图像的第一数据标签；将第一数据标签、第一目标图像作为二分类训练集；设置变化前第二目标图像的地类为第二数据标签，变化后第二目标图像的地类为第三数据标签；将第二数据标签、第三数据标签、变化前第二目标图像和变化后第二目标图像作为多分类训练集。
在本实施例中，基于同一图像库构建多个模型的训练集，以使多个模型共享训练样本；针对不同的训练集，对变化前后的目标图像设置不同数据标签，以完成多模型训练的样本标注，进而可以针对多个模型进行训练。
示例性地，对于二分类训练集，将第一目标图像中变化区域的值设为第一标签数据（例如1），则第一目标图像中非变化区域的值设为第一标签数据（例如0），以此作为二分类训练集的标签数据。对于多分类训练集，将变化前和变化后的第二目标图像分别对应的地类数据作为第二标签数据和第三标签数据，例如，变化前的第二目标图像为荒漠，变化后的第二目标图像为绿洲，则变化前的第二目标图像的标签数据为荒漠，变化后的第二目标图像的标签数据为绿洲。
步骤S104，基于二分类训练集和多分类训练集，对迁移后的预训练模型进行训练，直至预训练模型的损失函数达到预设收敛条件，得到图像二分类模型和图像多分类模型，图像二分类模型用于图像变化检测，图像多分类模型用于图像地类分类。
在本实施例中，预训练模型为通过预设数据集训练好的卷积神经网络模型，可选为VGG16模型。示例性地，VGG16卷积神经网络模型共有16层，包括13个卷积层和3个全连接层。该模型要求输入的图片大小为224×224×3，初始卷积核大小为3×3×3，步幅stride为1，有效填充padding大小为1，池化层pooling采用2×2的最大池化函数max pooling。模型卷积过程为，首先经过两次64个卷积核的卷积后，进行一次池化层pooling，完成后又经过两次128个卷积核卷积后，并采用一次池化层pooling，再经过三次256个卷积核的卷积后，采用一次池化层pooling，再重复两次三个512个卷积核卷积后，再进行一次pooling，最后经过2个包含4096个神经元的全连接层和1个包含1000个神经元的全连接层。
本实施例通过在ImageNet数据集上训练好的VGG16模型的结构及参数迁移到自定义类型的变化检测问题中，以通过该迁移方法可有效减少大量训练参数，从而有效利用先验参数实现更优的分类效果。
示例性地，对于图像二分类模型，利用上述二分类训练集对迁移后的VGG16模型进行训练，直至VGG16模型达到预设收敛条件。预设收敛条件为表示模型训练完成的条件，例如损失函数得到的损失值小于预设损失阈值，则表示收敛。可以通俗理解为，损失值越小表示该模型提取到的特征向量越准确，这样才能根据提取到的特征向量还原到最接近预先标注的数据标签。示例性地，将二分类训练集的第一目标图像和第一数据标签输入到VGG16模型中进行处理，得到该第一目标图像对应的预测数据标签；计算该预测数据标签与第一数据标签之间的损失值，当该损失值大于或等于预设损失阈值时，调整VGG16模型中的模型参数，并返回指向将二分类训练集的目标图像和第一数据标签输入到VGG16模型中进行处理，得到该第一目标图像对应的预测数据标签的步骤；当该损失值小于预设损失阈值时，表示VGG16模型训练完成，得到训练好的图像二分类模型。应理解，图像多分类模型的训练过程类似于图像二分类模型的训练过程，在此不再赘述。
可以理解的是，对于图像二分类模型的损失函数和图像多分类模型的损失函数，两者可以相同，也可以不同。
作为本申请的一种可选方式，在图1实施例的基础上，步骤S104基于二分类训练集和多分类训练集，对迁移后的预训练模型进行训练，直至预训练模型的损失函数达到预设收敛条件，得到图像二分类模型和图像多分类模型，包括：基于二分类训练集，对迁移后的预训练模型进行训练，直至预训练模型的第一损失函数达到第一预设收敛条件，得到图像二分类模型，第一损失函数为加权交叉熵损失函数；基于多分类训练集，对迁移后的预训练模型进行训练，直至预训练模型的第二损失函数达到第二预设收敛条件，得到图像多分类模型，第二损失函数为多类别交叉熵损失函数。
在本实施例中，针对二分类模型和多分类模型，分别采用不同的损失函数进行训练，以提高模型精度，避免采用相同损失函数对不同模型进行训练而导致模型过拟合或泛化。
可选地，加权交叉熵损失函数为：
Figure 780936DEST_PATH_IMAGE001
；
Figure 465995DEST_PATH_IMAGE002
；
Figure 755025DEST_PATH_IMAGE003
；
Figure 904247DEST_PATH_IMAGE004
；
其中P(Y=i|X)是预训练模型在数据标签i上的概率，i=1或0，|P|为正样本数量，|N |为负样本数量。
由于在样本不均衡的情况下，二分类模型训练时损失函数会偏向样本多的一方，造成训练时损失函数很小，但是实际应用时对较少数量的图像类别的识别精度不高。因此本实施例通过给较少数量的图像类别进行加权，形成加权交叉熵，并作为二分类模型的损失函数，提高模型精度。
可选地，多类别交叉熵损失函数为：
Figure 1123DEST_PATH_IMAGE008
；其中C代表类别数，pi为真实，qi为预测。
参见图2，图2示出了本申请实施例提供的一种图像分类方法的实现流程图。本申请实施例中下述的图像分类方法可应用于终端设备，终端设备包括但不限于智能手机、平板电脑、桌上型计算机、超级计算机、个人数字助理、物理服务器和云服务器等计算机设备。本申请实施例的图像分类方法，包括步骤S201至S205，详述如下：
步骤S201，获取目标区域在地类变化前和变化后的遥感影像；
步骤S202，对遥感影像进行波段增强，得到第一目标图像和第二目标图像；
步骤S203利用图像二分类模型对第一目标图像进行变化检测，得到第一目标图像的变化区域；
步骤S204，利用图像多分类模型对第二目标图像进行分类检测，得到第二目标图像的地类数据，图像二分类模型和图像多分类模型基于上述训练方法训练得到；
在上述步骤S201至S204中，为简洁描述，各步骤的具体解释请参见上述训练方法中步骤S101至S104的解释，在此不再赘述。
步骤S205，根据第一目标图像的变化区域和第二目标图像的地类数据，确定变化区域的地类。
在上述步骤S205中，以变化区域为掩膜分别提取变化前和变化后的分类图，便可得到变化区域在变化前后所属的土地类别。需要说明的是，本方法具备与训练方法相同的技术特征，具有相同的技术效果。
为了执行上述方法实施例对应的方法，以实现相应的功能和技术效果，下面提供一种图像分类模型的训练装置。参见图3，图3是本申请实施例提供的一种图像分类模型的训练装置的结构框图。本实施例中该装置包括的各模块用于执行图1对应的实施例中的各步骤，具体参见图1以及图1所对应的实施例中的相关描述。为了便于说明，仅示出了与本实施例相关的部分，本申请实施例提供的图像分类模型的训练装置，包括：
第一获取模块301，用于获取预设区域在变化前和变化后的遥感影像；
第一增强模块302，用于对遥感影像进行波段增强，得到第一目标图像和第二目标图像；
构建模块303，用于基于第一目标图像，构建二分类训练集，基于第二目标图像构建多分类训练集；
训练模块304，用于基于二分类训练集和多分类训练集，对迁移后的预训练模型进行训练，直至预训练模型的损失函数达到预设收敛条件，得到图像二分类模型和图像多分类模型，图像二分类模型用于图像变化检测，图像多分类模型用于图像地类分类。
进一步地，第一增强模块302，包括：
计算单元，用于基于遥感影像的波段数和波段特征，计算遥感影像的光谱角、欧式距离和比值距离；
归一化单元，用于对光谱角、欧式距离和/或比值距离进行归一化，得到归一化后的光谱角、欧式距离和比值距离；
拉伸单元，用于将归一化后的光谱角、欧式距离和比值距离拉伸至预设区间，得到目标光谱角、目标欧式距离和目标比值距离；
构建单元，用于基于遥感影像的波段特征以及目标光谱角、目标欧式距离和目标比值距离，构建第一目标图像；基于变化前、后遥感影像的波段数和波段特征，对遥感影像进行主成分分析，提取特征最明显的三个波段构建第二目标图像。
进一步地，构建模块303，包括：
设置单元，用于设置第一目标图像的第一数据标签；
第一作为单元，用于将将第一数据标签、第一目标图像作为二分类训练集；
第二作为单元，用于设置变化前第二目标图像的地类为第二数据标签，变化后第二目标图像的地类为第三数据标签；
第三作为单元，用于将第二数据标签、第三数据标签、变化前第二目标图像和变化后第二目标图像作为多分类训练集。
进一步地，训练模块304，包括：
第一训练单元，用于基于二分类训练集，对迁移后的预训练模型进行训练，直至预训练模型的第一损失函数达到第一预设收敛条件，得到图像二分类模型，第一损失函数为加权交叉熵损失函数；
第二训练单元，用于基于多分类训练集，对迁移后的预训练模型进行训练，直至预训练模型的第二损失函数达到第二预设收敛条件，得到图像多分类模型，第二损失函数为多类别交叉熵损失函数。
进一步地，加权交叉熵损失函数为：
Figure 173478DEST_PATH_IMAGE001
；
Figure 125253DEST_PATH_IMAGE002
；
Figure 269927DEST_PATH_IMAGE003
；
Figure 117797DEST_PATH_IMAGE004
；
其中P(Y=i|X)是预训练模型在数据标签i上的概率，i=1或0，|P|为正样本数量，|N |为负样本数量。
为了执行上述方法实施例对应的方法，以实现相应的功能和技术效果，下面提供一种图像分类装置。参见图4，图4是本申请实施例提供的一种图像分类装置的结构框图。本实施例中该装置包括的各模块用于执行图2对应的实施例中的各步骤，具体参见图2以及图2所对应的实施例中的相关描述。为了便于说明，仅示出了与本实施例相关的部分，本申请实施例提供的图像分类装置，包括：
第二获取模块401，用于获取目标区域在地类变化前和变化后的遥感影像；
第二增强模块402，用于对遥感影像进行波段增强，得到第一目标图像和第二目标图像；
变化检测模块403，用于利用图像二分类模型对第一目标图像进行变化检测，得到第一目标图像的变化区域；
分类检测模块404，用于利用图像多分类模型对目标图像进行分类检测，得到变化前、后第二目标图像的地类数据，图像二分类模型和图像多分类模型基于上述训练方法训练得到；
确定模块405，用于根据第一目标图像的变化区域和变化前、后第二目标图像的地类数据，确定变化区域的地类。
图5为本申请一实施例提供的终端设备的结构示意图。如图5所示，该实施例的终端设备5包括：至少一个处理器50（图5中仅示出一个）处理器、存储器51以及存储在所述存储器51中并可在所述至少一个处理器50上运行的计算机程序52，所述处理器50执行所述计算机程序52时实现上述任意方法实施例中的步骤。
所述终端设备5可以是智能手机、平板电脑、桌上型计算机、超级计算机、个人数字助理、物理服务器和云服务器等计算设备。该终端设备可包括但不仅限于处理器50、存储器51。本领域技术人员可以理解，图5仅仅是终端设备5的举例，并不构成对终端设备5的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。
所称处理器50可以是中央处理单元(Central Processing Unit，CPU)，该处理器50还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路 (Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器51在一些实施例中可以是所述终端设备5的内部存储单元，例如终端设备5的硬盘或内存。所述存储器51在另一些实施例中也可以是所述终端设备5的外部存储设备，例如所述终端设备5上配备的插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（Secure Digital, SD）卡，闪存卡（Flash Card）等。进一步地，所述存储器51还可以既包括所述终端设备5的内部存储单元也包括外部存储设备。所述存储器51用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器51还可以用于暂时地存储已经输出或者将要输出的数据。
另外，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述任意方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行时实现可实现上述各个方法实施例中的步骤。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (9)

1.一种图像分类模型的训练方法，其特征在于，包括：
获取预设区域在地类变化前和变化后的遥感影像；
基于所述遥感影像的波段数和波段特征，对所述遥感影像进行波段增强，得到第一目标图像和第二目标图像；
基于所述第一目标图像和第二目标图像，构建二分类训练集和多分类训练集；
基于所述二分类训练集和所述多分类训练集，对迁移后的预训练模型进行训练，直至所述预训练模型的损失函数达到预设收敛条件，得到图像二分类模型和图像多分类模型，所述图像二分类模型用于图像变化检测，所述图像多分类模型用于图像地类分类；
其中，所述基于所述遥感影像的波段数和波段特征，对所述遥感影像进行波段增强，得到第一目标图像和第二目标图像，包括：
基于所述遥感影像的波段数和波段特征，计算所述遥感影像的光谱角、欧式距离和比值距离；
对所述光谱角、所述欧式距离和所述比值距离进行归一化，得到归一化后的所述光谱角、所述欧式距离和所述比值距离；
将归一化后的所述光谱角、所述欧式距离和所述比值距离拉伸至预设区间，得到目标光谱角、目标欧式距离和目标比值距离；
基于所述遥感影像的波段特征以及所述目标光谱角、目标欧式距离和目标比值距离，构建所述第一目标图像；
基于所述遥感影像的波段数和波段特征，对所述遥感影像进行主成分分析，提取特征最明显的若干个波段构建所述第二目标图像；
基于所述第一目标图像和第二目标图像，构建二分类训练集和多分类训练集，包括：
对所述第一目标图像进行分类标注，构建所述二分类训练集；对所述第二目标图像进行分类标注，构建所述多分类训练集。
2.根据权利要求1所述的图像分类模型的训练方法，其特征在于，所述对所述第一目标图像进行分类标注，构建所述二分类训练集；对所述第二目标图像进行分类标注，构建所述多分类训练集，包括：
将所述第一目标图像的变化区域与非变化区域作为所述第一目标图像的第一数据标签；
将所述第一数据标签和所述第一目标图像作为所述二分类训练集；
设置变化前所述第二目标图像的地类为第二数据标签，以及变化后所述第二目标图像的地类为第三数据标签；
将所述第二数据标签、所述第三数据标签、变化前所述第二目标图像和变化后所述第二目标图像作为多分类训练集。
3.根据权利要求1所述的图像分类模型的训练方法，其特征在于，所述基于所述二分类训练集和所述多分类训练集，对迁移后的预训练模型进行训练，直至所述预训练模型的损失函数达到预设收敛条件，得到图像二分类模型和图像多分类模型，包括：
基于所述二分类训练集，对迁移后的预训练模型进行训练，直至所述预训练模型的第一损失函数达到第一预设收敛条件，得到所述图像二分类模型，所述第一损失函数为加权交叉熵损失函数；
基于所述多分类训练集，对迁移后的预训练模型进行训练，直至所述预训练模型的第二损失函数达到第二预设收敛条件，得到所述图像多分类模型，所述第二损失函数为多类别交叉熵损失函数。
4.根据权利要求3所述的图像分类模型的训练方法，其特征在于，所述加权交叉熵损失函数为：
Figure 729345DEST_PATH_IMAGE001
；
Figure 249188DEST_PATH_IMAGE002
；
Figure 63560DEST_PATH_IMAGE003
；
Figure 886022DEST_PATH_IMAGE004
；
其中P(Y=i|X)是预训练模型在数据标签i上的概率，i=1或0，|P|为正样本数量，|N|为负样本数量。
5.一种图像分类方法，其特征在于，包括：
获取目标区域在地类变化前和变化后的遥感影像；对所述遥感影像进行波段增强，得到第一目标图像和第二目标图像；
利用图像二分类模型对所述第一目标图像进行变化检测，得到所述第一目标图像的变化区域；
利用图像多分类模型对所述第二目标图像进行分类检测，得到所述第二目标图像的地类数据，所述图像二分类模型和所述图像多分类模型基于权利要求1的训练方法训练得到；
根据所述第一目标图像的所述变化区域和所述第二目标图像的所述地类数据，确定所述变化区域的地类。
6.一种图像分类模型的训练装置，其特征在于，包括：
第一获取模块，用于获取预设区域在地形变化前和变化后的遥感影像；
第一增强模块，用于对所述遥感影像进行波段增强，得到第一目标图像和第二目标图像；
构建模块，用于基于所述第一目标图像和第二目标图像，构建二分类训练集和多分类训练集；
训练模块，用于基于所述二分类训练集和所述多分类训练集，对迁移后的预训练模型进行训练，直至所述预训练模型的损失函数达到预设收敛条件，得到图像二分类模型和图像多分类模型，所述图像二分类模型用于图像变化检测，所述图像多分类模型用于图像地类分类；
其中所述第一增强模块，包括：
计算单元，用于基于所述遥感影像的波段数和波段特征，计算所述遥感影像的光谱角、欧式距离和比值距离；
归一化单元，用于对所述光谱角、所述欧式距离和所述比值距离进行归一化，得到归一化后的所述光谱角、所述欧式距离和所述比值距离；
拉伸单元，用于将归一化后的所述光谱角、所述欧式距离和所述比值距离拉伸至预设区间，得到目标光谱角、目标欧式距离和目标比值距离；
构建单元，用于基于所述遥感影像的波段特征以及所述目标光谱角、目标欧式距离和目标比值距离，构建所述第一目标图像；基于所述遥感影像的波段数和波段特征，对所述遥感影像进行主成分分析，提取特征最明显的若干个波段构建所述第二目标图像；
其中所述构建模块，具体用于：对所述第一目标图像进行分类标注，构建所述二分类训练集；对所述第二目标图像进行分类标注，构建所述多分类训练集。
7.一种图像分类装置，其特征在于，包括：
第二获取模块，用于获取目标区域在地类变化前和变化后的遥感影像；
第二增强模块，用于对所述遥感影像进行波段增强，得到第一目标图像和第二目标图像；
变化检测模块，用于利用图像二分类模型对所述第一目标图像进行变化检测，得到所述第一目标图像的变化区域；
分类检测模块，用于利用图像多分类模型对所述第二目标图像进行分类检测，得到所述第二目标图像的地类数据，所述图像二分类模型和所述图像多分类模型基于权利要求1的训练方法训练得到；
确定模块，用于根据所述第一目标图像的所述变化区域和所述第二目标图像的所述地类数据，确定所述变化区域的地类。
8.一种终端设备，其特征在于，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述终端设备执行如权利要求1至4中任一项所述的图像分类模型的训练方法，或权利要求5所述的图像分类方法。
9.一种计算机可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4中任一项所述的图像分类模型的训练方法，或权利要求5所述的图像分类方法。
CN202110203539.7A 2021-02-24 2021-02-24 图像分类模型的训练方法、图像分类方法及装置 Active CN112560826B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110203539.7A CN112560826B (zh) 2021-02-24 2021-02-24 图像分类模型的训练方法、图像分类方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110203539.7A CN112560826B (zh) 2021-02-24 2021-02-24 图像分类模型的训练方法、图像分类方法及装置

Publications (2)

Publication Number Publication Date
CN112560826A CN112560826A (zh) 2021-03-26
CN112560826B true CN112560826B (zh) 2021-05-25

Family

ID=75034622

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110203539.7A Active CN112560826B (zh) 2021-02-24 2021-02-24 图像分类模型的训练方法、图像分类方法及装置

Country Status (1)

Country Link
CN (1) CN112560826B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112861814A (zh) * 2021-03-29 2021-05-28 中信银行股份有限公司 遥感图像分类方法、装置、电子设备及可读存储介质
CN113128388B (zh) * 2021-04-14 2022-09-02 湖南大学 一种基于时空谱特征的光学遥感图像变化检测方法
CN113345538B (zh) * 2021-06-23 2022-09-30 北京理工大学重庆创新中心 一种基于动态选取训练集的材料性能预测方法
CN113657472B (zh) * 2021-08-02 2024-05-28 中国空间技术研究院 一种基于子空间学习的多源遥感数据融合方法
CN114782815A (zh) * 2022-04-26 2022-07-22 平安普惠企业管理有限公司 绿地自动化监管方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107145830A (zh) * 2017-04-07 2017-09-08 西安电子科技大学 基于空间信息增强和深度信念网络的高光谱图像分类方法
US20200117959A1 (en) * 2018-10-10 2020-04-16 Ordnance Survey Limited Object-based Convolutional Neural Network for Land Use Classification
CN111460966A (zh) * 2020-03-27 2020-07-28 中国地质大学（武汉） 基于度量学习和近邻增强的高光谱遥感图像分类方法
CN111523525A (zh) * 2020-07-02 2020-08-11 航天宏图信息技术股份有限公司 农作物分类识别方法、装置和电子设备
CN111881953A (zh) * 2020-07-14 2020-11-03 安徽大学 基于局部二值模式和knn分类器的遥感高光谱图像分类方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107145830A (zh) * 2017-04-07 2017-09-08 西安电子科技大学 基于空间信息增强和深度信念网络的高光谱图像分类方法
US20200117959A1 (en) * 2018-10-10 2020-04-16 Ordnance Survey Limited Object-based Convolutional Neural Network for Land Use Classification
CN111460966A (zh) * 2020-03-27 2020-07-28 中国地质大学（武汉） 基于度量学习和近邻增强的高光谱遥感图像分类方法
CN111523525A (zh) * 2020-07-02 2020-08-11 航天宏图信息技术股份有限公司 农作物分类识别方法、装置和电子设备
CN111881953A (zh) * 2020-07-14 2020-11-03 安徽大学 基于局部二值模式和knn分类器的遥感高光谱图像分类方法

Also Published As

Publication number Publication date
CN112560826A (zh) 2021-03-26

Similar Documents

Publication Publication Date Title
Su et al. Ensemble learning for hyperspectral image classification using tangent collaborative representation
CN112560826B (zh) 图像分类模型的训练方法、图像分类方法及装置
Cao et al. Hyperspectral image classification with Markov random fields and a convolutional neural network
Deng et al. Active transfer learning network: A unified deep joint spectral–spatial feature learning model for hyperspectral image classification
Dong et al. Weighted feature fusion of convolutional neural network and graph attention network for hyperspectral image classification
Zhou et al. Polarimetric SAR image classification using deep convolutional neural networks
Zalpour et al. A new approach for oil tank detection using deep learning features with control false alarm rate in high-resolution satellite imagery
Sameen et al. Classification of very high resolution aerial photos using spectral‐spatial convolutional neural networks
Maggiori et al. Convolutional neural networks for large-scale remote-sensing image classification
Zou et al. Ship detection in spaceborne optical image with SVD networks
Li et al. A positive and unlabeled learning algorithm for one-class classification of remote-sensing data
Qi et al. Feature selection and multiple kernel boosting framework based on PSO with mutation mechanism for hyperspectral classification
Seyedhosseini et al. Image segmentation with cascaded hierarchical models and logistic disjunctive normal networks
Li et al. Structure-aware collaborative representation for hyperspectral image classification
Li et al. Deep multiple instance convolutional neural networks for learning robust scene representations
Liu et al. Multi-view self-constructing graph convolutional networks with adaptive class weighting loss for semantic segmentation
Zhang et al. Road recognition from remote sensing imagery using incremental learning
Vatsavai et al. Machine learning approaches for high-resolution urban land cover classification: a comparative study
Feng et al. Bag of visual words model with deep spatial features for geographical scene classification
Xia et al. Weakly supervised multimodal kernel for categorizing aerial photographs
Yang et al. Local label descriptor for example based semantic image labeling
Tun et al. Remote sensing data classification using a hybrid pre-trained VGG16 CNN-SVM classifier
Liu et al. An ensemble of classifiers based on positive and unlabeled data in one-class remote sensing classification
Liu et al. Deep fuzzy graph convolutional networks for PolSAR imagery pixelwise classification
Bai et al. Multimodal information fusion for weather systems and clouds identification from satellite images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant