CN114419398A - 基于单时相图像的灾情评估方法及装置 - Google Patents

基于单时相图像的灾情评估方法及装置 Download PDF

Info

Publication number
CN114419398A
CN114419398A CN202210093367.7A CN202210093367A CN114419398A CN 114419398 A CN114419398 A CN 114419398A CN 202210093367 A CN202210093367 A CN 202210093367A CN 114419398 A CN114419398 A CN 114419398A
Authority
CN
China
Prior art keywords
model
image
disaster
training
initial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210093367.7A
Other languages
English (en)
Inventor
王贺
高园
颜世杰
窦琴立
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN202210093367.7A priority Critical patent/CN114419398A/zh
Publication of CN114419398A publication Critical patent/CN114419398A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

一种基于单时相图像的灾情评估方法及装置，可用于灾情评估领域或其他领域。方法包括：对未标注历史灾后图像进行两次图像增强处理，生成第一及第二增强图像；将第一及第二增强图像输入至预设的初始评估模型中进行模型训练，得到第一训练模型；将已标注历史灾后图像输入至第一训练模型，将其输出结果输入至预设的初始全连接模型中进行处理，根据其输出结果对模型进行更新，得到灾情评估模型及训练后的全连接模型；将实际灾后图像输入至所述灾情评估模型，将灾情评估模型输出的结果输入至训练后的全连接模型中进行处理，得到灾情评估结果。本发明减少对有标注图像的依赖，有效提取图像信息，具有很好的实时性，及时掌握复杂灾情情况，优化救援资源。

Description

基于单时相图像的灾情评估方法及装置
技术领域
本发明涉及灾情评估技术领域，尤指一种基于单时相图像的灾情评估方法及装置。
背景技术
洪灾、山火、地震之类的自然灾害，总是威胁着人们的生命财产安全。现有的地面监测体系，覆盖率和便捷度不足，无法满足更精细化的监控需求。目前常采用基于无人机图像的监督学习算法处理灾情卫星图像，比如通过训练需要大量有标注灾后图像，得到具有较好特征提取能力的神经网络。但实际上，对灾后图像的标注是十分耗费精力的，另一方面，不同季节不同地域发生灾情后的状况也有所不同，如果要对每种气候地区都准备这样一套数据集，未免有点不切实际。
传统的灾情评估模型多采用自监督学习模型，需要大量的标注数据才能获得较好的效果。但人工标签相对数据来说本身是稀疏的，蕴含的信息不如数据内容丰富，并且人工标注需要巨大工作量。因此，存在对数据集的准备提出了很高的要求，实际上很难收集大量的带标签图像，也存在难以收集每个区域的灾前卫星图像等问题。
发明内容
针对现有技术中存在的问题，本发明实施例的主要目的在于提供一种基于单时相图像的灾情评估方法及装置，提高灾情评估的效率和准确率。
为了实现上述目的，本发明实施例提供一种基于单时相图像的灾情评估方法，所述方法包括：
获取未标注历史灾后图像及已标注历史灾后图像，对所述未标注历史灾后图像进行两次图像增强处理，分别生成第一增强图像及第二增强图像；
将所述第一增强图像及第二增强图像输入至预设的初始评估模型中进行模型训练，得到第一训练模型；
将所述已标注历史灾后图像输入至所述第一训练模型，并将所述第一训练模型的输出结果输入至预设的初始全连接模型中进行处理，根据所述初始全连接模型的输出结果对所述第一训练模型及初始全连接模型进行更新，得到灾情评估模型及训练后的全连接模型；
将获取的实际灾后图像输入至所述灾情评估模型，并将所述灾情评估模型输出的结果输入至训练后的全连接模型中进行处理，得到灾情评估结果。
可选的，在本发明一实施例中，所述对所述未标注历史灾后图像进行两次图像增强处理，分别生成第一增强图像及第二增强图像包括：
从预设的多个图像增强方式中，随机选取两个图像增强方式对所述未标注历史灾后图像进行图像增强处理，分别生成第一增强图像及第二增强图像；其中，所述图像增强方式包括颜色扰动处理、高斯模糊处理、随机剪裁处理、缩放处理、对比度变换处理及翻转平移处理。
可选的，在本发明一实施例中，所述初始评估模型包括初始特征模型及分类模型。
可选的，在本发明一实施例中，所述将所述第一增强图像及第二增强图像输入至预设的初始特征模型中进行模型训练，得到第一训练模型包括：
将所述第一增强图像及第二增强图像输入至初始特征模型中进行处理，得到所述第一增强图像对应的第一特征向量，以及所述第二增强图像对应的第二特征向量；
将所述第一特征向量及第二特征向量输入至分类模型中进行处理，得到所述第一特征向量对应的第一结果向量，以及所述第二特征向量对应的第二结果向量；
根据所述第一结果向量、第二结果向量及预设的第一损失函数，对所述初始特征模型进行更新，得到特征提取模型，并将所述特征提取模型作为第一训练模型。
可选的，在本发明一实施例中，所述根据所述第一结果向量、第二结果向量及预设的第一损失函数，对所述初始特征模型进行更新，得到特征提取模型包括：
将所述第一结果向量及所述第二结果向量输入至所述第一损失函数进行计算，得到图像相似性及相似概率；
根据所述图像相似性及相似概率，得到图像损耗值，并将最小化图像损耗值作为约束条件，对所述初始特征模型进行更新，得到特征提取模型。
可选的，在本发明一实施例中，所述根据所述初始全连接模型的输出结果对所述第一训练模型及初始全连接模型进行更新，得到灾情评估模型及训练后的全连接模型包括：
根据所述初始全连接模型的输出结果、已标注历史灾后图像中的标签以及预设的第二损失函数，对所述第一训练模型及初始全连接模型进行更新，得到灾情评估模型及训练后的全连接模型。
本发明实施例还提供一种基于单时相图像的灾情评估装置，所述装置包括：
图像增强模块，用于获取未标注历史灾后图像及已标注历史灾后图像，对所述未标注历史灾后图像进行两次图像增强处理，分别生成第一增强图像及第二增强图像；
第一模型训练模块，用于将所述第一增强图像及第二增强图像输入至预设的初始评估模型中进行模型训练，得到第一训练模型；
第二模型训练模块，用于将所述已标注历史灾后图像输入至所述第一训练模型，并将所述第一训练模型的输出结果输入至预设的初始全连接模型中进行处理，根据所述初始全连接模型的输出结果对所述第一训练模型及初始全连接模型进行更新，得到灾情评估模型及训练后的全连接模型；
评估结果模块，用于将获取的实际灾后图像输入至所述灾情评估模型，并将所述灾情评估模型输出的结果输入至训练后的全连接模型中进行处理，得到灾情评估结果。
可选的，在本发明一实施例中，所述图像增强模块还用于从预设的多个图像增强方式中，随机选取两个图像增强方式对所述未标注历史灾后图像进行图像增强处理，分别生成第一增强图像及第二增强图像；其中，所述图像增强方式包括颜色扰动处理、高斯模糊处理、随机剪裁处理、缩放处理、对比度变换处理及翻转平移处理。
可选的，在本发明一实施例中，所述初始评估模型包括初始特征模型及分类模型。
可选的，在本发明一实施例中，所述第一模型训练模块包括：
特征向量单元，用于将所述第一增强图像及第二增强图像输入至初始特征模型中进行处理，得到所述第一增强图像对应的第一特征向量，以及所述第二增强图像对应的第二特征向量；
结果向量单元，用于将所述第一特征向量及第二特征向量输入至分类模型中进行处理，得到所述第一特征向量对应的第一结果向量，以及所述第二特征向量对应的第二结果向量；
特征提取模型单元，用于根据所述第一结果向量、第二结果向量及预设的第一损失函数，对所述初始特征模型进行更新，得到特征提取模型，并将所述特征提取模型作为第一训练模型。
可选的，在本发明一实施例中，所述特征提取模型单元包括：
相似性子单元，用于将所述第一结果向量及所述第二结果向量输入至所述第一损失函数进行计算，得到图像相似性及相似概率；
模型更新子单元，用于根据所述图像相似性及相似概率，得到图像损耗值，并将最小化图像损耗值作为约束条件，对所述初始特征模型进行更新，得到特征提取模型。
可选的，在本发明一实施例中，所述第二模型训练模块还用于根据所述初始全连接模型的输出结果、已标注历史灾后图像中的标签以及预设的第二损失函数，对所述第一训练模型及初始全连接模型进行更新，得到灾情评估模型及训练后的全连接模型。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述方法的计算机程序。
本发明通过采用自监督学习方式，训练出具有实际应用价值的灾情评估模型，减少对有标注图像的依赖，有效的提取图像信息，具有很好的实时性，及时掌握复杂灾情的情况，优化救援资源。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例一种基于单时相图像的灾情评估方法的流程图；
图2为本发明实施例中模型训练的流程图；
图3为本发明实施例中模型更新的流程图；
图4为本发明实施例中无监督学习模型训练的示意图；
图5为本发明实施例中有监督学习模型微调的示意图；
图6为本发明实施例中模型应用过程的示意图；
图7为本发明实施例一种基于单时相图像的灾情评估装置的结构示意图；
图8为本发明实施例中第一模型训练模块的结构示意图；
图9为本发明实施例中特征提取模型单元的结构示意图；
图10为本发明一实施例所提供的电子设备的结构示意图。
具体实施方式
本发明实施例提供一种基于单时相图像的灾情评估方法及装置，可用于金融领域及其他领域，需要说明的是，本发明的基于单时相图像的灾情评估方法及装置可用于金融领域，也可用于除金融领域之外的任意领域，本发明的基于单时相图像的灾情评估方法及装置应用领域不做限定。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
灾情的灾后评估是指对于突发的自然灾害，需要相关救援人员尽量减少反应时间，迅速响应、采取行动，尽可能减少损失和挽救生命。因此，必须及时掌握受灾位置和受灾程度，优化救援资源。
在计算机视觉(CV)领域，目前的方法主要依赖大量的标注样本来学习丰富的视觉表征，从而在各项CV任务中取得较好的表现。然而在许多情况下，大规模的人工标注并不容易获得。因此，希望可以利用无监督方法去学习那些不带标注的样本。其中，目前比较流行的自监督学习算法是对比学习，对比学习将一幅图像通过数据增强转换为多个视图，并最小化来自同一图像的视图之间的距离并最大化来自不同图像的视图之间的距离。
如图1所示为本发明实施例一种基于单时相图像的灾情评估方法的流程图，本发明实施例提供的基于单时相图像的灾情评估方法的执行主体包括但不限于计算机。本发明通过采用自监督学习方式，训练出具有实际应用价值的灾情评估模型，减少对有标注图像的依赖，有效的提取图像信息，具有很好的实时性，及时掌握复杂灾情的情况，优化救援资源。图中所示方法包括：
步骤S1，获取未标注历史灾后图像及已标注历史灾后图像，对未标注历史灾后图像进行两次图像增强处理，分别生成第一增强图像及第二增强图像。
其中，本发明中的单时相图像指仅利用受灾后的图像，多时相图像指的是同时利用受灾前的图像和受灾后的图像。使用遥感技术，通过无人机或卫星获取高分辨率的灾后图像，由此可以获得大量的未标注历史灾后图像及少量的已标注历史灾后图像，具体的，已标注历史灾后图像可以通过人为等标注方式得到。
作为本发明的一个实施例，对未标注历史灾后图像进行两次图像增强处理，分别生成第一增强图像及第二增强图像包括：从预设的多种图像增强处理方式中，随机选取两个，对历史灾后图像进行图像增强处理。每一个图像增强处理后，均可以得到一个增强图像，具体为第一增强图像及第二增强图像。具体的，图像增强处理方式包括颜色扰动处理、高斯模糊处理、随机剪裁处理、缩放处理、对比度变换处理及翻转平移处理等。
步骤S2，将第一增强图像及第二增强图像输入至预设的初始评估模型中进行模型训练，得到第一训练模型。
其中，将第一增强图像及第二增强图像输入至预设的初始评估模型中进行模型训练，具体的，预设的初始评估模型包括初始特征模型及分类模型。初始特征模型可以为特征提取网络，分类模型可以为分类网络，均属于神经网络模型。
进一步的，采用自监督方式，利用第一增强图像及第二增强图像对初始评估模型进行训练，得到第一训练模型。具体的，自监督属于无监督学习的变种，利用数据本身来提供监督信号，再使用少量有标签数据微调。本发明采用自监督，即借鉴对比学习算法的思想，根据原始图像生成多个样本，从而为训练过程提供监督信号。此外，有监督方式是使用有标签的数据训练；无监督方式是用无标签的数据进行训练；半监督方式是同时用有标签和无标签的数据训练。
进一步的，训练后的初始评估模型中包括训练好的初始特征模型，即特征提取模型，将特征提取模型作为第一训练模型。
步骤S3，将已标注历史灾后图像输入至第一训练模型，并将第一训练模型的输出结果输入至预设的初始全连接模型中进行处理，根据初始全连接模型的输出结果对第一训练模型及初始全连接模型进行更新，得到灾情评估模型及训练后的全连接模型。
其中，将已标注历史灾后图像输入至第一训练模型中进行处理，得到的输出结果输入至预设的初始全连接模型。具体的，初始全连接模型可以为神经网络中的全连接层。
进一步的，利用初始全连接模型的输出结果对第一训练模型及初始全连接模型进行更新，具体的，可以采用CrossEntropyLoss交叉熵作为损失函数，对第一训练模型及初始全连接模型的权重参数进行优化更新，得到训练后的全连接模型以及灾情评估模型。
步骤S4，将获取的实际灾后图像输入至灾情评估模型，并将灾情评估模型输出的结果输入至训练后的全连接模型中进行处理，得到灾情评估结果。
其中，利用遥感技术，采用无人机或卫星采集实际灾后图像，输入至灾情评估模型，并将得到结果输入至训练后的全连接模型中进行处理，得到灾情评估结果。
具体的，如图6所示，以暴雨洪灾为例，可以量化成5个受灾程度等级(轻微、轻中度、中度、中重度、重度)，因此可以视为一种多分类场景，灾情评估模型与训练后的全连接模型便可在此场景下使用。模型训练过程中最后输出的是五维向量，对应五个受灾程度的概率，其中最大的一维代表最终预测的受灾程度。由此，可以实时预测从前线发来的照片，保证准确率的同时具有很好的实时性，为工作人员提供资源配置的依据，比如：向有受困人员的中重度和重度灾区派分更多救灾人员，轻微灾区且无人受困的地区仅派分1-2位人员视察情况即可。
作为本发明的一个实施例，初始评估模型包括初始特征模型及分类模型。
在本实施例中，通过采用神经网络模型预测可以大大提高效率和准确率，本发明提出的模型训练分为两个阶段：首先，用大量无标注的图像，借鉴对比学习算法，采用“NT-Xent损耗”作为损失函数训练网络参数；然后使用少量有标注的图像进行微调，使用交叉熵作为损失函数进一步优化网络。不但可以减少对有标注图像的依赖，还能有效的提取图像信息，并提高实时性。
在本实施例中，如图2所示，将第一增强图像及第二增强图像输入至预设的初始特征模型中进行模型训练，得到第一训练模型包括：
步骤S21，将第一增强图像及第二增强图像输入至初始特征模型中进行处理，得到第一增强图像对应的第一特征向量，以及第二增强图像对应的第二特征向量；
步骤S22，将第一特征向量及第二特征向量输入至分类模型中进行处理，得到第一特征向量对应的第一结果向量，以及第二特征向量对应的第二结果向量；
步骤S23，根据第一结果向量、第二结果向量及预设的第一损失函数，对初始特征模型进行更新，得到特征提取模型，并将特征提取模型作为第一训练模型。
其中，如图4所示，对输入的历史灾后图像进行两次随机图像增强，即由一幅图像得到两个随机处理后的图像，分别输入到特征提取网络与分类网络，计算NT-Xent损失并更新梯度。这是借鉴对比学习Contrastive Learning的思想，仅利用原始图像生成两个不同的增强图像，并最大化这两个视图之间的距离，为训练提供监督信号。这种方式下，即使基于大量的无标签图像，特征提取网络也可以有效提取图像信息，属于自监督训练过程。
具体的，基于原始图像进行增强：采用多种增强方式的随机混合，包括颜色扰动、高斯模糊、随机裁剪、缩放、对比度变换、翻转平移。本模型中，每个图像x都生成两个不同的增强图像xi和xj，即第一增强图像及第二增强图像，称作正样本和负样本，其中的“正负”是相对概念，不是绝对的。
特征提取层，即初始特征模型，基于ResNet-50网络结构，去掉池化层及全连接层，特征提取层输入是224*224*3的图像xi和xj，输出的是2048维的向量hi和hj，即第一特征向量及第二特征向量。
分类层，即分类模型，依次经过全连接1(2层，节点数分别为2048和512)、批次标准化(对数据做批规范化，是的数据满足均值0方差1的正态分布，主要作用是环境训练中的梯度消失/爆炸显子昂，加快模型的训练速度)、relu激活、全连接2(2层，节点数分别为512和5)，最终输出的是3维的向量zi和zj，即第一结果向量及第二结果向量。
在本实施例中，如图3所示，根据所述第一结果向量、第二结果向量及预设的第一损失函数，对所述初始特征模型进行更新，得到特征提取模型包括：
步骤S31，将第一结果向量及所述第二结果向量输入至第一损失函数进行计算，得到图像相似性及相似概率；
步骤S32，根据图像相似性及相似概率，得到图像损耗值，并将最小化图像损耗值作为约束条件，对初始特征模型进行更新，得到特征提取模型。
其中，第一损失函数采用“NT-Xent损耗”(归一化温度-尺度交叉熵损耗)。具体模型更新过程为：①首先定义两个图像之间的相似性：
Figure BDA0003489948300000081
其中τ是可调温参数，范围[-1,1],||zi||是向量的范数。②使用softmax函数来获得两个图像之间相似的概率，再取对数的负值来表示损耗，即
Figure BDA0003489948300000091
其中N为训练时时每批次输入的图像个数。③最后计算一个批次中，每两个图像之间损耗的平均值，即
Figure BDA0003489948300000092
训练过程中将最小化此损耗值。基于这种损失，特征提取网络和分类网络会随着时间的推移而改进，最终会将相似的图像放在空间中更相近的位置，为训练提供了监督信号。训练后得到的特征提取模型，作为第一训练模型，由此完成模型训练的第一阶段。
作为本发明的一个实施例，根据初始全连接模型的输出结果对所述第一训练模型及初始全连接模型进行更新，得到灾情评估模型及训练后的全连接模型包括：根据初始全连接模型的输出结果、已标注历史灾后图像中的标签以及预设的第二损失函数，对所述第一训练模型及初始全连接模型进行更新，得到灾情评估模型及训练后的全连接模型。
其中，如图5所示进行模型训练的第二阶段，加载第一阶段的特征提取层(即第一训练模型)训练参数，之后由一个全连接层(即初始全连接模型)得到分类输出，用少量带标签样本进行有监督学习(只训练此全连接层)。这一阶段损失函数为交叉熵损失函数。
具体的，原始图像带标签信息：原始图像x具有已经标注的标签y；特征提取层采用第一阶段训练好的参数；全连接层采用三层全连接网络(点数分别为2048、128、5)，全连接层输出的是三维向量，其中最大维就是模型预测标签，记为y1；第二损失函数采用CrossEntropyLoss交叉熵。
本发明解决了地面监测体系受限于覆盖率与便捷度，无法满足更精细化的监控需求的问题，使用遥感技术，通过无人机获取高分辨率的实时图像，结合对比学习算法，训练出具有实际应用价值的灾情评估模型，可以及时掌握复杂灾情的位置和程度，优化救援资源。
本发明采用自监督学习，采用大量无标注的图像，借鉴对比学习思想为训练过程提供监督信号，结合使用少量有标注的图像进行微调，由此得到的模型不但可以减少对有标注图像的依赖，还能有效的提取图像信息，具有很好的实时性。
如图7所示为本发明实施例一种基于单时相图像的灾情评估装置的结构示意图，图中所示装置包括：
图像增强模块10，用于获取未标注历史灾后图像及已标注历史灾后图像，对所述未标注历史灾后图像进行两次图像增强处理，分别生成第一增强图像及第二增强图像。
其中，单时相图像指仅利用受灾后的图像，多时相图像指的是同时利用受灾前的图像和受灾后的图像。使用遥感技术，通过无人机或卫星获取高分辨率的灾后图像，由此可以获得大量的未标注历史灾后图像及少量的已标注历史灾后图像，具体的，已标注历史灾后图像可以通过人为等标注方式得到。
进一步的，从预设的多种图像增强处理方式中，随机选取两个，对历史灾后图像进行图像增强处理。每一个图像增强处理后，均可以得到一个增强图像，具体为第一增强图像及第二增强图像。具体的，图像增强处理方式包括颜色扰动处理、高斯模糊处理、随机剪裁处理、缩放处理、对比度变换处理及翻转平移处理等。
第一模型训练模块20，用于将第一增强图像及第二增强图像输入至预设的初始评估模型中进行模型训练，得到第一训练模型。
其中，将第一增强图像及第二增强图像输入至预设的初始评估模型中进行模型训练，具体的，预设的初始评估模型包括初始特征模型及分类模型。初始特征模型可以为特征提取网络，分类模型可以为分类网络，均属于神经网络模型。
进一步的，采用自监督方式，利用第一增强图像及第二增强图像对初始评估模型进行训练，得到第一训练模型。具体的，自监督属于无监督学习的变种，利用数据本身来提供监督信号，再使用少量有标签数据微调。本发明采用自监督，即借鉴对比学习算法的思想，根据原始图像生成多个样本，从而为训练过程提供监督信号。此外，有监督方式是使用有标签的数据训练；无监督方式是用无标签的数据进行训练；半监督方式是同时用有标签和无标签的数据训练。
进一步的，训练后的初始评估模型中包括训练好的初始特征模型，即特征提取模型，将特征提取模型作为第一训练模型。
第二模型训练模块30，用于将已标注历史灾后图像输入至所述第一训练模型，并将第一训练模型的输出结果输入至预设的初始全连接模型中进行处理，根据初始全连接模型的输出结果对第一训练模型及初始全连接模型进行更新，得到灾情评估模型及训练后的全连接模型。
其中，将已标注历史灾后图像输入至第一训练模型中进行处理，得到的输出结果输入至预设的初始全连接模型。具体的，初始全连接模型可以为神经网络中的全连接层。
进一步的，利用初始全连接模型的输出结果对第一训练模型及初始全连接模型进行更新，具体的，可以采用CrossEntropyLoss交叉熵作为损失函数，对第一训练模型及初始全连接模型的权重参数进行优化更新，得到训练后的全连接模型以及灾情评估模型。
评估结果模块40，用于将获取的实际灾后图像输入至所述灾情评估模型，并将灾情评估模型输出的结果输入至训练后的全连接模型中进行处理，得到灾情评估结果。
其中，利用遥感技术，采用无人机或卫星采集实际灾后图像，输入至灾情评估模型，并将得到结果输入至训练后的全连接模型中进行处理，得到灾情评估结果。
作为本发明的一个实施例，图像增强模块还用于从预设的多个图像增强方式中，随机选取两个图像增强方式对未标注历史灾后图像进行图像增强处理，分别生成第一增强图像及第二增强图像；其中，图像增强方式包括颜色扰动处理、高斯模糊处理、随机剪裁处理、缩放处理、对比度变换处理及翻转平移处理。
作为本发明的一个实施例，初始评估模型包括初始特征模型及分类模型。
在本实施例中，如图8所示，第一模型训练模块20包括：
特征向量单元21，用于将第一增强图像及第二增强图像输入至初始特征模型中进行处理，得到第一增强图像对应的第一特征向量，以及第二增强图像对应的第二特征向量；
结果向量单元22，用于将第一特征向量及第二特征向量输入至分类模型中进行处理，得到第一特征向量对应的第一结果向量，以及第二特征向量对应的第二结果向量；
特征提取模型单元23，用于根据第一结果向量、第二结果向量及预设的第一损失函数，对所述初始特征模型进行更新，得到特征提取模型，并将所述特征提取模型作为第一训练模型。
在本实施例中，如图9所示，特征提取模型单元23包括：
相似性子单元231，用于将第一结果向量及第二结果向量输入至第一损失函数进行计算，得到图像相似性及相似概率；
模型更新子单元232，用于根据图像相似性及相似概率，得到图像损耗值，并将最小化图像损耗值作为约束条件，对初始特征模型进行更新，得到特征提取模型。
作为本发明的一个实施例，第二模型训练模块还用于根据初始全连接模型的输出结果、已标注历史灾后图像中的标签以及预设的第二损失函数，对第一训练模型及初始全连接模型进行更新，得到灾情评估模型及训练后的全连接模型。
基于与上述一种基于单时相图像的灾情评估方法相同的申请构思，本发明还提供了上述一种基于单时相图像的灾情评估装置。由于该一种基于单时相图像的灾情评估装置解决问题的原理与一种基于单时相图像的灾情评估方法相似，因此该一种基于单时相图像的灾情评估装置的实施可以参见一种基于单时相图像的灾情评估方法的实施，重复之处不再赘述。
本发明通过采用自监督学习方式，训练出具有实际应用价值的灾情评估模型，减少对有标注图像的依赖，有效的提取图像信息，具有很好的实时性，及时掌握复杂灾情的情况，优化救援资源。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述方法的计算机程序。
如图10所示，该电子设备600还可以包括：通信模块110、输入单元120、音频处理单元130、显示器160、电源170。值得注意的是，电子设备600也并不是必须要包括图10中所示的所有部件；此外，电子设备600还可以包括图10中没有示出的部件，可以参考现有技术。
如图10所示，中央处理器100有时也称为控制器或操作控件，可以包括微处理器或其他处理器装置和/或逻辑装置，该中央处理器100接收输入并控制电子设备600的各个部件的操作。
其中，存储器140，例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。可储存上述与失败有关的信息，此外还可存储执行有关信息的程序。并且中央处理器100可执行该存储器140存储的该程序，以实现信息存储或处理等。
输入单元120向中央处理器100提供输入。该输入单元120例如为按键或触摸输入装置。电源170用于向电子设备600提供电力。显示器160用于进行图像和文字等显示对象的显示。该显示器例如可为LCD显示器，但并不限于此。
该存储器140可以是固态存储器，例如，只读存储器(ROM)、随机存取存储器(RAM)、SIM卡等。还可以是这样的存储器，其即使在断电时也保存信息，可被选择性地擦除且设有更多数据，该存储器的示例有时被称为EPROM等。存储器140还可以是某种其它类型的装置。存储器140包括缓冲存储器141(有时被称为缓冲器)。存储器140可以包括应用/功能存储部142，该应用/功能存储部142用于存储应用程序和功能程序或用于通过中央处理器100执行电子设备600的操作的流程。
存储器140还可以包括数据存储部143，该数据存储部143用于存储数据，例如联系人、数字数据、图片、声音和/或任何其他由电子设备使用的数据。存储器140的驱动程序存储部144可以包括电子设备的用于通信功能和/或用于执行电子设备的其他功能(如消息传送应用、通讯录应用等)的各种驱动程序。
通信模块110即为经由天线111发送和接收信号的发送机/接收机110。通信模块(发送机/接收机)110耦合到中央处理器100，以提供输入信号和接收输出信号，这可以和常规移动通信终端的情况相同。
基于不同的通信技术，在同一电子设备中，可以设置有多个通信模块110，如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通信模块(发送机/接收机)110还经由音频处理器130耦合到扬声器131和麦克风132，以经由扬声器131提供音频输出，并接收来自麦克风132的音频输入，从而实现通常的电信功能。音频处理器130可以包括任何合适的缓冲器、解码器、放大器等。另外，音频处理器130还耦合到中央处理器100，从而使得可以通过麦克风132能够在本机上录音，且使得可以通过扬声器131来播放本机上存储的声音。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于单时相图像的灾情评估方法，其特征在于，所述方法包括：
获取未标注历史灾后图像及已标注历史灾后图像，对所述未标注历史灾后图像进行两次图像增强处理，分别生成第一增强图像及第二增强图像；
将所述第一增强图像及第二增强图像输入至预设的初始评估模型中进行模型训练，得到第一训练模型；
将所述已标注历史灾后图像输入至所述第一训练模型，并将所述第一训练模型的输出结果输入至预设的初始全连接模型中进行处理，根据所述初始全连接模型的输出结果对所述第一训练模型及初始全连接模型进行更新，得到灾情评估模型及训练后的全连接模型；
将获取的实际灾后图像输入至所述灾情评估模型，并将所述灾情评估模型输出的结果输入至训练后的全连接模型中进行处理，得到灾情评估结果。
2.根据权利要求1所述的方法，其特征在于，所述对所述未标注历史灾后图像进行两次图像增强处理，分别生成第一增强图像及第二增强图像包括：
从预设的多个图像增强方式中，随机选取两个图像增强方式对所述未标注历史灾后图像进行图像增强处理，分别生成第一增强图像及第二增强图像；其中，所述图像增强方式包括颜色扰动处理、高斯模糊处理、随机剪裁处理、缩放处理、对比度变换处理及翻转平移处理。
3.根据权利要求1所述的方法，其特征在于，所述初始评估模型包括初始特征模型及分类模型。
4.根据权利要求3所述的方法，其特征在于，所述将所述第一增强图像及第二增强图像输入至预设的初始特征模型中进行模型训练，得到第一训练模型包括：
将所述第一增强图像及第二增强图像输入至初始特征模型中进行处理，得到所述第一增强图像对应的第一特征向量，以及所述第二增强图像对应的第二特征向量；
将所述第一特征向量及第二特征向量输入至分类模型中进行处理，得到所述第一特征向量对应的第一结果向量，以及所述第二特征向量对应的第二结果向量；
根据所述第一结果向量、第二结果向量及预设的第一损失函数，对所述初始特征模型进行更新，得到特征提取模型，并将所述特征提取模型作为第一训练模型。
5.根据权利要求4所述的方法，其特征在于，所述根据所述第一结果向量、第二结果向量及预设的第一损失函数，对所述初始特征模型进行更新，得到特征提取模型包括：
将所述第一结果向量及所述第二结果向量输入至所述第一损失函数进行计算，得到图像相似性及相似概率；
根据所述图像相似性及相似概率，得到图像损耗值，并将最小化图像损耗值作为约束条件，对所述初始特征模型进行更新，得到特征提取模型。
6.根据权利要求1所述的方法，其特征在于，所述根据所述初始全连接模型的输出结果对所述第一训练模型及初始全连接模型进行更新，得到灾情评估模型及训练后的全连接模型包括：
根据所述初始全连接模型的输出结果、已标注历史灾后图像中的标签以及预设的第二损失函数，对所述第一训练模型及初始全连接模型进行更新，得到灾情评估模型及训练后的全连接模型。
7.一种基于单时相图像的灾情评估装置，其特征在于，所述装置包括：
图像增强模块，用于获取未标注历史灾后图像及已标注历史灾后图像，对所述未标注历史灾后图像进行两次图像增强处理，分别生成第一增强图像及第二增强图像；
第一模型训练模块，用于将所述第一增强图像及第二增强图像输入至预设的初始评估模型中进行模型训练，得到第一训练模型；
第二模型训练模块，用于将所述已标注历史灾后图像输入至所述第一训练模型，并将所述第一训练模型的输出结果输入至预设的初始全连接模型中进行处理，根据所述初始全连接模型的输出结果对所述第一训练模型及初始全连接模型进行更新，得到灾情评估模型及训练后的全连接模型；
评估结果模块，用于将获取的实际灾后图像输入至所述灾情评估模型，并将所述灾情评估模型输出的结果输入至训练后的全连接模型中进行处理，得到灾情评估结果。
8.根据权利要求7所述的装置，其特征在于，所述第一模型训练模块包括：
特征向量单元，用于将所述第一增强图像及第二增强图像输入至初始评估模型中的初始特征模型进行处理，得到所述第一增强图像对应的第一特征向量，以及所述第二增强图像对应的第二特征向量；
结果向量单元，用于将所述第一特征向量及第二特征向量输入至初始评估模型中的分类模型进行处理，得到所述第一特征向量对应的第一结果向量，以及所述第二特征向量对应的第二结果向量；
特征提取模型单元，用于根据所述第一结果向量、第二结果向量及预设的第一损失函数，对所述初始特征模型进行更新，得到特征提取模型，并将所述特征提取模型作为第一训练模型。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6任一项所述方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1至6任一项所述方法的计算机程序。
CN202210093367.7A 2022-01-26 2022-01-26 基于单时相图像的灾情评估方法及装置 Pending CN114419398A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210093367.7A CN114419398A (zh) 2022-01-26 2022-01-26 基于单时相图像的灾情评估方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210093367.7A CN114419398A (zh) 2022-01-26 2022-01-26 基于单时相图像的灾情评估方法及装置

Publications (1)

Publication Number Publication Date
CN114419398A true CN114419398A (zh) 2022-04-29

Family

ID=81278005

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210093367.7A Pending CN114419398A (zh) 2022-01-26 2022-01-26 基于单时相图像的灾情评估方法及装置

Country Status (1)

Country Link
CN (1) CN114419398A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116521041A (zh) * 2023-05-10 2023-08-01 北京天工科仪空间技术有限公司 基于前端页面的遥感数据标注方法、计算机设备和介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116521041A (zh) * 2023-05-10 2023-08-01 北京天工科仪空间技术有限公司 基于前端页面的遥感数据标注方法、计算机设备和介质

Similar Documents

Publication Publication Date Title
EP3690721A1 (en) Method for recognizing face using multiple patch combination based on deep neural network
CN112418292B (zh) 一种图像质量评价的方法、装置、计算机设备及存储介质
CN113469289B (zh) 视频自监督表征学习方法、装置、计算机设备和介质
CN107992937B (zh) 基于深度学习的非结构化数据判决方法和装置
CN112990390B (zh) 一种图像识别模型的训练方法、图像识别的方法及装置
CN111768438B (zh) 一种图像处理方法、装置、设备以及计算机可读存储介质
US11449707B2 (en) Method for processing automobile image data, apparatus, and readable storage medium
CN114550053A (zh) 一种交通事故定责方法、装置、计算机设备及存储介质
CN113947764B (zh) 一种图像处理方法、装置、设备及存储介质
CN112580694B (zh) 基于联合注意力机制的小样本图像目标识别方法及系统
CN113763249A (zh) 文本图像超分辨率重建方法及其相关设备
CN111652181B (zh) 目标跟踪方法、装置及电子设备
CN114943876A (zh) 一种多级语义融合的云和云影检测方法、设备及存储介质
CN113420827A (zh) 语义分割网络训练和图像语义分割方法、装置及设备
CN114419398A (zh) 基于单时相图像的灾情评估方法及装置
CN115510186A (zh) 基于意图识别的即时问答方法、装置、设备及存储介质
CN113673369A (zh) 遥感图像场景规划方法、装置、电子设备和存储介质
CN114640669A (zh) 边缘计算方法及装置
CN117095019A (zh) 一种图像分割方法及相关装置
CN116543333A (zh) 电力系统的目标识别方法、训练方法、装置、设备和介质
CN116977484A (zh) 图像脱敏方法、装置、电子设备及存储介质
CN115620238A (zh) 一种基于多元信息融合的园区行人属性识别方法
CN113191364B (zh) 车辆外观部件识别方法、装置、电子设备和介质
CN115861605A (zh) 一种图像数据处理方法、计算机设备以及可读存储介质
CN112926368A (zh) 一种识别障碍物的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination