CN112529897A - 一种图像检测方法、装置、计算机设备及存储介质 - Google Patents

一种图像检测方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN112529897A
CN112529897A CN202011549317.2A CN202011549317A CN112529897A CN 112529897 A CN112529897 A CN 112529897A CN 202011549317 A CN202011549317 A CN 202011549317A CN 112529897 A CN112529897 A CN 112529897A
Authority
CN
China
Prior art keywords
feature
target image
image
feature map
difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011549317.2A
Other languages
English (en)
Inventor
何天乐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Sensetime Intelligent Technology Co Ltd
Original Assignee
Shanghai Sensetime Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Sensetime Intelligent Technology Co Ltd filed Critical Shanghai Sensetime Intelligent Technology Co Ltd
Priority to CN202011549317.2A priority Critical patent/CN112529897A/zh
Publication of CN112529897A publication Critical patent/CN112529897A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种图像检测方法、装置、计算机设备及存储介质，包括：获取在不同时期拍摄的目标位置区域的第一目标图像和第二目标图像；基于所述第一目标图像和所述第二目标图像，生成融合所述第一目标图像的特征和所述第二目标图像的特征的第一特征图；基于所述第一特征图，确定用于表征所述第一目标图像和所述第二目标图像之间图像差异的差异图像。

Description

一种图像检测方法、装置、计算机设备及存储介质
技术领域
本公开涉及图像处理技术领域，具体而言，涉及一种图像检测方法、装置、计算机设备及存储介质。
背景技术
植被是地球陆地生态系统的重要组成部分，植被变化检测对建立植被动态检测体系和生态环境评估具有重要意义。遥感图像因其覆盖地域广、时间分辨率高等特点被广泛用于植被变化检测。
相关技术中，在基于遥感图像进行植被变化检测时，通常是通过逐像素对比的方式进行检测，这种检测方法仅利用了遥感图像的低级特征，容易受到拍摄时间、季节、光照、天气等的影响，检测精度较低。
发明内容
本公开实施例至少提供一种图像检测方法、装置、计算机设备及存储介质。
第一方面，本公开实施例提供了一种图像检测方法，包括：
获取在不同时期拍摄的目标位置区域的第一目标图像和第二目标图像；
基于所述第一目标图像和所述第二目标图像，生成融合所述第一目标图像的特征和所述第二目标图像的特征的第一特征图；
基于所述第一特征图，确定用于表征所述第一目标图像和所述第二目标图像之间图像差异的差异图像。
上述方法中，将第一目标图像的特征和第二目标图像的特征进行融合，这样，利用融合后的特征可以体现出第一目标图像的特征和第二目标图像的特征在同一位置的特征差异性和相似性，进而基于融合了第一目标图像特征和第二目标图像特征的第一特征图，确定差异图像时，差异图像的精度更高。
一种可能的实施方式中，所述基于所述第一特征图，确定用于表征所述第一目标图像和所述第二目标图像之间图像差异的差异图像，包括：
对所述第一特征图进行多次特征处理，生成多个尺寸不同的第一中间特征图；
将所述多个尺寸不同的第一中间特征图进行融合，得到第二特征图；
对所述第二特征图进行语义分割，生成用于表征所述第一目标图像和所述第二目标图像之间图像差异的差异图像。
上述实施方式中，通过对第一特征图进行多次特征处理，生成多个尺寸不同的第一中间特征图，不同尺寸的第一中间特征图对应的感受野不同，进而将多个第一中间特征图进行融合处理，得到第二特征图，得到的第二特征图中可以包括不同尺寸的第一中间特征图对应的特征，进而基于第二特征图进行语义分割时，所得到的差异图像更加精确。
一种可能的实施方式中，所述基于所述第一目标图像和所述第二目标图像，生成融合所述第一目标图像的特征和所述第二目标图像的特征的第一特征图，包括：
对所述第一目标图像进行特征提取，得到所述第一目标图像的初始特征图；以及对所述第二目标图像进行特征提取，得到所述第二目标图像的初始特征图；
将所述第一目标图像的初始特征图和所述第二目标图像的初始特征图进行融合，得到所述第一特征图。
上述实施方式中，通过同时对第一目标图像和第二目标图像进行特征提取，可以提升特征提取的效率，进一步提升差异检测的效率。
一种可能的实施方式中，所述对所述第一目标图像进行特征提取，得到所述第一目标图像的初始特征图，包括：
对所述第一目标图像进行第一特征提取，得到第一层次的特征图；
对所述第一层次的特征图进行第二特征提取，得到所述第一目标图像的初始特征图，所述第二特征提取的提取深度大于所述第一特征提取的提取深度。
上述实施方式中，通过对第一目标图像进行不同层次的特征提取，可以得到第一目标图像更加深层次的特征。
一种可能的实施方式中，所述对所述第一层次的特征图进行第二特征提取，得到所述第一目标图像的初始特征图，包括：
基于至少一个特征提取层对所述第一目标图像对应的第一层次的特征图进行第二特征提取；
其中，每个特征提取层包括至少一个特征提取单元，每个特征提取单元包括多级串行的特征提取块，所述特征提取单元的输出为基于所述特征提取单元的最后一级的特征提取块的输出与所述特征提取单元的输入确定的特征图；第一个特征提取单元的输入为所述第一目标图像对应的第一层次的特征图。
上述实施方式中，通过上述结构的至少一个特征提取层对第一目标图像对应的第一层次的特征图和第二目标图像对应的第一层次的特征图分别进行特征提取后，进行特征提取之后的初始特征图可以结合不同尺寸的特征信息，进一步的所得到的初始特征图中所包含的特征更加丰富。
一种可能的实施方式中，所述将所述第一目标图像的初始特征图和所述第二目标图像的初始特征图进行融合，得到所述第一特征图，包括：
将所述第一目标图像的初始特征图和所述第二目标图像的初始特征图的同一位置的特征点，在不同通道上的特征值进行拼接，得到所述第一特征图。
上述实施方式中，通过将第一目标图像的初始特征图和第二目标图像的初始图像的同一位置的特征点，在不同通道上的特征进行拼接，可以实现对于进行特征提取之后的两个初始特征图的同一位置的特征点之间的特征对比，进而突出两个初始特征图之间的特征相似度或特征差异性。
一种可能的实施方式中，所述对所述第一特征图进行多次特征处理，生成多个尺寸不同的第一中间特征图，包括根据以下步骤进行当前次特征处理：
针对上一次特征处理输出的不同尺寸的第一中间特征图，分别进行至少一次特征提取处理，得到不同尺寸的第二中间特征图；
将所述不同尺寸的第二中间特征图进行多种融合处理，得到当前次特征处理后的不同尺寸的第一中间特征图。
上述实施方式中，针对当前次特征处理，对不同尺寸的特征图进行至少一次特征处理以及进行多种融合处理，得到当前次特征处理后的不同尺寸的第二中间特征图，其中，不同尺寸的特征图的感受野不同，进而不同尺寸的第一中间特征图包括的特征信息也不同，即得到的不同尺寸的第一中间特征图包括的特征信息较多，故可以为后续进行语义分割提供较多的特征信息，提高了差异检测的精度。
一种可能的实施方式中，所述对所述第二特征图进行语义分割，生成用于表征所述第一目标图像和所述第二目标图像之间图像差异的差异图像，包括：
分别采用不同采样率的空洞卷积核对所述第二特征图进行特征提取，得到不同尺寸的第三中间特征图；
将所述不同尺寸的第三中间特征图进行特征融合，得到第四中间特征图，其中，所述第四中间特征图的每个特征点的特征值表示所述第一目标图像和所述第二目标图像在该特征点对应的位置存在差异的概率；
基于所述第四中间特征图，生成所述差异图像。
上述实施方式中，通过不同采样率的空洞卷积核对第二特征图进行特征提取，可以提取不同尺寸的存在差异的差异区域的特征，在将多个第三中间特征图进行特征融合之后，生成的第四中间特征图可以实现对于不同尺寸的存在差异的差异区域的检测，进而提高差异检测的精度。
一种可能的实施方式中，所述差异图像是基于预先训练的神经网络对所述第一目标图像和所述第二目标图像进行处理后得到的；
所述方法还包括通过以下方法训练所述神经网络：
获取至少一组样本图像，以及所述至少一组样本图像对应的标注图像；其中，所述至少一组样本图像包括两张待检测图像，所述标注图像的标注信息用于表示所述两张待检测图像之间的差异信息；
将所述至少一组样本图像中的两张待检测图像输入至待训练的神经网络中，得到所述神经网络输出的预测差异图；所述预测差异图中每个特征点的取值表示所述至少两张待检测图像在该特征点对应位置存在差异的概率；
基于所述预测差异图和所述标注图像计算本次训练过程中的总损失值，并基于所述总损失值，调整所述神经网络的网络参数值。
上述实施方式中，通过训练所述神经网络，可以利用训练好的神经网络，实现对于任意两张目标图像之间的差异图像的检测，提升了对于差异图像检测的泛化能力。
一种可能的实施方式中，所述基于所述预测差异图和所述标注图像计算本次训练过程中的总损失值，包括：
基于所述预测差异图中每个像素点的像素值和所述标注图像中每个像素点的标注信息，确定所述预测差异图和所述标注图像之间的交叉熵损失；和/或，
基于所述预测差异图中像素点的像素均值、像素标准差、以及所述预测差异图的像素值和所述标注图像的标注信息之间的协方差，确定结构相似性损失；和/或，
基于所述第一目标图像的尺寸、所述预测差异图中像素点的像素值、以及所述标注图像中像素点的标注信息，确定一致性损失。
上述实施方式中，在训练神经网络的过程中，通过增加多种损失值的计算，可以充分体现预测差异图像和标注图像之间的差异损失，进而利用确定的损失值去训练所述神经网络时，训练出的神经网络在差异图像进行检测时，精度更高。
一种可能的实施方式中，所述差异图像中具有目标像素值的像素点构成的区域为所述目标位置区域中在不同时期中植被发生变化的区域。
上述实施方式中确定出的差异图像，能够有效降低拍摄时间、季节、光照、天气等的影响，确定的差异图像精度较高，因此，根据差异图像确定的植被发生变化的区域也比较精确。
第二方面，本公开实施例还提供一种图像检测装置，包括：
获取模块，用于获取在不同时期拍摄的目标位置区域的第一目标图像和第二目标图像；
生成模块，用于基于所述第一目标图像和所述第二目标图像，生成融合所述第一目标图像的特征和所述第二目标图像的特征的第一特征图；
确定模块，用于基于所述第一特征图，确定用于表征所述第一目标图像和所述第二目标图像之间图像差异的差异图像。
一种可能的实施方式中，所述确定模块，在基于所述第一特征图，确定用于表征所述第一目标图像和所述第二目标图像之间图像差异的差异图像时，用于：
对所述第一特征图进行多次特征处理，生成多个尺寸不同的第一中间特征图；
将所述多个尺寸不同的第一中间特征图进行融合，得到第二特征图；
对所述第二特征图进行语义分割，生成用于表征所述第一目标图像和所述第二目标图像之间图像差异的差异图像。
一种可能的实施方式中，所述生成模块，在基于所述第一目标图像和所述第二目标图像，生成融合所述第一目标图像的特征和所述第二目标图像的特征的第一特征图，包括：
对所述第一目标图像进行特征提取，得到所述第一目标图像的初始特征图；以及对所述第二目标图像进行特征提取，得到所述第二目标图像的初始特征图；
将所述第一目标图像的初始特征图和所述第二目标图像的初始特征图进行融合，得到所述第一特征图。
一种可能的实施方式中，所述生成模块，在对所述第一目标图像进行特征提取，得到所述第一目标图像的初始特征图时，用于：
对所述第一目标图像进行第一特征提取，得到第一层次的特征图；
对所述第一层次的特征图进行第二特征提取，得到所述第一目标图像的初始特征图，所述第二特征提取的提取深度大于所述第一特征提取的提取深度。
一种可能的实施方式中，所述生成模块，在对所述第一层次的特征图进行第二特征提取，得到所述第一目标图像的初始特征图时，用于：
基于至少一个特征提取层对所述第一目标图像对应的第一层次的特征图进行第二特征提取；
其中，每个特征提取层包括至少一个特征提取单元，每个特征提取单元包括多级串行的特征提取块，所述特征提取单元的输出为基于所述特征提取单元的最后一级的特征提取块的输出与所述特征提取单元的输入确定的特征图；第一个特征提取单元的输入为所述第一目标图像对应的第一层次的特征图。
一种可能的实施方式中，所述生成模块，在将所述第一目标图像的初始特征图和所述第二目标图像的初始特征图进行融合，得到所述第一特征图时，用于：
将所述第一目标图像的初始特征图和所述第二目标图像的初始特征图的同一位置的特征点，在不同通道上的特征值进行拼接，得到所述第一特征图。
一种可能的实施方式中，所述确定模块，在对所述第一特征图进行多次特征处理，生成多个尺寸不同的第一中间特征图时，用于根据以下步骤进行当前次特征处理：
针对上一次特征处理输出的不同尺寸的第一中间特征图，分别进行至少一次特征提取处理，得到不同尺寸的第二中间特征图；
将所述不同尺寸的第二中间特征图进行多种融合处理，得到当前次特征处理后的不同尺寸的第一中间特征图。
一种可能的实施方式中，所述确定模块，在对所述第二特征图进行语义分割，生成用于表征所述第一目标图像和所述第二目标图像之间图像差异的差异图像时，用于：
分别采用不同采样率的空洞卷积核对所述第二特征图进行特征提取，得到不同尺寸的第三中间特征图；
将所述不同尺寸的第三中间特征图进行特征融合，得到第四中间特征图，其中，所述第四中间特征图的每个特征点的特征值表示所述第一目标图像和所述第二目标图像在该特征点对应的位置存在差异的概率；
基于所述第四中间特征图，生成所述差异图像。
一种可能的实施方式中，所述差异图像是基于预先训练的神经网络对所述第一目标图像和所述第二目标图像进行处理后得到的；
所述装置还包括训练模块，用于通过以下方法训练所述神经网络：
获取至少一组样本图像，以及所述至少一组样本图像对应的标注图像；其中，所述至少一组样本图像包括两张待检测图像，所述标注图像的标注信息用于表示所述两张待检测图像之间的差异信息；
将所述至少一组样本图像中的两张待检测图像输入至待训练的神经网络中，得到所述神经网络输出的预测差异图；所述预测差异图中每个特征点的取值表示所述至少两张待检测图像在该特征点对应位置存在差异的概率；
基于所述预测差异图和所述标注图像计算本次训练过程中的总损失值，并基于所述总损失值，调整所述神经网络的网络参数值。
一种可能的实施方式中，所述训练模块，在基于所述预测差异图和所述标注图像计算本次训练过程中的总损失值时，用于：
基于所述预测差异图中每个像素点的像素值和所述标注图像中每个像素点的标注信息，确定所述预测差异图和所述标注图像之间的交叉熵损失；和/或，
基于所述预测差异图中像素点的像素均值、像素标准差、以及所述预测差异图的像素值和所述标注图像的标注信息之间的协方差，确定结构相似性损失；和/或，
基于所述第一目标图像的尺寸、所述预测差异图中像素点的像素值、以及所述标注图像中像素点的标注信息，确定一致性损失。
一种可能的实施方式中，所述差异图像中具有目标像素值的像素点构成的区域为所述目标位置区域中在不同时期中植被发生变化的区域。
第三方面，本公开实施例还提供一种计算机设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。
第四方面，本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。
关于上述图像检测装置、计算机设备、及计算机可读存储介质的效果描述参见上述图像检测方法的说明，这里不再赘述。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种图像检测方法的流程图；
图2示出了本公开实施例所提供的特征提取层的结构示意图；
图3示出了本公开实施例所提供的一种对特征图像进行多尺度特征提取及融合的示意图；
图4示出了本公开实施例所提供的图像检测方法中，差异图像生成方法的流程图；
图5示出了本公开实施例所提供的图像检测方法中，神经网络训练方法的流程图；
图6示出了本公开实施例所提供的图像检测方法的整体流程的示意图；
图7示出了本公开实施例所提供的一种图像检测装置的架构示意图；
图8示出了本公开实施例所提供的计算机设备的结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
经研究发现，在基于遥感图像进行植被变化检测时，通常是通过逐像素对比的方式进行检测，这种检测方法仅利用了遥感图像的低级特征，容易受到拍摄时间、季节、光照、天气等的影响，检测精度较低。
基于上述研究，本公开提供了一种图像检测方法、装置、计算机设备及存储介质，将第一目标图像的特征和第二目标图像的特征进行融合，这样，利用融合后的特征可以体现出第一目标图像的特征和第二目标图像的特征在同一位置的特征差异性和相似性，进而基于融合了第一目标图像特征和第二目标图像特征的第一特征图，确定差异图像时，差异图像的精度更高。
针对以上方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案，都应该是发明人在本公开过程中对本公开做出的贡献。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
为便于对本实施例进行理解，首先对本公开实施例所公开的一种图像检测方法进行详细介绍，本公开实施例所提供的图像检测方法的执行主体一般为具有一定计算能力的计算机设备，该计算机设备例如包括：终端设备或服务器或其它处理设备，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字助理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该图像检测方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
参见图1所示，为本公开实施例提供的一种图像检测方法的流程图，所述方法包括步骤101～步骤103，其中：
步骤101、获取在不同时期拍摄的目标位置区域的第一目标图像和第二目标图像。
步骤102、基于所述第一目标图像和所述第二目标图像，生成融合所述第一目标图像的特征和所述第二目标图像的特征的第一特征图。
步骤103、基于所述第一特征图，确定用于表征所述第一目标图像和所述第二目标图像之间图像差异的差异图像。
以下是针对上述步骤的详细说明。
针对步骤101、
示例性的，所述第一目标图像和所述第二目标图像例如可以是遥感图像。在不同时期拍摄的目标位置区域的第一目标图像和第二目标图像可以是，获取不同时期拍摄的包括目标位置区域的遥感图像。
一种可能的应用场景中，本公开所提供的方法可以适用于对于不同时期同一位置区域的植被变化检测，所述不同时期可以是属于不同季节的两个时期，例如第一目标图像可以是夏天的某一时期拍摄的，以及第二目标图像可以是冬天的某一时期拍摄的；或者所述不同时期可以是间隔时间为预设时长的两个时期，例如第一目标图像可以是2019年6月6日拍摄的，第二目标图像可以是2018年6月6日拍摄的。
示例性的，可以基于目标位置区域对应的位置坐标，分别从不同时期拍摄的包括目标位置区域的遥感图像中，切割出与该位置坐标对应的第一目标图像和第二目标图像，所述第一目标图像和第二目标图像的尺寸可以相同。
针对步骤102、
在一种可能的实施方式中，在基于第一目标图像和第二目标图像，生成第一特征图时，可以先分别对第一目标图像进行特征提取，得到所述第一目标图像的初始特征图，以及对第二目标图像进行特征提取，得到所述第二目标图像的初始特征图，将第一目标图像的初始特征图和第二目标图像的初始特征图进行融合，得到第一特征图。
其中，对第一目标图像进行特征提取的过程和对第二目标图像进行特征提取的过程可以相同，例如可以将第一目标图像和第二目标图像分别输入两个并行的特征提取通道，两个特征提取通道可以同时分别对第一目标图像和第二目标图像进行特征提取。
以对第一目标图像进行特征提取为例，可以先对第一目标图像进行第一特征提取，得到第一层次的特征图，然后对第一层次的特征图进行第二特征提取，得到第一目标图像的初始特征图，其中，所述第二特征提取的提取深度大于所述第一特征提取的提取深度。
这里，所述第一层次的特征图可以是包括所述第一目标图像的浅层特征的特征图，所述初始特征图可以是包括所述第一目标图像的深层特征的特征图；所述提取深度可以理解为特征提取的次数，执行所述第二特征提取的提取次数多于执行第一次特征提取的提取次数，且两次特征提取的方式可以不同。
示例性的，在对第一目标图像进行第一特征提取时，可以对第一目标图像进行卷积，得到第一层次的特征图，在对第一层次的特征图进行第二特征提取时，可以基于至少一个特征提取层对第一目标图像对应的第一层次的特征图进行第二特征提取。
其中，每个特征提取层包括至少一个特征提取单元，每个特征提取单元包括多级串行特征提取块，即当前级特征提取块的输入为上一级特征提取块的输出，所述特征提取单元的输出为基于所述特征提取单元的最后一级的特征提取块的输出与所述特征提取单元的输入确定的特征图，例如可以将所述特征提取单元的最后一级的特征提取块的输出与所述特征提取单元的输入进行融合后，再经激活函数处理后得到所述特征提取单元的输出；第一个特征提取单元的输入为所述第一目标图像对应的第一层次的特征图。
示例性的，如图2所示，基于两个特征提取层对第一目标图像对应的第一层次的特征图进行特征提取，每个特征提取层包括两个特征提取单元，每个特征提取单元包括三级特征提取块，特征提取单元的第一级特征提取块先通过1×1的卷积核对输入的特征图A进行卷积，然后经过激活函数处理后，得到特征图B，然后将特征图B输入第二级特征提取块；第二级特征提取块先通过3×3的卷积核对特征图B进行卷积，然后经过激活函数处理后，得到特征图C，然后将特征图C输入第三级特征提取块；第三级特征提取块先通过1×1的卷积核对特征图C进行卷积，得到特征图D，再将特征图D与特征图A融合，得到该特征提取单元的输出特征图。
示例性的，在将特征图D和特征图A融合时，可以将特征图D与特征图A在同一位置处的取值进行加权求和等融合操作，得到所述输出特征图。
第一个特征提取单元的输出为第二个特征提取单元的输入，第一个特征提取单元的输入为第一目标图像对应的特征图。
需要说明的是，对第二目标图像对应的特征图进行特征提取的执行过程与上述对第一目标图像对应的特征图进行特征提取的执行过程可以采用相同的原理，在此将不再赘述。
通过上述结构的至少一个特征提取层对第一目标图像对应的第一层次的特征图和第二目标图像对应的第一层次的特征图分别进行特征提取后，进行特征提取之后的初始特征图可以结合不同尺寸的特征信息，进一步所得到的初始特征图中所包含的特征更加丰富。
在一种可能的实施方式中，在将第一目标图像的初始特征图和第二目标图像的初始图像进行融合，得到第一特征图时，可以是将第一目标图像的初始特征图和第二目标图像的初始特征图的同一位置的特征点，在不同通道上的特征值进行拼接，得到所述第一特征图。
所述将第一目标图像的初始特征图和第二目标图像的初始特征图的同一位置的特征点，在不同通道上的特征值进行拼接，可以理解为，将同一位置的特征点分别对应的特征向量进行相加，相加得到的特征向量即为第一特征图中对应该同一位置的特征点的特征值。
示例性的，假设第一目标图像的初始特征图在第M行第N列的特征向量的具体特征值为(1，2，3)，假设第二目标图像的初始特征图在第M行第N列的特征向量的具体特征值为(4，5，6)，则在将两个初始特征图进行融合之后，第一特征图在第M行第N列的特征向量的具体特征值为(1，2，3，4，5，6)。
进一步的，通过将第一目标图像的初始特征图和第二目标图像的初始图像的同一位置的特征点，在不同通道上的特征进行拼接，可以实现对于进行特征提取之后的两个初始特征图的同一位置的特征点之间的特征对比，进而突出两个初始特征图之间的特征相似度或特征差异性。
示例性的，若两张图像在同一位置区域1均包括物体A，而其他位置区域均不相同，则将两张图像叠加之后，在位置区域1仍旧包含物体A，且物体A的相似性特征更加突出，而对于其他位置区域，由于两张图像之间存在差异，在进行叠加之后，则差异性特征更加突出。
针对步骤103、
在一种可能的实施方式中，基于所述第一特征图，确定用于表征所述第一目标图像和所述第二目标图像之间图像差异的差异图像时，可以先对所述第一特征图进行多次特征处理，生成多个尺寸不同的第一中间特征图，然后将所述多个尺寸不同的第一中间特征图进行融合，得到第二特征图，在对所述第二特征图进行语义分割，生成用于表征所述第一目标图像和所述第二目标图像之间差异的差异图像。
其中，在对第一特征图进行多次特征处理，将进行多次特征处理后的多个尺寸不同的第一中间特征图进行融合，得到第二特征图时，示例性的可以通过高分辨率网络(High-Resoultion Net，HRNet)、深度卷积神经网络VGGNet、残差网络RESNet等中的任意一个网络进行处理。
这里，多个第一中间特征图的尺寸可以与预设的比例相符，比如，预设的比例为1:2:4，则三个第一中间特征图的尺寸的比例也可以为1:2:4。
上述实施方式中，通过对第一特征图进行多次特征处理，生成多个尺寸不同的第一中间特征图，不同尺寸的第一中间特征图对应的感受野不同，进而将多个第一中间特征图进行融合处理，得到第二特征图，得到的第二特征图中可以包括不同尺寸的第一中间特征图对应的特征，进而基于第二特征图进行语义分割时，所得到的差异图像更加精确。
例如，在对第一特征图进行多次特征处理，生成多个尺寸不同的第一中间特征图时，在进行当前次特征处理时，针对上一次特征处理输出的不同尺寸的第一中间特征图，可以先分别进行至少一次特征提取，得到不同尺寸的第二中间特征图；然后将不同尺寸的第二中间特征图进行多种融合处理，得到当前次特征处理后的不同尺寸的第一中间特征图。
针对上一次特征处理输出的不同尺寸的第一中间特征图，可以先分别进行至少一次特征提取，得到不同尺寸的第二中间特征图时，示例性的，如图3所示，若上一次特征处理输出的不同尺寸的第一中间特征图为特征图3和特征图4，然后分别对特征图3和特征图4进行特征提取处理，得到特征图5和特征图6，特征图5和特征图6为所述第二中间特征图。进一步地，所述将不同尺寸的第二中间特征图进行多种融合处理，示例性的，在对特征图5和特征图6进行融合处理时，包括两种融合处理，一种融合处理是将特征图5进行特征提取处理后得到的特征图，与将特征图6进行上采样后得到的特征图进行融合处理，得到特征图7；另一种融合处理是将特征图5进行下采样后得到的特征图，与特征图6进行特征提取后得到的特征图进行融合处理，得到特征图8，特征图7和特征图8即为本次特征处理后不同尺寸的第一中间特征图。
图3中，水平指向的箭头表示进行特征提取处理，向上指向的箭头表示上采样，向下指向的箭头表示下采样，两个箭头指向同一特征图时，表示将经过两个箭头所表示的处理方法进行处理后的特征图进行融合，得到两个箭头指向的同一特征图。
特征图经过下采样后，尺寸减小，经过上采样后，尺寸增大，对特征图进行特征提取处理，并不会改变特征图的尺寸，因此，图3中，第一行中“1×”表示特征图尺寸与对第一特征图进行第一次特征提取处理之后的特征图的尺寸之间的比例为1:1；第二行中“2×”表示特征图尺寸与对第一特征图进行第一次特征提取处理之后的特征图的尺寸之间的比例为2:1；第三行中“3×”表示特征图尺寸与对第一特征图进行第一次特征提取处理之后的特征图的尺寸之间的比例为3:1.
这里，进行上采样和下采样处理的目的是为了使得两个特征图在进行融合时，尺寸是相同的。在进行融合时例如可以是对应位置处的特征值相加，得到融合后的特征图在该位置处的特征值。
示例性的，若将特征图A的某位置处的特征值为(a1，a2，a3)，特征图B在该位置处的特征值为(b1，b2，b3)，则在将特征图A和特征图B进行融合后，融合后的特征图在该位置处的特征值为(a1+b1，a2+b2，a3+b3)。
上述实施方式下，针对当前次特征处理，对不同尺寸的第一中间特征图进行至少一级卷积处理以及进行多种融合处理，得到当前次特征处理后的不同尺寸的第二中间特征图，其中，不同尺寸的第二中间特征图的感受野不同，进而不同尺寸的第一中间特征图包括的特征信息也不同，即得到的不同尺寸的第一中间特征图包括的特征信息较多，故可以为后续进行语义分割提供较多的特征信息，提高了差异检测的精度。
在一种可能的实施方式中，在对第二特征图进行语义分割，生成用于表征第一目标图像和第二目标图像之间图像差异的差异图像时，可以执行如图4所述的步骤，包括：
步骤401、分别采用不同采样率的空洞卷积对所述第二特征图进行特征提取，得到不同尺寸的第三中间特征图。
其中，空洞卷积是指在标准卷积的基础上注入空洞，以此来增加感受野，其中，不同采样率的卷积核是指在注入空洞时的，按照不同的间隔注入的空洞所得到的卷积核。
步骤402、将所述不同尺寸的第三中间特征图进行特征融合，得到第四中间特征图，其中，所述第四中间特征图的每个特征点的特征值表示所述第一目标图像和所述第二目标图像在该特征点对应的位置存在差异的概率。
步骤403、基于第四中间特征图，生成所述差异图像。
不同采样率的空洞卷积核，感受野的大小不同，在利用不同采样率的空洞卷积核分别对第二特征图进行特征提取之后，可以将第二特征图中不同大小尺寸的存在差异的图像分割出来，进而提高语义分割的精度。
示例性的，对于树木等占用像素点个数较少的物体，可以采用感受野较小的卷积核进行特征提取，而对于房屋等占用像素点个数较多的物体，可以采用感受野较大的卷积核进行特征提取。
在采用不同采样率的空洞卷积核对第二特征图进行特征提取之后，可以得到不同尺寸的第三中间特征图，为包括在进行特征融合时，各个第三中间特征图的尺寸相同，因此可以对不同尺寸的第三中间特征图进行上采样，将各个第三中间特征图恢复成与第一目标图像和第二目标图像相同的尺寸，然后在将经过上采样之后的各个第三中间特征图进行融合，可以得到所述第四中间特征图，第四中间特征图的尺寸与第一目标图像和第二目标图像的尺寸也相同。
示例性的，在将不同尺寸的第三中间特征图进行特征融合时，可以是将不同尺寸的第三中间特征图在对应位置处的取值进行拼接，得到第四中间特征图。
通过不同采样率的空洞卷积核对第二特征图进行特征提取，可以提取不同尺寸的存在差异的差异区域的特征，在将多个第三中间特征图进行特征融合之后，生成的第四中间特征图可以实现对于不同尺寸的存在差异的差异区域的检测，进而提高差异检测的精度。
在一种可能的实施方式中可以基于分类器和第四中间特征图，生成所述差异图像。具体的，可以将第四中间特征图输入至分类器中，分类器可以将第四中间特征图中，对应的取值大于预设值的特征点的取值调整为第一预设值，将对应的取值小于或等于预设值的特征点的取值调整为第二预设值，得到所述差异图像。
示例性的，所述第一预设值可以为1，第二预设值可以为0，所述差异图像可以为二值图像。
在一种可能的实施方式中，所述差异图像可以是基于预先训练的神经网络对所述第一目标图像和所述第二目标图像进行处理后得到的，即步骤102～步骤103均为所述预先训练的神经网络所执行的操作，具体的，可以在执行步骤101之后，将第一目标图像和第二目标图像输入至神经网络，由神经网络执行步骤102和步骤103。
其中，所述神经网络的训练过程可以如图5所示，包括以下几个步骤：
步骤501、获取至少一组样本图像，以及所述至少一组样本图像对应的标注图像；其中，所述至少一组样本图像包括两张待检测图像，所述标注图像的标注信息用于表示所述两张待检测图像之间的差异信息。
在一种可能的实施方式中，所述至少一组样本图像中的两张待检测图像的尺寸与所述标注图像的尺寸可以相同，所述标注图像可以为二值图像，所述标注图像中的任一像素点的取值表示，两张待检测图像在该像素点对应的位置处是否存在差异，例如，存在差异的像素点取值可以为1，不存在差异的像素点取值可以为0。
步骤502、将所述至少一组样本图像输入至待训练的神经网络中，得到所述神经网络输出的预测差异图；所述预测差异图中每个特征点的取值表示所述至少两张待检测图像在该特征点对应位置存在差异的概率。
步骤503、基于所述预测差异图和所述标注图像计算本次训练过程中的总损失值，并基于所述总损失值，调整所述神经网络的网络参数值。
通过训练所述神经网络，可以利用训练好的神经网络，实现对于任意两张目标图像之间的差异图像的检测，提升了对于差异图像检测的泛化能力。
这里，在基于所述预测差异图和所述标注图像计算本次训练过程中的总损失值时，可以包括：基于所述预测差异图中每个像素点的像素值和所述标注图像中每个像素点的标注信息，确定所述预测差异图和所述标注图像之间的交叉熵损失；和/或，
基于所述预测差异图中像素点的像素均值、像素标准差、以及所述预测差异图的像素值和所述标注图像的标注信息之间的协方差，确定结构相似性损失；和/或，
基于所述第一目标图像的尺寸、所述预测差异图中像素点的像素值、以及所述标注图像中像素点的标注信息，确定一致性损失。
在训练神经网络的过程中，通过增加多种损失值的计算，可以充分体现预测差异图像和标注图像之间的差异损失，进而利用确定的损失值去训练所述神经网络时，训练出的神经网络在差异图像进行检测时，精度更高。
示例性的，所述总损失值可以通过以下公式进行计算：
lk＝lbce+lssim+liou
其中，lk表示总损失，lbce表示交叉熵损失值，lssim表示结构相似性损失，liou表示一致性损失。
示例性的，所述交叉熵损失值可以通过以下公式进行计算：
Figure BDA0002857273500000191
其中，r和c分别表示图像的行和列，S(r,c)表示所述预测差异图中第r行第c列的像素值，G(r,c)表示标注图像中第r行第c列的标注信息。
示例性的，所述结构相似性损失可以通过以下公式进行计算：
Figure BDA0002857273500000192
其中，μx表示预测差异图的像素均值，即将预测差异图中所有特征点的取值相加求均值的值，μy表示标注图像的标注信息均值，即将标注图像中所有特征点的取值相加求均值的值，σx表示预测差异图的像素标准差，σy表示标注图像的标准信息标准差，σxy表示预测差异图的像素值和标注图像的标注信息之间的协方差，C1和C2为超参数。
示例性的，所述一致性损失可以通过以下公式进行计算：
Figure BDA0002857273500000193
其中，H和W分别表示图像的长和宽，S(r,c)表示所述预测差异图中第r行第c列的像素值，G(r,c)表示标注图像中第r行第c列的标注信息。
下面，将结合具体附图，对上述图像检测方法的整体流程做出介绍，参见图6所示，为本公开实施例提供的图像检测方法的整体流程，包括以下几个步骤：
步骤1、获取第一目标图像和第二目标图像。
步骤2、将第一目标图像和第二目标图像输入至预先训练的神经网络中，执行以下处理过程：
步骤2.1、分别对第一目标图像和第二目标图像进行第一特征提取，得到第一目标图像的第一层次的特征图和第二目标图像的第一层次的特征图；
步骤2.2、基于至少一个特征提取层分别对第一目标图像的第一层次的特征图和第二目标图像的第一层次的特征图进行第二特征提取，得到第一目标的初始特征图和第二目标图像的初始特征图，并将得到的两个初始特征图融合，得到第一特征图；
步骤2.3、将第一特征图进行多次特征处理，生成多个尺寸不同的第一中间特征图；将多个所述第一中间特征图进行融合处理，得到所述第二特征图；
图6中，特征图1为将第一特征图进行特征处理(这里指卷积)后的特征图，特征图1经过卷积之后，得到特征图2，特征图2经过卷积得到特征图3，同时经过下采样得到特征图4，特征图3和特征图4分别经过卷积得到特征图5和特征图6，特征图5经过卷积之后的特征图，与特征图6经过上采样之后的特征图进行融合处理，得到特征图7(即将第二中间特征图进行融合处理)，特征图5经过下采样之后的特征图与特征图6经过下采样之后的特征图进行融合处理得到特征图8，以此类推，直至得到特征图17。
需要说明的是，图6中通过融合处理得到的特征图为第一中间特征图(如特征图7、8、11、12、13、17、18、19等)；通过卷积或下采样或上采样处理得到的特征图均为第二中间特征图(如特征图1、2、3、4、5、6、9、10、14、15、16等)。最后一次进行特征处理之后得到的尺寸最大的第一中间特征图为所述第二特征图，即特征图17既为第一中间特征图，也为所述第二特征图。
步骤2.4、分别采用采样率为6、12、18、24的空洞卷积核对所述第二特征图进行特征提取，得到不同尺寸的第三中间特征图；
图6中，所述rate表示卷积核的采样率，Conv kernel表示空洞卷积核的尺寸，图6中，空洞卷积核的尺寸均为3×3。
步骤2.5、对所述不同尺寸的第三中间特征图进行上采样后，进行特征融合，得到第四中间特征图；
步骤2.6、基于分类器和第四中间特征图，生成差异图像。
这里，所述差异图像即为所述神经网络的输出。
示例性的，上述方法可以应用于植被变化检测，所述差异图像中具有目标像素值的像素点构成的区域为所述目标位置区域中在不同时期中植被发生变化的区域。其中，目标像素值比如可以是预先设置好的一设定像素值，也可以是在预先设置好的设定像素值范围内的任一像素值。
示例性的，可以采集不同时期的两张遥感图像，分别作为第一目标图像和第二目标图像，通过图6所示的方法流程，确定所述两张遥感图像中的差异图像，所述差异图像可以为二值图像，即分类器在对第四中间特征图进行处理时，将取值大于第一预设值的像素点的像素值设为1，所述差异图像中的白色区域即为两张遥感图像中在不同时期植被发生变化的区域。
由于通过本公开所提供的方法在确定差异图像时，有效降低了拍摄时间、季节、光照、天气等的影响，确定的差异图像精度较高，因此，根据差异图像确定的植被发生变化的区域也比较精确。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一发明构思，本公开实施例中还提供了与图像检测方法对应的图像检测装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述图像检测方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
参照图7所示，为本公开实施例提供的一种图像检测装置的架构示意图，所述装置包括：获取模块701、生成模块702、以及确定模块703；其中，
获取模块701，用于获取在不同时期拍摄的目标位置区域的第一目标图像和第二目标图像；
生成模块702，用于基于所述第一目标图像和所述第二目标图像，生成融合所述第一目标图像的特征和所述第二目标图像的特征的第一特征图；
确定模块703，用于基于所述第一特征图，确定用于表征所述第一目标图像和所述第二目标图像之间图像差异的差异图像。
一种可能的实施方式中，所述确定模块703，在基于所述第一特征图，确定用于表征所述第一目标图像和所述第二目标图像之间图像差异的差异图像时，用于：
对所述第一特征图进行多次特征处理，生成多个尺寸不同的第一中间特征图；
将所述多个尺寸不同的第一中间特征图进行融合，得到第二特征图；
对所述第二特征图进行语义分割，生成用于表征所述第一目标图像和所述第二目标图像之间图像差异的差异图像。
一种可能的实施方式中，所述生成模块702，在基于所述第一目标图像和所述第二目标图像，生成融合所述第一目标图像的特征和所述第二目标图像的特征的第一特征图，包括：
对所述第一目标图像进行特征提取，得到所述第一目标图像的初始特征图；以及对所述第二目标图像进行特征提取，得到所述第二目标图像的初始特征图；
将所述第一目标图像的初始特征图和所述第二目标图像的初始特征图进行融合，得到所述第一特征图。
一种可能的实施方式中，所述生成模块702，在对所述第一目标图像进行特征提取，得到所述第一目标图像的初始特征图时，用于：
对所述第一目标图像进行第一特征提取，得到第一层次的特征图；
对所述第一层次的特征图进行第二特征提取，得到所述第一目标图像的初始特征图，所述第二特征提取的提取深度大于所述第一特征提取的提取深度。
一种可能的实施方式中，所述生成模块702，在对所述第一层次的特征图进行第二特征提取，得到所述第一目标图像的初始特征图时，用于：
基于至少一个特征提取层对所述第一目标图像对应的第一层次的特征图进行第二特征提取；
其中，每个特征提取层包括至少一个特征提取单元，每个特征提取单元包括多级串行的特征提取块，所述特征提取单元的输出为基于所述特征提取单元的最后一级的特征提取块的输出与所述特征提取单元的输入确定的特征图；第一个特征提取单元的输入为所述第一目标图像对应的第一层次的特征图。
一种可能的实施方式中，所述生成模块702，在将所述第一目标图像的初始特征图和所述第二目标图像的初始特征图进行融合，得到所述第一特征图时，用于：
将所述第一目标图像的初始特征图和所述第二目标图像的初始特征图的同一位置的特征点，在不同通道上的特征值进行拼接，得到所述第一特征图。
一种可能的实施方式中，所述确定模块703，在对所述第一特征图进行多次特征处理，生成多个尺寸不同的第一中间特征图时，用于根据以下步骤进行当前次特征处理：
针对上一次特征处理输出的不同尺寸的第一中间特征图，分别进行至少一次特征提取处理，得到不同尺寸的第二中间特征图；
将所述不同尺寸的第二中间特征图进行多种融合处理，得到当前次特征处理后的不同尺寸的第一中间特征图。
一种可能的实施方式中，所述确定模块703，在对所述第二特征图进行语义分割，生成用于表征所述第一目标图像和所述第二目标图像之间图像差异的差异图像时，用于：
分别采用不同采样率的空洞卷积核对所述第二特征图进行特征提取，得到不同尺寸的第三中间特征图；
将所述不同尺寸的第三中间特征图进行特征融合，得到第四中间特征图，其中，所述第四中间特征图的每个特征点的特征值表示所述第一目标图像和所述第二目标图像在该特征点对应的位置存在差异的概率；
基于所述第四中间特征图，生成所述差异图像。
一种可能的实施方式中，所述差异图像是基于预先训练的神经网络对所述第一目标图像和所述第二目标图像进行处理后得到的；
所述装置还包括训练模块704，用于通过以下方法训练所述神经网络：
获取至少一组样本图像，以及所述至少一组样本图像对应的标注图像；其中，所述至少一组样本图像包括两张待检测图像，所述标注图像的标注信息用于表示所述两张待检测图像之间的差异信息；
将所述至少一组样本图像中的两张待检测图像输入至待训练的神经网络中，得到所述神经网络输出的预测差异图；所述预测差异图中每个特征点的取值表示所述至少两张待检测图像在该特征点对应位置存在差异的概率；
基于所述预测差异图和所述标注图像计算本次训练过程中的总损失值，并基于所述总损失值，调整所述神经网络的网络参数值。
一种可能的实施方式中，所述训练模块704，在基于所述预测差异图和所述标注图像计算本次训练过程中的总损失值时，用于：
基于所述预测差异图中每个像素点的像素值和所述标注图像中每个像素点的标注信息，确定所述预测差异图和所述标注图像之间的交叉熵损失；和/或，
基于所述预测差异图中像素点的像素均值、像素标准差、以及所述预测差异图的像素值和所述标注图像的标注信息之间的协方差，确定结构相似性损失；和/或，
基于所述第一目标图像的尺寸、所述预测差异图中像素点的像素值、以及所述标注图像中像素点的标注信息，确定一致性损失。
一种可能的实施方式中，所述差异图像中具有目标像素值的像素点构成的区域为所述目标位置区域中在不同时期中植被发生变化的区域。关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
基于同一技术构思，本公开实施例还提供了一种计算机设备。参照图8所示，为本公开实施例提供的计算机设备800的结构示意图，包括处理器801、存储器802、和总线803。其中，存储器802用于存储执行指令，包括内存8021和外部存储器8022；这里的内存8021也称内存储器，用于暂时存放处理器801中的运算数据，以及与硬盘等外部存储器8022交换的数据，处理器801通过内存8021与外部存储器8022进行数据交换，当计算机设备800运行时，处理器801与存储器802之间通过总线803通信，使得处理器801在执行以下指令：
获取在不同时期拍摄的目标位置区域的第一目标图像和第二目标图像；
基于所述第一目标图像和所述第二目标图像，生成融合所述第一目标图像的特征和所述第二目标图像的特征的第一特征图；
基于所述第一特征图，确定用于表征所述第一目标图像和所述第二目标图像之间图像差异的差异图像。
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的图像检测方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例所提供的图像检测方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行上述方法实施例中所述的图像检测方法的步骤，具体可参见上述方法实施例，在此不再赘述。
本公开实施例还提供一种计算机程序，该计算机程序被处理器执行时实现前述实施例的任意一种方法。该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software DevelopmentKit，SDK)等等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

Claims (14)

1.一种图像检测方法，其特征在于，包括：
获取在不同时期拍摄的目标位置区域的第一目标图像和第二目标图像；
基于所述第一目标图像和所述第二目标图像，生成融合所述第一目标图像的特征和所述第二目标图像的特征的第一特征图；
基于所述第一特征图，确定用于表征所述第一目标图像和所述第二目标图像之间图像差异的差异图像。
2.根据权利要求1所述的方法，其特征在于，所述基于所述第一特征图，确定用于表征所述第一目标图像和所述第二目标图像之间图像差异的差异图像，包括：
对所述第一特征图进行多次特征处理，生成多个尺寸不同的第一中间特征图；
将所述多个尺寸不同的第一中间特征图进行融合，得到第二特征图；
对所述第二特征图进行语义分割，生成用于表征所述第一目标图像和所述第二目标图像之间图像差异的差异图像。
3.根据权利要求1或2所述的方法，其特征在于，所述基于所述第一目标图像和所述第二目标图像，生成融合所述第一目标图像的特征和所述第二目标图像的特征的第一特征图，包括：
对所述第一目标图像进行特征提取，得到所述第一目标图像的初始特征图；以及对所述第二目标图像进行特征提取，得到所述第二目标图像的初始特征图；
将所述第一目标图像的初始特征图和所述第二目标图像的初始特征图进行融合，得到所述第一特征图。
4.根据权利要求3所述的方法，其特征在于，所述对所述第一目标图像进行特征提取，得到所述第一目标图像的初始特征图，包括：
对所述第一目标图像进行第一特征提取，得到第一层次的特征图；
对所述第一层次的特征图进行第二特征提取，得到所述第一目标图像的初始特征图，所述第二特征提取的提取深度大于所述第一特征提取的提取深度。
5.根据权利要求4所述的方法，其特征在于，所述对所述第一层次的特征图进行第二特征提取，得到所述第一目标图像的初始特征图，包括：
基于至少一个特征提取层对所述第一目标图像对应的第一层次的特征图进行第二特征提取；
其中，每个特征提取层包括至少一个特征提取单元，每个特征提取单元包括多级串行的特征提取块，所述特征提取单元的输出为基于所述特征提取单元的最后一级的特征提取块的输出与所述特征提取单元的输入确定的特征图；第一个特征提取单元的输入为所述第一目标图像对应的第一层次的特征图。
6.根据权利要求3～5任一所述的方法，其特征在于，所述将所述第一目标图像的初始特征图和所述第二目标图像的初始特征图进行融合，得到所述第一特征图，包括：
将所述第一目标图像的初始特征图和所述第二目标图像的初始特征图的同一位置的特征点，在不同通道上的特征值进行拼接，得到所述第一特征图。
7.根据权利要求2所述的方法，其特征在于，所述对所述第一特征图进行多次特征处理，生成多个尺寸不同的第一中间特征图，包括根据以下步骤进行当前次特征处理：
针对上一次特征处理输出的不同尺寸的第一中间特征图，分别进行至少一次特征提取处理，得到不同尺寸的第二中间特征图；
将所述不同尺寸的第二中间特征图进行多种融合处理，得到当前次特征处理后的不同尺寸的第一中间特征图。
8.根据权利要求2～7任一所述的方法，其特征在于，所述对所述第二特征图进行语义分割，生成用于表征所述第一目标图像和所述第二目标图像之间图像差异的差异图像，包括：
分别采用不同采样率的空洞卷积核对所述第二特征图进行特征提取，得到不同尺寸的第三中间特征图；
将所述不同尺寸的第三中间特征图进行特征融合，得到第四中间特征图，其中，所述第四中间特征图的每个特征点的特征值表示所述第一目标图像和所述第二目标图像在该特征点对应的位置存在差异的概率；
基于所述第四中间特征图，生成所述差异图像。
9.根据权利要求1～8任一所述的方法，其特征在于，所述差异图像是基于预先训练的神经网络对所述第一目标图像和所述第二目标图像进行处理后得到的；
所述方法还包括通过以下方法训练所述神经网络：
获取至少一组样本图像，以及所述至少一组样本图像对应的标注图像；其中，所述至少一组样本图像包括两张待检测图像，所述标注图像的标注信息用于表示所述两张待检测图像之间的差异信息；
将所述至少一组样本图像中的两张待检测图像输入至待训练的神经网络中，得到所述神经网络输出的预测差异图；所述预测差异图中每个特征点的取值表示所述至少两张待检测图像在该特征点对应位置存在差异的概率；
基于所述预测差异图和所述标注图像计算本次训练过程中的总损失值，并基于所述总损失值，调整所述神经网络的网络参数值。
10.根据权利要求9所述的方法，其特征在于，所述基于所述预测差异图和所述标注图像计算本次训练过程中的总损失值，包括：
基于所述预测差异图中每个像素点的像素值和所述标注图像中每个像素点的标注信息，确定所述预测差异图和所述标注图像之间的交叉熵损失；和/或，
基于所述预测差异图中像素点的像素均值、像素标准差、以及所述预测差异图的像素值和所述标注图像的标注信息之间的协方差，确定结构相似性损失；和/或，
基于所述第一目标图像的尺寸、所述预测差异图中像素点的像素值、以及所述标注图像中像素点的标注信息，确定一致性损失。
11.根据权利要求1至10任一所述的方法，其特征在于，所述差异图像中具有目标像素值的像素点构成的区域为所述目标位置区域中在不同时期中植被发生变化的区域。
12.一种图像检测装置，其特征在于，包括：
获取模块，用于获取在不同时期拍摄的目标位置区域的第一目标图像和第二目标图像；
生成模块，用于基于所述第一目标图像和所述第二目标图像，生成融合所述第一目标图像的特征和所述第二目标图像的特征的第一特征图；
确定模块，用于基于所述第一特征图，确定用于表征所述第一目标图像和所述第二目标图像之间图像差异的差异图像。
13.一种计算机设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至11任一项所述的图像检测方法的步骤。
14.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至11任一项所述的图像检测方法的步骤。
CN202011549317.2A 2020-12-24 2020-12-24 一种图像检测方法、装置、计算机设备及存储介质 Pending CN112529897A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011549317.2A CN112529897A (zh) 2020-12-24 2020-12-24 一种图像检测方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011549317.2A CN112529897A (zh) 2020-12-24 2020-12-24 一种图像检测方法、装置、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
CN112529897A true CN112529897A (zh) 2021-03-19

Family

ID=74976242

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011549317.2A Pending CN112529897A (zh) 2020-12-24 2020-12-24 一种图像检测方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN112529897A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7167239B1 (ja) 2021-04-27 2022-11-08 ジーイー・プレシジョン・ヘルスケア・エルエルシー 学習済みモデルの生成方法、推論装置、医用装置、およびプログラム
CN115330834A (zh) * 2022-07-13 2022-11-11 广东交通职业技术学院 一种运动目标检测方法、系统、装置及存储介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103226826A (zh) * 2013-03-20 2013-07-31 西安电子科技大学 基于局部熵视觉注意模型的遥感图像变化检测方法
CN110378224A (zh) * 2019-06-14 2019-10-25 香港理工大学深圳研究院 一种地物变化的检测方法、检测系统及终端
CN110738100A (zh) * 2019-09-04 2020-01-31 沈阳工业大学 一种基于深度学习的伪装军事目标识别方法及系统
CN111259905A (zh) * 2020-01-17 2020-06-09 山西大学 一种基于下采样的特征融合遥感图像语义分割方法
CN111524106A (zh) * 2020-04-13 2020-08-11 北京推想科技有限公司 颅骨骨折检测和模型训练方法、装置、设备和存储介质
CN111724424A (zh) * 2020-06-24 2020-09-29 上海应用技术大学 图像配准方法
CN111768392A (zh) * 2020-06-30 2020-10-13 创新奇智(广州)科技有限公司 目标检测方法及装置、电子设备、存储介质
CN111814905A (zh) * 2020-07-23 2020-10-23 上海眼控科技股份有限公司 目标检测方法、装置、计算机设备和存储介质
CN111815627A (zh) * 2020-08-24 2020-10-23 成都睿沿科技有限公司 遥感图像变化检测方法、模型训练方法及对应装置
CN111932555A (zh) * 2020-07-31 2020-11-13 商汤集团有限公司 一种图像处理方法及装置、计算机可读存储介质
US20200410273A1 (en) * 2018-08-24 2020-12-31 Tencent Technology (Shenzhen) Company Limited Target detection method and apparatus, computer-readable storage medium, and computer device
US20210192687A1 (en) * 2018-05-30 2021-06-24 Samsung Electronics Co., Ltd. Image processing device and method
US20210248761A1 (en) * 2020-02-10 2021-08-12 Hong Kong Applied Science and Technology Research Institute Company Limited Method for image segmentation using cnn

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103226826A (zh) * 2013-03-20 2013-07-31 西安电子科技大学 基于局部熵视觉注意模型的遥感图像变化检测方法
US20210192687A1 (en) * 2018-05-30 2021-06-24 Samsung Electronics Co., Ltd. Image processing device and method
US20200410273A1 (en) * 2018-08-24 2020-12-31 Tencent Technology (Shenzhen) Company Limited Target detection method and apparatus, computer-readable storage medium, and computer device
CN110378224A (zh) * 2019-06-14 2019-10-25 香港理工大学深圳研究院 一种地物变化的检测方法、检测系统及终端
CN110738100A (zh) * 2019-09-04 2020-01-31 沈阳工业大学 一种基于深度学习的伪装军事目标识别方法及系统
CN111259905A (zh) * 2020-01-17 2020-06-09 山西大学 一种基于下采样的特征融合遥感图像语义分割方法
US20210248761A1 (en) * 2020-02-10 2021-08-12 Hong Kong Applied Science and Technology Research Institute Company Limited Method for image segmentation using cnn
CN111524106A (zh) * 2020-04-13 2020-08-11 北京推想科技有限公司 颅骨骨折检测和模型训练方法、装置、设备和存储介质
CN111724424A (zh) * 2020-06-24 2020-09-29 上海应用技术大学 图像配准方法
CN111768392A (zh) * 2020-06-30 2020-10-13 创新奇智(广州)科技有限公司 目标检测方法及装置、电子设备、存储介质
CN111814905A (zh) * 2020-07-23 2020-10-23 上海眼控科技股份有限公司 目标检测方法、装置、计算机设备和存储介质
CN111932555A (zh) * 2020-07-31 2020-11-13 商汤集团有限公司 一种图像处理方法及装置、计算机可读存储介质
CN111815627A (zh) * 2020-08-24 2020-10-23 成都睿沿科技有限公司 遥感图像变化检测方法、模型训练方法及对应装置

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
史文旭;江金洪;鲍胜利;: "基于特征融合的遥感图像舰船目标检测方法", 光子学报, no. 07, pages 57 - 67 *
周鹏程;龚声蓉;钟珊;包宗铭;戴兴华;: "基于深度特征融合的图像语义分割", 计算机科学, no. 02, pages 126 - 134 *
张小娟;汪西莉;: "完全残差连接与多尺度特征融合遥感图像分割", 遥感学报, no. 09, pages 1120 - 1133 *
张文达;许悦雷;倪嘉成;马时平;史鹤欢;: "基于多尺度分块卷积神经网络的图像目标识别算法", 计算机应用, no. 04, pages 1033 - 1038 *
陈颖;李绩鹏;陈恒实;: "灰度二次校正改进空间变换网络的遥感图像配准", 中国科技论文, no. 08, pages 966 - 972 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7167239B1 (ja) 2021-04-27 2022-11-08 ジーイー・プレシジョン・ヘルスケア・エルエルシー 学習済みモデルの生成方法、推論装置、医用装置、およびプログラム
JP2022172417A (ja) * 2021-04-27 2022-11-16 ジーイー・プレシジョン・ヘルスケア・エルエルシー 学習済みモデルの生成方法、推論装置、医用装置、およびプログラム
CN115330834A (zh) * 2022-07-13 2022-11-11 广东交通职业技术学院 一种运动目标检测方法、系统、装置及存储介质
CN115330834B (zh) * 2022-07-13 2023-06-20 广东交通职业技术学院 一种运动目标检测方法、系统、装置及存储介质

Similar Documents

Publication Publication Date Title
CN110232394B (zh) 一种多尺度图像语义分割方法
CN110738207B (zh) 一种融合文字图像中文字区域边缘信息的文字检测方法
CN111738244B (zh) 图像检测方法、装置、计算机设备和存储介质
CN111126379A (zh) 一种目标检测方法与装置
CN110781756A (zh) 基于遥感图像的城市道路提取方法及装置
CN111860233B (zh) 基于选择注意力网络的sar图像复杂建筑物提取方法及系统
US11714921B2 (en) Image processing method with ash code on local feature vectors, image processing device and storage medium
CN114170167B (zh) 基于注意力引导上下文校正的息肉分割方法和计算机设备
CN112529897A (zh) 一种图像检测方法、装置、计算机设备及存储介质
CN114549913B (zh) 一种语义分割方法、装置、计算机设备和存储介质
CN110210480B (zh) 文字识别方法、装置、电子设备和计算机可读存储介质
CN112651364B (zh) 图像处理方法、装置、电子设备及存储介质
CN111709415B (zh) 目标检测方法、装置、计算机设备和存储介质
JP2022550195A (ja) テキスト認識方法、装置、機器、記憶媒体及びコンピュータプログラム
CN113919444B (zh) 目标检测网络的训练方法、目标检测方法及装置
CN115272691A (zh) 一种钢筋绑扎状态检测模型的训练方法、识别方法及设备
Xu et al. Extended non-local feature for visual saliency detection in low contrast images
CN116740362B (zh) 一种基于注意力的轻量化非对称场景语义分割方法及系统
CN112633085A (zh) 一种基于注意力导向机制的人脸检测方法、系统、存储介质及终端
CN115311550B (zh) 遥感影像语义变化检测方法、装置、电子设备及存储介质
CN111523548A (zh) 一种图像语义分割、智能行驶控制方法及装置
CN115587210A (zh) 一种基于多尺度特征融合的布料图像深度哈希检索方法
CN114463764A (zh) 表格线检测方法、装置、计算机设备和存储介质
CN113496228A (zh) 一种基于Res2Net、TransUNet和协同注意力的人体语义分割方法
CN114758145A (zh) 一种图像脱敏方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination