CN112016400B - 一种基于深度学习的单类目标检测方法、设备及存储介质 - Google Patents

一种基于深度学习的单类目标检测方法、设备及存储介质 Download PDF

Info

Publication number
CN112016400B
CN112016400B CN202010772051.1A CN202010772051A CN112016400B CN 112016400 B CN112016400 B CN 112016400B CN 202010772051 A CN202010772051 A CN 202010772051A CN 112016400 B CN112016400 B CN 112016400B
Authority
CN
China
Prior art keywords
period
module
feature
scene
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010772051.1A
Other languages
English (en)
Other versions
CN112016400A (zh
Inventor
史文中
张敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Research Institute HKPU
Original Assignee
Shenzhen Research Institute HKPU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Research Institute HKPU filed Critical Shenzhen Research Institute HKPU
Priority to CN202010772051.1A priority Critical patent/CN112016400B/zh
Publication of CN112016400A publication Critical patent/CN112016400A/zh
Application granted granted Critical
Publication of CN112016400B publication Critical patent/CN112016400B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/13Satellite images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种基于深度学习的单类目标检测方法、设备及存储介质,通过获取待测地区的第一时期和第二时期感影像数据,基于两时期遥感影像数据,通过已训练的深度多示例变化检测模型,得到与输入对应的门控制器信息和注意力权重信息;根据所述门控制器信息,得到目标类别物体的场景级变化检测信息;根据所述注意力权重信息和门控制器信息,使用轮廓提取方法,得到目标类别物体的变化实例图。本实施例提供的方法,由于使用已训练的深度多示例变化检测模型从两时期遥感影像中学习地物的深度特征,并使用多示例学习框架通过场景级标注样本对网络进行训练,无需要像素级标注样本,提高了单类目标检测的效率,减少了人工资源的消耗。

Description

一种基于深度学习的单类目标检测方法、设备及存储介质
技术领域
本发明涉及遥感领域,尤其涉及一种基于深度学习的单类目标检测方法、设备及存储介质。
背景技术
现有技术中,基于监督机器学习的方法,尤其是基于深度学习的方法,需要大量的标记数据进行训练,而且大多数时候目标地物的尺度和形状各异,例如:提取滑坡这类少数地物的变化为例,在较大的地理范围中,真正的滑坡面积非常小,而非滑坡区域占绝大多数,因此难以获得各种类型的像素级标注训练样本用于分类器的训练,即使通过人工标注也需要耗费大量的时间和精力,因此现有技术中的基于少数地物变化检测算法,检测效率低和精度低。
因此,现有技术有待于进一步的改进。
发明内容
鉴于现有技术的不足,本发明目的在于提供一种基于深度学习的单类目标检测方法、设备及存储介质,以克服现有技术中的单类目标检测方法依赖人工进行像素级样本标注,导致检测效率低,耗费大量人力资源的缺陷。
本发明的技术方案如下:
第一方面,本实施例公开了一种基于深度学习的单类目标检测方法,其中,包括:
分别获取待测地区的第一时期和第二时期感影像数据;
通过已训练的深度多示例变化检测模型,得到与所述输入两时期遥感影像数据对应的门控制器信息和注意力权重信息;
根据所述门控制器信息,得到目标类别物体的场景级变化检测信息;
根据所述注意力权重信息、场景级变化检测信息和门控制器信息,使用轮廓提取方法,得到目标类别物体的变化实例图。
可选的,所述通过已训练的深度多示例变化检测模型,得到与所述两时期遥感影像数据对应的门控制器信息和注意力权重信息的步骤之前,还包括:
将所述两时期遥感影像进行预处理,得到预处理后两时期遥感影像数据。
可选的,所述深度多示例变化检测模型由以下模块构成:
特征提取器模块,用于根据输入预处理后两时期遥感数据分别提取影像中地物的深度特征,得到第一时期深度特征图和第二时期深度特征图;
深度特征差分模块,用于根据所述第一时期深度特征图和第二时期深度特征图进行特征差分,得到深度特征差分图;
变化分析模块,用于根据输入预处理后两时期遥感数据,生成影像差分图;
差分特征叠加模块,用于基于所述的深度特征差分图和影像差分图,得到用于多示例学习的差分特征叠加图;
注意力池化模块,用于根据所述差分特征叠加图,得到注意力池特征图和注意力权重信息;
门控制器模块,用于根据所述注意力池特征图,得到场景级变化检测信息,其中,所述场景级变化检测信息包括:分别对应所述输入预处理后两时期遥感数据的场景发生变化和未发生变化情况的预测值。
轮廓提取模块,用于基于所述场景级变化检测信息、所述注意力权重信息和所述预处理后两时期遥感数据中的第二时期数据,使用轮廓提取算法,得到最终的变化实例图。
可选的,所述深度多示例变化检测模型通过以下步骤进行训练:
根据所述的场景级变化检测信息的预测值和所述对应的场景级变化真值标签计算损失值;
根据所述损失值,利用交叉熵损失函数和随机梯度下降法,通过反向传播算法对所述门控制器模块、所述注意力池化模块和所述特征提取器模块的可训练参数进行修改,并迭代训练,直至所述损失值不再下降,得到训练完成的门控制器模块、注意力池化模块和特征提取器模块;
基于所述训练完成的门控制器模块、注意力池化模块和特征提取器模块,以及没有可训练参数的所述差分特征叠加模块、所述深度特征差分模块和所述变化分析模块,得到训练完成的深度多示例变化检测模型。
可选的,所述预设第一网络模型由权值共享的两个孪生U-Net网络组成。
第二方面,本实施例公开了一种信息处理设备,其中,包括处理器、与处理器通信连接的存储介质,所述存储介质适于存储多条指令;所述处理器适于调用所述存储介质中的指令,以执行实现所述的基于深度学习的单类目标检测方法的步骤。
第三方面,本实施例公开了一种计算机可读存储介质,其中于,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现所述的基于深度学习的单类目标检测方法的步骤。
有益效果:本发明提出了一种基于深度学习的单类目标检测方法、设备及存储介质,通过分别获取待测地区的第一时期和第二时期感影像数据,并基于所述两时期遥感影像数据,通过已训练的深度多示例变化检测模型,得到与所述输入对应的门控制器信息和注意力权重信息;根据所述门控制器信息,得到目标类别物体的场景级变化检测信息;根据所述注意力权重信息和门控制器信息,使用轮廓提取方法,得到目标类别物体的变化实例图。本实施例的单类目标检测方法,由于使用卷积神经网络从两时期遥感影像中学习地物的深度特征,并使用多示例学习框架通过场景级标注样本对网络进行训练,无需要像素级标注样本,提高了单类目标检测的效率,减少了人工资源的消耗。
附图说明
图1是本实施例中所述的基于深度学习的单类目标检测方法的步骤流程图;
图2是本实施例中检测方法的原理示意图;
图3是本实施例中场景级变化检测模型的网络结构示意图;
图4a是本实施例中实验区滑坡前遥感影像示意图;
图4b是本实施例中实验区滑坡后遥感影像示意图;
图4c是本实施例中实验区场景级滑坡真实变化参考图;
图5是应用实施例中所述方法场景变化检测推理过程的步骤流程图;
图6是应用实施例中所述方法训练过程的步骤流程图;
图7a是测试区滑坡前遥感影像示意图;
图7b是测试区滑坡后遥感影像示意图;
图7c是测试区滑坡场景级真实变化参考图;
图7d是测试区滑坡像素级真实变化参考图;
图7e是测试区使用实施例中所述方法提取的场景级滑坡变化结果图;
图7f是测试区使用实施例中所述方法提取的滑坡变化实例初始轮廓图;
图7g是测试区使用实施例中所述方法提取的滑坡变化实例精确轮廓图;
图7h是测试区使用实施例中所述方法提取的滑坡变化实例图;
图8是本发明实施例中信息处理设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确,以下参照附图并举实施例对本发明进一步详细说明。应当理解,此处所描述的具体实施例仅仅用于解释本发明,并不用于限定本发明。
本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解,当我们称元件被“连接”或“耦接”到另一元件时,它可以直接连接或耦接到其他元件,或者也可以存在中间元件。此外,这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语),具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语,应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样被特定定义,否则不会用理想化或过于正式的含义来解释。
发明人发现现有技术中针对少数地物变化检测时,一般都是通过大量的标记数据对预设神经网络模型进行训练,但是因为目标地物的尺度或形状差异较大,比如:滑坡,无法获取各种类型的像素级标注训练样本用于分类器的训练,并且标注的工作是通过人工完成,因此花费大量的人力。因此现有技术中针对这种面积小,并形状各异的目标地物进行检测时,检测的精度低和效率低。
为了克服上述现有技术中出现的问题,本实施例提供了一种基于深度学习的单类目标检测方法、设备及存储介质,先使用卷积神经网络作为深度特征提取器,有效的提取地物深度特征,并且保留地物细节,基于提取的深度特征生成的差分图为每个像素提供了可用于多示例学习的高维特征向量;再使用多示例学习框架,使卷积神经网络能够从场景级标注样本中自动学习地物的深层特征,从而减少对像素级标注样本的需求,通过过滤未变化的场景,缓解单类目标变化检测任务中存在的低似然性问题;基于多示例学习池化层输出的注意力权值矩阵进行目标地物变化实例的提取,通过轮廓提取算法准确提取每个变化实例的边界,最终生成变化实例图。
本实施例由于首先通过场景级变化检测方法滤除大多数未发生变化的场景,再通过轮廓提取方法得到最终具有精确边界的变化实例图,而且不需要像素级的标注样本作为先验知识,因此缓解了变化检测任务中存在的低似然问题和减少对像素级标注样本的依赖,提高单类目标检测方法的可靠性和实用性。
下面结合附图和具体实施例,对本发明所提供的方法、设备及存储介质做进一步详细的说明。
示例性方法
本实施例公开了一种基于深度学习的单类目标检测方法,如图1所示,包括:
步骤S1、分别获取待测地区的第一时期和第二时期感影像数据。
本步骤中首先获取两时期遥感影像数据,两时期遥感影像数据是指不同时期的拍摄到的两组针对同一目标区域的影像数据,指变化发生前T1时刻的遥感影像和变化发生后T2时刻的遥感影像,T1≠T2,即两组遥感影像数据之间具有一定的拍摄时间差值,而两个时期采集到的遥感影像数据分别含有目标物变化前的影像信息和目标物变化后的影像信息,因此对两个时期采集到的遥感影像数据进行变化进行检测,可以得到目标物的变化信息。
在一种实施方式中,采集两时期遥感影像可以通过多个摄像头同步采集不同方位的,不同角度的同一个区域的图像,并将图像拼接成目标区域的全景图像,以实现获取到该目标区域的详细的地面场景信息。
进一步的,当采集到两时期遥感影像数据后,首先对两时期的遥感影像数据进行预处理,所述预处理的步骤包括将采集到的图像进行配准和辐射校正等,得到预处理后两时期遥感影像数据。
步骤S2、通过已训练的深度多示例变化检测模型,得到与所述两时期遥感影像数据对应的门控制器信息和注意力权重信息。
将上述步骤S1中得到的预处理后两时期遥感影像数据输入到训练完成的深度多示例学习模型中,得到与所述输入对应的门控制器信息和注意力权重信息。
结合图2所示,所述深度多示例学习模型主要包括特征提取器模块、深度特征差分模块、变化分析模块、注意力池化模块、门控制器模块和轮廓提取模块。
具体的,结合图5所示,所述深度多示例学习模型通过以下步骤进行推理过程:
步骤S21,根据输入预处理后两时期遥感数据通过特征提取器模块,分别提取影像中地物的深度特征,得到第一时期深度特征图和第二时期深度特征图,具体包括:
利用特征提取器模块从预处理后两时期遥感影像中提取影像中地物的深度特征。所述特征提取器模块为卷积神经网络,在一种实施方式中,该步骤使用的网络为U-Net模型,其结构参阅图3,可以看出U-Net使用大量跳跃连接来使解码器获取到编码器池化过程丢失的特征信息,保留了丰富的细节信息,帮助模型实现利用很少的样本进行端到端的训练,并为每个输入像素提提供概率输出。U-Net主要由卷积层(Conv)、最大化池化层(Maxpooling)和上采样层(Upsample)组成,其中卷积层的卷积核大小为3×3,步幅大小为1,并集成了批归一化层(BN)和整流线性单元(ReLU)。作为深度特征提取器,U-Net最后的卷积层输出64个深度特征图。为了实现变化检测过程,使用了两个U-Net模型通过权值共享的方式构建孪生神经网络,两个网络的深度特征输出的特征图分别为第一时期深度特征图
Figure BDA0002617015620000081
和第二时期深度特征图
Figure BDA0002617015620000082
这里
Figure BDA0002617015620000083
Figure BDA0002617015620000084
是分别以T1和T2作为输入的第k个特征图,总共有64个。U-Net网络的输入影像大小固定为112×112像素,有红、绿、蓝三个波段。
该步骤若所述预处理后两时期遥感数据的像素大小超过112×112,则需要进行分块处理,将所述预处理后两时期遥感数据按顺序裁剪成若干个112×112大小的像素块作为输入分别进行处理,下面推理过程步骤的也同样如此。
步骤S22,利用深度特征差分模块,根据第一时期深度特征图和第二时期深度特征图进行特征差分,得到深度特征差分模块输出的深度特征差分图,具体包括:
通过第一时期深度特征图和第二时期深度特征图计算深度特征差分影像,其计算公式如下:
Figure BDA0002617015620000085
式中,Dk表示是第k个特征的深度特征差分图,总共得到64个大小为112×112像素的深度特征差分图。
步骤S23,利用变化分析模块,根据输入预处理后两时期遥感数据,通过变化分析生成影像差分图,具体包括:
通过所述的预处理后的两时期遥感影像数据,通过变化分析,这里使用矢量变化分析法,计算影像差分图,其计算公式如下:
Figure BDA0002617015620000086
式中,DN1j表示T1时期影像第j波段的像素值,DN2j表示T2时期影像第j波段的像素值,n是总的波段数,这里等于3。
步骤S24,利用差分特征叠加模块,基于深度特征差分图和影像差分图,通过特征叠加,得到用于多示例学习的差分特征叠加图,具体包括:
将所述的维度为112×112×64深度特征差分图Dk和维度为112×112×1的影像差分图DI按照特征数量维度进行叠加,得到的差分特征叠加图FDk的维度为112×112×65,表示有65个像素大小为112×112的差分特征图。
步骤S25,利用注意力池化模块,根据差分特征叠加图,基于多示例学习框架,得到注意力池特征图和注意力权重信息,具体包括:
基于多示例学习框架使用注意力机制池化层实现地物变化特征的提取。多示例学习框架最初是用于药物活动预测中多示例问题的经典机器学习框架,在学习过程中,训练样本是由多个示例组成的包,包是有真值标签而其示例本身没有真值标签。在单类目标变化检测的二分类问题中,以滑坡为例,发生变化的滑坡像素可以看成正例,未变化的像素可以看成反例,则正包表示该包中至少包含一个正例,负包则不包含任何正例,其定义式可以表述为:
Figure BDA0002617015620000091
式中,Y表示包的真值标签,1表示正包,0表示负包,yn表示每个示例的标签,其取值为1或0,分别表示正例和反例,N为包中的示例个数。
由于整个模型的输入为两时期遥感影像,将两时期影像标记为正包表示它包含至少一个正例,即该场景中至少一个包括一个地物变化像素,而标记为负包则表示该场景中没有正例,即没有地物变化像素。因此,上述的Y表示场景级变化真值标签,yn表示像素级变化标签,其中,n=1,2,..,N,且有N=112×112=12544。在多示例学习过程中,输入的训练数据D为具有M个包的集合,记为:
B={B1,B2,…,BM}
式中,Bi表示是具有N个示例的包,即:
Figure BDA0002617015620000101
式中,
Figure BDA0002617015620000102
表示每个示例的特征向量,由步骤S24的差分特征叠加模块生成,即:
Figure BDA0002617015620000103
式中,
Figure BDA0002617015620000104
是可以第k个特征差分影像上的第n个像素的特征值,由步骤S24得到,K是差分特征的总数,即K=65。对应训练数据B的真值标签为:
Y={Y1,Y2,...,YM}
式中,Yi表示场景级标签,取值为1和0,分别表示场景级变化和未变化。由于场景级标签比像素级标签更容易的标注,不需要精确的地物边界信息,因此这些场景级的标签可以通过目视解译高效且准确地获取,耗费的时间和人工成本都很低,这在实际应用中非常重要。
得到用于多示例学习的样本数据后,令M(B)表示基于差分特征叠加图的多示例学习模型,其输出是包B的标签得分概率,而且
Figure BDA0002617015620000105
必须具有置换不变性,这里,基于差分特征叠加图的注意力机制池化层的公式为:
Figure BDA0002617015620000106
式中,Z表示注意力池化特征图,
Figure BDA0002617015620000107
表示注意力权重矩阵,L是其维度,是一个自由参数,这里设置L=128,A的计算公式为:
Figure BDA0002617015620000108
式中,
Figure BDA0002617015620000109
Figure BDA00026170156200001010
是可训练的参数,符号⊙表示逐元素乘法,tanh(.)表示双曲正切激活函数。
所述注意力权重矩阵A根据输入的差分特征叠加图FDk由所述多示例学习模型M(B)训练得到,注意力权重矩阵A与所述差分特征叠加图FDk中各个像素对应的,注意力权重矩阵A的值越高,则说明该示例对所在包的分类结果影像越大,因此对于变化场景,当两时期遥感影像的场景被预测为正包时,正例即变化像素应该具有较高的关注权重,表示该示例是包中的关键示例,影响包的预测结果。
所述注意力池特征图Z根据输入的差分特征叠加图FDk由所述多示例学习模型M(B)计算得到。
步骤S26,根据注意力池特征图,通过门控制器模块得到取值为1或0的信号值,分别对应场景发生变化和未发生变化情况。
所述门控制器模块为二值分类器,门控制器模块用于根据输入的场景生成取值为1和0的信号,分别表示输入的场景属于正包或属于负包,其中,正包是指含有变化像素的数据包,负包是不含有变化像素的数据包,其实现公式如下:
Figure BDA0002617015620000111
式中,0.5表示门控阈值,P(B)为包的预测得分,可以通过以下公式获得:
Figure BDA0002617015620000112
式中,
Figure BDA0002617015620000113
是可训练的参数,Z由步骤S25得到。
进一步的,结合图6所示,所述深度多示例变化检测模型通过以下步骤进行训练:
步骤H1、基于两时期预处理后遥感影像,构建用于深度多示例变化检测模型训练的样本数据集,并进行场景级变化标注,具体包括:
所述预处理后两时期的遥感影像是指变化发生前T1时刻的遥感影像和变化发生后T2时刻的遥感影像,T1≠T2,可以与用于推理过程的两时期的遥感影像相同也,可以不同。并且对两时期遥感影像进行了预处理,所述预处理为遥感领域中的基础步骤,包括但不限于配准和辐射校正等。该。然后利用两时期遥感影像制作训练数据集D,通过随机裁剪、图像镜像、颜色抖动等策略增广该数据集,并按照一定比例随机分成训练集Dtrain和测试集Dtest,每个样本由两个112×112大小的三波段遥感影像块和一个场景级变化真值标签组成,真值标签中1表示正包,即场景中包含目标地物的变化像素,0表示负包,即场景中不包含目标地物的变化像素。
步骤H2,基于深度多示例变化检测模型的门控制器输出的预测概率和对应的场景级变化真值标签计算损失值,具体包括:
将步骤H1所述训练数据集D中的训练样本输入深度多示例变化检测模型,得到门控制器模块的预测概率P(B),在这里,使用交叉熵损失函数计算损失值,其公式为:
L(B)=-Ylog(P(B))-(1-Y)log(1-P(B))
式中,Y表示对应的场景级变化真值标签,取值为1或0,分别表示变化场景(正包)或未变化场景(负包)。
步骤H3,根据损失值,利用交叉熵损失函数和随机梯度下降法,通过反向传播算法对深度多示例变化检测模型中的门控制器模块、注意力池化模块和特征提取器模块的可训练参数进行修改,并迭代训练,直至所述损失值不再下降。
步骤H4,基于已训练的门控制器模块、注意力池化模块和特征提取器模块,以及没有可训练参数的轮廓提取模块、差分特征叠加模块、深度特征差分模块和变化分析模块,得到训练完成的深度多示例变化检测模型。
步骤S3,根据所述门控制器信息,得到目标类别物体的场景级变化检测信息,具体包括:
所述门控制器模块得到的信号值
Figure BDA0002617015620000121
可以看成是预测值,表示包(场景)中是否存在变化像素,取值为1或0,分别对应场景发生变化和未发生变化情况的场景级变化检测信息。
步骤S4,根据所述注意力权重信息和门控制器信息,使用轮廓提取方法,得到目标类别物体的变化实例图,具体包括:
对门控制器模块输出信号为1的场景进行变化实例的轮廓提取,表示该场景发生了有目标地物发生了变化。基于得到的所述的注意力权重矩阵A和所述第二时期遥感影像T2提取变化实例轮廓,这里使用主动轮廓算法进行轮廓提取。
首先使用一个阈值β对A进行二值化,用公式表示为:
Figure BDA0002617015620000131
然后使用轮廓提取算法,从二值图像Ab中提取初始轮廓信息C0,其中C0={c1,c2,..,cn}表示由n个变化实例的初始轮廓组成,在这里,使用OpenCV的findcontour函数实现。
基于初始轮廓信息C0,使用主动轮廓模型算法从第二时期遥感影像T2中提取每个变化实例cn的精确轮廓,得到精确轮廓图,并对精确轮廓图中的每个轮廓进行唯一值填充,最终得到变化实例图BM,其中BM={R1,R2,..,Rn},表示由变化实例的初始轮cn通过主动轮廓算法计算得到精确轮廓后并使用唯一值填充得到变化实例Rn,所述变化实例图是指每个变化实例都是具有唯一标签值的像素组。
与现有变化检测技术相比,本发明实施例综合考虑地物深度特征提取、场景级变化检测和轮廓提取过程:
1、在全面分析现有的变化检测算法和深度学习应用的基础上,提出一种结合深度卷积神经网络和多示例学习的单类目标变化检测方案:该方案使用卷积神经网络从两时期遥感影像中学习地物的深度特征,并结合影像差分图,从而提高结果的准确度。使用多示例学习框架,仅通过场景级标注样本对网络进行训练,无需像素级标注样本。
2、利用场景级变化检测结果过滤大多数未变化场景,可以缓解单类目标变化检测任务中存在的低似然性问题,提高结果的精度和可靠性,其次通过多示例学习框架中的门注意机制定位触发标签的关键区域,使用门控制器信号和轮廓提取方法提取变化实例的精确轮廓,可以最终得到单类目标的变化实例图。
通过以上两点,本发明实施例能够取得较优的变化检测结果。
下面以检测两期遥感影像中的滑坡为例,对本实施例的具体应用示例的进行了精度评估。在本发明实施例中,所述基于遥感影像的变化检测方法应用于计算机、服务器等设备,通过综合考虑通过深度卷积神经网络学习到的地物深度特征、光谱特征和高程信息,提出了一种结合深度学习和多示例学习的变化检测方法,从场景级和像素级进行单类目标变化检测,能够取得较优的变化检测结果。
图4a和图4b为本发明实施例的使用的两时期遥感影像,用于制作训练样本数据集D,包括训练集Dtrain和测试集Dtest,图7a至图7h包含场景级变化检测结果和通过轮廓提取得到的变化实例图,可以发现本发明实施例只需要使用场景级标注样本进行训练就能同时得到场景级的单类目标变化检测结果和最接近真实情况的单类目标变化实例图。
为了定量分析本发明实施例的最终变化检测结果,以滑坡变化检测为例,同时采用场景级和像素级评价方式根据如下混淆矩阵和三个公式进行定量指标的计算:
Figure BDA0002617015620000141
1.召回率(查全率),公式为:
Figure BDA0002617015620000151
2.准确率,公式为:
Figure BDA0002617015620000152
3.F1得分,公式为:
Figure BDA0002617015620000153
表1进一步给出了上述三种变化检测结果的定量分析指标。其中实验数据均包括T1和T2两个时期的遥感影像。图7是测试区的实验结果,(a)表示T1时期影像;(b)表示T2时期影像;(c)表示场景参考影真值;(d)表示像素级参考真值;(e)表示对应步骤S3的场景级变化检测结果;(f)表示对应步骤S4提取的变化实例初始轮廓图;(g)表示对应步骤S4获取的变化实例精确轮廓图,(h)表示对应步骤S4获取的变化实例图。
从表1可知,本发明实施例提供的方法在场景级变化检测取得较好精度的同时,在像素级变化检测过程中也取得较好的变化检测结果。通过实验发现,结合深度学习和多示例学习框架,能够有效的提高变化检测精度,通过场景级变化检测,可以缓解单类目标变化检测中存在的低似然问题和减少对像素级标注样本的依赖,提高方法的可靠性和实用性因此。因此,本发明实施例提供的结合深度学习和多示例学习的变化检测方法最终能够取得较优的单类目标变化检测结果。
表1变化检测结果
P(%) R(%) F1
测试集D<sub>test</sub>场景级检测精度 74.10 95.09 0.83
实验区场景级检测精度 80.00 100.00 0.89
实验区像素级检测精度 79.13 77.58 0.78
示例性设备
本实施例公开了一种信息处理设备,结合图8所示,所述信息处理设备包括处理器30、与处理器30通信连接的存储器22,所述存储器22适于存储多条指令;所述处理器30适于调用所述存储介质中的指令,以执行实现所述的基于深度学习的单类目标检测方法的步骤。
此外,上述的存储器22中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。
存储器22作为一种计算机可读存储介质,可设置为存储软件程序、计算机可执行程序,如本公开实施例中的方法对应的程序指令或模块。处理器30通过运行存储在存储器22中的软件程序、指令或模块,从而执行功能应用以及数据处理,即实现上述实施例中的方法。
存储器22可包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据终端设备的使用所创建的数据等。此外,存储器22可以包括高速随机存取存储器,还可以包括非易失性存储器。例如,U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等多种可以存储程序代码的介质,也可以是暂态存储介质。
另一方面,本实施例还提供了一种计算机可读存储介质,其中,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现所述的基于深度学习的单类目标检测方法的步骤。
本发明提出了一种基于深度学习的单类目标检测方法、设备及存储介质,通过分别获取待测地区的第一时期和第二时期感影像数据,并将所述两时期遥感影像进行预处理,得到预处理后两时期遥感影像数据;基于所述预处理后两时期遥感影像数据,通过已训练的深度多示例变化检测模型,得到与所述输入对应的门控制器信息和注意力权重信息;根据所述门控制器信息,得到目标类别物体的场景级变化检测信息;根据所述注意力权重信息和门控制器信息,使用轮廓提取方法,得到目标类别物体的变化实例图。本实施例的单类目标检测方法,由于使用卷积神经网络从两时期遥感影像中学习地物的深度特征,并使用多示例学习框架通过场景级标注样本对网络进行训练,无需要像素级标注样本,提高了单类目标检测的效率,减少了人工资源的消耗。
可以理解的是,对本领域普通技术人员来说,可以根据本发明的技术方案及其发明构思加以等同替换或改变,而所有这些改变或替换都应属于本发明所附的权利要求的保护范围。

Claims (6)

1.一种基于深度学习的单类目标检测方法,其特征在于,包括:
分别获取待测地区的第一时期和第二时期感影像数据;
通过已训练的深度多示例变化检测模型,得到与所述两时期遥感影像数据对应的门控制器信息和注意力权重信息;
根据所述门控制器信息,得到目标类别物体的场景级变化检测信息;
根据所述注意力权重信息、所述场景级变化检测信息和门控制器信息,使用轮廓提取方法,得到目标类别物体的变化实例图;
所述深度多示例变化检测模型包括:
特征提取器模块,用于根据输入预处理后两时期遥感数据分别提取影像中地物的深度特征,得到第一时期深度特征图和第二时期深度特征图;
深度特征差分模块,用于根据所述第一时期深度特征图和第二时期深度特征图进行特征差分,得到深度特征差分图;
变化分析模块,用于根据输入预处理后两时期遥感数据,生成影像差分图;
差分特征叠加模块,用于基于所述的深度特征差分图和影像差分图,得到用于多示例学习的差分特征叠加图;
注意力池化模块,用于根据所述差分特征叠加图,基于多示例学习框架,得到注意力池特征图和注意力权重信息;
门控制器模块,用于根据所述注意力池特征图,得到场景级变化检测信息,所述场景级变化检测信息包括:分别对应所述输入预处理后两时期遥感数据的场景发生变化和未发生变化情况的预测值;
轮廓提取模块,用于基于所述场景级变化检测信息、所述注意力权重信息和所述预处理后两时期遥感数据中的第二时期数据,使用轮廓提取算法,得到最终的变化实例图。
2.根据权利要求1所述的基于深度学习的单类目标检测方法,其特征在于,所述通过已训练的深度多示例变化检测模型,得到与所述两时期遥感影像数据对应的门控制器信息和注意力权重信息的步骤之前,还包括:
将所述两时期遥感影像进行预处理,得到预处理后两时期遥感影像数据。
3.根据权利要求2所述的基于深度学习的单类目标检测方法,其特征在于,对模型参数进行修正的步骤包括:
基于两时期预处理后遥感影像,构建用于深度多示例变化检测模型训练的样本数据集,根据地物变化像素进行场景级变化标注;
根据所述的深度多示例变化检测模型输出的场景级变化检测信息的预测值和所述对应的场景级变化真值标签计算损失值;
根据所述损失值,利用交叉熵损失函数和随机梯度下降法,通过反向传播算法对所述门控制器模块、所述注意力池化模块和所述特征提取器模块的训练参数进行修改,并迭代训练,直至所述损失值不再下降,得到训练完成的门控制器模块、注意力池化模块和特征提取器模块;
基于所述训练完成的门控制器模块、注意力池化模块和特征提取器模块,以及所述差分特征叠加模块、所述深度特征差分模块和所述变化分析模块,得到训练完成的深度多示例变化检测模型。
4.根据权利要求3所述的基于深度学习的单类目标检测方法,其特征在于,所述特征提取器模块由权值共享的两个U-Net网络组成。
5.一种信息处理设备,其特征在于,包括处理器、与处理器通信连接的存储介质,所述存储介质适于存储多条指令;所述处理器适于调用所述存储介质中的指令,以执行实现上述权利要求1-4任一项所述的基于深度学习的单类目标检测方法的步骤。
6.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现如权利要求1-4任一项所述的基于深度学习的单类目标检测方法的步骤。
CN202010772051.1A 2020-08-04 2020-08-04 一种基于深度学习的单类目标检测方法、设备及存储介质 Active CN112016400B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010772051.1A CN112016400B (zh) 2020-08-04 2020-08-04 一种基于深度学习的单类目标检测方法、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010772051.1A CN112016400B (zh) 2020-08-04 2020-08-04 一种基于深度学习的单类目标检测方法、设备及存储介质

Publications (2)

Publication Number Publication Date
CN112016400A CN112016400A (zh) 2020-12-01
CN112016400B true CN112016400B (zh) 2021-06-29

Family

ID=73498915

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010772051.1A Active CN112016400B (zh) 2020-08-04 2020-08-04 一种基于深度学习的单类目标检测方法、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112016400B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112598024B (zh) * 2020-12-03 2022-08-09 天津理工大学 一种基于深度多示例学习和自注意力的医学图像分类方法
CN112907607B (zh) * 2021-03-15 2024-06-18 德鲁动力科技(成都)有限公司 基于差分注意力的深度学习、目标检测及语义分割方法
CN113505627A (zh) * 2021-03-31 2021-10-15 北京苍灵科技有限公司 遥感数据处理方法、装置、电子设备和存储介质
CN112989792B (zh) * 2021-04-25 2024-04-16 中国人民解放军国防科技大学 事例检测方法和电子设备
CN113537323B (zh) * 2021-07-02 2023-11-07 香港理工大学深圳研究院 一种基于lstm神经网络的室内轨迹误差评估方法
CN113723482B (zh) * 2021-08-20 2024-04-02 西安电子科技大学 基于多示例孪生网络的高光谱目标检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108830157A (zh) * 2018-05-15 2018-11-16 华北电力大学(保定) 基于注意力机制和3d卷积神经网络的人体行为识别方法
CN110222575A (zh) * 2019-05-07 2019-09-10 杭州智尚云科信息技术有限公司 基于注意力机制目标检测的设备综合效率分析方法、装置、系统、设备及存储介质
CN111291622A (zh) * 2020-01-16 2020-06-16 武汉汉达瑞科技有限公司 一种遥感影像中建筑物变化检测的方法及装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7983836B2 (en) * 1997-10-22 2011-07-19 Intelligent Technologies International, Inc. Vehicle-traffic control device communication techniques
CN106056146B (zh) * 2016-05-27 2019-03-26 西安电子科技大学 基于逻辑回归的视觉跟踪方法
CN109389571B (zh) * 2017-08-03 2020-03-17 香港理工大学深圳研究院 一种遥感影像变化检测方法、装置及终端
CN108304846B (zh) * 2017-09-11 2021-10-22 腾讯科技(深圳)有限公司 图像识别方法、装置及存储介质
CN109447092B (zh) * 2018-10-25 2021-08-20 哈尔滨工程大学 基于海冰场景分类的冰间通路提取方法
CN110378224B (zh) * 2019-06-14 2021-01-05 香港理工大学深圳研究院 一种地物变化的检测方法、检测系统及终端

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108830157A (zh) * 2018-05-15 2018-11-16 华北电力大学(保定) 基于注意力机制和3d卷积神经网络的人体行为识别方法
CN110222575A (zh) * 2019-05-07 2019-09-10 杭州智尚云科信息技术有限公司 基于注意力机制目标检测的设备综合效率分析方法、装置、系统、设备及存储介质
CN111291622A (zh) * 2020-01-16 2020-06-16 武汉汉达瑞科技有限公司 一种遥感影像中建筑物变化检测的方法及装置

Also Published As

Publication number Publication date
CN112016400A (zh) 2020-12-01

Similar Documents

Publication Publication Date Title
CN112016400B (zh) 一种基于深度学习的单类目标检测方法、设备及存储介质
Kestur et al. MangoNet: A deep semantic segmentation architecture for a method to detect and count mangoes in an open orchard
Kumar et al. Resnet-based approach for detection and classification of plant leaf diseases
US20220036562A1 (en) Vision-based working area boundary detection system and method, and machine equipment
US10713563B2 (en) Object recognition using a convolutional neural network trained by principal component analysis and repeated spectral clustering
CN105740894B (zh) 一种高光谱遥感图像的语义标注方法
CN109446889B (zh) 基于孪生匹配网络的物体追踪方法及装置
Yu et al. NestNet: A multiscale convolutional neural network for remote sensing image change detection
CN112906720A (zh) 基于图注意力网络的多标签图像识别方法
Wang et al. Tea picking point detection and location based on Mask-RCNN
Travieso et al. Pollen classification based on contour features
CN112819753B (zh) 一种建筑物变化检测方法、装置、智能终端及存储介质
CN114821102A (zh) 密集柑橘数量检测方法、设备、存储介质及装置
Ye et al. An image-based approach for automatic detecting tasseling stage of maize using spatio-temporal saliency
CN112598031A (zh) 一种蔬菜病害检测方法及系统
CN113887472A (zh) 基于级联颜色及纹理特征注意力的遥感图像云检测方法
Varghese et al. INFOPLANT: Plant recognition using convolutional neural networks
Monigari et al. Plant leaf disease prediction
Yun et al. WRA-Net: Wide receptive field attention network for motion deblurring in crop and weed image
Shastry et al. Classification of medicinal leaves using support vector machine, convolutional neural network and you only look once
CN117437691A (zh) 一种基于轻量化网络的实时多人异常行为识别方法及系统
CN114119970B (zh) 目标跟踪方法及装置
CN116246171A (zh) 一种空-谱多尺度高光谱遥感图像目标检测方法及设备
Sari et al. The Effect of Batch Size and Epoch on Performance of ShuffleNet-CNN Architecture for Vegetation Density Classification
CN115578624A (zh) 农业病虫害模型构建方法、检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant