CN110826632A - 图像变化检测方法、装置、设备及计算机可读存储介质 - Google Patents

图像变化检测方法、装置、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN110826632A
CN110826632A CN201911093772.3A CN201911093772A CN110826632A CN 110826632 A CN110826632 A CN 110826632A CN 201911093772 A CN201911093772 A CN 201911093772A CN 110826632 A CN110826632 A CN 110826632A
Authority
CN
China
Prior art keywords
neural network
difference
inputting
change detection
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911093772.3A
Other languages
English (en)
Other versions
CN110826632B (zh
Inventor
汪飙
邹冲
李世行
张元梵
侯鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
WeBank Co Ltd
Original Assignee
WeBank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by WeBank Co Ltd filed Critical WeBank Co Ltd
Priority to CN201911093772.3A priority Critical patent/CN110826632B/zh
Publication of CN110826632A publication Critical patent/CN110826632A/zh
Application granted granted Critical
Publication of CN110826632B publication Critical patent/CN110826632B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种图像变化检测方法、装置、设备及计算机可读存储介质,所述方法包括:将待检测变化的两个原始图像分别输入预设神经网络的共享卷积层,得到所述两个原始图像分别对应的特征图;将所述特征图输入所述神经网络的特征图融合层进行差异融合,得到差异特征图;将所述差异特征图输入所述神经网络的上采样层,并基于上采样结果得到所述两个原始图像的变化检测结果。本发明实现了在不损失图像的原始信息的情况下,获得两个原始图像的深层特征差异,提高了图像变化检测的准确率。

Description

图像变化检测方法、装置、设备及计算机可读存储介质
技术领域
本发明涉及人工智能技术领域,尤其涉及一种图像变化检测方法、装置、设备及计算机可读存储介质。
背景技术
图像的变化检测是指通过分析在不同时间来自同一地区的两幅或多幅图像,检测出该地区的地物随时间发生的变化信息。图像变化检测的应用很广泛,如通过遥感图像的变化检测可以应用于森林资源的动态检测、徒弟覆盖和利用的变化监测、农业资源调查、城市规划布局、环境监测分析等诸多领域。
现有的图像变化检测方案,如《一种遥感图像变化检测方法及装置》,运用图像进行差分,用差分图像进行深度神经网络的二分类学习,对原始图像的差分操作,损害了图像的原始信息,从而降低了图像变化检测的准确率。
发明内容
本发明的主要目的在于提供一种图像变化检测方法、装置、设备及计算机可读存储介质,旨在解决现有方案对原始图像进行差分,通过差分图像进行深度神经网络的二分类学习,损害了图像的原始信息,从而降低了图像变化检测的准确率的技术问题。
为实现上述目的,本发明提供一种图像变化检测方法,所述图像变化检测方法包括:
将待检测变化的两个原始图像分别输入预设神经网络的共享卷积层,得到所述两个原始图像分别对应的特征图;
将所述特征图输入所述神经网络的特征图融合层进行差异融合,得到差异特征图;
将所述差异特征图输入所述神经网络的上采样层,并基于上采样结果得到所述两个原始图像的变化检测结果。
可选地,所述共享卷积层包括多个不同尺度的共享卷积层,所述将待检测变化的两个原始图像分别输入预设神经网络的共享卷积层,得到所述两个原始图像分别对应的特征图的步骤包括:
将待检测变化的两个原始图像分别输入预设神经网络中各个尺度的共享卷积层,得到所述两个原始图像分别在不同尺度下对应的特征图;
所述将所述特征图输入所述神经网络的特征图融合层进行差异融合,得到差异特征图的步骤包括:
将同一尺度下的特征图输入所述神经网络中对应尺度的特征图融合层进行差异融合,得到各个尺度下的差异特征图;
所述将所述差异特征图输入所述神经网络的上采样层,并基于上采样结果得到所述两个原始图像的变化检测结果的步骤包括:
将所述各个尺度下的差异特征图分别输入所述神经网络中对应尺度的上采样层,得到各个尺度下的上采样图;
将所述各个尺度下的上采样图输入所述神经网络的多尺度特征融合层进行特征融合得到掩膜图,将所述掩膜图作为所述两个原始图像的变化检测结果。
可选地,所述将所述各个尺度下的上采样图输入所述神经网络的多尺度特征融合层进行特征融合得到掩膜图的步骤包括:
将所述各个尺度下的上采样图输入所述神经网络的多尺度特征融合层以对所述各个尺度下的上采样图进行逐像素求和,并将各像素点的求和结果输入激活函数,得到由各像素点的二分类结果构成的掩膜图。
可选地,所述将待检测变化的两个原始图像分别输入预设神经网络的共享卷积层,得到所述两个原始图像分别对应的特征图的步骤之前,还包括:
获取多条训练样本数据,其中,一条所述训练样本数据包括一组图像数据和标识所述图像数据中各像素点变化情况的二分类标签;
采用所述多条训练样本数据对待训练的所述神经网络进行训练,得到所述多条训练样本数据对应的掩膜图;
基于所述多条训练样本数据对应的掩膜图和所述二分类标签计算损失函数和梯度信息;
根据所述梯度信息更新所述神经网络的各层参数,迭代训练直到检测到所述损失函数收敛时,得到训练完成的所述神经网络。
可选地,所述所述各个尺度下的差异特征图分别输入所述神经网络中对应尺度的上采样层,得到各个尺度下的上采样图的步骤包括:
将所述各个尺度下的差异特征图分别输入所述神经网络中对应尺度的上采样层,以对所述差异特征图进行反卷积,得到与所述两个原始图像大小相同的各个尺度下的上采样图。
可选地,所述将所述特征图输入所述神经网络的特征图融合层进行差异融合,得到差异特征图的步骤包括:
将所述特征图输入所述神经网络的特征图融合层以计算所述特征图的差值、差值绝对值或差值平方,得到差异特征图。
可选地,所述共享卷积层包括二维卷积核、批归一化层和池化层。
此外,为实现上述目的,本发明还提供一种图像变化检测装置,所述图像变化检测装置包括:
输入模块,用于将待检测变化的两个原始图像分别输入预设神经网络的共享卷积层,得到所述两个原始图像分别对应的特征图;
差异融合模块,用于将所述特征图输入所述神经网络的特征图融合层进行差异融合,得到差异特征图;
上采样模块,用于将所述差异特征图输入所述神经网络的上采样层,并基于上采样结果得到所述两个原始图像的变化检测结果。
此外,为实现上述目的,本发明还提供一种图像变化检测设备,所述图像变化检测设备包括存储器、处理器和存储在所述存储器上并可在所述处理器上运行的图像变化检测程序,所述图像变化检测程序被所述处理器执行时实现如上所述的图像变化检测方法的步骤。
此外,为实现上述目的,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有图像变化检测程序,所述图像变化检测程序被处理器执行时实现如上所述的图像变化检测方法的步骤。
本发明中,将待检测变化的两个原始图像先分别输入神经网络的共享卷积层,通过共享卷积层的结构对原始图像进行特征提取,能够对两个原始图像进行更有效的特征提取,并且不会损失图像的原始信息;将特征提取得到的两个原始图像对应的特征图输入神经网络的特征图融合层进行差异融合,通过引入了特征图融合层,放大了两个比较的原始图像之间的差异部分;将差异融合得到的差异特征图输入神经网络的上采样层,并基于上采样结果得到两个原始图像的变化检测结果。本实施例实现了在不损失图像的原始信息的情况下,获得两个原始图像的深层特征差异,提高了图像变化检测的准确率。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的结构示意图;
图2为本发明图像变化检测方法第一实施例的流程示意图;
图3为本发明实施例涉及的一种共享卷积层的结构示意图;
图4为本发明实施例涉及的一种掩膜图;
图5为本发明实施例涉及的一种用于图像变化检测的神经网络结构示意图;
图6为本发明图像变化检测装置较佳实施例的功能示意图模块图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明实施例提供了一种图像变化检测设备,参照图1,图1是本发明实施例方案涉及的硬件运行环境的结构示意图。
需要说明的是,图1即可为图像变化检测设备的硬件运行环境的结构示意图。本发明实施例图像变化检测设备可以是PC,也可以是智能手机、智能电视机、平板电脑、便携计算机等具有显示功能的终端设备。
如图1所示,该图像变化检测设备可以包括:处理器1001,例如CPU,网络接口1004,用户接口1003,存储器1005,通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
可选地,图像变化检测设备还可以包括摄像头、RF(Radio Frequency,射频)电路,传感器、音频电路、WiFi模块等等。本领域技术人员可以理解,图1中示出的图像变化检测设备结构并不构成对图像变化检测设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及图像变化检测程序。
在图1所示的图像变化检测设备中,网络接口1004主要用于连接后台服务器,与后台服务器进行数据通信;用户接口1003主要用于连接客户端(用户端),与客户端进行数据通信;而处理器1001可以用于调用存储器1005中存储的图像变化检测程序,并执行以下操作:
将待检测变化的两个原始图像分别输入预设神经网络的共享卷积层,得到所述两个原始图像分别对应的特征图;
将所述特征图输入所述神经网络的特征图融合层进行差异融合,得到差异特征图;
将所述差异特征图输入所述神经网络的上采样层,并基于上采样结果得到所述两个原始图像的变化检测结果。
进一步地,所述共享卷积层包括多个不同尺度的共享卷积层,所述将待检测变化的两个原始图像分别输入预设神经网络的共享卷积层,得到所述两个原始图像分别对应的特征图的步骤包括:
将待检测变化的两个原始图像分别输入预设神经网络中各个尺度的共享卷积层,得到所述两个原始图像分别在不同尺度下对应的特征图;
所述将所述特征图输入所述神经网络的特征图融合层进行差异融合,得到差异特征图的步骤包括:
将同一尺度下的特征图输入所述神经网络中对应尺度的特征图融合层进行差异融合,得到各个尺度下的差异特征图;
所述将所述差异特征图输入所述神经网络的上采样层,并基于上采样结果得到所述两个原始图像的变化检测结果的步骤包括:
将所述各个尺度下的差异特征图分别输入所述神经网络中对应尺度的上采样层,得到各个尺度下的上采样图;
将所述各个尺度下的上采样图输入所述神经网络的多尺度特征融合层进行特征融合得到掩膜图,将所述掩膜图作为所述两个原始图像的变化检测结果。
进一步地,所述将所述各个尺度下的上采样图输入所述神经网络的多尺度特征融合层进行特征融合得到掩膜图的步骤包括:
将所述各个尺度下的上采样图输入所述神经网络的多尺度特征融合层以对所述各个尺度下的上采样图进行逐像素求和,并将各像素点的求和结果输入激活函数,得到由各像素点的二分类结果构成的掩膜图。
进一步地,所述将待检测变化的两个原始图像分别输入预设神经网络的共享卷积层,得到所述两个原始图像分别对应的特征图的步骤之前,还包括:
获取多条训练样本数据,其中,一条所述训练样本数据包括一组图像数据和标识所述图像数据中各像素点变化情况的二分类标签;
采用所述多条训练样本数据对待训练的所述神经网络进行训练,得到所述多条训练样本数据对应的掩膜图;
基于所述多条训练样本数据对应的掩膜图和所述二分类标签计算损失函数和梯度信息;
根据所述梯度信息更新所述神经网络的各层参数,迭代训练直到检测到所述损失函数收敛时,得到训练完成的所述神经网络。
进一步地,所述将所述各个尺度下的差异特征图分别输入所述神经网络中对应尺度的上采样层,得到各个尺度下的上采样图的步骤包括:
将所述各个尺度下的差异特征图分别输入所述神经网络中对应尺度的上采样层,以对所述差异特征图进行反卷积,得到与所述两个原始图像大小相同的各个尺度下的上采样图。
进一步地,所述将所述特征图输入所述神经网络的特征图融合层进行差异融合,得到差异特征图的步骤包括:
将所述特征图输入所述神经网络的特征图融合层以计算所述特征图的差值、差值绝对值或差值平方,得到差异特征图。
进一步地,所述共享卷积层包括二维卷积核、批归一化层和池化层。
基于上述的硬件结构,提出本发明图像变化检测方法的各个实施例。
参照图2,本发明图像变化检测方法第一实施例提供一种图像变化检测方法,需要说明的是,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。本发明图像变化检测方法的各个实施例的执行主体可以是PC、智能手机、智能电视机、平板电脑和便携计算机等终端设备,为便于描述,在以下各实施例省略执行主体进行阐述。所述图像变化检测方法包括:
步骤S10,将待检测变化的两个原始图像分别输入预设神经网络的共享卷积层,得到所述两个原始图像分别对应的特征图;
对于待检测变化的两个原始图像,需要检测两个原始图像对比起来发生变化的地方,两个原始图像可以是采集的同一区域的不同时间的图像,如通过遥感卫星或无人机拍摄的同一区域的不同年份的图像。两个原始图像的数据格式可以是包括宽、高和通道数的三维数组(以像素点为单位),如变化前的原始图像input1(w,h,c),变化后的原始图像input2(w,h,c),其中,w表示宽,h表示高,c表示通道数,图像数据的通道数为3。
在本实施例中,预先设置一个神经网络来对两个原始图像进行变化检测,神经网络的结构可以包括输入层、共享卷积层、特征图融合层、上采样层(按顺序连接)。具体地,将两个原始图像分别通过该神经网络的输入层输入共享卷积层。共享卷积层可由两个共享权重参数的二维卷积核构成,将两个原始图像分别输入两个二维卷积核,如两个二维卷积核是A和B,则将input1输入A、将input2输入B。通过共享卷积层提取两个原始图像的图像特征,得到两个原始图像分别对应的特征图。需要说明的是,共享卷积层的个数可以是多个,则通过多个共享卷积层提取原始图像的特征,得到两个原始图像分别对应的多个特征图。
根据共享卷积层的卷积核的尺寸大小不同,得到的特征图的大小不同。但应当不大于原始图像的大小。
进一步地,如图3所示,共享卷积层可包括二维卷积核、批归一化层和池化层,需要说明的是,包括两组共享权重参数的二维卷积核、批归一化层和池化层。通过将二维卷积核对原始图像进行特征提取得到的特征图输入批归一化层进行处理,得到更加标准化的图像数据,再将归一化处理后的特征图输入池化层对特征图进行压缩,使得特征图减小,简化后续的计算复杂度。
步骤S20,将所述特征图输入所述神经网络的特征图融合层进行差异融合,得到差异特征图;
将特征图输入该神经网络的特征图融合层进行差异融合,得到差异特征图。需要说明的是,若有多个共享卷积层,则每个共享卷积层可分别连接一个特征图融合层,也即特征图融合层也可以是多个,将一个共享卷积层输出的两个特征图输入输入该共享卷积层对应的特征图融合层进行差异融合。特征图融合层用于对两个特征图进行差异融合,得到的差异特征图反映两个特征图在每个像素点上的差异情况。
进一步地,步骤S20包括:
步骤S201,将所述特征图输入所述神经网络的特征图融合层以计算所述特征图的差值、差值绝对值或差值平方,得到差异特征图。
将特征图输入该神经网络的特征图融合层进行差异融合,差异融合的方式可以是计算特征图的差值、差值绝对值或差值平方,得到差异特征图。其中,计算特征图的差值是指对两个特征图进行逐像素点求差值,即将两个特征图中对应位置像素点的值求差值;差值绝对值是指进一步对差值求绝对值;差值平方是指进一步对差值求平方。如两个特征图FeatureMap1与FeatureMap2分别是一个a*b*c的矩阵M1与M2,采用差值平方对特征图进行差异融合,则是对M1与M2两个矩阵逐元素求差,再平方,得到差异特征图M3=(M1-M2)2。差异特征图反应了两个特征图在每个像素点上的差异情况。
步骤S30,将所述差异特征图输入所述神经网络的上采样层,并基于上采样结果得到所述两个原始图像的变化检测结果。
将经过特征图融合层进行差异融合得到的差异特征图输入该神经网络的上采样层进行上采样。需要说明的是,若有多个特征图融合层,则每个特征图融合层可对应一个上采样层,也即有多个上采样层,将特征图融合层输出的差异特征图输入与该特征图融合层对应的上采样层进行上采样,则得到的上采样结果有多个。可以是当只有一个上采样层时,将该上采样层的上采样结果作为两个原始图像的变化检测结果;也可以是当有多个上采样层时,对多个上采样结果进行融合,得到原始图像的变化检测结果。
进一步地,对于上采样结果或融合后的上采样结果,可以通过激活函数对各个像素点的值进行处理,得到二分类掩膜图,二分类掩膜图中的包括各个像素点是否变化的分类结果,将二分类掩膜图作为变化检测结果。进一步地,如图4所示,也可以将二分类掩膜图进行可视化输出,以实现端到端的图像变化检测方案,如将变化的像素点和未变化的像素点用不同的颜色渲染,输出渲染后的二分类掩膜图,以供用户根据输出的图像直观地了解两个原始图像对比发生变化的区域,如图4中白色区域为两个原始图像对比发生变化的区域。
在本实施例中,将待检测变化的两个原始图像先分别输入神经网络的共享卷积层,通过共享卷积层的结构对原始图像进行特征提取,能够对两个原始图像进行更有效的特征提取,并且不会损失图像的原始信息;将特征提取得到的两个原始图像对应的特征图输入神经网络的特征图融合层进行差异融合,通过引入了特征图融合层,放大了两个比较的原始图像之间的差异部分;将差异融合得到的差异特征图输入神经网络的上采样层,并基于上采样结果得到两个原始图像的变化检测结果。本实施例实现了在不损失图像的原始信息的情况下,获得两个原始图像的深层特征差异,提高了图像变化检测的准确率。
另外,本实施例提供了一个端到端的图像变化检测方案,使得神经网络的训练和部署过程都很简便,节省了大量数据预处理和后期处理的工作。
进一步的,基于上述第一实施例,本发明图像变化检测方法第二实施例提供一种图像变化检测方法。在本实施例中,所述共享卷积层包括多个不同尺度的共享卷积层,所述步骤S10包括:
步骤S101,将待检测变化的两个原始图像分别输入预设神经网络中各个尺度的共享卷积层,得到所述两个原始图像分别在不同尺度下对应的特征图;
在本实施例中,共享卷积层可包括多个不同尺度的共享卷积层,即神经网络有多个共享卷积层,多个共享卷积层的卷积核尺度不同。如对于尺寸大小为(128,128,3)的原始图像,可以设置32、64、128和256这4个尺度的共享卷积层。如图5所示,包含多个不同尺度的共享卷积层的神经网络,还可包括多个特征图融合层、多个上采样层和一个多尺度特征融合层。
将待检测变化的两个原始图像分别输入神经网络中各个尺度的共享卷积层,得到两个原始图像分别在不同尺度下对应的特征图。如一共有N个共享卷积层,则将两个原始图像input1和input2分别输入每一个共享卷积层,得到两个原始图像分别对应的N个特征图:FeatureMap1n和FeatureMap2n,其中,n=1,2,3…N。
所述步骤S20包括:
步骤S202,将同一尺度下的特征图输入所述神经网络中对应尺度的特征图融合层进行差异融合,得到各个尺度下的差异特征图;
将同一尺度下的特征图输入神经网络中对应尺度的特征图融合层,得到各个尺度下的差异特征图。也即将一个共享卷积层输出的两个特征图输入该共享卷积层连接的特征图融合层,得到该共享卷积层所对应尺度下的差异特征图。如将共享卷积层1输出的两个特征图FeatureMap11和FeatureMap21,输入特征图融合层1,得到共享卷积层1所对应尺度下的差异特征图1;将共享卷积层2输出的两个特征图FeatureMap12和FeatureMap22,输入特征图融合层2,得到共享卷积层2所对应尺度下的差异特征图2。
所述步骤S30包括:
步骤S301,将所述各个尺度下的差异特征图分别输入所述神经网络中对应尺度的上采样层,得到各个尺度下的上采样图;
将各个尺度下的差异特征图分别输入该神经网络中对应尺度的上采样层,得到各个尺度下的上采样图。也即将一个特征图融合层输出的差异特征图输入该特征融合层连接的上采样层,通过上采样层对差异特征图进行上采样,得到该特征融合层所对应尺度下的上采样图。如将上述差异特征图1输入上采样层1,得到共享卷积层1所对应尺度下的上采样图1;将上述差异特征图2输入上采样层2,得到共享卷积层2所对应尺度下的上采样图2。
进一步地,所述步骤S301包括:
步骤S3011,将所述各个尺度下的差异特征图分别输入所述神经网络中对应尺度的上采样层,以对所述差异特征图进行反卷积,得到与所述两个原始图像大小相同的各个尺度下的上采样图。
进一步地,将各个尺度下的差异特征图分别输入该神经网络中对应尺度的上采样层,通过上采样层对差异特征图进行反卷积,得到各个尺度下与两个原始图像大小相同的上采样图。具体地,共享卷积层后面连接的上采样层的反卷积尺度与该共享卷积层的卷积核的尺度对应,如两个原始图像的大小均为(128,128,3),则对于卷积核尺度分别为32、64、128和256的四个共享卷积层,分别进行尺度为2、4、8和16的反卷积计算,得到最终尺度为(128,128,1)的上采样图,与原始图像的大小(宽和高)相同。
步骤S302,将所述各个尺度下的上采样图输入所述神经网络的多尺度特征融合层进行特征融合得到掩膜图,将所述掩膜图作为所述两个原始图像的变化检测结果。
将各个尺度下的上采样图输入该神经网络的多尺度特征融合层进行特征融合,得到掩膜图,将掩膜图所谓两个原始图像的变化检测结果。具体地,多尺度特征融合层可用于对多个上采样图进行特征融合,特征融合的方式有多种,如逐像素求和,或逐像素求平均等。多尺度特征融合层还可包括激活函数,即将特征融合结果输入激活函数,通过激活函数将各个像素点的值进行处理,得到各个像素点二分类结果,各个像素点的二分类结果构成掩膜图。
进一步地,步骤S302包括:
步骤S3021,将所述各个尺度下的上采样图输入所述神经网络的多尺度特征融合层以对所述各个尺度下的上采样图进行逐像素求和,并将各像素点的求和结果输入激活函数,得到由各像素点的二分类结果构成的掩膜图。
进一步地,将各个尺度下的上采样图输入神经网络的多尺度融合层,通过多尺度融合层对各个上采样图进行逐像素求和,得到各像素点的求和结果。将各个像素点的求和结果输入激活函数,得到各个像素点的二分类结果。如上采样得到N个上采样图分别是一个w*h*1的矩阵Mn,对Mn进行逐元素求和,得到一个融合图M=M1+M2+…+MN,将M中各个像素点的值分别输入激活函数,得到各个像素点的二分类结果,如像素点的二分类结果为1,表示该像素点发生变化,二分类结果为0,表示该像素点未发生变化。其中,激活函数可以是softmax函数或sigmoid函数。
在本实施例中,通过引入多尺度的共享卷积层对原始图像进行特征提取,并在最后一层引入多尺度特征融合层对不同尺度下的特征图进行融合,实现了最大限度地提取了两个原始图像在不同卷积尺度上的变化特征。
进一步地,基于上述第一和二实施例,本发明图像变化检测方法第三实施例提供一种图像变化检测方法。在本实施例中,所述步骤S10之前,还包括:
步骤S40,获取多条训练样本数据,其中,一条所述训练样本数据包括一组图像数据和标识所述图像数据中各像素点变化情况的二分类标签;
可预先构建第一实施例或第二实施例中的神经网络结构,作为待训练的神经网络。并预先采集多条训练样本数据,用于训练该神经网络。一条训练样本数据可包括一组图像数据和标识该图像数据中各个像素点变化情况的二分类标签,一组图像数据可以包括两个图像的数据,两个图像大小相同,二分类标签即标识两个图像对应的像素点是否发生变化的标签,如1表示发生变化,0表示未发生变化。训练样本数据中的图像数据可以是预先通过无人机或遥感卫星采集的若干区域在不同时间点的图像,二分类标签可以是人工标注的标签。当需要训练该神经网络时,获取预先采集的多条训练样本数据。
步骤S50,采用所述多条训练样本数据对待训练的所述神经网络进行训练,得到所述多条训练样本数据对应的掩膜图;
采样多条训练样本数据对待训练的该神经网络进行训练,具体地将多条训练样本数据中的图像数据分别输入神经网络,经过神经网络各层结构的处理,输出多条训练样本数据分别对应的掩膜图。也即,一条训练样本数据中的两个图像数据输入神经网络,得到两个图像数据对应的掩膜图。
步骤S60,基于所述多条训练样本数据对应的所述掩膜图和所述二分类标签计算损失函数和梯度信息;
根据多条训练样本数据对应的掩膜图和多条训练样本数据中的二分类标签,计算损失函数和梯度信息。其中,梯度信息是损失函数对该神经网络各层结构的模型参数的梯度信息。损失函数可以是二分类交叉熵损失函数,将各个像素点的真实二分类标签和掩膜图中各个像素点的模型预测分类结果代入损失函数中,计算损失函数值,并计算损失函数对该神经网络各层结构的模型参数的梯度信息。
步骤S70,根据所述梯度信息更新所述神经网络的各层参数,迭代训练直到检测到所述损失函数收敛时,得到训练完成的所述神经网络,以采用训练完成的所述神经网络对待检测变化的所述两个原始图像进行图像变化检测。
根据梯度信息更新神经网络的各层参数(各层结构的模型参数)。一直迭代训练,直到检测到损失函数收敛,即得到训练完成的神经网络。检测损失函数收敛具体可以是检测损失函数值是否小于预设阈值,若小于预设阈值,则确定损失函数收敛,否则,确定未收敛。此外,还可以是当损失函数未收敛,但是训练时间已经达到了预设的最大训练时间时,或当损失函数未收敛,但是迭代训练的次数已经达到了预设的最大训练次数时,结束训练。将最终确定的模型参数作为该神经网络的最终参数,即,得到训练完成的神经网络。
进一步地,在训练完成后,还可以采用测试样本数据对训练完成的神经网络进行测试,以根据测试结果确定神经网络图像变化检测的效果,若效果不好,则可再获取训练样本数据对神经网络进行优化训练。
此外本发明实施例还提出一种图像变化检测装置,参照图6,所述图像变化检测装置包括:
输入模块10,用于将待检测变化的两个原始图像分别输入预设神经网络的共享卷积层,得到所述两个原始图像分别对应的特征图;
差异融合模块20,用于将所述特征图输入所述神经网络的特征图融合层进行差异融合,得到差异特征图;
上采样模块30,用于将所述差异特征图输入所述神经网络的上采样层,并基于上采样结果得到所述两个原始图像的变化检测结果。
进一步地,所述输入模块10还用于:
将待检测变化的两个原始图像分别输入预设神经网络中各个尺度的共享卷积层,得到所述两个原始图像分别在不同尺度下对应的特征图;
所述差异融合模块20还用于:
将同一尺度下的特征图输入所述神经网络中对应尺度的特征图融合层进行差异融合,得到各个尺度下的差异特征图;
所述上采样模块30包括:
上采样单元,用于将所述各个尺度下的差异特征图分别输入所述神经网络中对应尺度的上采样层,得到各个尺度下的上采样图;
特征融合单元,用于将所述各个尺度下的上采样图输入所述神经网络的多尺度特征融合层进行特征融合得到掩膜图,将所述掩膜图作为所述两个原始图像的变化检测结果。
进一步地,所述特征融合单元还用于:
将所述各个尺度下的上采样图输入所述神经网络的多尺度特征融合层以对所述各个尺度下的上采样图进行逐像素求和,并将各像素点的求和结果输入激活函数,得到由各像素点的二分类结果构成的掩膜图。
进一步地,所述图像变化检测装置还包括:
获取模块,用于获取多条训练样本数据,其中,一条所述训练样本数据包括一组图像数据和标识所述图像数据中各像素点变化情况的二分类标签;
训练模块,用于采用所述多条训练样本数据对待训练的所述神经网络进行训练,得到所述多条训练样本数据对应的掩膜图;
计算模块,用于基于所述多条训练样本数据对应的所述掩膜图和所述二分类标签计算损失函数和梯度信息;
更新模块,用于根据所述梯度信息更新所述神经网络的各层参数,迭代训练直到检测到所述损失函数收敛时,得到训练完成的所述神经网络,以采用训练完成的所述神经网络对待检测变化的所述两个原始图像进行图像变化检测。
进一步地,所述上采样单元还用于:
将所述各个尺度下的差异特征图分别输入所述神经网络中对应尺度的上采样层,以对所述差异特征图进行反卷积,得到与所述两个原始图像大小相同的各个尺度下的上采样图。
进一步地,所述差异融合模块还用于:
将所述特征图输入所述神经网络的特征图融合层以计算所述特征图的差值、差值绝对值或差值平方,得到差异特征图。
进一步地,所述共享卷积层包括二维卷积核、批归一化层和池化层。
本发明图像变化检测装置的具体实施方式的拓展内容与上述图像变化检测方法各实施例基本相同,在此不做赘述。
此外,本发明实施例还提出一种计算机可读存储介质,所述计算机可读存储介质上存储有图像变化检测程序,所述图像变化检测程序被处理器执行时实现如上所述图像变化检测方法的步骤。
本发明图像变化检测设备和计算机可读存储介质的具体实施方式的拓展内容与上述图像变化检测方法各实施例基本相同,在此不做赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种图像变化检测方法,其特征在于,所述图像变化检测方法包括:
将待检测变化的两个原始图像分别输入预设神经网络的共享卷积层,得到所述两个原始图像分别对应的特征图;
将所述特征图输入所述神经网络的特征图融合层进行差异融合,得到差异特征图;
将所述差异特征图输入所述神经网络的上采样层,并基于上采样结果得到所述两个原始图像的变化检测结果。
2.如权利要求1所述的图像变化检测方法,其特征在于,所述共享卷积层包括多个不同尺度的共享卷积层,所述将待检测变化的两个原始图像分别输入预设神经网络的共享卷积层,得到所述两个原始图像分别对应的特征图的步骤包括:
将待检测变化的两个原始图像分别输入预设神经网络中各个尺度的共享卷积层,得到所述两个原始图像分别在不同尺度下对应的特征图;
所述将所述特征图输入所述神经网络的特征图融合层进行差异融合,得到差异特征图的步骤包括:
将同一尺度下的特征图输入所述神经网络中对应尺度的特征图融合层进行差异融合,得到各个尺度下的差异特征图;
所述将所述差异特征图输入所述神经网络的上采样层,并基于上采样结果得到所述两个原始图像的变化检测结果的步骤包括:
将所述各个尺度下的差异特征图分别输入所述神经网络中对应尺度的上采样层,得到各个尺度下的上采样图;
将所述各个尺度下的上采样图输入所述神经网络的多尺度特征融合层进行特征融合得到掩膜图,将所述掩膜图作为所述两个原始图像的变化检测结果。
3.如权利要求2所述的图像变化检测方法,其特征在于,所述将所述各个尺度下的上采样图输入所述神经网络的多尺度特征融合层进行特征融合得到掩膜图的步骤包括:
将所述各个尺度下的上采样图输入所述神经网络的多尺度特征融合层以对所述各个尺度下的上采样图进行逐像素求和,并将各像素点的求和结果输入激活函数,得到由各像素点的二分类结果构成的掩膜图。
4.如权利要求1-3任一项所述的图像变化检测方法,其特征在于,所述将待检测变化的两个原始图像分别输入预设神经网络的共享卷积层,得到所述两个原始图像分别对应的特征图的步骤之前,还包括:
获取多条训练样本数据,其中,一条所述训练样本数据包括一组图像数据和标识所述图像数据中各像素点变化情况的二分类标签;
采用所述多条训练样本数据对待训练的所述神经网络进行训练,得到所述多条训练样本数据对应的掩膜图;
基于所述多条训练样本数据对应的掩膜图和所述二分类标签计算损失函数和梯度信息;
根据所述梯度信息更新所述神经网络的各层参数,迭代训练直到检测到所述损失函数收敛时,得到训练完成的所述神经网络。
5.如权利要求2所述的图像变化检测方法,其特征在于,所述将所述各个尺度下的差异特征图分别输入所述神经网络中对应尺度的上采样层,得到各个尺度下的上采样图的步骤包括:
将所述各个尺度下的差异特征图分别输入所述神经网络中对应尺度的上采样层,以对所述差异特征图进行反卷积,得到与所述两个原始图像大小相同的各个尺度下的上采样图。
6.如权利要求1所述的图像变化检测方法,其特征在于,所述将所述特征图输入所述神经网络的特征图融合层进行差异融合,得到差异特征图的步骤包括:
将所述特征图输入所述神经网络的特征图融合层以计算所述特征图的差值、差值绝对值或差值平方,得到差异特征图。
7.如权利要求1至3、5至6任一项所述的图像变化检测方法,其特征在于,所述共享卷积层包括二维卷积核、批归一化层和池化层。
8.一种图像变化检测装置,其特征在于,所述图像变化检测装置包括:
输入模块,用于将待检测变化的两个原始图像分别输入预设神经网络的共享卷积层,得到所述两个原始图像分别对应的特征图;
差异融合模块,用于将所述特征图输入所述神经网络的特征图融合层进行差异融合,得到差异特征图;
上采样模块,用于将所述差异特征图输入所述神经网络的上采样层,并基于上采样结果得到所述两个原始图像的变化检测结果。
9.一种图像变化检测设备,其特征在于,所述图像变化检测设备包括存储器、处理器和存储在所述存储器上并可在所述处理器上运行的图像变化检测程序,所述图像变化检测程序被所述处理器执行时实现如权利要求1至7中任一项所述的图像变化检测方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有图像变化检测程序,所述图像变化检测程序被处理器执行时实现如权利要求1至7中任一项所述的图像变化检测方法的步骤。
CN201911093772.3A 2019-11-11 2019-11-11 图像变化检测方法、装置、设备及计算机可读存储介质 Active CN110826632B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911093772.3A CN110826632B (zh) 2019-11-11 2019-11-11 图像变化检测方法、装置、设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911093772.3A CN110826632B (zh) 2019-11-11 2019-11-11 图像变化检测方法、装置、设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN110826632A true CN110826632A (zh) 2020-02-21
CN110826632B CN110826632B (zh) 2024-02-13

Family

ID=69553752

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911093772.3A Active CN110826632B (zh) 2019-11-11 2019-11-11 图像变化检测方法、装置、设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN110826632B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111815579A (zh) * 2020-06-24 2020-10-23 浙江大华技术股份有限公司 一种图像变化检测方法、装置及计算机可读存储介质
CN112000923A (zh) * 2020-07-14 2020-11-27 中国电力科学研究院有限公司 电网故障诊断方法、系统及设备
CN112330597A (zh) * 2020-10-14 2021-02-05 浙江大华技术股份有限公司 一种图像差异检测方法、装置及计算机设备
CN112766045A (zh) * 2020-12-28 2021-05-07 平安科技(深圳)有限公司 场景变化检测方法、系统、电子装置及存储介质
CN113888537A (zh) * 2021-12-03 2022-01-04 深圳市网旭科技有限公司 掩模提取方法、装置、设备及存储介质
CN113989763A (zh) * 2021-12-30 2022-01-28 江西省云眼大视界科技有限公司 一种视频结构化分析方法和分析系统
CN114049335A (zh) * 2021-11-18 2022-02-15 感知天下(北京)信息科技有限公司 一种基于时空注意力的遥感影像变化检测方法
CN115661492A (zh) * 2022-12-28 2023-01-31 摩尔线程智能科技(北京)有限责任公司 图像比对方法、装置、电子设备、存储介质和程序产品

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108376235A (zh) * 2018-01-15 2018-08-07 深圳市易成自动驾驶技术有限公司 图像检测方法、装置及计算机可读存储介质
CN108447055A (zh) * 2018-03-26 2018-08-24 西安电子科技大学 基于spl和ccn的sar图像变化检测方法
CN108830855A (zh) * 2018-04-02 2018-11-16 华南理工大学 一种基于多尺度低层特征融合的全卷积网络语义分割方法
CN109829880A (zh) * 2018-12-07 2019-05-31 清影医疗科技(深圳)有限公司 一种基于深度学习的ct图像检测方法、装置和控制设备
CN110111366A (zh) * 2019-05-06 2019-08-09 北京理工大学 一种基于多级损失量的端到端光流估计方法
CN110263705A (zh) * 2019-06-19 2019-09-20 上海交通大学 面向遥感技术领域两期高分辨率遥感影像变化检测方法
CN110378224A (zh) * 2019-06-14 2019-10-25 香港理工大学深圳研究院 一种地物变化的检测方法、检测系统及终端

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108376235A (zh) * 2018-01-15 2018-08-07 深圳市易成自动驾驶技术有限公司 图像检测方法、装置及计算机可读存储介质
CN108447055A (zh) * 2018-03-26 2018-08-24 西安电子科技大学 基于spl和ccn的sar图像变化检测方法
CN108830855A (zh) * 2018-04-02 2018-11-16 华南理工大学 一种基于多尺度低层特征融合的全卷积网络语义分割方法
CN109829880A (zh) * 2018-12-07 2019-05-31 清影医疗科技(深圳)有限公司 一种基于深度学习的ct图像检测方法、装置和控制设备
CN110111366A (zh) * 2019-05-06 2019-08-09 北京理工大学 一种基于多级损失量的端到端光流估计方法
CN110378224A (zh) * 2019-06-14 2019-10-25 香港理工大学深圳研究院 一种地物变化的检测方法、检测系统及终端
CN110263705A (zh) * 2019-06-19 2019-09-20 上海交通大学 面向遥感技术领域两期高分辨率遥感影像变化检测方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111815579A (zh) * 2020-06-24 2020-10-23 浙江大华技术股份有限公司 一种图像变化检测方法、装置及计算机可读存储介质
CN111815579B (zh) * 2020-06-24 2024-04-26 浙江大华技术股份有限公司 一种图像变化检测方法、装置及计算机可读存储介质
CN112000923A (zh) * 2020-07-14 2020-11-27 中国电力科学研究院有限公司 电网故障诊断方法、系统及设备
CN112330597A (zh) * 2020-10-14 2021-02-05 浙江大华技术股份有限公司 一种图像差异检测方法、装置及计算机设备
CN112766045A (zh) * 2020-12-28 2021-05-07 平安科技(深圳)有限公司 场景变化检测方法、系统、电子装置及存储介质
CN112766045B (zh) * 2020-12-28 2023-11-24 平安科技(深圳)有限公司 场景变化检测方法、系统、电子装置及存储介质
CN114049335A (zh) * 2021-11-18 2022-02-15 感知天下(北京)信息科技有限公司 一种基于时空注意力的遥感影像变化检测方法
CN114049335B (zh) * 2021-11-18 2022-06-14 感知天下(北京)信息科技有限公司 一种基于时空注意力的遥感影像变化检测方法
CN113888537A (zh) * 2021-12-03 2022-01-04 深圳市网旭科技有限公司 掩模提取方法、装置、设备及存储介质
CN113989763B (zh) * 2021-12-30 2022-04-15 江西省云眼大视界科技有限公司 一种视频结构化分析方法和分析系统
CN113989763A (zh) * 2021-12-30 2022-01-28 江西省云眼大视界科技有限公司 一种视频结构化分析方法和分析系统
CN115661492A (zh) * 2022-12-28 2023-01-31 摩尔线程智能科技(北京)有限责任公司 图像比对方法、装置、电子设备、存储介质和程序产品
CN115661492B (zh) * 2022-12-28 2023-12-29 摩尔线程智能科技(北京)有限责任公司 图像比对方法、装置、电子设备、存储介质和程序产品

Also Published As

Publication number Publication date
CN110826632B (zh) 2024-02-13

Similar Documents

Publication Publication Date Title
CN110826632B (zh) 图像变化检测方法、装置、设备及计算机可读存储介质
CN109447990B (zh) 图像语义分割方法、装置、电子设备和计算机可读介质
CN110598784B (zh) 基于机器学习的建筑垃圾分类方法及装置
CN108648169B (zh) 高压输电塔绝缘子缺陷自动识别的方法及装置
CN113421263B (zh) 零件缺陷检测方法、设备、介质及计算机程序产品
WO2020062360A1 (zh) 一种图像融合分类的方法及装置
CN109961446B (zh) Ct/mr三维图像分割处理方法、装置、设备及介质
CN113470024B (zh) 轮毂内部缺陷检测方法、装置、设备、介质及程序产品
CN114463637B (zh) 一种基于深度学习的冬小麦遥感识别分析方法和系统
CN111160114B (zh) 手势识别方法、装置、设备及计算机可读存储介质
CN112560698A (zh) 图像处理方法、装置、设备和介质
CN111538799A (zh) 热力图构建方法、设备、存储介质及装置
CN115372877B (zh) 基于无人机的变电站的避雷器泄露电流表计巡检方法
CN111598084B (zh) 缺陷分割网络训练方法、装置、设备及可读存储介质
CN110135512B (zh) 图片的识别方法、设备、存储介质及装置
CN111523490A (zh) 口罩佩戴检测方法、装置、设备和可读存储介质
CN111444923A (zh) 自然场景下图像语义分割方法和装置
CN111583417B (zh) 一种图像语义和场景几何联合约束的室内vr场景构建的方法、装置、电子设备和介质
CN116843589A (zh) 遥感图像的融合方法、装置、设备及存储介质
CN112102338A (zh) 基于深度学习的影像样本数据的获取方法及装置
CN114170229B (zh) 印制电路板缺陷图像配准方法、装置、设备及存储介质
CN115731451A (zh) 模型训练方法、装置、电子设备及存储介质
CN112329852A (zh) 地表覆盖影像的分类方法、装置和电子设备
CN114549628A (zh) 一种电力杆倾斜检测方法、装置、设备及存储介质
CN114582012A (zh) 一种骨架人体行为识别方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant