CN111815579A - 一种图像变化检测方法、装置及计算机可读存储介质 - Google Patents
一种图像变化检测方法、装置及计算机可读存储介质 Download PDFInfo
- Publication number
- CN111815579A CN111815579A CN202010592145.0A CN202010592145A CN111815579A CN 111815579 A CN111815579 A CN 111815579A CN 202010592145 A CN202010592145 A CN 202010592145A CN 111815579 A CN111815579 A CN 111815579A
- Authority
- CN
- China
- Prior art keywords
- image
- training
- change detection
- feature map
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000008859 change Effects 0.000 title claims abstract description 120
- 238000001514 detection method Methods 0.000 title claims abstract description 120
- 238000012549 training Methods 0.000 claims abstract description 154
- 238000005070 sampling Methods 0.000 claims abstract description 33
- 238000000034 method Methods 0.000 claims abstract description 31
- 238000010606 normalization Methods 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 13
- 239000002131 composite material Substances 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000011176 pooling Methods 0.000 claims description 3
- 230000006835 compression Effects 0.000 claims description 2
- 238000007906 compression Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000003709 image segmentation Methods 0.000 description 3
- 238000000513 principal component analysis Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000008602 contraction Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种图像变化检测方法、装置及计算机可读存储介质,该方法包括:获取训练数据集,其中,训练数据集包括多个训练样本,每个训练样本包括合成图像;构建变化检测网络,并利用训练数据集训练变化检测网络,生成变化检测模型;将第一待检测图像与第二待检测图像输入变化检测模型中,得到变化检测结果;其中,变化检测网络包括扩展路径,扩展路径包括多个上采样块,每个采样块包括反卷积层、批标准化层或第一卷积层,反卷积层用于对输入的特征图进行上采样,批标准化层用于对反卷积层输出的数据进行标准化处理,第一卷积层用于对批标准化层输出的数据进行特征提取。通过上述方式,本申请能够提高训练速度。
Description
技术领域
本申请涉及图像处理技术领域,具体涉及一种图像变化检测方法、装置及计算机可读存储介质。
背景技术
近年来,卫星遥感成像技术迅速发展,遥感图像因其覆盖地域大的特点被广泛应用,遥感影像变化检测技术也随之快速崛起,遥感图像的变化检测在诸多领域具有广泛的应用,如农业的调查、土地覆盖率检测、城市规划、基站布局勘测、灾害预测以及战场情报分析等。
遥感影像变化检测可以分为利用传统方法和利用深度学习方法,传统方法包括代数运算法、变换法、分类法、基于地理信息系统(GIS,Geographic Information System)的方法、变化向量分析法以及主成分分析聚类法等;但随着土地覆盖变化的复杂性以及遥感数据多样性的不断增加,传统方法耗时长,精度低,需要繁琐的人工干预,逐渐被深度学习方法所取代。但目前基于深度学习的遥感图像变化检测方法存在一些缺点,比如,在采用非监督深度学习网络进行变化检测时,需要大量计算和时间成本,生成的差异图为单一差异图,容易引入误差,且正负样本不均衡,无法解决识别准确率过低的问题;在采用卷积神经网络进行变化检测时,样本库的构建需要大量的标准建筑样本,对于遥感影像这类大尺寸数据,在标注阶段需要大量的人工成本,且训练的结果泛化程度不一,网络很难收敛,导致大量变化区域无法识别出来,而且训练速度较慢,不宜调优。
发明内容
本申请提供一种图像变化检测方法、装置及计算机可读存储介质,能够提高训练速度。
为解决上述技术问题,本申请采用的技术方案是:提供一种图像变化检测方法,该方法包括:获取训练数据集,其中,训练数据集包括多个训练样本,每个训练样本包括合成图像,合成图像为对第一训练图像以及与第一训练图像对应的第二训练图像进行叠加后产生的图像;构建变化检测网络,并利用训练数据集训练变化检测网络,生成变化检测模型;将第一待检测图像与第二待检测图像输入变化检测模型中,得到变化检测结果;其中,变化检测网络包括扩展路径,扩展路径包括多个上采样块,每个采样块包括反卷积层、批标准化层或第一卷积层,反卷积层用于对输入的特征图进行上采样,批标准化层用于对反卷积层输出的数据进行标准化处理,第一卷积层用于对批标准化层输出的数据进行特征提取。
为解决上述技术问题,本申请采用的另一技术方案是:提供一种图像变化检测装置,该图像变化检测装置包括互相连接的存储器和处理器,其中,存储器用于存储计算机程序,计算机程序在被处理器执行时,用于实现上述的图像变化检测方法。
为解决上述技术问题,本申请采用的另一技术方案是:提供一种计算机可读存储介质,该计算机可读存储介质用于存储计算机程序,计算机程序在被处理器执行时,用于实现上述的图像变化检测方法。
通过上述方案,本申请的有益效果是:在获取训练数据集时,对第一训练图像与第二训练图像进行叠加,得到合成图像;然后将合成图像输入变化检测网络中进行训练,得到变化检测模型,该变化检测网络包括多个上采样块,上采样块可包括批标准化层,批标准化层的存在使得变化检测网络的收敛速度加快,能够提高训练速度,更快地训练出变化检测模型。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。其中:
图1是本申请提供的图像变化检测方法一实施例的流程示意图;
图2是图1所示的实施例中上采样块的结构示意图;
图3是图1所示的实施例中第一训练图像、相应的第二训练图像以及变化检测结果的结构示意图;
图4是本申请提供的图像变化检测方法另一实施例的流程示意图;
图5是图4所示的实施例中步骤42的流程示意图;
图6是图4所示的实施例中下采样块的结构示意图;
图7是图4所示的实施例中上采样块的结构示意图;
图8是图4所示的实施例中变化检测网络的结构示意图;
图9是本申请提供的图像变化检测装置一实施例的结构示意图;
图10是本申请提供的计算机可读存储介质一实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性的劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
请参阅图1,图1是本申请提供的图像变化检测方法一实施例的流程示意图,该方法包括:
步骤11:获取训练数据集。
该训练数据集包括多个训练样本,每个训练样本包括合成图像,合成图像为对第一训练图像以及与第一训练图像对应的第二训练图像进行叠加后产生的图像,第一训练图像与第二训练图像分别是同一目标在不同时刻的图像;具体地,第一训练图像与第二训练图像可以为遥感图像,第一训练图像与第二训练图像的大小相同,可从现有数据库中直接获取同一目标在不同时刻的图像或通过卫星采集同一目标在不同时刻的图像;例如,从现有数据库中获取建筑物A在五年前的图像与当前的图像,分别记作第一训练图像与第二训练图像。
步骤12:构建变化检测网络,并利用训练数据集训练变化检测网络,生成变化检测模型。
对于第一训练图像与相应的第二训练图像来说,变化检测为对第一训练图像与第二训练图像中变化的区域进行检测,可将变化的区域看作需要分割的对象,从而将变化检测问题转化为图像分割的二分类问题。
为了进行图像分割可采用变化检测网络,该变化检测网络(CDU-Net,ChangeDetection U-Net)包括扩展路径,扩展路径包括多个上采样块,如图2所示;具体地,每个上采样块可包括依次连接的反卷积层21、批标准化层22或第一卷积层23,反卷积层21用于对输入的特征图进行上采样,该输入的特征图可以为上一个上采样块输出的特征图;批标准化层22用于对反卷积层21输出的数据进行标准化处理,以使得变化检测网络更加容易收敛,提高训练速度;第一卷积层23用于对批标准化层22输出的数据进行特征提取。
步骤13:将第一待检测图像与第二待检测图像输入变化检测模型中,得到变化检测结果。
在利用训练样本对变化检测网络进行训练,得到变化检测模型后,可将待检测的第一待检测图像与第二待检测图像输入变化检测模型中,第一待检测图像与第二待检测图像分别为同一目标在不同时刻的图像,该变化检测模型能够对第一待检测图像与第二待检测图像进行处理,输出第一待检测图像与第二待检测图像之间的变化图像,即变化检测结果;例如,如图3所示,图3(a)为建筑物A在第一年对应的遥感图像I1,图3(b)为建筑物A在第四年对应的遥感图像I2,通过将遥感图像I1与遥感图像I2输入到变化检测模型中,可以得到图3(c)所示的变化检测结果。
本实施例提供了一种基于变化检测网络的多时相影像变化检测方法,通过对第一训练图像与第二训练图像进行叠加,得到合成图像,将合成图像输入变化检测网络中进行训练,从而得到变化检测模型,由于加入批标准化层22,使得变化检测网络的收敛速度加快,能够降低训练时间;另外,由于待检测图像中的变化区域一般不大,变化检测网络具有的超大图像分割和多尺度分割的特性能够适用于正负样本不均衡的情况,获得更好的检测性能,可提高检测精度。
请参阅图4,图4是本申请提供的图像变化检测方法另一实施例的流程示意图,该方法包括:
步骤41:获取多张第一训练图像与多张第二训练图像。
可通过遥感卫星进行拍摄,得到同一目标在不同时刻的图像,分别记作第一训练图像与第二训练图像,该目标可以为建筑物或土地等。
步骤42:对多张第一训练图像与多张第二训练图像进行预处理,并获取相应的标签图像。
训练样本包括合成图像以及第一训练图像与第二训练图像之间的标签图像,该标签图像可以为人工根据第一训练图像与相应的第二训练图像之间的变化而标注出来的图像,标签图像与训练图像(包括第一训练图像与第二训练图像)的大小相同。
进一步地,可以对多张第一训练图像与多张第二训练图像进行图像配准、图像拉伸、归一化或直方图均衡化处理,并在对训练图像进行预处理后,通过人工直接标注前后多时相图像中的变化区域,得到标签图像,由于进行了预处理,能够去除一些干扰因素,使得人工标注的工作量大大减少,且标注质量也有一定的提高;具体地,该标签图像可以为二值图,其为单通道图像,像素值为0或255,像素值为0的像素为没有变化的区域,像素值为255的像素为发生变化的区域,或者像素值为0的像素为发生变化的区域,像素值为255的像素为没有变化的区域。
在一具体的实施例中,在对多张第一训练图像与多张第二训练图像进行图像拉伸时,可采用线性拉伸的方式,具体如图5所示:
步骤421:将第一训练图像与第二训练图像中像素值小于第一预设像素值的像素值设置为第一预设像素值。
对于每一张训练图像,可以判断训练图像中的每个像素值与第一预设像素值以及第二预设像素值之间的大小关系,该第一预设像素值小于第二预设像素值;如果训练图像中的像素值小于第一预设像素值,则对该像素值进放大,将其设置为第一预设像素值。
步骤422:将第一训练图像与第二训练图像中像素值大于第二预设像素值的像素值设置为第二预设像素值。
如果训练图像中的像素值大于第二预设像素值,则对该像素值进行缩小,将其设置为第二预设像素值。
步骤423:对第一训练图像与第二训练图像中像素值大于第一预设像素值且小于第二预设像素值的像素值进行线性拉伸,以使得拉伸后的像素值位于预设像素范围以内。
如果训练图像中的像素值大于第二预设像素值且小于第二预设像素值,则对该像素值进行线性放缩,使得处理后的像素值位于预设像素范围以内,该预设像素范围的下限值为第一预设像素值,预设像素范围的上限值为第二预设像素值。
例如,训练图像包括4个通道,训练图像的像素值分布在0到2250之间,对每个通道采用2%线性拉伸的方法进行通道拉伸,0~450和2205~2300之间的像素值认为是占比非常少的图像噪声部分,可将它们分别设置为0与255,而对于像素值451~2204,将其线性变换到0~255,从而实现通道拉伸,在通道拉伸处理后,可以消除因为光照和偏移产生的黑边对原始图像的影响。
在对训练图像中的各个通道拉伸完以后,由于不同通道的像素分布可能有很大的不一致,对于变化检测模型来说不容易适应多种分布,因而可对每个通道进行归一化,使得每个通道的像素值尽可能分布一致。
此外,由于整体拉伸可能会损失一些细节信息,不利于模型泛化,因而可采用随机进行均值改变或方差改变的方法来进行数据增强,尽可能增强变化检测模型在不同分布下的泛化性。
步骤43:将第一训练图像与相应的第二训练图像进行叠加,得到合成图像。
第一训练图像与第二训练图像可以为4通道图像,如RGBA(R:Red,红色;G:Greeen,绿色;B:Blue,蓝色;A:Alpha,不透明度),充分利用多通道优势,叠加两张两时相的训练图像,得到八通道的合成图像。
步骤44:将合成图像与标签图像裁剪成预设尺寸的图像,并对裁剪后的合成图像与标签图像进行数据增强处理。
为了降低计算成本,可将图像裁剪成比较小的尺寸,即在合成图像与相应的标签图像中随机切割出一个预设尺寸的图像作为输入的训练样本,该预设尺寸可以为960*960;例如,对于1024*1024的合成图像,从该合成图像中随机选出一个960*960的小图像,并从相应的标签图像中截取相同位置和大小的图像来作为训练样本。
同时为了避免变化检测网络在小数据集上产生过拟合现象,可对训练样本进行随机旋转、水平翻转或垂直翻转,随机旋转的角度可为90°、180°或270°;并可添加图像扭曲、尺度缩放、噪声干扰以及颜色变化等,以丰富训练集,提升变化检测网络的泛化能力。
步骤45:构建变化检测网络,并利用训练数据集训练变化检测网络,生成变化检测模型。
基于上述步骤得到的训练数据集,对所构建的变化检测网络进行训练,该变化检测网络包括扩展路径与收缩路径。
压缩路径包括多个下采样块,如图6所示,每个下采样块包括两个第二卷积层、两个激活层或池化层;具体地,第二卷积层的大小可以为2*2,池化层的大小可以为2*2,在每一次下采样后特征通道的数量加倍,特征图的大小减半。
扩展路径包括多个与下采样块对应的上采样块,如图7所示,上采样块包括反卷积层、批标准化层、两个第一卷积层或两个激活层,反卷积层用于对输入的特征图进行上采样,批标准化层用于对反卷积层输出的数据进行标准化处理,第一卷积层用于对批标准化层输出的数据进行特征提取,具体地,第一卷积层的大小可以为2*2,每次使用反卷积层后特征通道的数量减半,特征图的大小加倍。
如图8所示,可将合成图像输入第一个下采样块611,第一个下采样块611对该合成图像进行处理,输出特征图至第二个下采样块612与第四个上采样块624;第二个下采样块612对第一个下采样块611输出的特征图进行处理,并输出特征图至第三个下采样块613与第三个上采样块623;第三个下采样块613对第二个下采样块612输出的特征图进行处理,并输出特征图至第四个下采样块614与第二个上采样块622;第四个下采样块614对第三个下采样块613输出的特征图进行处理,并输出特征图至第五个下采样块615与第一个上采样块621。
进一步地,由于多个下采样块中除最后一个下采样块外的其他下采样块中第二个激活层输出的特征图的尺寸可能比较大,可对第一个下采样块611至第四个下采样块614中第二个激活层输出的特征图进行裁剪,得到下采样特征图;获取与下采样块对应的上采样块中的反卷积层输出的特征图,记作上采样特征图;将下采样特征图与相应的上采样特征图进行拼接,得到拼接特征图,该下采样特征图与上采样特征图的大小相同;将拼接特征图输入相应的批标准化层;然后利用对应的上采样块中的第一卷积层对批标准化层输出的特征图进行处理,每一个上采样块输出的数据可输出至下一个上采样块中;例如,假设第四个下采样块614输出的特征图的大小为64*64*512,对其进行裁剪得到下采样特征图A,下采样特征图A的大小为56*56*512,第一个上采样块621中反卷积层输出的特征图记作上采样特征图B,上采样特征图B的大小为56*56*512,将下采样特征图A与上采样特征图B进行拼接,从而得到拼接特征图C,拼接特征图C的大小为56*56*1024,然后将拼接特征图C输入第一个上采样块621中的批标准化层进行处理。
在最后一个上采样块(即第四个上采样块624)输出特征图后,可对最后一个上采样块输出的特征图进行处理,得到预测检测结果;具体地,可对最后一个上采样块输出的特征图进行卷积,所采用的卷积核的大小为1*1,以将多通道的特征图转化为二通道的特征图,即为预测检测结果,激活层中的激活函数可以为线性整流函数(ReLU,RectifiedLinear Unit)。
在获取到预测检测结果后,可利用Tversky损失函数计算预测检测结果与相应的标签图像之间的损失值,该Tversky损失函数的计算公式如下:
其中,A为预测值,B为标签值,∣A-B∣为假正例,∣B-A∣为假负例,α和β分别用于控制假正例和假负例;例如,对于训练样本中正负样本极度不均衡的状况,可设α=0.3,β=0.7,从而可以控制假正例和假负例之间的平衡,提升识别准确率。
在计算出损失值后,可判断损失值是否小于预设损失值;若损失值小于预设损失值,则得到变化检测网络;若损失值大于或等于预设损失值,则调整变化检测网络中的参数,返回将合成图像输入第一个下采样块611的步骤,继续进行训练,直至损失值小于预设损失值,即训练网络直至损失值收敛。
在其他实施例中,还可以进一步设置训练结束的条件,在当前训练轮数大于预设轮数阈值时,可停止训练;例如,预设轮数阈值为200,则在进行第200次训练后,即使当前损失值不小于预设损失值,也停止训练。
进一步地,可在训练过程采用随机梯度下降(SGD,Stochastic GradientDescent)的方法和反向传播的方法来调整网络中的参数,并采用动态学习率调整策略,学习率可跟随预设轮数阈值与当前训练轮数而自适应调整;例如,当预设轮数阈值为30时,学习率的初始值为1e-2,则当训练轮数为3时,学习率调整为1e-3;当训练轮数为8时,训练轮数调整为1e-4;当训练轮数为15时,学习率调整为1e-5;当预设轮数阈值为200时,学习率的初始值为1e-2,则当训练轮数为20时,学习率调整为1e-3;当训练轮数为53时,训练轮数调整为1e-4;当训练轮数为150时,学习率调整为1e-5。
为了对待检测图像进行检测,可采用与训练图像相同的处理方式,对待检测的前后多时相图像进行处理,经预处理、叠加以及切割后,生成待测数据集。
步骤46:利用滑窗法分别对第一待检测图像与第二待检测图像进行分割,得到多个第一子图像与多个第二子图像。
对于待测数据集中的待检测图像(包括第一待检测图像与相应的第二待检测图像),可进行滑动分割,得到多个子图像(包括第一子图像与第二子图像);例如,在对待检测图像进行切割时,可按照1:5的比例重叠滑动窗口,即如果滑动窗口的大小为20*20,则相邻两个滑动窗口重叠4*20个像素或20*4个像素。
步骤47:将每个第一子图像与相应的个第二子图像输入变化检测模型,得到多个子检测结果,并对多个子检测结果进行拼接,得到变化检测结果。
对每个第一子图像对应的预测结果进行拼接,生成变化检测结果与F1分数,可以避免将大图像切割成小图像时边缘预测不准确的情况,利用图像重叠策略来消除边缘的影响。
进一步地,F1分数是精确率和召回率的调和平均数,最大为1,最小为0,F1分数的计算公式如下:
其中,F1_score为F1分数,tp为预测正确,fp为错将其他类预测为本类,fn为错将本类预测为其他类。
本实施例可叠加多时相图像,利用变化检测模型可直接得到待检测图像中的变化区域,不需要进行耗时的建筑数据的标注,可以节省大量的人力和时间成本,提高效率,且不需要再使用耗时的主成分分析(PCA,Principal Components Analysis)来计算灰度值等传统手段,同时不会引入因灰度值相近所产生的误差;针对遥感影像变化检测中变化区域在原始图像中占比较小的特点,修改网络中的损失函数为Tversky损失函数,可以解决正负样本不均衡的问题,通过较少的样本也可以很好的解决识别率过低的问题,同时结合通道拉伸、归一化、直方图均衡化或数据增强等操作,可以使得网络更加容易收敛,有助于提高网络的训练速度以及准确率。
参阅图9,图9是本申请提供的图像变化检测装置一实施例的结构示意图,图像变化检测装置90包括互相连接的存储器91和处理器92,其中,存储器91用于存储计算机程序,计算机程序在被处理器92执行时,用于实现上述实施例中的图像变化检测方法。
本实施例提供了一种图像变化检测装置90,不需要多余的时间损耗,提高了变化检测精度和自动化程度,以应对海量数据,从而有助于减轻人力负担,提高工作效率。
请参阅图10,图10是本申请提供的计算机可读存储介质一实施例的结构示意图,计算机可读存储介质100用于存储计算机程序101,计算机程序101在被处理器执行时,用于实现上述实施例中的图像变化检测方法。
计算机可读存储介质100可以是服务端、U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本申请所提供的几个实施方式中,应该理解到,所揭露的方法以及设备,可以通过其它的方式实现。例如,以上所描述的设备实施方式仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外,在本申请各个实施方式中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
以上仅为本申请的实施例,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。
Claims (10)
1.一种图像变化检测方法,其特征在于,包括:
获取训练数据集,其中,所述训练数据集包括多个训练样本,每个所述训练样本包括合成图像,所述合成图像为对第一训练图像以及与所述第一训练图像对应的第二训练图像进行叠加后产生的图像;
构建变化检测网络,并利用所述训练数据集训练变化检测网络,生成变化检测模型;
将第一待检测图像与第二待检测图像输入所述变化检测模型中,得到变化检测结果;
其中,所述变化检测网络包括扩展路径,所述扩展路径包括多个上采样块,每个所述采样块包括反卷积层、批标准化层或第一卷积层,所述反卷积层用于对输入的特征图进行上采样,所述批标准化层用于对所述反卷积层输出的数据进行标准化处理,所述第一卷积层用于对所述批标准化层输出的数据进行特征提取。
2.根据权利要求1所述的图像变化检测方法,其特征在于,所述训练样本还包括所述第一训练图像与所述第二训练图像之间的标签图像,所述获取训练数据集的步骤,包括:
获取多张所述第一训练图像与多张所述第二训练图像,其中,所述第一训练图像与所述第二训练图像分别是同一目标在不同时刻的图像;
对多张所述第一训练图像与多张所述第二训练图像进行预处理,并获取相应的所述标签图像;
将所述第一训练图像与相应的所述第二训练图像进行叠加,得到所述合成图像。
3.根据权利要求2所述的图像变化检测方法,其特征在于,所述对多张所述第一训练图像与多张所述第二训练图像进行预处理的步骤,包括:
对所述第一训练图像与所述第二训练图像进行图像配准、图像拉伸、归一化或直方图均衡化处理。
4.根据权利要求3所述的图像变化检测方法,其特征在于,对多张所述第一训练图像与多张所述第二训练图像进行图像拉伸的步骤,包括:
将所述第一训练图像与所述第二训练图像中像素值小于第一预设像素值的像素值设置为所述第一预设像素值;
将所述第一训练图像与所述第二训练图像中像素值大于第二预设像素值的像素值设置为所述第二预设像素值;
对所述第一训练图像与所述第二训练图像中像素值大于所述第一预设像素值且小于所述第二预设像素值的像素值进行线性拉伸,以使得拉伸后的像素值位于预设像素范围以内;
其中,所述预设像素范围的下限值为所述第一预设像素值,所述预设像素范围的上限值为所述第二预设像素值。
5.根据权利要求2所述的图像变化检测方法,其特征在于,所述将所述第一训练图像与相应的所述第二训练图像进行叠加,得到所述合成图像的步骤之后,包括:
将所述合成图像与所述标签图像裁剪成预设尺寸的图像;
对裁剪后的合成图像与标签图像进行数据增强处理。
6.根据权利要求1所述的图像变化检测方法,其特征在于,所述变化检测网络还包括压缩路径,所述压缩路径包括多个下采样块,每个所述下采样块包括两个第二卷积层、两个激活层或池化层,所述方法包括:
将所述合成图像输入第一个所述下采样块;
对所述多个下采样块中除最后一个所述下采样块外的其他下采样块中第二个所述激活层输出的特征图进行裁剪,得到下采样特征图;
获取与所述下采样块对应的所述上采样块中的所述反卷积层输出的特征图,记作上采样特征图;
将所述下采样特征图与相应的所述上采样特征图进行拼接,得到拼接特征图,其中,所述下采样特征图与所述上采样特征图的大小相同;
将所述拼接特征图输入相应的所述批标准化层;
利用所述第一卷积层对所述批标准化层输出的特征图进行处理;
对最后一个所述上采样块输出的特征图进行处理,得到预测检测结果。
7.根据权利要求6所述的图像变化检测方法,其特征在于,所述对最后一个所述上采样块输出的特征图进行处理,得到预测检测结果的步骤之后,包括:
利用Tversky损失函数计算所述预测检测结果与相应的所述标签图像之间的损失值;
判断所述损失值是否小于预设损失值;
若是,则得到所述变化检测网络;
若否,则调整所述变化检测网络中的参数,返回将所述合成图像输入第一个所述下采样块的步骤,继续进行训练,直至所述损失值小于所述预设损失值。
8.根据权利要求1所述的图像变化检测方法,其特征在于,所述将第一待检测图像与第二待检测图像输入所述变化检测模型中,得到变化检测结果的步骤,包括:
利用滑窗法分别对所述第一待检测图像与所述第二待检测图像进行分割,得到多个第一子图像与多个第二子图像;
将每个所述第一子图像与相应的所述第二子图像输入所述变化检测模型,得到多个子检测结果;
对所述多个子检测结果进行拼接,得到所述变化检测结果。
9.一种图像变化检测装置,其特征在于,包括互相连接的存储器和处理器,其中,所述存储器用于存储计算机程序,所述计算机程序在被所述处理器执行时,用于实现权利要求1-8中任一项所述的图像变化检测方法。
10.一种计算机可读存储介质,用于存储计算机程序,其特征在于,所述计算机程序在被处理器执行时,用于实现权利要求1-8中任一项所述的图像变化检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010592145.0A CN111815579B (zh) | 2020-06-24 | 2020-06-24 | 一种图像变化检测方法、装置及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010592145.0A CN111815579B (zh) | 2020-06-24 | 2020-06-24 | 一种图像变化检测方法、装置及计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111815579A true CN111815579A (zh) | 2020-10-23 |
CN111815579B CN111815579B (zh) | 2024-04-26 |
Family
ID=72856426
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010592145.0A Active CN111815579B (zh) | 2020-06-24 | 2020-06-24 | 一种图像变化检测方法、装置及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111815579B (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112396594A (zh) * | 2020-11-27 | 2021-02-23 | 广东电网有限责任公司肇庆供电局 | 变化检测模型获取方法及装置、变化检测方法、计算机设备及可读存储介质 |
CN112633156A (zh) * | 2020-12-22 | 2021-04-09 | 浙江大华技术股份有限公司 | 车辆检测方法、图像处理装置以及计算机可读存储介质 |
CN112800895A (zh) * | 2021-01-18 | 2021-05-14 | 内蒙古电力(集团)有限责任公司乌兰察布电业局 | 基于深度学习算法识别建筑物的方法 |
CN112949388A (zh) * | 2021-01-27 | 2021-06-11 | 上海商汤智能科技有限公司 | 一种图像处理方法、装置、电子设备和存储介质 |
CN113076816A (zh) * | 2021-03-17 | 2021-07-06 | 上海电力大学 | 基于红外与可见光图像的太阳能光伏组件热斑识别方法 |
CN114973028A (zh) * | 2022-05-17 | 2022-08-30 | 中国电子科技集团公司第十研究所 | 一种航拍视频图像实时变化检测方法及系统 |
CN116503737A (zh) * | 2023-05-10 | 2023-07-28 | 中国人民解放军61646部队 | 基于空间光学图像的船舶检测方法和装置 |
CN112633156B (zh) * | 2020-12-22 | 2024-05-31 | 浙江大华技术股份有限公司 | 车辆检测方法、图像处理装置以及计算机可读存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109886106A (zh) * | 2019-01-15 | 2019-06-14 | 浙江大学 | 一种基于深度学习的遥感图像建筑物变化检测方法 |
CN110555399A (zh) * | 2019-08-23 | 2019-12-10 | 北京智脉识别科技有限公司 | 手指静脉识别方法、装置、计算机设备及可读存储介质 |
US20200005460A1 (en) * | 2018-06-28 | 2020-01-02 | Shenzhen Imsight Medical Technology Co. Ltd. | Method and device for detecting pulmonary nodule in computed tomography image, and computer-readable storage medium |
CN110826632A (zh) * | 2019-11-11 | 2020-02-21 | 深圳前海微众银行股份有限公司 | 图像变化检测方法、装置、设备及计算机可读存储介质 |
-
2020
- 2020-06-24 CN CN202010592145.0A patent/CN111815579B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200005460A1 (en) * | 2018-06-28 | 2020-01-02 | Shenzhen Imsight Medical Technology Co. Ltd. | Method and device for detecting pulmonary nodule in computed tomography image, and computer-readable storage medium |
CN109886106A (zh) * | 2019-01-15 | 2019-06-14 | 浙江大学 | 一种基于深度学习的遥感图像建筑物变化检测方法 |
CN110555399A (zh) * | 2019-08-23 | 2019-12-10 | 北京智脉识别科技有限公司 | 手指静脉识别方法、装置、计算机设备及可读存储介质 |
CN110826632A (zh) * | 2019-11-11 | 2020-02-21 | 深圳前海微众银行股份有限公司 | 图像变化检测方法、装置、设备及计算机可读存储介质 |
Non-Patent Citations (1)
Title |
---|
宁霄;赵鹏;: "基于U-Net卷积神经网络的年轮图像分割算法", 生态学杂志, no. 05 * |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112396594A (zh) * | 2020-11-27 | 2021-02-23 | 广东电网有限责任公司肇庆供电局 | 变化检测模型获取方法及装置、变化检测方法、计算机设备及可读存储介质 |
CN112396594B (zh) * | 2020-11-27 | 2024-03-29 | 广东电网有限责任公司肇庆供电局 | 变化检测模型获取方法及装置、变化检测方法、计算机设备及可读存储介质 |
CN112633156A (zh) * | 2020-12-22 | 2021-04-09 | 浙江大华技术股份有限公司 | 车辆检测方法、图像处理装置以及计算机可读存储介质 |
CN112633156B (zh) * | 2020-12-22 | 2024-05-31 | 浙江大华技术股份有限公司 | 车辆检测方法、图像处理装置以及计算机可读存储介质 |
CN112800895B (zh) * | 2021-01-18 | 2024-02-27 | 内蒙古电力(集团)有限责任公司乌兰察布电业局 | 基于深度学习算法识别建筑物的方法 |
CN112800895A (zh) * | 2021-01-18 | 2021-05-14 | 内蒙古电力(集团)有限责任公司乌兰察布电业局 | 基于深度学习算法识别建筑物的方法 |
CN112949388A (zh) * | 2021-01-27 | 2021-06-11 | 上海商汤智能科技有限公司 | 一种图像处理方法、装置、电子设备和存储介质 |
WO2022160753A1 (zh) * | 2021-01-27 | 2022-08-04 | 上海商汤智能科技有限公司 | 图像处理方法、装置、电子设备和存储介质 |
CN112949388B (zh) * | 2021-01-27 | 2024-04-16 | 上海商汤智能科技有限公司 | 一种图像处理方法、装置、电子设备和存储介质 |
CN113076816A (zh) * | 2021-03-17 | 2021-07-06 | 上海电力大学 | 基于红外与可见光图像的太阳能光伏组件热斑识别方法 |
CN114973028A (zh) * | 2022-05-17 | 2022-08-30 | 中国电子科技集团公司第十研究所 | 一种航拍视频图像实时变化检测方法及系统 |
CN114973028B (zh) * | 2022-05-17 | 2023-02-03 | 中国电子科技集团公司第十研究所 | 一种航拍视频图像实时变化检测方法及系统 |
CN116503737B (zh) * | 2023-05-10 | 2024-01-09 | 中国人民解放军61646部队 | 基于空间光学图像的船舶检测方法和装置 |
CN116503737A (zh) * | 2023-05-10 | 2023-07-28 | 中国人民解放军61646部队 | 基于空间光学图像的船舶检测方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN111815579B (zh) | 2024-04-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111815579B (zh) | 一种图像变化检测方法、装置及计算机可读存储介质 | |
US10943346B2 (en) | Multi-sample whole slide image processing in digital pathology via multi-resolution registration and machine learning | |
CN108961235B (zh) | 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法 | |
Maas et al. | Using pattern recognition to automatically localize reflection hyperbolas in data from ground penetrating radar | |
CN110059586B (zh) | 一种基于空洞残差注意力结构的虹膜定位分割系统 | |
CN109344727B (zh) | 身份证文本信息检测方法及装置、可读存储介质和终端 | |
CN111091123A (zh) | 文本区域检测方法及设备 | |
CN111353544B (zh) | 一种基于改进的Mixed Pooling-YOLOV3目标检测方法 | |
CN111680690B (zh) | 一种文字识别方法及装置 | |
CN109858547A (zh) | 一种基于bssd的目标检测方法与装置 | |
CN112308156B (zh) | 一种基于对抗学习的两阶段图像变化检测方法 | |
CN112819748B (zh) | 一种带钢表面缺陷识别模型的训练方法及装置 | |
CN107895162B (zh) | 基于物体先验的图像显著性目标检测算法 | |
CN111640138A (zh) | 一种目标跟踪方法、装置、设备及存储介质 | |
CN114781514A (zh) | 一种融合注意力机制的漂浮物目标检测方法及系统 | |
CN114612472A (zh) | 一种基于SegNet改进的皮革缺陷分割网络算法 | |
KR101018299B1 (ko) | 영상에서 복수의 물체를 감지하는 방법 및 장치 | |
US20220028088A1 (en) | Multi-scale segmentation system | |
CN113781468A (zh) | 一种基于轻量级卷积神经网络的舌图像分割方法 | |
CN115953371A (zh) | 一种绝缘子缺陷检测方法、装置、设备和存储介质 | |
Ardelean et al. | High-Fidelity Zero-Shot Texture Anomaly Localization Using Feature Correspondence Analysis | |
CN113450321B (zh) | 基于边缘检测的单阶段目标检测方法 | |
CN112232288A (zh) | 一种基于深度学习的卫星图目标识别方法及系统 | |
Duan et al. | Bio-inspired visual attention model and saliency guided object segmentation | |
CN117593514B (zh) | 一种基于深层主成分分析辅助的图像目标检测方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |