CN104851090A - 图像变化检测方法及装置 - Google Patents
图像变化检测方法及装置 Download PDFInfo
- Publication number
- CN104851090A CN104851090A CN201510210008.5A CN201510210008A CN104851090A CN 104851090 A CN104851090 A CN 104851090A CN 201510210008 A CN201510210008 A CN 201510210008A CN 104851090 A CN104851090 A CN 104851090A
- Authority
- CN
- China
- Prior art keywords
- image
- decomposition
- band
- difference
- fusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000008859 change Effects 0.000 title claims abstract description 69
- 238000001514 detection method Methods 0.000 title claims abstract description 46
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 248
- 238000000034 method Methods 0.000 claims abstract description 53
- 230000004927 fusion Effects 0.000 claims description 83
- 238000007781 pre-processing Methods 0.000 claims description 29
- 238000004364 calculation method Methods 0.000 claims description 13
- 230000009466 transformation Effects 0.000 claims description 10
- 230000007246 mechanism Effects 0.000 abstract description 7
- 238000005286 illumination Methods 0.000 abstract description 6
- 239000011159 matrix material Substances 0.000 description 14
- 230000008569 process Effects 0.000 description 13
- 238000004458 analytical method Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 238000010276 construction Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000013519 translation Methods 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000005192 partition Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种图像变化检测方法及装置,首先基于两阶段的差分图像计算方法:第一阶段形成差分图像的粗表示;第二阶段基于复小波变换系数在分解尺度内和分解尺度间的相关性,对分解尺度内和分解尺度间的高频子带差分图像数据进行融合,形成差分图像的精表示,避免了光照条件下的影响,提高了差分图像变化检测的鲁棒性。其次结合无监督模糊聚类学习机制,对差分图像进行内容分析,可以较为精确地找出图像变化的区域和不变的区域,发现图像区域变化中对象的变化特点和趋势。
Description
技术领域
本发明涉及图像处理技术领域,尤其涉及一种图像变化检测方法及装置。
背景技术
卫星、遥感及信息技术的快速发展,使人们获取信息的能力得到很大的提高。通过融合多种传感器搭载至卫星平台,可以获取到全球任何区域全天时、全天候的卫星遥感图像,这些卫星遥感图像是人类认识世界、改造世界的重要信息来源,对国民经济建设、国防建设以及生态建设意义重大。
卫星图像的变化检测和分析是卫星遥感图像理解的重要研究内容。卫星图像的变化检测(Change Detection)指的是对同一地区不同时相的卫星图像进行分析,并检测该地区中地物随时间发生变化的信息的过程。而对图像变化区域进行理解并标记相应的属性标签的过程则称为变化区域的图像标注(Image Annotating)。卫星遥感图像的变化检测及标注在军用和民用领域都有着重要的作用,如战场环境监测、国土环境保护、农业、气象、智慧城市、地震预警、景区生态安全等。尤其是当前的生态环境建设,如地震、海啸、台风等重大自然灾害的预警与安全监测,如果能在短时间内快速检测将要发生灾害地区的细微而关键的变化,并采取有效的措施,将有可能极大地减少重大灾害给人们带来的财产损失和生命损失。
在卫星图像变化检测技术领域中,通常采用基于小波分析的卫星图像变化检测方法,该方法的优点是小波变换分解的运算速度快,计算效率高;可减少图像数据间的冗余信息。但该方法的不足是小波变换分解的方向有限,忽略了图像更多的细节信息;同时小波变换对平移、尺度变换等处理具有较强的变化敏感性,并且没有考虑小波系数在分解尺度内和分解尺度间的关联性,影响了最终的图像区域变化检测性能。
发明内容
为了克服现有的基于小波分析的卫星图像变化检测方法的不足,本发明综合应用双树复小波变换和无监督模糊聚类技术的各自优势,分析卫星图像复小波系数在分解尺度内和分解尺度间的相关关系,提出了一种基于双树复小波变换和模糊聚类的图像变化检测方法及装置。
根据本发明的一个方面,提供了一种图像变化检测方法,包括:
输入第一图像和第二图像;
分别对第一图像和第二图像进行预设层数的双树复小波变换分解,得到对应第一图像的各个分解层上的六个分解方向的第一高频子带图像和对应第二图像的各个分解层上的六个分解方向的第二高频子带图像;
依次对每个分解层上的每个分解方向,对所述分解层上的所述分解方向的第一高频子带图像和第二高频子带图像进行图像差分,得到所述分解层上的所述分解方向的高频子带差分图像;
对所述分解层上的所有分解方向的高频子带差分图像进行图像融合,得到所述分解层上的第一融合差分图像;
对所有分解层上的第一融合差分图像进行图像融合,得到第二融合差分图像;
根据所述第二融合差分图像,通过模糊聚类算法得到第一图像相比于第二图像的变化区域。
优选的是,所述对所述分解层上的所有分解方向的高频子带差分图像进行图像融合,得到所述分解层上的第一融合差分图像包括:
从所述分解层上的所有分解方向的高频子带差分图像中选择满足预设条件的高频子带差分图像,所述预设条件为:在选择的高频子带差分图像所在的每个坐标下,所述选择的高频子带差分图像在所述坐标的复小波系数的绝对值大于或者等于所有分解层上的所有高频子带差分图像在所述坐标的平均能量;
对所有选择的高频子带差分图像对应的复小波系数矩阵进行求和运算;
根据求和运算的结果,确定所述分解层上的第一融合差分图像。
优选的是,所述对所有分解层上的第一融合差分图像进行图像融合,得到第二融合差分图像包括:
对所有分解层上的第一融合差分图像对应的复小波系数矩阵进行加权求和运算;
根据加权求和运算的结果,确定所述第二融合差分图像。
优选的是,所述对所述分解层上的所述分解方向的第一高频子带图像和第二高频子带图像进行图像差分,得到所述分解层上的所述分解方向的高频子带差分图像包括:
依次对预设坐标范围内的每个坐标,计算以2为底的所述第一高频子带图像在所述坐标的取值的绝对值的对数与以2为底的所述第二高频子带图像在所述坐标的取值的对数的差的绝对值,并将计算结果确定为所述坐标对应的复小波系数;
根据所述坐标范围内所有坐标对应的复小波系数,确定所述分解层上的所述分解方向的高频子带差分图像。
优选的是,在所述分别对第一图像和第二图像进行预设层数的双树复小波变换分解之前,所述方法还包括分别对所述第一图像和所述第二图像进行图像预处理。
优选的是,利用双线性插值预处理算法分别对所述第一图像和所述第二图像进行图像预处理。
根据本发明的另一个方面,提供了一种图像变化检测装置,包括:
输入单元,设置为输入第一图像和第二图像;
变换分解单元,设置为分别对第一图像和第二图像进行预设层数的双树复小波变换分解,得到对应第一图像的各个分解层上的六个分解方向的第一高频子带图像和对应第二图像的各个分解层上的六个分解方向的第二高频子带图像;
图像差分单元,设置为依次对每个分解层上的每个分解方向,对所述分解层上的所述分解方向的第一高频子带图像和第二高频子带图像进行图像差分,得到所述分解层上的所述分解方向的高频子带差分图像;
第一融合单元,设置为对所述分解层上的所有分解方向的高频子带差分图像进行图像融合,得到所述分解层上的第一融合差分图像;
第二融合单元,设置为对所有分解层上的第一融合差分图像进行图像融合,得到第二融合差分图像;
模糊聚类单元,设置为根据所述第二融合差分图像,通过模糊聚类算法得到第一图像相比于第二图像的变化区域。
优选的是,所述第一融合单元包括:
选择单元,设置为从所述分解层上的所有分解方向的高频子带差分图像中选择满足预设条件的高频子带差分图像,所述预设条件为:在选择的高频子带差分图像所在的每个坐标下,所述选择的高频子带差分图像在所述坐标的复小波系数的绝对值大于或者等于所有分解层上的所有高频子带差分图像在所述坐标的平均能量;
求和单元,设置为对所有选择的高频子带差分图像对应的复小波系数矩阵进行求和运算;
第一确定单元,设置为根据求和运算的结果,确定所述分解层上的第一融合差分图像。
优选的是,所述第二融合单元包括:
加权求和单元,设置为对所有分解层上的第一融合差分图像对应的复小波系数矩阵进行加权求和运算;
第二确定单元,设置为根据加权求和运算的结果,确定所述第二融合差分图像。
优选的是,所述图像差分单元具体设置为:
依次对预设坐标范围内的每个坐标,计算以2为底的所述第一高频子带图像在所述坐标的取值的绝对值的对数与以2为底的所述第二高频子带图像在所述坐标的取值的对数的差的绝对值,并将计算结果确定为所述坐标对应的复小波系数;
根据所述坐标范围内所有坐标对应的复小波系数,确定所述分解层上的所述分解方向的高频子带差分图像。
优选的是,所述图像变化检测装置还包括分别与所述输入单元和所述变换分解单元电连接的预处理单元;
所述预处理单元设置为在所述分别对第一图像和第二图像进行预设层数的双树复小波变换分解之前,所述方法还包括分别对所述第一图像和所述第二图像进行图像预处理。
优选的是,所述预处理单元具体设置为利用双线性插值预处理算法分别对所述第一图像和所述第二图像进行图像预处理。
与现有技术相比,上述方案中的一个或多个实施例可以具有如下优点或有益效果:
应用本发明实施例提供的图像变化检测方法及装置,(1)基于两阶段的差分图像计算方法:首先第一阶段形成差分图像的粗表示;其次,第二阶段基于复小波变换系数在分解尺度内和分解尺度间的相关性,对分解尺度内和分解尺度间的高频子带差分图像数据进行融合,形成差分图像的精表示,避免了光照条件下的影响,提高了差分图像变化检测的鲁棒性。(2)结合无监督模糊聚类学习机制,对差分图像进行内容分析,可以较为精确地找出图像变化的区域和不变的区域,发现图像区域变化中对象的变化特点和趋势。
本发明实施例利用了复小波变换良好的方向选择性特点以及模糊聚类的无监督学习机制,综合利用了图像复小波系数在分解尺度内和分解尺度间的相关关系,同现有方法相比,本发明实施例能够有效地检测图像的变化区域,为图像(尤其是卫星图像)内容的理解和分析提供了参考。
本发明的其它特征和优点将在随后的说明书中阐述,并且部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例共同用于解释本发明,并不构成对本发明的限制。在附图中:
图1示出了本发明实施例图像变化检测方法的流程图;
图2示出了本发明实施例中某一分解层上的某个分解方向的高频子带差分图像的确定方法的流程图;
图3示出了本发明实施例中某一分解层上的第一融合差分图像的确定方法的流程图;
图4示出了本发明实施例中第二融合差分图像的确定方法的流程图;
图5示出了本发明实施例中基于双线性插值的图像预处理过程的示意图;
图6示出了本发明实施例图像变化检测装置的结构示意图;
图7示出了本发明实施例中第一融合单元的结构示意图;
图8示出了本发明实施例中第二融合单元的结构示意图。
具体实施方式
以下将结合附图及实施例来详细说明本发明的实施方式,借此对本发明如何应用技术手段来解决技术问题,并达成技术效果的实现过程能充分理解并据以实施。需要说明的是,只要不构成冲突,本发明中的各个实施例以及各实施例中的各个特征可以相互结合,所形成的技术方案均在本发明的保护范围之内。
针对基于小波分析的卫星图像变化检测方法的不足,本发明需要解决的技术问题包括如下:
1)利用双树复小波变换的方向选择性特点,深入分析复小波变换系数在分解尺度内(即同一分解层中)和分解尺度间(即分解层之间)的相关关系,建立数据融合模型,形成用于图像变化检测的差分图像,是本发明需要解决的关键技术问题;
2)结合无监督模糊聚类学习机制,对差分图像进行内容分析,找出图像变化的区域和不变的区域,对图像区域中对象的变化特点和趋势进行模糊聚类分析和检测,是本发明需要解决的关键技术问题。
为解决上述技术问题,本发明实施例提供了一种基于双树复小波变换和模糊聚类的图像变化检测方法。
图1示出了本发明实施例图像变化检测方法的流程图。如图1所示,该图像变化检测方法包括以下步骤:
步骤101:输入第一图像和第二图像。
具体地,所输入的第一图像和第二图像优选为一对已配准的卫星图像,两幅图像的大小均为M×N。两幅图像的获取地点相同,获取时间分别为t1和t2,两幅图像记作X1={x1(i,j)|1≤i≤M,1≤j≤N},X2={x2(i,j)|1≤i≤M,1≤j≤N},其中(i,j)表示图像中任意一点的坐标。如于1985年8月5日和1992年8月5日在同一地点Nevada获取的两幅多时相卫星遥感图像X1和X2。
步骤102:分别对第一图像和第二图像进行预设层数的双树复小波变换分解,得到对应第一图像的各个分解层上的六个分解方向的第一高频子带图像和对应第二图像的各个分解层上的六个分解方向的第二高频子带图像。
具体地,分别对第一图像X1和第二图像X2进行预设层数(s,其中s=1,…,S,这里s也称为分解尺度)的双树复小波变换分解。在本发明一优选的实施例中,预设层数s的优选取值为3。
下面以第一图像X1为例详细说明三层双树复小波变化分解的过程:在三层变换分解中,第一层变换分解得到第一分解层上的两个低频子带图像和六个高频子带图像,然后在第一分解层上的两个低频子带图像上做第二层变换分解,得到第二分解层上的两个低频子带图像和六个高频子带图像。以此类推,在第二分解层上的两个低频子带图像上做第三层变换分解,得到第三分解层上的两个低频子带图像和六个高频子带图像。此外,各个分解层上的六个高频子带图像的取值分别对应不同方向上的取值。其中,第s分解层上的六个高频子带图像 (其中θ表示分解方向)依次表示为 特别地,第一个分解方向的高频子带图像的取值对应75°方向上的取值,第二个分解方向的高频子带图像的取值对应15°方向上的取值,第三个分解方向的高频子带图像的取值对应-15°方向上的取值,第四个分解方向的高频子带图像的取值对应45°方向的取值,第五个分解方向的高频子带图像的取值对应-45°方向上的取值,第六个分解方向的高频子带图像的取值对应-75°方向上的取值。可以看出,双树复小波变换在每一分解层的分解上提供了六个方向的选择滤波器。
由于低频子带集中了图像的大部分能量,对光照引起的变化检测在低频子带区域可以较好地区分,因此本发明实施例仅对高频子带引起的变化进行检测。
传统的离散小波变换不具备平移不变性,它对平移非常敏感,即使输入信号有一个非常细微的平移也会造成小波系数产生非常明显的变化。然而,在本实施例中,由于采用的双树复小波变换具有近似平移不变性,所以对图像中的细微平移变化不敏感,并且双树复小波变换还具有良好的方向选择性,因此能够得到各个分解层上的不同方向的子带图像。
步骤103:依次对每个分解层上的每个分解方向,对所述分解层上的所述分解方向的第一高频子带图像和第二高频子带图像进行图像差分,得到所述分解层上的所述分解方向的高频子带差分图像。
步骤104:对所述分解层上的所有分解方向的高频子带差分图像进行图像融合,得到所述分解层上的第一融合差分图像。
步骤105:对所有分解层上的第一融合差分图像进行图像融合,得到第二融合差分图像。
具体地,步骤103至步骤105依次从两个阶段计算差分图像。步骤103对应的是差分图像的粗表示,即对某一分解层上的某个分解方向的第一高频子图像和第二高频子图像进行图像差分,得到该分解层上的该分解方向的高频子带差分图像的方法,此部分内容将在下文中结合图2进行详细地阐述。步骤104和步骤105对应的是差分图像的精表示,即对高频子带图像在分解尺度内和分解尺度间数据进行融合,此部分内容将在下文中结合图3和图4进行详细地阐述。
步骤106:根据第二融合差分图像,通过模糊聚类算法得到第一图像相比于第二图像的变化区域。
具体地,此步骤完成的是差分图像的变化检测和分析。在本发明一优选的实施中,应用基于模糊局部相似测量的模糊C-均值聚类技术对第二融合差分图像Ddetail进行变化检测,即根据该第二融合差分图像来确定第一图像相比于第二图像的变化区域和非变化区域(即不变区域)。通过应用无监督模糊聚类方法分析差分图像的变化内容,可以较好地区分图像的不变区域和变化区域。其具体步骤如下:
步骤61:输入聚类数目c,参数m(即模糊指数)、聚类算法终止条件ε以及迭代次数b。在本发明一优选的实施例中,聚类数目c取值为2,参数m取值为2,终止条件ε取值为0.001,迭代次数取值为500次。
步骤62:初始化模糊划分矩阵(即模糊隶属度矩阵)和循环迭代次数b=0,模糊划分矩阵以uki表示,具体形式为: 其中F1,F2,Fc表示聚类后的不同类别,c表示聚类的类别数,x是图像像素特征向量,表示不同聚类类别的隶属度函数。
步骤63:通过式计算聚类类型值(即各个类别的聚类中心),该表达式的含义为对类中心vk进行迭代的过程。其中vk表示第k个聚类的类型值。uki表示第二融合差分图像Ddetail中第i个像素与聚类k之间的模糊关系,以模糊划分矩阵的形式表示。N表示数据项的个数。
步骤64:通过式计算模糊划分矩阵,其中c表示聚类数目,||xi-vk||2表示目标xi与聚类中心vk之间的欧式距离,||xi-vj||2表示目标xi与聚类vj之间的欧式距离,Gki和Gji分别表示第k个聚类与第i个像素之间的模糊因子以及第j个聚类与第i个像素之间的模糊因子。
步骤65:如果满足条件||U(b+1)-U(b)||<ε,其中U(b+1)表示第b+1次迭代时的模糊隶属度值,U(b)表示第b次迭代时的模糊隶属度值,||·||表示一阶范数,在本发明中||·||表示两次隶属模糊度差值的绝对值。如果上述条件满足,那么程序终止;如果上述条件不满足,则设b=b+1并返回步骤63,继续执行。
步骤66:当算法收敛后,得到图像中各类别的聚类中心vk以及模糊隶属度值uki。最后通过模糊聚类分析对图像变化区域进行判别。
本实施例所述的图像变化检测方法,(1)基于两阶段的差分图像计算方法:首先第一阶段形成差分图像的粗表示;其次,第二阶段基于复小波变换系数在分解尺度内和分解尺度间的相关性,对分解尺度内和分解尺度间的高频子带差分图像数据进行融合,形成差分图像的精表示,避免了光照条件下的影响,提高了差分图像变化检测的鲁棒性。(2)结合无监督模糊聚类学习机制,对差分图像进行内容分析,可以较为精确地找出图像变化的区域和不变的区域,发现图像区域变化中对象的变化特点和趋势。
本发明实施例利用了复小波变换良好的方向选择性特点以及模糊聚类的无监督学习机制,综合利用了图像复小波系数在分解尺度内和分解尺度间的相关关系,同现有方法相比,本发明实施例能够有效地检测图像的变化区域,为图像(尤其是卫星图像)内容的理解和分析提供了参考。
进一步地,在本发明一优选的实施例中,参照图2,对某一分解层上的某个分解方向的第一高频子图像和第二高频子图像进行图像差分,得到该分解层上的该分解方向的高频子带差分图像的方法包括以下步骤:
步骤201:依次对预设坐标范围内的每个坐标,计算以2为底的第一高频子带图像在所述坐标的取值的绝对值的对数与以2为底的第二高频子带图像在所述坐标的取值的对数的差的绝对值,并将计算结果确定为所述坐标对应的复小波系数。
步骤202:根据坐标范围内所有坐标对应的复小波系数,确定所述分解层上的所述分解方向的高频子带差分图像。
具体地,在本实施例中,为避免相干斑噪声的影响,采用对数机制计算两幅图像高频子带的差分图像。设D表示第一图像X1和第二图像X2的差分图像,其中每一分解层上的高频子带差分图像在位置(i,j)上的复小波系数ds,θ(i,j)可表示为: 其中,1≤i≤M/2s,1≤j≤N/2s表示上述预设坐标范围。s=1,2,...,S表示分解尺度(也称为分解层数)。log(·)函数的底数取值为2。θ表示分解方向数,θ=1,2,...,6表示图像经双树复小波变换分解后产生六个高频方向上的高频子带图像。进一步地,第s层上的分解方向为θ的高频子带差分图像通过Ds,θ进行表示,高频子带差分图像的表现形式是矩阵,用粗字母表示,具体为:Ds,θ={ds,θ(i,j)|1≤i≤M/2s,1≤j≤N/2s},即高频子带差分图像由预设坐标范围内所有坐标对应的复小波系数的集合来表示。
如图3所示,是本发明实施例中某一分解层上的第一融合差分图像的确定方法的流程图,确定某一分解层上的第一融合差分图像的过程,即对同一分解层上的六个高频子带图像进行图像融合(也称为数据融合)的过程。该方法包括以下步骤:
步骤301:从所述分解层上的所有分解方向的高频子带差分图像中选择满足预设条件的高频子带差分图像,预设条件为:在选择的高频子带差分图像所在的每个坐标下,选择的高频子带差分图像在所述坐标的复小波系数的绝对值大于或者等于所有分解层上的所有高频子带差分图像在所述坐标的平均能量。
具体地,首先在同一分解层上的六个高频子带差分图像中选择出满足预设条件的一个或者多个(最多为六个)高频子带图像。对于满足预设条件的高频子带差分图像,在该图像的每个坐标下,都要满足:该坐标对应的复小波系数的绝对值须大于或者等于所有分解层上的所有高频子带差分图像在该坐标的平均能量。
在本实施例中,预设条件可表示为:其中abs(ds,θ(i,j))表示计算每一个高频子带差分图像在坐标(i,j)处的复小波系数ds,θ(i,j)的绝对值,此处max(·)算子不同于传统意义上的求最大值的算子,而是按照复小波系数的绝对值大于等于整个高频子带差分图像在坐标(i,j)处的平均能量(即所有分解层上的所有高频子带差分图像在该坐标的平均能量)进行选择,平均能量的计算可表示为:
设从同一分解尺度下的六个高频子带差分图像中选取的图像(准确地说,应为选择的图像对应的复小波系数矩阵)分别为:其中k表示从同一分解尺度内(或同一分解层)的六个高频子带差分图像中选取的图像个数,这里,k的取值可以为1、2、3、4、5或6。
步骤302:对所有选择的高频子带差分图像对应的复小波系数矩阵进行求和运算。
具体地,在选择好满足预设条件的高频子带差分图像后,利用对所有选择的高频子带差分图像进行图像融合,即对所有选择的高频子带差分图像对应的复小波系数矩阵进行求和运算,并将求和运算的结果作为所得第一融合差分图像对应的复小波系数矩阵。
步骤303:根据求和运算的结果,确定所述分解层上的第一融合差分图像。
具体地,利用第一融合差分图像对应的复小波系数矩阵,确定第一融合差分图像。这里,由于根据复小波系数矩阵确定该矩阵对应的图像的方法为本领域技术人员常规采用的技术手段,因此本文不对确定过程进行赘述。
在本实施例中,对于复小波变换的每个分解层,都应用步骤301至303确定各个分解层上的第一融合差分图像。将依次对应第一层分解层、第二层分解层和第三层分解层的第一融合差分图像的复小波系数矩阵依次记为:和
如图4所示,是本发明实施例中第二融合差分图像的确定方法的流程图,确定第二融合差分图像的过程,即对所有分解层上的第一融合差分图像进行图像融合(也称为数据融合)的过程。该方法包括以下步骤:
步骤401:对所有分解层上的第一融合差分图像对应的复小波系数矩阵进行加权求和运算。
具体地,在得到所有分解层上的第一融合差分图像后,利用 对所有第一融合差分图像进行图像融合,即对所有第一融合差分图像对应的复小波系数矩阵进行加权求和运算,并将加权求和运算的结果作为所得第二融合差分图像对应的复小波系数矩阵。上式中,其中α、β和ω均表示图像融合的加权因子,且0<α<1,0<β<1,0<ω<1。在本发明一优选的实施例中,α、β和ω的取值依次为0.2、0.3和0.4。
在本发明一优选的实施例中,分解层数(分解尺度)优选为3,利用对三个第一融合差分图像进行图像融合,即对这三个第一融合差分图像对应的复小波系数矩阵进行加权求和运算,并将加权求和运算的结果作为所得第二融合差分图像对应的复小波系数矩阵。
步骤402:根据加权求和运算的结果,确定第二融合差分图像。
具体地,利用第二融合差分图像对应的复小波系数矩阵,确定第二融合差分图像。这里,由于根据复小波系数矩阵确定该矩阵对应的图像的方法为本领域技术人员常规采用的技术手段,因此本文不对确定过程进行赘述。
综上所述,本发明实施例基于两阶段的差分图像计算方法,首先基于对数机制计算粗的差分图像,降低了相干斑噪声的影响。然后,分析了图像复小波变换系数在分解尺度内和分解尺度间的相关性,并基于双树复小波变换对分解尺度内和分解尺度间的高频子带差分图像数据进行融合,计算出差分图像的精表示,避免了光照条件下的影响,提高了差分图像变化检测的鲁棒性。
在本发明一优选的实施例中,在对第一图像和第二图像进行预设层数的双树复小波变换分解之前,所述方法还包括分别对第一图像和第二图像进行图像预处理。特别地,利用双线性插值预处理算法分别对第一图像和第二图像进行图像预处理。
具体地,参照图5,图像预处理的过程如下:首先定义一个插值函数将原始输入图像变换为插值后的图像 其中β是缩放因子,在本发明中缩放因子β的优选取值为2。设(iu,ju)是图5中在区间范围[i,i+1]×[j,j+1]内的一个像素点,其中id=iu-i,jd=ju-j,那么插值函数可表示为:
其中, 其中,Vu,Vl,Hl,Hr为区间范围[i,i+1]×[j,j+1]的局部梯度值,其表示分别如下:
其中,λ为控制图像插值平滑度的因子,其范围为λ∈(0,1],特别地,λ的优选取值为0.5。最后通过插值函数的计算公式对两幅输入的图像进行插值预处理,记预处理后的两幅图像分别为和
本实施例利用双线性插值方法对输入的图像进行预处理,解决了图像经复小波变换分解后存在的图像变形的问题。
相应地,本发明实施例还提供了一种图像变化检测装置。如图6所示,是该图像变化检测装置的结构示意图,该装置包括依次电连接的输入单元501、变换分解单元502、图像差分单元503、第一融合单元504、第二融合单元505和模糊聚类单元506。
具体地,输入单元501,设置为输入第一图像和第二图像。
变换分解单元502,设置为分别对第一图像和第二图像进行预设层数的双树复小波变换分解,得到对应第一图像的各个分解层上的六个分解方向的第一高频子带图像和对应第二图像的各个分解层上的六个分解方向的第二高频子带图像。
图像差分单元503,设置为依次对每个分解层上的每个分解方向,对所述分解层上的所述分解方向的第一高频子带图像和第二高频子带图像进行图像差分,得到所述分解层上的所述分解方向的高频子带差分图像。
第一融合单元504,设置为对所述分解层上的所有分解方向的高频子带差分图像进行图像融合,得到所述分解层上的第一融合差分图像。
第二融合单元505,设置为对所有分解层上的第一融合差分图像进行图像融合,得到第二融合差分图像。
模糊聚类单元506,设置为根据第二融合差分图像,通过模糊聚类算法得到第一图像相比于第二图像的变化区域。
在本发明一优选的实施例中,图像差分单元503具体设置为:
依次对预设坐标范围内的每个坐标,计算以2为底的第一高频子带图像在所述坐标的取值的绝对值的对数与以2为底的第二高频子带图像在所述坐标的取值的对数的差的绝对值,并将计算结果确定为所述坐标对应的复小波系数。然后根据坐标范围内所有坐标对应的复小波系数,确定所述分解层上的所述分解方向的高频子带差分图像。
另外,如图7所示,是本发明实施例中第一融合单元504的结构示意图。该第一融合单元504包括顺次电连接的选择单元601、求和单元602和第一确定单元603。
具体地,选择单元601,设置为从所述分解层上的所有分解方向的高频子带差分图像中选择满足预设条件的高频子带差分图像,预设条件为:在选择的高频子带差分图像所在的每个坐标下,选择的高频子带差分图像在所述坐标的复小波系数的绝对值大于或者等于所有分解层上的所有高频子带差分图像在所述坐标的平均能量。
求和单元602,设置为对所有选择的高频子带差分图像对应的复小波系数矩阵进行求和运算。
第一确定单元603,设置为根据求和运算的结果,确定分解层上的第一融合差分图像。
如图8所示,是本发明实施例中第二融合单元505的结构示意图。该第二融合单元505包括顺次连接的加权求和单元701和第二确定单元702。
具体地,加权求和单元701,设置为对所有分解层上的第一融合差分图像对应的复小波系数矩阵进行加权求和运算。
第二确定单元702,设置为根据加权求和运算的结果,确定第二融合差分图像。
在本发明一优选的实施例中,图像变化检测装置还包括预处理单元,预处理单元分别与输入单元501和变换分解单元502电连接。
具体地,预处理单元设置为在分别对第一图像和第二图像进行预设层数的双树复小波变换分解之前,所述方法还包括分别对第一图像和第二图像进行图像预处理。特别地,在本发明一优选的实施例中,预处理单元具体设置为利用双线性插值预处理算法分别对第一图像和第二图像进行图像预处理。
上述各单元的具体处理过程可参照前面本发明实施例的方法中的描述,在此不再赘述。
本实施例所述的图像变化检测装置,(1)基于两阶段的差分图像计算方法:首先第一阶段形成差分图像的粗表示;其次,第二阶段基于复小波变换系数在分解尺度内和分解尺度间的相关性,对分解尺度内和分解尺度间的高频子带差分图像数据进行融合,形成差分图像的精表示,避免了光照条件下的影响,提高了差分图像变化检测的鲁棒性。(2)结合无监督模糊聚类学习机制,对差分图像进行内容分析,可以较为精确地找出图像变化的区域和不变的区域,发现图像区域变化中对象的变化特点和趋势。
本发明实施例利用了复小波变换良好的方向选择性特点以及模糊聚类的无监督学习机制,综合利用了图像复小波系数在分解尺度内和分解尺度间的相关关系,同现有方法相比,本发明实施例能够有效地检测图像的变化区域,为图像(尤其是卫星图像)内容的理解和分析提供了参考。
本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
虽然本发明所公开的实施方式如上,但所述的内容只是为了便于理解本发明而采用的实施方式,并非用以限定本发明。任何本发明所属技术领域内的技术人员,在不脱离本发明所公开的精神和范围的前提下,可以在实施的形式上及细节上作任何的修改与变化,但本发明的保护范围,仍须以所附的权利要求书所界定的范围为准。
Claims (12)
1.一种图像变化检测方法,其特征在于,包括:
输入第一图像和第二图像;
分别对第一图像和第二图像进行预设层数的双树复小波变换分解,得到对应第一图像的各个分解层上的六个分解方向的第一高频子带图像和对应第二图像的各个分解层上的六个分解方向的第二高频子带图像;
依次对每个分解层上的每个分解方向,对所述分解层上的所述分解方向的第一高频子带图像和第二高频子带图像进行图像差分,得到所述分解层上的所述分解方向的高频子带差分图像;
对所述分解层上的所有分解方向的高频子带差分图像进行图像融合,得到所述分解层上的第一融合差分图像;
对所有分解层上的第一融合差分图像进行图像融合,得到第二融合差分图像;
根据所述第二融合差分图像,通过模糊聚类算法得到第一图像相比于第二图像的变化区域。
2.根据权利要求1所述的方法,其特征在于,所述对所述分解层上的所有分解方向的高频子带差分图像进行图像融合,得到所述分解层上的第一融合差分图像包括:
从所述分解层上的所有分解方向的高频子带差分图像中选择满足预设条件的高频子带差分图像,所述预设条件为:在选择的高频子带差分图像所在的每个坐标下,所述选择的高频子带差分图像在所述坐标的复小波系数的绝对值大于或者等于所有分解层上的所有高频子带差分图像在所述坐标的平均能量;
对所有选择的高频子带差分图像对应的复小波系数矩阵进行求和运算;
根据求和运算的结果,确定所述分解层上的第一融合差分图像。
3.根据权利要求1所述的方法,其特征在于,所述对所有分解层上的第一融合差分图像进行图像融合,得到第二融合差分图像包括:
对所有分解层上的第一融合差分图像对应的复小波系数矩阵进行加权求和运算;
根据加权求和运算的结果,确定所述第二融合差分图像。
4.根据权利要求1至3中任一项所述的方法,其特征在于,所述对所述分解层上的所述分解方向的第一高频子带图像和第二高频子带图像进行图像差分,得到所述分解层上的所述分解方向的高频子带差分图像包括:
依次对预设坐标范围内的每个坐标,计算以2为底的所述第一高频子带图像在所述坐标的取值的绝对值的对数与以2为底的所述第二高频子带图像在所述坐标的取值的对数的差的绝对值,并将计算结果确定为所述坐标对应的复小波系数;
根据所述坐标范围内所有坐标对应的复小波系数,确定所述分解层上的所述分解方向的高频子带差分图像。
5.根据权利要求1至3中任一项所述的方法,其特征在于,在所述分别对第一图像和第二图像进行预设层数的双树复小波变换分解之前,所述方法还包括分别对所述第一图像和所述第二图像进行图像预处理。
6.根据权利要求5所述的方法,其特征在于,利用双线性插值预处理算法分别对所述第一图像和所述第二图像进行图像预处理。
7.一种图像变化检测装置,其特征在于,包括:
输入单元,设置为输入第一图像和第二图像;
变换分解单元,设置为分别对第一图像和第二图像进行预设层数的双树复小波变换分解,得到对应第一图像的各个分解层上的六个分解方向的第一高频子带图像和对应第二图像的各个分解层上的六个分解方向的第二高频子带图像;
图像差分单元,设置为依次对每个分解层上的每个分解方向,对所述分解层上的所述分解方向的第一高频子带图像和第二高频子带图像进行图像差分,得到所述分解层上的所述分解方向的高频子带差分图像;
第一融合单元,设置为对所述分解层上的所有分解方向的高频子带差分图像进行图像融合,得到所述分解层上的第一融合差分图像;
第二融合单元,设置为对所有分解层上的第一融合差分图像进行图像融合,得到第二融合差分图像;
模糊聚类单元,设置为根据所述第二融合差分图像,通过模糊聚类算法得到第一图像相比于第二图像的变化区域。
8.根据权利要求7所述的图像变化检测装置,其特征在于,所述第一融合单元包括:
选择单元,设置为从所述分解层上的所有分解方向的高频子带差分图像中选择满足预设条件的高频子带差分图像,所述预设条件为:在选择的高频子带差分图像所在的每个坐标下,所述选择的高频子带差分图像在所述坐标的复小波系数的绝对值大于或者等于所有分解层上的所有高频子带差分图像在所述坐标的平均能量;
求和单元,设置为对所有选择的高频子带差分图像对应的复小波系数矩阵进行求和运算;
第一确定单元,设置为根据求和运算的结果,确定所述分解层上的第一融合差分图像。
9.根据权利要求7所述的图像变化检测装置,其特征在于,所述第二融合单元包括:
加权求和单元,设置为对所有分解层上的第一融合差分图像对应的复小波系数矩阵进行加权求和运算;
第二确定单元,设置为根据加权求和运算的结果,确定所述第二融合差分图像。
10.根据权利要求7至9中任一项所述的图像变化检测装置,其特征在于,所述图像差分单元具体设置为:
依次对预设坐标范围内的每个坐标,计算以2为底的所述第一高频子带图像在所述坐标的取值的绝对值的对数与以2为底的所述第二高频子带图像在所述坐标的取值的对数的差的绝对值,并将计算结果确定为所述坐标对应的复小波系数;
根据所述坐标范围内所有坐标对应的复小波系数,确定所述分解层上的所述分解方向的高频子带差分图像。
11.根据权利要求7至9中任一项所述的图像变化检测装置,其特征在于,所述图像变化检测装置还包括分别与所述输入单元和所述变换分解单元电连接的预处理单元;
所述预处理单元设置为在所述分别对第一图像和第二图像进行预设层数的双树复小波变换分解之前,所述方法还包括分别对所述第一图像和所述第二图像进行图像预处理。
12.根据权利要求11所述的图像变化检测装置,其特征在于,所述预处理单元具体设置为利用双线性插值预处理算法分别对所述第一图像和所述第二图像进行图像预处理。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510210008.5A CN104851090B (zh) | 2015-04-28 | 2015-04-28 | 图像变化检测方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510210008.5A CN104851090B (zh) | 2015-04-28 | 2015-04-28 | 图像变化检测方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104851090A true CN104851090A (zh) | 2015-08-19 |
CN104851090B CN104851090B (zh) | 2017-12-26 |
Family
ID=53850717
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510210008.5A Active CN104851090B (zh) | 2015-04-28 | 2015-04-28 | 图像变化检测方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104851090B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106971392A (zh) * | 2017-03-17 | 2017-07-21 | 国家测绘地理信息局卫星测绘应用中心 | 一种结合dt‑cwt和mrf的遥感图像变化检测方法与装置 |
CN110427997A (zh) * | 2019-07-25 | 2019-11-08 | 南京信息工程大学 | 面向复杂遥感影像背景的改进cva变化检测方法 |
CN115392376A (zh) * | 2022-08-25 | 2022-11-25 | 广东工业大学 | 一种异源模糊隶属度矩阵标注方法、系统及装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102254323A (zh) * | 2011-06-10 | 2011-11-23 | 西安电子科技大学 | 基于treelet融合和水平集分割的遥感图像变化检测 |
CN102289807A (zh) * | 2011-07-08 | 2011-12-21 | 西安电子科技大学 | 基于Treelet变换和特征融合的遥感图像变化检测方法 |
-
2015
- 2015-04-28 CN CN201510210008.5A patent/CN104851090B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102254323A (zh) * | 2011-06-10 | 2011-11-23 | 西安电子科技大学 | 基于treelet融合和水平集分割的遥感图像变化检测 |
CN102289807A (zh) * | 2011-07-08 | 2011-12-21 | 西安电子科技大学 | 基于Treelet变换和特征融合的遥感图像变化检测方法 |
Non-Patent Citations (3)
Title |
---|
TURGAY CELIK ET AL.: "《A Bayesian approach to unsupervised multiscale change detection in synthetic aperture radar images》", 《SIGNAL PROCESSING》 * |
TURGAY CELIK ET AL.: "《Unsupervised Change Detection for Satellite Images Using Dual-Tree Complex Wavelet Transform》", 《IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING》 * |
贾彩杰: "《基于模糊聚类的SAR图像变化检测》", 《电子科技》 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106971392A (zh) * | 2017-03-17 | 2017-07-21 | 国家测绘地理信息局卫星测绘应用中心 | 一种结合dt‑cwt和mrf的遥感图像变化检测方法与装置 |
CN106971392B (zh) * | 2017-03-17 | 2019-09-20 | 自然资源部国土卫星遥感应用中心 | 一种结合dt-cwt和mrf的遥感图像变化检测方法与装置 |
CN110427997A (zh) * | 2019-07-25 | 2019-11-08 | 南京信息工程大学 | 面向复杂遥感影像背景的改进cva变化检测方法 |
CN115392376A (zh) * | 2022-08-25 | 2022-11-25 | 广东工业大学 | 一种异源模糊隶属度矩阵标注方法、系统及装置 |
CN115392376B (zh) * | 2022-08-25 | 2024-02-02 | 广东工业大学 | 一种异源模糊隶属度矩阵标注方法、系统及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN104851090B (zh) | 2017-12-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10984289B2 (en) | License plate recognition method, device thereof, and user equipment | |
CN110705457A (zh) | 一种遥感影像建筑物变化检测方法 | |
CN105069811A (zh) | 一种多时相遥感图像变化检测方法 | |
CN114019467B (zh) | 一种基于MobileNet模型迁移学习的雷达信号识别与定位方法 | |
CN103824302B (zh) | 基于方向波域图像融合的sar图像变化检测方法 | |
CN106096658B (zh) | 基于无监督深度空间特征编码的航拍图像分类方法 | |
CN110704652A (zh) | 基于多重注意力机制的车辆图像细粒度检索方法及装置 | |
CN117475236B (zh) | 用于矿产资源勘探的数据处理系统及其方法 | |
WO2023273337A1 (zh) | 一种基于代表特征的遥感图像中的密集目标检测方法 | |
CN116543152A (zh) | 一种基于对象增强的高分辨率遥感图像语义分割方法 | |
CN115311502A (zh) | 基于多尺度双流架构的遥感图像小样本场景分类方法 | |
CN107301643A (zh) | 基于鲁棒稀疏表示与拉普拉斯正则项的显著目标检测方法 | |
CN109034213B (zh) | 基于相关熵原则的高光谱图像分类方法和系统 | |
CN115937697A (zh) | 一种遥感影像变化检测方法 | |
CN115761502A (zh) | 基于混合卷积的sar图像变化检测方法 | |
CN104851090B (zh) | 图像变化检测方法及装置 | |
CN114049541A (zh) | 基于结构化信息特征解耦与知识迁移的视觉场景识别方法 | |
CN112270285A (zh) | 一种基于稀疏表示和胶囊网络的sar图像变化检测方法 | |
CN107292268A (zh) | 快速脊波反卷积结构学习模型的sar图像语义分割方法 | |
CN114283326A (zh) | 一种结合局部感知和高阶特征重构的水下目标重识别方法 | |
CN113239895A (zh) | 基于注意力机制的胶囊网络的sar图像变化检测方法 | |
CN117475326A (zh) | 一种基于轮廓增强和多层次信息交互增强的sar舰船检测方法 | |
CN117496154A (zh) | 基于概率图表征边缘的高分辨率遥感影像语义分割方法 | |
Jiang et al. | A robust end-to-end deep learning framework for detecting Martian landforms with arbitrary orientations | |
CN116758419A (zh) | 针对遥感图像的多尺度目标检测方法、装置和设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
EXSB | Decision made by sipo to initiate substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |