CN108257151B - 基于显著性分析的PCANet图像变化检测方法 - Google Patents
基于显著性分析的PCANet图像变化检测方法 Download PDFInfo
- Publication number
- CN108257151B CN108257151B CN201711403396.4A CN201711403396A CN108257151B CN 108257151 B CN108257151 B CN 108257151B CN 201711403396 A CN201711403396 A CN 201711403396A CN 108257151 B CN108257151 B CN 108257151B
- Authority
- CN
- China
- Prior art keywords
- pcanet
- image
- feature
- pixel
- disparity map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10044—Radar image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于显著性分析的PCANet图像变化检测方法。主要解决现有Automatic PCANet方法导致的训练样本过多,处理时间过长以及SAR图像的散射噪声对分类结果产生影响的问题。其实现步骤是:对两时相SAR图像获取差异图;对差异图进行显著性分析;利用门限方法提取显著区域,再次使用门限方法分类得到正样本、负样本以及不确定像素;利用PCANet提取正、负样本以及不确定像素对应的特征,用正、负样本对应特征训练支持向量机SVM模块,再将不确定像素的特征输入SVM进行最终分类。本发明与现有Automatic PCANet方法相比,检测精度及运算效率高,抗噪性能好,可用于SAR图像变化检测。
Description
技术领域
本发明属于图像处理技术领域,涉及图像变化检测,具体是一种基于显著性分析的PCANet图像变化检测方法,可用于资源和环境监测、军事目标探测、以及自然灾情的监测与评估。
背景技术
SAR图像的变化检测是指利用不同时期的SAR图像获取地物变化信息的过程,是一种针对SAR图像的特点而建立的数据分析方法,用于识别地表状态的变化。以合成孔径雷达(SAR)为代表的微波遥感是主动式微波成像传感器,可以获得大面积高分辨率的遥感影像,并且天时全天候拍摄,对地表穿透能量强,对地纹理特征及金属目标探测能力强,同时具有多波段多极化的散射特征。所以SAR成像技术对于光学遥感和其他微波遥感,不仅具有可变侧视角,还可以准确详细地获取地理信息,并且不受天气影响,因此在变化检测技术上有着广泛的应用。随着SAR技术的不断发展,SAR图像的变化检测在资源和环境监测、军事目标探测、农业作物监测、以及自然灾情监测与评估等领域的应用越来越广泛。但是另一方面,单极化SAR成像系统基本分辨单元内,地物的随机后向散射导致相干斑噪声的产生,相干斑噪声会对图像变化检测结果产生干扰错误,这成为SAR图像变化检测最为突出的困难。
针对变化检测的难点,学者们展开了大量研究。根据是否需要标记样本,图像变化检测方法可以分为有监督、半监督和无监督方法。有监督方法和半监督方法分类准确性高、在不同的条件下可以获得较权威的图像,但是它依赖于昂贵的标记样本,并且获取可用SAR图像十分困难。因此,无监督方法因其独立于标记样本和不需要人工干预,在SAR图像变化检测中更常用。近期提出了一系列SAR图像变化检测方法。研究比较多的有基于统计模型的变化检测算法,如Lietal提出了基于判别随机场的SAR图像变换检测方法,该方法采用贝叶斯融合的方法将SAR图像数据的统计分布特性融入DRF模型中,最后通过条件迭代模型(Iterative Conditional Model,ICM)算法得到最后的分类检测结果。DRF模型充分利用了观测数据的统计相关特征,有效提高了模型精度。深度学习方法可以获得高维非线性特征,比传统的词袋方法更有效,成为目前的研究热点。最近,Chanetal提出的PCANet是一种简单的深度学习网络,它利用PCA构造卷积滤波器的参数,最终可以得到一个更具竞争性的深层网络。Feng Gao提出一种将PCANet应用于变化检测的Automatic PCANet方法,该方法首先对两时相SAR图像求的差异图,然后对差异图用Gabor小波和模糊C均值进行预分类,将像素分为变化、不变和不确定类,用变化类和不变类训练网络,之后对不确定类的像素进行分类。但是很多SAR变化检测图像中,不变的像素占图像的大部分,不变的像素中包含大量的相干斑噪声,上述方法在所有像素中选取训练样本,处理时间过长,并且SAR图像的散射噪声可能会对分类结果产生影响,进而影响样本选取,最终导致错误的分类。
现有的基于判别随机场的SAR图像变换检测方法也包括基于PCANet的深度学习网络,但上述变化检测方法对SAR图像变化检测的结果无论是总体精度还是执行效率效果都还不佳并且分类结果受散射噪声影响较严重。
发明内容
本发明的目的在于克服上述已有问题的缺点,提出一种有效降低运算时间并且减少散射噪声影响的基于显著性分析的PCANet图像变化检测方法。
本发明是一种基于显著性分析的PCANet图像变化检测方法,用于SAR图像变化检测,其特征在于,包括有以下步骤:
(1)产生最初差异图:输入同一区域不同时间的两组SAR图像im1、im2,经过中值滤波处理,然后产生这两组SAR图像的最初差异图D1;
(2)对差异图进行显著性分析求出显著值:根据显著性区域提取方法的四个参考原则对最初差异图D1进行显著性检测,设定一个相似性度量值d(pi,qk),并最终求得显著值
(3)优化显著值结果:对显著值Si r进行多尺度处理,再将多尺度处理后的显著值结果优化为并得到对应的显著图;
(4)利用门限方法将显著图二值化:利用Matlab中的大津算法函数从显著值结果中找到显著图中的门限值τ,用门限方法将显著图进行二值化处理,得到二值化门限图Ds;
(5)更新差异图:利用二值化门限图Ds区分出对应原图中可能变化的区域和不变的区域所在的位置,得到dsi,然后获得更新后的差异图D2;
(6)再次利用门限方法进一步分类:利用Matlab中的大津算法函数在更新后的差异图D2中找到差异门限值用门限方法对更新后的差异图进行三值化处理,根据处理结果在对应原图中提取正样本、负样本和不确定像素,不确定像素即为需要进一步分类的图像像素;
(7)利用PCANet得到训练好的特征:利用PCANet提取正、负训练样本对应的特征,再利用PCANet提取不确定像素对应的特征;
(8)利用SVM进行分类:利用训练好的正、负样本对应的特征训练支持向量机SVM,再将PCANet提取的不确定像素的特征输入支持向量机SVM中进行正、负样本的最后分类,得到两时相SAR图像最终的变化检测结果。
本发明针对感兴趣区域进行提取,在显著性区域内进行分类,可以有效降低运算时间,并且可以减少散射噪声对分类结果的影响。
本发明与现有技术相比具有以下优点:
1)由于本发明将显著性检测与PCANet相结合,将差异图经过显著性区域检测后,采用门限分类方法分类得到的正、负样本结果更加准确;再用PCANet对正、负样本进行特征提取,得到正、负样本的训练特征,由此得到的训练特征更加可靠,最后由支持向量机SVM进行分类的结果也更具有准确性,可以有效提高变化检测的检测精度。
2)由于本发明考虑到同一地区不同时刻两组SAR图像中存在的未变化区域占绝大部分,而在未变化区域中包含大量的相干斑噪声,会对分类结果产生影响,因此首先利用显著性区域检测得到显著图,根据显著图采用门限方法对同一地区不同时刻的两组SAR图像的差异图进行预分类,并获得确定变化的样本、确定不变的样本以及不确定像素,针对确定不变的样本即负样本,后续分类测试将不再作考虑,只针对不确定像素进行后续变化检测。这样可以显著的减少训练样本和测试样本的数量,在处理数据量很大的情况下,有效提高检测速度,有效降低运算时间,减少相干斑噪声对变化检测结果的影响,提高图像变化检测的效率。
仿真结果表明,本发明与现有的Automatic PCANet方法相比,具有更高的计算效率和检测精度。
附图说明
图1为本发明的实现流程图;
图2为本发明应用于两时相Yellow River Estuary SAR图像的变化检测结果图;
图3为本发明应用于两时相Bern数据集SAR图像的变化检测结果图;
图4为本发明应用于两时相Ottawa数据集SAR图像的变化检测结果图。
具体实施方式
下面结合附图对本发明作详细说明:
实施例1
针对SAR图像的变化检测,包括基于判别随机场的SAR图像变换检测方法也包括基于PCANet的深度学习网络,但上述变化检测方法对SAR图像变化检测的结果无论是总体精度还是执行效率效果都不佳并且分类结果受散射噪声影响较严重。本发明针对上述问题展开了研究,提出一种基于显著性分析的PCANet图像变化检测方法,用于SAR图像变化检测。为了更加精准的分析不同时刻同一地区的变化情况,获得可靠的环境变化数据,或者对军事目标的探测,以及自然灾情的监测与评估,需要先获取同一地区不同时刻的两组SAR图像,针对获得的这两组SAR图像进行准确性和检测效率高的变化检测,得到确定变化的区域和确定不变的区域,便于更好的进行后续实用的分析。参见图1,本发明可以有效降低运算时间,提高SAR图像变化检测的检测效率和准确性,并且减少SAR图像散射噪声对检测结果的影响,包括有以下步骤:
(1)产生最初差异图:输入同一区域不同时间的两组SAR图像,图像im1为第一时刻SAR图像,图像im2为第二时刻SAR图像,因为SAR图像中有许多相干斑噪声,因此要先经过中值滤波处理,然后产生这两组SAR图像的最初差异图D1:
im1={im1(i,j)|1≤i≤H,1≤j≤W},
im2={im2(i,j)|1≤i≤H,1≤j≤W},
其中,H表示已获得的SAR图像的高度,W表示已获得的SAR图像的宽度,i、j为两个变量,每一组(i,j)的值表示图像中的某一位置。
(2)对差异图进行显著性分析求出显著值:根据显著性区域提取方法的四个参考原则将步骤(1)中两组SAR图像的像素子块进行显著性比较,设定一个相似性度量值d(pi,qk),并最终求得显著值
(3)优化显著值结果:考虑到对一个像素取块的大小不同会对结果造成影响,对步骤(2)中的显著值进行多尺度处理;又考虑到人眼看物体一般有一个或几个关注点的影响,于是本发明再将多尺度处理后的显著值结果优化为并根据显著值结果得到对应的显著图。
(4)利用门限方法将显著图二值化:利用Matlab中的大津算法函数从步骤(3)中得到的显著值结果中找到显著图中的门限值τ,用门限方法将显著图进行二值化处理,得到二值化门限图Ds。
(5)更新差异图:利用二值化门限图Ds区分出对应原图中可能变化的区域和不变的区域所在的位置,得到dsi,然后获得更新后的差异图D2;
dsi=DotM(imi,Ds),
其中,DotM(imi,Ds)表示矩阵imi(i=1,2)和Ds对应位置的数相乘。因为在步骤(1)中获得最初差异图D1前已对两组SAR图像进行了中值滤波处理,因此在此步骤更新差异图D2前,无需再进行中值滤波处理;若在训练开始前未进行中值滤波处理,则在此步骤更新差异图D2前,需要先进行中值滤波处理,以减少相干斑噪声的影响。因为相干斑噪声会对变化检测结果产生不可忽略的影响,因此必须要进行一次中值滤波处理。
(6)再次利用门限方法进一步分类:利用Matlab中的大津算法函数在步骤(5)得到的更新后的差异图D2中找到差异门限值用门限方法对更新后的差异图进行三值化处理,根据处理结果在对应原图中提取正样本、负样本和不确定像素,不确定像素即为需要进一步分类的图像像素。本发明中经过两次门限分类方法,可以获得较为精准的正样本和负样本,在后续结合PCANet的测试中,只需要对不确定像素进行最后的变化检测,这样不但降低了变化检测的效率,还使正、负样本的分类更加细化,提高了SAR图像变化检测的精度。
(7)利用PCANet得到训练好的特征:利用PCANet提取步骤(6)中分类所得的正、负训练样本对应的特征,得到训练好的正、负样本对应的特征,由此得到的正、负样本的特征具有更高的准确性,会使后续变化检测的精准性大幅提高。
(8)利用SVM进行分类:利用训练好的正、负样本对应的特征训练支持向量机SVM,再将步骤(6)中PCANet提取的不确定像素的特征输入支持向量机SVM中进行正、负样本的最后分类,得到两时相SAR图像最终的变化检测结果。参见图2-图4,其中图2(e)图3(e)、图4(e)分别为本实验所得两时相SAR图像变化检测结果。
本发明考虑到同一地区不同时刻两组SAR图像中存在的未变化区域占绝大部分,而在未变化区域中包含大量的相干斑噪声,会对分类结果产生影响,因此首先利用显著性区域检测得到显著图,利用门限方法对同一地区不同时刻的两组SAR图像进行预分类,获得确定变化的像素、确定不变的像素以及不确定像素,针对确定不变的像素,后续分类测试将不再作考虑,只针对不确定像素进行后续变化检测。这样可以显著的减少训练样本和测试样本,从而提高检测速度,有效降低运算时间,提高图像变化检测的效率。
实施例2
基于显著性分析的PCANet图像变化检测方法同实施例1,步骤(2)中所述的根据显著性区域提取方法的四个参考原则设定相似性度量值d(pi,qk)并求得显著值具体是:
其中,c=f为常量参数,f可取任意正整数,本例中f取值为5,dcolor(pi,qk)表示子块pi和qk的颜色值欧式距离;k∈[1,K],K=m表示两个样本间的距离,m可根据样本需要取任意正整数,本例中m取值为64;dposition(pi,qk)表示子块pi和qk的位置欧式距离;d(pi,qk)表示与pi相似度最高的第k个子块的颜色距离,若第k个子块与最相似子块颜色的欧式距离远,表明它的独特性高,应该具有大的显著性,反之,则显著性小;根据显著性区域提取方法的第三个参考原则,若颜色值相似度高但位置远,则可能是分布区域多的背景,应该赋予低的显著性值;反之,显著性区域通常聚在一起;r表示不同的子块尺度大小。
实施例3
基于显著性分析的PCANet图像变化检测方法同实施例1-2,步骤(3)中所述的优化显著值结果为:
其中,将的点作为关注点;为像素i与最近的关注点的欧式位置距离,其值被归一化为[0,1];R={r1,r2,...,rm}表示所计算的像素i周围取块大小的集合。
实施例4
基于显著性分析的PCANet图像变化检测方法同实施例1-3,步骤(4)中所述的利用门限方法将显著图进行二值化处理,得到二值化门限图Ds为:
其中,Ds为1的是可能变化区域;Ds为0的被视为一定不存在变化的区域。对比同一地区两时相的两组SAR图像,不变化的区域占绝大部分,但不变化的区域中含有大量的相干斑噪声,会影响变化检测结果的准确性,因此本发明在测试时将不再考虑该区域,因此也降低了测试样本的数量,简化了计算复杂度。
实施例5
基于显著性分析的PCANet图像变化检测方法同实施例1-4,步骤(6)中所述的利用门限方法对更新后的差异图D2进行三值化处理,得到的分类结果P为:
其中σ1和σ2表示范围精度,需要根据差异门限值的值稍作调整,一般不超过的30%。在显著性区域中P为1的位置表示确定为变化的样本,作为正训练样本;P为0的位置表示确定为未变化的样本,作为负训练样本;P为0.5的位置表示不确定像素,需要进一步分类确定。
本发明经过此次门限方法分类后,可以获得更加准确的正样本和负样本,在后续结合PCANet的测试中,只需要对不确定像素进行最后的变化检测,这样不但提高了变化检测的效率,还使正、负样本的分类更加细化,提高了SAR图像变化检测的精度。
实施例6
基于显著性分析的PCANet图像变化检测方法同实施例1-5,步骤(7)中利用PCANet得到训练好的特征的过程为:
令图像块表示在图像imi(i=1,2)中以(x,y)为中心,取大小为m*m的小块,本例中取m=8,将两个不同时项的SAR图像相同位置取出的小块和组合起来作为一个新的图像块,那么它的大小是2m*m。用这样的方法,随机的从分类得到的正、负训练样本中选取n个组合好的训练样本Pi(i=1,2,...n),得到组合好的训练样本Pi(i=1,2,...n),利用PCANet对组合好的训练样本提取特征,得到训练好的特征。
实施例7
基于显著性分析的PCANet图像变化检测方法同实施例1-6,步骤(7)中利用PCANet提取正、负训练样本所对应特征,主要包含有如下步骤:
(7.1)对选取的每个训练样本Pi做取均值处理和向量化处理得到把所有的组合到一个矩阵中,形成矩阵P:
然后计算PPT的特征向量,取前N1个特征向量来形成第一层PCA滤波器
其中,ql(PPT)表示PPT的第l个特征向量,mat(v)表示把向量映射成为一个矩阵W∈R2m×m。主成分滤波器可以获得主要的样本特征的信息,其输出为
其中,*表示三维卷积操作;
(7.2)网络的第二层,和第一层操作类似。先对第一层nN1个输出进行去均值处理和向量化处理,得到新的输入:
用和步骤(1)一样的方法,得到QQT的前N2个特征向量,形成第二层的PCA滤波器对第一层的每个输出进行二维卷积,则第i个图像块最终可以得到N1N2个特征向量输出Ri:
(7.3)将第一层的一个输出输入到第二层后将会有N2个输出,用赫维赛德阶跃函数将这N2个输出二值化后,把这N2个二值化图转化成一个整数值的图像(每个位置的数值范围为转化公式如下:
用直方图统计来表示第一层网络产生的N1个图的特征,得到第i个小块的特征。
(7.4)对选取的n个图像块都经过上述步骤处理,得到全部训练好的特征。
本发明采用分类得到的正、负训练样本训练PCANet,PCANet是一种简单的深度学习网络,它利用主成分分析PCA构造卷积滤波器的参数,由此得到的深层网络训练过程更为简单,并且能适应不同训练任务和不同数据类型,该网络更具有竞争性。
下面给出一个更加详尽的例子,对本发明进一步说明:
实施例8
基于显著性分析的PCANet图像变化检测方法同实施例1-7,参照图1,本发明的具体实现步骤如下:
步骤1,两时相SAR图像的差异图获取。
根据基于显著性分析的PCANet模型输入同一区域不同时间的两组SAR图像im1={im1(i,j)|1≤i≤H,1≤j≤W}、im2={im2(i,j)|1≤i≤H,1≤j≤W},因为SAR图像中有许多相干斑噪声,因此要先经过中值滤波处理,然后产生这两组SAR图像的最初差异图D1:
其中,H表示已获得的SAR图像的高度,W表示已获得的SAR图像的宽度。
步骤2,差异图显著性区域提取。
(2.1)显著性区域提取方法的四个参考原则如下:
(2.1.1)局部对比原则,主要包括对比度和颜色的对比,具有不同颜色和模式的区域对应的显著性值高,均匀或模糊区域显著性值低;
(2.1.2)全局对比原则,抑制经常出现的特征,保持不同的特征;
(2.1.3)视觉原则,人眼有一个或多个关注中心。相似特征的像素分布在整个图像中可能是该图像的背景,所以显著的像素应当聚集在关注重心附近,而不是分散在整幅图像。
(2.1.4)先验信息原则,考虑结合一些先验信息,例如显著目标的位置和目标类型等。
(2.2)令dcolor(pi,qk)表示子块pi和qk的颜色值欧式距离;其中,c=f为常量参数;经过多次试验,本发明发现当f取值为3时,可以得到的显著性检测结果最好,故本发明取c=3。dcolor(pi,qk)表示子块pi和qk的颜色值欧式距离;k∈[1,K],K=m表示两个样本间的距离,m可根据样本需要取任意正整数,本例中m取值为64;dposition(pi,qk)表示子块pi和qk的位置欧式距离;d(pi,qk)表示与pi相似度最高的第k个子块的颜色距离,若第k个子块与最相似子块颜色的欧式距离远,表明它的独特性高,应该具有大的显著性,反之,则显著性小;根据显著性区域提取方法的第三个参考原则,若颜色值相似度高但位置远,则可能是分布区域多的背景,应该赋予低的显著性值;反之,显著性区域通常聚在一起。
联合以上两个dcolor(pi,qk)和dposition(pi,qk),显著性比较高的像素,应该是与其它子块具有大的相似度,并且表现为聚集的分布形式,所以定义一个相似性度量值d(pi,qk):
其中,c=3为常量参数,并最终求得显著值
其中,r表示不同的子块尺度大小,本发明为了与Feng Gao提出的AutomaticPCANet方法一致,分别提取图像的100%,80%,50%,30%作为子块大小,实际中,子块尺度大小的选取可以根据精度需要进行调整。
(2.3)考虑对一个像素取块的大小不同会对结果造成影响,对步骤(2.2)中的显著值进行多尺度处理得到多尺度结果
其中,R={r1,r2,...,rm}表示所计算的像素i周围取块大小的集合。
(2.4)根据显著性区域提取方法的第三个原则,即视觉原则,考虑到人眼看物体一般有一个或几个关注点的影响,将多尺度处理后的显著值结果优化为并得到对应的显著图:
其中,将的点作为关注点;为像素i与最近的关注点的欧式位置距离,其值被归一化为[0,1]。
步骤3,利用门限方法对步骤2中得到的显著图进行二值化处理,得到二值化门限图,更新差异图,再次使用门限方法对更新后的差异图进行三值化处理,根据结果,提取出对应原图的正样本、负样本以及需要进一步分类的不确定像素。
(3.1)利用Matlab中的大津算法函数从步骤2中得到的显著值结果找到显著图中的门限值τ,用门限方法将显著图进行二值化处理,得到二值化门限图Ds:
其中,Ds为1的是可能变化区域;Ds为0的被视为一定不存在变化的区域,测试时将不考虑该区域。
(3.2)利用二值化门限图Ds区分出对应原图中可能变化的区域和不变的区域所在的位置,得到dsi,然后获得更新后的差异图D2:
dsi=DotM(imi,Ds),
其中,DotM(imi,Ds)表示矩阵imi(i=1,2)和Ds对应位置的数相乘。
(3.3)利用Matlab中的大津算法函数在步骤(3.2)得到的更新后的差异图D2中找到差异门限值用门限方法对更新后的差异图进行三值化处理,得到分类结果P,并根据分类结果在对应原图中提取正样本、负样本和需要进一步分类的不确定像素:
其中σ1和σ2表示范围精度,需要根据门限差异值的值稍作调整,一般不超过的30%;在显著性区域中P为1的位置表示确定为变化的样本,作为正训练样本,P为0的位置表示确定为未变化的样本,作为负训练样本,P为0.5的位置表示为不确定像素,需要进一步分类确定。
步骤4,利用PCANet分别提取的正、负训练样本和不确定像素所对应的特征,将训练好的正、负样本对应的特征训练支持向量机SVM模块,再将PCANet提取的不确定像素的特征输入支持向量机SVM进行最终分类。
(4.1)令图像块表示在图像imi(i=1,2)中以(x,y)为中心,取大小为m*m的小块,本发明经过多次试验,得出当m=3时,图像变化检测精度最高,故本发明取m=3。将两个不同时项的SAR图像相同位置取出的小块和组合起来作为一个新的图像块,那么它的大小是2m*m。用这样的方法,随机的从分类得到的正、负训练样本中选取n个组合好的训练样本Pi(i=1,2,...n),用PCANet提取特征,主要包含三个步骤:
(4.1.1)对选取的每个训练样本Pi做取均值处理和向量化处理得到pi,把所有的pi组合到一个矩阵中,形成矩阵P:
然后计算PPT的特征向量,取前N1个特征向量来形成第一层PCA滤波器
其中,ql(PPT)表示PPT的第l个特征向量,mat(v)表示把向量映射成为一个矩阵W∈R2m×m。主成分滤波器可以获得主要的样本特征的信息,其输出为
其中,*表示三维卷积操作;
(4.1.2)网络的第二层,和第一层操作类似。先对第一层nN1个输出进行去均值处理和向量化处理,得到新的输入:
用和步骤(1)一样的方法,得到QQT的前N2个特征向量,形成第二层的PCA滤波器对第一层的每个输出进行二维卷积,则第i个图像块最终可以得到N1N2个特征向量输出Ri:
(4.1.3)将第一层的一个输出输入到第二层后将会得到N2个输出,用赫维赛德阶跃函数将这N2个输出二值化后,把这N2个二值化图转化成一个整数值的图像(每个位置的数值范围为转化公式如下:
用直方图统计来第一层网络产生的N1个图的特征,得到第i个小块的特征。
(4.2)利用训练好的正、负样本对应的特征训练支持向量机SVM,再将步骤3中得到的不确定像素输入SVM模块进行正、负样本分类,得到最终的变化检测结果。
本发明考虑到同一地区两时相SAR图像中存在比例较大的未变化区域,而在未变化区域中存在大量的相干斑噪声,会对分类结果产生不可忽略的影响。因此首先利用门限方法对同一地区不同时刻的两组SAR图像进行预分类,获得确定变化的样本、确定不变的样本以及不确定像素。在后续的变化检测过程中,针对确定不变的样本即负样本,将不再作考虑,只针对不确定像素进行最终的变化检测。这样显著减少了训练样本和测试样本的数量,在处理数据量很大的情况下,有效提高检测速度,降低运算时间,减少相干斑噪声对变化检测结果的影响,提高SAR图像变化检测的效率。
下面结合仿真实验对本发明的效果再做说明。
实施例9
基于显著性分析的PCANet图像变化检测方法同实施例1-8,具体实验为:
1)实验条件
实验仿真环境为:MATLAB R2015b,Core(TM)i5-4720HQ CPU,4GB RAM。
2)实验内容
实验1,分别应用Feng Gao提出的Automatic PCANet方法和本发明方法对两时相Yellow River Estuary SAR图像进行变化检测,实验结果如图2所示,其中图2(a)是第一时刻Yellow River Estuary SAR图像,图2(b)是第二时刻Yellow River Estuary SAR图像,图2(c)是变化检测结果参考图,图2(d)是Automatic PCANet的变化检测结果,图2(e)是本发明的变化检测结果。
实验2,分别应用Feng Gao提出的Automatic PCANet方法和本发明方法对两时相Bern数据集SAR图像进行变化检测,实验结果如图3所示,其中图3(a)是第一时刻Bern数据集SAR图像,图3(b)是第二时刻Bern数据集SAR图像,图3(c)是变化检测结果参考图,图3(d)是Automatic PCANet的变化检测结果,图3(e)是本发明的变化检测结果。
实验3,分别应用Feng Gao提出的Automatic PCANet方法和本发明方法对两时相Ottawa数据集SAR图像进行变化检测,实验结果如图4所示,其中图4(a)是第一时刻Ottawa数据集SAR图像,图4(b)是第二时刻Ottawa数据集SAR图像,图4(c)是变化检测结果参考图,图4(d)是Automatic PCANet的变化检测结果,图4(e)是本发明的变化检测结果。
3)实验结果
为验证变化检测结果质量,本发明选取总体精度、Kappa系数和执行时间作为性能指标参数,评价本发明方法的检测精度和效率。该实验结果如表1和表2所示,表1给出Automatic PCANet方法和本发明方法检测精度的比较结果,表2给出Automatic PCANet方法和本发明方法执行效率的比较结果。
表1本发明方法与Automatic PCANet方法检测精度比较
表2本发明方法与Automatic PCANet方法执行效率比较
4)实验结果分析
由图2可以看到,本发明方法得到的变化检测结果图在图中左、右两侧的粗线中均检测出许多细纹,与参考图给出结果更加接近,Automatic PCANet方法得到的变化检测结果粗略,没有检测出细纹变化。
由图3可以看到,本发明方法得到的变化检测结果区域面积更大,细节结果更显著,与参考图给出的结果更加接近,Automatic PCANet方法得到的变化检测结果区域面积小,检测结果不明显。
由图4可以看到,本发明方法得到的变化检测结果图在图中左侧区域细节结果更显著,与参考图给出的结果更加接近,Automatic PCANet方法得到的变化检测结果中细节变化结果不明显。
实施例10
基于显著性分析的PCANet图像变化检测方法同实施例1-8,仿真条件、仿真内容及仿真结果同实施例9。
由表1可以看到,本发明方法的检测精度高于Automatic PCANet方法,这是由于本发明首先对两时相SAR图像的差异图进行显著性区域检测得到显著图,然后利用门限方法对显著图进行预分类,得到可能变化的像素和确定不变的像素。针对可能变化的像素,再次利用门限方法进一步分类提取出确定变化的像素即正样本、确定不变的像素即负样本以及不确定像素。结合PCANet,对不确定像素进行最后的变化检测。本发明利用门限方法进行像素分类更加具有准确性,两次利用门限方法可以使像素分类更加细化,提取的训练样本更具有代表性,得到的分类结果更准确,从而提高检测精度及抗噪性能。
由表2中可以看到,本发明方法在执行效率上优于现有Automatic PCANet方法,这是由于基于显著性检测的PCANet方法参考生物行为模式,观察变化像素时只需要比较显著性区域和它附近的像素,离得较远的背景像素即分类所得的负样本参考价值不大,后续测试将不作考虑,这样有效减少训练样本数量,提高了检测效率,节省了运算时间。
简而言之,本发明公开的一种基于显著性分析的PCAnet图像变化检测方法。主要解决现有Automatic PCAnet方法导致的训练样本过多,处理时间过长以及SAR图像的散射噪声会对分类结果产生影响的问题。其实现步骤是:将原始两时相SAR图像进行差异图的获取;对获取的差异图进行显著性分析得到显著图并优化;利用门限方法显著图进行二值化处理,更新差异图,再次利用门限方法对更新后的差异图进行三值化处理得到分类结果,从原图中提取出正样本、负样本以及需要进一步分类的像素;利用PCAnet提取正、负样本对应的特征,送入支持向量机SVM模块进行训练;利用PCANet提取不确定像素的特征,再将不确定像素的特征输入支持向量机SVM进行分类,得到最终的图像变化检测结果。本发明与现有的Automatic PCAnet方法相比,检测精度高,运算效率高,抗噪性能好,可用于SAR图像变化检测。
Claims (5)
1.一种基于显著性分析的PCANet图像变化检测方法,用于SAR图像变化检测,其特征在于,包括有以下步骤:
(1)产生最初差异图:输入同一区域不同时间的两组SAR图像im1、im2,经过中值滤波处理,然后产生这两组SAR图像的最初差异图D1;
(2)对差异图进行显著性分析求出显著值:根据显著性区域提取方法的四个参考原则对最初差异图D1进行显著性检测,设定一个相似性度量值d(pi,qk),并最终求得显著值
(3)优化显著值结果:对显著值进行多尺度处理,再将多尺度处理后的显著值结果优化为并得到对应的显著图;
(4)利用门限方法将显著图二值化:利用Matlab中的大津算法函数从显著值结果中找到显著图中的门限值τ,用门限方法将显著图进行二值化处理,得到二值化门限图Ds;
(5)更新差异图:利用二值化门限图Ds区分出对应原图中可能变化的区域和不变的区域所在的位置,得到dsi,然后获得更新后的差异图D2;
(6)再次利用门限方法进一步分类:利用Matlab中的大津算法函数在更新后的差异图D2中找到差异门限值用门限方法对更新后的差异图进行三值化处理,根据处理结果在对应原图中提取正样本、负样本和不确定像素,不确定像素即为需要进一步分类的图像像素;
(7)利用PCANet得到训练好的特征:利用PCANet提取正、负训练样本对应的特征,再利用PCANet提取不确定像素对应的特征;
(8)利用SVM进行分类:利用训练好的正、负样本对应的特征训练支持向量机SVM,再将PCANet提取的不确定像素的特征输入支持向量机SVM中进行正、负样本的最后分类,得到两时相SAR图像最终的变化检测结果。
2.根据权利要求1所述的基于显著性分析的PCANet图像变化检测方法,其特征在于,步骤(4)中所述的利用门限方法将显著图进行二值化处理,得到二值化门限图Ds为:
其中,Ds为1的是可能变化区域;Ds为0的被视为一定不存在变化的区域,测试时将不考虑该区域。
3.根据权利要求1所述的基于显著性分析的PCANet图像变化检测方法,其特征在于,步骤(6)中所述的利用门限方法对更新后的差异图进行三值化处理得到的分类结果P为:
其中σ1和σ2表示范围精度,需要根据差异门限值的值进行调整,调整范围不超过的30%;在显著性区域中P为1的位置表示确定为变化的像素,作为正训练样本,P为0的位置表示确定为未变化的像素,作为负训练样本,P为0.5的位置表示为不确定像素,需要进一步分类确定。
4.根据权利要求1所述的基于显著性分析的PCANet图像变化检测方法,其特征在于,步骤(7)中所述利用PCANet得到训练好的特征过程为:
令图像块表示在图像imi(i=1,2)中以(x,y)为中心,取大小为m*m的小块,m可取任意正整数,将两个不同时相的SAR图像相同位置取出的小块和组合起来作为一个新的图像块,图像块的大小是2m*m,用这样的方法,随机的从分类得到的正、负训练样本中选取n个组合好的训练样本Pi(i=1,2,...n),得到组合好的训练样本Pi(i=1,2,...n),利用PCANet对组合好的训练样本提取特征,得到训练好的特征。
5.根据权利要求1或4所述的基于显著性分析的PCANet图像变化检测方法,其特征在于,步骤(7)中利用PCANet提取正、负训练样本所对应特征的具体过程包含有如下步骤:
(7.1)对选取的每个训练样本Pi做取均值处理和向量化处理得到把所有的组合到一个矩阵中,形成矩阵P:
然后计算PPT的特征向量,取前N1个特征向量来形成第一层PCA滤波器Wl 1:
Wl 1=mat(ql(PPT))∈R2m×ml=1,2,...,N1,
其中,ql(PPT)表示PPT的第l个特征向量,mat(v)表示把向量映射成为一个矩阵W∈R2m×m,主成分滤波器可以获得主要的样本特征的信息,其输出为Pi l:
Pi l=Pi*Wl 1,i=1,2,...,n,
其中,*表示三维卷积操作;
(7.2)网络的第二层,和第一层操作类似,先对第一层nN1个输出进行去均值处理和向量化处理,得到新的输入:
用和步骤(1)一样的方法,得到QQT的前N2个特征向量,形成第二层的PCA滤波器对第一层的每个输出进行二维卷积,则第i个图像块最终可以得到N1N2个特征向量输出Ri:
(7.3)将第一层的一个输出输入到第二层后将会得到N2个输出,用赫维赛德阶跃函数将这N2个输出二值化后,把这N2个二值化图转化成一个整数值的图像,每个位置的数值范围为转化公式如下:
最后,用直方图统计来表示第一层网络产生的N1个图的特征,得到第i个小块的特征;
(7.4)对选取的n个图像块都经过上述步骤处理,得到全部训练好的特征。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711403396.4A CN108257151B (zh) | 2017-12-22 | 2017-12-22 | 基于显著性分析的PCANet图像变化检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711403396.4A CN108257151B (zh) | 2017-12-22 | 2017-12-22 | 基于显著性分析的PCANet图像变化检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108257151A CN108257151A (zh) | 2018-07-06 |
CN108257151B true CN108257151B (zh) | 2019-08-13 |
Family
ID=62723760
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711403396.4A Active CN108257151B (zh) | 2017-12-22 | 2017-12-22 | 基于显著性分析的PCANet图像变化检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108257151B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109254654B (zh) * | 2018-08-20 | 2022-02-01 | 杭州电子科技大学 | 一种结合PCA和PCANet的驾驶疲劳特征提取方法 |
CN109753973A (zh) * | 2018-12-21 | 2019-05-14 | 西北工业大学 | 基于加权支持向量机的高光谱图像变化检测方法 |
CN109993727A (zh) * | 2019-03-06 | 2019-07-09 | 中国人民解放军61540部队 | 一种基于深度学习的遥感图像变化检测方法 |
CN111080678B (zh) * | 2019-12-31 | 2022-02-01 | 重庆大学 | 一种基于深度学习的多时相sar图像变化检测方法 |
CN112370078B (zh) * | 2020-11-10 | 2024-01-26 | 安徽理工大学 | 一种基于超声成像和贝叶斯优化的图像检测方法 |
CN113033510B (zh) * | 2021-05-21 | 2021-10-15 | 浙江大华技术股份有限公司 | 图像变化检测模型的训练和检测方法、设备及存储介质 |
CN113408525B (zh) * | 2021-06-17 | 2022-08-02 | 成都崇瑚信息技术有限公司 | 一种多层三值主元与双向长短期记忆融合的文本识别方法 |
CN116778207B (zh) * | 2023-06-30 | 2024-02-09 | 哈尔滨工程大学 | 一种基于空间频域的无监督深度多尺度sar图像变化检测方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101888469A (zh) * | 2009-05-13 | 2010-11-17 | 富士通株式会社 | 图像处理方法和图像处理设备 |
CN104794729A (zh) * | 2015-05-05 | 2015-07-22 | 西安电子科技大学 | 基于显著性引导的sar图像变化检测方法 |
CN107239795A (zh) * | 2017-05-19 | 2017-10-10 | 西安电子科技大学 | 基于稀疏自编码器和卷积神经网络的sar图像变化检测系统及方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1343108A3 (en) * | 2002-03-04 | 2005-03-23 | Samsung Electronics Co., Ltd. | Method and apparatus for recognising faces using principal component analysis and second order independent component analysis |
CN101299268B (zh) * | 2008-07-01 | 2010-08-11 | 上海大学 | 适于低景深图像的语义对象分割方法 |
US8849005B2 (en) * | 2011-09-28 | 2014-09-30 | Siemens Aktiengesellschaft | Coronary artery motion modeling |
CN104952083B (zh) * | 2015-06-26 | 2018-01-23 | 兰州理工大学 | 一种基于显著性目标背景建模的视频显著性检测方法 |
CN105869146B (zh) * | 2016-03-22 | 2019-03-01 | 西安电子科技大学 | 基于显著性融合的sar图像变化检测方法 |
-
2017
- 2017-12-22 CN CN201711403396.4A patent/CN108257151B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101888469A (zh) * | 2009-05-13 | 2010-11-17 | 富士通株式会社 | 图像处理方法和图像处理设备 |
CN104794729A (zh) * | 2015-05-05 | 2015-07-22 | 西安电子科技大学 | 基于显著性引导的sar图像变化检测方法 |
CN107239795A (zh) * | 2017-05-19 | 2017-10-10 | 西安电子科技大学 | 基于稀疏自编码器和卷积神经网络的sar图像变化检测系统及方法 |
Non-Patent Citations (5)
Title |
---|
Automatic Change Detection in Synthetic Aperture Radar Images Based on PCANet;FengGao等;《IEEE Geoscience and Remote Sensing Letters 》;20161231;第13卷(第12期);全文 |
Remote-Sensing Image Change Detection With Fusion of Multiple Wavelet Kernels;Lu Jia等;《IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing 》;20160831;第9卷(第8期);全文 |
Saliency-Based Image Quality Assessment Metric;Qiangqiang Zhou等;《2016 3rd International Conference on Systems and Informatics (ICSAI)》;20170109;全文 |
Unsupervised Change Detection on SAR Images Using Triplet Markov Field Model;Fan Wang等;《IEEE Geoscience and Remote Sensing Letters 》;20130731;第10卷(第4期);全文 |
基于PCANet的高分辨率遥感影像场景分类;何小飞等;《测绘与空间地理信息》;20161031;第39卷(第10期);全文 |
Also Published As
Publication number | Publication date |
---|---|
CN108257151A (zh) | 2018-07-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108257151B (zh) | 基于显著性分析的PCANet图像变化检测方法 | |
Gao et al. | Automatic change detection in synthetic aperture radar images based on PCANet | |
CN105404886B (zh) | 特征模型生成方法和特征模型生成装置 | |
Li et al. | Adaptive multiscale deep fusion residual network for remote sensing image classification | |
CN104598908B (zh) | 一种农作物叶部病害识别方法 | |
CN102842032B (zh) | 基于多模式组合策略的移动互联网色情图像识别方法 | |
Sirmacek et al. | Urban-area and building detection using SIFT keypoints and graph theory | |
CN102214298B (zh) | 基于选择性视觉注意机制的遥感图像机场目标检测与识别方法 | |
Li et al. | Adaptive scale selection for multiscale segmentation of satellite images | |
Asokan et al. | Machine learning based image processing techniques for satellite image analysis-a survey | |
CN108765465A (zh) | 一种无监督sar图像变化检测方法 | |
CN105844279A (zh) | 基于深度学习和sift特征的sar图像变化检测方法 | |
CN106295124A (zh) | 利用多种图像检测技术综合分析基因子图相似概率量的方法 | |
Song et al. | A hierarchical object detection method in large-scale optical remote sensing satellite imagery using saliency detection and CNN | |
CN107358214A (zh) | 基于卷积神经网络的极化sar地物分类方法 | |
CN106815323A (zh) | 一种基于显著性检测的跨域视觉检索方法 | |
CN108734200A (zh) | 基于bing特征的人体目标视觉检测方法和装置 | |
CN107704865A (zh) | 基于结构森林边缘候选区域提取的舰船目标检测算法 | |
Li et al. | SDBD: A hierarchical region-of-interest detection approach in large-scale remote sensing image | |
CN112308873A (zh) | 多尺度Gabor小波PCA融合图像边缘检测方法 | |
CN105512622A (zh) | 一种基于图分割和监督学习的可见光遥感图像海陆分割方法 | |
CN106485239A (zh) | 一种利用单类支持向量机检测河流目标的方法 | |
CN111291818B (zh) | 一种面向云掩膜的非均匀类别的样本均衡化方法 | |
CN108073940A (zh) | 一种非结构化环境中的3d目标实例物体检测的方法 | |
CN108257148A (zh) | 特定对象的目标建议窗口生成方法及其在目标跟踪的应用 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |