CN108875798A - 一种基于空间金字塔池化的超像素级特征提取方法 - Google Patents

一种基于空间金字塔池化的超像素级特征提取方法 Download PDF

Info

Publication number
CN108875798A
CN108875798A CN201810531553.8A CN201810531553A CN108875798A CN 108875798 A CN108875798 A CN 108875798A CN 201810531553 A CN201810531553 A CN 201810531553A CN 108875798 A CN108875798 A CN 108875798A
Authority
CN
China
Prior art keywords
pixel
super
spatial pyramid
feature extraction
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810531553.8A
Other languages
English (en)
Other versions
CN108875798B (zh
Inventor
曹宗杰
王贤圆
崔宗勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201810531553.8A priority Critical patent/CN108875798B/zh
Publication of CN108875798A publication Critical patent/CN108875798A/zh
Application granted granted Critical
Publication of CN108875798B publication Critical patent/CN108875798B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Image Analysis (AREA)

Abstract

本发明雷达图像处理与解译技术，具体的说是涉及一种用于提取极化SAR图像超像素级特征的特征提取方法。本发明方法利用空间金字塔池化模型提取极化SAR图像超像素级特征，将超像素块内各特征层的每个尺度的特征串联得到超像素块的整体特征，极大减少了超像素级特征提取时间，减轻了对分类器的要求，改善了极化SAR图像分类结果。

Description

一种基于空间金字塔池化的超像素级特征提取方法
技术领域
本发明属于雷达图像处理与解译技术，具体的说是涉及一种基于空间金字塔池化的超像素级特征提取方法。
背景技术
在二十一世纪的今天，遥感对地观测技术在军事领域及民用领域发挥着越来越重要的作用。合成孔径雷达(Synthetic Aperture Radar,SAR)是遥感领域研究的一个重要方向。SAR 是一种主动式的对地传感器，通过发射和接受特定的电磁波对地表散射信息进行分析。与传统的光学传感器相比，SAR不受光照和天气影响，可实现全天时全天候的对地观测。在气候环境、战场环境日益复杂多变的今天，SAR有着越来越重要的意义。与传统的SAR相比，极化SAR提供了更丰富的散射信息，可从多个极化通道获取极化信息，具有更加丰富的地物特征。极化SAR在目标检测、识别、分类等方面具有十分突出的优势，是极化SAR的主要研究方向。特征提取是极化SAR解译技术至关重要的一部分。不仅在民用方面，如城市发展趋势分析、农作物生长监测、森林树种估计、地质地表分析、冰层厚度探测、洪涝灾害监视等应用领域，还在伪装目标识别、军事勘察等军事方面，极化SAR数据和及其解译技术都有着极其重要的价值与作用。
如今，极化SAR图像分类方法按照最小分类单元主要可分为两类：基于像素的图像分类与基于区域的图像分类。基于像素的图像分类方法将像素点作为最小处理单元，分类结果获得每个像素点的标签；基于区域的图像分类将区域作为图像的最小处理单元，分类后获得每个区域的标签。虽然，基于像素的特征提取方法简单易用实现，但是，基于像素的图像分类易受相干斑噪声的影响，忽略了相邻像素点间的空间信息，此外，将每个像素点作为分类单元具有大量的处理单元，同时也增加了分类的时间。基于区域的分类方法不仅能够避免极化 SAR数据中相干斑的影响，也能提高分类的精度与减少分类的耗时。
传统的超像素级特征提取方法存在字典中视觉单词个数的确定、相似性测度、聚类中心的选择的问题，表现在以下三个方面：
(1)当选择的字典过大，单词缺乏一般性，对噪声敏感，计算量大；字典太小，单词区分性能差，对相似的特征无法表示。
(2)相似性测度函数用来将图像特征分类到单词本的对应单词上，但适用于极化SAR 特征的相似性测度难以表示。
(3)聚类中心的选择方法选出的中心点能否代表整体的极化SAR数据，现有的聚类方法如K-means易收敛到局部最优点且对特征的异常值敏感。
发明内容
本发明的目的是为了克服上述现有对极化SAR图像超像素级特征提取方法的不足之处，无需确定字典大小、相似性测度以及聚类中心，且降低超像素级特征提取时间，特提供一种基于空间金字塔池化的超像素级特征提取方法。
本发明的分类算法流程见附图1，其详细技术方案如下：
步骤1：提取极化SAR图像每个像素点处的底层极化特征，具体为：
步骤1-1：以极化SAR图像的散射矩阵作为输入，提取极化SAR图像每个像素点的极化特征，其中Shh、Svh、Shv、Svv分别为四个极化通道下的极化分量；
散射矩阵S可以表示为：
其中，
步骤1-2：相干矩阵T可以表示为：
其中，L是视数，上标*是共轭；
步骤1-3：所述的极化特征为将相干矩阵转化为9维实数的向量，每个像素点处的极化特征Fi表示为：
Fi＝[T11,T22,T33,real(T12),imag(T12),real(T13),imag(T13),real(T23),imag(T23)]
步骤2：生成图像的超像素，图像划分成K个超像素区域：{R1,…,Rj,…,RK},j＝1,…,K，具体包括：
步骤2-1：将图像每个像素点的伪彩色转化为CIELAB颜色空间；
步骤2-2：通过S间距采样像素点，初始化聚类中心Ck＝[lk,ak,bk,xk,yk]T，移动聚类中心至3×3邻域最小梯度处，设置每个像素点的超像素标签s(i)＝-1,到最近聚类中心点处的距离 d(i)＝∞，其中，S＝(N/K)1/2，K是设置的超像素数；
步骤2-3：在聚类中心Ck附近2S×2S区域内的像素点i，就算Ck到i的距离D，如果D<d(i),则d(i)＝D,s(i)＝k,重复此步骤直至遍历所有的Ck，其中距离D的计算公式为：
其中，m为调整dc和ds的参数；
步骤2-4：更新聚类中心Ck并计算残差E；
步骤2-5：回到步骤S22进行迭代，直到残差在允许范围内；
步骤3：将每个超像素块做外接矩形，超像素区域外的点的值用超像素边缘的值表示；
步骤4：利用空间金字塔池化提取每个超像素块的特征，得到极化SAR图像的超像素级的极化特征，具体包括：
步骤4-1：将每个超像素块中的每一特征层均匀划分为1×1,2×2,3×3,…,n×n块；
步骤4-2：取每一小块取最大值，对于任意的特征层，将每一小块的最大值串联，得到的特征长度为：
length＝1×1+2×2+3×3+…+n×n
步骤4-3：每一超像素块的特征的大小均可表示为：
Fs＝9×length
本发明的有益效果为：本发明的核心在于充分利用空间金字塔池化模型来提取超像素级特征，主要表现在以下两个方面：第一，利用空间金字塔池化模型无需确定字典大小，避免了字典过大或过小产生的问题；第二，空间金字塔池化模型取每一小块的最大值再进行串联，从而避免了相似性测度问题且节约了运行时间；第三，空间金字塔池化模型不涉及利用聚类方法得到字典中的视觉单词，避免了使用聚类方法而产生的问题；第四，使用超像素级特征不仅利用了像素点间的空间信息，而且节约了分类中训练和测试时间，极大地提高了分类效率。
综上所述，较现有的超像素级特征提取方法，本发明克服了现有方法存在的缺陷，并节约了特征提取的时间。
附图说明
图1为本发明基于空间金字塔池化模型的超像素特征提取方法的流程图。
图2为对应的地物真值参考图。
图3为颜色与地物对应参考图。
图4为旧金山海湾数据集为了量化评价所使用的样本数表。
图5为实施例将MVF，BoW，SCF，本发明结果进行量化后的对比表。
具体实施方式
下面结合实例详细说明本发明的技术方案。
实施例
本发明的实施例采用的极化SAR数据是由AIRSAR系统在四极化精细模式下获取的美国旧金山海湾地区L波段全极化SAR图像。实验选取的区域包含900×1024像素，附图2是旧金山海湾地区人工标定的真实地物参考图。选取的区域包括三种主要地物，分别为：城区、水域、植被类别，灰度对应图为附图3。实验选取占全图像30％的像素点作为训练样本集，所有像素点(包括训练样本)作为分类样本集，附图4是对应使用的样本数表。
经过实验，附图4为旧金山海湾数据集为了量化评价所使用的样本数表，其中包括MVF， BoW，SCF，本实验方法的特征进行分类后的精度与提取超像素级特征的时间。MVF为超像素内像素点特征的平均值特征，BoW为使用词袋模型提取的超像素级特征，SCF为使用系数编码提取的超像素级特征。
根据本发明的极化SAR图像超像素特征提取方法，降低极化SAR图像的超像素级特征提取时间是可行的，即是含有多类场景的极化SAR图像也可以正确分类与降低超像素级特征提取时间。一证明空间金字塔池化模型提取超像素级特征可以使运行时间大幅度减少。二证明采取空间金字塔池化模型提取超像素级特征可以保证极化SAR图像分类准确率。另外，该超像素级特征提取方法可应用于所有极化SAR图像分类中。

Claims (5)

1.一种基于空间金字塔池化的超像素级特征提取方法，其特征在于，包括以下步骤：
S1、提取极化SAR图像每个像素点处的底层极化特征，具体为：
S11、以极化SAR图像的散射矩阵作为输入，提取极化SAR图像每个像素点的极化特征，其中Shh、Svh、Shv、Svv分别为四个极化通道下的极化分量；
散射矩阵S表示为：
其中，
S12、相干矩阵T表示为：
其中，L是视数，上标*是共轭；
S13、所述的极化特征为将相干矩阵转化为9维实数的向量，每个像素点处的极化特征Fi表示为：
Fi＝[T11,T22,T33,real(T12),imag(T12),real(T13),imag(T13),real(T23),imag(T23)]
S2、生成图像的超像素，图像划分成K个超像素区域：{R1,…,Rj,…,RK},j＝1,…,K，具体包括：
S21、将图像每个像素点的伪彩色转化为CIELAB颜色空间；
S22、通过S间距采样像素点，初始化聚类中心Ck＝[lk,ak,bk,xk,yk]T，移动聚类中心至3×3邻域最小梯度处，设置每个像素点的超像素标签s(i)＝-1,到最近聚类中心点处的距离d(i)＝∞，其中，S＝(N/K)1/2，K是设置的超像素数；
S23、在聚类中心Ck附近2S×2S区域内的像素点i，就算Ck到i的距离D，如果D<d(i),则d(i)＝D,s(i)＝k,重复此步骤直至遍历所有的Ck，其中距离D的计算公式为：
其中，m为调整dc和ds的参数；
S24、更新聚类中心Ck并计算残差E；
S25、回到步骤S22进行迭代，直到残差在允许范围内；
S3、将每个超像素块做外接矩形，超像素区域外的点的值用超像素边缘的值表示；
S4、利用空间金字塔池化提取每个超像素块的特征，得到极化SAR图像的超像素级的极化特征，具体包括：
S41、将每个超像素块中的每一特征层均匀划分为1×1,2×2,3×3,…,n×n块；
S42、取每一小块取最大值，对于任意的特征层，将每一小块的最大值串联，得到的特征长度为：
length＝1×1+2×2+3×3+…+n×n
S43、每一超像素块的特征的大小均可表示为：
Fs＝9×length。
2.根据权利要求1所述的一种基于空间金字塔池化的超像素级特征提取方法，其特征在于，所述步骤S12的参数L设置为5。
3.根据权利要求2所述的一种基于空间金字塔池化的超像素级特征提取方法，其特征在于，所述步骤S22的参数m设置为[1,40]。
4.根据权利要求3所述的一种基于空间金字塔池化的超像素级特征提取方法，其特征在于，所述步骤S24的迭代次数设置为10。
5.根据权利要求4所述的一种基于空间金字塔池化的超像素级特征提取方法，其特征在于，所述步骤S41的参数n设置为4。
CN201810531553.8A 2018-05-29 2018-05-29 一种基于空间金字塔池化的超像素级特征提取方法 Active CN108875798B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810531553.8A CN108875798B (zh) 2018-05-29 2018-05-29 一种基于空间金字塔池化的超像素级特征提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810531553.8A CN108875798B (zh) 2018-05-29 2018-05-29 一种基于空间金字塔池化的超像素级特征提取方法

Publications (2)

Publication Number Publication Date
CN108875798A true CN108875798A (zh) 2018-11-23
CN108875798B CN108875798B (zh) 2022-06-24

Family

ID=64336813

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810531553.8A Active CN108875798B (zh) 2018-05-29 2018-05-29 一种基于空间金字塔池化的超像素级特征提取方法

Country Status (1)

Country Link
CN (1) CN108875798B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109685028A (zh) * 2018-12-28 2019-04-26 内蒙古工业大学 一种基于全极化sar数据的河冰厚度反演方法
CN112906829A (zh) * 2021-04-13 2021-06-04 成都四方伟业软件股份有限公司 一种基于Mnist数据集的数字识别模型构建方法及装置

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103456013A (zh) * 2013-09-04 2013-12-18 天津大学 一种表示超像素以及度量超像素之间相似性的方法
CN104573719A (zh) * 2014-12-31 2015-04-29 国家电网公司 基于图像智能分析的山火检测方法
EP2894577A1 (en) * 2013-12-27 2015-07-15 Nuctech Company Limited Retrieving system, retrieving method, and security inspection device based on contents of fluoroscopic images
CN105138970A (zh) * 2015-08-03 2015-12-09 西安电子科技大学 基于空间信息的极化sar图像分类方法
US9239384B1 (en) * 2014-10-21 2016-01-19 Sandia Corporation Terrain detection and classification using single polarization SAR
CN105528767A (zh) * 2015-12-05 2016-04-27 中国人民解放军国防科学技术大学 极化sar图像中目标极化相干特征的增强方法
CN106023212A (zh) * 2016-05-24 2016-10-12 西安电子科技大学 一种基于金字塔逐层传播聚类的超像素分割方法
CN107103326A (zh) * 2017-04-26 2017-08-29 苏州大学 基于超像素聚类的协同显著性检测方法
CN107239799A (zh) * 2017-05-26 2017-10-10 西安电子科技大学 基于Pauli分解和深度残差网的极化SAR影像分类方法
CN107527023A (zh) * 2017-08-07 2017-12-29 西安理工大学 基于超像素和主题模型的极化sar图像分类方法
CN107564011A (zh) * 2017-07-28 2018-01-09 南京理工大学 基于直方图一维微分距离的分层超像素分割模型
CN107578064A (zh) * 2017-08-23 2018-01-12 中国地质大学（武汉） 基于超像素利用极化相似性参数的海面溢油检测的方法
CN107680113A (zh) * 2017-10-27 2018-02-09 武汉大学 基于贝叶斯框架边缘先验的多层分割网络的图像分割方法
CN107742133A (zh) * 2017-11-08 2018-02-27 电子科技大学 一种用于极化sar图像的分类方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103456013A (zh) * 2013-09-04 2013-12-18 天津大学 一种表示超像素以及度量超像素之间相似性的方法
EP2894577A1 (en) * 2013-12-27 2015-07-15 Nuctech Company Limited Retrieving system, retrieving method, and security inspection device based on contents of fluoroscopic images
US9239384B1 (en) * 2014-10-21 2016-01-19 Sandia Corporation Terrain detection and classification using single polarization SAR
CN104573719A (zh) * 2014-12-31 2015-04-29 国家电网公司 基于图像智能分析的山火检测方法
CN105138970A (zh) * 2015-08-03 2015-12-09 西安电子科技大学 基于空间信息的极化sar图像分类方法
CN105528767A (zh) * 2015-12-05 2016-04-27 中国人民解放军国防科学技术大学 极化sar图像中目标极化相干特征的增强方法
CN106023212A (zh) * 2016-05-24 2016-10-12 西安电子科技大学 一种基于金字塔逐层传播聚类的超像素分割方法
CN107103326A (zh) * 2017-04-26 2017-08-29 苏州大学 基于超像素聚类的协同显著性检测方法
CN107239799A (zh) * 2017-05-26 2017-10-10 西安电子科技大学 基于Pauli分解和深度残差网的极化SAR影像分类方法
CN107564011A (zh) * 2017-07-28 2018-01-09 南京理工大学 基于直方图一维微分距离的分层超像素分割模型
CN107527023A (zh) * 2017-08-07 2017-12-29 西安理工大学 基于超像素和主题模型的极化sar图像分类方法
CN107578064A (zh) * 2017-08-23 2018-01-12 中国地质大学（武汉） 基于超像素利用极化相似性参数的海面溢油检测的方法
CN107680113A (zh) * 2017-10-27 2018-02-09 武汉大学 基于贝叶斯框架边缘先验的多层分割网络的图像分割方法
CN107742133A (zh) * 2017-11-08 2018-02-27 电子科技大学 一种用于极化sar图像的分类方法

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
FAN, JIAYUAN等: "Spectral-spatial hyperspectral image classification using super-pixel-based spatial pyramid representation", 《SPIE REMOTE SENSING》 *
XINWU LI等: "Effects of BOW Model With Affinity Propagation and Spatial Pyramid Matching on Polarimetric SAR Image Classification", 《IEEE JOURNAL OF SELECTED TOPICS IN APPLIED EARTH OBSERVATIONS AND REMOTE SENSING》 *
朱利妍: "基于图的彩色图像目标分割算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
程少光等: "基于超像素空间金字塔模型的场景识别研究", 《计算机工程与应用》 *
胡昊: "极化SAR图像精细地物分类方法研究与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
薛虹: "基于特征描述的图像场景分类算法研究", 《中国优秀硕士学位论文全文数据库》 *
韩晰瑛: "基于图像内容描述的场景分类算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109685028A (zh) * 2018-12-28 2019-04-26 内蒙古工业大学 一种基于全极化sar数据的河冰厚度反演方法
CN109685028B (zh) * 2018-12-28 2022-12-09 内蒙古工业大学 一种基于全极化sar数据的河冰厚度反演方法
CN112906829A (zh) * 2021-04-13 2021-06-04 成都四方伟业软件股份有限公司 一种基于Mnist数据集的数字识别模型构建方法及装置

Also Published As

Publication number Publication date
CN108875798B (zh) 2022-06-24

Similar Documents

Publication Publication Date Title
CN104376330B (zh) 基于超像素散射机制的极化sar图像舰船目标检测方法
CN109871902B (zh) 一种基于超分辨率对抗生成级联网络的sar小样本识别方法
CN107274416B (zh) 基于光谱梯度与层次结构的高光谱图像显著性目标检测方法
US11747498B1 (en) Method, system, device and medium for landslide identification based on full polarimetric SAR
CN109934166A (zh) 基于语义分割和孪生神经网络的无人机图像变化检测方法
Zhou et al. Individual tree parameters estimation for plantation forests based on UAV oblique photography
CN108171193B (zh) 基于超像素局部信息度量的极化sar舰船目标检测方法
CN110532953B (zh) 基于纹理特征辅助的sar影像冰川识别方法
CN108805057B (zh) 一种基于联合显著性分析的sar图像油库区检测方法
CN107358214A (zh) 基于卷积神经网络的极化sar地物分类方法
CN107742133A (zh) 一种用于极化sar图像的分类方法
CN114578356A (zh) 基于深度学习的分布式散射体形变监测方法、系统及设备
CN108875798B (zh) 一种基于空间金字塔池化的超像素级特征提取方法
Xu et al. MP-Net: An efficient and precise multi-layer pyramid crop classification network for remote sensing images
Xu et al. The comparative study of three methods of remote sensing image change detection
Hou et al. RFSDAF: A new spatiotemporal fusion method robust to registration errors
Wang et al. Automatic cloud detection in remote sensing imagery using saliency-based mixed features
Yin et al. Threshold segmentation based on information fusion for object shadow detection in remote sensing images
Chen et al. Equivalent complex valued deep semantic segmentation network for sar images
CN113591714A (zh) 一种基于卫星遥感图像洪涝检测方法
Ma et al. Uncertainty of object-based image analysis for drone survey images
CN110766619A (zh) 一种基于波段质量分析的无监督波段选择算法
Yang et al. AAE-Dpeak-SC: A novel unsupervised clustering method for space target ISAR images based on adversarial autoencoder and density peak-spectral clustering
Koch et al. Road segmentation using multipass single-pol synthetic aperture radar imagery
Zhang et al. Study on the classification of Gaofen-3 polarimetric SAR images using deep neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant