CN111325259A - 一种基于深度学习和二进制编码的遥感图像分类方法 - Google Patents
一种基于深度学习和二进制编码的遥感图像分类方法 Download PDFInfo
- Publication number
- CN111325259A CN111325259A CN202010093312.7A CN202010093312A CN111325259A CN 111325259 A CN111325259 A CN 111325259A CN 202010093312 A CN202010093312 A CN 202010093312A CN 111325259 A CN111325259 A CN 111325259A
- Authority
- CN
- China
- Prior art keywords
- image
- remote sensing
- lbp
- probability distribution
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习和二进制编码的遥感图像分类方法。首先采用局部二值模式LBP提取图像的统计纹理特征,对ResNet‑50提取的深层特征的进行补充,并进一步指导融合网络的特征学习,以增强特征的可分辨性。特征融合后,特征的多样性和复杂性都增加了,因此本发明提出了新的损失函数,在交叉熵函数的基础上加入了一个正则项,来进一步指导网络参数的学习从而提高网络在遥感图像上的分类性能。
Description
技术领域
本发明属于图像处理技术领域,特别涉及一种基于深度学习和二进制编码的网络用于遥 感图像分类的。
背景技术
图像分类一直以来就是计算机视觉中重要的基本问题,也是图像检测、图像分割、物体 跟踪、行为分析等其他高层视觉任务的基础。本发明主要针对遥感图像分类。遥感图像分类 是一个具有开放性和挑战性的研究方向,对于理解包括植被图,城市规划,土地资源管理和 环境监测在内的众多应用的高分辨率遥感图像至关重要。由于遥感图像中目标的多样性与复 杂性,遥感图像信息类型的多样性,以及从遥感图像中提取信息的多样性,该问题具有挑战 性。目前,传统的分类方法在遥感应用中仍然起到较大的作用。随着计算机计算能力的迅速 增强,决策树分类法、专家系统、模糊分类方法和神经网络等一些先前工程实现困难的新方 法也在遥感图像处理中开始发挥作用。近年来,深度学习方法在卫星影像分析方面取得了突 破性进展。
纵观现有技术的方法,至少存在如下技术问题:
首先,在深度模型中用于分类的特征通常是在模型后端提取的全局特征,只包含很少的 图像局部特征。全局特征已经被证明在分类任务中很重要,但同时局部特征可以增强特征的 判别性,也有助于图像分类。此外,当图像中存在旋转和噪声时,与深度特征相比,传统的 手工特征已被证明很有竞争性。这两种类型的特征各有特点,在某些方面可以互相借鉴。
其次,特征融合后,不仅特征的多样性增加了,特征的复杂度也增加了。当通过最小化 损失函数来训练模型时,正则项可以被用来与损失函数一起改善模型的分类性能,因此更适 合该算法的损失函数需要被提出。
由此可知,现有技术中的方法存在构建的模型分类性能不佳的技术问题。
发明内容
本发明针对现有技术的不足,提供一种基于深度学习和二进制编码的的遥感图像分类方 法。
本发明的技术方案为一种基于深度学习和二进制编码的遥感图像分类方法,包括以下步 骤:
步骤1,准备好N张待分类遥感图像数据集D,数据集中的图像类别数为A;
步骤2,利用LBP算法提取图像的纹理特征,
步骤3,在数据集D上训练ResNet-50深度模型;
首先加载在ImageNet数据集上预训练好的ResNet-50网络模型,然后将最后一层全连 接层的输出维数由原来的2048维修改为数据集D的图像类别A,在数据集D上采用随机梯 度下降和反向传播算法进行微调,通过反复的迭代学习得到在数据集D上收敛的ResNet-50 深度模型;
步骤4,训练用于分类的融合网络,
融合网络的处理过程为:首先将步骤2中提取的LBP特征与步骤3中ResNet-50深度模 型中最后一层全连接层之前的深度特征进行融合,然后输入到最后一层全连接层,并通过 softmax函数将全连接层的输出转换为概率分布,然后使用损失函数L计算实际概率分布与预 测概率分布之间的损失,最后使损失函数L收敛,完成融合网络的训练;
步骤5,利用训练好的融合网络进行遥感图像分类。
进一步的,在步骤2中,LBP算子计算过程可分为三步,对于一张灰度图像,首先计算 图像中邻域像素值和中心像素值的差值x,然后将差值x代入阶跃函数像素 值不低于中心像素值的邻域置1,像素值低于中心像素值的邻域置0;然后,按照LBP编码 规则将二进制关系加权成LBP码,其中P表示采样数,R表示采 样半径,gc表示该中心像素的灰度值,gp表示该中心像素的第p个邻域的灰度值;最后通过 遍历所有LBP像素值,建立直方图来表示该图的纹理特征;
假设图像尺寸是I×J,对于3×3邻域内8个采样点来说,LBP一共有256种不同的编码值,则直方图表达为:其中:其中,i是图像的横坐标,j是图像的纵坐标,对于3*3邻 域来说,k是特征值0-255中的值。
交叉熵损失函数为其中yi是第i个实际概率分布,pi是第i个预测概率分 布,A表示维度,i的取值为1-A;正则项为其中λ是正则项系数,dij是 距离矩阵D中的元素,表示将yi移动到pj上的成本,当i=j时,dij=0,当i≠j时,dij=1;fij是耦合矩阵F中的元素,表示从yi移动到pj时需要分配的概率质量,fij≥0, 通过求解最优传输问题找到合适的耦合矩阵F使得取得最小值。
进一步的,λ的取值为10。
本发明目的在于探索传统手工特征和深度特征之间结合的可能性,并且有机的结合这两 种特征来提高遥感图像分类性能。首先,由于基于深度特征的方法和基于手工特征的方法在 某些方面是互补的,因此本发明将这两种类型的特征结合起来以获得更好的图像特征。具体 地说,引入了LBP提取的手工二进制编码特征,以补充有代表性的深度模型ResNet-50提取 的深层特征,从而使图像特征更加准确和全面。其次,本发明提出了一种新的损失函数,该 函数将交叉熵损失函数与一个正则项相结合来判断实际概率分布与预测概率分布之间的损 失。在遥感图像分类上本发明的性能与一般深度网络相比具有明显的提升。
附图说明
图1本发明实施例的网络结构说明图。
具体实施方式
以下结合附图和实施例详细说明本发明技术方案。本发明中利用LBP与深度模型互相补 充得到的网络结构如图1所示。网络的训练过程包括以下4个步骤:
步骤1,准备待分类的遥感图像数据集。
准备好N张待分类遥感图像数据集D,数据集中的图像类别数为A。将数据集D平均分 成两个不重叠的子数据集Dt,Dv,分别用于训练和验证;所有数据集图像的大小为m×m像素。
步骤2,通过手工设计的LBP算法提取图像的纹理特征。
LBP算子计算过程可分为三步。对于一张灰度图像,首先计算图像中邻域像素值和中心 像素值的差值x,然后将差值x代入阶跃函数像素值不低于中心像素值的邻 域置1,像素值低于中心像素值的邻域置0。然后,按照LBP编码规则将二进制关系加权成LBP码,其中P表示采样数,R表示采样半 径,gc表示该中心像素的灰度值,gp表示该中心像素的第p个邻域的灰度值。最后通过遍历 所有LBP像素值,建立直方图来表示该图的纹理特征。假设图片尺寸是I×J,对于3×3邻 域内8个采样点来说,LBP一共有256种不同的编码值,则直方图表达为:其中:i是图像的横坐标, j是图像的纵坐标,对于3*3邻域来说,k是特征值0-255中的值。这里当k=0时,遍历图像 中每个像素的LBP值,当LBP值为0时,H(0)加1,因此得到图像中LBP特征值为0的个 数。以此类推,得到LBP特征图中0-255特征值的统计直方图。
步骤3,在数据集D上训练ResNet-50深度模型;本发明用ResNet-50网络来提取深度 特征。ResNet-50网络在卷积神经网络中引入了残差模块来解决加深网络导致准确度下降的 问题。每个残差模块包含两条路径,其中一条路径对该特征做三次卷积操作得到该特征的残 差,另一条路径是输入特征的直连通路,最后再将两条路径上的特征相加。模块中第一个1*1 卷积用来降维,第二个1*1卷积用来升维,这样中间3*3卷积的输入和输出通道数都较小, 要学习的参数可以明显减少。ResNet-50网络中共有4种残差模块,每种残差模块分别重复3 次、4次、6次、3次。首先加载在ImageNet数据集上预训练好的ResNet-50网络模型,然 后将最后一层全连接层的输出维数由原来的2048维修改为数据集D的图像类别A,在数据 集D上采用随机梯度下降和反向传播算法进行微调,通过反复的迭代学习得到在数据集D上 收敛的ResNet-50深度模型。
步骤4,训练用于分类的融合网络。
网络结合了传统方法与深度方法,由两条并联的网络构成,分别是深度模型ResNet-50 网络和LBP特征流,不同于将深度特征与手工纹理特征直接融合,本发明利用手工纹理特征 来指导深度网络进一步学习,得到融合网络,在数据集D上训练好ResNet-50深度模型以后, 将手工提取的256维LBP特征与最后一层全连接层之前的深度特征进行融合,然后输入到输 入维数为2304维(2304维是指最终融合后的特征的维度,2048+256=2304),输出维数为数 据集D的图像类别A的全连接层。我们对交叉熵损失函数加上一个正则项,然后重新在数据 集D上进行微调。损失函数L由交叉熵损失函数和正则项构成,交叉熵损失函数为 其中yi是第i个实际概率分布,pi是第i个预测概率分布,A表示维度,i的取 值为1-A;正则项为其中λ是正则项系数(本实施例中,λ的经验取值为10),dij是距离矩阵D中的元素,表示将yi移动到pj上的成本,当i=j时,dij=0,当i≠j时,dij=1,即将相同类别的距离值设为0,不同类别的距离值设为1。fij是耦合矩阵F中 的元素,表示从yi移动到pj时需要分配的概率质量,fij≥0,通过 求解最优传输问题找到合适的耦合矩阵F使得取得最小值;因此损失函数当分数向量(即融合网络最后一层全连接层的输出,是A维向量)从全连接层输出时,本发明通过softmax函数将其转换为概率分布,然后使用损失函数L计算实际概率分布与预测概率分布之间的损失。由于LBP特征流中没有可学习的参数,因此反传时不会改变LBP的特征值,但是LBP特征中含有丰富的先验信息,和深度 特征融合以后输入全连接层,在经过损失函数以及随机梯度下降和反向传播算法以后可以间接的对深度特征流的网络参数产生影响,对融合后的网络进行学习直到收敛;
至此,训练好的网络可用于遥感图像分类。
在AID遥感数据库上,训测比20:80,CaffeNet的分类准确率89.53%,GoogLeNet的分类准确率90.15%,本发明方法的分类准确率为92.42%,由此可以说明本发明方法在精度 上有一定的提升。
本文中所描述的具体实施例仅是对本发明精神作举例说明。本发明所属技术领域的技术 人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代,但并不会 偏离本发明的精神或者超越所附权利要求书所定义的范围。
Claims (4)
1.一种基于深度学习和二进制编码的遥感图像分类方法,其特征在于,包含以下步骤:
步骤1,准备好N张待分类遥感图像数据集D,数据集中的图像类别数为A;
步骤2,利用LBP算法提取图像的纹理特征,
步骤3,在数据集D上训练ResNet-50深度模型;
首先加载在ImageNet数据集上预训练好的ResNet-50网络模型,然后将最后一层全连接层的输出维数由原来的2048维修改为数据集D的图像类别A,在数据集D上采用随机梯度下降和反向传播算法进行微调,通过反复的迭代学习得到在数据集D上收敛的ResNet-50深度模型;
步骤4,训练用于分类的融合网络,
融合网络的处理过程为:首先将步骤2中提取的LBP特征与步骤3中ResNet-50深度模型中最后一层全连接层之前的深度特征进行融合,然后输入到最后一层全连接层,并通过softmax函数将全连接层的输出转换为概率分布,然后使用损失函数L计算实际概率分布与预测概率分布之间的损失,最后使损失函数L收敛,完成融合网络的训练;
步骤5,利用训练好的融合网络进行遥感图像分类。
2.根据权利要求书1所述一种基于深度学习和二进制编码的遥感图像分类方法,其特征在于:在步骤2中,LBP算子计算过程可分为三步,对于一张灰度图像,首先计算图像中邻域像素值和中心像素值的差值x,然后将差值x代入阶跃函数像素值不低于中心像素值的邻域置1,像素值低于中心像素值的邻域置0;然后,按照LBP编码规则将二进制关系加权成LBP码,其中P表示采样数,R表示采样半径,gc表示该中心像素的灰度值,gp表示该中心像素的第p个邻域的灰度值;最后通过遍历所有LBP像素值,建立直方图来表示该图的纹理特征;
3.根据权利要求书1所述一种基于深度学习和二进制编码的遥感图像分类方法,其特征在于:在步骤4中,融合网络通过softmax函数将全连接层的输出转换为概率分布,然后使用损失函数L计算实际概率分布与预测概率分布之间的损失,损失函数L由交叉熵损失函数和正则项构成,
4.根据权利要求书3所述一种基于深度学习和二进制编码的遥感图像分类方法,其特征在于:λ的取值为10。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010093312.7A CN111325259A (zh) | 2020-02-14 | 2020-02-14 | 一种基于深度学习和二进制编码的遥感图像分类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010093312.7A CN111325259A (zh) | 2020-02-14 | 2020-02-14 | 一种基于深度学习和二进制编码的遥感图像分类方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111325259A true CN111325259A (zh) | 2020-06-23 |
Family
ID=71171015
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010093312.7A Pending CN111325259A (zh) | 2020-02-14 | 2020-02-14 | 一种基于深度学习和二进制编码的遥感图像分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111325259A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112598091A (zh) * | 2021-03-08 | 2021-04-02 | 北京三快在线科技有限公司 | 一种训练模型和小样本分类的方法及装置 |
CN113436281A (zh) * | 2021-06-16 | 2021-09-24 | 中国电子科技集团公司第五十四研究所 | 一种融合lbp特征的遥感图像样本处理方法 |
CN113723464A (zh) * | 2021-08-02 | 2021-11-30 | 北京大学 | 一种遥感影像分类方法及装置 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106952339A (zh) * | 2017-03-15 | 2017-07-14 | 重庆邮电大学 | 一种基于最优传输理论的点云采样方法 |
CN107220657A (zh) * | 2017-05-10 | 2017-09-29 | 中国地质大学(武汉) | 一种面向小数据集的高分辨率遥感影像场景分类的方法 |
CN107437100A (zh) * | 2017-08-08 | 2017-12-05 | 重庆邮电大学 | 一种基于跨模态关联学习的图像位置预测方法 |
CN109344839A (zh) * | 2018-08-07 | 2019-02-15 | 北京市商汤科技开发有限公司 | 图像处理方法和装置、电子设备、存储介质、程序产品 |
CN109711413A (zh) * | 2018-12-30 | 2019-05-03 | 陕西师范大学 | 基于深度学习的图像语义分割方法 |
CN110532847A (zh) * | 2018-05-23 | 2019-12-03 | 罗伯特·博世有限公司 | 改进用于使用在车辆中的人工智能模块的训练 |
CN110555446A (zh) * | 2019-08-19 | 2019-12-10 | 北京工业大学 | 基于多尺度深度特征融合和迁移学习的遥感影像场景分类方法 |
CN110781936A (zh) * | 2019-10-16 | 2020-02-11 | 武汉大学 | 基于纹理描述和深度学习的阈值可学习局部二进制网络的构建方法以及遥感图像分类方法 |
-
2020
- 2020-02-14 CN CN202010093312.7A patent/CN111325259A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106952339A (zh) * | 2017-03-15 | 2017-07-14 | 重庆邮电大学 | 一种基于最优传输理论的点云采样方法 |
CN107220657A (zh) * | 2017-05-10 | 2017-09-29 | 中国地质大学(武汉) | 一种面向小数据集的高分辨率遥感影像场景分类的方法 |
CN107437100A (zh) * | 2017-08-08 | 2017-12-05 | 重庆邮电大学 | 一种基于跨模态关联学习的图像位置预测方法 |
CN110532847A (zh) * | 2018-05-23 | 2019-12-03 | 罗伯特·博世有限公司 | 改进用于使用在车辆中的人工智能模块的训练 |
CN109344839A (zh) * | 2018-08-07 | 2019-02-15 | 北京市商汤科技开发有限公司 | 图像处理方法和装置、电子设备、存储介质、程序产品 |
CN109711413A (zh) * | 2018-12-30 | 2019-05-03 | 陕西师范大学 | 基于深度学习的图像语义分割方法 |
CN110555446A (zh) * | 2019-08-19 | 2019-12-10 | 北京工业大学 | 基于多尺度深度特征融合和迁移学习的遥感影像场景分类方法 |
CN110781936A (zh) * | 2019-10-16 | 2020-02-11 | 武汉大学 | 基于纹理描述和深度学习的阈值可学习局部二进制网络的构建方法以及遥感图像分类方法 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112598091A (zh) * | 2021-03-08 | 2021-04-02 | 北京三快在线科技有限公司 | 一种训练模型和小样本分类的方法及装置 |
CN113436281A (zh) * | 2021-06-16 | 2021-09-24 | 中国电子科技集团公司第五十四研究所 | 一种融合lbp特征的遥感图像样本处理方法 |
CN113723464A (zh) * | 2021-08-02 | 2021-11-30 | 北京大学 | 一种遥感影像分类方法及装置 |
CN113723464B (zh) * | 2021-08-02 | 2023-10-03 | 北京大学 | 一种遥感影像分类方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111368896B (zh) | 基于密集残差三维卷积神经网络的高光谱遥感图像分类方法 | |
CN111583263B (zh) | 一种基于联合动态图卷积的点云分割方法 | |
CN111695467B (zh) | 基于超像素样本扩充的空谱全卷积高光谱图像分类方法 | |
CN109214452B (zh) | 基于注意深度双向循环神经网络的hrrp目标识别方法 | |
CN111274869B (zh) | 基于并行注意力机制残差网进行高光谱图像分类的方法 | |
CN111414942A (zh) | 一种基于主动学习和卷积神经网络的遥感图像分类方法 | |
CN112347970B (zh) | 一种基于图卷积神经网络的遥感影像地物识别方法 | |
CN111079847B (zh) | 一种基于深度学习的遥感影像自动标注方法 | |
CN107451616A (zh) | 基于深度半监督迁移学习的多光谱遥感图像地物分类方法 | |
CN114492574A (zh) | 基于高斯均匀混合模型的伪标签损失无监督对抗域适应图片分类方法 | |
CN114972213A (zh) | 一种基于机器视觉的两阶段主板图像缺陷检测及定位方法 | |
CN111325259A (zh) | 一种基于深度学习和二进制编码的遥感图像分类方法 | |
CN112115967B (zh) | 一种基于数据保护的图像增量学习方法 | |
CN112183742B (zh) | 基于渐进式量化和Hessian信息的神经网络混合量化方法 | |
CN113469270B (zh) | 基于分解多目标差分进化超像素的半监督直觉聚类方法 | |
CN115410088B (zh) | 一种基于虚拟分类器的高光谱图像领域自适应方法 | |
CN112819039A (zh) | 基于多尺度集成特征编码的纹理识别模型建立方法及应用 | |
CN115761240B (zh) | 一种混沌反向传播图神经网络的图像语义分割方法及装置 | |
CN114972885A (zh) | 基于模型压缩的多模态遥感图像分类方法 | |
CN115512226A (zh) | 融入注意力机制多尺度CNN的LiDAR点云滤波方法 | |
Vatsavai | High-resolution urban image classification using extended features | |
CN111242028A (zh) | 基于U-Net的遥感图像地物分割方法 | |
CN117853596A (zh) | 无人机遥感测绘方法及系统 | |
CN116129280B (zh) | 一种遥感影像雪检测的方法 | |
CN116563683A (zh) | 一种基于卷积神经网络和多层感知机的遥感影像场景分类方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200623 |
|
RJ01 | Rejection of invention patent application after publication |