CN110781936A - 基于纹理描述和深度学习的阈值可学习局部二进制网络的构建方法以及遥感图像分类方法 - Google Patents

基于纹理描述和深度学习的阈值可学习局部二进制网络的构建方法以及遥感图像分类方法 Download PDF

Info

Publication number
CN110781936A
CN110781936A CN201910983119.8A CN201910983119A CN110781936A CN 110781936 A CN110781936 A CN 110781936A CN 201910983119 A CN201910983119 A CN 201910983119A CN 110781936 A CN110781936 A CN 110781936A
Authority
CN
China
Prior art keywords
threshold
learnable
lbp
data set
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910983119.8A
Other languages
English (en)
Other versions
CN110781936B (zh
Inventor
何楚
张清怡
刘新龙
石紫珊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN201910983119.8A priority Critical patent/CN110781936B/zh
Publication of CN110781936A publication Critical patent/CN110781936A/zh
Application granted granted Critical
Publication of CN110781936B publication Critical patent/CN110781936B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于纹理描述和深度学习的阈值可学习局部二进制网络的构建方法，首先取遥感图像数据集，然后加载在ImageNet数据集上预训练好的ResNet‑50网络模型，并将ResNet‑50网络模型的最后一层全连接层的输出维数修改为与图像类别对应的维数，并在遥感图像数据集上对ResNet‑50网络模型进行训练；接着基于深度学习的思想优化手工特征LBP，得到阈值可学习的LBP方法，然后将阈值可学习方法作为LBP层与在ImageNet数据集上预训练好的ResNet‑50网络模型串联，得到阈值可学习的局部网络LBPNet；再将在数据集上收敛的ResNet‑50深度模型与LBPNet并联，构建基于纹理描述和深度学习的阈值可学习局部二进制网络TLBPNet。本发明可以提高遥感图像的分类性能。

Description

基于纹理描述和深度学习的阈值可学习局部二进制网络的构 建方法以及遥感图像分类方法
技术领域
本发明涉及图像处理技术领域，具体涉及一种基于纹理描述和深度学习的阈值可学习局部二进制网络的构建方法以及遥感图像分类方法。
背景技术
图像分类作为计算机视觉领域的基础问题，一直是一个重要的研究方向。本发明主要针对遥感场景分类。遥感场景分类是一个具有挑战性和开放性的研究问题，随着远程传感仪器的兴起，大量的卫星数据已经出现在遥感领域，因此，深度学习逐渐被引入遥感场景的图像分类，并在广泛的应用中受到越来越多的关注，例如，土地覆盖分类，目标检测等。由于几个因素，例如大的类内变化，小的类间差异和尺度变化，由于在不同时间和季节提取的图像导致的照明变化，该问题具有挑战性。
本申请发明人在实施本发明的过程中，发现现有技术的方法，至少存在如下技术问题：
对于传统手工特征工程而言，目前的模型框架已经十分成熟，理论完备，并且在人脸识别、行人检测等领域均取得了不错的成绩，在一些情况下传统特征提取方法甚至优于深度学习方法。尽管如此，纯粹依靠手工设计的特征算子依然存在很多性能上的不足。一方面，手工特征极度依赖主观经验，往往导致判断不够准确，需要经过大量的时间和人力进行反复调整计算。同时，那些底层的特征算子并不足以表达图像信息，尤其是当图像数量和规模都呈指数增长时，手工特征工程的不足越来越明显。
由于手工提取的特征不具有自适应性，也导致了手工特征工程的应用范围受到了局限。在这样的背景之下，特征学习的优势则越来越凸显。不同于手工特征工程人为提取特征的过程，特征学习是由网络自主学习图像特征。由于网络的特征参数具有极强的表达能力，深度学习迅速在各个领域取代了传统方法，但目前仍然尚未有一套完整的通用理论来阐述其机制，尤其对于网络参数的优化和算法的完善都还停留在摸索阶段。与此同时，深度学习面临的最大问题是对训练数据的极度依赖。
由此可知，现有技术中的方法存在构建的模型分类性能不佳的技术问题。
发明内容
有鉴于此，本发明提供了一种基于纹理描述和深度学习的阈值可学习局部二进制网络的构建方法以及遥感图像分类方法，用以解决或者至少部分解决现有技术中的方法存在构建的模型分类性能不佳的技术问题。
为了解决上述技术问题，本发明第一方面提供了基于纹理描述和深度学习的阈值可学习局部二进制网络的构建方法，包括：
步骤S1：获取遥感图像数据集，将数据集平均分成两个不重叠的子数据集，分别用于训练和交叉验证；
步骤S2：加载在ImageNet数据集上预训练好的ResNet-50网络模型，并将ResNet-50网络模型的最后一层全连接层的输出维数修改为与图像类别对应的维数，并在遥感图像数据集上采用随机梯度下降和反向传播算法进行微调，通过反复的迭代学习得到在数据集上收敛的ResNet-50深度模型；
步骤S3：基于深度学习的思想优化手工特征LBP，得到阈值可学习的LBP方法，然后将阈值可学习方法作为LBP层与在ImageNet数据集上预训练好的ResNet-50网络模型串联，得到阈值可学习的局部网络LBPNet。
步骤S4：将步骤S2中在数据集上收敛的ResNet-50深度模型与步骤S3中阈值可学习的局部网络LBPNet并联，构建基于纹理描述和深度学习的阈值可学习局部二进制网络TLBPNet。
在一种实施方式中，步骤S3中阈值可学习的LBP方法具体包括：
步骤S3.1：通过引入LBP阈值核参数以及修改阶跃函数对图像进行阈值化处理；
步骤S3.2：对阈值化的结果进行加权，并对加权后的结果求和作为中心元素阈值可学习的LBP编码值，提取出LBP编码图像；
步骤S3.3：对提取出来的LBP编码图像进行像素值的统计，并得到统计直方图作为结果。
在一种实施方式中，引入的LBP阈值核参数为tp(p＝0,1,…,7)，LBP阈值核是一个3×8的核，对输入的RGB三通道图像的每一个通道，各有对应的8个阈值参数需要学习，初始值为均设为1，修改后的阶跃函数为
Figure BDA0002235851290000031
步骤S3.1具体包括：根据中心像素的像素值与阈值参数的乘积tpxc以及h(x)函数来阈值化中心像素的邻域值xp，得到阈值化处理的结果h(xp-tpxc)。
在一种实施方式中，步骤S3.2具体包括：
利用2p对阈值化处理的结果h(xp-tpxc)进行加权，其中，p＝0,1,…,7。
在一种实施方式中，中心元素阈值可学习的LBP编码值yc的计算方式为：
xc表示中心像素的像素值。
在一种实施方式中，步骤S3.3中统计直方图表达形式为：
Figure BDA0002235851290000033
其中，
Figure BDA0002235851290000034
其中，图片尺寸为I×J，k表示256种编码值，H(k)表示是特征图中编码值k的统计数量，y(i,j)表示是编码特征图中(i,j)位置的编码值，int()函数为取整的函数。
在一种实施方式中，步骤S4具体包括：
删除ResNet-50深度模型的最后一层用于分类的全连接层和阈值可学习的局部网络LBPNet的最后一层用于分类的全连接层，分别作为两个特征提取器分别提取遥感图像数据集的图像特征；
采用随机梯度下降和反向传播算法用全连接层对融合后的特征进行学习直到收敛，从而得到训练好的基于纹理描述和深度学习的阈值可学习局部二进制网络TLBPNet。
基于同样的发明构思，本发明第二方面提供了一种遥感图像分类方法，其包括：将待分类的遥感图像输入第一方面所构建的基于纹理描述和深度学习的阈值可学习局部二进制网络TLBPNet中，得到图像分类结果。
本申请实施例中的上述一个或多个技术方案，至少具有如下一种或多种技术效果：
由于本发明提供的基于纹理描述和深度学习的阈值可学习局部二进制网络的构建方法，首先，加载ResNet-50网络模型，并进行训练得到收敛的ResNet-50深度模型，然后参考深度学习的特征学习优势，提出了阈值可学习的LBP方法，从而得到自适应的局部纹理特征图像。即将阈值可学习的LBP方法引入深度网络用于指导特征学习，得到LBPNet。最后，将在数据集上收敛的ResNet-50深度模型与阈值可学习的局部网络LBPNet并联，构建基于纹理描述和深度学习的阈值可学习局部二进制网络TLBPNet，可以将LBPNet提取出来的特征用来补充ResNet-50深度模型提取出的特征，从而得到更全面的图像特征用来指导分类。在遥感场景分类上TLBPNet的性能与一般深度网络相比具有明显的提升，解决了现有技术中的方法存在构建的模型分类性能不佳的技术问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的一种基于纹理描述和深度学习的阈值可学习局部二进制网络的构建方法的流程示意图；
图2为本发明实施例阈值可学习的LBP方法原理说明图；
图3本发明实施例的LBPNet网络结构示意图；
图4本发明实施例的TLBPNet网络结构示意图。
具体实施方式
本发明申请人通过大量的研究与实践发现：
由于神经网络和特征工程之间的联系和相似之处，本发明首先利用深度学习的思想来优化手工特征，并且利用手工特征的设计思想给神经网络的设计带来启发，提高特征学习的效率并赋予其明确的数学物理含义。由于大部分物体表面都存在着纹理分布，纹理特征不可避免地成为图像分类时的常用特征。本发明选择LBP纹理描述算子作为传统手工特征工程代表，选择ResNet-50作为深度学习的代表。本发明所提出的TLBPNet是传统图像分类方法和深度学习方法之间模型框架统一的尝试，为未来图像分类算法的发展和优化提供一种思路。
本发明的目的在于针对现有技术中，在遥感图像分类问题中，手工特征依赖于主观经验，特征提取不够准确，而特征学习缺乏理论支撑，对训练数据极度依赖从而导致的构建的模型分类性能不佳的技术问题，提供一种基于纹理描述和深度学习的阈值可学习局部二进制网络的构建方法，从而达到提高分类性能的目的。
通过用深度学习的思想来优化手工特征，并用手工特征的设计思想给神经网络的设计带来启发，可以有效提高特征学习的性能。本发明公开了一种用于遥感图像分类的基于纹理描述和深度学习的阈值可学习局部二进制网络，采用纹理描述理论与深度学习理论互相指导的思路，根据不同方法各自的优缺点设计出一种网络来提高遥感图像的分类性能。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
本实施例提供了一种基于纹理描述和深度学习的阈值可学习局部二进制网络的构建方法，请参见图1，该方法包括：
步骤S1：获取遥感图像数据集，将数据集平均分成两个不重叠的子数据集，分别用于训练和交叉验证。
具体来说，将数据集D平均分成两个不重叠的子数据集Dt,Dv，分别用于训练和交叉验证；所有数据集图像的大小为n×n像素。
步骤S2：加载在ImageNet数据集上预训练好的ResNet-50网络模型，并将ResNet-50网络模型的最后一层全连接层的输出维数修改为与图像类别对应的维数，并在遥感图像数据集上采用随机梯度下降和反向传播算法进行微调，通过反复的迭代学习得到在数据集上收敛的ResNet-50深度模型。
具体来说，ResNet-50为现有的一个深度学习网络模型，将ResNet-50网络模型的最后一层全连接层的输出维数从1000维修改为数据集D中图像的总的类别数P维，从而方便后续分类，随机梯度下降和反向传播算法可以采用的现有算法来实现，故在此不再详述。
步骤S3：基于深度学习的思想优化手工特征LBP，得到阈值可学习的LBP方法，然后将阈值可学习方法作为LBP层与在ImageNet数据集上预训练好的ResNet-50网络模型串联，得到阈值可学习的局部网络LBPNet。
为了得到更好地实现特征提取，在将LBP层与在ImageNet数据集上预训练好的ResNet-50网络模型串联，得到阈值可学习的局部网络LBPNet之后，本发明还对LBPNet的最后一层全连接层进行修改，然后训练至收敛，得到在数据集D上收敛的LBPNet。
在一种实施方式中，步骤S3中阈值可学习的LBP方法具体包括：
步骤S3.1：通过引入LBP阈值核参数以及修改阶跃函数对图像进行阈值化处理；
步骤S3.2：对阈值化的结果进行加权，并对加权后的结果求和作为中心元素阈值可学习的LBP编码值，提取出LBP编码图像；
步骤S3.3：对提取出来的LBP编码图像进行像素值的统计，并得到统计直方图作为结果。
具体来说，阈值可学习的LBP方法可以以通过滤波模块、加权模块以及统计模块分别实现步骤S3.1～步骤S3.3，具体请参见图2。
在一种实施方式中，引入的LBP阈值核参数为tp(p＝0,1,…,7)，LBP阈值核是一个3×8的核，对输入的RGB三通道图像的每一个通道，各有对应的8个阈值参数需要学习，初始值为均设为1，修改后的阶跃函数为步骤S3.1具体包括：根据中心像素的像素值与阈值参数的乘积tpxc以及h(x)函数来阈值化中心像素的邻域值xp，得到阈值化处理的结果h(xp-tpxc)。
具体来说，传统LBP算法通过中心像素的像素值xc和阶跃函数来阈值化中心像素的邻域值xp(p＝0,1,…,7)，为了能够学到自适应的阈值，本发明引入LBP阈值核参数tp(p＝0,1,…,7)，同时，为了避免梯度消失，增加对噪声的鲁棒性，并且保证能够反传，阶跃函数由
Figure BDA0002235851290000062
函数替代，因此，本发明所提出的阈值可学习的LBP算法通过中心像素的像素值和阈值参数的乘积tpxc以及h(x)函数来阈值化中心像素的邻域值xp。
在具体实现时，8个阈值参数tp(p＝0,1,…,7)分别与中心像素点xc相乘以后与原图像的8邻域xp(p＝0,1,…,7)相减，再通过h(x)函数进行阈值化，得到h(xp-tpxc)作为滤波模块的结果。
在一种实施方式中，步骤S3.2具体包括：
利用2p对阈值化处理的结果h(xp-tpxc)进行加权，其中，p＝0,1,…,7。
在一种实施方式中，中心元素阈值可学习的LBP编码值yc的计算方式为：
Figure BDA0002235851290000071
xc表示中心像素的像素值。
在一种实施方式中，步骤S3.3中统计直方图表达形式为：
Figure BDA0002235851290000072
其中，
Figure BDA0002235851290000073
其中，图片尺寸为I×J，k表示256种编码值，H(k)表示是特征图中编码值k的统计数量，y(i,j)表示是编码特征图中(i,j)位置的编码值，int()函数为取整的函数。
在具体实施过程中，为了与卷积神经网络更好地结合，本发明省略了阈值可学习的LBP方法中的统计模块，输入图像首先经过阈值可学习的LBP层，依次经过滤波模块和加权模块，得到映射后的LBP编码图像，将其输入到在ImageNet数据集上预训练好并修改了最后一层全连接层参数的ResNet-50网络，LBPNet网络在数据集D上采用随即梯度下降和反向传播算法进行微调，通过反复的迭代学习得到在数据集D上收敛的LBPNet，具体如图3所示，为将深度学习与手工特征初步结合得到的LBPNet的网络结构。
步骤S4：将步骤S2中在数据集上收敛的ResNet-50深度模型与步骤S3中阈值可学习的局部网络LBPNet并联，构建基于纹理描述和深度学习的阈值可学习局部二进制网络TLBPNet。
其中，为了更好地实现分类，局部网络LBPNet为在数据集D上收敛的LBPNet。
在一种实施方式中，步骤S4具体包括：
删除ResNet-50深度模型的最后一层用于分类的全连接层和阈值可学习的局部网络LBPNet的最后一层用于分类的全连接层，分别作为两个特征提取器分别提取遥感图像数据集的图像特征；
采用随机梯度下降和反向传播算法用全连接层对融合后的特征进行学习直到收敛，从而得到训练好的基于纹理描述和深度学习的阈值可学习局部二进制网络TLBPNet。
具体来说，本步骤需要训练用于分类的全连接层(即图4TLBPNet框图中的最后一层全连接层，该全连接层作为分类器存在)TLBPNet由两条并联的网络构成，分别为深度模型ResNet-50网络和LBPNet网络。在数据集D上训练好ResNet-50深度模型和LBPNet以后，分别去掉他们的最后一层用于分类的全连接层来作为两个特征提取器分别提取数据集D的图像特征，再将两种特征进行融合得到更充分的特征表达(将ResNet-50提取的特征称为深度特征，LBPNet由于有LBP层指导深度网络的学习，能够学到一些不一样的特征，作为深度特征的补充，即补充后的深度特征)，最后采用随即梯度下降和反向传播算法用全连接层对融合后的特征进行学习直到收敛，至此，训练好的深度模型、训练好的LBPNet和用于分类的最后一层全连接层构成了训练好的TLBPNet，如图4所示，为利用LBPNet与深度模型互相补充得到的TLBPNet的网络结构。
其中，最后一层全连接层起到了分类器的作用，得到的输出是P维的特征，其中最大的特征所对应的类别就是预测的分类结果。
本发明与现有技术相比，具有以下优点：
参考深度学习的特征学习优势，本发明提出了阈值可学习的LBP方法，从而得到自适应的局部纹理特征图像。然后，将阈值可学习的LBP方法引入深度网络用于指导特征学习，得到LBPNet。最后，将LBPNet提取出来的特征用来补充深度网络提取出的特征，从而得到更全面的图像特征用来指导分类。在遥感场景分类上TLBPNet的性能与一般深度网络相比具有明显的提升。
实施例二
基于同样的发明构思，本实施例提供了一种遥感图像分类方法，包括：将待分类的遥感图像输入实施例一所构建的基于纹理描述和深度学习的阈值可学习局部二进制网络TLBPNet中，得到图像分类结果。
由于本发明实施例二所介绍的遥感图像分类方法，为基于本发明实施例一中基于纹理描述和深度学习的阈值可学习局部二进制网络方法所实现的方法，故而基于本发明实施例一所介绍的方法，本领域所属人员能够了解该分类方法的具体实施过程及其变形，故而在此不再赘述。凡是基于本发明实施例一的方法所实现的分类方法都属于本发明所欲保护的范围。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样，倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (8)

1.基于纹理描述和深度学习的阈值可学习局部二进制网络的构建方法，其特征在于，包括：
步骤S1：获取遥感图像数据集，将数据集平均分成两个不重叠的子数据集，分别用于训练和交叉验证；
步骤S2：加载在ImageNet数据集上预训练好的ResNet-50网络模型，并将ResNet-50网络模型的最后一层全连接层的输出维数修改为与图像类别对应的维数，并在遥感图像数据集上采用随机梯度下降和反向传播算法进行微调，通过反复的迭代学习得到在数据集上收敛的ResNet-50深度模型；
步骤S3：基于深度学习的思想优化手工特征LBP，得到阈值可学习的LBP方法，然后将阈值可学习方法作为LBP层与在ImageNet数据集上预训练好的ResNet-50网络模型串联，得到阈值可学习的局部网络LBPNet；
步骤S4：将步骤S2中在数据集上收敛的ResNet-50深度模型与步骤S3中阈值可学习的局部网络LBPNet并联，构建基于纹理描述和深度学习的阈值可学习局部二进制网络TLBPNet。
2.如权利要求1所述的方法，其特征在于，步骤S3中阈值可学习的LBP方法具体包括：
步骤S3.1：通过引入LBP阈值核参数以及修改阶跃函数对图像进行阈值化处理；
步骤S3.2：对阈值化的结果进行加权，并对加权后的结果求和作为中心元素阈值可学习的LBP编码值，提取出LBP编码图像；
步骤S3.3：对提取出来的LBP编码图像进行像素值的统计，并得到统计直方图作为结果。
3.如权利要求2所述的方法，其特征在于，引入的LBP阈值核参数为tp(p＝0,1,…,7)，LBP阈值核是一个3×8的核，对输入的RGB三通道图像的每一个通道，各有对应的8个阈值参数需要学习，初始值为均设为1，修改后的阶跃函数为
Figure FDA0002235851280000011
步骤S3.1具体包括：根据中心像素的像素值与阈值参数的乘积tpxc以及h(x)函数来阈值化中心像素的邻域值xp，得到阈值化处理的结果h(xp-tpxc)。
4.如权利要求3所述的方法，其特征在于，步骤S3.2具体包括：
利用2p对阈值化处理的结果h(xp-tpxc)进行加权，其中，p＝0,1,…,7。
5.如权利要求4所述的方法，其特征在于，中心元素阈值可学习的LBP编码值yc的计算方式为：
xc表示中心像素的像素值。
6.如权利要求2所述的方法，其特征在于，步骤S3.3中统计直方图表达形式为：
Figure FDA0002235851280000022
其中，
Figure FDA0002235851280000023
其中，图片尺寸为I×J，k表示256种编码值，H(k)表示是特征图中编码值k的统计数量，y(i,j)表示是编码特征图中(i,j)位置的编码值，int()函数为取整的函数。
7.如权利要求1所述的方法，其特征在于，步骤S4具体包括：
删除ResNet-50深度模型的最后一层用于分类的全连接层和阈值可学习的局部网络LBPNet的最后一层用于分类的全连接层，分别作为两个特征提取器分别提取遥感图像数据集的图像特征；
采用随机梯度下降和反向传播算法用全连接层对融合后的特征进行学习直到收敛，从而得到训练好的基于纹理描述和深度学习的阈值可学习局部二进制网络TLBPNet。
8.一种遥感图像分类方法，其特征在于，包括：将待分类的遥感图像输入如权利要求1至7任一项权利要求所构建的基于纹理描述和深度学习的阈值可学习局部二进制网络TLBPNet中，得到图像分类结果。
CN201910983119.8A 2019-10-16 2019-10-16 基于纹理描述和深度学习的阈值可学习局部二进制网络的构建方法以及遥感图像分类方法 Active CN110781936B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910983119.8A CN110781936B (zh) 2019-10-16 2019-10-16 基于纹理描述和深度学习的阈值可学习局部二进制网络的构建方法以及遥感图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910983119.8A CN110781936B (zh) 2019-10-16 2019-10-16 基于纹理描述和深度学习的阈值可学习局部二进制网络的构建方法以及遥感图像分类方法

Publications (2)

Publication Number Publication Date
CN110781936A true CN110781936A (zh) 2020-02-11
CN110781936B CN110781936B (zh) 2022-11-18

Family

ID=69385627

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910983119.8A Active CN110781936B (zh) 2019-10-16 2019-10-16 基于纹理描述和深度学习的阈值可学习局部二进制网络的构建方法以及遥感图像分类方法

Country Status (1)

Country Link
CN (1) CN110781936B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111325259A (zh) * 2020-02-14 2020-06-23 武汉大学 一种基于深度学习和二进制编码的遥感图像分类方法
CN115937818A (zh) * 2022-11-18 2023-04-07 吉林大学 用于智能汽车的路面类型勘测方法、装置和相关设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103442218A (zh) * 2013-08-27 2013-12-11 宁波海视智能系统有限公司 一种多模式行为识别与描述的视频信号预处理方法
CN106778512A (zh) * 2016-11-25 2017-05-31 南京蓝泰交通设施有限责任公司 一种基于lbp和深度学校的非限制条件下人脸识别方法
CN107480723A (zh) * 2017-08-22 2017-12-15 武汉大学 基于局部二进制阈值学习网络的纹理识别方法
CN107729890A (zh) * 2017-11-30 2018-02-23 华北理工大学 基于lbp和深度学习的人脸识别方法
CN109949277A (zh) * 2019-03-04 2019-06-28 西北大学 一种基于排序学习和简化残差网络的oct图像质量评价方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103442218A (zh) * 2013-08-27 2013-12-11 宁波海视智能系统有限公司 一种多模式行为识别与描述的视频信号预处理方法
CN106778512A (zh) * 2016-11-25 2017-05-31 南京蓝泰交通设施有限责任公司 一种基于lbp和深度学校的非限制条件下人脸识别方法
CN107480723A (zh) * 2017-08-22 2017-12-15 武汉大学 基于局部二进制阈值学习网络的纹理识别方法
CN107729890A (zh) * 2017-11-30 2018-02-23 华北理工大学 基于lbp和深度学习的人脸识别方法
CN109949277A (zh) * 2019-03-04 2019-06-28 西北大学 一种基于排序学习和简化残差网络的oct图像质量评价方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JENG-HAU LIN等: "Accelerating Local Binary Pattern Networks with Software-Programmable FPGAs", 《2019 DESIGN, AUTOMATION & TEST IN EUROPE CONFERENCE & EXHIBITION (DATE)》, 16 May 2019 (2019-05-16), pages 1112 - 1117 *
JENG-HAU LIN等: "Local Binary Pattern Networks", 《ARXIV》, 22 March 2018 (2018-03-22), pages 1 - 16 *
史涛等: "基于SLBP深度信念网络的人脸识别研究", 《现代电子技术》, vol. 42, no. 14, 15 July 2019 (2019-07-15), pages 177 - 181 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111325259A (zh) * 2020-02-14 2020-06-23 武汉大学 一种基于深度学习和二进制编码的遥感图像分类方法
CN115937818A (zh) * 2022-11-18 2023-04-07 吉林大学 用于智能汽车的路面类型勘测方法、装置和相关设备

Also Published As

Publication number Publication date
CN110781936B (zh) 2022-11-18

Similar Documents

Publication Publication Date Title
CN109614996B (zh) 基于生成对抗网络的弱可见光与红外图像融合的识别方法
CN107945185B (zh) 基于宽残差金字塔池化网络的图像分割方法及系统
US20190228268A1 (en) Method and system for cell image segmentation using multi-stage convolutional neural networks
Xiao et al. A fast method for particle picking in cryo-electron micrographs based on fast R-CNN
CN107038416B (zh) 一种基于二值图像改进型hog特征的行人检测方法
CN107680077A (zh) 一种基于多阶梯度特征的无参考图像质量评价方法
CN104063686B (zh) 作物叶部病害图像交互式诊断系统与方法
CN108710893B (zh) 一种基于特征融合的数字图像相机源模型分类方法
CN111986125A (zh) 一种用于多目标任务实例分割的方法
CN110717953A (zh) 基于cnn-lstm组合模型的黑白图片的着色方法和系统
CN111047543A (zh) 图像增强方法、装置和存储介质
CN110929099B (zh) 一种基于多任务学习的短视频帧语义提取方法及系统
CN110781936B (zh) 基于纹理描述和深度学习的阈值可学习局部二进制网络的构建方法以及遥感图像分类方法
CN114511576B (zh) 尺度自适应特征增强深度神经网络的图像分割方法与系统
CN108764347B (zh) 基于卷积神经网络的地球仪国家图像识别方法
CN111833322B (zh) 一种基于改进YOLOv3的垃圾多目标检测方法
CN112418087A (zh) 一种基于神经网络的水下视频鱼类识别方法
CN113011253A (zh) 基于ResNeXt网络的人脸表情识别方法、装置、设备及存储介质
CN112581355A (zh) 图像处理方法、装置、电子设备和计算机可读介质
CN110472632B (zh) 基于字符特征的字符分割方法、装置及计算机存储介质
CN110751225A (zh) 图像分类方法、装置及存储介质
CN111027564A (zh) 基于深度学习一体化的低照度成像车牌识别方法及装置
CN111931572B (zh) 一种遥感影像的目标检测方法
CN112365451A (zh) 图像质量等级的确定方法、装置、设备及计算机可读介质
CN107766838B (zh) 一种视频场景切换检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant