CN111414954B - 一种岩石图像检索方法及其系统 - Google Patents

一种岩石图像检索方法及其系统 Download PDF

Info

Publication number
CN111414954B
CN111414954B CN202010188033.9A CN202010188033A CN111414954B CN 111414954 B CN111414954 B CN 111414954B CN 202010188033 A CN202010188033 A CN 202010188033A CN 111414954 B CN111414954 B CN 111414954B
Authority
CN
China
Prior art keywords
module
image
representing
loss function
inputting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010188033.9A
Other languages
English (en)
Other versions
CN111414954A (zh
Inventor
丰江帆
肖若水
金书季
漆双
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN202010188033.9A priority Critical patent/CN111414954B/zh
Publication of CN111414954A publication Critical patent/CN111414954A/zh
Application granted granted Critical
Publication of CN111414954B publication Critical patent/CN111414954B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种岩石图像检索方法，包括：实时获取图像数据，将图像数据输入到训练好的深度学习网络模型中，得到检索的结果图；所述述深度学习网络模型的训练过程包括：利用已收集的图像数据构建岩石图像数据集；将数据集输入到网络中，通过空间转移模块处理后，使网络能够主动地在空间上转换特征映射；将处理后的数据输入多粒度网络中，计算模型的总损失函数和mAP值，经过多次计算，当损失函数趋于稳定，且mAP值达到峰值时，完成深度学习网络模型的训练；本发明避免了仅利用表征对岩石图像进行分类，同时对岩石图像的细粒度特征有更精确的提取，有助于在有杂物遮挡、样本数量较少和质量较低、信息缺失等情况下提高岩石图像的检索准确率。

Description

一种岩石图像检索方法及其系统
技术领域
本发明涉及计算机视觉技术中的图像检索领域，特别涉及一种岩石图像检索方法及其系统。
背景技术
中国拥有着963.4057万平方公里的陆地面积，有着丰富多彩的地质现象，同时也有着国家地质公园214处。然而由于地质相对专业化，大多数人缺乏基本常识，让普通人即便身处其中也无法对地质有一个具象的认识。所以岩石图像的识别与检索具有重大的意义。随着信息时代的到来以及大数据时代数据量的爆炸增长，地质工作中岩样图像的检索与管理变得尤为重要，这既方便了专业人士在海量数据中有效的检索与组织管理岩石图像，也能够为非专业人士便利，同时也为普及地质知识做出了巨大贡献。但由于岩石图像的特殊性，有效的样本较少，样本质量也偏低，这给我们工作带来了很大的难度。
近年来，随着深度学习的发展与新的神经网络的提出，并广泛的应用于图像检索领域。例如专利申请号为CN201811616888.6的《一种岩石种类智能区分识别及定位方法》公布了对多个岩石数字图像进行增强处理；用矩形框对测试集和训练集中图像中的每块岩石进行标注，并记录矩形框信息；通过基础特征提取网络对训练集中的图像进行特征提取；通过RPN网络对岩石特征图像进行区域建议提取；将处理后的训练集作为输入，采用交替训练法对FastR-CNN网络和RPN网络进行联合训练，获得训练好的网络模型；采用训练好的网络模型对待检测的原始岩石数字图像进行识别及岩石位置确定。该专利解决了现有技术不能识别多类岩石混合场景下的岩石种类和岩石定位难题，同时也提高了岩石种类识别的效率。
但是该专利仅利用岩石的表面特征进行分类，如轮廓，颜色等粗粒度特征，不能够很好的描述岩石图像深层次的语义信息；岩石图像标注的困难且数据量少导致训练的模型缺乏鲁棒性；忽略了局部特征对于整体岩性的影响。
发明内容
为解决以上现有技术的问题，本发明为一种岩石图像检索方法，包括：实时获取图像数据，将图像数据输入到训练好的深度学习网络模型中，得到检索的结果图；
所述述深度学习网络模型的训练过程包括：利用已收集的图像数据构建岩石图像数据集；将数据集输入到网络中，通过空间转移模块处理后，得到什么样的数据；将处理后的数据输入多粒度网络中，计算深度学习网络模型的总损失函数，经过多次计算，当损失函数趋于稳定，mAP值无变化时，完成深度学习网络模型的训练。
优选的，深度学习网络模型的结构包括：空间转移模块、ResNet-50特征提取结构、分块特征提取结构以及分类器；所述空间转移模块显式地允许在网络中对数据进行空间变换操作；ResNet-50特征提取结构提取进行空间变换后图像的特征；分块特征提取结构将图像特征信息进行分割，进一步提取特征和计算损失函数；分类器根据损失函数的值对图像进行分类。
优选的，空间转移模块包括本地网络、网格生成器和采样器；
所述本地网络为一个子网络，包括三个卷积层和一个回归层；将数据输入到本地网络中，得到变换参数；
所述网格生成器为根据本地网络层输出的变换参数构建采样网格，输入图像中的点经过采样变换后得到采样变换图；
将采样网格得到的采样变换图和特征图同时输入采样器中，得到了采样变换后的特征图。
优选的，将处理后的数据输入多粒度网络中的过程包括：
所述多粒度网络处理数据的过程共有五个模块层，前三个模块层均由9个卷积层和3个激活层组成，第四模块层将其分支为三个独立的部分，将第二部分进行二等分切割，将第三部分进行三等分切割，且第二三部分未切割之前也保留，此时总共有8个部分，第五模块层对所有部分分别进行一次降维操作，此时每一部分维度为256；分别计算8个部分的损失函数；将8个损失函数进行联合，得到深度学习网络模型的总损失函数。
进一步的，前三个模块的每个模块的处理数据的过程为：
Figure BDA0002414876570000031
Figure BDA0002414876570000032
stage＝Enc()+2Res()
Enc()＝2Conv()+Conv(Conv())
Res()＝3Conv()
优选的，计算8个部分的损失函数为：
将目标样本，正样本，负样本数据集
Figure BDA0002414876570000033
分别输入到损失函数中，构建三联对比损失计算模块；将
Figure BDA0002414876570000034
输入到Ltriplet三联对比损失计算模块进行计算，得到三个部分的损失函数值；损失函数表达式为：
Figure BDA0002414876570000035
其余五个部分
Figure BDA0002414876570000036
输入到Lsoftmax分类损失计算模块进行计算，其公式为：
Figure BDA0002414876570000037
优选的，最终的损失函数的计算公式为：
Figure BDA0002414876570000038
一种岩石图像检索系统，该系统包括：岩石图像数据获取模块、图像数据预处理模块、深度学习网络模块以及分类结果输出模块；
所述岩石图像数据获取模块用于获取图像数据，并将图像数据输入到图像数据预处理模块中；
所述图像数据预处理模块对图像数据进行预处理的过程包括：旋转、缩放、截取的方式对图像进行扩充，并按照命名规则对扩充后的图像进行编号将编号后的图像输入到深度学习网络模块中；
所述深度学习网络模块包括空间转移模块、ResNet-50特征提模块、图像分割模块、损失函数计算模块以及图像分类模块；
所述空间转移模块获取编号后的图像，求出取编号后图像的变换参数，通过变换参数求构建采样网格；将采样网格映射到输入的图像中，得到采样变换图；将采样变换图输入到ResNet-50特征提模块；
所述ResNet-50特征提模块用于提取采样变换图的特征信息，得到带有特征信息的采样变换图像；将带有特征信息的采样变换图像输入到图像分割模块；
所述图像分割模块将带有特征信息的采样变换图像分割为8个部分，将这8个部分输入到损失函数计算模块中；
所述损失函数计算模块用于计算8个部分的损失函数，并将求出总体损失函数；并将总体的损失函数发送给图像分类模块；
所述图像分类模块根据损失函数的值对图像进行对比，得到输入图像的分类结果；
所述分类结果输出模块用于获取图像分类模块的分类结果，并将结果显示在显示器上。
本发明采用空间转移模块学习图片或特征的空间变换参数，将输入图片或者学习的特征在空间上进行对齐，从而减少物体由于空间中的旋转、平移、尺度、扭曲等几何变换对检索任务的影响；采用分块切割二的方式使得对于图像细粒度的特征提取更加精准，加强了局部特征对于图像整体性的影响。
附图说明
图1为本发明方法实施的总体流程图；
图2为本发明构建的深度学习网络模型的总体结构图；
图3为本发明中网络总体结构图；
图4为本发明中检索系统流程图；
图5为本发明的系统示意图。
具体实施方式
下面将结合附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明为一种岩石图像检索方法，如图1所示，该方法包括：
实时获取图像数据，将图像数据输入到训练好的深度学习网络模型中，得到检索的结果图；
深度学习网络模型的训练过程包括：利用已收集的图像数据构建岩石图像数据集；将数据集输入到网络中，通过空间转移模块处理后，使网络能够主动地在空间上转换特征映射；将处理后的数据输入多粒度网络中，计算深度学习网络模型的总损失函数和mAP值，经过多次计算，当损失函数趋于稳定，且mAP值达到峰值时，完成深度学习网络模型的训练；
获取图像数据的过程包括：利用已收集到图像进行人工标注并对图像进行预处理，构建一个类别足够多的岩石图像数据集。
所述进行预处的过程包括：将图像进行人工分类并对数据集进行旋转、缩放、截取等方式进行扩充，并按照命名规则对图像进行编号。
具体的，如图2所示，进行深度学习网络模型的训练的过程包括：
步骤1：将训练集输入到网络中，输入的图像经过预处理图像分辨率均为384*128，网络中的空间转换模块能够在没有标注关键点的情况下，根据任务自己学习图片或特征的空间变换参数，将输入图片或者学习的特征在空间上进行对齐，从而减少物体由于空间中的旋转、平移、尺度、扭曲等几何变换对分类、定位等任务的影响。该模块由本地网络、网格生成器和采样器三部分组成：
本地网络的作用就是通过一个子网络(卷积层，再加一个回归层)，生成空间变换的参数θ。
假设输入U的每个像素坐标为
Figure BDA0002414876570000061
输出V的每个像素坐标为
Figure BDA0002414876570000062
空间变换函数为Tθ为仿射变换函数，网格生成器的处理过程可以由如下公式表示：
Figure BDA0002414876570000063
其中，Aθ表示仿射变换形式，如2D仿射变换、透射变换等，
Figure BDA0002414876570000064
表示输入图像的每个像素坐标，
Figure BDA0002414876570000065
表示输出后的图像的每个像素点坐标，Tθ表示仿射变换函数，Gi表示网格生成器。
采样器在计算得到Tθ后，就可以用输入U由以下公式得到输出V：
Figure BDA0002414876570000066
其中，
Figure BDA0002414876570000067
表示特征图经过变换之后的结果特征映射，
Figure BDA0002414876570000068
表示输入特征映射，
Figure BDA0002414876570000069
表示输入特征映射
Figure BDA00024148765700000610
的坐标，m表示高度变量，n表示宽度变量，H表示图像高度，W表示图像宽度。
在求得输出V后，用上述公式对U，
Figure BDA00024148765700000611
求导，以便根据loss进行网络的后向传播：
Figure BDA00024148765700000612
Figure BDA00024148765700000613
Figure BDA00024148765700000614
其中，
Figure BDA00024148765700000615
表示输出特征映射对输入特征映射的导数，
Figure BDA00024148765700000616
表示输出特征映射对变换参数的导数，
Figure BDA0002414876570000071
表示输出特征映射对输入横坐标的导数，
Figure BDA0002414876570000072
表示输入横坐标对变换参数的导数，
Figure BDA0002414876570000073
表示输出特征映射对输入纵坐标的导数，
Figure BDA0002414876570000074
表示输入纵坐标对变换参数的导数。
步骤2：将经过空间转移模块之后的输入到后续网络中，后续网络总共分为四个阶段，前三个阶段均由9个卷积层与3个激活层组合而成，分别由一个下采样块与两个残差块组成，每一个阶段处理过程可以用如下公式表示：
Figure BDA0002414876570000075
Figure BDA0002414876570000076
stage＝Enc()+2Res()
Enc()＝2Conv()+Conv(Conv())
Res()＝3Conv()
其中，
Figure BDA0002414876570000077
表示特征映射，s表示步长，h表示图像高度，w表示图像宽度，Enc()代表下采样操作，
Figure BDA0002414876570000078
表示输入图像具有n个通道且分辨率为h*w，d表示维度，Res()代表残差块连接，Conv()代表卷积操作，stage表示五个模块层的层数。
第一阶段输入维度为64，下采样块的具体结构如图3所示，其卷积层具体结构参数如下表所示：
Figure BDA0002414876570000079
上表中前三层卷积层组合为一个下采样块的上分支，第四个卷积层独立作为为下分支，
此时输出通道维度为256，再接上两个残差块，残差块的具体结构如图3所示，其卷积层具体结构参数如下表所示：
Figure BDA0002414876570000081
残差模块由3层卷积层组成，每层卷积后面带有Relu函数激活层，即前两层的卷积结果与第三层的卷积结果进行残差连接。每个残差块提取的特征个数是其前一个卷积块提取的两倍且特征尺度减半。
第二阶段输入维度为256，此阶段下采样块将特征图长宽都缩减为原先到的1/2，下采样块的具体结构如图3所示，其卷积层具体结构参数如下表所示：
Figure BDA0002414876570000082
此时输出通道维度为256，再接上两个残差块，残差块的具体结构如图3所示，其卷积层具体结构参数如下表所示：
Figure BDA0002414876570000083
Figure BDA0002414876570000091
第三阶段与第二阶段结构一致，输入维度为512，输出维度为1024且特征图长宽再缩减为第二阶段的1/2。
第四个阶段此时输入维度为1024，输出维度为2048，特征图长款为24*8，此时将其分支为三个独立的部分，将第二部分进行二等分切割，将第三部分进行三等分切割，且第二三部分未切割之前也做保留，此时总共有8个部分，再对所有部分分别进行一次降维操作，此时每一部分维度为256。
步骤3：将上述的8个部分分别进行损失函数的计算；将目标样本，正样本，负样本数据集
Figure BDA0002414876570000092
分别输入到损失函数中，构建三联对比损失计算模块；将
Figure BDA0002414876570000093
输入到Ltriplet三联对比损失计算模块进行计算，得到三个部分的损失函数值；损失函数表达式为：
Figure BDA0002414876570000094
其中，
Figure BDA0002414876570000095
表示第一部分全局特征，G表示第一部分，g表示全局特征，
Figure BDA0002414876570000096
表示第二部分全局特征，p2表示第二部分，
Figure BDA0002414876570000097
表示第三部分全局特征，p3表示第三部分，Ltriplet表示对比损失函数，P表示类别，K表示每个类别选取的图像数量，α表示控制内部和内部距离差异的边缘参数，p表示正样本，n表示负样本，j表示变量，i表示变量，
Figure BDA0002414876570000098
表示目标样本，
Figure BDA0002414876570000099
表示正样本，
Figure BDA00024148765700000910
表示负样本。
而其余五个部分
Figure BDA00024148765700000911
输入到Lsoftmax分类损失计算模块进行计算，公式如下：
Figure BDA0002414876570000101
其中，
Figure BDA0002414876570000102
表示第二部分第一局部特征，
Figure BDA0002414876570000103
表示第二部分第二局部特征，
Figure BDA0002414876570000104
表示第三部分第一局部特征，
Figure BDA0002414876570000105
表示第三部分第二局部特征，
Figure BDA0002414876570000106
表示第三部分第三局部特征，Lsoftmax表示分类损失函数，
Figure BDA0002414876570000107
表示取对数，
Figure BDA0002414876570000108
表示目标类的权重向量，fi表示输入的五部分数据，
Figure BDA0002414876570000109
表示k类的权重矩阵，C表示数据集，T表示矩阵的转置。
步骤4：分别完成损失函数的计算后进行联合，如下公式：
Figure BDA00024148765700001010
其中，d2048表示总损失函数，
Figure BDA00024148765700001011
表示第一部分的全局损失函数，
Figure BDA00024148765700001012
表示第二部分的全局损失函数，
Figure BDA00024148765700001013
表示第三部分的全局损失函数，
Figure BDA00024148765700001014
表示第二部分的第一局部损失函数，
Figure BDA00024148765700001015
表示第二部分的第二局部损失函数，
Figure BDA00024148765700001016
表示第三部分的第一局部损失函数，
Figure BDA00024148765700001017
表示第三部分的第二局部损失函数，
Figure BDA00024148765700001018
表示第三部分的第三局部损失函数。
所述mAP(mean Average Precision)值为AP的平均值，AP每一次查询检索的精度，即平均查准率；先计算AP，然后再对其进行平均求得mAP；AP的计算可用公式表示为：
Figure BDA00024148765700001019
其中，N表示查询结果中相关图像的总数，positive(i)表示第i个相关图像在检索结果中的位置，AP表示平均查准率。
mAP为多个查询的正确率的平均值，从整体上反映模型的检索性能。
如图4所示，输入实时图像数据的得到分类结果的步骤为：
步骤1：将待处理的图像进行预处理，将其调整为适应模型输入的数据，即模型自动转换分辨率为384*128。
步骤2：将经过处理的特征图输入到网络中经由空间转换模块得到θ，再经过重构的分块网络提取多粒度的特征。
步骤3：最后将检索结果输出，得到rank1-10的检索结果。
其中，rank1-10表示检索结果排名前十的图像。
一种岩石图像检索系统，如图5所示，该系统包括：岩石图像数据获取模块、图像数据预处理模块、深度学习网络模块以及分类结果输出模块；
所述岩石图像数据获取模块用于获取图像数据，并将图像数据输入到图像数据预处理模块中；
所述图像数据预处理模块对图像数据进行预处理的过程包括：旋转、缩放、截取的方式对图像进行扩充，并按照命名规则对扩充后的图像进行编号将编号后的图像输入到深度学习网络模块中；
所述深度学习网络模块包括空间转移模块、ResNet-50特征提模块、图像分割模块、损失函数计算模块以及图像分类模块；
所述空间转移模块获取编号后的图像，求出取编号后图像的变换参数，通过变换参数求构建采样网格；将采样网格映射到输入的图像中，得到采样变换图；将采样变换图输入到ResNet-50特征提模块；
所述ResNet-50特征提模块用于提取采样变换图的特征信息，得到带有特征信息的采样变换图像；将带有特征信息的采样变换图像输入到图像分割模块；
所述图像分割模块将带有特征信息的采样变换图像分割为8个部分，将这8个部分输入到损失函数计算模块中；
所述损失函数计算模块用于计算8个部分的损失函数，并将求出总体损失函数；并将总体的损失函数发送给图像分类模块；
所述图像分类模块根据损失函数的值对图像进行对比，得到输入图像的分类结果；
所述分类结果输出模块用于获取图像分类模块的分类结果，并将结果显示在显示器上。
所述系统的具体实施例与方法的实施例相似。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于计算机可读存储介质中，存储介质可以包括：ROM、RAM、磁盘或光盘等。
以上所举实施例，对本发明的目的、技术方案和优点进行了进一步的详细说明，所应理解的是，以上所举实施例仅为本发明的优选实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内对本发明所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种岩石图像检索方法，其特征在于，所述方法包括：实时获取图像数据，将图像数据输入到训练好的深度学习网络模型中，得到检索的结果图；所述深度学习网络模型的结构包括：空间转移模块、ResNet-50特征提取结构、分块特征提取结构以及分类器；所述空间转移模块显式地允许在网络中对数据进行空间变换操作；ResNet-50特征提取结构提取进行空间变换后图像的特征；分块特征提取结构将图像特征信息进行分割，进一步提取特征和计算损失函数；分类器根据损失函数的值对图像进行分类；其中，ResNet-50表示深度学习网络中的特征提取网络；
所述空间转移模块包括本地网络、网格生成器和采样器；所述本地网络为一个子网络，包括三个卷积层和一个回归层；将数据输入到本地网络中，得到变换参数；所述网格生成器为根据本地网络层输出的变换参数构建采样网格，输入图像中的点经过采样变换后得到采样变换图；将采样网格得到的采样变换图和特征图同时输入采样器中，得到了采样变换后的特征图；
深度学习网络模型的训练过程包括：利用已收集的图像数据构建岩石图像数据集；将数据集输入到网络中，通过空间转移模块处理后，使网络能够主动地在空间上转换特征映射；将处理后的数据输入多粒度网络中，计算深度学习网络模型的总损失函数和mAP值，经过多次计算，当损失函数趋于稳定，且mAP值达到峰值时，完成深度学习网络模型的训练；
其中，mAP表示多个查询的正确率的平均值。
2.根据权利要求1所述的一种岩石图像检索方法，其特征在于，所述将处理后的数据输入多粒度网络中的过程包括：
所述多粒度网络处理数据的过程共有五个模块层，前三个模块层均由9个卷积层和3个激活层组成，第四模块层将其分支为三个独立的部分，将第二部分进行二等分切割，将第三部分进行三等分切割，且第二三部分未切割之前也保留，此时总共有8个部分，第五模块层对所有部分分别进行一次降维操作，此时每一部分维度为256；分别计算8个部分的损失函数；将8个损失函数进行联合，得到深度学习网络模型的总损失函数。
3.根据权利要求2所述的一种岩石图像检索方法，其特征在于，前三个模块的每个模块的处理数据的过程为：
Figure FDA0003741790850000021
Figure FDA0003741790850000022
stage＝Enc()+2Res()
Enc()＝2Conv()+Conv(Conv())
Res()＝3Conv()
其中，
Figure FDA0003741790850000023
表示特征映射，s表示步长，h表示图像高度，w表示图像宽度，Enc()代表下采样操作，
Figure FDA0003741790850000024
表示输入图像具有n个通道且分辨率为h*w，d表示维度，Res()代表残差块连接，Conv()代表卷积操作，stage表示五个模块层的层数。
4.根据权利要求2所述的一种岩石图像检索方法，其特征在于，计算8个部分的损失函数为：
将目标样本，正样本，负样本数据集
Figure FDA0003741790850000025
分别输入到损失函数中，构建三联对比损失计算模块；将
Figure FDA0003741790850000026
输入到Ltriplet三联对比损失计算模块进行计算，得到三个部分的损失函数值；损失函数表达式为：
Figure FDA0003741790850000027
其中，
Figure FDA0003741790850000028
表示第一部分全局特征，G表示第一部分，g表示全局特征，
Figure FDA0003741790850000029
表示第二部分全局特征，p2表示第二部分，
Figure FDA00037417908500000210
表示第三部分全局特征，p3表示第三部分，Ltriplet表示对比损失函数，P表示类别，K表示每个类别选取的图像数量，α表示控制内部和内部距离差异的边缘参数，p表示正样本，n表示负样本，j表示变量，i表示变量，
Figure FDA0003741790850000031
表示目标样本，
Figure FDA0003741790850000032
表示正样本，
Figure FDA0003741790850000033
表示负样本；
其余五个部分
Figure FDA0003741790850000034
输入到Lsoftmax分类损失计算模块进行计算，其公式为：
Figure FDA0003741790850000035
其中，
Figure FDA0003741790850000036
表示第二部分第一局部特征，
Figure FDA0003741790850000037
表示第二部分第二局部特征，
Figure FDA0003741790850000038
表示第三部分第一局部特征，
Figure FDA0003741790850000039
表示第三部分第二局部特征，
Figure FDA00037417908500000310
表示第三部分第三局部特征，Lsoftmax表示分类损失函数，
Figure FDA00037417908500000311
表示取对数，
Figure FDA00037417908500000312
表示目标类的权重向量，fi表示输入的五部分数据，
Figure FDA00037417908500000313
表示k类的权重矩阵，C表示数据集总类别数，T表示矩阵的转置。
5.根据权利要求2所述的一种岩石图像检索方法，其特征在于，深度学习网络模型的总损失函数的计算公式为：
Figure FDA00037417908500000314
其中，d2048表示总损失函数，
Figure FDA00037417908500000315
表示第一部分的全局损失函数，
Figure FDA00037417908500000316
表示第二部分的全局损失函数，
Figure FDA00037417908500000317
表示第三部分的全局损失函数，
Figure FDA00037417908500000318
表示第二部分的第一局部损失函数，
Figure FDA00037417908500000319
表示第二部分的第二局部损失函数，
Figure FDA00037417908500000320
表示第三部分的第一局部损失函数，
Figure FDA00037417908500000321
表示第三部分的第二局部损失函数，
Figure FDA00037417908500000322
表示第三部分的第三局部损失函数。
6.一种岩石图像检索系统，该系统用于执行权利要求1～5所述的任意一种岩石图像检索方法，其特征在于，所述系统包括：岩石图像数据获取模块、图像数据预处理模块、深度学习网络模块以及分类结果输出模块；
所述岩石图像数据获取模块用于获取图像数据，并将图像数据输入到图像数据预处理模块中；
所述图像数据预处理模块对图像数据进行预处理的过程包括：旋转、缩放、截取的方式对图像进行扩充，并按照命名规则对扩充后的图像进行编号将编号后的图像输入到深度学习网络模块中；
所述深度学习网络模块包括空间转移模块、ResNet-50特征提模块、图像分割模块、损失函数计算模块以及图像分类模块；
所述空间转移模块获取编号后的图像，求出取编号后图像的变换参数，通过变换参数求构建采样网格；将采样网格映射到输入的图像中，得到采样变换图；将采样变换图输入到ResNet-50特征提模块；
所述ResNet-50特征提模块用于提取采样变换图的特征信息，得到带有特征信息的采样变换图像；将带有特征信息的采样变换图像输入到图像分割模块；
所述图像分割模块将带有特征信息的采样变换图像分割为8个部分，将这8个部分输入到损失函数计算模块中；
所述损失函数计算模块用于计算8个部分的损失函数，并将求出总体损失函数；并将总体的损失函数发送给图像分类模块；
所述图像分类模块根据损失函数的值对图像进行对比，得到输入图像的分类结果；
所述分类结果输出模块用于获取图像分类模块的分类结果，并将结果显示在显示器上。
CN202010188033.9A 2020-03-17 2020-03-17 一种岩石图像检索方法及其系统 Active CN111414954B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010188033.9A CN111414954B (zh) 2020-03-17 2020-03-17 一种岩石图像检索方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010188033.9A CN111414954B (zh) 2020-03-17 2020-03-17 一种岩石图像检索方法及其系统

Publications (2)

Publication Number Publication Date
CN111414954A CN111414954A (zh) 2020-07-14
CN111414954B true CN111414954B (zh) 2022-09-09

Family

ID=71491314

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010188033.9A Active CN111414954B (zh) 2020-03-17 2020-03-17 一种岩石图像检索方法及其系统

Country Status (1)

Country Link
CN (1) CN111414954B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111860672B (zh) * 2020-07-28 2021-03-16 北京邮电大学 一种基于分块卷积神经网络的细粒度图像分类方法
CN112116398A (zh) * 2020-09-27 2020-12-22 广州华多网络科技有限公司 一种宝石估价方法及相关设备
CN112183639B (zh) * 2020-09-30 2022-04-19 四川大学 一种矿物图像识别与分类方法
CN113222071A (zh) * 2021-06-04 2021-08-06 嘉应学院 一种基于岩石薄片显微图像深度学习的岩石分类方法
CN113378825B (zh) * 2021-07-09 2024-04-05 中海石油(中国)有限公司 一种基于人工智能的砂岩薄片图像鉴定方法和系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107633255A (zh) * 2017-08-11 2018-01-26 天津大学 一种深度学习模式下的岩石岩性自动识别分类方法
CN109284780A (zh) * 2018-09-10 2019-01-29 中山大学 矿石矿物图像自动识别与分类方法
CN110263835A (zh) * 2019-06-13 2019-09-20 中国电建集团华东勘测设计研究院有限公司 基于深度学习和贝叶斯网络的岩石类别自动识别方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10410092B1 (en) * 2015-12-16 2019-09-10 Hrl Laboratories, Llc Automated classification of rock types and analyst-centric visualizations—front end
CN108898560B (zh) * 2018-06-21 2023-04-28 四川大学 基于三维卷积神经网络的岩心ct图像超分辨率重建方法
CN109615024A (zh) * 2018-12-28 2019-04-12 东北大学 一种岩石种类智能区分识别及定位方法
CN110232419A (zh) * 2019-06-20 2019-09-13 东北大学 一种边坡岩石类别自动识别的方法
CN110490100A (zh) * 2019-07-31 2019-11-22 中铁二院工程集团有限责任公司 基于深度学习的岩土自动识别定名方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107633255A (zh) * 2017-08-11 2018-01-26 天津大学 一种深度学习模式下的岩石岩性自动识别分类方法
CN109284780A (zh) * 2018-09-10 2019-01-29 中山大学 矿石矿物图像自动识别与分类方法
CN110263835A (zh) * 2019-06-13 2019-09-20 中国电建集团华东勘测设计研究院有限公司 基于深度学习和贝叶斯网络的岩石类别自动识别方法

Also Published As

Publication number Publication date
CN111414954A (zh) 2020-07-14

Similar Documents

Publication Publication Date Title
CN111414954B (zh) 一种岩石图像检索方法及其系统
CN111986099B (zh) 基于融合残差修正的卷积神经网络的耕地监测方法及系统
CN110245709B (zh) 基于深度学习和自注意力的3d点云数据语义分割方法
CN108596108B (zh) 基于三元组语义关系学习的航拍遥感图像变化检测方法
CN110263717B (zh) 一种融入街景影像的土地利用类别确定方法
WO2023039959A1 (zh) 一种基于金字塔机制的遥感影像海洋与非海区域分割方法
CN113240691A (zh) 一种基于u型网络的医学图像分割方法
CN110298227B (zh) 一种基于深度学习的无人机航拍图像中的车辆检测方法
CN112950780B (zh) 一种基于遥感影像的网络地图智能生成方法及系统
CN110598564B (zh) 基于OpenStreetMap的高空间分辨率遥感影像迁移学习分类方法
CN112149547A (zh) 基于图像金字塔引导和像素对匹配的遥感影像水体识别
CN109635726B (zh) 一种基于对称式深度网络结合多尺度池化的滑坡识别方法
CN112818969A (zh) 一种基于知识蒸馏的人脸姿态估计方法及系统
CN113554032B (zh) 基于高度感知的多路并行网络的遥感图像分割方法
CN111640116B (zh) 基于深层卷积残差网络的航拍图建筑物分割方法及装置
CN112419333B (zh) 一种遥感影像自适应特征选择分割方法及系统
CN111563408B (zh) 多层次感知特征渐进自学习的高分辨率影像滑坡自动检测方法
CN114022408A (zh) 基于多尺度卷积神经网络的遥感图像云检测方法
CN114943893B (zh) 一种土地覆盖分类的特征增强方法
Zhu et al. Change detection based on the combination of improved SegNet neural network and morphology
CN113297988A (zh) 一种基于域迁移和深度补全的物体姿态估计方法
CN111325184A (zh) 一种遥感影像智能解译与变化信息检测方法
CN113610032A (zh) 基于遥感影像的建筑物识别方法和装置
CN113052121A (zh) 一种基于遥感影像的多层级网络地图智能生成方法
CN117274627A (zh) 一种基于图像转换的多时相积雪遥感图像匹配方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant