CN113486745A - 基于自监督神经网络的显微结构图像识别方法及装置 - Google Patents

基于自监督神经网络的显微结构图像识别方法及装置 Download PDF

Info

Publication number
CN113486745A
CN113486745A CN202110707301.8A CN202110707301A CN113486745A CN 113486745 A CN113486745 A CN 113486745A CN 202110707301 A CN202110707301 A CN 202110707301A CN 113486745 A CN113486745 A CN 113486745A
Authority
CN
China
Prior art keywords
microscopic structure
standard
feature
database
feature vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110707301.8A
Other languages
English (en)
Inventor
卢光明
余梓权
张正
苏畅
王冰
王淑红
王铁杰
马双成
康帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Institute For Food And Drug Control Medical Device Standard Management Center Of State Drug Administration And China General Institute For Drug Control
Shenzhen Institute For Drug Control (shenzhen Testing Center Of Medical Devices)
Shenzhen Graduate School Harbin Institute of Technology
Original Assignee
China Institute For Food And Drug Control Medical Device Standard Management Center Of State Drug Administration And China General Institute For Drug Control
Shenzhen Institute For Drug Control (shenzhen Testing Center Of Medical Devices)
Shenzhen Graduate School Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Institute For Food And Drug Control Medical Device Standard Management Center Of State Drug Administration And China General Institute For Drug Control, Shenzhen Institute For Drug Control (shenzhen Testing Center Of Medical Devices), Shenzhen Graduate School Harbin Institute of Technology filed Critical China Institute For Food And Drug Control Medical Device Standard Management Center Of State Drug Administration And China General Institute For Drug Control
Priority to CN202110707301.8A priority Critical patent/CN113486745A/zh
Publication of CN113486745A publication Critical patent/CN113486745A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于自监督神经网络的显微结构图像识别方法及装置，包括对卷积网络进行预训练；使用预训练好的卷积网络对预处理后的标准显微结构图进行批量特征提取得到特征向量集合，将特征向量集合存入具有HDF5特征向量存储结构的数据库B中；使用预训练好的卷积网络对预处理后的待识别显微结构图进行批量特征提取得到特征向量V；计算特征向量V与数据库B中所有特征向量的相似度，根据相似度进行升序排序得到最接近特征向量V的k个特征向量并映射到数据库A中，得到对应的k个标准显微结构图；统计k个标准显微结构图大部分归属的显微结构具体名称，确定为待识别显微结构图的具体名称。本发明提高了显微结构图像识别准确率和识别速度。

Description

基于自监督神经网络的显微结构图像识别方法及装置
技术领域
本发明涉及显微结构图像的识别技术领域，具体涉及一种基于自监督神经网络的显微结构图像识别方法及装置。
背景技术
当前对显微结构图像识别的方法一般采用传统数字图像处理算法对数据库A中所有的标准显微结构图进行批量的预处理和特征提取工作，并将提取到的所有特征向量存储于数据库B中。对于用户请求的待识别显微结构图，使用同样的特征提取算法提取到特征向量，然后计算该特征向量与数据库B中所有特征向量的相似度并进行升序排序，从而获取最接近待识别显微结构图的特征向量的k个特征向量(数据库B中标准显微结构图的特征向量)，并从而对应获得数据库A中这些特征向量对应的k个标准显微结构图。最后统计得到这k个标准显微结构图大部分归属的显微结构具体名称，即为待识别显微结构图的具体名称。此外，还可以同时给出数据库A中与待识别显微结构图最相似的标准显微结构图。
对所有的标准显微结构图和待识别显微结构图所提取的特征，一般是使用传统数字图像处理算法进行自动或手工提取的，效率低，并且提取得到的特征含有的原图像的判别信息非常有限，从而导致系统识别准确率的提高受到限制。此外，使用的特征向量存储数据库，选型一般为传统的关系型数据库(如Access、SQL等)。这类数据库在处理大量高维特征向量时效率较低，并且存在死锁和阻塞等会严重降低数据存取性能的特点，从而影响系统最终的识别检索速度。因此，当前显微结构图像识别方法存在的缺陷有：
(1)显微结构图像的特征提取工作的低效率，提取得到的特征含有的原图像的判别信息非常有限，影响系统的识别准确率；
(2)存储特征向量所采用的数据库为关系型数据库，不能有针对性地组织特征向量集合，以达到快速存取的效果。
发明内容
本发明针对上述问题，提供了一种基于自监督神经网络的显微结构图像识别方法及装置。
本发明的第一方面，提供了一种基于自监督神经网络的显微结构图像识别方法，包括：
利用ImageNet图像数据集对自监督神经网络中的卷积网络进行预训练；
对数据库A中所有的标准显微结构图进行批量的预处理，使用预训练好的卷积网络对预处理后的标准显微结构图进行批量特征提取，得到特征向量集合，将所述特征向量集合存入具有自定义的HDF5特征向量存储结构的数据库B中；
对待识别显微结构图进行预处理，使用预训练好的卷积网络对预处理后的待识别显微结构图进行特征提取，得到特征向量V；
计算特征向量V与数据库B中所有特征向量的相似度，根据所述相似度进行升序排序，得到最接近特征向量V的k个特征向量，将所述K个特征向量映射到数据库A中，得到数据库A中对应的k个标准显微结构图；
统计所述k个标准显微结构图大部分归属的显微结构具体名称，确定为待识别显微结构图的具体名称，同时，将排序第一的标准显微结构图作为与待识别显微结构图最相似的标准显微结构图。
进一步的，所述“使用预训练好的卷积网络对预处理后的标准显微结构图进行批量特征提取”之前，先对预训练好的卷积网络进行训练，训练集采用不同旋转角度的标准显微结构图，所述卷积网络通过学习标准显微结构图中的位置、类型和姿态，得到具有判别信息的特征向量。
进一步的，所述卷积网络包括通道注意力机制层，所述通道注意力机制层的输入是经过卷积层得到的尺寸为H×W×C的特征图，所述H×W×C特征图经过一层全局平均池化层得到尺寸为1×1×C的张量，所述1×1×C张量经过一层激活函数为ReLU的全连接层得到尺寸为
Figure BDA0003131874490000021
的张量，所述
Figure BDA0003131874490000022
张量经过一层激活函数为Sigmoid的全连接层得到尺寸为1×1×C的张量，将所述全连接层得到的尺寸为1×1×C张量中的C个元素与尺寸为H×W×C的特征图的C个通道对应的二维特征图进行逐元素相乘，得到了一个经过通道加权的尺寸为H×W×C的特征图。
进一步的，所述具有自定义的HDF5特征向量存储结构的数据库B的文件结构包括标准显微结构图Group和含有元数据的特征向量Dataset，所述标准显微结构图Group是一种容器结构，包含N个特征向量Dataset和其他Group，所述含有元数据的特征向量Dataset是同一类型数据的多维数组，每个Dataset可以分成元数据(Metadata)和原始数据(Rawdata)，所述元数据存放的是特征向量Dataset对应的标准显微结构图的存储路径字符串。
本发明的第二方面，一种基于自监督神经网络的显微结构图像识别装置，包括：卷积网络预训练模块，用于利用ImageNet图像数据集对自监督神经网络中的卷积网络进行预训练；
标准显微结构图特征提取和存储模块，用于对数据库A中所有的标准显微结构图进行批量的预处理，使用预训练好的卷积网络对预处理后的标准显微结构图进行批量特征提取，得到特征向量集合，将所述特征向量集合存入具有自定义的HDF5特征向量存储结构的数据库B中；
待识别显微结构图特征提取模块，用于对待识别显微结构图进行预处理，使用预训练好的卷积网络对预处理后的待识别显微结构图进行特征提取，得到特征向量V；
特征向量相似度获取模块，用于计算特征向量V与数据库B中所有特征向量的相似度，根据所述相似度进行升序排序，得到最接近特征向量V的k个特征向量，将所述K个特征向量映射到数据库A中，得到数据库A中对应的k个标准显微结构图；
待识别显微结构图确定模块，用于统计所述k个标准显微结构图大部分归属的显微结构具体名称，确定为待识别显微结构图的具体名称，同时，将排序第一的标准显微结构图作为与待识别显微结构图最相似的标准显微结构图。
进一步的，所述标准显微结构图特征提取和存储模块中所述具有自定义的HDF5特征向量存储结构的数据库B的文件结构包括标准显微结构图Group和含有元数据的特征向量Dataset，所述标准显微结构图Group是一种容器结构，包含N个特征向量Dataset和其他Group，所述含有元数据的特征向量Dataset是同一类型数据的多维数组，每个Dataset可以分成元数据(Metadata)和原始数据(Rawdata)，所述元数据存放的是特征向量Dataset对应的标准显微结构图的存储路径字符串。
本发明提供的一种基于自监督神经网络的显微结构图像识别方法及装置，对所有的标准显微结构图和待识别显微结构图，不采用传统数字图像处理算法进行特征提取，而采用自监督神经网络中预训练好的卷积网络进行特征的自动提取，效率高，并且提取得到的特征保留了原图像中更多的判别信息，从而更好地提升了系统的识别准确率。同时，不采用传统的关系型数据库进行特征向量的存取，而采用新型的分层式数据文件HDF5(Hierarchical Data Format version 5)进行特征向量的存取，具备自述性、通用性、灵活性、扩展性、跨平台性等优良特性，因此提高了系统识别的效率，最终达到的有益效果有：1、显微结构图像的特征提取工作的效率得到了提高，原图像中更多的判别信息得以保留在特征向量中，系统的识别准确率得到了进一步提高；2、提取得到的特征向量得以更有针对性地进行组织和存取，提高了特征向量的存取速度，进而提高了系统的识别速度。
附图说明
图1是本发明实施例中基于自监督神经网络的显微结构图像识别方法的流程图；
图2是本发明实施例中自监督神经网络的架构示意图；
图3是本发明实施例中HDF5特征向量存储结构示意图；
图4是本发明实施例中基于自监督神经网络的显微结构图像识别装置结构示意图。
具体实施方式
为进一步对本发明的技术方案作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的步骤。
本发明实施例针对基于自监督神经网络的显微结构图像识别方法及装置。如图1为本发明实施例中基于自监督神经网络的显微结构图像识别方法的流程图：
S01、利用ImageNet图像数据集对自监督神经网络中的卷积网络进行预训练；
具体实施过程中，使用ImageNet图像数据集，训练自监督神经网络中的卷积网络，使其具有图像分类功能，得到一个预训练好的卷积网络，所述卷积网络带有特定权重参数。
S02、对数据库A中所有的标准显微结构图进行批量的预处理，使用预训练好的卷积网络对预处理后的标准显微结构图进行批量特征提取，得到特征向量集合，将所述特征向量集合存入具有自定义的HDF5特征向量存储结构的数据库B中；
具体实施过程中，在数据库A中存储准备好所有的标准显微结构图，这些显微结构图都是归类放置的，即携带着显微结构类别名称的元数据，所述对数据库A中所有的标准显微结构图进行批量的预处理包括利用传统数字图像处理算法进行处理，包括但不限于图像缩放和旋转。
所述“使用预训练好的卷积网络对预处理后的标准显微结构图进行批量特征提取”之前，先对预训练好的卷积网络进行训练，训练集采用不同旋转角度的标准显微结构图，所述卷积网络通过学习标准显微结构图中的位置、类型和姿态，得到具有判别信息的特征向量。
图2所示为自监督神经网络的架构示意图，使用不同旋转角度的显微结构图像作为训练集，其中标注信息完全自动由图像的4种旋转角度自动生成，无需人工标注。训练集作为设计的具有注意力机制的卷积网络的输入，进行训练，最终输出分类结果(0度、90度、180度、270度)，为了准确输出分类结果，网络模型必须学习和理解图像中显微结构的位置、类型和姿态，该网络模型通过该自监督过程学到的特征表示带有足够的判别信息，可以用于系统的特征提取工作。
具有注意力机制的卷积网络具体实施过程为：输入显微结构图像尺寸为512×512×3，经过一系列的卷积层、最大池化层、平均池化层和自主设计的通道注意力机制层，进行Reshape操作得到尺寸为1×1×8192的细长张量，再经过一系列的全连接层得到尺寸为1×1×4的张量，最后经过Softmax层得到尺寸为1×1×4的张量，该张量中的四个元素的值分别代表的是当前输入图像是顺时针旋转0度、90度、180度、270度的概率，且四个元素之和为1(概率和为1)，故最大元素值(概率值)对应的旋转角度即为当前输入图像的预测分类结果，其中，仅使用训练好的具有注意力机制的卷积网络架构的卷积网络部分，进行显微结构图像特征的自动提取，得到尺寸为512×1的特征向量。
卷积网络包括通道注意力机制层，所述通道注意力机制层的输入是经过卷积层得到的尺寸为H×W×C的特征图，所述H×W×C特征图经过一层全局平均池化层得到尺寸为1×1×C的张量，所述1×1×C张量经过一层激活函数为ReLU的全连接层得到尺寸为
Figure BDA0003131874490000051
的张量，所述
Figure BDA0003131874490000052
张量经过一层激活函数为Sigmoid的全连接层得到尺寸为1×1×C的张量，将所述全连接层得到的尺寸为1×1×C张量中的C个元素与尺寸为H×W×C的特征图的C个通道对应的二维特征图进行逐元素相乘，得到了一个经过通道加权的尺寸为H×W×C的特征图。
具体实施过程中，经过一层激活函数为Sigmoid的全连接层得到尺寸为1×1×C的权重张量，是通过全连接层和非线性层学习得到的，全连接层起到融合各通道信息(权重)的作用，因此得到的权重张量包含了各个通道之间的关联信息，使用该权重张量加权于原始输入的H×W×C特征图，得到判别信息进一步增强的尺寸为H×W×C的特征图，用以替换原始输入。
具有自定义的HDF5特征向量存储结构的数据库B的文件结构包括标准显微结构图Group和含有元数据的特征向量Dataset，所述标准显微结构图Group是一种容器结构，包含N个特征向量Dataset和其他Group，所述含有元数据的特征向量Dataset是同一类型数据的多维数组，每个Dataset可以分成元数据(Metadata)和原始数据(Rawdata)，所述元数据存放的是特征向量Dataset对应的标准显微结构图的存储路径字符串。
HDF5是一种常见的跨平台存储文件，可以存储不同类型的图像和数码数据，并且可以在不同类型的机器上传输，同时还有统一处理这种文件格式的函数库。HDF5文件一般以.h5或者.hdf5作为后缀名，需要专门的软件才能打开预览文件的内容。
图3是HDF5特征向量存储结构示意图，它将文件结构简化成了两个主要的对象类型：标准显微结构图Group和含有元数据的特征向量Dataset。其中标准显微结构图Group是一种容器结构，可以包含各种Dataset和其他Group；含有元数据的特征向量Dataset是同一类型数据的多维数组，每个Dataset可以分成元数据(Metadata)和原始数据(Rawdata)。具体实施过程中，前面所述提取得到的特征向量总共有N个，创建了一个特定的标准显微结构图Group，然后在这个Group里创建N个含有元数据的特征向量Dataset，每个Dataset的原始数据部分存放的是一个尺寸为512×1的特征向量，元数据部分存放的是该特征向量对应的标准显微结构图的存储路径字符串。所有标准显微结构图像经过自监督旋转不变性注意力网络的卷积网络部分提取得到特征向量集合，该特征向量集合的存取机制完全基于自定义的HDF5特征向量存储结构。
S03、对待识别显微结构图进行预处理，使用预训练好的卷积网络对预处理后的待识别显微结构图进行特征提取，得到特征向量V；
具体实施过程中，对待识别显微结构图进行预处理包括利用传统数字图像处理算法进行处理，包括但不限于图像缩放和旋转。所述使用预训练好的卷积网络对预处理后的待识别显微结构图进行特征提取的方法步骤与S02相同。
S04、计算特征向量V与数据库B中所有特征向量的相似度，根据所述相似度进行升序排序，得到最接近特征向量V的k个特征向量，将所述K个特征向量映射到数据库A中，得到数据库A中对应的k个标准显微结构图；
具体实施过程中，计算特征向量V与数据库B中所有特征向量的欧氏距离，作为相似度度量标准，并进行升序排序，获取距离待检索特征向量V欧氏距离最短的位于数据库B的k个特征向量，实施例中k＝5，获取数据库A中这k个特征向量对应的k个标准显微结构图。
S05、统计所述k个标准显微结构图大部分归属的显微结构具体名称，确定为待识别显微结构图的具体名称，同时，将排序第一的标准显微结构图作为与待识别显微结构图最相似的标准显微结构图。
具体实施过程中，统计得到这k个标准显微结构图大部分归属的显微结构具体名称，并于系统GUI上进行展示；获取数据库A中与待检索显微结构图P最相似的标准显微结构图，并于系统GUI上进行展示。
以下，参照图4来描述根据本公开实施例的与图1所示的方法对应的装置，一种基于自监督神经网络的显微结构图像识别装置100，图4是本发明实施例中基于自监督神经网络的显微结构图像识别装置结构示意图。由于装置100的功能与在上文中参照图1描述的方法的细节相同，因此在这里为了简单起见，省略对相同内容的详细描述。如图4所示，装置100包括：卷积网络预训练模块101，用于利用ImageNet图像数据集对自监督神经网络中的卷积网络进行预训练；标准显微结构图特征提取和存储模块102，用于对数据库A中所有的标准显微结构图进行批量的预处理，使用预训练好的卷积网络对预处理后的标准显微结构图进行批量特征提取，得到特征向量集合，将所述特征向量集合存入具有自定义的HDF5特征向量存储结构的数据库B中；待识别显微结构图特征提取模块103，用于对待识别显微结构图进行预处理，使用预训练好的卷积网络对预处理后的待识别显微结构图进行特征提取，得到特征向量V；特征向量相似度获取模块104，用于计算特征向量V与数据库B中所有特征向量的相似度，根据所述相似度进行升序排序，得到最接近特征向量V的k个特征向量，将所述K个特征向量映射到数据库A中，得到数据库A中对应的k个标准显微结构图；待识别显微结构图确定模块105，用于统计所述k个标准显微结构图大部分归属的显微结构具体名称，确定为待识别显微结构图的具体名称，同时，将排序第一的标准显微结构图作为与待识别显微结构图最相似的标准显微结构图。除了这5个单元以外，装置100还可以包括其他部件，然而，由于这些部件与本公开实施例的内容无关，因此在这里省略其图示和描述。
所述标准显微结构图特征提取和存储模块102中所述HDF5格式的数据库B的文件结构包括标准显微结构图Group和含有元数据的特征向量Dataset，所述标准显微结构图Group是一种容器结构，包含N个特征向量Dataset和其他Group，所述含有元数据的特征向量Dataset是同一类型数据的多维数组，每个Dataset可以分成元数据(Metadata)和原始数据(Rawdata)，所述元数据存放的是特征向量Dataset对应的标准显微结构图的存储路径字符串。
一种基于自监督神经网络的显微结构图像识别装置100的具体工作过程参照上述基于自监督神经网络的显微结构图像识别装置方法的描述，不再赘述。
综合上述实施例提供的基于自监督神经网络的显微结构图像识别方法及装置，对所有的标准显微结构图和待识别显微结构图，不采用传统数字图像处理算法进行特征提取，而采用自监督神经网络中预训练好的卷积网络进行特征的自动提取，效率高，并且提取得到的特征保留了原图像中更多的判别信息，从而更好地提升了系统的识别准确率。同时，不采用传统的关系型数据库进行特征向量的存取，而采用新型的分层式数据文件HDF5(Hierarchical Data Format version 5)进行特征向量的存取，具备自述性、通用性、灵活性、扩展性、跨平台性等优良特性，因此提高了系统识别的效率，最终达到的有益效果有：1、显微结构图像的特征提取工作的效率得到了提高，原图像中更多的判别信息得以保留在特征向量中，系统的识别准确率得到了进一步提高；2、提取得到的特征向量得以更有针对性地进行组织和存取，提高了特征向量的存取速度，进而提高了系统的识别速度。
在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的步骤、方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种步骤、方法所固有的要素。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (6)

1.一种基于自监督神经网络的显微结构图像识别方法，其特征在于，包括以下步骤：
利用ImageNet图像数据集对自监督神经网络中的卷积网络进行预训练；
对数据库A中所有的标准显微结构图进行批量的预处理，使用预训练好的卷积网络对预处理后的标准显微结构图进行批量特征提取，得到特征向量集合，将所述特征向量集合存入具有自定义的HDF5特征向量存储结构的数据库B中；
对待识别显微结构图进行预处理，使用预训练好的卷积网络对预处理后的待识别显微结构图进行特征提取，得到特征向量V；
计算特征向量V与数据库B中所有特征向量的相似度，根据所述相似度进行升序排序，得到最接近特征向量V的k个特征向量，将所述K个特征向量映射到数据库A中，得到数据库A中对应的k个标准显微结构图；
统计所述k个标准显微结构图大部分归属的显微结构具体名称，确定为待识别显微结构图的具体名称，同时，将排序第一的标准显微结构图作为与待识别显微结构图最相似的标准显微结构图。
2.根据权利要求1所述的一种基于自监督神经网络的显微结构图像识别方法，其特征在于，所述“使用预训练好的卷积网络对预处理后的标准显微结构图进行批量特征提取”之前，先对预训练好的卷积网络进行训练，训练集采用不同旋转角度的标准显微结构图，所述卷积网络通过学习标准显微结构图中的位置、类型和姿态，得到具有判别信息的特征向量。
3.根据权利要求1所述的一种基于自监督神经网络的显微结构图像识别方法，其特征在于，所述卷积网络包括通道注意力机制层，所述通道注意力机制层的输入是经过卷积层得到的尺寸为H×W×C的特征图，所述H×W×C特征图经过一层全局平均池化层得到尺寸为1×1×C的张量，所述1×1×C张量经过一层激活函数为ReLU的全连接层得到尺寸为
Figure FDA0003131874480000011
的张量，所述
Figure FDA0003131874480000012
张量经过一层激活函数为Sigmoid的全连接层得到尺寸为1×1×C的张量，将所述全连接层得到的尺寸为1×1×C张量中的C个元素与尺寸为H×W×C的特征图的C个通道对应的二维特征图进行逐元素相乘，得到了一个经过通道加权的尺寸为H×W×C的特征图。
4.根据权利要求1所述的一种基于自监督神经网络的显微结构图像识别方法，其特征在于，所述具有自定义的HDF5特征向量存储结构的数据库B的文件结构包括标准显微结构图Group和含有元数据的特征向量Dataset，所述标准显微结构图Group是一种容器结构，包含N个特征向量Dataset和其他Group，所述含有元数据的特征向量Dataset是同一类型数据的多维数组，每个Dataset可以分成元数据(Metadata)和原始数据(Rawdata)，所述元数据存放的是特征向量Dataset对应的标准显微结构图的存储路径字符串。
5.一种基于自监督神经网络的显微结构图像识别装置，其特征在于，所述装置包括：
卷积网络预训练模块，用于利用ImageNet图像数据集对自监督神经网络中的卷积网络进行预训练；
标准显微结构图特征提取和存储模块，用于对数据库A中所有的标准显微结构图进行批量的预处理，使用预训练好的卷积网络对预处理后的标准显微结构图进行批量特征提取，得到特征向量集合，将所述特征向量集合存入具有自定义的HDF5特征向量存储结构的数据库B中；
待识别显微结构图特征提取模块，用于对待识别显微结构图进行预处理，使用预训练好的卷积网络对预处理后的待识别显微结构图进行特征提取，得到特征向量V；
特征向量相似度获取模块，用于计算特征向量V与数据库B中所有特征向量的相似度，根据所述相似度进行升序排序，得到最接近特征向量V的k个特征向量，将所述K个特征向量映射到数据库A中，得到数据库A中对应的k个标准显微结构图；
待识别显微结构图确定模块，用于统计所述k个标准显微结构图大部分归属的显微结构具体名称，确定为待识别显微结构图的具体名称，同时，将排序第一的标准显微结构图作为与待识别显微结构图最相似的标准显微结构图。
6.根据权利要求5所述的一种基于自监督神经网络的显微结构图像识别装置，其特征在于，所述标准显微结构图特征提取和存储模块中所述具有自定义的HDF5特征向量存储结构的数据库B的文件结构包括标准显微结构图Group和含有元数据的特征向量Dataset，所述标准显微结构图Group是一种容器结构，包含N个特征向量Dataset和其他Group，所述含有元数据的特征向量Dataset是同一类型数据的多维数组，每个Dataset可以分成元数据(Metadata)和原始数据(Rawdata)，所述元数据存放的是特征向量Dataset对应的标准显微结构图的存储路径字符串。
CN202110707301.8A 2021-06-24 2021-06-24 基于自监督神经网络的显微结构图像识别方法及装置 Pending CN113486745A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110707301.8A CN113486745A (zh) 2021-06-24 2021-06-24 基于自监督神经网络的显微结构图像识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110707301.8A CN113486745A (zh) 2021-06-24 2021-06-24 基于自监督神经网络的显微结构图像识别方法及装置

Publications (1)

Publication Number Publication Date
CN113486745A true CN113486745A (zh) 2021-10-08

Family

ID=77935980

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110707301.8A Pending CN113486745A (zh) 2021-06-24 2021-06-24 基于自监督神经网络的显微结构图像识别方法及装置

Country Status (1)

Country Link
CN (1) CN113486745A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114549904A (zh) * 2022-02-25 2022-05-27 北京百度网讯科技有限公司 视觉处理及模型训练方法、设备、存储介质及程序产品

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106803090A (zh) * 2016-12-05 2017-06-06 中国银联股份有限公司 一种图像识别方法和装置
CN108960289A (zh) * 2018-06-08 2018-12-07 清华大学 医用图像分类装置及方法
CN110458821A (zh) * 2019-08-07 2019-11-15 屈晨 一种基于深度神经网络模型的精子形态分析方法
CN112418067A (zh) * 2020-11-20 2021-02-26 湖北芯楚光电科技有限公司 一种基于深度学习模型的简便人脸识别在线学习方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106803090A (zh) * 2016-12-05 2017-06-06 中国银联股份有限公司 一种图像识别方法和装置
CN108960289A (zh) * 2018-06-08 2018-12-07 清华大学 医用图像分类装置及方法
CN110458821A (zh) * 2019-08-07 2019-11-15 屈晨 一种基于深度神经网络模型的精子形态分析方法
CN112418067A (zh) * 2020-11-20 2021-02-26 湖北芯楚光电科技有限公司 一种基于深度学习模型的简便人脸识别在线学习方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JIE HU 等: ""Squeeze-and-Excitation Networks"", 《ARXIV》 *
SPYROS GIDARIS 等: ""UNSUPERVISED REPRESENTATION LEARNING BY PREDICTING IMAGE ROTATIONS"", 《ARXIV.ORG》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114549904A (zh) * 2022-02-25 2022-05-27 北京百度网讯科技有限公司 视觉处理及模型训练方法、设备、存储介质及程序产品

Similar Documents

Publication Publication Date Title
CN107885764B (zh) 基于多任务深度学习快速哈希车辆检索方法
CN106909924B (zh) 一种基于深度显著性的遥感影像快速检索方法
CN110717534B (zh) 一种基于网络监督的目标分类和定位方法
CN110222218B (zh) 基于多尺度NetVLAD和深度哈希的图像检索方法
CN110942091B (zh) 寻找可靠的异常数据中心的半监督少样本图像分类方法
CN110321967B (zh) 基于卷积神经网络的图像分类改进方法
CN113360701B (zh) 一种基于知识蒸馏的素描图处理方法及其系统
CN113657450B (zh) 基于注意机制的陆战场图像-文本跨模态检索方法及其系统
CN112347284B (zh) 一种组合商标图像检索方法
CN114444600A (zh) 基于记忆增强原型网络的小样本图像分类方法
CN111611413B (zh) 基于度量学习的深度哈希方法
CN114510594A (zh) 一种基于自注意力机制的传统纹样子图检索方法
CN114676769A (zh) 一种基于视觉Transformer的小样本昆虫图像识别方法
CN114579794A (zh) 特征一致性建议的多尺度融合地标图像检索方法及系统
Sadique et al. Content-based image retrieval using color layout descriptor, gray-level co-occurrence matrix and k-nearest neighbors
CN113486745A (zh) 基于自监督神经网络的显微结构图像识别方法及装置
CN113095229B (zh) 一种无监督域自适应行人重识别系统及方法
CN108960005B (zh) 一种智能视觉物联网中对象视觉标签的建立及显示方法、系统
CN116108217B (zh) 一种基于深度哈希编码和多任务预测的逃费车辆相似图片检索方法
CN115797795B (zh) 基于强化学习的遥感影像问答式检索系统及方法
Barnes Image-driven data mining for image content segmentation, classification, and attribution
CN115496948A (zh) 一种基于深度学习的网络监督细粒度图像识别方法和系统
CN114020948A (zh) 基于排序聚类序列辨别选择的草图图像检索方法及系统
CN114077682A (zh) 一种图像检索智能识别匹配处理方法、系统和存储介质
CN113468936A (zh) 一种食材识别方法、装置和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20211008